KR20160032880A - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20160032880A
KR20160032880A KR1020140123558A KR20140123558A KR20160032880A KR 20160032880 A KR20160032880 A KR 20160032880A KR 1020140123558 A KR1020140123558 A KR 1020140123558A KR 20140123558 A KR20140123558 A KR 20140123558A KR 20160032880 A KR20160032880 A KR 20160032880A
Authority
KR
South Korea
Prior art keywords
display
item
icon
audio
text
Prior art date
Application number
KR1020140123558A
Other languages
English (en)
Inventor
차상옥
윤민경
윤영준
조주연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140123558A priority Critical patent/KR20160032880A/ko
Priority to US14/848,828 priority patent/US20160077795A1/en
Publication of KR20160032880A publication Critical patent/KR20160032880A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치 및 그의 제어 방법이 제공된다. 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 디스플레이 아이템에 대응되는 오디오를 출력하는 단계 및 오디오가 출력되는 동안, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 제어 방법{DISPLAY APPARATUS AND METHOD FOR CONTROLLING THEREOF}
본 발명은 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는, 오디오로 출력되는 화면 요소에서 수행가능한 기능을 디스플레이하는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
최근 관련 기술의 발전에 따라 디스플레이 장치 등에서 디스플레이된 화면 요소들을 읽어주는 기능이 제공되고 있다. 이러한 디스플레이 요소들을 분석하여 오디오로 출력하여 주는 기능을 수행할 때, 오디오로 출력되는 요소들을 통하여 수행할 수 있는 태스크를 놓치는 경우가 많이 있다.
현재 오디오로 출력되고 있는 디스플레이 요소가 특정 기능을 수행하는 컨트롤러이거나 외부 웹사이트로 연결하는 링크일 경우, 사용자가 다시 해당 디스플레이 요소를 찾아서 입력하는 사용자 인터렉션이 필요하다. 따라서, 사용자의 입장에서는 특정 디스플레이 요소를 다시 화면상에서 찾아야하는 문제점이 발생한다.
또한, 디스플레이된 화면 요소들을 읽어주는 기능을 주로 사용하는 계층인 시각이 좋지 않은 사용자들에게 디스플레이 화면의 특정 영역으로 정보를 집중하여 제공하여 주지 못한다는 문제점도 함께 도출되고 있다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 디스플레이된 화면 요소를 음성 기반으로 출력하는 동안 해당 화면 요소를 통해 수행할 수 있는 태스크를 추천하고 실행하기 위한 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치의 제어 방법은, 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 상기 디스플레이 아이템에 대응되는 오디오를 출력하는 단계; 및 상기 오디오가 출력되는 동안, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 단계;를 포함한다.
그리고, 상기 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 입력되면, 상기 선택된 아이콘에 매핑된 상기 디스플레이 아이템의 태스크를 실행하는 단계;를 더 포함할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 오디오로 출력되는 텍스트 및 상기 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 상기 일 영역에 함께 디스플레이할 수 있다.
그리고, 상기 디스플레이하는 단계는, 상기 오디오 제어 아이콘을 통해 상기 오디오 출력을 멈추는 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템 주위에 상기 적어도 하나의 아이콘을 포함하는 팝업 창을 디스플레이할 수 있다.
또한, 상기 디스플레이하는 단계는, 상기 UI에 포함된 기설정된 아이콘이 선택된 경우, 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하는 단계;를 더 포함할 수 있다.
그리고, 상기 디스플레이 아이템은, 뮤직 리스트에 포함된 뮤직 아이템이며,
상기 디스플레이하는 단계는, 상기 디스플레이 화면에 상기 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오가 출력되면, 상기 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
또한, 상기 디스플레이 아이템은, 영상 리스트에 포함된 썸네일 아이템이며,
상기 디스플레이하는 단계는, 상기 디스플레이 화면에 상기 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 출력되면, 상기 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 상기 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 상기 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
그리고, 상기 디스플레이 아이템은, 영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템이며, 상기 디스플레이하는 단계는, 상기 디스플레이 화면에 상기 영상 컨텐츠가 디스플레이되는 동안 상기 슬라이드 바 아이템에 대응되는 오디오가 출력되면, 상기 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
또한, 상기 디스플레이 아이템은, 하이퍼링크 아이템이며, 상기 디스플레이하는 단계는, 상기 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 상기 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 상기 하이퍼링크를 복사하기 위한 아이콘 및 상기 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
그리고, 상기 디스플레이 아이템은, 텍스트를 포함하는 텍스트 아이템이며,
상기 디스플레이하는 단계는, 상기 텍스트 아이템에 대응되는 오디오가 출력되면, 상기 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 상기 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 상기 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른, 디스플레이 장치는, 디스플레이부; 오디오 신호를 출력하는 오디오 출력부; 및 상기 디스플레이부의 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 상기 디스플레이 아이템에 대응되는 오디오를 출력하도록 상기 오디오 출력부를 제어하고, 상기 오디오가 출력되는 동안, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 사용자 명령을 받는 입력부;를 더 포함하고, 상기 제어부는, 상기 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 상기 입력부를 통해 입력되면, 상기 선택된 아이콘에 매핑된 상기 디스플레이 아이템의 태스크를 실행할 수 있다.
또한, 상기 제어부는, 상기 오디오로 출력되는 텍스트 및 상기 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 상기 일 영역에 함께 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 사용자 명령을 받는 입력부;를 더 포함하고, 상기 제어부는, 상기 오디오 제어 아이콘을 통해 상기 오디오 출력을 멈추는 사용자 명령이 상기 입력부를 통해 입력되면, 상기 사용자 명령이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템 주위에 상기 적어도 하나의 아이콘을 포함하는 팝업 창을 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 사용자 명령을 받는 입력부;를 더 포함하고, 상기 제어부는, 상기 UI에 포함된 기설정된 아이콘이 상기 입력부를 통해 선택된 경우, 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 디스플레이 아이템은, 뮤직 리스트에 포함된 뮤직 아이템이며,
상기 제어부는, 상기 디스플레이 화면에 상기 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오가 출력되면, 상기 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 디스플레이 아이템은, 영상 리스트에 포함된 썸네일 아이템이며,
상기 제어부는, 상기 디스플레이 화면에 상기 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 출력되면, 상기 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 상기 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 상기 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 디스플레이 아이템은, 영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템이며, 상기 제어부는, 상기 디스플레이 화면에 상기 영상 컨텐츠가 디스플레이되는 동안 상기 슬라이드 바 아이템에 대응되는 오디오가 출력되면, 상기 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 디스플레이 아이템은, 하이퍼링크 아이템이며, 상기 제어부는, 상기 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 상기 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 상기 하이퍼링크를 복사하기 위한 아이콘 및 상기 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 디스플레이 아이템은, 텍스트를 포함하는 텍스트 아이템이며,
상기 제어부는, 상기 텍스트 아이템에 대응되는 오디오가 출력되면, 상기 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 상기 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 상기 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의해, 사용자에게 디스플레이 장치상에서 수행가능한 태스트를 알려주고, UI에 태스크와 매핑된 아이콘을 제공하여 사용자가 해당 화면 요소를 찾아 다시 입력해야하는 불편함을 줄일 수 있다.
도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 2는 본 발명의 일 실시 예에 따른, 디스플레이 장치의 구성을 설명하기 위한 상세한 블럭도,
도 3은 본 발명의 일 실시 예에 따른, 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 뮤직 아이템인 예를 설명하기 위한 도면,
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 스크롤 바 아이템인 예를 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 슬라이드 바 아이템인 예를 설명하기 위한 도면,
도 7은 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 텍스트를 포함하는 텍스트 아이템인 예를 설명하기 위한 도면,
도 8a 및 도 8b는 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 하이퍼링크 아이템인 예를 설명하기 위한 도면,
도 9a 내지 도 9d는 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 텍스트 입력 아이템인 예를 설명하기 위한 도면,
도 10a 및 도 10b는 본 발명의 일 실시 예에 따른, 외부 어플리케이션을 통하여 태스크를 실행하는 예를 설명하기 위한 도면,
도 11a 및 도 11b는 본 발명의 일 실시 예에 따른, UI를 제공하는 대신 팝업 창을 제공하는 실시 예를 설명하기 위한 도면, 그리고,
도 12 및 13는 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시 예에 따른, 디스플레이 장치(100)의 구성을 간략히 나타낸 블럭도이다. 도 1을 참조하면, 디스플레이 장치(100)는 디스플레이부(110), 오디오 출력부(120) 및 제어부(130)를 포함한다. 디스플레이 장치(100)는 타블렛 PC, 스마트 폰, 스마트 TV등 다양한 형태로 구현될 수 있다.
디스플레이부(110)는 다양한 소스로부터 수신한 영상 신호에 대응한 화면을 디스플레이한다. 특히, 디스플레이부(110)는 디스플레이 아이템 및 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이할 수 있다. 디스플레이부(110)는 다양한 디스플레이 패널로 설계될 수 있다. 즉, 디스플레이부(110)는 액정 디스플레이(Liquid Crystal Display, LCD), 유기 발광 디스플레이(Organic Light-Emitting Diode, OLED), 전자종이(E-paper)(E-paper), 플라스마 디스플레이(Plasma Display Panel, PDP), VFD(Vacuum Fluorescnet Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등 다양한 디스플레이 기술로 구현될 수 있다.
오디오 출력부(120)는 오디오 처리부(미도시) 등에서 생성한 오디오 신호를 출력한다. 오디오 출력부(120)는 디스플레이 장치(100)와 일체형뿐 아니라 분리형일 수 있으며, 분리형 오디오 출력부(120)의 경우에는 디스플레이 장치(100)와 유선 또는 무선으로 연결된다. 특히, 오디오 출력부(120)는 디스플레이 화면에 포함된 디스플레이 아이템에 대응되는 오디오를 출력할 수 있다. 예를 들어, 오디오 출력부(120)는 디스플레이 화면에 디스플레이된 텍스트를 읽어주는 오디오를 출력할 수 있다.
제어부(130)는 디스플레이 장치(100)의 전반적인 구성을 제어한다. 특히, 제어부(130)는 디스플레이부(110)의 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여, 디스플레이 아이템에 대응되는 오디오를 출력하도록 오디오 출력부(120)를 제어한다. 그리고, 오디오가 출력되는 동안, 제어부(130)는 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어한다.
또한, 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 입력되면, 제어부(130)는 선택된 아이콘에 매핑된 디스플레이 아이템의 태스크를 실행한다. 예를 들어, 디스플레이 아이템이 뮤직 리스트에 포함된 뮤직 아이템인 경우에, 디스플레이 화면에 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
다른 예로, 디스플레이 아이템이 영상 리스트에 포함된 썸네일 아이템인 경우에, 디스플레이 화면에 상기 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이할 수 있다.
다른 예로, 디스플레이 아이템이 영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템인 경우에, 디스플레이 화면에 영상 컨텐츠가 디스플레이되는 동안 슬라이드 바 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 디스플레이 아이템이 하이퍼링크 아이템인 경우에, 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 하이퍼링크를 복사하기 위한 아이콘 및 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
다른 예로, 디스플레이 아이템이 텍스트를 포함하는 텍스트 아이템인 경우에, 텍스트 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
제어부(130)는 오디오로 출력되는 텍스트 및 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 디스플레이 화면의 일 영역에 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 그리고, 오디오 제어 아이콘을 통해 오디오 출력을 멈추는 사용자 명령이 입력되면, 제어부(130)는 사용자 명령이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템 주위에 적어도 하나의 아이콘을 포함하는 팝업 창을 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다.
UI에 포함된 기설정된 아이콘이 선택된 경우, 제어부(130)는 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같은 디스플레이 장치(100)에 의해, 사용자는 디스플레이 화면이 일 영역에 디스플레이되는 UI만을 집중적으로 컨트롤하는 것만으로 디스플레이 장치상에서 수행가능한 태스크를 수행할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 구성을 상세히 나타낸 블럭도이다. 도 2를 참조하면, 디스플레이 장치(100)는 디스플레이부(110), 오디오 출력부(120), 오디오 입력부(140), 입력부(150), 통신부(160), 저장부(170), 카메라부(180) 및 제어부(130)를 포함한다.
디스플레이부(110)는 다양한 소스로부터 입력된 영상 신호를 처리하여 화면을 디스플레이한다. 디스플레이부(110)는 UI, 어플리케이션, 위젯 등을 디스플레이 할 수 있다. 또한, 디스플레이부(110)는 디스플레이 아이템 및 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 화면의 일 영역에 디스플레이할 수 있다.
오디오 출력부(120)는 음성 신호를 출력하는 기능을 수행한다. 오디오 출력부(120)는 스피커, 헤드폰 출력 단자, S/PDIF 출력 단자 등으로 구현될 수 있다. 예를 들어, 오디오 출력부(120)는 디스플레이 아이템에 대응되는 오디오를 출력할 수 있다.
오디오 입력부(140)는 음성 신호를 입력받는 기능을 수행한다. 오디오 입력부(140)는 사용자가 발화한 음성 등 외부의 음성 신호를 입력받아 이를 전기 신호로 변환한다. 또한, 전기 신호는 디지털 신호로 변환되어 제어부(130)로 전송될 수 있다. 예를 들어, UI에 포함된 아이콘을 선택하는 제어 명령에 대응되는 음성 신호가 오디오 입력부(140)를 통해 입력되면, 아이콘에 매핑된 태스크가 실행될 수도 있다.
입력부(150)는 디스플레이 장치(100)에 사용자 명령을 입력받는 기능을 수행한다. 예를 들어, 입력부(150)는 키패드, 터치 스크린 등으로 구현될 수 있다. 입력부(150)는 UI를 통해 제공되는 아이콘을 선택하는 입력 등을 통하여 사용자 명령을 입력받을 수 있다.
통신부(160)는 데이터 등을 송수신하는 기능을 수행한다. 통신부(160)는 무선 또는 유선 통신 모듈로 구성되어 무선 또는 유선 통신 기능을 수행한다. 예를 들어, 통신부(160)는 무선 통신 방식으로 NFC(Near Field Communication), 무선 LAN(Wireless LAN), IR(InfraRed) 통신, Zigbee 통신, WiFi, 블루투스(Bluetooth) 등 다양한 방식을 이용할 수 있다.
저장부(170)는 디스플레이 장치(100)의 동작에 필요한 각종 프로그램, 모듈 및 데이터를 저장한다. 또한, 저장부(170)는 디스플레이 장치(100)에서 실행되는 어플리케이션 등을 저장할 수도 있다. 저장부(170)에는 RAM(random access memory)과 ROM(read-only memory)이 포함될 수 있다. 관련 분야에 잘 알려져 있듯이, ROM은 단방향(uni-directionally)으로 CPU에 데이터와 명령을 전송하는 역할을 하고, RAM은 일반적으로 양방향(bi-directional)으로 데이터와 명령을 전송하는데 사용된다.
카메라부(180)는 사진 촬영, 동영상 촬영 기능을 제공한다. 카메라부(180)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬영하기 위한 구성으로, 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수 있다. 더불어, 카메라부(180)는 촬영된 오브젝트의 형태를 인식하여 제어부(130)에 전달할 수 있다. 제어부(130)는 전달받은 오브젝트의 형태를 분석하고, 대응되는 제어 명령을 각 구성요소에 전송할 수 있다.
제어부(130)는 디스플레이부(110), 오디오 출력부(120), 오디오 입력부(140), 입력부(150), 통신부(160), 저장부(170), 카메라부(180) 등 디스플레이 장치(100)의 다른 구성부들을 제어한다. 제어부(130)는 CPU(Central Processing Unit) 및 디스플레이 장치(100)를 제어하기 위한 모듈 및 데이터를 저장하는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
제어부(130)는 디스플레이부(110)의 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 디스플레이 아이템에 대응되는 오디오를 출력하도록 오디오 출력부(120)를 제어하고, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어한다.
이하에서는 제어부(130)의 동작에 대한 구체적인 실시 예를 도 3 내지 도 11b를 통하여 설명하기로 한다.
도 3은 본 발명의 대표적인 실시 예를 설명하기 위한 도면이다. 도 3에는 UI 및 디스플레이 아이템이 포함된 디스플레이 화면이 도시되어 있다. 본 발명의 일 실시 예에 따를 때, 제어부(130)는 디스플레이 화면에 포함된 디스플레이 아이템(301)에 대응하는 오디오를 출력하도록 오디오 출력부(120)를 제어한다. 예를 들어, 제어부(130)는 디스플레이 아이템(301)의 텍스트를 분석하여 음성 신호로 변환할 수 있다. TTS(Text-to-Sound), Talk back 등의 디스플레이 화면 요소를 읽어주는 기능이 이용될 수 있을 것이다.
디스플레이 아이템은 디스플레이 화면에 디스플레이된 화면 요소이다. 제어부(130)는 화면 요소를 가지고 수행가능한 태스크가 존재하면, 해당 화면 요소를 디스플레이 아이템으로 인식한다. 예를 들어, 하이퍼링크인 화면 요소가 디스플레이 화면에 디스플레이된 경우, 하이퍼링크를 가지고 링크에 연결된 웹페이지를 여는 태스크 등을 수행할 수 있기 때문에, 제어부(130)는 하이퍼링크인 화면 요소를 디스플레이 아이템으로 인식한다.
제어부(130)는 버튼 아이템인 디스플레이 아이템(301)을 제어하기 위한 아이콘(303)을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 디스플레이된 UI에 포함된 아이콘(303)을 선택하는 사용자 명령이 입력부(150)를 통해 입력되면, 제어부(130)는 선택된 아이콘(303)에 매핑된 디스플레이 아이템의 태스크인 버튼을 선택하는 기능을 실행한다.
아이콘은 제어부(130)가 디스플레이 아이템을 이용하여 수행가능한 태스크가 매핑된 가상 버튼이다. 예를 들어, 디스플레이 아이템이 텍스트를 포함하는 텍스트 아이템인 경우, 제어부(130)가 텍스트를 이용하여 수행가능한 태스크는 텍스트 선택, 텍스트 복사, 텍스트 공유 등일 수 있다. 제어부(130)는 각 태스크가 매핑된 아이콘을 UI 상에 디스플레이하도록 디스플레이부(110)를 제어한다. 제어부(130)는 '텍스트 선택', '텍스트 복사', '텍스트 공유'라는 문자가 적힌 아이콘을 UI 상에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 태스크는 수행 가능한 기능 등을 말하는 용어이다. 단일 기능이 아닌 순차적으로 수행되는 복수의 기능도 태스크일 수 있다.
또한, 제어부(130)는 오디오로 출력되는 텍스트(305) 및 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘(307)을 디스플레이 화면의 일 영역에 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 제어부(130)는 오디오로 출력되는 부분의 텍스트(305)를 시각적으로도 볼 수 있도록 UI 상의 일부에 디스플레이하도록 디스플레이부(110)를 제어한다. 디스플레이 화면의 화면 요소가 오디오로 출력되는 동안, 제어부(130)는 오디오 제어 아이콘(307)을 이용하여 오디오의 출력 상태를 제어한다. 예를 들어, 'pause' 아이콘이 선택되면 제어부(130)는 오디오 출력을 멈추도록 오디오 출력부(120)를 제어할 수 있다.
디스플레이된 UI에는 기설정된 아이콘(309)이 포함될 수 있다. 기설정된 아이콘(309)을 선택하는 사용자 명령이 입력부(150)에 입력되면, 제어부(130)는 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 디스플레이 아이템(301)에 대응되는 오디오 신호가 출력되는 동안에는 디스플레이 아이템의 태스크가 매핑된 아이콘(303)이 UI에 디스플레이되도록 제어부(130)가 디스플레이부(110)를 제어한다. 하지만, 다음 디스플레이 아이템에 대응되는 오디오 신호가 출력되면, 아이콘이 변경되어 실행하고자 하는 태스크를 수행하지 못하고 지나치는 경우가 발생할 수 있다. 따라서, 기설정된 일정 시간 동안은 디스플레이되었던 아이콘(303)을 남겨놓을 필요성이 존재한다. 예를 들어, 제어부(130)는 UI 상에 두 줄로 이전에 디스플레이되었던 아이콘과 현재 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 아이콘을 나누어 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
다른 예로는, 디스플레이된 UI에 포함된 기설정된 아이콘(309)을 선택하는 사용자 입력이 있는 경우에만, 제어부(130)는 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다. 기설정된 아이콘(309)을 이용하는 경우에, 화면에서 UI가 차지하는 비율이 낮아질 것이다.
본 발명의 일 실시 예에서 디스플레이 아이템은 뮤직 아이템일 수 있다. 도 4를 참조하면, 디스플레이 화면에 음악 어플리케이션이 실행되고 있음을 확인할 수 있다. 디스플레이 아이템은 뮤직 리스트에 포함된 복수의 뮤직 아이템(401-1, 401-2, 401-3)이다. 디스플레이 화면에 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템(401-1, 401-2, 401-3) 중 제1 뮤직 아이템(401-1)에 대응되는 오디오가 출력되면, 제어부(130)는 제1 뮤직 아이템(401-1)에 대응되는 뮤직을 실행하기 위한 아이콘(403)을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어한다. 아울러, 오디오 출력에 대응하여, 제어부(130)는 제1 뮤직 아이템(401-1)의 텍스트를 UI의 상단에 함께 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 다른 예로, 뮤직을 실행하기 위한 아이콘(403) 이외에도, 제어부(130)는 mp3 파일을 다운로드하기 위한 아이콘, 노래 가사나 작곡가 정보와 같은 음악 정보를 제공하기 위한 아이콘 등을 UI에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 또한, 제어부(130)는 오디오로 출력되는 부분의 텍스트(405)를 시각적으로도 볼 수 있도록 UI 상의 일부에 디스플레이하도록 디스플레이부(110)를 제어한다. 예를 들어, 도 4에서는 제1 뮤직 아이템(401-1)의 제목이 오디오로 출력되면, 제어부(130)는 제1 뮤직 아이템(401-1)의 제목 해당하는 텍스트(405)를 UI 상의 일부에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 다른 실시 예에 따르면, 디스플레이 아이템은 영상 리스트에 포함된 썸네일 아이템일 수 있다. 디스플레이 화면에 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 오디오 출력부(120)를 통해 출력되면, 제어부(130)는 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘, 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 다른 예로, 제어부(130)는 상술한 태스크를 수행하기 위한 아이콘 대신에 제1 썸네일 아이템에 대응되는 영상의 상영 시간 정보를 제공하기 위한 아이콘을 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다. 상술한 태스크 이외에도 당업자가 변형 가능한 태스크라면 제어부(130)는 해당 태스크가 매핑된 아이콘을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
도 5a 및 도 5b는 디스플레이 아이템이 스크롤 바 아이템인 경우를 설명하기 위한 도면이다. 본 발명의 일 실시 예에 따르면, 스크롤 바 아이템(501)에 대응되는 오디오가 출력되면, 제어부(130)는 스크롤 바를 이용하여 리스트의 위치를 변경하기 위한 아이콘(503-1, 503-2, 503-3, 503-4)을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어한다. 다른 예로, 스크롤 바 아이템(501)에 포함된 'A', 'B' 등의 오디오가 출력될 때, 제어부(130)는 오디오에 대응되는 텍스트인 'A', 'B' 등의 텍스트를 UI의 일 부분에 디스플레이하는 대신, 'Scroll Bar'라는 텍스트(505)를 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다. 또한, 제어부(130)는 "이 부분은 스크롤 바에 해당합니다."와 같은 오디오를 함께 출력하도록 오디오 출력부(120)를 제어할 수 있다.
도 5a에서 디스플레이된 아이콘 중 페이지를 내리는 아이콘(503-4)이 선택되면, 제어부(130)는 리스트의 페이지를 아래로 내려보내고 리스트의 아래 부분에 존재하는 정보를 디스플레이하도록 하는 태스크가 실행되도록 한다. 페이지를 내리는 아이콘(503-4)에 매핑된 태스크가 실행되면, 제어부(130)는 도 5b와 같이 디스플레이 화면이 변경되도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, A로 시작하는 사람의 리스트가 디스플레이되었다가 페이지를 내리는 아이콘(503-4)이 선택되면, B로 시작하는 사람의 리스트가 디스플레이될 수 있다. 또한, 리스트의 변경에 대응하여, 도 5a에서 제어부(130)는 디스플레이 화면의 중앙에 "Adam Bush"의 전화번호 정보 등이 디스플레이하도록 디스플레이부(110)를 제어하고 있으나, 도 5b에서 제어부(130)는 디스플레이 화면의 중앙에 "Brian"의 전화번호 정보 등이 디스플레이되도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 디스플레이 아이템은 영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템일 수 있다. 도 6을 살펴보면, 디스플레이 화면에 영상 컨텐츠가 디스플레이되는 동안 슬라이드 바 아이템(601)에 대응되는 오디오가 출력되면, 제어부(130)는 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘(603-1, 603-2)을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 슬라이드 바 아이템(601)과 같이 텍스트로 표현되지 않은 디스플레이 아이템의 경우에는 제어부(130)는 디스플레이 아이템의 명칭에 해당하는 오디오가 출력되도록 오디오 출력부(120)를 제어할 수 있다. 예를 들어, 도 6의 슬라이드 바 아이템(601)의 경우에, 제어부(130)는 "슬라이드 바", "비디오 타임라인 슬라이드 바", 또는 "이 부분은 슬라이드 바에 해당합니다."와 같은 오디오를 출력하도록 오디오 출력부(120)를 제어할 수 있다. 또한, 제어부(130)는 오디오 출력에 대응하여 "Video timeline slider bar"라는 텍스트(605)를 UI의 일부 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 디스플레이 아이템은 텍스트를 포함하는 텍스트 아이템일 수 있다. 도 7a 및 도 7b는 텍스트 아이템(701)이 디스플레이 아이템인 실시 예를 설명하기 위한 도면이다. 도 7a를 살펴보면, 텍스트 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘(703-1, 703-2), 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘(703-3), 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘(703-4) 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 도 7a에서 'Select'로 표시된 텍스트 아이템에 포함된 텍스트의 일부를 선택하기 위한 아이콘(703-1)이 선택되면, 도 7b에 도시된 바와 같이 제어부(130)는 대응되는 텍스트 부분을 선택한다. 예를 들어, 다른 선택되지 않은 텍스트와 구별되도록, 제어부(130)는 선택된 텍스트를 음영처리하여 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 다른 예로, 텍스트를 공유하기 위한 아이콘(703-4)이 선택되면, 제어부(130)는 해당되는 텍스트를 복사하고, 복사된 텍스트를 공유하는데 사용할 어플리케이션을 선택할 수 있는 목록을 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다. 또한, 텍스트 아이템에 대응되는 오디오가 출력되는 것에 대응하여, 제어부(130)는 오디오로 출력되는 텍스트(705)를 UI의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 일 실시 예에 따르면, 디스플레이 아이템은 하이퍼링크 아이템일 수 있다. 도 8a 및 도8b는 하이퍼링크 아이템(801)이 디스플레이 아이템인 실시 예를 설명하기 위한 도면이다. 도 8a를 살펴보면, 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 제어부(130)는 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘(803-1), 하이퍼링크를 복사하기 위한 아이콘(803-3) 및 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘(803-5) 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 하이퍼링크에 포함된 링크가 "http://blog.naver.com"인 경우에, 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘(803-1)이 선택되면, 제어부(130)는 도 8b와 같이 "http://blog.naver.com"에 해당하는 웹페이지를 연다. 또한, 제어부(130)는 화면의 일 영역에 출력되는 오디오에 대응되는 텍스트(805)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 도 8a 및 8b에서는 출력되는 오디오에 대응되는 텍스트가 하이퍼링크의 텍스트와 동일한 "http://blog.naver.com"이 될 것이다.
도 9a 내지 도 9d는 디스플레이 아이템이 텍스트 입력 아이템인 실시 예를 설명하기 위한 도면이다. 도 9a를 살펴보면, 디스플레이 아이템이 텍스트 입력 아이템(901)인 경우에, 제어부(130)는 텍스트 입력 아이템(901)에 대응되는 오디오를 출력하도록 오디오 출력부(120)를 제어할 수 있다. 예를 들어, 텍스트 입력 아이템(901)에 대응되는 오디오는 마지막으로 입력한 텍스트에 대응되는 오디오, "이 부분에 텍스트 입력이 가능합니다."와 같은 오디오 등일 수 있다. 마지막으로 입력된 텍스트에 대응되는 오디오가 출력되면, 제어부(130)는 UI의 일 영역에 마지막으로 입력된 텍스트(905)인 "Bye"를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 다른 예로, 제어부(130) 텍스트 입력 아이템이라는 것을 알리는 "Text Input"이라는 텍스트를 오디오에 대응되는 텍스트로 설정하여 UI의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수도 있다. 텍스트 입력 아이템(901)에 대응되는 오디오가 출력되면, 제어부(130)는 텍스트 입력을 위한 키패드를 열기 위한 아이콘(903-1), 텍스트 입력 위치를 조절하기 위한 커서를 이동시키기 위한 아이콘(903-2, 903-3) 및 텍스트 입력과 관련된 메뉴를 열기 위한 아이콘(903-4) 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
예를 들어, 텍스트 입력을 위한 키패드를 열기 위한 아이콘(903-1)이 선택되면, 제어부(130)는 도 9b와 같이 디스플레이 화면에 키패드를 디스플레이하도록 디스플레이부(110)를 제어한다. 디스플레이된 키패드에 사용자 인터렉션이 입력되면, 제어부(130)는 대응되는 문자 키를 입력한다. 다른 예로, 텍스트 입력 위치를 조절하기 위한 커서를 이동시키기 위한 아이콘(903-2, 903-3)이 선택되면, 제어부(130)는 도 9c와 같이 커서가 이동되도록 제어할 수 있다. 커서가 이동된 후 재차 키패드를 열기 위한 아이콘(903-1)이 선택되면, 제어부(130)는 커서가 이동된 위치에 문자를 입력할 수 있을 것이다. 또 다른 예로, 텍스트 입력과 관련된 메뉴를 열기 위한 아이콘(903-4)이 선택되면, 제어부(130)는 도 9d와 같이 텍스트를 선택하거나 붙여 넣는 등의 태스크를 수행할 수 있는 아이콘이 포함된 메뉴를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
도 10a 및 도 10b는 외부 어플리케이션을 통하여 태스크를 실행하는 실시 예를 설명하기 위한 도면이다. 도 10a를 살펴보면, 디스플레이 아이템인 사진 업로드 아이템(1001) 및 사진의 미리 보기 이미지들이 디스플레이 화면에 디스플레이되어 있다. 사진 업로드 아이템(1001)에 대응되는 오디오가 출력되면, 제어부(130)는 카메라 어플리케이션을 실행하여 업로드 할 사진을 선택하기 위한 아이콘(1003-1), 갤러리 어플리케이션을 실행하여 업로드 할 사진을 선택하기 위한 아이콘(1003-3) 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 부분에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 카메라 어플리케이션을 실행하여 업로드 할 사진을 선택하기 위한 아이콘(1003-1)이 선택되면, 도 10b에 도시된 바와 같이 제어부(130)는 외부의 카메라 어플리케이션을 실행한다. 외부 어플리케이션을 실행하는 경우에는 쉽게 원래의 디스플레이 화면으로 돌아가지 못하는 경우가 있어 사용자에게 불편함을 초래하게 된다. 예를 들어, 외부 어플리케이션이 실행된 경우에, 제어부(130)는 원래의 디스플레이 화면으로 바로 돌아갈 수 있도록 하는 아이콘(1011)을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
본 발명의 다른 실시 예에 따르면, 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 디스플레이하는 대신에, 제어부(130)는 오디오 출력을 멈추는 사용자 명령이 입력되는 것에 대응하여 디스플레이 아이템 주위에 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 예를 들어, 오디오 출력을 멈추는 사용자 명령은 UI에 포함된 오디오 제어 아이콘을 통하여 입력될 수 있다. 다른 예로, 오디오 출력을 멈추는 사용자 입력은 화면을 탭하는 사용자 인터렉션일 수 있다. 도 11a를 살펴보면, 하이퍼링크 아이템인 디스플레이 아이템(1101)에 대응되는 오디오가 출력되는 동안 화면을 탭하는 사용자 인터렉션이 입력되면, 제어부(130)는 오디오 출력을 중지하도록 오디오 출력부(120)를 제어한다. 그리고, 도 11b에 도시된 바와 같이, 제어부(130)는 사용자 인터레션이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템(1101) 주위에 적어도 하나의 아이콘(1103-1, 1103-3, 1103-5)을 포함하는 팝업 창을 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 본 발명의 실시 예를 통하여 설명된 디스플레이 아이템의 종류 이외에도 디스플레이 화면의 아이콘 등이 디스플레이 아이템일 수 있으며, 디스플레이 화면의 아이콘을 좌측 클릭, 더블클릭, 우측 클릭하는 태스크가 매핑된 아이콘들을 포함하는 UI가 디스플레이될 수도 있을 것이다. 이와 같이 본 발명의 사상은 상술한 실시 예에 한정되지 않으며, 당업자가 용이하게 구현할 수 있는 변형 실시 예를 모두 포함한다.
이하에서는 도 12 내지 도 14를 참조하여 디스플레이 장치(100)의 제어 방법에 대해 설명하기로 한다.
도 12는 본 발명의 일 실시 예에 따른, 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다. 우선, 디스플레이 장치(100)는 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 디스플레이 아이템에 대응되는 오디오를 출력한다(S1210). 이 단계는 TTS(Text-to-Sound)나 Talk Back 같은 기능을 통해 구현될 수도 있다. 오디오가 출력되는 동안, 디스플레이 장치(100)는 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이톰을 포함하는 적어도 하나의 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이한다(S1220). 이때, 디스플레이 장치(100)는 오디오로 출력되는 텍스트 및 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 디스플레이 화면의 일 영역에 UI와 함께 또는 UI에 포함하여 디스플레이할 수 있다. 디스플레이 장치(100)는 기설정된 시간 내에 디스플레이되었다 사라진 아이콘을 다시 디스플레이할 수 있는 기설정된 아이콘을 UI에 포함할 수 있다. 또한, UI에 포함된 기설정된 아이콘이 선택된 경우, 디스플레이 장치(100)는 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이할 수 있다. 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 입력되면, 디스플레이 장치(100)는 선택된 아이콘에 매핑된 디스플레이 아이템의 태스크를 실행한다(S1230).
예를 들어, 디스플레이 아이템이 뮤직 리스트에 포함된 뮤직 아이템인 경우, 디스플레이 장치(100)는 디스플레이 화면에 상기 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오를 출력할 수 있다. 그리고, 디스플레이 장치(100)는 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이할 수 있다. 아이콘을 선택하면, 디스플레이 장치(100)는 아이콘에 매핑된 태스크인 제1 뮤직 아이템을 실행하는 동작을 수행한다.
다른 예로, 디스플레이 아이템이 하이퍼링크 아이템인 경우에, 디스플레이 장치(100)는 하이퍼링크 아이템에 대응되는 오디오를 출력한다. 그리고, 디스플레이 장치(100)는 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 하이퍼링크를 복사하기 위한 아이콘 및 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이한다.
다른 예로, 디스플레이 아이템이 영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템인 경우에, 디스플레이 장치(100)는 디스플레이 화면에 상기 영상 컨텐츠가 디스플레이되는 동안 상기 슬라이드 바 아이템에 대응되는 오디오를 출력한다. 그리고, 디스플레이 장치(100)는 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이한다.
도 13은 본 발명의 일 실시 예에 따른, 디스플레이 아이템이 영상 리스트에 포함된 썸네일 아이템인 경우의 디스플레이 장치(100)의 제어 방법을 설명하기 위한 흐름도이다. 디스플레이 화면에 영상 리스트가 디스플레이되는 동안, 디스플레이 장치(100)는 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오를 출력할 수 있다(S1310). 그리고, 디스플레이 장치(100)는 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이할 수 있다(S1320). 이후, 디스플레이된 UI에 포함된 복수의 아이콘들 중 하나를 선택하는 사용자 명령이 입력되면(S1330), 디스플레이 장치(100)는 선택된 아이콘에 매핑된 디스플레이 아이템의 태스크를 실행한다. 만일, 실행 아이콘이 선택되면, 디스플레이 장치(100)는 매핑된 태스크인 제1 썸네일 아이템에 대응되는 영상을 실행하는 태스크를 수행한다(S1340). 다른 예로, 편집 아이콘이 선택되면, 디스플레이 장치(100)는 매핑된 태스크인 제1 썸네일 아이템에 대응되는 영상을 편집하는 태스크를 수행한다(S1350). 만일, 공유 아이콘이 선택되면, 디스플레이 장치(100)는 매핑된 태스크인 제1 썸네일 아이템에 대응되는 영상을 공유하는 태스크를 수행한다(S1360).
다른 예로, 디스플레이 아이템이 텍스트를 포함하는 텍스트 아이템인 경우에, 디스플레이 장치(100)는 텍스트 아이템에 대응되는 오디오를 출력한다. 그리고, 디스플레이 장치(100)는 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 디스플레이 화면의 일 영역에 디스플레이할 수 있다. 이후, 디스플레이된 UI에 포함된 복수의 아이콘들 중 하나를 선택하는 사용자 명령이 입력되면, 디스플레이 장치(100)는 선택된 아이콘에 매핑된 디스플레이 아이템의 태스크를 실행한다.
상술한 바와 같은 본 발명의 다양한 실시 예에 의하여, 사용자는 오디오를 통해 디스플레이 화면상의 요소들을 인지할 수 있을 뿐 아니라, 실행가능한 태스크도 UI를 통해 함께 알 수 있는 효과를 얻을 수 있다.
또한, 상술한 바와 같은 다양한 실시 예에 따른 제어 방법을 수행하기 위한 프로그램 코드는 다양한 유형의 기록 매체에 저장될 수 있다. 구체적으로는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.
100: 디스플레이 장치 110: 디스플레이부
120: 오디오 출력부 130: 제어부
140: 오디오 입력부 150: 입력부
160: 통신부 170: 저장부
180: 카메라부

Claims (20)

  1. 디스플레이 장치의 제어 방법에 있어서,
    디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 상기 디스플레이 아이템에 대응되는 오디오를 출력하는 단계; 및
    상기 오디오가 출력되는 동안, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 입력되면, 상기 선택된 아이콘에 매핑된 상기 디스플레이 아이템의 태스크를 실행하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 오디오로 출력되는 텍스트 및 상기 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 상기 일 영역에 함께 디스플레이하는 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 디스플레이하는 단계는,
    상기 오디오 제어 아이콘을 통해 상기 오디오 출력을 멈추는 사용자 명령이 입력되면, 상기 사용자 명령이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템 주위에 상기 적어도 하나의 아이콘을 포함하는 팝업 창을 디스플레이하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 디스플레이하는 단계는,
    상기 UI에 포함된 기설정된 아이콘이 선택된 경우, 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
  6. 제1항에 있어서,
    상기 디스플레이 아이템은,
    뮤직 리스트에 포함된 뮤직 아이템이며,
    상기 디스플레이하는 단계는,
    상기 디스플레이 화면에 상기 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오가 출력되면, 상기 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  7. 제1항에 있어서,
    상기 디스플레이 아이템은,
    영상 리스트에 포함된 썸네일 아이템이며,
    상기 디스플레이하는 단계는,
    상기 디스플레이 화면에 상기 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 출력되면, 상기 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 상기 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 상기 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  8. 제1항에 있어서,
    상기 디스플레이 아이템은,
    영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템이며,
    상기 디스플레이하는 단계는,
    상기 디스플레이 화면에 상기 영상 컨텐츠가 디스플레이되는 동안 상기 슬라이드 바 아이템에 대응되는 오디오가 출력되면, 상기 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  9. 제1항에 있어서,
    상기 디스플레이 아이템은,
    하이퍼링크 아이템이며,
    상기 디스플레이하는 단계는,
    상기 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 상기 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 상기 하이퍼링크를 복사하기 위한 아이콘 및 상기 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  10. 제1항에 있어서,
    상기 디스플레이 아이템은,
    텍스트를 포함하는 텍스트 아이템이며,
    상기 디스플레이하는 단계는,
    상기 텍스트 아이템에 대응되는 오디오가 출력되면, 상기 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 상기 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 상기 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하는 것을 특징으로 하는 제어 방법.
  11. 디스플레이 장치에 있어서,
    디스플레이부;
    오디오 신호를 출력하는 오디오 출력부; 및
    상기 디스플레이부의 디스플레이 화면에 포함된 디스플레이 아이템을 분석하여 상기 디스플레이 아이템에 대응되는 오디오를 출력하도록 상기 오디오 출력부를 제어하고,
    상기 오디오가 출력되는 동안, 출력되는 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 적어도 하나의 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  12. 제11항에 있어서,
    사용자 명령을 받는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 디스플레이된 UI에 포함된 아이콘을 선택하는 사용자 명령이 상기 입력부를 통해 입력되면, 상기 선택된 아이콘에 매핑된 상기 디스플레이 아이템의 태스크를 실행하는 것을 특징으로 하는 디스플레이 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 오디오로 출력되는 텍스트 및 상기 오디오 출력 상태를 제어할 수 있는 오디오 제어 아이콘을 상기 일 영역에 함께 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    사용자 명령을 받는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 오디오 제어 아이콘을 통해 상기 오디오 출력을 멈추는 사용자 명령이 상기 입력부를 통해 입력되면, 상기 사용자 명령이 입력된 시점에 출력되는 오디오와 대응되는 디스플레이 아이템 주위에 상기 적어도 하나의 아이콘을 포함하는 팝업 창을 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  15. 제11항에 있어서,
    사용자 명령을 받는 입력부;를 더 포함하고,
    상기 제어부는,
    상기 UI에 포함된 기설정된 아이콘이 상기 입력부를 통해 선택된 경우, 기설정된 시간 내에 이미 출력된 오디오에 대응되는 디스플레이 아이템을 제어하기 위한 복수의 아이콘을 포함하는 리스트를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  16. 제11항에 있어서,
    상기 디스플레이 아이템은,
    뮤직 리스트에 포함된 뮤직 아이템이며,
    상기 제어부는,
    상기 디스플레이 화면에 상기 뮤직 리스트가 디스플레이되는 동안 복수의 뮤직 아이템 중 제1 뮤직 아이템에 대응되는 오디오가 출력되면, 상기 제1 뮤직 아이템에 대응되는 뮤직을 실행하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  17. 제11항에 있어서,
    상기 디스플레이 아이템은,
    영상 리스트에 포함된 썸네일 아이템이며,
    상기 제어부는,
    상기 디스플레이 화면에 상기 영상 리스트가 디스플레이되는 동안 복수의 썸네일 아이템 중 제1 썸네일 아이템에 대응되는 오디오가 출력되면, 상기 제1 썸네일 아이템에 대응되는 영상을 실행하기 위한 아이콘, 상기 제1 썸네일 아이템에 대응되는 영상을 편집하기 위한 아이콘 및 상기 제1 썸네일 아이템에 대응되는 영상을 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  18. 제11항에 있어서,
    상기 디스플레이 아이템은,
    영상 컨텐츠의 재생시간을 나타내는 슬라이드 바 아이템이며,
    상기 제어부는,
    상기 디스플레이 화면에 상기 영상 컨텐츠가 디스플레이되는 동안 상기 슬라이드 바 아이템에 대응되는 오디오가 출력되면, 상기 영상 컨텐츠의 재생 시간을 조절하기 위한 아이콘을 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  19. 제11항에 있어서,
    상기 디스플레이 아이템은,
    하이퍼링크 아이템이며,
    상기 제어부는,
    상기 하이퍼링크 아이템에 대응되는 오디오가 출력되면, 상기 하이퍼링크에 연결된 웹페이지를 열기 위한 아이콘, 상기 하이퍼링크를 복사하기 위한 아이콘 및 상기 하이퍼링크를 포함하는 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  20. 제11항에 있어서,
    상기 디스플레이 아이템은,
    텍스트를 포함하는 텍스트 아이템이며,
    상기 제어부는,
    상기 텍스트 아이템에 대응되는 오디오가 출력되면, 상기 텍스트 아이템에 포함된 텍스트 중 적어도 일부를 선택하기 위한 아이콘, 상기 텍스트 아이템에 포함된 텍스트를 복사하기 위한 아이콘 및 상기 텍스트 아이템에 포함된 텍스트를 공유하기 위한 아이콘 중 적어도 하나를 포함하는 UI를 상기 디스플레이 화면의 일 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
KR1020140123558A 2014-09-17 2014-09-17 디스플레이 장치 및 그의 제어 방법 KR20160032880A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140123558A KR20160032880A (ko) 2014-09-17 2014-09-17 디스플레이 장치 및 그의 제어 방법
US14/848,828 US20160077795A1 (en) 2014-09-17 2015-09-09 Display apparatus and method of controlling thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140123558A KR20160032880A (ko) 2014-09-17 2014-09-17 디스플레이 장치 및 그의 제어 방법

Publications (1)

Publication Number Publication Date
KR20160032880A true KR20160032880A (ko) 2016-03-25

Family

ID=55454812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140123558A KR20160032880A (ko) 2014-09-17 2014-09-17 디스플레이 장치 및 그의 제어 방법

Country Status (2)

Country Link
US (1) US20160077795A1 (ko)
KR (1) KR20160032880A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059670A (ko) * 2019-11-14 2021-05-25 구글 엘엘씨 디스플레이된 텍스트 콘텐츠의 자동 오디오 재생

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324511B1 (en) * 1998-10-01 2001-11-27 Mindmaker, Inc. Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment
US7673241B2 (en) * 2002-06-26 2010-03-02 Siebel Systems, Inc. User interface for multi-media communication for the visually disabled
US20070211071A1 (en) * 2005-12-20 2007-09-13 Benjamin Slotznick Method and apparatus for interacting with a visually displayed document on a screen reader
US9201527B2 (en) * 2008-04-04 2015-12-01 Microsoft Technology Licensing, Llc Techniques to remotely manage a multimedia conference event
US20120001923A1 (en) * 2010-07-03 2012-01-05 Sara Weinzimmer Sound-enhanced ebook with sound events triggered by reader progress
US8904305B2 (en) * 2011-03-11 2014-12-02 Google Inc. Automatically hiding controls

Also Published As

Publication number Publication date
US20160077795A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
CN104077027B (zh) 显示应用的执行结果的设备及方法
JP6314975B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
EP3454196B1 (en) Method and apparatus for editing object
US20140109012A1 (en) Thumbnail and document map based navigation in a document
WO2017211072A1 (zh) 幻灯片播放控制方法和装置
US20130152024A1 (en) Electronic device and page zooming method thereof
JP2007249944A (ja) マルチタスキングのためのユーザインターフェース方法及びその方法を行うプログラムを記録したコンピュータで読み取り可能な記録媒体
KR101742578B1 (ko) 컨텐츠 관리 방법 및 이를 적용한 디스플레이 장치
WO2022062070A1 (en) Software clipboard
KR20120019531A (ko) 휴대 단말기의 ｇｕｉ제공 방법 및 장치
US20140113268A1 (en) Interactive visual assessment after a rehearsal of a presentation
JP6245321B2 (ja) 端末装置及び端末装置の制御方法
KR20150066129A (ko) 디스플레이 장치 및 그의 제어 방법
EP3855299A1 (en) Method for generating multimedia material, apparatus, and computer storage medium
TW201324306A (zh) 具有觸摸屏的電子設備及其頁面跳轉方法
US20140043255A1 (en) Electronic device and image zooming method thereof
EP3039519B1 (en) Method and device for displaying content
US20220374139A1 (en) Video editing application for mobile devices
CN109690464A (zh) 电子装置及其控制方法
KR20160032880A (ko) 디스플레이 장치 및 그의 제어 방법
EP2787424B1 (en) Method and apparatus for processing file in portable terminal
KR20140113096A (ko) 사용자단말장치 및 그 제어방법
KR101191189B1 (ko) 기능 실행 방법 및 이를 이용한 이동단말기
WO2016119453A1 (zh) 一种在文本中插入多媒体对象的方法、装置及终端
KR101649896B1 (ko) 콘텐츠 제공장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination