KR20120037401A - 통합 디지털 북 및 줌 인터페이스 디스플레이 - Google Patents

통합 디지털 북 및 줌 인터페이스 디스플레이 Download PDF

Info

Publication number
KR20120037401A
KR20120037401A KR1020117030094A KR20117030094A KR20120037401A KR 20120037401 A KR20120037401 A KR 20120037401A KR 1020117030094 A KR1020117030094 A KR 1020117030094A KR 20117030094 A KR20117030094 A KR 20117030094A KR 20120037401 A KR20120037401 A KR 20120037401A
Authority
KR
South Korea
Prior art keywords
display
book
digital
request
page
Prior art date
Application number
KR1020117030094A
Other languages
English (en)
Inventor
줄리오 에스트라다
루츠 게르하르트
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20120037401A publication Critical patent/KR20120037401A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/025—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application
    • G06F15/0291—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators adapted to a specific application for reading, e.g. e-books
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

하나 이상의 양태에 따르면, 디지털 북의 각기 다른 페이지들을 북 디스플레이 모델을 사용하여 장치의 양쪽 디스플레이 영역 각각에 디스플레이한다. 시맨틱 방식의 줌아웃에 응해서, 디지털 북이 보다 광범위한 컨텍스트로 디스플레이되고, 보다 광범위한 컨텍스트는 북 디스플레이 모델 대신에 컨텍스트 디스플레이 모델을 사용한다. 또한, 시맨틱 방식의 줌아웃 추가 요청에 응해서, 디지털 북은 점점 더 광범위한 컨텍스트로 디스플레이된다. 또한, 시맨틱 방식의 줌인 요청에 응해서, 디지털 북이 컨텍스트 디지털 모델 대신에 북 디스플레이 모델로 디스플레이될 때까지, 점점 더 협소한 컨텍스트로 디스플레이된다.

Description

통합 디지털 북 및 줌 인터페이스 디스플레이{INTEGRATING DIGITAL BOOK AND ZOOM INTERFACE DISPLAYS}
기술의 발전에 따라, 컴퓨터의 크기는 작아진 반면 그 계산 능력은 증가했다. 이로 인해, 광범위한 분야 및 환경에서 컴퓨터를 사용하게 되었다. 일례로, 기존의 종이책을 대신하여 컴퓨터가 사용된다. 종이에 인쇄되는 책의 텍스트 및 일러스트레이션 대신에, 컴퓨터에 의해 이러한 텍스트 및 일러스트레이션이 디지털로 저장되어 컴퓨터의 스크린에 디스플레이된다. 그러나, 이러한 현재의 컴퓨터의 사용에 문제가 없지는 않다. 이러한 문제로, 지금의 책에 관한 사용자 인터페이스는 복잡하고 직관적이지 않으며, 따라서 사용자가 책을 읽으려고 컴퓨터를 사용할 때에 좌절하게 된다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 컨셉을 간략화된 형태로 소개하기 위한 것이다. 본 요약은 특허청구된 대상의 핵심적인 특징 또는 필수적인 특징을 밝히기 위한 것이 아니며, 특허청구된 대상의 범위를 결정하는 데 일조하기 위해 사용되는 것도 아니다.
하나 이상의 양태에 따르면, 디지털 북의 각기 다른 페이지들이 북 디스플레이 모델을 통해 장치의 양쪽 디스플레이 영역 각각에 디스플레이된다. 더 많은 컨텍스트 보기 요청에 응해서, 디지털 북이 보다 광범위한 컨텍스트로 디스플레이되고, 보다 광범위한 컨텍스트는 북 디스플레이 모델 대신에 컨텍스트 디스플레이 모델을 사용한다. 또한, 더 적은 컨텍스트 보기 요청에 응해서, 컨텍스트 디스플레이 모델 대신에 북 디스플레이 모델로 디지털 북이 디스플레이된다.
하나 이상의 양태에 따르면, 디지털 북의 첫번째 페이지는 제 1 디스플레이 영역에 디스플레이되고, 디지털 북의 두번째 페이지는 제 2 디스플레이 영역에서 디스플레이된다. 더 많은 컨텍스트를 보려는 제 1 요청이 수신되고, 이러한 제 1 요청에 응해서, 디지털 북의 첫번째 페이지 및 첫번째 페이지의 컨텍스트가 제 1 디스플레이 영역에 디스플레이되고, 디지털 북의 두번째 페이지 및 두번째 페이지의 컨텍스트가 제 2 디스플레이 영역에 디스플레이된다. 제 1 요청을 수신한 후에, 더 많은 컨텍스트를 보려는 제 2 요청이 수신된다. 제 2 요청에 응해서, 제 1 디스플레이 영역에 디지털 북이 디스플레이되고, 제 2 디스플레이 영역에 다수의 추가 디지털 북들이 디스플레이된다.
도면 전체에 걸쳐 유사한 특징을 참조하는 데에 동일한 부호가 사용된다.
도 1은 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 시스템의 일례를 도시한다.
도 2는 하나 이상의 실시예에 따른, 북 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 일례를 도시한다.
도 3은 하나 이상의 실시예에 따른, 북 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 4는 하나 이상의 실시예에 따른, 컨텍스트 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 일례를 도시한다.
도 5는 하나 이상의 실시예에 따른, 컨텍스트 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 6은 하나 이상의 실시예에 따른, 컨텍스트 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 7은 하나 이상의 실시예에 따른, 스크래치패드 모드를 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 일례를 도시한다.
도 8은 하나 이상의 실시예에 따른, 스크래치패드 모드를 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 9는 하나 이상의 실시예에 따른, 스크래치패드 모드를 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 10은 하나 이상의 실시예에 따른, 컨텍스트 디스플레이 모델을 사용하여 디지털 북을 디스플레이하는 두 개의 디스플레이 영역들을 갖는 사용자 인터페이스 디스플레이의 다른 일례를 도시한다.
도 11은 하나 이상의 실시예에 따른, 디지털 북과 줌 인터페이스 디스플레이들 간의 예시적인 전환을 나타내는 상태 다이어그램의 일례를 도시한다.
도 12는 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 장치에 대한 프로세스의 일례를 도시하는 순서도이다.
도 13은 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 장치에 대한 프로세스의 일례를 도시하는 순서도이다.
도 14는 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하도록 구성되는 컴퓨팅 장치의 일례를 도시한다.
본원에서는 통합 디지털 북 및 줌 인터페이스 디스플레이들에 대해 논의된다. 하나 이상의 디지털 북에 관한 정보를 디스플레이하기 위해 두 개의 디스플레이 영역이 사용된다. 북 디스플레이 모델 및 컨텍스트 디스플레이 모델을 포함하는 여러 다른 모델들을 사용하여 정보를 디스플레이할 수 있다. 북 디스플레이 모델에서는, 두 개의 디스플레이 영역에서 디지털 북의 페이지들이 디스플레이되어, 사용자가 종이책처럼 책 페이지들을 읽을 수 있다. 컨텍스트 디스플레이 모델에서는, 디지털 북의 페이지 및/또는 디지털 북의 이미지가 컨텍스트로 디스플레이된다. 이러한 컨텍스트는 디지털 북의 추가 페이지 및/또는 디지털 북에 관련된 다른 디지털 북들일 수도 있다.
컨텍스트 디스플레이 모델에서는 다수의 상이한 레벨의 컨텍스트 정보가 디스플레이될 수 있다. 상위 레벨의 컨텍스트 정보는 광범위한 컨텍스트(예컨대, 추가 디지털 북들)를 제공하고, 하위 레벨의 컨텍스트 정보는 협소한 컨텍스트(예컨대, 보다 적은 디지털 북들)를 제공한다. 사용자는 광범위한 컨텍스트에서 디스플레이되는 정보를 디스플레이하는 요청인, 시맨틱 방식의 줌아웃(semantically zoom out) 요청을 입력할 수 있다. 시맨틱 방식의 줌아웃 요청으로 인해, 상위 레벨의 컨텍스트 디스플레이 모델을 통해 북 디스플레이 모델로부터 전환되어 정보가 디스플레이되게 된다. 또한, 사용자는 협소한 컨텍스트에서 디스플레이되는 정보를 디스플레이하는 요청인, 시맨틱 방식의 줌인(semantically zoom in) 요청을 입력할 수 있다. 시맨틱 방식의 줌인 요청으로 인해, 어느 한 컨텍스트 디스플레이 모델로부터 하위 레벨의 컨텍스트 디스플레이 모델 또는 북 디스플레이 모델로 전환되어 정보가 디스플레이되게 된다.
도 1은 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 예시적인 시스템(100)을 도시한다. 컴퓨팅 장치(102)는 디지털 북의 디스플레이를 생성할 수 있는 다양한 여러 장치일 수 있다. 예를 들어, 컴퓨팅 장치(102)는 디지털 메모장, 디지털 북 전용 디스플레이 장치, 데스크탑 컴퓨터, 단말기, 넷북, 엔터테인먼트 가전, 디스플레이 장치에 통신 연결된 셋톱 박스, 이동 또는 무선 전화, 게임 콘솔, 자동차용 컴퓨터 등일 수 있다. 컴퓨팅 장치(102)는 상당한 메모리와 프로세서 리소스를 갖는 풀 리소스 장치(full resource device, 예컨대, 개인 컴퓨터, 게임 콘솔)에서 한정된 메모리 및/또는 프로세싱 리소스를 갖는 로우 리소스 장치(low-resource device, 예컨대, 기존 셋톱 박스, 핸드헬드 게임 콘솔)까지 다양하다.
컴퓨팅 장치(102)는 디스플레이 모듈(104), 로컬 스토어(106), 사용자 입력 모듈(108) 및 통신 모듈(110)을 포함한다. 컴퓨팅 장치(102)는 디지털 북의 디스플레이들을 획득, 저장 및 생성할 수 있다. 디지털 북이란 전자적으로 저장되어 디스플레이될 수 있는 하나 이상의 페이지들의 집합을 의미한다. 디지털 북은 다양한 여러 다른 형태를 취할 수 있다. 예를 들어, 디지털 북은 소설, 교재 또는 기타 기존의 종이책의 전자 형태일 수 있다. 또 다른 예로, 디지털 북은 잡지, 책자, 팸플릿, 공책 등의 전자 형태일 수 있다. 컴퓨팅 장치(102)는 선택적으로, 예컨대, 공책에 추가되는 사용자 메모와 같이 디지털 북의 일부분으로 저장되는 데이터를 사용자가 입력하게 할 수 있다. 디지털 북에 상응하는 종이 기반 형태가 있을 수도 있고, 아니면 디지털 북에 상응하는 이러한 종이 기반 형태가 없을 수도 있다.
로컬 스토어(106)는 디지털 북의 로컬 저장소를 제공한다. 로컬 스토어(106)는 자기 디스크, 광 디스크, 고체 상태 디스크(예컨대, 플래시 메모리) 및 이들의 조합을 사용하는 등 다양한 여러 방식으로 구현될 수 있다. 로컬 스토어(106)는 컴퓨팅 장치(102)의 일부인 고정 저장 장치로 구현되거나, 아니면 컴퓨팅 장치(102)에 연결된 이동식 저장 장치로서 구현될 수 있다. 이동식 저장 장치는 USB(Universal Serial Bus) 연결, 무선 USB 연결, IEEE 1394 연결, 적외선 연결 등 여러 다양한 기법을 통해 컴퓨팅 장치(102)에 연결될 수 있다.
통신 모듈(110)은 여러 원격 서비스 또는 장치들과의 통신을 관리한다. 통신 모듈(110)은 추가 디지털 북 또는 디지털 북에 대한 정보(예컨대, 저자, 발행일, 장르, 디지털 북의 커버 이미지 등)를 원격 서비스나 장치로부터 검색가능하게 한다. 통신 모듈(110)에서 얻어진 디지털 북 또는 디지털 북에 대한 정보는 로컬 스토어(106)에 저장될 수 있다. 통신 모듈(110)은 인터넷, LAN(local area network), 공중 전화 네트워크, 인트라넷, 기타 공공 및/또는 사유 네트워크, 이들의 조합 등을 통해 여러 다양한 방식으로 원격 서비스 또는 장치와 통신할 수 있다. 또한, 통신 모듈(110)은 무선 USB 연결, 적외선 연결 등을 통해 로컬 서비스 또는 장치들과 통신할 수 있다.
사용자 입력 모듈(102)은 컴퓨팅 장치(102)에서 사용자 입력 또는 요청을 수신가능하게 한다. 사용자 입력 모듈(102)은 장치(102)의 여러 물리적 버튼 또는 키의 선택, 장치(102)의 스크린을 통해 디스플레이되는 여러 버튼의 선택(예컨대, 터치스크린을 통해 선택), 장치(102)의 터치스크린(또는 터치패드)을 통한 특정 입력(예컨대, 터치스크린을 한 번 두드리기, 터치스크린을 연달아 두 번 두드리기, 터치스크린에 "X"와 같은 특정 부호 입력), 장치로 특정 물리적 피드백을 입력(예컨대, 장치(102)의 임의의 부분을 두드리기 또는, 장치 흔들기, 자이로스코프(gyroscope)를 가진 장치를 회전시키기 등 장치(102)의 움직임 탐지 컴포넌트에서 인식가능한 다른 동작), 음성 명령어 등 여러 다양한 입력 기법을 지원할 수 있다.
디스플레이 모듈(104)은 북 디스플레이 모델 및 컨텍스트 디스플레이 모델을 사용하여 디지털 북의 디스플레이를 관리한다. 컴퓨팅 장치(102)는 디지털 북들을 디스플레이하게 하는 디스플레이 컴포넌트를 포함하거나, 또는 컴퓨팅 장치(102)는 디지털 북들을 디스플레이하는 여러 다른 컴포넌트 또는 장치들에 신호를 출력할 수 있다. 디지털 북들은 텔레비전, 모니터, LCD(liquid crystal display), 프로젝터 또는 이미지 데이터를 렌더링하는 기타 디스플레이 시스템에서 디스플레이될 수 있다.
디지털 북들은 두 개의 디스플레이 영역(112 및 114)을 사용하여 디스플레이된다. 하나 이상의 실시예들에서, 각 디스플레이 영역(112 및 114)은 별개의 디스플레이 컴포넌트이다. 예를 들어, 각 디스플레이 영역(112 및 114)은 별개의 LCD 스크린일 수 있다. 또 다른 실시예들에서, 디스플레이 영역(112 및 114)은 단일 디스플레이 컴포넌트의 분리된 부분들일 수 있다. 예를 들어, 각 디스플레이 영역(112 및 114)은 단일 LCD 스크린 상의 별개의 창일 수 있다. 디스플레이 모듈(104)은 두 개의 디스플레이 영역(112 및 114)을 인지하고, 각 영역(112 및 114)의 컨텐츠 디스플레이들을 생성한다. 각 영역(112 및 114)에 디스플레이되는 구체적인 컨텐츠는 사용자 입력에 따라 달라지며, 이에 대해서는 아래에서 보다 상세하게 논의될 것이다. 그러나, 두 개의 디스플레이 영역(112 및 114)이 있으므로, 이 두 개의 디스플레이 영역(112 및 114)에 상이한 컨텐츠가 동시에 디스플레이될 수 있음을 알 것이다. 디스플레이 모델(104)은 아래에서 보다 상세하게 논의되는 북 디스플레이 모델 및 컨텍스트 디스플레이 모델을 사용하여, 이 두 개의 디스플레이에 맞춰 디지털 북의 디스플레이, 디지털 북의 페이지들 및/또는 디지털 북의 컨텍스트를 조정할 수 있다.
도 1에는 두 개의 디스플레이 영역(112 및 114)이 도시되어 있지만, 추가적인 디스플레이 영역들이 사용될 수도 있음을 알 것이다. 이러한 추가 영역들은 디지털 북의 추가적인 페이지들 및/또는 추가적인 컨텍스트 정보를 디스플레이하게 된다.
특정 디지털 북에서, 상이한 모델들을 통해 정보가 디스플레이될 수 있다. 이러한 상이한 모델들에는 북 디스플레이 모델 및 컨텍스트 디스플레이 모델이 포함된다. 북 디스플레이 모델에서, 디지털 북의 각 페이지들이 디스플레이 영역(112 및 114)에 디스플레이되며, 일반적으로 다른 페이지들이 동시에 영역(112 및 114)에 디스플레이된다. 사용자는 디스플레이 영역(112 및/또는 114)을 확대(또는 축소)하는 요청을 입력하여, 디지털 북의 페이지의 일부분을 보다 쉽게 볼 수 있다. 또한, 사용자는 이들 영역(112 및 114)에 디스플레이되는 디지털 북의 페이지를 변경하는 요청을 입력하여, 종이책처럼 디지털 북의 페이지들을 넘기거나 젖힐 수 있다.
컨텍스트 디스플레이 모델에서, 디지털 북 및/또는 그 일부가 상이한 컨텍스트들로 디스플레이된다. 이러한 컨텍스트는 디지털 북의 다른 부분들(예컨대, 페이지들) 및/또는 이 디지털 북에 관련된 다른 책들을 의미한다. 그 디지털 북 및/또는 그 일부의 상이한 컨텍스트들이 디스플레이되어, 상이한 컨텍스트 레벨을 야기한다. 예를 들어, 각 디스플레이 영역(112 및 114)은 디지털 북의 추가 페이지 또는 챕터들과 같이, 디스플레이된 페이지의 컨텍스트 뿐만 아니라 디지털 북의 다른 페이지를 디스플레이할 수 있다. 또 다른 예를 들면, 디스플레이 영역(114)에 디스플레이되는 책(예컨대, 사용자가 이용가능한 다른 책들)의 컨텍스트와 함께 디지털 북의 이미지가 디스플레이 영역(112)에서 디스플레이될 수 있다. 컨텍스트 디스플레이 모델에서 컨텍스트 정보의 다수의 상이한 레벨들이 디스플레이될 수 있으며, 이는 아래에서 보다 상세하게 논의될 것이다.
또한, 사용자는 시맨틱 방식의 줌아웃 요청을 입력할 수 있고, 따라서 컨텍스트 디스플레이 모델의 상이한 레벨들을 통해 북 디스플레이 모델로부터 전환되는 정보가 디스플레이된다. 시맨틱 방식의 줌아웃이란 이전 디스플레이로부터의 정보를 추가 컨텍스트로 디스플레이하는 것을 의미한다. 사용자가 컨텍스트 레벨을 통해 시맨틱 방식의 줌아웃을 하면, 다음 컨텍스트 레벨은 이전 컨텍스트 레벨에서 디스플레이된 정보를 보다 광범위한 컨텍스트(예컨대, 추가 디지털 북들)로 디스플레이한다. 또한, 사용자는 시맨틱 방식의 줌인 요청을 입력하여, 어느 한 레벨의 컨텍스트 디스플레이 모델로부터 하위 레벨의 컨텍스트 디스플레이 모델 또는 북 디스플레이 모델로 전환되어 정보가 디스플레이되게 된다. 시맨틱 방식의 줌인이란 이전 컨텍스트 레벨에 대한 정보를 보다 협소한 컨텍스트로 디스플레이하는 것을 말한다. 사용자가 컨텍스트 레벨을 통해 시맨틱 방식으로 줌인하면, 다음 컨텍스트 레벨은 이전 컨텍스트 레벨에서 디스플레이된 정보의 적어도 일부를 보다 협소한 컨텍스트(예컨대, 보다 적은 디지털 북들)로 디스플레이한다. 이러한 시맨틱 방식의 줌인 및 줌아웃은 아래에서 보다 상세하게 논의될 것이다.
도 2 내지 10은 하나 이상의 실시예에 따른, 두 개의 디스플레이 영역을 사용하는 사용자 인터페이스 디스플레이의 예시들을 도시한다. 예를 들어, 이들 사용자 인터페이스 디스플레이는 도 1의 디스플레이 영역(112 및 114)에 디스플레이되고, 도 1의 사용자 입력 모듈(108)을 통해 사용자 입력이 수신될 수 있다. 컨텍스트 디스플레이 모델뿐만 아니라 북 디스플레이 모델의 각기 다른 디스플레이들이 도시된다. 또한, 컨텍스트 디스플레이 모델에 대한 다수의 컨텍스트 레벨들도 도시된다. 도 2 내지 10에 도시된 사용자 인터페이스 디스플레이들은 예시에 불과하며, 본원에서 논의되는 통합 디지털 북 및 줌 인터페이스 디스플레이들에 따라 다양한 다른 사용자 인터페이스들이 디스플레이될 수 있음을 알 것이다.
도 2 내지 10에서, 사용자 입력에 따른 사용자 인터페이스 디스플레이의 다양한 변화에 대해 논의될 것이다. 사용자는 앞서 논의된 다양한 다른 방식으로 이러한 입력을 표시한다. 또한, 다른 사용자 요청을 나타내기 위해 다른 입력들이 사용될 수도 있다. 예를 들어, 하나의 키 순서 조합(key sequence) 또는 다른 동작으로 책을 다음 페이지로 넘기는 요청을 할 수 있고, 다른 키 순서 조합 또는 다른 동작으로 시맨틱 방식의 줌아웃을 요청할 수 있으며, 또 다른 키 순서 조합 또는 다른 동작으로 시맨틱 방식의 줌인을 요청할 수 있다.
도 2는 제 1 디스플레이 영역(202) 및 제 2 디스플레이 영역(204)을 갖는 사용자 인터페이스 디스플레이(200)를 도시한다. 사용자 인터페이스 디스플레이(200)는 북 디스플레이 모델을 사용하여 디지털 북의 두 페이지를 디스플레이한다. 디지털 북의 한 페이지가 영역(202)에 디스플레이되고, 다른 페이지가 영역(204)에 디스플레이된다. 이러한 디지털 북은 사용자의 관심의 현재 초점으로 여겨지기 때문에, 초점 디지털 북(focus digital book)이라고도 한다.
도 3은 제 1 디스플레이 영역(302) 및 제 2 디스플레이 영역(304)을 갖는 사용자 인터페이스 디스플레이(300)를 도시한다. 사용자 인터페이스 디스플레이(300)도 북 디스플레이 모델을 사용하여 디지털 북의 두 페이지를 디스플레이한다. 그러나, 사용자 인터페이스 디스플레이(300)는 사용자가 페이지를 넘겨 디지털 북을 살펴봤다는 점에서 사용자 인터페이스 디스플레이(200)와 다르다. 따라서, 사용자 인터페이스 디스플레이(200 및 300)에서 볼 수 있듯이, 북 디스플레이 모델에 의해 디지털 북의 다른 페이지들이 두 개의 디스플레이 영역에 나란히 동시에 디스플레이될 수 있다. 이러한 동시에 나란히 된 디스플레이는 종이책의 외관 및 느낌과 유사한 디지털 북의 외관 및 느낌을 제공한다. 또한, 도 2 및 3에 도시되어 있지는 않지만, 사용자는 디지털 북의 어느 하나 또는 양쪽 모두의 페이지를 확대할 수 있다.
도 4는 제 2 디스플레이 영역(402) 및 제 2 디스플레이 영역(404)을 갖는 사용자 인터페이스 디스플레이(400)를 도시한다. 북 디스플레이 모델로부터 시맨틱 방식으로 줌아웃하는 사용자 요청에 따라 사용자 인터페이스 디스플레이(400)가 디스플레이된다. 사용자 인터페이스 디스플레이(400)는 컨텍스트 디스플레이 모델을 사용하여 초점 디지털 북의 두 페이지를 디스플레이한다. 디지털 북의 한 페이지(412)는 그 페이지(412)의 컨텍스트와 함께 디스플레이 영역(402)에 디스플레이되고, 디지털 북의 추가 페이지(414)는 그 추가 페이지(414)의 컨텍스트와 함께 디스플레이 영역(404)에 디스플레이된다.
도시된 디스플레이(400)의 예에서, 페이지(412)에 대한 컨텍스트(422)가 디스플레이된다. 페이지(412)는 영역(402 및 404)에 디스플레이되는 두 페이지 중 왼쪽 페이지므로, 컨텍스트(422)는 디지털 북의 페이지(412) 앞의 다수의 페이지들이다. 앞 페이지들은 책의 페이지(412)로부터 거꾸로 하나씩 페이지를 선택하여 식별되거나, 또는 페이지 점프가 일어날 수도 있다. 예를 들어, 페이지(412)가 디지털 북의 페이지 번호(487)라면, 컨텍스트(422)는 페이지 번호들(486, 485, 484, 483, 482, 481 등)일 수 있다. 또 다른 예로, 페이지(412)가 디지털 북의 페이지 번호(487)라면, 컨텍스트(422)는 페이지 번호들(486, 485, 484, 480, 470, 450 등)일 수 있다. 이러한 점프들은 건너뛰는 특정 번호의 페이지이거나, 앞 챕터 제목 페이지들로의 점프 등일 수 있다.
이와 유사하게, 페이지(414)에 대한 컨텍스트(424)가 디스플레이된다. 페이지(414)는 영역(402 및 404)에 디스플레이되는 두 페이지 중 오른쪽 페이지므로, 컨텍스트(424)는 디지털 북의 페이지(414) 다음의 다수의 페이지들이다. 다음 페이지들은 책의 페이지(414)로부터 앞으로 하나씩 페이지를 선택하여 식별되거나, 또는 페이지 점프가 일어날 수도 있다. 예를 들어, 페이지(414)가 디지털 북의 페이지 번호(488)라면, 컨텍스트(424)는 페이지 번호들(489, 490, 491, 492, 493, 494 등)일 수 있다. 또 다른 예로, 페이지(414)가 디지털 북의 페이지 번호(488)라면, 컨텍스트(424)는 페이지 번호들(489, 490, 491, 492, 495, 500, 510 등)일 수 있다. 이러한 점프들은 건너뛰는 특정 번호의 페이지이거나, 다음 챕터 제목 페이지들로의 점프 등일 수 있다.
디스플레이(400)에서, 컨텍스트(422 및 424)는 특정 패턴(예컨대, 나선형)의 페이지들로 나타낼 수 있다. 컨텍스트(422 및 424)의 페이지 패턴은 달라질 수 있으며, 다른 패턴이 사용될 수도 있음을 알 것이다. 또한, 컨텍스트(422)의 페이지들에 사용되는 패턴이 컨텍스트(424)의 페이지들에 사용되는 패턴과 다를 수 있다. 예를 들어, 컨텍스트(422) 및/또는 컨텍스트(424)의 페이지들은 리스트, 그리드, 삼각형 또는 기타 기하학적인 형태 등으로 배열될 수 있다.
디스플레이(400)에서 볼 수 있듯이, 도 2 및 3에 도시된 북 디스플레이 모델로부터 시맨틱 방식으로 줌아웃하는 사용자 요청에 응해서, 디지털 북의 페이지들이 디스플레이 영역에 컨텍스트로 디스플레이된다. 페이지들에 대한 이러한 컨텍스트는 사용자에게 디지털 북의 그 페이지들의 컨텍스트에 대해 알려준다. 따라서, 시맨틱 방식의 주밍(zooming)은 디지털 북의 페이지들을 단순히 다른 크기로 스케일링하는 것이 아니라, 디지털 북의 페이지에 대한 컨텍스트를 제공하게 된다.
사용자는 사용자 인터페이스 디스플레이(400)를 통해 다양한 다른 동작 요청을 입력할 수 있다. 사용자는 도 2의 사용자 인터페이스 디스플레이(200)가 디스플레이되게 하는 시맨틱 방식의 줌인 요청을 입력할 수 있다. 사용자는 도 5의 사용자 인터페이스 디스플레이(500)가 디스플레이되게 하는 시맨틱 방식의 줌아웃 요청을 입력할 수 있으며, 이는 아래에서 보다 상세하게 논의될 것이다. 사용자는 스크래치패드 모드로 들어가는 요청을 입력할 수 있으며, 이에 대해서는 아래에서 보다 상세하게 논의될 것이다. 사용자는 컨텍스트(422) 또는 컨텍스트(424)의 특정 페이지를 선택할 수도 있다. 컨텍스트(422) 또는 컨텍스트(424)의 페이지의 선택에 대응하여, 도 2의 사용자 인터페이스 디스플레이(200)는 도 2의 디스플레이 영역(202 및 204)의 페이지들 중 어느 하나인 선택된 페이지로 디스플레이되며, (있다면) 그 앞 또는 뒤 페이지는 나머지 다른 디스플레이 영역(202 및 204)에 디스플레이되는 페이지가 된다. 선택된 페이지가 어느 디스플레이 영역(202 및 204)에 디스플레이되는 지는 다양한 다른 방식으로 결정될 수 있다(예컨대, 컨텍스트(422)로부터 선택되면, 선택된 페이지는 디스플레이 영역(202)에 디스플레이되고, 컨텍스트(424)로부터 선택되면, 디스플레이 영역(204)에 디스플레이됨).
도 5는 제 1 디스플레이 영역(502)과 제 2 디스플레이 영역(504)을 갖는 사용자 인터페이스 디스플레이(500)를 도시한다. 사용자 인터페이스 디스플레이(500)는 도 4의 사용자 인터페이스 디스플레이(400)로부터 시맨틱 방식으로 줌아웃을 하는 사용자 요청에 따라 디스플레이된다. 사용자 인터페이스 디스플레이(500)는 도 4의 사용자 인터페이스 디스플레이(400)보다 더 광범위한 컨텍스트 또는 더 많은 컨텍스트를 제공한다. 사용자 인터페이스 디스플레이(500)는 컨텍스트 디스플레이 모델을 통해 초점 디지털 북을 디스플레이한다. 디지털 북의 이미지가 디스플레이 영역(502)에 디스플레이되고, 여러 다른 디지털 북들의 이미지가 디스플레이 영역(504)에 디스플레이된다. 하나 이상의 실시예에서, 디지털 북의 이미지는 그 디지털 북의 커버 또는 커버 페이지이다. 또는, 디지털 북의 다른 이미지들이 (예컨대, 그 디지털 북의 발행인 및/또는 저자로부터) 얻어질 수 있다. 디지털 북의 이미지를 디스플레이하는 것은 디지털 북을 디스플레이하는 것을 의미한다.
디스플레이 영역(504)에 디스플레이되는 디지털 북들은 디스플레이 영역(502)에 디스플레이되는 디지털 북에 대한 보다 광범위한 컨텍스트를 제공한다. 디스플레이 영역(504)에 디스플레이되는 디지털 북들은 적어도 부분적으로는 디스플레이 영역(502)에 디스플레이되는 초점 디지털 북을 기초로 하며, 다양한 다른 기준들에 기반하여 구분될 수 있다. 이러한 기준들은 초점 디지털 북의 사용자 또는 소유자(예를 들어, 초점 디지털 북을 볼 권리를 구입하거나 취득한 개인 또는 단체)에 근거한 기준을 포함할 수 있다. 이 사용자 또는 소유자는 디스플레이 북을 디스플레이하는 장치(예컨대, 도 1의 장치(102))의 소유자이거나 아니면, 다른 개인 또는 단체일 수 있다. 예를 들어, 디스플레이 영역(504)의 디지털 북들은 초점 디지털 북 사용자의 지역 도서관에 있는 디지털 북들, 초점 디지털 북 사용자가 좋아하는 책 리스트에 있는 디지털 북들, 추천 디지털 북 리스트에 있는 디지털 북 또는 초점 디지털 북 사용자가 읽을 디지털 북들, 초점 디지털 북과 동일한 장르이거나 동일한 저자의 디지털 북들 등일 수 있다.
또한, 사용자는 디스플레이 영역(504)에 디스플레이되는 디지털 북들을 구분하기 위해 특정 기준을 사용하도록 요청할 수 있다. 사용자는 이러한 요청을, 디스플레이 영역(504)에 디스플레이되도록 디지털 북들이 선택될 때마다 사용되는 구성 또는 선호도 설정으로 지정할 수 있다. 또는, 사용자는 디스플레이(500)가 디스플레이되는 동안, 특정 기준이 사용되도록 식별하는 요청을 입력할 수 있다. 예를 들어, 처음에는 디스플레이 영역(504)에서 초점 디지털 북의 사용자가 읽을 디지털 북 리스트에 있는 디지털 북들이 디스플레이되고, 사용자는 디스플레이 영역(504)의 디지털 북들이 초점 디지털 북과 동일한 저자의 디지털 북들이 되게 하는 요청을 입력할 수 있다. 디스플레이(500)가 디스플레이되는 동안 이러한 요청에 응해서, 새로운 기준을 만족시키는 상이한 세트의 디지털 북들이 식별되고 디스플레이 영역(504)에 디스플레이된다.
또한, 디스플레이 영역(504)에 디스플레이되는 디지털 북들은 다양한 다른 기준들을 기초로 하여 다양한 다른 방식으로 배열될 수 있다. 예를 들어, 디지털 북들은 저자 또는 타이틀에 따라 알파벳 순으로, 또는 초점 디지털 북의 소유자 또는 임의의 다른 단체에서 정한 평가 순위에 따라서, 발행일에 따라서, 사용자가 가장 최근에 읽은 디지털 북에 따라서 등으로 배열될 수 있다. 또한, 사용자는 디스플레이 영역(504)에 디스플레이되는 디지털 북들을 배열하는 데에 다른 기준들이 사용되도록 요청할 수 있다. 사용자는 이러한 요청을, 디지털 북들이 디스플레이 영역(504)에 디스플레이될 때마다 사용되는 구성 또는 선호도 설정으로 지정할 수 있다. 또는, 사용자는 디스플레이(500)가 디스플레이되는 동안, 사용될 기준을 식별하는 요청을 입력할 수 있다. 예를 들어, 처음에는 디스플레이 영역(504)에서 저자에 따른 알파벳 순서로 디지털 책들이 디스플레이되고, 사용자는 디스플레이 영역(504)의 디지털 북들이 사용자가 최근에 읽은 순서대로 디스플레이 되게 하는 요청을 입력할 수 있다. 디스플레이(500)가 디스플레이되는 동안에 이러한 요청에 따라, 디스플레이 영역(504)의 디지털 북들의 디스플레이가 새로운 기준에 부합하도록 변경된다.
나아가, 디스플레이 영역(504)의 일부 디지털 북들은 보다 크게, 다른 테두리로, 다른 색상으로 디스플레이되는 등 보다 두드러지게 디스플레이될 수 있다. 디스플레이 영역(504)에서 보다 두드러지게 디스플레이되는 디지털 북들은 디지털 북의 저자, 장르, 가격을 기초로 하는 등의 다양한 다른 방식으로 선택될 수 있다.
디스플레이 영역(502)에 디스플레이되는 디지털 북은 책의 커버 다음에 있는 하나 이상의 페이지들(506)로 디스플레이된다. 이 여러 페이지들(506)은 초점 디지털 북을 디스플레이 영역(504)의 다른 책들과 구별되는 것을 돕기 위해 디스플레이된다. 이러한 여러 페이지들(506)은 영역(502)에 디스플레이되는 디지털 북이 사용자가 시맨틱 방식으로 줌아웃하기 전에 보던 디지털 북임을 쉽게 확인가능하도록 하기 위해 사용될 수 있다.
사용자는 사용자 인터페이스 디스플레이(500)를 통해 다양한 다른 동작 요청을 입력할 수 있다. 사용자는 도 4의 사용자 인터페이스 디스플레이(400)가 디스플레이되게 하는, 시맨틱 방식의 줌인 요청을 입력할 수 있다. 사용자는 도 6의 사용자 인터페이스 디스플레이(600)가 디스플레이되게 하는, 시맨틱 방식의 줌아웃 요청을 입력할 수 있고, 이는 아래에서 보다 상세하게 논의될 것이다. 사용자는 스크래치패드 모드로 들어가는 요청을 입력할 수 있으며, 이에 대해서는 아래에서 보다 상세하게 논의될 것이다. 사용자는 디스플레이 영역(502) 또는 디스플레이 영역(504)에서 특정 디지털 북을 선택할 수도 있다. 디스플레이 영역(502) 또는 디스플레이 영역(504)에서의 디지털 북 선택에 대응하여, 도 2의 사용자 인터페이스 디스플레이(200)는 도 2의 디스플레이 영역(202 및 204)에서 페이지들 중 어느 하나인 선택된 책의 커버로 디스플레이된다. 선택된 책의 커버가 디스플레이되는 특정 디스플레이 영역(202 및 204)은 다양한 다른 방식으로 결정될 수 있다(예컨대, 도 2의 사용자 인터페이스 디스플레이(200)를 디스플레이하는 장치는 디스플레이 영역(202)에는 커버를, 디스플레이 영역(204)에는 책의 다음 페이지를 디스플레이하도록 구성될 수 있음).
그렇지 않으면, 선택된 책의 커버를 디스플레이하는 대신, 선택된 책의 다른 페이지가 도 2의 디스플레이 영역(202 및 204)에 디스플레이될 수 있다. 디스플레이되는 특정 페이지는 선택된 책의 저자 또는 발행인이 선택한 페이지, 무작위로 선택된 페이지, 기타 규칙 기준에 따라 선택된 페이지 등의 다른 방식들로 결정될 수 있다. 하나 이상의 실시예에서, 도 2의 사용자 인터페이스 디스플레이(200)를 디스플레이하는 장치는 장치의 사용자가 열어본 디지털 북, 그 디지털 북의 가장 최근에 디스플레이된 페이지에 대한 기록을 가질 수 있다. 이러한 실시예에서, 도 2의 디스플레이 영역(202 및 204)에서 디스플레이되는 선택된 디지털 북의 특정 페이지는 선택된 디지털 북의 가장 최근에 디스플레이된 페이지이다.
도 6은 제 1 디스플레이 영역(602)과 제 2 디스플레이 영역(604)을 갖는 사용자 인터페이스 디스플레이(600)를 도시한다. 사용자 인터페이스 디스플레이(600)는 도 5의 사용자 인터페이스 디스플레이(500)로부터 시맨틱 방식으로 줌아웃을 하는 사용자 요청에 따라 디스플레이된다. 사용자 인터페이스 디스플레이(600)는 도 5의 사용자 인터페이스 디스플레이(500)보다 더 많고 광범위한 컨텍스트를 제공한다.
사용자 인터페이스 디스플레이(600)는 컨텍스트 디스플레이 모델을 통해 초점 디지털 북을 디스플레이한다. (도 5의 디스플레이 영역(502)에 디스플레이되었던) 초점 디지털 북의 이미지가 여러 다른 디지털 북들의 이미지와 함께 디스플레이 영역(602)에 디스플레이된다. 그리고, 다른 디지털 북들의 추가 이미지들이 디스플레이 영역(604)에 디스플레이된다.
디스플레이 영역(602)은 이전에 도 1의 디스플레이 영역(502 및 504)에 디스플레이된 디지털 북들을 디스플레이한다. 또한, 디스플레이 영역(604)에서의 디스플레이를 위해 일련의 추가적인 여러 책들이 선택된다. 영역(604)에서의 디스플레이를 위한 책들을 선택하기 위해 다양한 다른 기준들이 사용될 수 있다. 하나 이상의 실시예에서, 영역(604)의 책들의 선택을 위해 보다 광범위한 책 공급원이 사용되지만, (현재 도 6의 디스플레이 영역(602)에 포함된) 도 5의 디스플레이 영역(504)의 디스플레이를 위한 책들을 선택하는 데에 사용되었던 동일한 기준이 사용된다. 예를 들어, 영역(602 및 604)의 책을 선택하기 위해 사용된 기준이 초점 디지털 북과 동일한 저자의 책일 수 있지만, 영역(602)의 책들은 초점 디지털 북의 소유자에게 지역적으로 제공되는 책들인 반면, 영역(604)의 책들은 원격 도서관으로부터 초점 디지털 북의 소유자에게 제공되는 책들일 수 있다. 또는, 영역(602)의 디스플레이를 위한 책들을 선택하기 위해 사용된 기준과는 다른 기준이 영역(604)의 디스플레이를 위한 책들을 선택하기 위해 사용될 수 있다.
또한, 사용자는 도 5에 관해 앞서 논의한 바와 유사하게, 디스플레이 영역(602)의 책들을 선택하기 위해 사용되는 기준을 변경하는 요청을 할 수 있다. 하나 이상의 실시예에서, 사용자가 디스플레이 영역(602)의 책들을 선택하는 데에 사용된 기준을 변경하는 요청을 하면, 동일한 변경이 디스플레이 영역(604)에 디스플레이된 책들에도 적용된다. 그러나, 디스플레이 영역(604)의 책들은 디스플레이 영역(602)의 책들보다 더 광범위한 공급원으로부터 얻어진다. 또는, 사용자는 디스플레이 영역(602)에서의 디스플레이를 위한 책들과 디스플레이 영역(604)에서의 디스플레이를 위한 책들을 선택하기 위해 사용되는 기준을 변경하는 요청을 개별적으로 할 수 있다.
디스플레이 영역(602)에 디스플레이되는 책들은 도 5에 관해 앞서 논의한 바와 유사하게, 다양한 다른 방식으로 배열될 수 있다. 또한, 도 5에 관해 앞서 논의한 바와 유사하게, 사용자는 다른 기준을 사용하여 디스플레이 영역(602)에 디스플레이되는 디지털 북들을 배열하는 요청을 할 수 있다. 예를 들어, 디스플레이 영역(602)의 책들은 저자 또는 타이틀에 따라 알파벳 순으로, 또는 초점 디지털 북의 소유자 또는 임의의 다른 단체에서 정한 평가 순위에 따라서, 발행일에 따라서, 사용자가 가장 최근에 읽은 디지털 북에 따라서 등으로 배열될 수 있다. 일부 디지털 북들이 디스플레이 영역(602)의 맨 윗부분에 크게 디스플레이되는 것과 같이 두드러지게 디스플레이될 수 있다. 보다 두드러지게 디스플레이되는 디지털 북들은 책의 저자, 장르, 가격을 기초로 하는 등 다양한 다른 방식으로 선택될 수 있다.
유사하게, 디스플레이 영역(604)에 디스플레이되는 책들은 다양한 다른 방식으로 배열되고, 사용자는 디스플레이 영역(604)에 디스플레이되는 디지털 책들을 배열하는 데에 특정 기준을 사용하도록 요청할 수 있다. 예를 들어, 디스플레이 영역(604)의 책들은 앞서 논의한 바와 같이 디스플레이 영역(602)의 책들과 동일한 방식으로 배열될 수 있다. 디스플레이 영역(604)에 있는 책들은 디스플레이 영역(602)에 있는 책들과 동일한 방식으로, 또는 다른 방식으로 배열될 수 있다. 예를 들어, 양쪽 디스플레이 영역(602 및 604)에 있는 책들은 저자에 따라 배열될 수 있고, 아니면 디스플레이 영역(602)의 책들은 저자에 따라 배열되지만 디스플레이 영역(604)의 책들은 부여된 평가 순위에 따라 배열될 수 있다.
사용자는 사용자 인터페이스 디스플레이(600)를 통해 다양한 다른 동작에 대한 요청을 입력할 수 있다. 사용자는 도 5의 사용자 인터페이스 디스플레이(500)가 디스플레이되게 하는, 시맨틱 방식의 줌인 요청을 입력할 수 있다. 사용자는 초점 디지털 북이 (추가적인 책의 공급원 또는 공급원들로부터) 보다 광범위한 컨텍스트로 디스플레이되게 하는, 시맨틱 방식의 줌아웃 요청을 입력할 수 있다. 사용자는 스크래치패드 모드로 들어가는 요청을 입력할 수도 있으며, 이에 대해서는 아래에서 보다 상세하게 논의될 것이다. 또한, 사용자는 디스플레이 영역(602) 또는 디스플레이 영역(604)에서 특정 디지털 북을 선택할 수도 있다. 디스플레이 영역(602) 또는 디스플레이 영역(604)에서의 디지털 북 선택에 대응하여, 도 5에 관해 앞서 논의한 바와 유사하게, 도 2의 사용자 인터페이스 디스플레이(200)는 도 2의 디스플레이 영역(202 및 204)에서 페이지들 중 어느 하나인 선택된 책의 커버(또는 다른 페이지)로 디스플레이된다.
따라서, 도 4 내지 6의 디스플레이의 예시들에서 볼 수 있듯이, 사용자가 시맨틱 방식으로 줌아웃을 함에 따라 점점 더 광범위한 컨텍스트가 디스플레이된다. 사용자의 시맨틱 방식의 줌아웃에 따른 컨텍스트 레벨의 변화로 인해, 보다 폭넓고 광범위한 컨텍스트가 제공된다. 이와 유사하게, 사용자가 시맨틱 방식으로 줌인을 하면, 점점 더 협소한 컨텍스트가 디스플레이된다. 사용자의 시맨틱 방식의 줌인에 따른 컨텍스트 레벨의 각 변화로 인해 보다 구체적이고 협소한 컨텍스트가 제공된다.
도 7은 제 1 디스플레이 영역(702)과 제 2 디스플레이 영역(704)을 갖는 사용자 인터페이스 디스플레이(700)를 도시한다. 사용자 인터페이스 디스플레이(700)는 스크래치패드 모드로 들어가려는 사용자 요청에 따라 디스플레이된다. 이러한 요청은 앞서 논의한 대로 다양한 다른 사용자 인터페이스 디스플레이들로부터 입력될 수 있다. 사용자 인터페이스 디스플레이(700)에서, 이전에 두 개의 디스플레이 영역에서 디스플레이되었던 디지털 북들(및/또는 페이지들)이 합쳐져서 디스플레이 영역(702)에 디스플레이될 수 있다. 예를 들어, 도 6의 영역들(602 및 604)에 디스플레이된 디지털 북들이 합쳐져서 디스플레이 영역(702)에 디스플레이될 수 있다. 또 다른 예로써, 도 4의 영역들(402 및 404)에 디스플레이된 디지털 북들이 합쳐져서 디스플레이 영역(702)에 디스플레이될 수 있다. 디스플레이 영역(702)에 디스플레이되는 책들은 도 5 및 6의 디스플레이 영역에서의 책들의 배열에 관해 앞서 논의된 바와 유사하게 다양한 다른 방식들로 배열될 수 있다.
한편, 디스플레이 영역(704)은 비어있다. 스크래치패드 모드로 들어가면, 디스플레이 영역(704)에는 어떤 책도 디스플레이되지 않는다. 그러나, 디스플레이 영역(704)으로 책들을 추가할 수 있고, 이에 대해서는 아래에서 보다 상세하게 논의될 것이다. 또는, 스크래치패드 모드에서 나갈 때, 사용자 인터페이스 디스플레이(700)를 디스플레이하는 장치는 디스플레이 영역(704)의 상태를 유지할 수 있다. 이 디스플레이 영역(704)의 상태란 디스플레이 영역(704)에 디스플레이되는 책들뿐만 아니라, 선택적으로는 이 책들의 배열도 의미한다. 나중에 스크래치패드 모드로 다시 들어갈 때, 이렇게 유지된 상태가 검색되어, 이 상태에서 식별된 디지털 북들이 디스플레이 영역(704)에 디스플레이될 수 있다. 이러한 상태의 유지 여부는 선택적으로 사용자가 설정할 수 있는 구성 세팅이다.
디스플레이 영역(704)에 디스플레이된 책이 없는 스크래치패드 모드에 들어가면, 사용자 인터페이스 디스플레이(700)는 디스플레이(700)의 일부를 깨끗하게 치움으로써 작업 공간을 생성하는 임프레션을 제공할 수 있다. 예를 들어, 도 6의 디스플레이(600)로부터 디스플레이(700)로 전환될 때, 도 6의 디스플레이 영역(602 및 604)으로부터의 모든 디지털 북들을 단일 영역(디스플레이 영역(702))으로 몰아넣고, 디스플레이 영역(704)의 형태로 작업 공간을 남겨두는 임프레션이 제공된다. 또는, 이전에 두 개의 디스플레이 영역들에서 디스플레이된 디지털 북들(및/또는 페이지들)이 합쳐져 디스플레이 영역(704)에 디스플레이되고, 디스플레이 영역(702)에는 아무런 책들도 디스플레이되지 않을 수도 있다.
이후에, 사용자는 디스플레이 영역(704)으로부터 디스플레이 영역(704)에 추가될 디지털 북들을 선택할 수 있다. 이러한 선택은, 사용자가 영역(702)으로부터 영역(704)으로 디지털 북을 드래그해서 놓거나, 사용자가 영역(704)에 추가되도록 영역(702)의 디지털 북들을 두드리거나 두번 두드리는 등과 같이 다양한 다른 방식들로 실행될 수 있다. 또한, 디스플레이 영역(702)에 디스플레이되는 책들은, 앞서 논의된 바와 유사하게 특정 기준을 요청하는 사용자 요청에 따라 바뀔 수 있다.
또한, 사용자는 스크래치패드 모드로 들어가는 요청을 수신할 때 디스플레이되었던 사용자 인터페이스 디스플레이로 되돌아가는 요청을 입력할 수 있다. 따라서, 사용자는 스크래치패드 모드로 들어가기 전에 사용중이었던 사용자 인터페이스 디스플레이로 되돌아갈 수 있다. 앞서 논의한 바와 같이, 이렇게 되돌아갈 수 있는 사용자 인터페이스 디스플레이는 북 디스플레이 모델이거나 어느 한 레벨의 컨텍스트 디스플레이 모델일 수 있다.
또한, 사용자는 디스플레이 영역(702) 또는 (책이 디스플레이 영역(704)으로 추가된 후에는) 디스플레이 영역(704)에서 특정 책을 선택할 수도 있다. 디스플레이 영역(702) 또는 디스플레이 영역(704)에서 책이 선택되면, 도 5에 관해 앞서 논의된 바와 유사하게, 도 2의 사용자 인터페이스 디스플레이(200)가 도 2의 디스플레이 영역(202 및 204)의 어느 한 페이지인 선택된 책의 커버(또는 다른 페이지)와 함께 디스플레이된다.
따라서, 사용자 인터페이스 디스플레이(700)로 도시된 스크래치패드 모드에서, 사용자는 자신이 원하는 대로 책 컬렉션 또는 그룹화를 할 수 있다. 이러한 책 컬렉션 또는 그룹화는 앞서 논의된 배열 방식과 유사하게 다양한 다른 방식들로 배열될 수 있다. 또는, 각각의 책을 기반으로 사용자가 지정하여 배열될 수 있다. 예를 들어, 디스플레이 영역(704)에서의 책의 위치는 사용자가 그 책을 디스플레이 영역(702)으로부터 드래그하여 가져다 놓은 책의 위치일 수 있다.
도 8 및 9는 디스플레이 영역(704)에 디스플레이되는 디지털 북들의 상이한 배열에 대해 도시한다. 도 8에서, 디스플레이 영역(704)에서 사용자가 디스플레이 영역(702)으로부터 드래그해서 가져다 놓은 위치에 디스플레이 북들이 디스플레이된다. 특정 책들은 다양한 다른 규칙이나 기준에 근거하여 다른 책들보다 더 두드러지게 예컨대, 더 크게 디스플레이될 수 있다. 예를 들어, 보다 두드러지게 디스플레이되는 책들은 책의 저자, 장르, 가격을 기초로 하는 등 다양한 다른 방식으로 선택될 수 있다.
도 9에서, 디스플레이 영역(704)에서 사용자가 디스플레이 영역(702)으로부터 드래그해서 가져다 놓은 위치에 디스플레이 북들이 디스플레이된다. 그러나, 도 9에서는, 디지털 북들이 디스플레이 영역(704)의 구석에 한 더미로 쌓인 채 디스플레이된다. 도 8과 유사하게, 특정 책들은 다양한 다른 규칙이나 기준에 근거하여 다른 책들보다 더 두드러지게 예컨대, 더 크게 디스플레이될 수 있다.
디지털 북의 하나의 더미(902)가 도 9에 도시된다. 또는, 다수의 이러한 더미들이 디스플레이 영역(704)에 디스플레이될 수도 있다. 다수의 더미들로 인해, 사용자는 원하는 대로 다수의 디지털 북 컬렉션을 생성할 수 있다. 예를 들어, 사용자는 자신이 읽지는 않았지만 읽기를 원하는 책들의 컬렉션, 읽었지만 또 읽기를 원하는 책들의 컬렉션 등을 가질 수 있다.
도 10은 제 1 디스플레이 영역(1002)과 제 2 디스플레이 영역(1004)을 갖는 사용자 인터페이스 디스플레이(1000)를 도시한다. 사용자 인터페이스 디스플레이(1000)는 책 컬렉션을 살피고자 하는 사용자 요청에 따라 디스플레이된다. 이러한 요청은 예를 들어, 스크래치패드 모드에서 디스플레이되는 책 더미(예컨대, 도 9의 더미(902))를 선택함으로써, 디스플레이 영역(예컨대, 도 8의 디스플레이 영역(704))의 모든 책들이 양쪽 디스플레이 영역에 걸쳐 디스플레이되도록 요청함으로써 입력될 수 있다. 책 컬렉션들은 앞서 논의된 배열 방식과 유사하게 다양한 다른 방식으로 배열될 수 있다.
도 7 내지 10에 도시된 스크래치패드 모드로 인해 사용자는 책 컬렉션을 쉽게 선택할 수 있게 된다. 이러한 책 컬렉션은 앞서 논의한 컨텍스트 디스플레이 모델을 사용하여 디스플레이되는 책들의 기반이 될 수 있다. 책 또는 책의 배열을 선택하기 위해 사용되는 기준이 이러한 책 컬렉션을 기초로 할 수 있다. 예를 들어, 도 5의 디스플레이 영역(504)에 디스플레이되는 책들은 스크래치패드 모드로부터 사용자가 선택한 책 컬렉션일(또는 적어도 책 컬렉션을 포함함) 수 있다. 또 다른 예를 들면, 도 6의 디스플레이 영역(602)에 디스플레이되는 책들은 스크래치패드 모드로부터 사용자가 선택한 책 컬렉션일(또는 적어도 책 컬렉션을 포함함) 수 있다.
상기의 도 7 내지 10에서 도시된 스크래치패드 모드의 예시에서 디지털 북들이 도시되어 있음을 유의해야 한다. 또는 다른 디지털 북들 대신에, 스크래치패드 모드가 디지털 북의 다른 페이지들과 유사하게 사용될 수 있다. 예를 들어, 도 9에서, 디지털 북의 페이지들이 디스플레이 영역(702)에 디스플레이되고, 디스플레이 영역(704)의 구석에 있는 한 더미의 페이지 컬렉션이 생성될 수 있다.
도 11은 하나 이상의 실시예에 따른, 디지털 북과 줌 인터페이스 디스플레이들 간의 예시적인 전환을 나타내는 상태 다이어그램(1100)의 일례를 도시한다. 상태 다이어그램(1100)은 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 사용하여 디스플레이되는 각기 다른 사용자 인터페이스 디스플레이들의 예를 도시한다. 이러한 사용자 인터페이스 디스플레이들은 앞서 논의된 대로 북 디스플레이 모델, 컨텍스트 디스플레이 모델 및 스크래치패드 모드에 따라서 디스플레이된다.
상태 다이어그램(1100)은 북 디스플레이 상태(1102), 스크래치패드 디스플레이 상태(1110) 및 다수의 (x) 컨텍스트 레벨 디스플레이 상태들(1104, 1106 및 1108)을 포함한다. 사용자 인터페이스 디스플레이들을 디스플레이하는 장치에서 요청들을 수신함에 따라 각기 다른 상태로의 전환이 행해진다. 일반적으로 이러한 요청들은 사용자 요청이지만, 다른 컴포넌트, 모듈 또는 장치들로부터 수신될 수도 있다.
북 디스플레이 상태(1102)에서, 디지털 북의 하나 이상의 페이지들이 북 디스플레이 모델을 통해 디스플레이된다. 예를 들어, 도 2의 사용자 인터페이스 디스플레이(200) 또는 도 3의 사용자 인터페이스 디스플레이(300)가 북 디스플레이 상태(1102)에서 디스플레이될 수 있다.
컨텍스트 레벨 디스플레이 상태(1104, 1106 및 1108)에서는, 디지털 북의 하나 이상의 페이지 및/또는 다른 디지털 북들이 컨텍스트 디스플레이 모델을 통해 디스플레이된다. 예를 들어, 도 4의 사용자 인터페이스 디스플레이(400)가 컨텍스트 레벨 디스플레이 상태(1104), 도 5의 사용자 인터페이스 디스플레이(500)가 컨텍스트 레벨 디스플레이 상태(1106), 도 6의 사용자 인터페이스 디스플레이(600)가 컨텍스트 레벨 디스플레이 상태(1108)에 디스플레이될 수 있다.
스크래치패드 디스플레이 상태(1110)에서, 스크래치패드 모드의 사용자 인터페이스가 디스플레이된다. 예를 들어, 스크래치패드 디스플레이 상태(1110)에서, 도 7, 8 또는 9의 사용자 인터페이스 디스플레이(700) 또는 도 10의 사용자 인터페이스 디스플레이(1000)가 디스플레이될 수 있다.
상태 다이어그램(1100)에 도시된 바와 같이, 디스플레이는 북 디스플레이 상태(1102)로부터 제 1 컨텍스트 레벨 디스플레이 상태(1104) 또는 스크래치패드 디스플레이 상태(1110)로 전환된다. 컨텍스트 레벨 디스플레이 상태(1104, 1106 또는 1108)로부터, 스크래치패드 디스플레이 상태(1110), 북 디스플레이 상태(1102) 또는 다른 컨텍스트 레벨 디스플레이 상태로 디스플레이가 전환될 수 있다. 특정 컨텍스트 레벨 디스플레이 상태로부터, 상위 컨텍스트 레벨 디스플레이 상태(예컨대, 보다 광범위한 컨텍스트 제공) 또는 하위 컨텍스트 레벨 디스플레이 상태(예컨대, 보다 협소한 컨텍스트 제공)로 디스플레이가 전환될 수 있다. 또한, 스크래치패드 디스플레이 상태(1110)로부터, 북 디스플레이 상태(1102) 또는 컨텍스트 레벨 디스플레이 상태(1104, 1106 또는 1108)로 디스플레이가 전환될 수 있다.
도 11의 예에서, 북 디스플레이 상태(1102)로부터 제 1 컨텍스트 레벨 디스플레이 상태(1104)로 디스플레이가 전환된 후에, 상위 컨텍스트 레벨 디스플레이 상태들로 한 번에 한 상태씩 전환될 수 있다. 또는, 하나 이상의 컨텍스트 레벨 디스플레이 상태들을 점프하거나 건너뛸 수 있다. 예를 들어, 북 디스플레이 상태(1102)로부터 먼저 컨텍스트 레벨 디스플레이 상태(1104)로 전환되지 않고 컨텍스트 레벨 디스플레이 상태(1106)로 디스플레이가 전환될 수 있다. 또 다른 예를 들면, 컨텍스트 레벨 디스플레이 상태(1104)로부터 컨텍스트 레벨 디스플레이 상태(1106)로의 전환 없이 디스플레이가 컨텍스트 레벨 디스플레이 상태(1108)로 전환될 수 있다.
도 12는 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 장치에 대한 프로세스(1200)의 일례를 도시하는 순서도이다. 프로세스(1200)는 도 1의 컴퓨팅 장치(102)와 같은 장치로 실행되며, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 프로세스(1200)는 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 프로세스의 일례이며, 본원에서는 통합 디지털 북 및 줌 인터페이스 디스플레이들의 구현에 대해 각기 다른 도면을 참조하여 추가로 논의될 것이다. 프로세스(1200)는 북 디스플레이 모델에서 디스플레이되는 책의 페이지들로 시작되는 예시적인 프로세스이다.
프로세스(1200)에서, 디지털 북의 페이지들을 북 디스플레이 모델을 통해 다수의 디스플레이 영역에서 디스플레이한다(동작 1202). 북 디스플레이 모델에서 디지털 북의 페이지들을 디스플레이할 때, 요청이 수신될 수 있다(동작 1204). 일반적으로 요청은 사용자로부터 수신되지만, 다른 컴포넌트, 모듈 또는 장치들로부터 수신될 수도 있다. 다양한 다른 유형의 요청들이 수신될 수 있다. 도 12의 예시에서, 이러한 다른 유형의 요청들은 책 탐색 요청(book navigation request), 스크래치패드 요청 및 시맨틱 방식의 줌아웃 요청을 포함한다.
책 탐색 요청에 응해서, 그 요청을 기초로 하여 디스플레이되고 있는 디지털 북의 페이지들이 업데이트된다(동작 1206). 디스플레이되는 페이지의 업데이트는 수신되는 특정 탐색 요청에 따라 달라진다. 예를 들어, 탐색 요청이 페이지를 앞으로 넘기는 요청이면, 디지털 북의 다음 두 페이지가 디스플레이되게 된다. 다른 예를 들면, 탐색 요청이 페이지를 뒤로 넘기는 요청이면, 디지털 북의 이전 두 페이지가 디스플레이되게 된다. 또 다른 예를 들면, 탐색 요청이 디지털 북의 특정 챕터로 점프하는 요청인 경우, 그 특정 챕터가 시작되는 디지털 북의 페이지들이 디스플레이되게 된다. 페이지를 업데이트한 후에, 프로세스(1200)는 또 다른 요청을 기다리게 된다(동작 1204).
스크래치패드 요청에 응해서, 다수의 디스플레이 영역 중 하나에 디지털 북의 페이지들이 디스플레이되고, 다수의 디스플레이 영역 중 또 다른 하나에 스크래치패드가 디스플레이된다(동작 1208). 앞서 논의한 바와 같이 스크래치패드로 사용자는 하나 이상의 책 컬렉션을 생성할 수 있다. 또한, 그 다음의 요청들은 앞서 논의한 바와 같이 프로세스(1200)가 북 디스플레이 모델을 사용하여 디지털 북의 페이지들을 디스플레이하도록 되돌아가게 하거나, 컨텍스트 디스플레이 모델을 사용하여 컨텍스트로 디지털 북을 디스플레이하도록 전환하게 할 수 있다.
시맨틱 방식의 줌아웃 요청에 대해, 프로세스(1200)는 다수의 디스플레이 영역에서 컨텍스트 디스플레이 모델을 사용하여 컨텍스트로 디지털 북을 디스플레이하도록 전환된다(동작 1210). 디지털 북은 앞서 논의한 바와 같이 다양한 컨텍스트 레벨 디스플레이들로 디스플레이될 수 있다. 그 다음 요청들은 앞서 논의한 바와 같이 프로세스(1200)가, 북 디스플레이 모델을 사용하여 디지털 북의 페이지들을 디스플레이하거나, 디지털 북의 시맨틱 방식의 줌인을 하거나, 또는 스크래치패드를 디스플레이하도록 되돌아가게 할 수 있다.
도 13은 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 장치에 대한 프로세스(1300)의 일례를 도시하는 순서도이다. 프로세스(1300)는 도 1의 컴퓨팅 장치(102)와 같은 장치로 실행되며, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다. 프로세스(1300)는 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하는 프로세스의 일례이며, 본원에는 통합 디지털 북 및 줌 인터페이스 디스플레이들의 구현에 대해 각기 다른 도면을 참조하여 추가된 논의가 포함되어 있다. 프로세스(1300)는 북 디스플레이 모델에서 디스플레이되고 있는 책의 페이지들로 시작되고 시맨틱 방식의 주밍을 사용하는 예시적인 프로세스이다.
프로세스(1300)에서, 디지털 북의 페이지들을 북 디스플레이 모델을 통해 다수의 디스플레이 영역에서 디스플레이한다(동작 1302). 동작(1302)은 도 12의 동작(1202)과 유사하다. 프로세스(1300)는 시맨틱 방식의 주밍 요청에 관련된 것이다. 도 13에 도시되지는 않았지만, 앞서 논의된 바와 같이 책 탐색 요청들 및 스크래치패드 요청들도 수신될 수 있다.
북 디스플레이 모델을 사용하여 디지털 북의 페이지들을 디스플레이하는 동안, 시맨틱 방식의 줌아웃 요청이 수신된다(동작 1304). 시맨틱 방식의 줌아웃 요청에 응해서, 컨텍스트 디스플레이 모델을 통해 다수의 디스플레이 영역에서 컨텍스트로 디지털 북을 디스플레이한다(동작 1306). 동작(1306)에서 디지털 북은 북 디스플레이 모델보다는 컨텍스트 디스플레이 모델로 디스플레이된다.
프로세스(1300)는 시맨틱 방식의 줌아웃 또는 줌인 요청을 수신할 때까지, 동작(1306)에서 컨텍스트 디스플레이 모델을 통해 컨텍스트로 디지털 북을 계속 디스플레이한다. 시맨틱 방식의 줌아웃 요청이 수신되면(동작 1308), 디스플레이될 보다 광범위한 컨텍스트 레벨이 있는 지를 확인한다(동작 1310). 디스플레이가 가능한 보다 광범위한 컨텍스트 레벨이 없다면, 프로세스(1300)는 시맨틱 방식의 줌인 요청을 수신할 때까지, 현재 컨텍스트 레벨에서 컨텍스트로 디지털 북을 계속 디스플레이한다.
그러나, 디스플레이가 가능한 보다 광범위한 컨텍스트 레벨이 있다면, 다수의 디스플레이 영역에서 컨텍스트 디스플레이 모델을 통해 보다 광범위한 컨텍스트로 디지털 북을 디스플레이한다(동작 1312). 예를 들어, 동작(1312)에서 다음의 상위(광범위한) 컨텍스트 레벨 디스플레이로 디스플레이가 전환될 수 있다. 프로세스(1300)는 시맨틱 방식의 줌아웃 또는 줌인 요청을 수신할 때까지, 동작(1312)에서 컨텍스트 디스플레이 모델을 통해 이 새로운 컨텍스트 레벨에서 디지털 북을 계속 디스플레이한다.
시맨틱 방식의 줌인 요청이 수신되면(동작 1314), 디스플레이될 보다 협소한 컨텍스트 레벨이 있는 지를 확인한다(동작 1316). 디스플레이가 가능한 보다 협소한 컨텍스트 레벨이 없다면, 프로세스(1300)는 동작(1302)로 되돌아가서, 컨텍스트 디스플레이 모델보다는 북 디스플레이 모델을 통해 디지털 북의 페이지들을 디스플레이한다.
그러나, 디스플레이가 가능한 보다 협소한 컨텍스트 레벨이 있다면, 다수의 디스플레이 영역에서 컨텍스트 디스플레이 모델을 통해 보다 협소한 컨텍스트로 디지털 북을 디스플레이한다(1318). 예를 들어, 동작(1318)에서 다음의 하위(협소한) 컨텍스트 레벨 디스플레이로 디스플레이가 전환될 수 있다. 프로세스(1300)는 시맨틱 방식의 줌아웃 또는 줌인 요청을 수신할 때까지, 동작(1318)에서 컨텍스트 디스플레이 모델을 통해 이 새로운 컨텍스트 레벨에서 디지털 북을 계속 디스플레이한다.
도 14는 하나 이상의 실시예에 따른, 통합 디지털 북 및 줌 인터페이스 디스플레이들을 구현하도록 구성되는 컴퓨팅 장치(1400)의 일례를 도시한다. 컴퓨팅 장치(1400)는 예를 들어, 도 1의 컴퓨팅 장치(102)일 수 있다.
컴퓨팅 장치(1400)는 하나 이상의 프로세서 또는 처리 장치(1402), 하나 이상의 메모리 및/또는 저장 컴포넌트(1406)를 포함하는 하나 이상의 컴퓨터 판독가능 매체(1404), 하나 이상의 입/출력(I/O) 장치(1408), 및 다양한 컴포넌트 및 장치가 서로 통신할 수 있게 하는 버스(1410)를 포함한다. 컴퓨터 판독가능 매체(1404) 및/또는 I/O 장치들(1408)은 컴퓨팅 장치(1400)의 일부로 포함되거나, 또는 컴퓨팅 장치(1400)에 결합될 수 있다. 버스(1410)는 여러 가지 상이한 버스 아키텍처를 사용하는 메모리 버스 또는 메모리 컨트롤러, 주변장치버스, 가속 그래픽 포트, 프로세서 또는 로컬 버스 등을 포함하는 몇몇 유형의 버스 구조 중 하나 이상의 버스 구조를 나타낸다. 버스(1410)는 유선 및/또는 무선 버스를 포함할 수 있다.
메모리/저장 컴포넌트(1406)는 하나 이상의 컴퓨터 저장 매체를 나타낸다. 컴포넌트(1406)는 (RAM(random access memory)과 같은) 휘발성 매체 및/또는 (ROM(read only memory), 플래시 메모리, 광 디스크, 자기 디스크 등과 같은) 비휘발성 매체를 포함할 수 있다. 컴포넌트(1406)는 이동식 매체(예를 들어, 플래시 메모리 드라이브, 이동식 하드 드라이브, 광 디스크 등)뿐만 아니라 고정식 매체(예를 들어, RAM, ROM, 고정 하드 드라이브 등)를 포함할 수 있다.
본원에서 논의된 기술은 소프트웨어로 구현될 수 있으며, 인스트럭션은 하나 이상의 처리 장치들(1402)에 의해 실행된다. 각기 다른 인스트럭션들이 컴퓨팅 장치(1400)의 각기 다른 컴포넌트에, 이를테면 처리 장치(1402)에, 처리 장치(1402)의 다양한 캐시 메모리에, 장치(1400)의 그외 다른 캐시 메모리(도시되지 않음)에, 기타 컴퓨터 판독가능 매체 상에 저장될 수 있다는 것을 알 수 있을 것이다. 게다가, 컴퓨팅 장치(1400)에서 인스트럭션들이 저장되는 위치는 시간에 따라 변할 수 있음을 알 수 있을 것이다.
하나 이상의 입/출력 장치(1408)는 사용자가 컴퓨팅 장치(1400)에 명령어 및 정보를 입력할 수 있게 하고, 또한 정보가 사용자 및/또는 기타 컴포넌트 또는 장치에 표시될 수 있게 한다. 입력 장치의 예로 키보드, 커서 제어 장치(예컨대, 마우스), 마이크, 스캐너 등을 포함한다. 출력 장치의 예는 디스플레이 장치(예컨대, 모니터 또는 프로젝터), 스피커, 프린터, 네트워크 카드 등을 포함한다.
일반적인 소프트웨어 또는 프로그램 모듈과 관련하여 다양한 기술이 본원에서 설명될 수 있다. 일반적으로, 소프트웨어는 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 이들 모듈 및 기술의 구현은 몇몇 형태의 컴퓨터 판독가능 매체에 저장되거나 이들 매체를 통해 전송될 수 있다. 컴퓨터 판독가능 매체는 컴퓨팅 장치가 액세스할 수 있는 임의의 사용 가능한 매체 또는 매체들일 수 있다. 예를 들면, 컴퓨터 판독가능 매체는 "컴퓨터 저장 매체" 및 통신 매체"를 포함할 수 있으며, 이에 제한되는 것은 아니다.
"컴퓨터 저장 매체"는 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disks) 또는 기타 광 저장소, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하나, 이에 제한되는 것은 아니다.
"통신 매체"는 통상적으로 반송파 또는 기타 전송 메커니즘과 같은 변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현한다. 또한, 통신 매체는 모든 정보 전달 매체를 포함한다. "변조 데이터 신호"라는 용어는, 신호 내의 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예를 들어, 통신 매체는 유선 네트워크 또는 직접 배선 연결과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 또한, 상기 매체들의 모든 조합이 컴퓨터 판독가능 매체의 범위 안에 포함된다.
일반적으로, 본원에서 설명된 임의의 기능 또는 기술은 소프트웨어, 펌웨어, 하드웨어(예를 들어, 고정 논리 회로), 수동 처리, 또는 이들 구현의 조합을 사용하여 구현될 수 있다. 본원에서 사용된 "모듈" 및 "컴포넌트"라는 용어는 일반적으로 소프트웨어, 펌웨어, 하드웨어 또는 그 조합을 나타낸다. 소프트웨어 구현의 경우에, 모듈 또는 컴포넌트는 프로세서(예를 들어, CPU 또는 CPU들)에서 실행될 때 지정된 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 장치에 저장될 수 있고, 그 추가 설명은 도 14를 참조하여 찾아볼 수 있다. 본원에 설명된 통합 디지털 북 및 줌 인터페이스 디스플레이들의 특징은 플랫폼 독립적이며, 이는 이 기술이 다양한 프로세서를 갖는 다양한 상용 컴퓨팅 플랫폼에서 구현될 수 있음을 의미한다.
구조적 특징 및/또는 방법적 동작에 특정된 언어로 대상이 설명되었지만, 첨부된 특허청구범위에 정의된 대상은 전술한 특정 기능 또는 동작들에 반드시 제한되는 것은 아님을 이해할 것이다. 오히려, 전술한 특정 기능 및 동작들은 특허청구범위를 구현하는 예시적인 형태로 개시된다.

Claims (15)

  1. 컴퓨팅 장치(1400)에 있어서,
    상기 컴퓨팅 장치는
    프로세서(1402)와,
    상기 프로세서에 의해 실행될 때, 상기 프로세서가
    북 디스플레이 모델(book display model)을 사용하여 두 개의 디스플레이 영역 각각에 디지털 북의 각기 다른 페이지들을 디스플레이하고(1302),
    시맨틱 방식의 줌아웃(semantically zoom out) 요청에 응해서, 상기 디지털 북을 보다 광범위한 컨텍스트(broader context)로 디스플레이하고(1306, 1312) - 상기 보다 광범위한 컨텍스트는 상기 북 디스플레이 모델 대신에 컨텍스트 디스플레이 모델(context display model)을 사용함 -,
    시맨틱 방식의 줌인 요청에 응해서, 상기 컨텍스트 디스플레이 모델 대신에 상기 북 디스플레이 모델로 상기 디지털 북을 디스플레이하게 하는(1302) 다수의 인스트럭션들을 저장하는 하나 이상의 컴퓨터 판독가능 매체(1404)를 포함하는 컴퓨팅 장치.
  2. 제 1 항에 있어서,
    상기 시맨틱 방식의 줌아웃 요청 및 상기 시맨틱 방식의 줌인 요청은 사용자 요청인 컴퓨팅 장치.
  3. 제 1 항에 있어서,
    상기 인스트럭션들은 또한 상기 프로세서가
    스크래치패드 모드(scrachpad mode)로 들어가기 위한 요청을 수신하고,
    상기 두 개의 디스플레이 영역 중 제 1 영역에, 상기 디지털 북의 다수의 페이지들을 디스플레이하고,
    상기 두 개의 디스플레이 영역 중 제 2 영역에, 상기 장치의 사용자가 선택한 상기 디지털 북의 페이지 컬렉션을 디스플레이하게 하는 컴퓨팅 장치.
  4. 제 1 항에 있어서,
    상기 인스트럭션들은 또한 상기 프로세서가
    스크래치패드 모드로 들어가기 위한 요청을 수신하고,
    상기 두 개의 디스플레이 영역 중 제 1 영역에, 상기 디지털 북의 이미지 및 다수의 다른 디지털 북들의 다수의 추가 이미지들을 디스플레이하고,
    상기 두 개의 디스플레이 영역 중 제 2 영역에, 상기 장치의 사용자가 상기 디지털 북으로부터 선택한 상기 디지털 북의 컬렉션 및 상기 제 1 디스플레이 영역에 디스플레이된 상기 다수의 다른 디지털 북들을 디스플레이하게 하는 컴퓨팅 장치.
  5. 제 1 항에 있어서,
    상기 디지털 북을 보다 광범위한 컨텍스트로 디스플레이하는 것은, 상기 두 개의 디스플레이 영역 중 제 1 디스플레이 영역에 상기 디지털 북의 첫번째 페이지 및 상기 첫번째 페이지 앞의 하나 이상의 페이지들을 디스플레이하고, 상기 두 개의 디스플레이 영역 중 제 2 디스플레이 영역에 상기 디지털 북의 두번째 페이지 및 상기 두번째 페이지 다음의 하나 이상의 페이지들을 디스플레이하는 컴퓨팅 장치.
  6. 제 1 항에 있어서,
    상기 디지털 북을 보다 광범위한 컨텍스트로 디스플레이하는 것은, 상기 두 개의 디스플레이 영역 중 제 1 디스플레이 영역에 상기 디지털 북을 디스플레이하고, 상기 두 개의 디스플레이 영역 중 제 2 디스플레이 영역에 다수의 추가 디지털 북들을 디스플레이하는 컴퓨팅 장치.
  7. 제 6 항에 있어서,
    상기 다수의 추가 디지털 북들은 스크래치패드 모드에서 상기 장치의 사용자에 의해 선택된 책 컬렉션을 포함하는 컴퓨팅 장치.
  8. 제 1 항에 있어서,
    상기 디지털 북을 보다 광범위한 컨텍스트로 디스플레이하는 것은 상기 두 개의 디스플레이 영역 중 제 1 디스플레이 영역에 상기 디지털 북 및 다수의 추가 디지털 북들을 디스플레이하고, 상기 두 개의 디스플레이 영역 중 제 2 디스플레이 영역에 추가적인 디지털 북들을 더 디스플레이하는 컴퓨팅 장치.
  9. 제 1 항에 있어서,
    상기 인스트럭션은 또한 상기 프로세서가
    하나 이상의 추가적인 시맨틱 방식의 줌아웃 요청에 응해서, 하나 이상의 보다 광범위한 컨텍스트 레벨로 상기 디지털 북을 디스플레이하게 하는 컴퓨팅 장치.
  10. 사용자 인터페이스를 디스플레이하는 방법에 있어서,
    제 1 디스플레이 영역에 디지털 북의 첫번째 페이지를, 제 2 디스플레이 영역에 상기 디지털 북의 두번째 페이지를 디스플레이하는(1302) 단계와,
    제 1 시맨틱 방식의 줌아웃 요청을 수신하는(1304) 단계와,
    상기 제 1 시맨틱 방식의 줌아웃 요청에 응해서, 상기 제 1 디스플레이 영역에 상기 디지털 북의 첫번째 페이지 및 상기 첫번째 페이지의 컨텍스트를 디스플레이하고(1306), 상기 제 2 디스플레이 영역에 상기 디지털 북의 상기 두번째 페이지 및 상기 두번째 페이지의 컨텍스트를 디스플레이하는(1306) 단계와,
    상기 제 1 시맨틱 방식의 줌아웃 요청을 수신한 후에, 제 2 시맨틱 방식의 줌아웃 요청을 수신하는(1308) 단계와,
    상기 제 2 시맨틱 방식의 줌아웃 요청에 응해서, 상기 제 1 디스플레이 영역에 상기 디지털 북을, 상기 제 2 디스플레이 영역에 다수의 추가 디지털 북들을 디스플레이하는(1308) 단계를 포함하는 방법.
  11. 제 10 항에 있어서,
    상기 다수의 추가 디지털 북들은 하나 이상의 기준에 따라서 선택되며,
    상기 방법은
    상기 하나 이상의 기준을 변경하기 위한 사용자 요청을 수신하는 단계와,
    상기 하나 이상의 기준을 변경하기 위한 사용자 요청에 응해서, 상기 다수의 추가 디지털 북들로서 각기 다른 디지털 북들을 선택하는 단계를 더 포함하는 방법.
  12. 제 10 항에 있어서,
    상기 방법은
    상기 제 2 시맨틱 방식의 줌아웃 요청을 수신한 후에, 제 3 시맨틱 방식의 줌아웃 요청을 수신하는 단계와,
    상기 제 3 시맨틱 방식의 줌아웃 요청에 응해서, 상기 제 1 영역에 상기 디지털 북 및 상기 다수의 추가 디지털 북들을 디스플레이하고, 상기 제 2 디스플레이 영역에 다른 추가적인 디지털 북들을 디스플레이하는 단계를 더 포함하는 방법.
  13. 제 12 항에 있어서,
    상기 방법은
    상기 제 3 시맨틱 방식의 줌아웃 요청을 수신한 후에, 제 1 시맨틱 방식의 줌인 요청을 수신하는 단계와,
    상기 제 1 시맨틱 방식의 줌인 요청에 응해서, 상기 제 1 디스플레이 영역에 상기 디지털 북을 디스플레이하고, 상기 제 2 디스플레이 영역에 상기 다수의 추가 디지털 북들을 디스플레이하는 단계를 더 포함하는 방법.
  14. 제 13 항에 있어서,
    상기 방법은
    상기 제 1 시맨틱 방식의 줌인 요청을 수신한 후에, 제 2 시맨틱 방식의 줌인 요청을 수신하는 단계와,
    상기 제 2 시맨틱 방식의 줌인 요청에 응해서, 상기 제 1 디스플레이 영역에 상기 디지털 북의 첫번째 페이지를 상기 첫번째 페이지의 컨텍스트 없이, 상기 제 2 디스플레이 영역에 상기 디지털 북의 두번째 페이지를 상기 두번째 페이지의 컨텍스트 없이 디스플레이하는 단계와,
    상기 제 2 시맨틱 방식의 줌인 요청을 수신한 후에, 제 3 시맨틱 방식의 줌인 요청을 수신하는 단계와,
    상기 제 3 시맨틱 방식의 줌인 요청에 응해서, 상기 제 1 디스플레이 영역에 상기 첫번째 페이지를, 상기 제 2 디스플레이 영역에 상기 두번째 페이지를 디스플레이하는 단계를 더 포함하는 방법.
  15. 제 10 항에 있어서,
    상기 방법은
    스크래치패드 모드로 들어가기 위한 요청을 수신하는 단계와,
    상기 제 2 시맨틱 방식의 줌아웃 요청이 수신되기 전에 상기 스크래치패드 모드로 들어가기 위한 요청이 수신되면, 상기 제 1 디스플레이 영역에 상기 첫번째 페이지 및 상기 첫번째 페이지의 컨텍스트 및 상기 두번째 페이지 및 상기 두번째 페이지의 컨텍스트를 디스플레이하는 단계와,
    상기 제 2 시맨틱 방식의 줌아웃 요청이 수신된 후에 상기 스크래치패드 모드로 들어가기 위한 요청이 수신되면, 상기 제 1 디스플레이 영역에 상기 디지털 북 및 상기 다수의 추가 디지털 북들을 디스플레이하는 단계를 더 포함하는 방법.
KR1020117030094A 2009-06-17 2010-06-16 통합 디지털 북 및 줌 인터페이스 디스플레이 KR20120037401A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/486,499 US8533622B2 (en) 2009-06-17 2009-06-17 Integrating digital book and zoom interface displays
US12/486,499 2009-06-17

Publications (1)

Publication Number Publication Date
KR20120037401A true KR20120037401A (ko) 2012-04-19

Family

ID=43355391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117030094A KR20120037401A (ko) 2009-06-17 2010-06-16 통합 디지털 북 및 줌 인터페이스 디스플레이

Country Status (7)

Country Link
US (1) US8533622B2 (ko)
EP (1) EP2443544A4 (ko)
KR (1) KR20120037401A (ko)
CN (1) CN102460372B (ko)
RU (1) RU2546593C2 (ko)
TW (1) TW201102909A (ko)
WO (1) WO2010148084A2 (ko)

Families Citing this family (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110167350A1 (en) * 2010-01-06 2011-07-07 Apple Inc. Assist Features For Content Display Device
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
CN101763270B (zh) 2010-01-28 2011-06-15 华为终端有限公司 组件显示处理方法和用户设备
US20110209080A1 (en) * 2010-02-24 2011-08-25 Htc Corporation Display method and electronic device for using the same
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9223475B1 (en) 2010-06-30 2015-12-29 Amazon Technologies, Inc. Bookmark navigation user interface
US9367227B1 (en) * 2010-06-30 2016-06-14 Amazon Technologies, Inc. Chapter navigation user interface
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
US20120151337A1 (en) * 2010-10-26 2012-06-14 Matt Pallakoff System and method for organizing user interface for periodicals
CN102023803A (zh) * 2010-12-04 2011-04-20 鸿富锦精密工业（深圳）有限公司 电子阅读装置及其预览方法
US8826191B1 (en) 2011-01-05 2014-09-02 Google Inc. Zooming while page turning in document
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US20120324355A1 (en) * 2011-06-20 2012-12-20 Sumbola, Inc. Synchronized reading in a web-based reading system
US20130021261A1 (en) * 2011-07-18 2013-01-24 Research In Motion Limited Electronic device and method of controlling same
US9766782B2 (en) * 2011-08-19 2017-09-19 Apple Inc. Interactive content for digital books
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10353566B2 (en) * 2011-09-09 2019-07-16 Microsoft Technology Licensing, Llc Semantic zoom animations
US8635529B2 (en) * 2012-02-29 2014-01-21 Anusha Shanmugarajah Page turning in electronic document readers
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US10019137B2 (en) 2012-05-09 2018-07-10 Qualcomm Incorporated Electronic document display
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
USD711895S1 (en) * 2012-06-06 2014-08-26 Apple Inc. Display screen or portion thereof with graphical user interface
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
KR20140010274A (ko) * 2012-07-16 2014-01-24 삼성전자주식회사 전자책 관리를 위한 방법 및 장치
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US20140109012A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Thumbnail and document map based navigation in a document
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US9164653B2 (en) * 2013-03-15 2015-10-20 Inspace Technologies Limited Three-dimensional space for navigating objects connected in hierarchy
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
CN103677695A (zh) * 2013-12-16 2014-03-26 苏州市峰之火数码科技有限公司 一种数码相册
CN103902161B (zh) * 2014-04-01 2017-05-31 天津三星通信技术研究有限公司 应用程序的界面显示方法和设备
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
CN106327933A (zh) * 2015-07-01 2017-01-11 马正方 基于数字图书的学习装置
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770429A1 (en) 2017-05-12 2018-12-14 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10496705B1 (en) 2018-06-03 2019-12-03 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11610065B2 (en) 2020-06-12 2023-03-21 Apple Inc. Providing personalized responses based on semantic context

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262732B1 (en) * 1993-10-25 2001-07-17 Scansoft, Inc. Method and apparatus for managing and navigating within stacks of document pages
US6486895B1 (en) * 1995-09-08 2002-11-26 Xerox Corporation Display system for displaying lists of linked documents
JPH09163121A (ja) * 1995-12-12 1997-06-20 Minolta Co Ltd デジタル画像形成装置
JP3618537B2 (ja) 1998-02-17 2005-02-09 シャープ株式会社 電子書籍装置及び電子書籍プログラムを記録した記録媒体
US6331840B1 (en) * 1998-03-27 2001-12-18 Kevin W. Nielson Object-drag continuity between discontinuous touch screens of a single virtual desktop
US6295639B1 (en) * 1998-09-01 2001-09-25 Aidministrator Nederland B.V. Securely accessing a file system of a remote server computer
US7469381B2 (en) * 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
EP1816553B1 (en) 2000-12-21 2011-08-31 Xerox Corporation Systems and computer program products for the display and operation of virtual three-dimensional books
JP2004139440A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd サービス提供システム及び、それに関する、装置または方法または記録媒体またはプログラム
JP2007518111A (ja) 2003-09-02 2007-07-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 向上された画質を有する電子ブック
US20050188326A1 (en) * 2004-02-25 2005-08-25 Triworks Corp. Image assortment supporting device
JP4401850B2 (ja) * 2004-04-16 2010-01-20 キヤノン株式会社 文書処理装置及び方法
US7345688B2 (en) * 2004-10-18 2008-03-18 Microsoft Corporation Semantic thumbnails
JP4467462B2 (ja) * 2005-05-09 2010-05-26 シャープ株式会社 電子書籍表示装置及び該表示装置の操作方法
US7552398B2 (en) * 2005-05-24 2009-06-23 Palo Alto Research Center Incorporated Systems and methods for semantically zooming information
US7747944B2 (en) * 2005-06-30 2010-06-29 Microsoft Corporation Semantically applying style transformation to objects in a graphic
KR100888402B1 (ko) 2006-04-07 2009-03-13 김경현 사실적인 페이지 넘김 화면을 제공하는 전자서적 출력 방법그 시스템
KR100800889B1 (ko) 2006-08-08 2008-02-04 삼성전자주식회사 이동 통신 단말기의 기능 항목이 표시되는 화면의 구성을변경하기 위한 방법 및 이를 위한 단말기
KR100850571B1 (ko) * 2007-02-21 2008-08-06 삼성전자주식회사 이동 통신 단말기의 웹 페이지 표시 방법
US20080222273A1 (en) * 2007-03-07 2008-09-11 Microsoft Corporation Adaptive rendering of web pages on mobile devices using imaging technology
CN101276355B (zh) * 2007-03-30 2011-12-07 联想(北京)有限公司 电子视图浏览方法及其设备
RU2348975C1 (ru) * 2007-10-18 2009-03-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ отображения страниц при предварительном просмотре
US20090193356A1 (en) * 2008-01-28 2009-07-30 Immersion Digital Llc Systems and methods for providing a zoomable user interface

Also Published As

Publication number Publication date
CN102460372B (zh) 2013-04-10
RU2011151556A (ru) 2013-06-27
CN102460372A (zh) 2012-05-16
RU2546593C2 (ru) 2015-04-10
EP2443544A2 (en) 2012-04-25
EP2443544A4 (en) 2013-03-20
TW201102909A (en) 2011-01-16
WO2010148084A2 (en) 2010-12-23
WO2010148084A3 (en) 2011-03-31
US20100325573A1 (en) 2010-12-23
US8533622B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
US8533622B2 (en) Integrating digital book and zoom interface displays
US11467726B2 (en) User interfaces for viewing and accessing content on an electronic device
US20210181911A1 (en) Electronic text manipulation and display
KR101693764B1 (ko) 다수의 디스플레이 영역을 위한 사용자 인터페이스
US9026932B1 (en) Edge navigation user interface
CN102147704B (zh) 多屏幕对象保持并换页手势
JP5903107B2 (ja) システムレベル検索ユーザーインターフェース
JP5837608B2 (ja) システムレベル検索ユーザーインターフェースへの登録
US20120166987A1 (en) Method for moving object between pages and interface apparatus
CN103493117A (zh) 电子书导航系统和方法
CN102147705A (zh) 多屏幕书签保持手势
US20120229397A1 (en) Method and apparatus for selecting desired contents on read text in portable terminal
CN102141858A (zh) 多屏幕同步滑动手势
CN102147679A (zh) 多屏幕保持并拖动手势
KR100888402B1 (ko) 사실적인 페이지 넘김 화면을 제공하는 전자서적 출력 방법그 시스템
WO2018132709A1 (en) A method of navigating panels of displayed content
JP2010165120A (ja) 電子情報表示装置及び電子情報表示方法
JP7477235B1 (ja) 電子機器、表示制御方法及びアプリケーションプログラム
US10380226B1 (en) Digital content excerpt identification
US20200082465A1 (en) Method and system to generate a multi-panel ui based on hierarchy data corresponding to digital content
KR101500129B1 (ko) 디지털 교과서 표시 장치 및 방법
WO2015107617A1 (ja) 電子機器、制御方法およびプログラム
CN102981694A (zh) 与平台无关的用户接口/用户体验和人类交互范例

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E601 Decision to refuse application