KR101561155B1 - 모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템 - Google Patents

모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101561155B1
KR101561155B1 KR1020137017074A KR20137017074A KR101561155B1 KR 101561155 B1 KR101561155 B1 KR 101561155B1 KR 1020137017074 A KR1020137017074 A KR 1020137017074A KR 20137017074 A KR20137017074 A KR 20137017074A KR 101561155 B1 KR101561155 B1 KR 101561155B1
Authority
KR
South Korea
Prior art keywords
mobile device
signals
image
component
touch screen
Prior art date
Application number
KR1020137017074A
Other languages
English (en)
Other versions
KR20130111600A (ko
Inventor
조지 키르히
비누 아브라함
조슈아 갈리시아
Original Assignee
모토로라 모빌리티 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모토로라 모빌리티 엘엘씨 filed Critical 모토로라 모빌리티 엘엘씨
Publication of KR20130111600A publication Critical patent/KR20130111600A/ko
Application granted granted Critical
Publication of KR101561155B1 publication Critical patent/KR101561155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Telephone Function (AREA)

Abstract

적어도 하나의 실시예에서, 모바일 디바이스(102) 시스템은 모바일 디바이스(102)와 통신하는 외부 디스플레이 디바이스(104)를 포함한다. 모바일 디바이스(102)는 터치스크린 디스플레이(112), 운영 체제(302), 및 프로세싱 컴포넌트(들)에 의해 실행되는 적어도 하나의 추가 소프트웨어 컴포넌트(308, 310)를 구비하며, 여기에서 디스플레이로부터의 하나 이상의 입력 신호들이 운영 체제(302)로 전달된다. 적어도 하나의 추가 소프트웨어 컴포넌트는 운영 체제(302)로부터 적어도 간접적으로 전달되는 하나 이상의 이미지 신호들에 기반하여 출력 신호들을 생성한다. 외부 디스플레이 디바이스(104)는 출력 신호들을 수신하고, 이에 기반하여 2개의 컴포넌트를 갖는 이미지를 디스플레이하는데, 이들 중 하나는 외부 디스플레이 디바이스(104)와 모바일 디바이스(102)가 통신하고 있지 않으면, 모바일 디바이스(102) 상태/동작 조건을 반영하고, 터치스크린 디스플레이(112)에 디스플레이되었을 다른 이미지와 실질적으로 유사하다. 이러한 모바일 디바이스(102) 시스템들을 동작시키는 방법 및 모바일 디바이스(102)들 또한 개시된다.

Description

모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR ADAPTING THE USAGE OF EXTERNAL DISPLAY WITH MOBILE DEVICE}
본 발명은 모바일 디바이스에 관한 것으로서, 더 구체적으로는 정보 또는 신호들을 모바일 디바이스로부터 출력하거나 및/또는 정보 또는 신호들을 모바일 디바이스로 입력할 수 있게 하는 방법 및 시스템에 관한 것이다.
휴대폰, PDA(personal digital assistant), 및 스마트폰과 같은 모바일 디바이스들은 흔히 볼 수 있으며, 다양한 목적을 위해 사용된다. 비록 모바일 디바이스들이 사용자들에게 여러 이점을 제공하고 있지만, 일부 환경에서는 모바일 디바이스의 상대적으로 작은 사이즈로 인해 모바일 디바이스의 용도가 제약되거나 그 이상(ideal)에 못 미친다.
무엇보다, 통상적으로, 모바일 디바이스에 통합된 디스플레이 또는 스크린들은 상대적으로 작은 단면을 갖는다. 이로 인해, 환경에 따라 이러한 디스플레이들은 다량의 정보를 명확히 디스플레이하는데 부적절할 수 있다. 또한, 모바일 디바이스들에 있는 전용 키 또는 버튼들은 물리적 사이즈가 상대적으로 작으며, 그 결과 일부 환경에서 사용자들이 이들 입력 디바이스를 누르거나 조작하여 모바일 디바이스에게 명령 또는 정보를 입력하는 것이 곤란할 수 있다.
따라서, 모바일 디바이스에서의 또는 이와 관련된 사용 또는 구현을 위해, 모바일 디바이스들이 전술한 내용 중 하나 이상과 같은 하나 이상의 단점들을 극복하게 할 수 있는 개선된 방법 또는 시스템이 개발될 수 있다면 유리할 수 있을 것이다.
적어도 하나의 실시예에서, 본 발명은 모바일 디바이스에 관한 것이다. 모바일 디바이스는 제1 송신기와 제1 수신기 중 하나 또는 양자 모두를 구비한 제1 통신 디바이스, 모바일 디바이스로 하여금 사용자 입력들을 수신하게 하는 사용자 입력 디바이스, 모바일 디바이스가 외부 디스플레이 디바이스와 통신할 수 있는 단자, 및 모바일 디바이스 운영 체제 컴포넌트, 및 모바일 디바이스 운영 체제가 사용자 입력 디바이스와 단자 모두와 적어도 간접적으로 통신하는 적어도 하나의 중개 소프트웨어 컴포넌트를 포함하는 복수의 소프트웨어 컴포넌트를 실행하는 적어도 하나의 프로세서부를 포함한다. 복수의 소프트웨어 컴포넌트는 외부 디스플레이 디바이스로 하여금 모바일 디바이스의 동작 상태 또는 조건을 나타내는 제1 이미지부를 포함하는 이미지를 디스플레이하게 하도록 구성되는 외부 디스플레이 구동 신호들을 단자에서 제공하기 위해 동작한다.
적어도 하나의 추가적인 실시예에서, 본 발명은 모바일 디바이스 및 외부 디스플레이 디바이스를 포함하는 모바일 디바이스 시스템에 관한 것이다. 모바일 디바이스는 터치스크린 디스플레이, 운영 체제 및 적어도 하나의 프로세싱 컴포넌트에 의해 실행되는 적어도 하나의 추가 소프트웨어 컴포넌트를 가지며, 적어도 하나의 추가 소프트웨어 컴포넌트는 터치스크린 디스플레이로부터 운영 체제로 하나 이상의 입력 신호를 적어도 간접적으로 전달하는 역할을 한다. 적어도 하나의 추가 소프트웨어 컴포넌트는 운영 체제로부터 적어도 간접적으로 전달되는 하나 이상의 제1 이미지 신호들에 기반하여 출력 신호들을 생성한다. 모바일 디바이스 시스템의 외부 디스플레이 디바이스는 모바일 디바이스와 통신한다. 외부 디스플레이 디바이스는 출력 신호들을 수신하고, 이에 기반하여 제1 이미지 컴포넌트 및 제2 이미지 컴포넌트를 갖는 이미지를 디스플레이하고, 제1 이미지 컴포넌트는 외부 디스플레이 디바이스가 모바일 디바이스와 통신하고 있지 않으면, 모바일 디바이스 상태 또는 동작 조건을 반영하고, 터치스크린 디스플레이 상에 디스플레이되었을 다른 이미지와 실질적으로 유사하다.
또한, 적어도 하나의 실시예에서, 본 발명은 외부 디스플레이 디바이스와 관련하여 모바일 디바이스를 동작시키는 방법에 관한 것이다. 이 방법은 모바일 디바이스의 터치스크린 디스플레이에서 하나 이상의 사용자 입력들을 수신하는 단계 및 하나 이상의 추가적인 중개 소프트웨어 컴포넌트를 통해 모바일 디바이스 운영 체제에 사용자 입력들을 나타내는 하나 이상의 입력 신호를 적어도 간접적으로 제공하는 단계를 포함한다. 이 방법은 모바일 디바이스 상태 또는 동작 조건을 나타내는 제1 이미지부를 나타내는 하나 이상의 제1 이미지 신호들을 모바일 디바이스 운영 체제에서 생성하는 단계, 및 제1 이미지부를 또한 나타내는 제2 이미지 신호들을 생성하기 위해 하나 이상의 제1 이미지 신호를 프로세싱하는 단계를 더 포함한다. 이 방법은 외부 디스플레이 디바이스에 의한 수신을 위해 제2 이미지 신호들과 동일하거나 제2 이미지 신호들에 적어도 부분적으로 기반한 출력 신호들을 전송함으로써, 외부 디스플레이 디바이스가 제1 이미지부를 포함하는 전체 이미지를 디스플레이하게 하는 단계를 더 포함한다.
도 1은 본 발명의 일 실시예에 따른 외부 디스플레이 디바이스와 결합되어 통신하는 모바일 디바이스를 포함하는 예시적인 시스템을 도시한다.
도 2는 도 1의 모바일 디바이스의 예시적인 내부 하드웨어 컴포넌트들을 도시한 블록도이다.
도 3은 특히 모바일 디바이스가 외부 디스플레이 디바이스에 결합되지 않는 정상 동작 모드에서, 모바일 디바이스에서 동작 중인 예시적인 소프트웨어 컴포넌트들 및 도 1 및 도 2의 모바일 디바이스 내부 하드웨어 컴포넌트들을 도시한 블록도이다.
도 4는 특히 모바일 디바이스가 외부 디스플레이 디바이스에 결합되는 외부 디스플레이 동작 모드에서, 모바일 디바이스에서 동작 중인 예시적인 소프트웨어 컴포넌트들 및 도 1 및 도 2의 모바일 디바이스 내부 하드웨어 컴포넌트들을 도시한 블록도이다.
도 5는 모바일 디바이스의 터치스크린 디스플레이 및 외부 디스플레이 디바이스의 추가 디스플레이의 예시적인 스크린 샷을 예시한다.
도 6은 도 1 내지 도 4의 컴포넌트들/시스템의 컴포넌트들의 일부의 동작의 다양한 예시적인 단계들을 도시한 시퀀스도/흐름도이다.
도 1을 참조하면, 예시적인 모바일 디바이스(102)가 외부 디스플레이 디바이스(104)와 상호 연결된 것으로 도시되어 있다. 본 실시예에서의 상호 연결은 모바일 디바이스(102)의 단자(출력 단자)(108)를 외부 디스플레이 디바이스(104)와 연결하는 유선 연결(106)이다. 대체 실시예에서, 모바일 디바이스(102)와 외부 디스플레이 디바이스(104) 사이의 다른 연결 형태들이 구현될 수 있으며, 블루투스(Bluetooth) 연결과 같은 무선 연결을 포함한다. 모바일 디바이스(102)는 예를 들어, 휴대폰, PDA(personal digital assistant), 스마트폰, 또는 다른 핸드핼드 또는 휴대용 전자 디바이스들을 포함하는 다양한 모바일 디바이스를 나타내고자 한다. 대체 실시예들에서, 모바일 디바이스는 헤드셋, MP3 플레이어, 배터리 전력공급 디바이스, 착탈식 디바이스, 라디오, 내비게이션 디바이스, 랩톱 또는 노트북 컴퓨터, 넷북, 호출기, PMP(personal media player), DVR(digital video recorder), 게임 디바이스, 카메라, 이-리더기, 이-북, 태블릿 디바이스, 비디오 가능 스크린을 구비한 내비게이션 디바이스, 멀티미디어 도킹 스테이션, 또는 다른 모바일 디바이스일 수 있다.
외부 디스플레이 디바이스(104)는 실시예에 따라 다양한 형태를 취할 수도 있다. 예를 들어, 외부 디스플레이 디바이스(104)는 텔레비전, 고해상도 텔레비전(HDTV) 디스플레이, 모니터, 또는 다른 디스플레이 디바이스(예를 들어, 이-북과 같은 태블릿 디바이스)일 수 있으며, 다른 디바이스와 이미 관련되어 있거나 이로 구현된 디스플레이 디바이스를 가능한 한 포함한다. 본 실시예에서, 외부 디스플레이 디바이스(104)는 상당한 프로세싱 능력을 갖지 않고, 모바일 디바이스(102)에 의해 생성되고 그로부터 수신되어 유선 연결(106)을 통해 외부 디스플레이 디바이스(104)에 전달되는 신호들에 순전히 또는 실질적으로 기반하여 이미지들을 디스플레이하기 위한 디바이스 역할만을 단순히 수행한다. 외부 디스플레이 디바이스(104)가 임의의 프로세싱 능력을 갖는 한도에서, 이러한 능력들은 색조, 밝기, 콘트라스트, 및 흑백 대 컬러 디스플레이 등과 같은 표준 이미지 특성의 조정에 의해 제한된다. 그러나, 다른 실시예에서, 외부 디스플레이 디바이스는 대신에 더 많은 프로세싱 능력을 갖는 “스마트” 디바이스일 수 있다. 예를 들어, 외부 디스플레이 디바이스는 개인용 컴퓨터, 노트북 컴퓨터, 또는 실질적인 프로세싱 능력을 갖는 유사 디바이스의 스크린일 수 있다.
도시된 바와 같이, 본 실시예에서, 외부 디스플레이 디바이스(104)는 특히 모바일 디바이스(102)의 터치스크린 디스플레이(112)보다 단면적이 상당히 큰 디스플레이(110)(예를 들어, 거의 10배 이상 큰 면적을 가짐)를 포함한다. 그럼에도, 디스플레이(110 및 112)의 상대적 사이즈는 실시예에 따라 상당히 달라질 수 있다. 이미지들을 출력할 수 있는 것에 더하여, 터치스크린 디스플레이(112)는 사용자의 손가락 또는 스타일러스(stylus)와 같은 다른 터치 입력 디바이스를 통해 제공되는 터치 타입 입력들을 수신 또는 감지할 수 있다. 터치스크린 디스플레이(112)의 존재에도 불구하고, 본 실시예에서, 모바일 디바이스(102)는 모바일 디바이스의 입력 디바이스 역할을 하는 여러 별개의 키 또는 버튼(114)을 갖는다. 그러나, 다른 실시예에서는 이러한 키 또는 버튼들(또는 임의의 특정 개수의 이러한 키 또는 버튼들)이 존재할 필요가 없으며, 오히려 터치스크린 디스플레이(112)가 주요하거나 유일한 사용자 입력 디바이스 역할을 할 수 있다.
도 2를 참조하면, 본 실시예에 따라 도 1의 모바일 디바이스(102)의 예시적인 내부 하드웨어 컴포넌트들(200)을 예시한 블록도가 제공된다. 도 2에 도시된 바와 같이, 내부 컴포넌트(200)는 하나 이상의 무선 송수신기(202), 프로세서부(204)(예를 들어, 마이크로프로세서(들), 마이크로컴퓨터(들), 애플리케이션 특정 집적 회로(들) 등 중 하나 이상), 메모리부(206), 하나 이상의 출력 디바이스(208), 및 하나 이상의 입력 디바이스(210)를 포함한다. 내부 컴포넌트들(200)은 추가적이거나 향상된 기능성을 위한 보조 컴포넌트 또는 액세서리에 대한 직접 연결을 제공하기 위한 컴포넌트 인터페이스(212)를 더 포함할 수 있다. 내부 컴포넌트들(200)은 또한 바람직하게 모바일 디바이스(102)를 휴대 가능하게 하면서 다른 내부 컴포넌트들에 전력을 제공하기 위한, 배터리와 같은 전력 공급기(214)를 포함한다. 또한, 내부 컴포넌트들(200)은 추가적으로 하나 이상의 센서(228)를 포함한다. 내부 컴포넌트(200) 전부는 하나 이상의 내부 통신 링크(232)(예를 들어, 내부 버스)를 통해 서로 결합되어 서로 통신할 수 있다.
각각의 무선 송수신기들(202)은 무선 통신 기술을 활용하는데, 예를 들어, (그러나 이들로 제한되는 것은 아님) (AMPS를 사용하는) 아날로그 통신, (CDMA, TDMA, GSM, iDEN, GPRS, EDGE 등을 사용하는) 디지털 통신, 및 (UMTS, WCDMA, LTE, IEEE 802.16 등을 사용하는) 차세대 통신 등과 같은 셀룰러 기반 통신 기술 또는 그 변형물, 또는 HomeRF(무선 주파수), 블루투스, 또는 IEEE 802.11(a, b, g, 또는 n)과 같은 피어-투-피어 또는 애드혹 통신 기술, 또는 적외선 기술과 같은 그 밖의 다른 무선 통신 기술을 포함할 수 있다. 본 실시예에서, 무선 송수신기들(202)은 셀룰러 송수신기(203) 및 무선 로컬 영역 네트워크(WLAN) 송수신기(205)를 포함하지만, 다른 실시예에서는 이들 타입의 무선 송수신기들 중 하나만이 존재한다(가능한 경우 이들 타입의 무선 송수신기 및/또는 추가 타입의 무선 송수신기 중 어느 것도 존재하지 않음). 본 실시예는 무선 송수신기들(202)을 포함하며, 이들 각각이 무선 수신기 및 무선 송신기 모두를 포함하는 것으로 이해될 수 있으나, 다른 실시예에서는 임의의 소정의 타입의 무선 기술을 위한 수신기 및 송신기가 별개의 컴포넌트들일 수 있고/으나, 소정의 타입의 무선 기술을 위한 송신기가 존재하지 않는 경우에도 그 무선 기술을 위한 수신기가 존재할 수 있고, 그 반대(송신기가 존재하지만 수신기는 존재하지 않음)일 수도 있다는 점이 이해되어야 한다.
무선 송수신기(202)의 사용 덕분에, 모바일 디바이스(102)는 셀 타워(cell tower), 액세스 포인트/핫스팟(hotspot), 및 그 밖의 다른 디바이스와 같은 다양한 외부 컴포넌트들과 통신할 수 있다. 이미 주목되었던 바와 같이, 도 1의 실시예가 유선 연결(106)을 통해 모바일 디바이스(102)에 결합되어 있는 외부 디스플레이 디바이스(104)를 도시하고 있지만, 다른 실시예에서 모바일 디바이스와 외부 디스플레이 디바이스 사이의 통신이 무선 연결을 통해 달성될 수 있다. 이러한 일부 실시예에서, 외부 디스플레이 디바이스(104)와의 통신을 획득하기 위해 무선 송수신기(202)들 중 하나 이상(예를 들어, 블루투스 송수신기)이 모바일 디바이스(102)에 의해 사용될 수 있다. 이러한 무선 통신들이 이러한 목적을 위해 사용되는 한도에서, 무선 송수신기들(202)(또는 이러한 통신에 사용되는 모바일 디바이스의 특정 무선 송수신기)은 모바일 디바이스가 외부 디스플레이 디바이스와 통신하는 모바일 디바이스의 단자(108)로 간주될 수 있다.
모바일 디바이스(102)의 내부 컴포넌트들(200)의 나머지와 연계된 무선 송수신기(202)의 동작은 다양한 형태를 취할 수 있다. 예를 들어, 무선 송수신기들(202)의 동작은 무선 신호의 수신 시에 내부 컴포넌트들(200)이 통신 신호들을 검출하고, 송수신기들(202)이 통신 신호들을 복조하여 무선 신호들로 송신된 음성 및/또는 데이터와 같은 착신 정보(incoming information)를 복원하는 방식으로 진행될 수 있다. 송수신기(202)로부터 착신 정보를 수신한 후, 프로세서부(204)는 하나 이상의 출력 디바이스(208)에 대해 착신 정보를 포맷한다. 마찬가지로, 무선 신호들의 송신의 경우, 프로세서부(204)는 입력 디바이스들(210)에 의해 활성화될 수는 있지만 활성화될 필요가 없을 수 있는 발신 정보(outgoing information)를 포맷하고, 송신될 변조 통신 신호들을 제공하기 위해 변조를 위한 무선 송수신기(202)들 중 하나 이상에 발신 정보를 운송한다. 무선 송수신기(202)는 셀 타워, 액세스 포인트/핫스팟, 또는 원격 서버 또는 다양한 다른 원격 디바이스들과 같은 다른 디바이스들에 대한 무선(및 가능한 경우, 유선) 통신 링크(미도시)를 통해 변조 통신 신호들을 운송한다.
실시예에 따라, 내부 컴포넌트(200)의 입출력 디바이스(208, 210)는 다양한 시각, 청각, 및/또는 기계적 출력을 포함할 수 있다. 예를 들어, 출력 디바이스(들)(208)는 액정 디스플레이 및/또는 발광 다이오드 지시기와 같은 하나 이상의 시각적 출력 디바이스(216)들, 스피커, 알람, 및/또는 버저(buzzer)와 같은 하나 이상의 청각적 출력 디바이스(218)들, 및/또는 진동 기구와 같은 하나 이상의 기계적 출력 디바이스들(220)을 포함할 수 있다. 무엇보다, 시각적 출력 디바이스(216)는 또한 비디오 스크린을 포함할 수도 있다. 마찬가지로, 예를 들어, 입력 디바이스(들)(210)는 광학 센서(예를 들어, 카메라 렌즈 및 포토센서(photosensor))와 같은 하나 이상의 시각적 입력 디바이스들(222), 마이크로폰과 같은 하나 이상의 청각적 입력 디바이스들(224), 및/또는 플립 센서(flip sensor), 키보드, 키패드, 선택 버튼, 내비게이션 클러스터(navigation cluster), 터치 패드, 정전용량성 센서(capacitive sensor), 모션 센서, 및/또는 스위치와 같은 하나 이상의 기계적 입력 디바이스들(226)을 포함할 수 있다. 입력 디바이스들(210) 중 하나 이상을 작동시킬 수 있는 동작들은 버튼 또는 그 밖의 다른 액추에이터(actuator)의 물리적 누름/작동을 포함할 수 있을 뿐 아니라, 예를 들어, 모바일 디바이스의 열기, 디바이스의 잠금 해제, 디바이스를 이동시켜 모션 작동, 디바이스를 이동시켜 위치 파악 시스템(location positioning system) 작동, 및 디바이스 동작을 포함할 수 있다.
추가적으로, 도 2에서, 입력 디바이스들(210)이 출력 디바이스들(208)과 별개로 도시되어 있지만, 본 실시예를 포함하는 일부 실시예에서 하나 이상의 디바이스들이 입력 디바이스(들) 및 출력 디바이스(들) 모두의 역할을 한다는 점이 인식되어야 한다. 즉, 도 1의 본 실시예에서, 모바일 디바이스(102)의 터치스크린 디스플레이(112)는 사용자 터치 입력들이 터치스크린 디스플레이에 의해 감지되는 한, 기계적 입력 디바이스들(226) 중 하나 이상뿐 아니라, 터치스크린 디스플레이가 이미지를 출력하는 한, 시각적 출력 디바이스들(216) 중 하나 이상을 포함하는 사용자 인터페이스이다. 다른 실시예에서, 입력 디바이스들(210)과 출력 디바이스들(208) 양쪽 모두에서 고려되어야 하는 다른 타입의 디바이스 스캔이 사용될 수 있다.
전술한 바와 같이, 내부 컴포넌트(200)는 다양한 타입의 센서들(228) 중 하나 이상을 포함할 수도 있다. 센서들(228)은 예를 들어 근접 센서(proximity sensor)(예를 들어, 광 검출 센서, 초음파 송수신기, 또는 적외선 송수신기), 터치 센서, 고도 센서, 및 예를 들어, GPS(Global Positioning System) 수신기, 삼각측량(triangulation) 수신기, 가속도계, 기울기 센서, 자이로스코프, 또는 모바일 디바이스(102)의 현재 위치 또는 사용자 디바이스 인터페이스를 식별할 수 있는 임의의 다른 정보 수집 디바이스를 포함할 수 있는 하나 이상의 위치 회로/컴포넌트들을 포함할 수 있다. 도 2의 목적을 위한 센서들(228)이 입력 디바이스들(210)과 별개인 것으로 간주되지만, 다른 실시예에서는 입력 디바이스들 중 하나 이상이 센서들 중 하나 이상을 구성하는 것으로 간주될 수 있다(그 반대의 경우도 마찬가지임). 본 실시예의 설명을 위해, 터치스크린 디스플레이(112)는 센서들(228) 중 어느 하나가 아니라고(또한 어느 하나를 포함하지 않는다고) 간주되지만, 대안적으로 그 디스플레이의 터치 감지 능력은 센서들 사이에 있는 것으로 간주될 수 있다.
내부 컴포넌트들(200)의 메모리부(206)는 다양한 형태 중 어느 하나를 갖는 하나 이상의 메모리 디바이스(예를 들어, 롬(read-only memory), 램(random access memory), 정적 램, 동적 램 등)를 포함할 수 있으며, 프로세서부(204)에 의해 사용되어 데이터를 저장 및 검색할 수 있다. 일부 실시예에서, 메모리부(206)(또는 그 일부)는 단일 디바이스(예를 들어, PIM(processor-in-memory) 또는 메모리를 포함하는 프로세싱 디바이스) 내의 프로세서부(204)(또는 그 일부)와 통합될 수 있으나, 다만 이러한 단일 디바이스는 통상적으로 상이한 프로세싱 및 메모리 기능을 수행하고, 별도의 디바이스들로 고려될 수 있는 별도의 부분/섹션을 여전히 가질 것이다. 메모리부(206)에 의해 저장된 데이터는 이들로 제한될 필요는 없지만, 운영 체제, 프로그램(애플리케이션), 및 정보 데이터를 포함할 수 있다. 각각의 운영 체제는 내부 컴포넌트들(200) 간에 포함된 다양한 컴포넌트들 사이의 상호 작용, 무선 송수신기(202) 및/또는 컴포넌트 인터페이스(212)를 통한 외부 디바이스들과의 통신, 및 메모리부(206)로의/로부터의 프로그램 및 데이터의 저장 및 검색과 같은 모바일 디바이스(102)의 기본 기능을 제어하는 실행가능 코드를 포함한다. 하나의 예시 운영 체제가 도 3 내지 도 6을 참조하여 이하 더 상세히 설명된다.
프로그램들의 경우, 각각의 프로그램은 운영 체제를 활용하여 파일 시스템 서비스 및 메모리부(206)에 저장된 보호 및 비보호 데이터의 처리와 같은 더 구체적인 기능성을 제공하는 실행가능 코드를 포함한다. 이러한 많은 프로그램들은 모바일 디바이스(102)의 표준 또는 필수 기능성을 지배함에도 불구하고, 많은 경우에, 프로그램들은 옵션 또는 특수 기능성을 지배하는 애플리케이션(또는 간단히 "앱들(apps)")을 포함하는데, 이들은 일부 경우에 모바일 디바이스 제조사와 관련 없는 제3의 제공자(vendor)에 의해 제공될 수 있다. 본 실시예의 모바일 디바이스(102)의 특정 예시 프로그램/애플리케이션의 동작은 특히, 이들 프로그램/애플리케이션이 외부 디스플레이 디바이스(104) 및 모바일 디바이스(102)의 모바일 디바이스 운영 체제와 특정 하드웨어 컴포넌트들과 상호 작용하는 방법 측면에서, 도 3 내지 도 6을 참조하여 더 상세히 설명된다.
마지막으로, 정보 데이터의 경우, 이는 모바일 디바이스(102)의 기능들을 수행하는 운영 체제 또는 프로그램에 의해 참조 및/또는 조작될 수 있는 실행불가(non-executable) 코드 또는 정보이다. 이러한 정보 데이터는 예를 들어, 제조 시에 모바일 디바이스(102)에 사전 프로그래밍된 데이터 또는 모바일 디바이스(102)가 동작 계속 중에 통신하고 있는 서버 또는 다른 디바이스들로 업로드되거나, 이들로부터 다운로드되거나, 그렇지 않으면 이들에서 액세스되는 다양한 타입의 정보 중 임의의 것을 포함할 수 있다.
도 3 및 도 4를 다시 참조하면, 도 2가 모바일 디바이스(102)의 다양한 하드웨어 컴포넌트들을 예증하는 반면에, 도 3 및 도 4는 모바일 디바이스 및 특히 모바일 디바이스 프로세서부(204)에 의해 실행되고 있는 다양한 소프트웨어 컴포넌트들을 개략적으로 예시한다. 도 3은 외부 디스플레이 디바이스(104)가 모바일 디바이스(102)로부터 연결 해제되는 경우 모바일 디바이스 소프트웨어 컴포넌트들이 서로 어떻게 상호작용하는지를 도시하며, 도 4는 외부 디스플레이 디바이스가 모바일 디바이스와 연결되는 경우(또는 외부 디스플레이 디바이스가 모바일 디바이스와 통신하는 경우) 모바일 디바이스 소프트웨어 컴포넌트들이 서로 어떻게 상호작용하는지를 도시한다. 도 3에 따른 동작과 도 4에 따른 동작 사이의 전환은 통상적으로 연결이 모바일 디바이스와 외부 디스플레이 디바이스(104) 사이에 구축되었다는 것을 모바일 디바이스(102)가 감지하면, 예를 들어, 유선 연결(6)을 형성하는 와이어의 물리적 플러그가 모바일 디바이스(102)의 단자(108)에 삽입되는 경우(또는 이와 달리 모바일 디바이스가 블루투스 연결과 같은 무선 연결이 모바일 디바이스와 외부 디스플레이 디바이스 사이에 구축되었다는 것을 감지한 경우) 즉시 일어난다.
특히, 도 3의 경우, 외부 디스플레이 디바이스(104)가 모바일 디바이스(102)와 연결되지 않은(또는 이에 의해 구동되지 않는) 정상 모드로 모바일 디바이스(102)가 동작하는 경우, 모바일 디바이스의 프로세서부(204)에 의해 실행되는 소프트웨어 컴포넌트들은 특히 안드로이드(Android) 운영 체제(302) 및 터치스크린 디스플레이(112)와 인터페이싱하는 그 밖의 다른 소프트웨어 컴포넌트들(304)을 포함한다(비록, 터치스크린 디스플레이는 소프트웨어 컴포넌트가 아니라 하드웨어 컴포넌트라고 이해될 수 있지만, 터치스크린 디스플레이(112)는 편의를 위해 도 3에 도시되어 있음).
비록 안드로이드 운영 체제(302)는 운영 체제 소프트웨어 컴포넌트임에도 불구하고, 다른 소프트웨어 컴포넌트들(304)은 프로그램/애플리케이션들이라고 이해될 것이다. 그러므로, 논리적으로, 모바일 디바이스 운영 체제(302)는 다른 소프트웨어 컴포넌트들(304)과 별개로 고려될 수 있으며, 이로써 이러한 논리적 구분을 도시하는 점선(306)이 도 3에 제공된다. 추가적으로, 안드로이드 운영 체제(302) 소프트웨어 컴포넌트가 "운영 체제”라고 지칭됨에도 불구하고, 이러한 소프트웨어 컴포넌트가 리눅스(Linux) 운영 체제의 라이트웨이트 버전(lightweight version)을 포함하는 모바일 또는 휴대용 디바이스 플랫폼으로서 동작하는 한도에서, 이러한 소프트웨어 컴포넌트는 안드로이드 "플랫폼”으로 고려될 수도 있다는 점이 더 이해되어야 한다.
또한, 본 실시예에서, 모바일 디바이스(102)에서 동작 중인 안드로이드 운영 체제(또는 플랫폼)(302)임에도 불구하고, 이는 단지 채택될 수 있는 하나의 예시적인 모바일 디바이스 운영 체제(또는 플랫폼)이고, 다른 실시예에서 하나 이상의 다른 운영 체제(또는 플랫폼)가 안드로이드 운영 체제에 추가 또는 대신하여 활용될 수 있다는 점이 이해되어야 한다. 예를 들어, 다른 실시예에서, 모바일 디바이스(102)에서 안드로이드 운영 체제(또는 플랫폼)(302)를 활용하는 대신에, 오히려 다른 모바일 디바이스 운영 체제(플랫폼)가 채택될 수 있는데, 이들로 제한되는 것은 아니지만, 아이폰(iPhone), 윈도우 모바일(Windows Mobile), 심비안(Symbian), 및 다른 타입의 모바일 디바이스 운영 체제(플랫폼)를 포함한다. 안드로이드 운영 체제(플랫폼)(302) 및 아이폰과 같은 다른 전술한 모바일 디바이스 운영 체제(플랫폼) 중 하나 이상이 리눅스 형태를 활용하거나 이에 기반하는 반면에, 일부 다른 실시예에서, 운영 체제(플랫폼)는 리눅스를 활용하거나 이에 기반할 필요가 없다.
다른 소프트웨어 컴포넌트(304)의 경우, 이들은 모바일 디바이스(102)의 터치스크린 디스플레이(112)가 (사용자 손가락, 스타일러스, 또는 그 밖의 다른 작동 디바이스에 의한) 사용자로부터의 터치를 통해 입력 명령을 수신할 뿐 아니라 정보/이미지들을 출력하도록 동작하게 한다. 도시된 바와 같이, 다른 소프트웨어 컴포넌트들(304)은 그래픽 프로세싱 유닛 애플리케이션 프로그래밍 인터페이스(GPU API)(308) 및 터치스크린 드라이버(310)를 포함하며, 이들 각각은 안드로이드 운영 체제(302) 및 터치스크린 디스플레이(112) 모두와 통신한다. 더 구체적으로, 터치스크린 디스플레이(112)는 GPU API(308)에 의해 제공된 이미징 신호(imaging signal)(314)들에 의해 구동된다. GPU API(308)는 안드로이드 운영 체제(302)로부터 수신된 이미징 신호들(316)에 기반하여 이미징 신호들(314)을 제공한다. 비록 이미징 신호들(314)이 이미징 신호들(316)과 동일할 수 있음에도 불구하고, 더 통상적으로, 이미징 신호들(314)은 GPU API가 이미징 신호들(316)을 프로세싱하여 이미징 신호들(314)에 도달하는 한, 이미징 신호들(316)과 상이하며, 이미징 신호들(314)이 터치스크린 디스플레이(112)에 더 적합하다.
이미징 신호들(314, 316) 및 GPU API(308)가 안드로이드 운영 체제(302)가 터치스크린 디스플레이(112)에 의한 출력/이미징을 구동 및 제어하게 함에도 불구하고, 안드로이드 운영 체제(302)가 터치스크린 디스플레이에 의해 수신된 사용자 입력 신호들(사용자 명령 포함)에 대응하는 정보를 수신하게 할 수 있는 추가 신호들이 전달된다. 더 구체적으로 도시된 바와 같이, 사용자 입력 신호들의 수신 시에 터치스크린 디스플레이(112)는 터치스크린 신호들(318)을 터치스크린 디스플레이로부터 터치스크린 드라이버(310)로 전송한다. 추가적으로, 터치스크린 드라이버(310)는 차례로 터치스크린 신호들(318)을 프로세싱하여 (점선(306)을 통해) 안드로이드 운영 체제(302)에 제공되는 터치스크린 드라이버 신호들(320)에 도달시킨다. 본 실시예에서, 터치스크린 신호들(318)은 사용자 입력 신호들이 수신되었던 터치스크린 디스플레이(112) 상의 위치들(즉, 터치되었던 터치스크린 디스플레이 상의 위치들)을 표시하는 절대 좌표 신호들이다. 터치스크린 드라이버 신호들(320)은 또한 본 실시예에서 절대 좌표 신호들이다(터치스크린 드라이버는 터치스크린 하드웨어에 대한 리눅스 입력 디바이스 인터페이스로 고려될 수 있음). 터치스크린 디스플레이(112)와 터치스크린 드라이버(310) 사이에 제공되어 안드로이드 디바이스 운영 체제(302)에 제공되는 신호들(318, 320)의 설명에도 불구하고, 다른 실시예에서 이들 신호들이 다른 형태를 취할 수 있다.
도 4를 다시 참조하면, 모바일 디바이스(102) 내의 소프트웨어 컴포넌트 상호 작용은 외부 디스플레이 디바이스(104)와 같은 외부 디스플레이 디바이스가 모바일 디바이스에 연결되었다고 모바일 디바이스가 판단하는 경우, 도 3에 도시된 바로부터 상당히 변경된다. 이러한 현상이 일어나면, 모바일 디바이스(102)는 자신의 동작 모드를 정상 모드로부터 외부 디스플레이 모드로 전환하고, 안드로이드 운영 체제(302)는 더 이상 다른 소프트웨어 컴포넌트들(304)과 직접 통신하지 않고, 오히려 수많은 추가적인 중개 소프트웨어 컴포넌트들(402)이 동작을 시작한다. 즉, 외부 디스플레이 디바이스(104)가 모바일 디바이스(102)에 연결되면(예를 들어, 플러그인 되거나 모바일 디바이스와의 통신에 진입함), 추가적인 중개 소프트웨어 컴포넌트(402)는 다른 소프트웨어 컴포넌트들(304) 및 안드로이드 운영 체제(302)뿐 아니라 프로세서부(204)에 의해 런칭 및 실행된다. 전술한 설명에도 불구하고, 일부 대체 실시예에서, 모바일 디바이스(102)에 대한 외부 디스플레이 디바이스(104)의 연결뿐 아니라 그 밖의 다른 트리거링 이벤트들이 도 3의 구성과 도 4의 구성 사이의 동작 전환을 촉진할 수 있다.
이하 더 상세히 설명되는 바와 같이, 추가적인 중개 소프트웨어 컴포넌트들(402)은 외부 디스플레이 디바이스(104)와의 통신을 가능하게 할 뿐 아니라(또는 더 구체적으로, 외부 디스플레이 디바이스의 디스플레이(110)와의 통신을 가능하게 함), 안드로이드 운영 체제(302)와 그 밖의 다른 소프트웨어 컴포넌트들(304) 사이의 인터페이스 역할을 한다. 도 3과 유사하게, 비록 외부 디스플레이 디바이스(104)(및 디스플레이(110))뿐 아니라 터치스크린 디스플레이(112)가 하드웨어 컴포넌트/디바이스임에도 불구하고, 이들 컴포넌트/디바이스는 편의상 도 4에 도시되어 있으며, 다양한 소프트웨어 컴포넌트들과 이들 하드웨어 컴포넌트/디바이스 사이의 상대적 상호 작용을 예시한다. 도 3과 유사하게, 점선(404)에 의해 표현된 바와 같이 안드로이드 운영 체제(302)와 추가적인 중개 소프트웨어 컴포넌트들(402) 사이에 논리적 구별이 존재하는 것을 이해될 수 있으며, 나아가 점선(406)에 의해 표시된 바와 같이 추가적인 중개 소프트웨어 컴포넌트들이 (도 3에서와 동일한) 그 밖의 다른 소프트웨어 컴포넌트들(304)과 구별될 수 있다.
도시된 바와 같이, 그 밖의 다른 소프트웨어 컴포넌트들(304)은 도 3에 도시된 바와 같은 동일한 다른 소프트웨어 컴포넌트들, 즉 GPU API(308) 및 터치스크린 드라이버(310)를 포함한다. 도 3에 도시된 바와 같이, GPU API(308)는 이미징 신호들(314)을 터치스크린 디스플레이(112)에 제공하고, 터치스크린 디스플레이는 터치스크린 신호들(318)을 터치스크린 드라이버(312)에 제공한다. 그러나, 도 3에 도시된 배열과 반대로, 도 4에서, GPU API(308)로부터 수신된 이미징 신호들(314)은 안드로이드 운영 체제(302) 이외의 것, 즉 추가적인 중개 소프트웨어 컴포넌트들(402) 중 하나인 이벤트 브릿지 컴포넌트(412)로부터 GPU API에 의해 수신된 이미징 신호들(408)에 기반한다. 또한, 터치스크린 드라이버 신호들(320)을 안드로이드 운영 체제(302)에 제공하는 터치스크린 드라이버(312) 대신에, 도 4에서 터치스크린 드라이버 신호들(320)은 이벤트 브릿지 컴포넌트(412)에 제공된다.
추가적인 중개 소프트웨어 컴포넌트들(402)과 관련하여, 이들은 이벤트 브릿지 컴포넌트(412)와 여러 추가적인 소프트웨어 컴포넌트들 모두를 포함한다. 더 구체적으로 도시된 바와 같이, 이벤트 브릿지 컴포넌트(412)뿐 아니라, 추가적인 중개 소프트웨어 컴포넌트들(402)은 이벤트 포워드 드라이버 컴포넌트(414), X 윈도우즈 컴포넌트(X windows component)(416), 추가적인 GPU API(418), AIW(Android-in-a-window) 컴포넌트(420), EAS 드라이버 컴포넌트(422), 및 가능하면(필수적인 것은 아님), 하나 이상의 애플리케이션 또는 리눅스 프로그램들(424)을 포함한다. GPU API(418)는 반드시 그럴 필요는 없지만, GPU API(308)와 동일한 타입의 컴포넌트일 수 있다. 앞서 주목한 바와 같이, 추가적인 중개 소프트웨어 컴포넌트들(402)은 집합적으로 안드로이드 운영 체제(302)와 그 밖의 다른 소프트웨어 컴포넌트들(304) 사이의 인터페이스 또는 브릿지 역할을 하며, 나아가 외부 디스플레이 디바이스(104)(및 관련된 디스플레이(110))의 동작을 구동시키는 역할을 한다. 이는 중개 소프트웨어 컴포넌트들(402) 사이 및 추가적인 중개 소프트웨어 컴포넌트들과 안드로이드 운영 체제(302), 외부 디스플레이 디바이스(104)(및 관련 디스플레이(110)), 및 그 밖의 다른 소프트웨어 컴포넌트들(304) 각각과의 사이에 전달되는 많은 상호작용형 신호들 덕분에 이루어진다.
이러한 관점에서 더 구체적으로, 우선, 이벤트 브릿지 컴포넌트(412)는 다른 소프트웨어 컴포넌트(304)와 구체적으로 인터페이싱하는 리눅스 사용자 공간 애플리케이션이며, 가상 입력 디바이스 역할을 한다. 무엇보다, 이벤트 브릿지 컴포넌트(412)는 터치스크린 드라이버 신호들(320)의 형태로 터치스크린 드라이버(312)로부터 착신되는 입력 이벤트들을 포착하는 실행 가능 컴포넌트를 구성하며, 터치스크린 디스플레이로 하여금 특정한 그래픽 이미지들을 보여주게 하기 위한 터치스크린 디스플레이(112)에 대한 (통상적으로 GPU API에 의한 프로세싱에 이어) 최종 전송을 위하여 GPU API(308)에 이미징 신호들(즉, 이미징 신호들(408))을 전송한다.
본 실시예에서, 모바일 디바이스(102)가 외부 디스플레이 모드로 동작하는 경우, 이벤트 브릿지 컴포넌트(412)는 터치스크린 디스플레이(112)를 제어하여 트랙패드(마우스 타입의 디바이스를 사용하여 이루어진 바와 유사한 방식으로 사용자 입력을 가능하게 하는 선택 입력 디바이스)와 키들의 이미지들을 갖는 키패드 중 하나 또는 양자 모두와 같은 사용자 인터페이스(가상 사용자 인터페이스)를 나타내는 이미지를 단독 또는 주로 디스플레이한다. 키패드가 제공되는 한도에서, 키패드의 키들은 물리적이거나 “하드(hard)” 키인 키/버튼들(114) 중에서 하나를 에뮬레이트할 수 있고/거나, 다른 사용자 입력들(예를 들어, 터치스크린 디스플레이(112)에 도시된 이미지의 초상화/풍경화(portrait/landscape) 배향(orientation)을 제어하기 위한 사용자 입력들)을 가능하게 하기 위해 이들 하드 키에 추가될 수 있다. 요컨데, 터치스크린 디스플레이(112)는 포인터가 특히 유용한 트랙패드/마우스 모드와 키패드 모드 중 하나 또는 양자 모두로 (동시에) 동작하도록 제어된다.
터치스크린 디스플레이(112)가 이벤트 브릿지 컴포넌트(412)에 의해 주로 구동되어 사용자 인터페이스 역할을 한다고 가정하면, 터치스크린 신호들(318) 및 터치스크린 드라이버 신호들(320)은 특히 (i) 디스플레이된 키 이미지(들)에 대응하는 터치스크린 디스플레이(112) 상의 위치(들)가 터치되었는지 그렇지 않으면 사용자에 의해 선택되었는지 여부, 또는 (ii) 터치스크린에 나타난 트랙패드 상의 특정 위치(들)가 사용자에 의해 선택되었는지 여부 중 하나 또는 양자 모두를 나타내는 키/위치 신호들이다. 즉, 터치스크린 신호들(318) 및 터치스크린 드라이버 신호들(320)은 특히 특정 키들이 눌리거나 선택되었다는 키 표시(들) 및/또는 하나 이상의 위치가 터치되거나 선택되었다는 좌표 표시(들) 중 하나 또는 양자 모두를 포함한다. 좌표 표시(들)가 제공되는 경우, 터치스크린 신호들(318) 및 터치스크린 드라이버 신호들(320)은 특히 사용자에 의해 선택/터치되었던 터치스크린 디스플레이에서의 절대 위치(들)를 표현하는 절대 좌표값을 제공할 수 있다.
전술한 내용에도 불구하고, 본 실시예에서 이벤트 브릿지 컴포넌트(412)가 사용자 인터페이스 특징을 단독 또는 주로 보여주기 위해 터치스크린 디스플레이(112)를 구동하는 경우에도, 이벤트 브릿지 컴포넌트(412)가 터치스크린 디스플레이(112)로 하여금 사용자 인터페이스 특징 이외의 것(또는 이에 추가된 것)을 디스플레이하게 하는 일부 환경이 존재함을 이해해야 한다. 특히, 이는 이벤트 브릿지 컴포넌트가 하나 이상의 착신 통지(incoming notification)(448)를 수신할 때 일어날 수 있다. 착신 통지는 예를 들어, 모바일 디바이스(112)의 터치스크린 디스플레이(112)에 여전히 디스플레이되어야 하는 안드로이드 운영 체제(302)에 의해 전송된 오버라이드(override) 통지를 포함할 수 있다(예를 들어, 일부 환경에서, 긴급 착신 호, 일정 타입의 뉴스, 가능한 경우 어떤 소셜 네트워킹/소셜 상태 정보, 일정 메시지, 및 일정 타입의 날씨 정보 또는 다른 실시간 정보의 통지). 또한, 터치스크린 디스플레이(112)는 외부 디스플레이 디바이스(104)가 모바일 디바이스의 단자(108)에 연결되는 시점 또는 그 이후 기간 동안 통지를 디스플레이하도록 제어될 수 있다. 이러한 통지가 외부 디스플레이 디바이스(104)의 존재의 감지 시에 GPU API(418)로부터 이벤트 브릿지 컴포넌트(412)에 제공될 수 있다. 또한, 적어도 일부 실시예에서, 이벤트 브릿지 컴포넌트(412)는 출력 통지(outgoing notification)(450)를 다른 시스템 컴포넌트들로 출력할 수 있다.
다른 소프트웨어 컴포넌트들(304)과 인터페이싱할 때 이벤트 브릿지 컴포넌트(412)의 역할을 보완하여, 추가적인 중개 소프트웨어 컴포넌트들(402) 중 다른 것들이 안드로이드 운영 체제(302), 즉 AIW 컴포넌트(420) 및 EAS 드라이버 컴포넌트(424)와 인터페이싱하는 역할을 한다. 도시된 바와 같이, 안드로이드 운영 체제(302)가 GPU API(308)에 의한 수신을 위해 이미징 신호들(316)을 전송하는 도 3과 반대로, 도 4에서는 안드로이드 운영 체제가 대신에 AIW 컴포넌트(420)에 의한 수신을 위해 다른 이미징 신호들(426)을 전송한다. 또한, 도 3에 나타낸 바와 같이 터치스크린 드라이버(312)로부터 터치스크린 드라이버 신호들(320)을 수신하기보다, 도 4에서는 AIW 컴포넌트(420)로부터 수신된 AIW 신호들(430)에 기반하여 추가 신호를 제공하는 EAS 드라이버 컴포넌트(422)로부터 안드로이드 운영 체제(302)가 추가 신호들(428)을 수신한다. 본 실시예에서의 EAS 드라이버 컴포넌트(422)는 AIW 신호들(430)을 프로세싱하고 안드로이드 운영 체제(302)를 위한 추가 신호들(428)을 독점 생성하는데 사용되는 리눅스 입력 디바이스 드라이버로 간주될 수 있다.
또한, 추가적인 중개 소프트웨어 컴포넌트들(402)과 관련하여, X 윈도우즈 컴포넌트(416)는 AIW 컴포넌트(420), 이벤트 브릿지 컴포넌트(412), 및 여러 다른 소프트웨어 컴포넌트 사이에 있는 중앙 중재 디바이스(central mediating device) 역할을 한다. 본 실시예에서의 X 윈도우즈 컴포넌트(416)는 특히 리눅스에 의해 제공되며, (마이크로소프트 윈도우(Microsoft Windows®)에 의해 제공되는 것과 논리적으로 유사한) 윈도우 타입 환경을 제공하고, 윈도우 모바일(WM) 애플리케이션 프로그래밍 인터페이스를 포함한다. 본 실시예에서, X 윈도우즈가 채택되었지만, 다른 실시예에서는 다른 윈도우 시스템(예를 들어, Microsoft Windows®)이 사용될 수 있다.
도시된 바와 같이, X 윈도우즈 컴포넌트(416)는 이벤트 포워드 드라이버 컴포넌트(414)를 통해 이벤트 브릿지 컴포넌트(412)와 통신하고 있으며, 이들 통신 덕분에 X 윈도우즈 컴포넌트는 전술한 바와 같이 터치스크린(112)에 제공되는 사용자 입력에 관한 키 표시 정보 및/또는 좌표 표시 정보 중 하나 또는 양자 모두를 수신한다. 이에 관해 더 구체적으로, 터치스크린 드라이버 신호들(320)의 수신 시에 이벤트 브릿지 컴포넌트(412)는 관련 터치스크린 입력 신호들(432)을 프로세싱하여 이벤트 포워드 드라이버 컴포넌트(414)로 포워딩할 수 있다. 이벤트 브릿지 컴포넌트(412)에 의해 수행되는 프로세싱은, 예를 들어 절대 좌표 정보의 상대 좌표 정보로의 변환을 포함할 수 있다.
관련 터치스크린 입력 신호들(432)의 수신 시에 이벤트 포워드 드라이버 컴포넌트(414)는 관련 터치스크린 입력 신호들에 기반하여, 포워딩된 터치스크린 입력 신호들(434)을 X 윈도우즈 컴포넌트(416)에 차례로 제공한다. 이벤트 포워드 드라이버는 X 윈도우즈 컴포넌트(416)로 하여금 이벤트 브릿지 컴포넌트(412)로부터의 이벤트들을 받아들이게 하기 위해 플러그인되어야 하는 리눅스 기반의 X 윈도우즈 컴포넌트로 기본적으로 간주될 수 있다. 이들 통신 덕분에 X 윈도우즈 컴포넌트(416)는 터치스크린 디스플레이(112)에 있는 사용자 입력의 키 및/또는 좌표 표시(들)를 간접적으로 수신한다.
포워딩된 터치스크린 입력 신호들(438)이 X 윈도우즈 컴포넌트(416)에서 수신되면, X 윈도우즈 컴포넌트는 키/좌표 표시 정보 자체를 활용할 수 있고, 추가적으로 이 정보를 추가 터치스크린 입력 신호들(438)로서 AIW 컴포넌트(420)에 더 전송한다. AIW 컴포넌트(420)에 의한 수신 시에 추가 터치스크린 입력 신호들(438)은 EAS 드라이버 컴포넌트(422)에 제공된 AIW 신호들(430)을 위한 기반으로서 사용되는데, 이는 차례로 프로세싱되어 추가 신호(428)로서 안드로이드 운영 체제(302)에 제공된다. 이에 따라, 적어도 간접적으로, 안드로이드 운영 체제(302)에는 터치스크린 드라이버 신호들(320)이 터치스크린 드라이버(310)로부터 안드로이드 운영 체제로 직접 제공되는 경우, 도 3에서의 안드로이드 운영 체제(302)에 의해 수신되는 것과 동일한 정보 또는 실질적으로 동일한 정보가 제공된다. 즉, 모바일 디바이스(102)가 외부 디스플레이 모드로 동작하는 경우에도, 안드로이드 운영 체제(302)에는 터치스크린 디스플레이(112)에 있는 사용자 입력들이 여전히 알려진다.
이미 전술된 바와 같이, 안드로이드 운영 체제(302)는 다른 이미징 신호들(426)을 AIW 블록(420)에 전송한다. 안드로이드 운영 체제가 추가 신호들(428)을 통해 터치스크린 입력 정보를 다시 수신하는 한, 도 4의 안드로이드 운영 체제(302)가 도 3에 도시된 바와 동일하거나 실질적으로 동일한 방식으로 동작한다는 것을 고려할 때, 도 4에서 다른 이미징 신호들(426)은 도 3의 이미징 신호들(316)과 동일하거나 실질적으로 동일한 타입의 이미징 신호들인 것으로 이해될 수 있다. 그럼에도, 후술한 바와 같이, 모바일 디바이스(102)가 외부 디스플레이 모드로 동작하는 경우, 다른 이미징 신호들(426)은 터치스크린 디스플레이(112)에 의해 디스플레이되는 이미지들을 제어하기 위해 사용되지 않지만(왜냐하면, 이 목적을 위해서는 이벤트 브릿지 컴포넌트(412)의 이미징 신호들(408)이기 있기 때문임), 오히려 외부 디스플레이 디바이스에 디스플레이되는 것에 영향을 미친다. 따라서, 이 목적을 위한 다른 이미징 신호들을 포맷하기 위해, AIW 컴포넌트(420)에 있는 안드로이드 운영 체제(302)로부터의 수신 시에 이들 신호들은 차례로 AIW 컴포넌트에 의해 프로세싱되어 X 윈도우즈 컴포넌트(416)에 제공되는 AIW 이미징 신호들을 생성한다.
전술한 상호 작용 이외에, 전술한 바와 같이, 본 실시예에서의 추가적인 중개 소프트웨어 컴포넌트들은 모바일 디바이스(102)에서 동작하는 하나 이상의 애플리케이션 또는 리눅스 프로그램들(424)을 더 포함한다. 애플리케이션 또는 리눅스 프로그램들(424)은 실시예 또는 환경에 따라 다양한 형태를 취할 수 있다. 예를 들어, 애플리케이션 또는 리눅스 프로그램(424)은 휴대용 컴퓨터 또는 그 밖의 다른 디바이스들에서 일반적으로 실행되는 다양한 프로그램 중 어느 하나를 포함하는데, 프로그램의 동작을 지배하기 위해 사용자 입력들을 요구 또는 활용하는 프로그램(예를 들어, 워드 프로세싱 프로그램, 스프레드시트 프로그램(spreadsheet program), 비디오 게임, 데스크톱 애플리케이션 등)을 포함할 수 있다. 또한, 본 실시예에서, 애플리케이션 또는 리눅스 프로그램(424)의 동작은 외부 디스플레이 디바이스(104)(또는 디스플레이(110))에 디스플레이되는 것에 더 영향을 미치고/거나, 참작될 수 있다. 또한, 본 실시예에서, 애플리케이션 또는 리눅스 프로그램(424)은 터치스크린 디스플레이(112)에서 제공되는 사용자 입력을 참작하거나 적어도 부분적으로 이에 기반하여 동작하도록 설계된다. 이에 따라, 모바일 디바이스(102)가 외부 디스플레이 모드로 동작할 때, 추가 터치스크린 입력 신호들(438)은 AIW 컴포넌트(420)뿐 아니라, 도시된 바와 같은 애플리케이션 또는 리눅스 프로그램(424)에 제공된다.
또한, 애플리케이션 또는 리눅스 프로그램들(424)이 외부 디스플레이 디바이스(104)(또는 디스플레이(110))에 디스플레이되는 이미지들에 영향을 미치도록 하기 위해, 애플리케이션 이미징 신호들(442)이 이들 애플리케이션/리눅스 프로그램으로부터 X 윈도우즈 컴포넌트(416)로 더 제공된다. 본 실시예에서는 애플리케이션 또는 리눅스 프로그램(424)으로부터의 신호들이 이미징 신호들임에도 불구하고, 다른 실시예에서는 이미징에 구체적으로 영향을 미치지 않으려는 다른 신호들이 애플리케이션 이미징 신호들(442) 대신 또는 이에 추가하여 X 윈도우즈 컴포넌트(416)에 전송될 수 있다. 또한, 전술한 설명에도 불구하고, 대체 실시예에서, 애플리케이션 또는 리눅스 프로그램들은 존재할 필요가 없거나 어떤 소정의 시점에 동작할 필요가 없고/거나, 애플리케이션 또는 리눅스 프로그램들은 터치스크린 사용자 입력 정보를 참작하거나 애플리케이션 이미징 신호들을 X 윈도우즈 컴포넌트(416)에 제공할 필요가 없다.
이에 따라, 도 4에 도시된 바와 같이, 본 실시예에서의 X 윈도우즈 블록(416)은 여러 상이한 소스들로부터 여러 상이한 타입의 착신 신호들을 수신하는데, 즉 애플리케이션 또는 리눅스 프로그램(424) 중 하나 이상으로부터 포워딩 터치스크린 신호들(434), AIW 이미징 신호들(440), 및 잠재적으로 애플리케이션 이미징 신호들(442)을 수신한다. 이들 신호에 기반하여, X 윈도우즈 블록(416)은 외부 디스플레이 디바이스(104)(또는 디스플레이(110))에 디스플레이하기 위해 (다수의 이미지 하위부분(subportion)으로 종종 형성되는) 적절한 이미지를 결정할 수 있다. 더 구체적으로, 포워딩된 터치스크린 신호들(434), AIW 이미징 신호들, 및 (일부 실시예 또는 환경에서 적어도) 애플리케이션 이미징 신호들(442)에 기반하여, X 윈도우즈 블록(416)은 GPU API(418)에 제공되는 출력 이미징 신호들(444)을 생성한다. 그 후, GPU API(418)는 모바일 디바이스(102)의 단자(108)로부터 출력되어 유선 연결(106)을 통해 외부 디스플레이 디바이스(104)(또는 디스플레이(110))로 전달되는 추가 출력 이미징 신호들(446)을 생성한다. 그 후, 외부 디스플레이 디바이스(104)의 디스플레이(110)는 이들 추가 출력 이미징 신호들(446)에 따라 이미지들을 디스플레이한다.
도 4에 도시된 소프트웨어 컴포넌트들(302, 304, 및 402)을 고려해 볼 때, 모바일 디바이스(102) 및 외부 디스플레이 디바이스(104)는 (도 3의) 정상 모드와 상당히 상이한 방식으로 서로 협력하여 동작할 수 있다. 특히, 도 5에 도시된 것처럼 후에 더 상세히 추가적으로 설명되는 바와 같이, 정상 모드에서 터치스크린 디스플레이(112)는 일정 타입의 사용자 입력을 수신할 뿐 아니라 안드로이드 운영 체제(302)에 의해 제공되는 이미징 신호들(316)에 의해 판단되는 모바일 디바이스 동작 상태 정보(또는 그 밖의 다른 정보)를 디스플레이하는데 사용되지만, 대신에 외부 디스플레이 모드에서 터치스크린 디스플레이(112)는 전술한 트랙패드와 키패드 중 하나 또는 양자 모두를 단순히 디스플레이하도록 제어되는 터치스크린 디스플레이(112)보다는 안드로이드 운영 체제에 의해 제공되는 이러한 동작 상태 정보를 디스플레이하는 터치스크린 디스플레이(112)보다는 외부 디스플레이 디바이스(104)이다. 또한, 외부 디스플레이 모드에서, 외부 디스플레이 디바이스(104)는 안드로이드 운영 체제(302)에 의해 제공되는 모바일 디바이스 동작 상태 정보를 디스플레이하도록 제어될 뿐 아니라, 애플리케이션 이미징 신호들(442)을 통해 애플리케이션들 또는 리눅스 프로그램들(424)에 의해 제공되는 것과 같은 추가 정보를 디스플레이하도록 제어된다(또는 제어될 수 있다).
더 구체적으로, 외부 디스플레이 모드에서, 터치스크린 디스플레이(112)는 단독으로(또는 주로) 사용자 입력들을 수신하기 위한 사용자 입력 디바이스가 되어, 더 이상 사용자 인터페이스의 디스플레이 및 그 동작 이외에 다른 타입의 정보를 통신하기 위한 메커니즘 역할을 하지 않는다(또는 그러한 역할을 거의 하지 않는다). 이벤트 브릿지 컴포넌트(412)로부터 전달된 이미징 신호들(408 및 314)은 사용자(또는 사용자들)가 정보를 입력할 수 있는 사용자 인터페이스에 대응하는 터치스크린 디스플레이(112)에 대한 이미지의 생성을 제어하는 역할을 단독으로(또는 주로) 한다. 전술한 바와 같이, 본 실시예에서 터치스크린 디스플레이(112)에 제시되는 사용자 인터페이스는 트랙패드 및/또는 키패드 중 하나 또는 양자 모두인데, 다만 다른 실시예에서는 다른 타입의 사용자 인터페이스(예를 들어, 메뉴 구동 사용자 인터페이스)들이 제시될 수도 있다. 터치스크린 디스플레이(112)로 하여금 특정 이미지를 디스플레이하게 하는 것 이외에, 이벤트 브릿지 컴포넌트(412)로부터 전달된 이미징 신호들(408 및 314)은 터치스크린 디스플레이(112)로 하여금 그 외관을 변형하게 하여 사용자 입력들에 대한 사용자 인터페이스의 반응을 반영한다(예를 들어, 키패드의 키가 눌리면, 그 키의 이미지가 변형되어 키의 눌림/응답을 보여줌).
또한, 터치스크린 디스플레이(112)를 활용하여, 안드로이드 운영 체제(302)에 의해 제공되는 트랙패드 및/또는 키패드와 무관한 모바일 디바이스 동작 상태 정보(또는 다른 정보)를 보여주는 것 대신에, 외부 디스플레이 모드에서는 이러한 동작 상태 정보(또는 다른 정보)가 대신에 외부 디스플레이 디바이스(104)의 디스플레이(110)에 보인다. 안드로이드 운영 체제(302)는 도 3의 정상 모드와 동일하거나 실질적으로 동일하게 계속 동작하는데, 여기서 터치스크린 입력 정보(또는 그에 기반한 정보)는 터치스크린 드라이버(312), 이벤트 브릿지 컴포넌트(412), 이벤트 포워드 드라이버 컴포넌트(414), X 윈도우즈 컴포넌트(416), AIW 컴포넌트(420), 및 EAS 드라이버 컴포넌트(422)를 통해 안드로이드 운영 체제에 간접적으로 전달된다. 또한, 안드로이드 운영 체제(302)에서 터치스크린 입력 정보를 수신하는 것에 응답하여(또는 이러한 터치스크린 입력 정보의 부존재 시에도), 안드로이드 운영 체제는 모바일 디바이스 동작 상태 정보(또는 다른 정보)를 나타내는 다른 이미징 신호들(426)을 AIW 컴포넌트(420)에 더 제공한다.
비록 다른 이미징 신호들(426) 자체가 이미지를 생성하는데 사용될 수 있다고 하더라도(마치 이미징 신호들(316)이 도 3에 대응하는 정상 모드로 이미지를 생성하는데 사용되는 것처럼), 도 4의 외부 디스플레이 모드에서, 다른 이미징 신호들(426)이 외부 디스플레이 디바이스(104)에서 최종적으로 디스플레이되는 이미지의 일부만을 생성하는데 사용된다. 이는 터치스크린 디스플레이(112)의 사이즈에 비해 외부 디스플레이 디바이스(104)의 디스플레이(110)의 더 큰 사이즈를 고려해 볼 때, 외부 디스플레이 디바이스는 정상 모드로 터치스크린 디스플레이(112)에 정상적으로 디스플레이될 동작 상태 정보(또는 다른 정보)를 순전히 넘는 상당한 양의 정보를 디스플레이할 수 있기 때문이다.
안드로이드 운영 체제(302) 이미징 신호 출력을 포괄하지만, 또한 다른 가능한 이미징 정보도 포함하며, 이들 상이한 이미지 컴포넌트들을 전체 이미지로 합성하는 외부 디스플레이 디바이스(104)의 디스플레이(110)에 대한 전체 이미지의 생성을 가능하게 하기 위해, 본 실시예에서, AIW 컴포넌트(420)는 다른 이미징 신호들(426)을 변형하여 AIW 이미징 신호들(440)을 생성한다. 특히, 다른 이미징 신호들(426) 자체가 이미지를 생성하는데 활용되면(마치 이미징 신호들(316)이 도 3의 정상 모드로 터치스크린 디스플레이(112)에 이미지를 생성하는데 사용되는 것처럼), AIW 이미징 신호들(440)은 전체 디스플레이 스크린을 통해 전체 이미지로서 디스플레이되는 것과 동일하거나 실질적으로 동일한 정보를 포함하는 이미지 하위부분(“윈도우”)의 생성을 가능하게 한다. 즉, AIW 컴포넌트(420)는 안드로이드 운영 체제(102)의 스크린을 차지하고 X 윈도우즈 컴포넌트(416)로의 진입을 위한 안드로이드 스크린의 콘텐츠를 보여준다.
X 윈도우즈 컴포넌트(416)에는 다른 이미징 신호들(426)보다는 오히려 AIW 이미징 신호들(440)이 공급된다고 가정하면, X 윈도우즈 컴포넌트에 의해 생성된 출력 이미징 신호들(444)(및 그에 기반한 GPU API(418)에 의해 출력된 추가 출력 이미징 신호들(446))은 안드로이드 운영 체제(302)로부터의 이미징 신호들(426)에 대응하는 이미지 하위부분뿐 아니라 다른 정보/신호에 대응하는 하나 이상의 추가 이미지 하위부분을 포함하는 복합적인 전체 이미지를 나타낸다. 비록 추가 하위부분들을 위한 특정 기반은 실시예에 따라 달라질 수 있음에도 불구하고, 본 실시예에서, 추가 하위부분들은 특히 애플리케이션 또는 리눅스 프로그램(424)으로부터 제공되는 애플리케이션 이미지 신호들(442)을 반영한다. 이에 따라, 본 실시예에서, X 윈도우즈 컴포넌트(416)에 의해 생성된 출력 이미징 신호들(444) 및 이에 따라 외부 디스플레이 디바이스(104)를 구동하기 위한 추가 출력 이미징 신호들(446)은 애플리케이션 이미징 신호들(442)에 의해 표시되는 애플리케이션들 또는 리눅스 프로그램들(424) 중 하나 이상의 애플리케이션들 또는 리눅스 프로그램들(424)의 상태 또는 동작에 대응하는 이미지 컴포넌트들뿐 아니라 AIW 이미징 신호들(440)에 대응하는 모바일 디바이스 동작 상태 정보 모두를 포함하는 복합 또는 합성 이미지의 생성을 유발하도록 특히 구성된다.
이하, 도 5를 다시 참조하면, 터치스크린 디스플레이(112) 상에 디스플레이될 수 있는 예시적인 제1 이미지(502) 및 외부 디스플레이 디바이스(104)의 디스플레이(110)에 동시에 디스플레이될 수 있는 예시적인 제2 이미지(504)가 도시되어, 2개의 디바이스가 연결되고 모바일 디바이스가 도 4에 대응하는 외부 디스플레이 디바이스 모드로 동작할 때의 전체 모바일 디바이스(102) 및 외부 디스플레이 디바이스의 동작을 더 예시한다. 제1 이미지(502)는 제1 그래픽 사용자 인터페이스(GUI)로 간주될 수 있고, 제2 이미지(504)는 제2 GUI로 간주될 수 있다. 도시된 바와 같이, 이러한 동작이 일어날 때, 터치스크린 디스플레이(112)에 제공되는 제1 이미지(502)는 특히 좌우 선택기 버튼(510) 및 사용자로부터의 터치 입력들이 수신될 수 있는 영역(511)을 포함하는 트랙패드 배열(arrangement)(508)뿐 아니라 다수의 별개의 키를 포함하는 키패드(506)를 포함한다. 전술한 바와 같이, 이로 인해, 제1 이미지(502)는 사용자가 사용자 입력을 입력할 수 있는 사용자 입력 디바이스(또는 다수의 사용자 입력 디바이스)의 이미지 역할을 하도록 구성된다.
비록 도 5의 실시예가 키패드 및 트랙패드 특징 모두를 포함하는 이미지(502)를 도시하고 있지만, 이들은 단지 예시일 뿐이다. 예를 들어, 다른 실시예에서, 단지 트랙패드 또는 키패드만이 존재하거나, 다른 타입의 사용자 입력 인터페이스 특징들이 이들 특징을 대신하거나 이에 추가하여 존재한다. 또한, 적어도 일부 실시예에서, 터치스크린 디스플레이(112) 이미저리(imagery)는 사용자 인터페이스 특징들이 모바일 디바이스의 센서(228)를 통해 제공되는 다양한 입력들을 포함하는 다양한 팩터들에 따라 (예를 들어, 터치스크린 디스플레이 상의 풍경화 및 인물화 배열 사이에서) 재배향(reorient)되도록 (예를 들어, 이벤트 브릿지 컴포넌트(412)에 의해) 제어된다. 예를 들어, 하나 이상의 센서(228)에 의해 감지된 그라운드 또는 다른 참조 지점에 대한 모바일 디바이스(102)의 배향은 터치스크린 디스플레이(112)에 디스플레이되는 하나 이상의 특징들을 재배향하기 위한 기반 역할을 할 수 있다.
터치스크린 디스플레이(112)는 제1 이미지(502)를 제공하지만, 외부 디스플레이 디바이스(104)의 디스플레이(110)는 도 5의 실시예에서 다른 정보를 디스플레이한다. 더 구체적으로 도시된 바와 같이, 디스플레이(110)에 제공되는 제2 이미지(504)는 전술한 바와 같이 안드로이드 운영 체제(302)에 의해 제공되는 다른 이미징 신호들(426)을 반영하는 AIW 이미징 신호들(440)에 기반하여 이미지를 보여주는 제1 하위부분 또는 윈도우(512)를 포함한다. 외부 디스플레이 디바이스(104)가 존재하지 않았고, 모바일 디바이스가 도 3의 정상 모드로 동작했으면, 제1 하위부분(512)은 모바일 디바이스 자신의 동작으로 인해 모바일 디바이스(102)의 터치스크린 디스플레이(112)에 도시될 것을 나타낸다. 또한, 예를 들어, 도시된 바와 같이 제1 하위부분(512)은 모바일 디바이스(102)가 발생 중인 외부 전화 번호로부터의 전화 호를 수신하고 있다는 것을 표시하는 “착신 호 발신지 888-888-8888(incoming call ... from 888-888-8888)”라는 메시지를 보여줄 수 있다.
도 5의 제1 하위부분(512)에 도시된 특정 이미저리에도 불구하고, 임의의 소정의 환경 또는 실시예에서의 그 하위부분에 의해 디스플레이되는 특정 정보는 모바일 디바이스(102)에 의해 체감되는 특정 동작 환경에 따라 달라질 수 있음이 이해될 것이다. 다양한 타입의 정보가 디스플레이될 수 있다. 예를 들어, 제1 하위부분(512)은 대체적으로 (안드로이드 운영 체제(302)에 의해 인식되는 바와 같이) 사용자로부터 입력된 텍스트 메시지를 나타내는 텍스트 영역을 포함할 수 있다. 또한 예를 들어, 일부 환경에서, 제1 하위부분은 다양한 타입의 소셜 네트워킹 및/또는 소셜 상태 정보에 관한 정보, 다양한 다른 형태의 메시지(예를 들어, 이메일), 및 뉴스, 날씨, 주식 시장, 또는 다른 실시간 정보와 같은 다양한 타입의 정보를 디스플레이할 수 있다. 또한, 제2 이미지(504) 내의 제1 하위부분(512)의 위치, 제2 이미지와 비교할 때의 그 하위부분의 상대적 사이즈, 및 다른 특징들이 실시예에 따라 달라질 수 있다.
제1 하위부분(512) 이외에, 외부 디스플레이 디바이스(104)의 디스플레이(110)에 보여지는 제2 이미지(504)의 나머지를 점유하는 제2 하위부분(514)이 존재한다. 실시예 또는 환경에 의존하는 제2 하위부분(514)은 임의의 다양한 정보를 포함할 수 있는데, 모바일 디바이스(102)에 의해 실행 중인(또는 잠재적으로 모바일 디바이스(102) 상에서 실행될 수 있는) 애플리케이션 또는 리눅스 프로그램(424) 중 하나 이상의 애플리케이션 또는 리눅스 프로그램(424)의 동작에 의해 제공되거나 이에 대응하는 임의의 다양한 정보를 포함한다. 본 예시에서, 제2 하위부분(514)은 모바일 디바이스(102)에서 실행될 수 있는 선택 가능 애플리케이션에 대응하는 여러 아이콘들(516) 및 이미 동작 중인 특정 애플리케이션과 관련된 이미지, 즉 워드 프로세싱 애플리케이션의 동작에 영향을 미치기 위해 사용자가 선택할 수 있는 서브 아이콘들(520)이 완비된 워드 프로세싱 문서 이미지를 보여주는 윈도우부(518)를 특히 포함한다.
도 5의 예시에는 제1 하위부분(512) 및 제2 하위부분(514) 모두가 존재하지만, 일부 경우에서는 제1 하위부분 또는 제2 하위부분만이 특정 순간에 존재할 필요가 있다는 점이 이해될 것이다. 예를 들어, 일부 경우에, (안드로이드 운영 체제(302)의 다른 이미징 신호들(426)에 의해 나타내는 바와 같이) 모바일 디바이스 동작 상태에 대응하는 제1 하위부분(512)은 관심사가 그 순간에 모바일 디바이스에서 계속되지 않기 때문에 사라질 수 있다. 대안적으로, 제1 하위부분(512)은 외부 디스플레이 디바이스(104)의 전체(또는 거의 전체) 디스플레이(110)를 점유하도록 확장될 수 있다.
이하, 도 6을 참조하면, 예시적인 시퀀스도/흐름도(600)가 추가적으로 제공되어, 모바일 디바이스(102)가 동작하기 시작한 후 도 4 및 도 5에 대응하는 외부 디스플레이 모드로 계속 동작할 때의 예시적인 신호 흐름을 더 상세히 보여준다. 본 예시에서, 초기에 (외부 디스플레이 디바이스(104)가 모바일 디바이스에 아직 연결되지 않은) 정상 모드로 모바일 디바이스(102)가 동작하고 있다고 표시하는 화살표 601에 의해 표현된 바와 같이 동작이 시작된다. 다음으로, 화살표 602에 의해 표현된 바와 같이, 외부 디스플레이 디바이스(104)는 모바일 디바이스(102)에 (예를 들어, 유선 연결(106)을 구축하기 위해 사용자(604)에 의해) 연결된다. 다음으로, 화살표 603에 의해 표현된 바와 같이, 모바일 디바이스(102)는 외부 디스플레이 디바이스(104)가 모바일 디바이스(102)에 연결되어 있다고 검출하고(통지되고), 그 결과 모바일 디바이스(102)는 이들 소프트웨어 컴포넌트들이 프로세서부(204)에 의해 계속 실행되도록 추가적인 중개 소프트웨어 컴포넌트(402) 전부를 런칭한다. 이는 특히, 추가적인 중개 소프트웨어 컴포넌트들(402) 중 X 윈도우즈 컴포넌트(416)에 대한 포인트라는 점에서 화살표 603에 의해 표현된다. 이로 인해, 모바일 디바이스(102)는 외부 디스플레이 동작 모드에서 동작하기 시작하며, 모바일 디바이스 동작 상태에 관한 안드로이드 운영 체제(302) 출력 정보에 대응하는 제1 하위부분(512)이 적어도 외부 디스플레이 디바이스(104)에 디스플레이된다(“안드로이드 윈도우”에 “초점”을 맞춤).
다음으로, 사용자(604)는 화살표 605에 의해 표현되는 바와 같이 모바일 디바이스(102)의 터치스크린 디스플레이(112)를 터치한다. 터치스크린 디스플레이(112)가 이러한 방식으로 터치되면, 터치스크린 디스플레이는 터치스크린 입력 정보(특히 키 및/또는 절대 좌표값 정보)를 포함하는 터치스크린 신호들(318)을 이벤트 브릿지 컴포넌트(412)로 전송한다. 터치스크린 디스플레이(112)로부터 이벤트 브릿지 컴포넌트(412)로의 이러한 터치스크린 입력 정보의 전달은 특히 화살표 606에 의해 표현되며, (비록 도 6에 도시되어 있지는 않지만) 이러한 정보가 터치스크린 디스플레이로부터 이벤트 브릿지 컴포넌트로의 도중에 터치스크린 드라이버(310)를 더 통과한다는 점이 이해되어야 한다. 다음으로, 터치스크린 입력 정보가 이벤트 브릿지 컴포넌트(412)에서 수신되면, 이벤트 브릿지 컴포넌트는 터치스크린 디스플레이(112) 자체에 디스플레이되는 이미지가 사용자의 입력 조치를 반영하거나 일부 다른 이유로 인해 업데이트되어야 하는지 여부를 판단한다. 예를 들어, 터치스크린 디스플레이(112)에서의 이미지는 잠재적으로 변경되어 터치스크린 디스플레이에 디스플레이되는 키의 눌림(depression) 또는 디스플레이에 보여지는 커서의 이동을 보여줄 수 있다. 이로 인해, 이미징 신호들(408, 그 후 (GPU API(308)를 통해) 314)은 도 6의 화살표 608에 의해 표현된 바와 같이, 터치스크린 디스플레이(112)에 다시 제공된다.
또한, 이벤트 브릿지 컴포넌트(412)는 터치스크린 입력 정보를 수신하면, 도 6의 화살표 610 및 화살표 612에 각각 표현된 바와 같이, 관련된 터치스크린 입력 신호들(432)을 이벤트 포워드 드라이버 컴포넌트(414)에 더 제공하고, 이벤트 포워드 드라이버 컴포넌트는 이에 기반한 포워딩된 터치스크린 입력 신호들(434)을 X 윈도우즈 컴포넌트(416)에 차례로 제공한다. 주목되는 바와 같이, 화살표 606에 따라 이벤트 브릿지 컴포넌트(412)에 의해 수신된 터치스크린 입력 정보 사이에 포함된 임의의 좌표 정보는 절대 좌표값 정보이지만, 이벤트 브릿지 컴포넌트(412)로부터 이벤트 포워드 드라이버 컴포넌트(414)와 그 후 X 윈도우즈 컴포넌트(416)에 제공되는 임의의 좌표 정보는 상대 좌표값 정보이다.
전술한 바와 같이, 터치스크린 디스플레이(112)로부터 간접적으로 전달되는, X 윈도우즈 컴포넌트(416)에서 수신된 터치스크린 입력 정보는 존재하는 외부 디스플레이(104)를 통해 특히 가능해진 디스플레이 및 모바일 디바이스(102)에서 동작 중인 애플리케이션 또는 리눅스 프로그램(424) 중 하나 이상의 애플리케이션 또는 리눅스 프로그램(424)의 동작에 적절할 뿐 아니라, (외부 디스플레이 디바이스(104)가 존재했었는지 여부와 무관한 경우와 같이) 모바일 디바이스(102) 자체의 동작에 적절할 수 있다. 이로 인해, X 윈도우즈 컴포넌트(416)가 터치스크린 입력(예를 들어, 키 또는 상대 좌표) 정보를 수신하면, X 윈도우즈 컴포넌트는 이 정보를 추가 터치스크린 입력 신호들(438)의 형태로 화살표 614에 의해 표현되는 바와 같이 AIW 컴포넌트(420) 및 화살표 616에 의해 표시된 바와 같이 애플리케이션 또는 리눅스 프로그램들(424) 모두에 전송한다. AIW 컴포넌트(420)는 터치스크린 입력(예를 들어, 키 또는 상대 좌표) 정보를 수신하면, 그 컴포넌트는 차례로 추가 화살표 618에 의해 표현되는 바와 같이, 이 정보를 AIW 신호들(430)의 형태로 EAS 드라이버 컴포넌트(422)에 전송한다. 표시되는 바와 같이, 화살표 614에 따라 AIW 컴포넌트(420)에 의해 수신된 터치스크린 입력 정보 사이에 포함된 임의의 좌표 정보는 상대 좌표값 정보이지만, AIW 컴포넌트(420)로부터 EAS 드라이버 컴포넌트(422)에 제공되는 임의의 좌표 정보는 절대 좌표값 정보이다.
터치스크린 입력 정보를 포함하는 AIW 신호들(430)을 수신하면, 화살표 620에 의해 표현된 바와 같이, EAS 드라이버 컴포넌트(422)는 차례로 이 정보를 추가 신호(428)의 형태로 안드로이드 운영 체제(302)에 포워딩한다. 안드로이드 운영 체제(302)는 터치스크린 입력 정보를 수신하면, 모바일 디바이스 동작(및 특히 모바일 디바이스 동작에 대응하는 정보의 디스플레이)이 그 수신 정보 관점에서 어떻게 변경되어야 하는지를 판단한다. 특정 스크린 변경이 수행되어야 한다고 판단하면, 화살표 622에 의해 표현되는 바와 같이, 안드로이드 운영 체제(302)는 차례로 적절한 스크린 변경을 반영한 다른 이미징 신호들(426)을 AIW 블록(420)으로 전송한다. 다른 이미징 신호들(426)이 전체 스크린 변경을 유발하도록 구성되고, (전술한 바와 같이) 외부 디스플레이 모드에서는 아직도 외부 디스플레이 디바이스(104)에 의해 디스플레이되는 전체 이미지의 하위부분/윈도우만이 안드로이드 운영 체제(302) 이미징 정보를 반영할 것이기 때문에, AIW 컴포넌트(420)는 수신된 다른 이미징 신호들(426)을 AIW 이미징 신호들(440)로 변환하는 역할을 한다. 안드로이드 운영 체제(302) 이미징 정보에 대응하는 윈도우 변경을 생성하는데 적절한 AIW 이미징 신호들(440)은 화살표 624에 의해 표현된 바와 같이, X 윈도우즈 컴포넌트(416)로 전송된다(특히, 이러한 관점에서, AIW는 안드로이드 프레젠테이션에서의 변화를 검출하고, WM API를 호출함으로써 변형 그래픽 이미지 하위부분(들)/영역(들)을 디스플레이함).
전술한 바와 같이, X 윈도우즈 컴포넌트(416)는 (윈도우 변화를 반영한) AIW 이미징 신호들(440)에 의해 제공되는 이미징 정보를, 애플리케이션 또는 리눅스 프로그램들(424)에 의해 제공되는 추가 이미징 정보와 함께 통합하는 역할을 한다. 이로 인해, 화살표 628에 의해 표시되는 바와 같이 애플리케이션 또는 리눅스 프로그램들(424)로부터 애플리케이션 이미징 신호들(442)을 수신하면, 화살표 630에 의해 표시된 바와 같이, X 윈도우즈 컴포넌트는 애플리케이션 이미징 신호들(442)과 AIW 이미징 신호들(440) 모두에 기반하여 출력 이미징 신호들(444)을 생성한 후, 외부 디스플레이 디바이스(104)에 의한 수신을 위해 출력 이미징 신호들을 전송한다. 화살표 630에 대응하는 출력 이미징 신호들의 전송은 GPU API(418)에 의한 이미징 신호들의 추가 프로세싱 및 외부 디스플레이 디바이스에 대한 추가 출력 이미징 신호들(446)의 대응 전송을 나타내고자 한다는 점이 이해될 것이다.
전술한 설명의 관점에서, 개시된 실시예들 및/또는 변형예의 적어도 일부가 하나 이상의 이점들을 제공한다는 점이 명백해야 한다. 우선, 모바일 디바이스(102)가 외부 디스플레이 디바이스(104)에 연결되어 외부 디스플레이 모드로 동작하는 경우, 사용자에게는 넓은 면적, 높은 사용가능성의 내장형 가상 키보드 및/또는 트랙패드 디바이스(또는 그 밖의 다른 사용자 인터페이스)가 제공된다. 이로 인해, 사용자는 다른 입력 디바이스들의 운반(carrying) 없이 모바일 디바이스(102) 및 실행 중인 (애플리케이션 또는 리눅스 프로그램들(424)과 같은) 애플리케이션들을 동작시킬 수 있으며, 특히 텍스트 입력 및/또는 다수의 애플리케이션이 실행 중인 데스크톱 환경의 제어의 효율적인 입력을 달성할 수 있다. 제공되는 가상 키보드 및/또는 트랙패드 사용자 인터페이스는 실제 키보드 및/또는 트랙패드(또는 마우스 타입 디바이스)와 상당히 유사할 수 있으며, 이로써 직관적인 사용자 입력 디바이스로서 모바일 디바이스 터치스크린 디스플레이(112)를 활용할 수 있다.
또한, 외부 디스플레이 디바이스(104)의 효율적인 사용을 통해, 안드로이드 운영 체제에 의해 제공되는 모바일 디바이스 동작 상태 정보를 계속 디스플레이할 수 있을 뿐 아니라, 광범위한 다른 타입의 정보를 디스플레이할 수 있고, 특히 모바일 디바이스만을 채택하는 경우 가능한 상이한 타입의 상당히 많은 양의 정보를 디스플레이할 수 있다. 무엇보다, 안드로이드 운영 체제에 의해 제공되는 모바일 디바이스 동작 상태 정보는 외부 디스플레이 디바이스에 항상 보여질 수 있다. 또한, 사용자는 모바일 디바이스 자체의 터치스크린 디스플레이에 정보를 디스플레이하지 않고 이러한 정보를 제공받을 수 있는데, 다시 말하면 이러한 정보의 디스플레이를 위해 터치스크린 디스플레이에서 소중한 공간을 점유함으로써 사용자 입력 디바이스로서 터치스크린 디스플레이의 효능을 제한하지 않고 이러한 정보가 이용 가능하게 될 수 있다. 추가적으로 애플리케이션 또는 리눅스 프로그램들(424)(또는 다른 애플리케이션) 중 다수는 데스크톱 환경을 형성하는 플랫폼으로서 모바일 디바이스(102)를 사용하여 실행될 수 있다. 즉, 적어도 일부 실시예들은 모바일 디바이스에서 풀-블로운(full blown) 윈도잉 시스템 및 윈도우 기반 애플리케이션들의 사용을 가능하게 하는데, 이는 전화기의 레버리징(leveraging)을 허용하여 하나 이상의 데스크톱 애플리케이션들이 활용될 수 있는 데스크톱 (윈도잉) 환경을 제공할 수 있다.
추가적으로 다양한 다른 이점들이 적어도 일부 실시예에서 달성된다. 예를 들어, 모바일 디바이스 플랫폼 및 애플리케이션들이 코드 변형 없이 외부 디스플레이 디바이스에서 예상대로 작동하는데, 그 이유는 보고된 스크린 해상도 및 사이즈가 변경되거나 그럴 필요가 없기 때문이다. 또한, 동시에 작업 중인 모바일 디바이스 애플리케이션들이 다른 윈도우 또는 탭(tab)과 같이 상이한 디스플레이 표면에 별도로 디스플레이될 수 있다. 이는 애플리케이션들 사이의 전환을 더 빠르고 쉽게 만들며, 사용자에게 동시에 실행 중인 애플리케이션의 인식을 제공한다. 또한 사용자는 모바일 디바이스를 핸즈프리 전화기로 채택하기 위해 외부 디스플레이 디바이스에 디스플레이되는 이미지의 이미지부(image portion)(즉, 제2 GUI에 디스플레이되는 바와 같이, 안드로이드 운영 체제에 의해 제공되는 모바일 디바이스 동작 상태를 보여주는 윈도우)를 사용하거나, 사적인 대화 참여를 위해 외부 디스플레이 디바이스(예를 들어, HDTV) 케이블을 연결해제함으로써 착신 호에 응답할 수 있다.
또한, 전술한 설명에도 불구하고, 본 발명은 전술한 설명 이외에 다양한 다른 실시예들을 포괄하는 것을 의도한다. 예를 들어, 일부 실시예에서, 외부 디스플레이 모드에서 터치스크린 디스플레이(112)가 액티브 디스플레이라는 점을 고려해 볼 때, 트랙패드 영역은 사용자에게 시각적 큐(cue)(예를 들어, 메시지, 사진, 비디오 등)를 부여하도록 적절히 구성될 수 있다. 또한, 예를 들어, 일부 추가 실시예에서, 외부 디스플레이 디바이스는 터치스크린 역할을 하거나 다르게는 사용자 입력들을 가능하게 할 수도 있다. 일부 이러한 실시예에서, 제스처와 같은 사용자 입력들은 이들 제스처가 외부 디스플레이 디바이스에 디스플레이되는 전체 이미지의 제1 하위부분(512)(즉, 안드로이드 운영 체제의 출력에 대응하는 윈도우)과 어떻게 관련되어 있는지의 측면에서 특히 감지된다. 이러한 실시예에서, 외부 디스플레이 디바이스와 모바일 디바이스(102) 사이의 양방향 통신이 존재할 수 있다.
또한, 예를 들어, 일부 실시예에서, 모바일 디바이스의 터치스크린 디스플레이(112)는 예를 들어 멀티-터치 제스처를 포함하는 다양한 추가(예를 들어, 비표준) 제스처를 감지하도록 구성된다. 또한, (모바일 디바이스 터치스크린 디스플레이(112) 이외에) 외부 디스플레이 디바이스가 사용자 입력을 수신할 수 있지만, 외부 디스플레이 디바이스는 단지 일정한 타입의 사용자 입력만을 수신하고 그 밖의 다른 사용자 입력(예를 들어, 비표준 제스처)은 수신할 수 없는 일부 실시예에서, 모바일 디바이스(102)는 적절한 경우(예를 들어, 모바일 디바이스의 윈도우에 초점이 맞춰진 경우) 이러한 관점에서 외부 디스플레이 디바이스의 동작을 대체하도록 동작할 수 있다. 예를 들어, 제1 하위부분(512)(안드로이드 운영 체제의 출력에 대응하는 윈도우) 전화 위에 행해진 제스처들이 모바일 디바이스 터치스크린 디스플레이(112)(1차 GUI)로 전달된다.
따라서, 본 발명은 실시예들 및 그 안에 포함된 예시들로 제한되지 않으며, 다음의 특허청구범위 내에 있는 실시예들의 일부 및 상이한 실시예들의 요소들의 조합을 포함하는 이들 실시예의 변형예를 포함하는 것으로 특히 의도된다.

Claims (20)

  1. 모바일 디바이스로서,
    제1 송신기와 제1 수신기 중 하나 또는 양자 모두를 구비한 제1 통신 디바이스;
    상기 모바일 디바이스로 하여금 사용자 입력들을 수신하게 하는 사용자 입력 디바이스;
    상기 모바일 디바이스가 외부 디스플레이 디바이스와 통신할 수 있는 단자; 및
    모바일 디바이스 운영 체제 컴포넌트, 및 상기 모바일 디바이스 운영 체제가 적어도 간접적으로 상기 사용자 입력 디바이스와 통신하고 상기 단자를 통해 상기 외부 디스플레이 디바이스와 통신하는 적어도 하나의 중개(intermediary) 소프트웨어 컴포넌트를 포함하는 복수의 소프트웨어 컴포넌트를 실행하는 적어도 하나의 프로세서부 - 상기 적어도 하나의 프로세서부는 상기 외부 디스플레이 디바이스가 상기 모바일 디바이스와 통신하는데 이용가능하거나 상기 모바일 디바이스와의 통신에 진입했다고 검출하는 것에 응답하여 상기 적어도 하나의 중개 소프트웨어 컴포넌트의 실행을 시작함 - 를 포함하고,
    상기 복수의 소프트웨어 컴포넌트는 상기 외부 디스플레이 디바이스로 하여금 상기 모바일 디바이스의 동작 상태 또는 조건을 나타내는 제1 이미지부를 포함하는 이미지를 디스플레이하게 하도록 구성되는 외부 디스플레이 구동 신호들을 상기 단자에서 제공하도록 동작하고,
    상기 모바일 디바이스 운영 체제는 상기 사용자 입력 디바이스에서 수신된 상기 사용자 입력들을 나타내는 하나 이상의 입력 신호들을 상기 적어도 하나의 중개 소프트웨어 컴포넌트를 통해 간접적으로 수신하고, 그에 응답하여 상기 모바일 디바이스 운영 체제는 상기 외부 디스플레이 구동 신호들이 적어도 부분적으로 기반하는 하나 이상의 제1 이미징 신호들을 생성하고, 상기 제1 이미지부는 상기 사용자 입력들 또는 상기 사용자 입력들에 대한 상기 모바일 디바이스 운영 체제의 응답에 적어도 부분적으로 의존하는 모바일 디바이스.
  2. 삭제
  3. 제1항에 있어서, 상기 사용자 입력 디바이스는 터치스크린 디스플레이이고, 상기 입력 신호들은 상기 사용자 입력들이 수신되었던 상기 터치스크린 디스플레이 상의 하나 이상의 위치들을 나타내는 모바일 디바이스.
  4. 제3항에 있어서, 상기 적어도 하나의 중개 소프트웨어 컴포넌트들은 상기 터치스크린 디스플레이 상에 디스플레이되는 터치스크린 이미지에 적어도 간접적으로 영향을 미치는 하나 이상의 제2 이미징 신호들을 생성하는 적어도 하나의 추가 소프트웨어 컴포넌트를 포함하는 모바일 디바이스.
  5. 제4항에 있어서, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 브릿지 컴포넌트를 포함하고, 상기 하나 이상의 제2 이미징 신호들은 상기 브릿지 컴포넌트로부터, 상기 하나 이상의 제2 이미징 신호들에 적어도 부분적으로 기반하여 상기 터치스크린 디스플레이에 하나 이상의 제3 이미징 신호들을 제공하는 그래픽 프로세싱 유닛 애플리케이션 프로그래밍 인터페이스(GPU API)에 제공되는 모바일 디바이스.
  6. 제5항에 있어서, 상기 하나 이상의 제3 이미징 신호들에 기반하여, 상기 터치스크린 디스플레이는 키패드 이미지 및 마우스 타입 사용자 인터페이스 이미지 중 하나 또는 양자 모두를 포함하는 추가 이미지를 출력하고,
    상기 브릿지 컴포넌트는 상기 사용자 입력들을 나타내는 위치 신호들을 터치스크린 드라이버 소프트웨어 컴포넌트로부터 수신하고, 상기 위치 신호들은, 터치되었고 상기 키패드 이미지의 적어도 하나의 키 또는 상기 마우스 타입 사용자 인터페이스 이미지의 선택가능 영역 내의 적어도 하나의 위치 중 하나 이상에 대응하는 상기 터치스크린 상의 위치들을 더 구체적으로 나타내는 모바일 디바이스.
  7. 제1항에 있어서, 상기 모바일 디바이스 운영 체제는 상기 외부 디스플레이 구동 신호들이 적어도 부분적으로 기반하는 하나 이상의 제1 이미징 신호들을 생성하는 모바일 디바이스.
  8. 제7항에 있어서, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 상기 하나 이상의 제1 이미징 신호들을 프로세싱하여 상기 외부 디스플레이 구동 신호들이 적어도 부분적으로 기반하는 하나 이상의 제2 이미징 신호들을 생성하는 추가 소프트웨어 컴포넌트를 포함하고, 상기 하나 이상의 제2 이미징 신호들은 상기 제1 이미지부로 하여금 상기 이미지의 하위부분이 되게 하도록 구성되는 모바일 디바이스.
  9. 제8항에 있어서, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 하나 이상의 애플리케이션들을 더 포함하고, 또한 적어도 하나의 합성(synthesizing) 소프트웨어 컴포넌트를 포함하고, 상기 하나 이상의 애플리케이션들은 제3 이미징 신호들을 생성하고, 상기 제2 이미징 신호들 및 상기 제3 이미징 신호들은 상기 적어도 하나의 합성 소프트웨어 컴포넌트에 의해 수신되는 모바일 디바이스.
  10. 제9항에 있어서, 상기 적어도 하나의 합성 소프트웨어 컴포넌트는 외부 디스플레이 구동 신호들이 적어도 부분적으로 기반하는 출력 신호들을 생성하고,
    상기 적어도 하나의 합성 소프트웨어 컴포넌트의 동작으로 인해, 상기 외부 디스플레이 구동 신호들은 상기 외부 디스플레이 디바이스로 하여금 상기 제1 이미지부와 제2 이미지부 모두를 포함하는 이미지를 디스플레이하게 하도록 구성되고, 상기 제1 이미지부는 상기 제2 이미징 신호들로부터 적어도 부분적으로 도출되고, 상기 제2 이미지부는 상기 제3 이미징 신호들로부터 적어도 부분적으로 도출되는 모바일 디바이스.
  11. 제10항에 있어서, 상기 외부 디스플레이 구동 신호들은 상기 외부 디스플레이 디바이스로 하여금 상기 모바일 디바이스의 동작 상태 또는 조건을 나타내는 상기 제1 이미지부인 제1 윈도우부 및 상기 하나 이상의 애플리케이션들 중 적어도 하나의 애플리케이션의 상태 또는 조건을 나타내는 상기 제2 이미지부를 포함하는 제2 윈도우부 모두를 디스플레이하게 하도록 구성되는 모바일 디바이스.
  12. 제11항에 있어서, 상기 모바일 디바이스 운영 체제는 안드로이드 플랫폼이거나 안드로이드 플랫폼의 일부인 안드로이드 운영 체제이고, 추가 소프트웨어 컴포넌트는 AIW(Android-in-a-window) 소프트웨어 컴포넌트이고, 상기 적어도 하나의 합성 소프트웨어 컴포넌트는 X 윈도우즈 소프트웨어 컴포넌트(X windows software component)를 포함하는 모바일 디바이스.
  13. 제11항에 있어서, 상기 하나 이상의 애플리케이션들은 워드 프로세싱 애플리케이션, 인터넷 브라우저 애플리케이션, 및 스프레드시트 애플리케이션 중 하나 이상을 포함하는 모바일 디바이스.
  14. 제9항에 있어서, 상기 사용자 입력 디바이스로부터 상기 적어도 하나의 합성 소프트웨어 컴포넌트를 통해 상기 하나 이상의 애플리케이션들 및 상기 모바일 디바이스 운영 체제로 하나 이상의 입력 신호들이 적어도 간접적으로 제공되고, 상기 제2 이미징 신호들 및 상기 제3 이미징 신호들은 상기 하나 이상의 입력 신호들에 대한 상기 하나 이상의 애플리케이션들 및 상기 모바일 디바이스 운영 체제의 하나 이상의 반응들에 적어도 부분적으로 의존하는 모바일 디바이스.
  15. 제9항에 있어서, 상기 적어도 하나의 중개 소프트웨어 컴포넌트는 상기 적어도 하나의 합성 소프트웨어 컴포넌트 이외에, 상기 적어도 하나의 합성 소프트웨어 컴포넌트가 상기 단자와 통신하는 GPU API; 상기 적어도 하나의 합성 소프트웨어 컴포넌트와 상기 모바일 디바이스 운영 체제 사이의 통신을 허용하는 적어도 하나의 제1 드라이버 컴포넌트를 포함하는 적어도 하나의 인터페이스 컴포넌트; 및 상기 사용자 입력 디바이스와 상기 적어도 하나의 합성 소프트웨어 컴포넌트 사이의 추가적인 통신을 허용하는 적어도 하나의 제2 드라이버 컴포넌트를 포함하는 적어도 하나의 추가 인터페이스 컴포넌트 중 하나 이상을 더 포함하는 모바일 디바이스.
  16. 모바일 디바이스 시스템으로서,
    모바일 디바이스 - 상기 모바일 디바이스는,
    터치스크린 디스플레이; 및
    운영 체제 및 적어도 하나의 프로세싱 컴포넌트에 의해 실행되는 적어도 하나의 추가 소프트웨어 컴포넌트 - 상기 적어도 하나의 프로세싱 컴포넌트는 외부 디스플레이 디바이스가 상기 모바일 디바이스와 통신하는데 이용가능하거나 상기 모바일 디바이스와의 통신에 진입했다고 검출하는 것에 응답하여 상기 적어도 하나의 추가 소프트웨어 컴포넌트의 실행을 시작하고, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 하나 이상의 입력 신호들을 상기 터치스크린 디스플레이로부터 상기 운영 체제로 적어도 간접적으로 전달하는 역할을 하고, 상기 운영 체제는 상기 하나 이상의 입력 신호들에 응답하여 하나 이상의 제1 이미지 신호들을 생성하고, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 상기 운영 체제로부터 적어도 간접적으로 전달되는 상기 하나 이상의 제1 이미지 신호들에 기반하여 출력 신호들을 생성함 -
    를 포함함 - ; 및
    상기 모바일 디바이스와 통신하는 상기 외부 디스플레이 디바이스 - 상기 외부 디스플레이 디바이스는 상기 출력 신호들을 수신하고, 그에 기반하여 제1 이미지 컴포넌트 및 제2 이미지 컴포넌트를 갖는 이미지를 디스플레이하고, 상기 외부 디스플레이 디바이스가 상기 모바일 디바이스와 통신하고 있지 않으면, 상기 제1 이미지 컴포넌트는 상기 터치스크린 디스플레이로부터의 상기 하나 이상의 입력 신호들 또는 상기 입력 신호들에 대한 상기 운영 체제의 응답에 적어도 부분적으로 의존하고, 상기 터치스크린 디스플레이 상에 디스플레이되었을 다른 이미지와 유사함 -
    를 포함하는 모바일 디바이스 시스템.
  17. 제16항에 있어서, 상기 적어도 하나의 추가 소프트웨어 컴포넌트는 하나 이상의 제2 이미지 신호들을 생성하는 애플리케이션 컴포넌트를 포함하고, 상기 외부 디스플레이 디바이스에 의해 디스플레이되는 상기 이미지의 상기 제2 이미지 컴포넌트는 상기 하나 이상의 제2 이미지 신호들에 적어도 간접적으로 기반하는 모바일 디바이스 시스템.
  18. 제16항에 있어서, 상기 모바일 디바이스는 셀룰러 전화기, PDA(personal digital assistant), 스마트폰 중 하나를 포함하고, 상기 외부 디스플레이는 텔레비전, HDTV(high definition television) 디스플레이 디바이스, 및 컴퓨터 모니터 중 하나를 포함하는 모바일 디바이스 시스템.
  19. 외부 디스플레이 디바이스와 관련하여 모바일 디바이스를 동작하는 방법으로서,
    상기 외부 디스플레이 디바이스가 상기 모바일 디바이스와 통신하는데 이용가능하거나 상기 모바일 디바이스와의 통신에 진입했다고 검출하는 단계;
    추가 중개 소프트웨어 컴포넌트들의 적어도 하나의 프로세싱 디바이스에서의 실행을 시작하는 단계 - 상기 추가 중개 소프트웨어 컴포넌트들은 상기 모바일 디바이스 운영 체제, 하나 이상의 터치스크린 디스플레이 소프트웨어 컴포넌트들을 통한 상기 터치스크린 디스플레이, 및 상기 외부 디스플레이 디바이스 각각과 인터페이싱함 -
    상기 모바일 디바이스의 상기 터치스크린 디스플레이에서 하나 이상의 사용자 입력들을 수신하는 단계;
    상기 하나 이상의 추가 중개 소프트웨어 컴포넌트들을 통해 상기 모바일 디바이스 운영 체제에 상기 사용자 입력들을 나타내는 하나 이상의 입력 신호들을 적어도 간접적으로 제공하는 단계;
    상기 모바일 디바이스 운영 체제에서, 모바일 디바이스 상태 또는 동작 조건을 나타내는 제1 이미지부를 나타내는 하나 이상의 제1 이미지 신호들을 생성하는 단계;
    상기 제1 이미지부를 또한 나타내는 제2 이미지 신호들을 생성하기 위해 상기 하나 이상의 제1 이미지 신호들을 프로세싱하는 단계; 및
    상기 외부 디스플레이 디바이스에 의한 수신을 위해 상기 제2 이미지 신호들과 동일하거나 상기 제2 이미지 신호들에 적어도 부분적으로 기반하는 출력 신호들을 전송함으로써, 상기 외부 디스플레이 디바이스가 상기 제1 이미지부를 포함하는 전체 이미지를 디스플레이하는 단계
    를 포함하는 방법.
  20. 삭제
KR1020137017074A 2010-12-31 2011-12-28 모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템 KR101561155B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/983,161 2010-12-31
US12/983,161 US8369893B2 (en) 2010-12-31 2010-12-31 Method and system for adapting mobile device to accommodate external display
PCT/US2011/067468 WO2012092316A1 (en) 2010-12-31 2011-12-28 Method and system for adapting the usage of external display with mobile device

Publications (2)

Publication Number Publication Date
KR20130111600A KR20130111600A (ko) 2013-10-10
KR101561155B1 true KR101561155B1 (ko) 2015-10-26

Family

ID=45532027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137017074A KR101561155B1 (ko) 2010-12-31 2011-12-28 모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US8369893B2 (ko)
EP (1) EP2659350B1 (ko)
KR (1) KR101561155B1 (ko)
CN (1) CN103282870B (ko)
WO (1) WO2012092316A1 (ko)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9098437B2 (en) 2010-10-01 2015-08-04 Z124 Cross-environment communication framework
US20130024812A1 (en) 2011-07-13 2013-01-24 Z124 Foreground/background assortment of hidden windows
US9047102B2 (en) 2010-10-01 2015-06-02 Z124 Instant remote rendering
US8819705B2 (en) 2010-10-01 2014-08-26 Z124 User interaction support across cross-environment applications
US8966379B2 (en) 2010-10-01 2015-02-24 Z124 Dynamic cross-environment application configuration/orientation in an active user environment
US8726294B2 (en) 2010-10-01 2014-05-13 Z124 Cross-environment communication using application space API
US8933949B2 (en) 2010-10-01 2015-01-13 Z124 User interaction across cross-environment applications through an extended graphics context
WO2012044557A2 (en) 2010-10-01 2012-04-05 Imerj, Llc Auto-configuration of a docked system in a multi-os environment
US9372618B2 (en) 2010-10-01 2016-06-21 Z124 Gesture based application management
US8761831B2 (en) 2010-10-15 2014-06-24 Z124 Mirrored remote peripheral interface
US9494975B1 (en) * 2011-03-28 2016-11-15 Amazon Technologies, Inc. Accessory device identification method
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
US10715380B2 (en) 2011-05-23 2020-07-14 Apple Inc. Setting a reminder that is triggered by a target user device
US8971924B2 (en) 2011-05-23 2015-03-03 Apple Inc. Identifying and locating users on a mobile network
WO2013002547A2 (ko) 2011-06-30 2013-01-03 주식회사 케이티 외부 디바이스와 도킹되는 휴대 단말 및 그 제어 방법
KR101554599B1 (ko) 2011-06-30 2015-09-21 주식회사 케이티 외부 디바이스와 도킹 연결되는 휴대 단말 및 어플리케이션 실행 방법
KR20130024615A (ko) * 2011-08-31 2013-03-08 주식회사 케이티 외부 디바이스와 결합하는 휴대 단말 및 그 제어 방법
KR101932529B1 (ko) * 2011-09-16 2018-12-28 삼성전자 주식회사 Ｓｎｓ 기능 통합 운용 방법 및 시스템
US8907906B2 (en) 2011-09-27 2014-12-09 Z124 Secondary single screen mode deactivation
US20130109374A1 (en) * 2011-10-31 2013-05-02 Young Hoon Kwon System and Method for a Display Unit Coupled to a Smartphone
KR101474927B1 (ko) 2011-12-22 2014-12-31 주식회사 케이티 외부 디스플레이 기기로의 영상 송출 방법 및 그 단말
KR101522399B1 (ko) 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
KR101546407B1 (ko) 2011-12-23 2015-08-24 주식회사 케이티 어플리케이션 실행 제어 방법 및 장치
KR101522397B1 (ko) 2011-12-26 2015-05-22 주식회사 케이티 복수의 외부 장치와 연결될 수 있는 휴대 단말 및 그 제어 방법
KR101504655B1 (ko) 2011-12-26 2015-03-23 주식회사 케이티 어플리케이션 실행 제어 방법 및 장치
CA2777701C (en) * 2012-01-09 2017-06-06 Research In Motion Limited Selective rendering of electronic messages by an electronic device
US9832036B2 (en) 2012-02-09 2017-11-28 Keystone Integrations Llc Dual-mode vehicular controller
US20170034702A9 (en) * 2012-02-09 2017-02-02 Nordic Capital Partners, LLC Dual-Mode Master-Slave Controller and Method
US20150100658A1 (en) * 2012-02-09 2015-04-09 Keystone Intergrations LLC Dual Mode Master/Slave Interface
US20130241854A1 (en) 2012-03-06 2013-09-19 Industry-University Cooperation Foundation Hanyang University Image sharing system and user terminal for the system
KR20130104037A (ko) * 2012-03-12 2013-09-25 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR101277657B1 (ko) * 2012-05-30 2013-06-27 주식회사 케이티 외부 디바이스와 이에 도킹되는 휴대 단말 사이의 입력 이벤트 처리 방법
CN103677711B (zh) * 2012-09-10 2018-07-20 三星电子株式会社 连接移动终端和外部显示器的方法和实现该方法的装置
US20140075377A1 (en) * 2012-09-10 2014-03-13 Samsung Electronics Co. Ltd. Method for connecting mobile terminal and external display and apparatus implementing the same
CN102984361B (zh) * 2012-11-14 2014-08-06 广东欧珀移动通信有限公司 一种接听和挂断通话的方法及移动通讯设备
CN108854055B (zh) * 2012-11-28 2021-08-20 辉达公司 用于远程显示器的基于云的虚拟化图形处理系统和介质
US11082490B2 (en) 2012-11-28 2021-08-03 Nvidia Corporation Method and apparatus for execution of applications in a cloud system
US10942735B2 (en) 2012-12-04 2021-03-09 Abalta Technologies, Inc. Distributed cross-platform user interface and application projection
TW201428569A (zh) * 2013-01-10 2014-07-16 Sipix Technology Inc 包含電泳觸控面板之顯示系統
US8989773B2 (en) 2013-01-29 2015-03-24 Apple Inc. Sharing location information among devices
US9619131B2 (en) * 2013-02-22 2017-04-11 Blackberry Limited Methods and devices for displaying content
US10313626B2 (en) 2013-06-24 2019-06-04 Intel Corporation Techniques and system for multiple display media presentations
KR102064952B1 (ko) * 2013-07-12 2020-01-10 삼성전자주식회사 수신 데이터를 이용하여 어플리케이션을 운영하는 전자 장치
US9842532B2 (en) 2013-09-09 2017-12-12 Nvidia Corporation Remote display rendering for electronic devices
US9609390B2 (en) * 2013-10-03 2017-03-28 Jamdeo Canada Ltd. System and method for providing contextual functionality for presented content
EP3092630B1 (en) * 2014-01-06 2023-10-25 Hubble Connected Ltd Dual mode baby monitoring priority application
US20150350146A1 (en) 2014-05-29 2015-12-03 Apple Inc. Coordination of message alert presentations across devices based on device modes
US10382378B2 (en) 2014-05-31 2019-08-13 Apple Inc. Live location sharing
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
WO2016022496A2 (en) 2014-08-06 2016-02-11 Apple Inc. Reduced-size user interfaces for battery management
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
KR102016160B1 (ko) * 2014-09-02 2019-08-29 애플 인크. 경고를 관리하기 위한 축소된 크기의 인터페이스
US9967320B2 (en) 2014-12-18 2018-05-08 Google Llc Methods, systems, and media for controlling information used to present content on a public display device
US9841939B2 (en) 2014-12-18 2017-12-12 Google Inc. Methods, systems, and media for presenting requested content on public display devices
US11144959B2 (en) 2014-12-18 2021-10-12 Google Llc Methods, systems, and media for presenting advertisements relevant to nearby users on a public display device
US9916122B2 (en) * 2014-12-18 2018-03-13 Google Llc Methods, systems, and media for launching a mobile application using a public display device
JP6627217B2 (ja) * 2014-12-25 2020-01-08 カシオ計算機株式会社 テキスト表示装置、学習方法、及びプログラム
US10534414B2 (en) * 2015-02-12 2020-01-14 International Business Machines Corporation Disaggregated mobile client
US9844700B1 (en) * 2015-06-14 2017-12-19 Grady Burleson, Jr. Avalanche self-rescue device
US10003938B2 (en) 2015-08-14 2018-06-19 Apple Inc. Easy location sharing
US9769596B2 (en) 2015-11-24 2017-09-19 International Business Machines Corporation Mobile device output to external device
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
KR102365678B1 (ko) * 2017-03-29 2022-02-21 삼성전자주식회사 외부 장치를 이용한 화면 출력 방법 및 이를 지원하는 전자 장치
CN107632810B (zh) * 2017-09-27 2020-09-29 珠海研果科技有限公司 一种基于Android系统HDMI同显时节省带宽的方法
US11861423B1 (en) 2017-10-19 2024-01-02 Pure Storage, Inc. Accelerating artificial intelligence (‘AI’) workflows
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
US10671435B1 (en) 2017-10-19 2020-06-02 Pure Storage, Inc. Data transformation caching in an artificial intelligence infrastructure
US11494692B1 (en) 2018-03-26 2022-11-08 Pure Storage, Inc. Hyperscale artificial intelligence and machine learning infrastructure
US11455168B1 (en) 2017-10-19 2022-09-27 Pure Storage, Inc. Batch building for deep learning training workloads
WO2020091795A1 (en) 2018-11-01 2020-05-07 Hewlett-Packard Development Company, L.P. Multifunction display port
US11489956B2 (en) 2018-11-30 2022-11-01 Dish Network L.L.C. Systems and methods for notification forwarding
US11481094B2 (en) 2019-06-01 2022-10-25 Apple Inc. User interfaces for location-related communications
US11477609B2 (en) 2019-06-01 2022-10-18 Apple Inc. User interfaces for location-related communications
US11152100B2 (en) 2019-06-01 2021-10-19 Apple Inc. Health application user interfaces
CN110675795B (zh) * 2019-09-23 2021-02-02 珠海格力电器股份有限公司 显示器的驱动方法及装置、系统、触控屏
WO2021134069A1 (en) 2019-12-27 2021-07-01 Abalta Technologies, Inc. Projection, control, and management of user device applications using a connected resource
CN114064170A (zh) * 2021-10-18 2022-02-18 维沃移动通信有限公司 悬浮窗口显示方法、装置、电子设备和可读存储介质
CN114333933B (zh) * 2022-03-11 2022-05-20 北京麟卓信息科技有限公司 一种Linux平台上安卓应用低延迟音频输出方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002226886A1 (en) 2000-11-09 2002-05-21 Change Tools, Inc. A user definable interface system, method and computer program product
KR100474724B1 (ko) 2001-08-04 2005-03-08 삼성전자주식회사 터치스크린을 가지는 장치 및 그 장치에 외부디스플레이기기를 연결하여 사용하는 방법
JP2004264769A (ja) * 2003-03-04 2004-09-24 Toshiba Corp 情報処理装置およびプログラム
JP2007006173A (ja) * 2005-06-24 2007-01-11 Fujitsu Ltd 電子装置、画面情報出力方法及びプログラム
JP4308245B2 (ja) * 2005-12-21 2009-08-05 政弘 井筒 携帯情報通信装置及び該携帯情報通信装置と情報をやり取りするＷｅｂサーバ
US20100115145A1 (en) * 2006-05-26 2010-05-06 Smart Technologies Ulc Plug-and-play device and method of using the same
JP4818454B1 (ja) * 2010-08-27 2011-11-16 株式会社東芝 表示装置、及び表示方法
WO2012046891A1 (ko) * 2010-10-06 2012-04-12 엘지전자 주식회사 이동단말기, 디스플레이 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009143294A2 (en) * 2008-05-20 2009-11-26 Citrix Systems, Inc. Methods and systems for using external display devices with a mobile computing device

Also Published As

Publication number Publication date
WO2012092316A1 (en) 2012-07-05
EP2659350A1 (en) 2013-11-06
KR20130111600A (ko) 2013-10-10
CN103282870B (zh) 2017-02-08
EP2659350B1 (en) 2019-07-03
US8369893B2 (en) 2013-02-05
CN103282870A (zh) 2013-09-04
US20120172088A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101561155B1 (ko) 모바일 디바이스와 함께 외부 디스플레이의 사용을 구성하기 위한 방법 및 시스템
US9372617B2 (en) Object control method and apparatus of user device
US11036389B2 (en) Electronic device with gesture-based task management
WO2020063091A1 (zh) 一种图片处理方法及终端设备
KR101493603B1 (ko) 외부 표시 장치와 접속가능한 표시 단말 장치 및 방법
WO2020258929A1 (zh) 文件夹界面切换方法及终端设备
US20140078091A1 (en) Terminal Device and Method for Quickly Starting Program
CN110221885B (zh) 一种界面显示方法及终端设备
WO2020181942A1 (zh) 图标控制方法及终端设备
WO2019206036A1 (zh) 消息管理方法及终端
WO2021136133A1 (zh) 一种应用程序切换方法及电子设备
WO2020151525A1 (zh) 消息发送方法及终端设备
WO2020151460A1 (zh) 对象处理方法及终端设备
CN110865745A (zh) 一种截屏方法及终端设备
CN110209369B (zh) 一种界面显示方法及终端设备
WO2020181956A1 (zh) 应用标识的显示方法及终端设备
WO2020215969A1 (zh) 内容输入方法及终端设备
WO2020192297A1 (zh) 屏幕界面切换方法及终端设备
WO2020078234A1 (zh) 显示控制方法及终端
EP4123437A1 (en) Screen projection display method and system, terminal device, and storage medium
CN111026350A (zh) 一种显示控制方法及电子设备
CN108170329B (zh) 一种显示控制方法及终端设备
CN108153460B (zh) 一种图标隐藏方法及终端
US20210349671A1 (en) Object control method and terminal device
US20080012822A1 (en) Motion Browser

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181001

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190927

Year of fee payment: 5