KR102492555B1 - 분할 화면 디스플레이를 위한 방법 및 장치 - Google Patents

분할 화면 디스플레이를 위한 방법 및 장치 Download PDF

Info

Publication number
KR102492555B1
KR102492555B1 KR1020150132441A KR20150132441A KR102492555B1 KR 102492555 B1 KR102492555 B1 KR 102492555B1 KR 1020150132441 A KR1020150132441 A KR 1020150132441A KR 20150132441 A KR20150132441 A KR 20150132441A KR 102492555 B1 KR102492555 B1 KR 102492555B1
Authority
KR
South Korea
Prior art keywords
screen
mode
display
parameter
display unit
Prior art date
Application number
KR1020150132441A
Other languages
English (en)
Other versions
KR20170000738A (ko
Inventor
람 응우옌
김소피
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2016/005834 priority Critical patent/WO2016208885A1/en
Priority to EP16814598.5A priority patent/EP3314890A4/en
Priority to CN201680037206.9A priority patent/CN108235768B/zh
Publication of KR20170000738A publication Critical patent/KR20170000738A/ko
Application granted granted Critical
Publication of KR102492555B1 publication Critical patent/KR102492555B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

분할 화면 모드를 이용하기 위한 방법 및 시스템이 제공된다. 상기 방법은 사용자 장치의 표시부(display unit)에 표시하기 위해 복수의 면들을 최종 면(final surface)으로 구성하는 과정을 포함한다. 상기 표시부는 단일 화면 모드 및 분할 화면 모드를 표시할 수 있다. 상기 방법은 또한, 분할 화면 모드를 식별하면 표시부를 제1 화면 및 제2 화면으로 분할하는 과정을 포함한다. 상기 방법은 또한 분할 화면 모드와 관련된 파라미터(parameter)들의 집합을 검색하는 과정을 포함한다. 상기 방법은 또한 파라미터들의 집합에 따른 제1 화면 및 제2 화면 모두에 최종 면을 표시하는 과정을 포함한다.

Description

분할 화면 디스플레이를 위한 방법 및 장치{APPARATUS AND METHOD FOR SPLIT SCREEN DISPLAY ON MOBILE DEVICE}
본 출원은 일반적으로 사용자 장치 내의 화면들의 표시, 특히 디스플레이에서 화면을 분할하는 방법 및 장치에 관한 것이다.
시장에서 양안 비디오 안경(binocular video eyewear)의 대중화와 함께, 헤드 마운트 디스플레이(head-mounted display, HMD) 경험을 전달하기 위해 계속해서 노력하는 시장 트렌드가 존재한다. 3차원(three-dimensional, 3D) 컨텐츠를 생산하고 소비하기 위한 카메라들, 스마트폰 주변기기들, 및 어플리케이션들의 증가와 함께, 3D 보기(viewing)의 기본 구성요소로서 분할 화면의 중요성은 증가하고 있다.
일반적으로 휴대하여 이용되는 모바일 장치(예: 스마트폰)를 니어-아이 뷰잉(near-eye viewing) 디스플레이로 사용하는 것은 가상 또는 증강 현실 경험에 비해 덜 알려져 있다. 스마트폰은 휴대되는 모드와 같이 헤드 마운트 모드에서 같은 경험을 제공할 필요가 있다. 스마트폰은 헤드 마운트 디스플레이 보기를 위해 설계된 것이 아닌 뷰(view), 어플리케이션 및 컨텐츠를 헤드 마운트, 니어-아이 뷰잉(near-eye viewing) 모드로 이용 가능하도록 하는 방법으로 표시 가능할 필요가 있다.
분할 화면 모드를 이용하는 방법이 제공된다. 상기 방법은 다수의 면(面, surface)들을 사용자 장치의 표시부에 표시할 최종 면으로 구성하는 과정을 포함한다. 상기 표시부는 단일 화면 모드 및 분할 화면 모드를 표시할 수 있다. 상기 방법은 또한, 분할 화면 모드를 식별하면, 표시부를 제1 화면 및 제2 화면으로 분할하는 과정을 포함한다. 상기 방법은 또한 분할 화면 모드와 관련된 파라미터의 집합을 검색하는 과정을 포함한다. 상기 방법은 또한 파라미터의 집합에 따라 제1 화면 및 제2 화면 내에 최종 면을 표시하는 과정을 포함한다.
사용자 장치는 분할 화면 모드를 이용하기 위해 제공된다. 상기 사용자 장치는 메모리 구성요소 및 프로세싱 회로를 포함한다. 메모리 구성요소는 분할 화면 모드와 관련된 파라미터의 집합을 저장한다. 프로세싱 회로는 메모리 구성요소와 결합된다. 프로세싱 회로는 다수의 면들을 사용자 장치의 표시부에 표시할 최종 면으로 구성한다. 상기 표시부는 단일 화면 모드 및 분할 화면 모드를 표시할 수 있다. 프로세싱 회로는 분할 화면 모드를 식별하면, 표시부를 제1 화면 및 제2 화면으로 분할한다. 프로세싱 회로는 또한 분할 화면 모드와 관련된 파라미터의 집합을 검색한다. 프로세싱 회로는 또한 파라미터의 집합에 따라 최종 면을 제1 화면 및 제2 화면에 표시한다.
도 1은 본 개시에 따른 예시적인 무선 네트워크를 도시한다.
도 2는 본 개시에 따른 예시적인 기지국을 도시한다.
도 3은 본 개시에 따른 본 개시에 따른 예시적인 사용자 장치를 도시한다.
도 4는 본 개시의 실시 예에 따른 그래픽 파이프라인(graphics pipeline)의 프로세스를 도시한다.
도 5는 본 개시의 실시 예에 따른 가로 방향 분할 화면의 예를 도시한다.
도 6은 본 개시의 실시 예에 따른 기본 보기 모드의 예를 도시한다.
도 7a 및 7b는 본 개시의 실시 예에 따른 화면 크기 조절의 예들을 도시한다.
도 8은 본 개시의 실시 예에 따른 화면 위치의 예를 도시한다.
도 9는 본 개시의 실시 예에 따른 화면 높이 포지셔닝(positioning)의 예를 도시한다.
도 10은 본 개시의 실시 예에 따른 여백(negative space)을 출력하는 화면 크기의 예를 도시한다.
도 11은 본 개시의 실시 예에 따른 여백 내의 제어 구성요소들의 예를 도시한다.
도 12는 본 개시의 실시 예에 따른 단일 화면 및 분할 화면 모드들을 표시하기 위한 프로세스를 도시한다.
도 13은 본 개시의 실시 예에 따른 단일 화면 및 분할 화면 모드들을 표시하기 위한 프로세스를 도시한다.
도 14는 본 개시의 실시 예에 따른 분할 화면 모드를 표시하는 프로세스를 도시하는 흐름도이다.
도 15는 본 개시의 실시 예에 따른 그래픽 서브시스템을 구비한 모바일 장치를 도시한다.
이하의 상세한 설명에 앞서서, 본 특허 문서 전반적으로 사용되는 특정 용어와 문구의 향후 정의를 정하는 것이 유리할 것 같다. 용어 "포함하다(include)"와 "구성하다(comprise)"뿐만 아니라 이것의 파생용어는 한정 없는 포함을 의미한다. 용어 "또는(or)"은 "및/또는(and/or)"가 포함된 일체의 용어이다. 문구 "관련되어(associated with)"뿐만 아니라 이것의 파생문구는 포함된(included within), 내부 연결된(interconnect with), 포함하는(contain), 안에 포함된(be contained within), 연결된(connect to or with), 결합된(coupled to or with), 통신 가능한(be communicatable with), 협력하는(cooperate with), 삽입된(interleave), 나란히 하는(juxtapose), 근접한(be proximate to), 묶여진(be bound to or with), 가진(have), 특징을 가진(have a property of), 관계를 가진(have a relationship to or with), 또는 유사한 문구를 포함한다. 용어 "컨트롤러(controller)"는 적어도 하나의 동작을 제어하는 어느 장치, 시스템 또는 이들의 일부를 의미한다. 이러한 컨트롤러는 하드웨어 또는 하드웨어와 소프트웨어 및/또는 펌웨어(firmware)의 결합에 의해 구현될 수 있다. 어느 특정 컨트롤러와 관련된 기능은 근접하여 또는 떨어져서 집중되거나 분산될 수 있다. 특정 용어 및 문구에 대한 정의는 본 특허 문서 전반에 걸쳐 제공되며, 당업자는 많은 경우, 그렇지 않으면 대부분의 경우에 이렇게 정의된 용어 및 문구의 이후 사용뿐만 아니라, 이전 사용에도 적용된다는 것을 이해해야 한다.
본 특허 문서 내에서 본 개시의 원리들을 설명하기 위해 이용되며 이하 논의되는, 도 1 내지 13 및 다양한 실시 예들은 설명의 방법에 불과하고 본 개시의 범위를 제한하는 어떤 방법으로 이해되지 않아야 한다. 당업자는 본 개시의 원리들이 적절하게 설정된 시스템 또는 방법으로 구현될 수 있다는 것을 이해할 것이다.
본 개시의 다양한 실시 예들은 스크린 컴포저(screen composer), 표시부, 및 다른 모드들로 작동 가능한 적어도 2개의 표시부 업데이터들(updaters)을 포함하는 그래픽 서브시스템을 구비한 모바일 장치를 제공한다. 제1 동작 모드는 제1 표시부 업데이터로 하여금 상기 표시부를 전체 표시부를 채우는 최종 프레임 데이터로 업데이트하도록 한다. 제2 동작 모드는 제2 표시부 업데이터로 설정 가능한 파라미터(예: 표시부 방향)에 따라 나란히 있는 온-화면(on-screen) 위치들로 최종 프레임 데이터를 2회 송신하도록 한다. 모드의 변경은 사용자 또는 어플리케이션 입력, 센서 입력, 시스템 명령 등에 대응하여 수행된다. 본 개시는 GUI를 제공하기 위해 제2 동작 모드에서 최종 프레임 디스플레이의 주변 및 외부의 화면 공간을 이용한다.
도 1은 본 개시에 따른 예시적인 무선 네트워크 100를 도시한다. 도 1 내에 도시된 무선 네트워크 100의 실시 예들은 오직 설명 목적이다. 무선 네트워크 100의 다른 실시 예들은 본 개시의 범위에서 벗어나지 않으면서 이용될 수 있다.
도 1 내에 도시된 것처럼, 무선 네트워크 100은 기지국(eNodeB, eNB) 101, eNB 102, 및 eNB 103을 포함한다. eNB 101은 eNB 102 및 eNB 103과 통신한다. eNB 101은 또한 적어도 하나의 인터넷 프로토콜(Internet Protocol, IP) 네트워크 130과 통신하며, IP 네트워크 130은 인터넷, 전용 IP 네트워크, 또는 다른 데이터 네트워크 같은 것이 있다.
eNB 102는 eNB 102의 커버리지(coverage) 영역 120 내의 제 1 복수의 사용자 장치(user equipment, UE)들을 위한 네트워크 130으로의 무선 광대역 네트워크 액세스(access)를 제공한다. 제1 복수의 UE들은 소 기업(small business, SB) 내에 위치한 UE 111, 대기업(enterprise, E) 내에 위치한 UE 112, WiFi 핫스팟(hotspot, HS) 내에 위치한 UE 113, 제1 거주지(residence, R) 내에 위치한 UE 114, 제2 거주지(R) 내에 위치한 UE 115, 휴대 전화, 무선 랩톱(laptop), 무선 PDA, 또는 유사한 장치인 모바일 장치(mobile device, M)일 수 있다. eNB 103은 eNB 103의 커버리지 영역 125 내의 제2 복수의 UE들에게 네트워크 130으로의 무선 광대역 액세스를 제공한다. 제2 복수의 UE들은 UE 115 및 UE 116을 포함한다. 몇몇 실시 예에서, eNB 101내지 103에서 하나 이상은 5G, LTE, LTE-A, WiMAX, WiFi, 또는 다른 무선 통신 기술을 이용하여 각각 다른 eNB 및 UE들 111 내지 116과 통신할 수 있다.
네트워크의 종류에 따라, "eNodeB"와 "eNB"를 대신하여 "기지국", 또는 "access point"같이 다른 잘 알려진 용어들이 사용될 수 있다. 편의상, 본 특허 문서에서 이용되는 용어 "eNodeB" 또는 "eNB"는 원격 단말들에 무선 액세스(access)를 제공하는 인프라 네트워크 구성요소를 지칭한다. 네트워크 유형에 따라, "사용자 장치(user equipment)" 또는 "UE"를 대신하여 "이동국(mobile station)", "가입자 스테이션(subscriber station)", "원격 단말(remote terminal)", "무선 단말(wireless terminal)", 또는 "사용자 장치(user device)"와 같은 다른 잘 알려진 용어가 사용될 수 있다. 편의상, 용어 "사용자 장치"및 "UE"는 본 특허 문서에서 eNB에 무선으로 액세스하는 원격 무선 장치를 지칭하며, UE는 모바일 장치(예를 들면, 휴대전화 또는 스마트폰) 또는 일반적으로 정지된 장치(예를 들면, 데스크탑 컴퓨터 또는 자판기)일 수 있다.
점선은 도시 및 설명만의 목적으로 대략 원형으로 도시된 커버리지 영역들120 및 125의 크기를 보여준다. 커버리지 영역 120 및 125와 같이, eNB와 관련된 커버리지 영역들은 eNB의 구성에 따라 불균형한 형태를 포함한 다른 형태를 가질 수 있으며 자연적 또는 인위적 제약과 관련된 무선 환경에 따라 다양한 형태를 가질 수 있다는 것이 명확하게 이해되어야 한다.
비록 도 1은 무선 네트워크 110의 일 예를 도시하나, 다양한 변화가 도 1에 적용될 수 있다. 예를 들면, 무선 네트워크 100은 적절한 설정 내에서 많은 eNB및 UE를 포함할 수 있다. eNB 101은 직접 많은 UE들과 통신하고 그 UE들에게 네트워크 130로의 무선 광대역 액세스를 제공할 수 있다. 유사하게, 각 eNB 102 내지 103는 네트워크 130과 직접 통신이 가능하며, UE들에게 네트워크130로의 직접 무선 광대역 액세스를 제공할 수 있다. eNB 101, eNB 102 및/또는 eNB 103은 외부 전화 네트워크 또는 데이터 네트워크들의 다른 종류들과 같은 다른 네트워크 또는 부가적인 외부 네트워크로의 액세스를 제공할 수 있다.
도 2는 본 개시에 따른 예시적인 eNB 102를 도시한다. 도2 내에 도시된 eNB 102의 실시 예는 단지 예시일 뿐이며, 도 1의 eNB 101 및 103은 동일하거나 유사한 구성을 가질 수 있다. 그러나, eNB들은 매우 다양한 구성들로 구현될 수 있으며, 도 2가 본 개시의 범위를 eNB의 특정 구현으로 제한하지 않는다.
도 2에 도시된 것처럼, eNB 102는 복수의 안테나 205a 내지 205n, 복수의 RF 송수신부 210a 내지 210n, 송신 처리부 215, 및 수신 처리부 220을 포함한다. eNB 102는 또한 프로세서(또는 제어부) 225, 메모리(memory) 230, 및 백홀(backhaul) 또는 네트워크 인터페이스부 235를 포함한다.
RF 송수신부 210a 내지 210n은 안테나 205a 내지 205n으로부터 외부 RF 신호들(예: 네트워크 100 내의 UE들에 의해 전송된 신호들)을 수신한다. RF 송수신부 210a 내지 210n은 중간 주파수(intermediate frequency, IF) 또는 베이스밴드(baseband) 신호들을 생성하기 위해 수신된 RF 신호들을 하향 변환한다. 상기 IF 또는 기저대역 신호들은 수신 처리부 220으로 전송되며, 이는 베이스밴드 또는 IF 신호들을 필터링, 디코딩 및/또는 디지털화함으로써 처리된 베이스밴드 신호들을 생성한다. 수신 처리부 220은 추가적인 프로세싱을 위해 처리된 베이스밴드 신호들을 프로세서 225로 전송한다.
송신 처리부 215는 아날로그 또는 디지털 데이터(예: 음성 데이터, 웹 데이터, 이메일 또는 쌍방향 비디오 게임 데이터)를 프로세서 225로부터 수신한다. 송신 처리부 215는 처리된 베이스밴드 또는 IF 신호들을 생성하기 위해 출력용 베이스밴드 데이터를 인코딩(encoding), 멀티플렉싱(multiplexing), 및/또는 디지털화한다. RF 송수신부 210a 내지 210n은 송신 처리부 215로부터 출력용 처리된 베이스밴드 또는 IF 신호들을 수신 및 베이스밴드 또는 IF 신호들을 안테나 205a 내지 205n을 통해 전송될 RF 신호로 상향 변환한다.
프로세서 225는 eNB 102의 전반적인 동작을 제어하는 하나 이상의 프로세서 또는 다른 프로세싱 장치들을 포함한다. 예를 들면, 프로세서 225는 잘 알려진 원리들에 따라 순방향 채널 신호의 수신 및 역박향 채널 신호의 송신을 제어할 수 있다. 프로세서 225는 추가적인 기능들(예: 더 진보된 무선 통신 기능)도 지원할 수 있다. 예를 들면, 프로세서 225는 복수의 안테나 205a 내지 205n으로부터의 출력 신호들이 원하는 방향으로 출력 신호들을 효과적으로 조향하기 위해 웨이트(weight)되는 지향성 라우팅(routing) 동작 또는 빔 포밍(beam forming)을 지원할 수 있다. 다른 기능들의 어떤 다양한 변화가 프로세서 225에 의해 eNB 102내에 지원될 수 있다. 몇몇 실시 예에서, 프로세서 225는 적어도 하나의 마이크로프로세서(microprocessor) 또는 마이크로컨트롤러(microcontroller )를 포함한다.
프로세서 225는 또한 메모리 230 내의 기본 OS와 같은 프로그램들 및 다른 프로세스들을 실행할 수 있다. 프로세서 225는 실행중인 프로세스의 요구에 따라 메모리 230 내부 또는 외부로 데이터를 이동시킬 수 있다.
프로세서 225는 또한 백홀/네트워크 인터페이스부 235와 결합된다. 백홀/네트워크 인터페이스부 235는 eNB 102로 하여금 백홀 연결 또는 네트워크 너머의 다른 장치들 또는 시스템들과 통신하도록 한다. 백홀/네트워크 인터페이스부 235는 어느 적절한 유선 또는 무선 연결을 통한 통신을 지원 할 수 있다. 예를 들면, eNB 102가 셀룰러(cellular) 통신 시스템(예: 5G, LTE 또는 LTE-A를 지원하는 통신 시스템)의 부분으로서 구현되면, 백홀/네트워크 인터페이스부 235는 eNB 102로 하여금 유선 또는 무선의 백홀 연결을 통해 다른 eNB들과 통신하도록 할 수 있다. eNB 102가 액세스 포인트(access point)로서 구현되면, 백홀/네트워크 인터페이스 235는 eNB 102로 하여금 유선 또는 무선의 로컬(local) 영역 네트워크 또는 큰 네트워크(예: 인터넷)으로의 유선 또는 무선의 연결과 통신하도록 할 수 있다. 백홀/네트워크 인터페이스 235는 유선 또는 무선 연결을 통한 통신들을 지원하는 어느 적절한 구조(예: 이더넷(Ethernet) 또는 RF 송수신부)를 포함할 수 있다.
메모리 230은 프로세서 225와 결합된다. 메모리 230의 일부는 랜덤 액세스 메모리(random access memory, RAM)을 포함할 수 있고, 메모리의 다른 일부는 플래시(Flash) 메모리 또는 다른 읽기-전용 메모리(read-only memory, ROM)를 포함할 수 있다.
비록 도 2는 eNB 102의 일 예를 도시하나, 다양한 변화가 도 2에 적용될 수 있다. 예를 들면, eNB 102는 도2 내 도시된 많은 구성요소들을 포함할 수 있다. 예를 들면, 액세스 포인트는 많은 백홀/네트워크 인터페이스부 235를 포함할 수 있고, 프로세서 225는 다른 네트워크 주소들 사이의 데이터 경로를 찾는 기능을 지원할 수 있다. 다른 예로, eNB 102가 하나의 송신 처리부 215와 하나의 수신 처리부 220을 포함하는 것으로 도시되어 있지만, 이와 달리, eNB 102는 각각 여러 개(예: RF 송수신기 마다 하나씩)를 포함할 수 있다. 또한, 도 2의 다양한 구성요소들이 결합, 분리, 또는 생략될 수 있으며 추가적인 구성요소들이 특정 필요에 따라 추가될 수 있다.
도 3은 본 개시에 따른 예시적인 UE 116을 도시한다. 도 3 내 도시된 UE 116의 실시 예는 단지 설명의 목적이며, 도 1의 UE들 111 내지 115는 동일하거나 유사한 구성을 가질 수 있다. 그러나, UE들은 다양한 구성으로 구현될 수 있으며, 도 3이 UE의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
도 3에 도시된 것과 같이, UE 116은 안테나 305, RF 송수신기310, 송신(송신) 처리부 315, 마이크로폰(microphone) 320, 및 수신(수신) 처리부 325를 포함한다. UE 116은 또한 스피커(speaker) 330, 메인 프로세서 340, 입/출력 인터페이스 345, 키패드(keypad) 350,표시부 355, 및 메모리 360을 포함한다. 메모리 360은 기본 운영 체제(operation system, OS) 및 하나 이상의 어플리케이션들 362를 포함한다. 본원에서 이용되는 것과 같이, 표시부 355는 화면(screen)으로 지칭될 수 있다. 표시부 355는 터치(touch) 화면일 수 있다. 추가적으로, 키패드 350은 터치 화면의 일부일 수 있다(예: 터치 화면의 가상 키패드 또는 가상 버튼). 키패드 350은 또한 UE 116의 추가적인 물리적 버튼일 수 있다(예: 볼륨 버튼, 홈 화면 버튼 등)
안테나 305로부터, RF 송수신부 310은 네트워크 100의 eNB에 의해 전송되는 입력 RF 신호를 수신한다. RF 송수신부 310은 IF 또는 베이스밴드 신호를 생성하기 위해 입력 RF 신호를 하향 변환한다. IF 또는 베이스밴드 신호는 RF 처리부 325로 전송되며, 수신 처리부 325는 베이스밴드 또는 IF 신호를 필터링, 디코딩, 및/또는 디지털화함으로써 처리된 베이스밴드 신호를 생성한다. 수신 처리부 325는 처리된 베이스밴드 신호를 스피커 330(예: 음성 데이터를 위해) 또는 이후의 처리를 위해 메인 프로세서 340(예: 웹 브라우징 데이터를 위해)로 전송한다.
송신 처리부 315는 마이크로폰 320으로부터 아날로그 또는 디지털 음성 데이터를 수신하거나 메인 프로세서 340으로부터 다른 출력용 베이스밴드 데이터(예: 웹 데이터, 이메일, 또는 쌍방향 비디오 게임 데이터)를 수신한다. 송신 처리부 315는 처리된 베이스밴드 또는 IF 신호를 생성하기 위해 출력용 베이스밴드 데이터를 인코딩, 멀티플렉싱, 및/또는 디지털화한다. RF 송수신부 310은 출력용으로 처리된 베이스밴드 또는 IF 신호를 송신 처리부 315로부터 수신하고 베이스밴드 또는 IF신호를 안테나 305를 통해 전송되는 RF 신호로 상향 변환한다.
메인 프로세서 340은 UE 116의 전반적인 동작을 제어하기 위해 하나 이상의 프로세서들 또는 다른 프로세싱 장치들을 포함할 수 있으며 메모리 360 내에 저장된 기본 OS 프로그램 361을 실행할 수 있다. 예를 들면, 메인 프로세서 340은 잘 알려진 원리들에 따라 RF 송수신부 310, 수신 처리부 325, 및 송신 처리부 315에 의한 순방향 채널 신호들 및 역방향 채널 신호들의 전송을 제어할 수 있다. 몇몇 실시 예에서, 메인 프로세서 340은 적어도 하나의 마이크로프로세서(microprocessor) 또는 마이크로컨트롤러(microcontroller)를 포함할 수 있다.
메인 프로세서 340은 또한 메모리 360 내의 다른 프로세스들 및 프로그램들을 실행 할 수 있다. 프로세서 340은 실행중인 프로세스의 요구에 따라 메모리 360 내부 또는 외부로 데이터를 이동시킬 수 있다. 몇몇 실시 예에서, 메인 프로세서 340은 OS 프로그램 361 또는 eNB 또는 오퍼레이터(operator)로부터 수신된 신호에 대응하여 어플리케이션들 362를 실행할 수 있다. 메인 프로세서 340은 또한 입/출력 인터페이스부 345와 결합되며, 입/출력 인터페이스부는 UE 116이 다른 장치들(예: 랩톱 컴퓨터 및 손으로 휴대되는 컴퓨터)과 연결되는 기능을 제공한다. 입/출력 인터페이스부 345는 주변 장치와 메인 프로세서 340 사이의 통신 경로가 된다.
메인 프로세서 340은 또한 키패드 350 및 표시부 355와 결합된다. UE 116의 오퍼레이터는 UE 116에 데이터를 입력하기 위해 키패드 350을 이용할 수 있다. 표시부 355는 문자 및/또는 최소로 제한된 그래픽(graphics)을 렌더링(rendering)할 수 있는 액정 디스플레이 또는 다른 디스플레이일 수 있다.
메모리 360은 메인 프로세서 340과 결합된다. 메모리 360의 일부분은 RAM을 포함하며, 메모리 360의 다른 일부분은 플래시 메모리 또는 다른 ROM을 포함할 수 있다.
비록 도 3은 UE 116의 일 예를 도시하지만, 다양한 변화들이 도 3에 적용될 수 있다. 예를 들면, 도 3내 다양한 구성요소들이 결합, 나아가 분해, 또는 생략될 수 있으며 추가적인 구성요소들이 특정한 필요에 따라 추가될 수 있다. 일 특정 예로서, 메인 프로세서 340은 복수의 프로세서들(예: 하나 이상의 중앙 처리 유닛(central processing unit, CPU) 및 하나 이상의 그래픽 프로세싱 유닛(graphic processing unit, GPU))로 나누어질 수 있다. 또한, 도 3이 모바일 전화기 또는 스마트폰으로 구성된 것과는 달리, UE들은 모바일 또는 정지된 장치로서 작동하도록 구성될 수 있다.
본 개시의 실시 예에서, 스마트폰과 같은 모바일 장치는 사용자의 눈의 전방에서 고정되도록 설계된 헤드 마운트(head-mounted) 장치에 장착(encase)될 수 있다. 본 개시의 다른 실시 예는 구성요소들 및 파라미터(parameter)들을 제어하기 위한 사용자 인터페이스들과 마찬가지로 다른 구성요소들 및 파라미터들을 이용하는 다른 모드들로 모바일 장치를 동작하는 방법을 제공한다.
도 4는 본 개시의 실시 예에 따른 그래픽 파이프라인(graphics pipeline) 400의 프로세스를 도시한다. 도 4내에 도시된 그래픽 파이프라인 400의 실시 예는 단지 설명만을 위한다. 그러나, 그래픽 파이프라인은 매우 다양한 구성으로 구현될 수 있으며, 도 4는 그래픽 파이프라인의 특정 구현으로 본 개시의 범위를 제한하지 않는다.
본 개시의 일 실시 예에서, 사용자 장치의 어플리케이션들이 면(surface) 402 a 내지 n을 그린 후, 스크린 컴포저(screen composer) 440은 면들 402를 최종 면 406으로 결합한다. 면들 402는 사용자 장치에 표시되는 것의 다른 어플리케이션 구성요소들 일 수 있다. 예를 들면, 면은 헤더(header)를 포함하는 화면의 일부, 선호하는 어플리케이션을 포함하는 화면의 일부, 및 유사한 것일 수 있다. 하나 이상의 실시 예들에서, 최종 면 406은 런처(launcher) 화면일 수 있다. 최종 면 406이 구성되면, 최종 면 406은 표시부 업데이터 408로 전송될 수 있다.
본 개시의 다양한 실시 예들은 제1 표시부 업데이터 408a 및 제2 표시부 업데이터 408b를 제공한다. 제1 표시부 업데이터 408a는 사용자 장치의 전체 표시부 410를 채우면고, 기본(default) 표시부 파라미터들(예: 장치 방향(회전), 표시부 화면 해상도 및 크기)을 고려함으로써 최종 면 406을 1회 표시한다. 제2 표시부 업데이터 408b는 표시부 410에 최종 면 406을 2회 표시하며, 이는 시스템, 앱(app) 또는 최종 사용자에 의해 조정된 파라미터에 따라 크기 재조정되고, 지향되고, 재배치된 것이다. 일 실시 예에서, 설정에 의해 활성화 된다면, 제2 표시부 업데이터 408b는 또한 표시될 그래픽 사용자 인터페이스 구성요소들을 나타내는 데이터들을 부가(incorporate)한다.
본 개시의 다양한 실시 예들은 서로 다른 장치 동작 모드들을 제공한다. 모드들 사이의 전환은 환경에 대한 센서 인지(sensor reading)(모바일 장치가 위치, 방향, 목표물로의 근접, 및 유사한 것의 변화를 검출했을 때), 사용자 입력들(장치의 최종 사용자가 어떤 이유로 분할 화면 또는 전체 화면으로 표시부를 보고 싶어할 때), 및 어플리케이션들로부터의 입력(앱의 보기를 위한 기본 보기 모드) 에 대응하여 일어날 수 있다.
본 개시의 다양한 실시 예들은 제1 표시부 업데이터 408a를 이용하는 제1 동작 모드 및 제2 표시부 업데이터 408b를 이용하는 제2 동작 모드를 제공한다. 제1 동작 모드는 단일 화면 모드로 지칭될 수 있으며 제2 동작 모드는 분할 화면 모드로 지칭될 수 있다. 예를 들어, 제1 동작 모드는 예를 들면, 모바일 장치가 손에 쥐어질 때, 표시부를 처리할 수 있다. 예를 들어, 제2 동작 모드는 장치가 헤드 마운트 장치에 장착되거나 다른 이용을 위해 분할 뷰(view) 표시부를 처리할 수 있다. 추가적으로, 맞춤형 모드(customized mode)들이 다른 사용자 또는 환경 프로필(profile)을 위해 설정될 수 있다. 동작 모드의 변화가 생길 때 마다, 시스템은 동작 모드를 적절하게 설정하기 위한 파라미터들의 집합을 검색한다. 각각의 동작 모드는 파라미터들의 집합을 포함할 수 있다. 도 5는 본 개시의 실시 예에 따른 가로 방향(landscape orientation) 분할 화면의 예를 도시한다. 도 5에 도시된 분할 화면의 실시 예는 단지 설명을 위한 것이다. 그러나, 분할 화면은 매우 다양한 구성에 의해 구현될 수 있으며, 도 5가 분할 화면의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
일 실시 예에서, 파라미터들의 집합 중 하나는 방향 파라미터이다. 모드가 헤드 마운트 환경에 맞추기 위해 분할 화면 모드로 변할 때, 시스템은 원하는 표시부 방향을 검색한다. 예를 들면, 분할 화면 모드 내에서 원하는 표시부 방향은 모드가 변할 때의 표시부 방향과 동일하게 설정될 수 있다.
도 5 내에서, 표시부 500은 윗부분 502 및 아랫부분 504를 포함한다. 사용자 장치에 관하여, 윗부분 502는 통신용 스피커가 위치한 사용자 장치의 위쪽 끝에 가까이 있다. 아랫부분 504는 통신용 마이크로폰(microphone)이 위치한 사용자 장치의 아래 끝에 가까이 있다. 분할 화면 모드 동안, 제1 화면 506 및 제2 화면 508이 표시된다. 제1 화면 506 및 제2 화면 508이 가로 모드(landscape mode)로 표시부 500에 표시되며, 화면들 506 및 508 각각의 최종 면은 가로 모드(landscape mode)이다. 상기 화면의 방향 및 면의 방향은 함께, 또는 별도로 설정될 수 있고, 동일한 개념일 수 있다. 다시 말해, 상술한 실시 예에서, 화면의 방향 및 면의 방향이 별도의 파라미터들로서 설명되었으나, 다른 실시 예에 따라, 화면의 방향 및 면의 방향이 단일한 파라미터로서 구분 없이 정의될 수 있다. 단일 화면 모드에서, 최종 면은 가로 모드로 표시될 수 있고, 반면에 분할 화면 모드에서는, 최종 면은 더 나은 보기를 위해 세로 모드로 표시된다.
분할 화면 모드는 기본 또는 헤드 마운트 모드에 따라, 자연 장치 방향은 자동적으로 어느 런처(launcher) 활동(activity) 또는 어플리케이션으로 할당되면서, 각각의 어플리케이션이 방향을 설정하도록 구성될 수 있다. 모드가 변할 때, 시스템은 그 때의 활성화된 어플리케이션의 표시부 방향을 검색하며, 표시부는 검색된 정보에 따라 분할 화면 모드에 의해 처리된다.
분할 화면 모드에서의 표시부 방향은 할당된 사용자 인터페이스를 통해 입력된 사용자 입력에 대응하여 조절될 수 있으며, 상기 사용자 인터페이스는 모션 제스쳐(motion gesture), 표시부의 그래픽 사용자 인터페이스(graphical user interface, GUI), 외부 컨트롤러, 및 유사한 것이 될 수 있다. 표시부 방향 정보는 원하는 방향이 한번 정해지면 방향을 업데이트하는 것을 비활성화시키는 불린(Boolean)을 포함한다.
도 6은 본 개시의 실시 예에 따른 기본 보기 모드의 일 예를 도시한다. 도 6에 도시된 기본 보기 모드의 실시 예는 단지 설명을 위한 것이다. 그러나, 기본 보기 모드는 매우 다양한 구성으로 구현될 수 있으며, 도 6이 기본 보기 모드의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
기본 보기 모드는 다양한 레벨들, 예를 들면, 운영 체제(operating system, OS) 레벨, 어플리케이션 레벨, 활동(activity) 레벨, 보기 레벨 및 유사한 것의 집합일 수 있다. 예를 들면, 3D 미디어 플레이어(media player)의 활동이 분할 화면 시점으로 기본 보기 모드를 설정한다면, 활동의 개시(launching) 시간에서 상기 모드는 단일 화면 모드이더라도, 활동을 개시할 때 상기 모드는 분할 화면 모드로 전환될 것이다. 도 6에서, 표시부 600은 3D 비디오를 표시한다. 3D 비디오는 이미 화면을 분할하기 때문에, 상기 시스템은 3D 비디오의 4개의 피드(feed)들을 방지하기 위해 기본 모드를 단일 화면 모드로 설정할 수 있다. 제1 화면 506 및 제2 화면 508 각각은 비디오의 3D 효과를 생성하기 위한 제어들의 집합을 이용하여 단일 비디오 피드를 표시한다. 다른 실시 예들 중 어느 것에서 이용되는 것처럼, 3D 효과를 위해 두 화면들은 약간 다를 수 있으나, 각각의 화면 상의 영상들은 동일하다.
도 7a 및 7b는 본 개시의 실시 예에 따른 화면 크기 조절의 예를 도시한다. 도 7a 및 7b에 도시된 화면 크기 조절의 실시 예는 단지 설명만을 위한 것이다. 그러나, 화면 크기 조절은 매우 다양한 구성으로 구현될 수 있으며, 도 7a 및 7b는 화면의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
최종 면이 분할 화면 모드에서 재조절 될 수 있는 크기는 헤드 마운트 장치의 니어-아이 뷰잉(near-eye viewing)에 적절하도록 상기 시스템에 의해 자동적으로(by default) 설정될 수 있으며, 다양한 레벨들 또는 최종 사용자들에 의해 조절될 수 있다. 예를 들면, 도 7a에서, 최종 사용자는 휴대 모드에서 표시부 700에 핀치-투-줌(pinch-to-zoom) 제스쳐(guesture)를 이용하는 것과 같이 할당된 UI를 이용하여 컨텐츠를 줌 인/아웃 할 수 있다. 또한, 예를 들면, 도 7b에서, 어플리케이션은 최종 면 표시부의 크기를 어플리케이션의 목적을 위한 적절한 크기로 조절할 수 있다. 몇몇 어플리케이션들은 컨텐츠를 표시부의 절반 전체를 차지하도록 설정할 수 있으며, 크기도 이에 따라 설정할 수 있다. 일 실시 예에서, 디스플레이 752는 표시부의 절반의 각 부분 만을 차지하는 제1 화면 및 제2 화면을 표시하며, 반면에 표시부 754는 표시부의 절반 전체를 차지하는 제1 화면 및 제2 화면을 표시한다.
도 8은 본 개시의 실시 예에 따른 화면 위치의 일 예를 도시한다. 도 8내 도시된 화면 위치의 실시 예는 단지 설명을 위한 것이다. 그러나, 화면 위치는 매우 다양한 구성들로 구현될 수 있으며, 도 8이 화면 위치의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
분할 화면 모드에서 최종 면이 표시되는 표시부 화면 상의 위치는 적절하게 시스템에 의해 헤드 마운트 장치의 니어-아이 뷰잉(near-eye viewing)을 위해 자동적으로 설정된다. 예를 들면, 앱(app)들은 분할 화면 뷰(view)의 구도(composition)를 설정하기 위해 최종 면 컨텐츠의 화면 위치들을 조절할 수 있다.
도 8에서, 표시부 800은 분리기(divider) 806에 의해 분리된 제1 화면을 구비한 제1 절반부분 802 및 제2 화면을 구비한 제2 절반부분을 포함한다. 각 절반 부분 내 각 화면은 크기 파라미터 및 위치 파라미터에 의해 설정될 수 있다. 이러한 파라미터들은 사용자를 위한 헤드 마운트 장치 내에 최적의 니어-아이 뷰잉(near-eye viewing)을 제공하도록 설정될 수 있다.
도 9는 본 개시의 실시 예에 따른 화면 높이 포지셔닝(positioning)의 일 예를 도시한다. 도 9에서 도시된 화면 높이 포지셔닝의 실시 예는 단지 설명을 위한 것이다. 화면 높이 포지셔닝은 매우 다양한 구성으로 구현될 수 있으며, 도 9가 화면 높이 포지셔닝의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
도 9에서, 표시부 904는 런처 페이지(launcher page)를 표시하는 반면, 표시부 905는 게임을 표시한다. 시스템은 분할 화면(HMD) 모드일 때 표시부 904 내 컨텐츠의 높이를 증가시키기는 것을 선택하여 화면의 윗부분에서의 인터페이스가 사용자의 유효 보기 영역을 가리지(block) 않도록 할 수 있다. 상기 시스템은 증가된 높이를 맞추기 위해 분할 화면 모드인 표시부 905내의 컨텐츠의 위치를 표시부 904의 런처 페이지를 위해 설정된 기본 위치보다 높게 설정할 수 있다.
도 10은 본 개시의 실시 예에 따른 여백(negative space)을 출력하는 화면 크기의 일 예를 도시한다. 도 10에서 도시된 여백의 실시 예는 단지 설명을 위한 것이다. 여백은 매우 다양한 구성으로 구현될 수 있으며, 도 10이 여백의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
도 10에서, 분할 화면 모드에서, 분할 뷰(view) 영역들, 제1 화면 1002 및 제2 화면 1004 각각에서 표시되는 컨텐츠는 여백 1006을 출력하는 영역들보다 작다. 일 실시 예에서, 시스템, 어플리케이션 또는 최종 사용자에 의한 설정에 따라 프로세서는 그래픽 사용자 인터페이스 아이템들을 렌더링(rendering)하며, 상기 아이템들을 최종 사용자에 의해 상호작용되는 화면 영역의 여백으로 부가한다.
도 11은 본 개시의 실시 예에 따른 여백에서의 제어 구성요소들의 예를 도시한다. 도 11에서 도시된 제어 구성요소들의 실시 예는 단지 설명을 위한 것이다. 제어 구성요소들은 매우 다양한 구성으로 구현될 수 있으며, 도 11이 제어 구성요소들의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다.
본 개시의 실시 예에서, 표시부 1100은 분할 화면 모드에서의 여백 내의 GUI 구성요소들의 예시적인 구현을 제공한다. 면 컨텐츠의 좌측에 있는 버튼은 볼륨 키를 나타내며 컨텐츠의 우측에 있는 세 버튼들은 사용자 장치의 홈 키 및 2 개의 소프트 키들을 나타낸다. 초점(focal point) 또는 사용자 포커스(커서 또는 시선 추적에 의해)가 컨텐츠 영역 내에 있을 때 상기 키와 버튼들은 숨겨지고 표시되지 않을 수 있으며, 초점 또는 사용자 포커스가 제1 화면 및 제 2 화면 밖에 있으며 여백으로 이동할 때 보여질 수 있다. 사용자는 초점 또는 사용자 포커스를 이러한 구성요소들을 맴돌게 움직일 수 있으며 장치에서 물리적 제어들과 유사하게 구성요소들과 상호작용할 수 있다. 초점은 표시부 장치상의 현재의 커서 위치 또는 시선 추적 위치일 수 있다. 일 예시적인 실시 예에서, 초점이 시선 추적 위치인 경우, 초점은 사용자의 눈이 집중된 표시부 장치의 위치일 수 있다.
본 개시의 일 실시 예에서, 면 컨텐츠(surface content) 주변에 여백이 있고, 면 컨텐츠가 화면 영역의 절반보다 작을 때 GUI는 표시될 수 있다. 비록 GUI 표시부가 활성화 되더라도, GUI 표시부는 유용성을 위해 숨겨질 수 있다. 예를 들면, 사용자 포커스(focus)가 면 컨텐츠 영역 내에 있을 때 GUI 표시부는 숨겨질 수 있다. GUI 표시부는 오직 포커스가 면 컨텐츠 영역의 밖으로 나와 여백으로 이동할 때에만 보여진다. 제1 화면 및 제2 화면이 완전히 표시부를 채울 때, GUI 제어 구성요소들은 비활성화될 수 있다.
도 12는 본 개시의 실시 예에 따른 단일 화면 및 분할 화면 모드들을 표시하는 프로세스 1200을 도시한다. 도 12에서 도시된 프로세스 1200의 실시 예는 단지 설명만을 위한 것이다. 그러나, 프로세스 1200은 매우 다양한 구성들로 구현될 수 있으며, 도 12가 프로세스 1200의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다. 프로세스 1200은 본원에서 설명된 많은 장치들 또는 구성요소들에 의해 구현될 수 있다. 예를 들면, 프로세스 1200은 컨트롤러, 프로세서, 또는 프로세싱 회로에 의해 구현될 수 있다.
1202 동작에서, 어플리케이션이 실행된다. 1204 동작에서, 프로세서는 오버라이딩(overriding) 모드가 존재하는지 결정한다. 만약 오버라이딩 모드가 존재한다면, 1206 동작에서, 프로세서는 오버라이딩 모드를 검색한다. 1208 동작에서, 프로세서는 모드를 오버라이드 모드로 설정한다. 예를 들면, 만약 오버라이드 모드가 단일 화면 모드라면, 프로세서는 모드를 단일 화면 모드로 설정한다.
오버라이드 모드는 어플리케이션이 화면을 자동적으로 분할하지 않고, 어플리케이션의 표시 화면을 생성된 그대로 표시하도록 한다. 상기 오버라이드 모드는 이미 표시부를 왼쪽 및 오른쪽으로 분할하는 어플리케이션(예: 3D 영상 재생기)과 같은 것을 위한 것이다. 상기 오버라이드 모드는 이미 분할된 표시부를 또다시 분할하지 않도록 방지하며, 이는 어플리케이션에 대해 맞지 않게 표시하는 결과를 방지하게 된다. 용어 "오버라이딩(overriding) 모드" 및 "오버라이드(override) 모드"는 바뀌면서 사용될 수 있다.
만약, 1204 동작에서, 오버라이드 모드가 존재하지 않는다면, 1212 동작에서, 프로세서는 어플리케이션 또는 활동(activity)이 기본 보기 모드를 갖는지 여부를 결정한다. 만약 기본 보기 모드가 존재하지 않는다면, 1214 동작에서, 프로세서는 상기 어플리케이션 또는 활동 보기 모드를 검색한다. 1216 동작에서, 프로세서는 상기 모드를 기본 보기 모드로 설정한다. 1210 동작에서, 프로세서는 상기 보기 모드를 검색한다.
1218 동작에서, 프로세서는 검색된 보기 모드가 제1 동작 모드인지 여부를 결정한다. 일 실시 예에서, 제1 동작 모드는 단일 화면 모드이다. 만약 상기 모드가 제1 동작 모드라면, 1220 동작에서, 프로세서는 제1 표시부 업데이터를 이용한다. 그러면 1222 동작에서, 프로세서는 표시부로 제1 동작 모드를 위한 데이터를 전송한다.
만약 1218 동작에서, 상기 모드가 제1 동작 모드라면, 1224 동작에서, 프로세서는 제2 표시부 업데이터를 이용한다. 1226 동작에서, 프로세서는 어플리케이션 또는 활동이 표시부 방향을 설정하는지 여부를 결정한다. 만약 어플리케이션 또는 활동이 표시부 방향을 설정한다면, 1228 동작에서, 프로세서는 어플리케이션 또는 활동 표시부 방향을 검색한다. 그러면 1230 동작에서, 프로세서는 표시부 업데이터의 방향을 업데이트한다. 만약 1226 동작에서, 어플리케이션 또는 활동이 방향을 설정하지 않는다면, 1232 동작에서, 프로세서는 프레임 크기 및 위치 정보를 검색한다.
1234 동작에서, 프로세서는 화면 주변의 사용 가능한 여백(이 또한 프레임으로 지칭됨)이 존재하는지 여부를 결정한다. 만약 여백이 존재하지 않는다면, 1240 동작에서, 프로세서는 표시부로 데이터를 전송한다. 만약 여백이 존재한다면, 1236 동작에서, 프로세서는 여백 GUI가 제어 구성요소들로 구성되는지 여부를 결정한다. 만약GUI가 그렇게 구성된다면, 1240 동작에서, 프로세서는 데이터를 표시부로 전송한다. 만약 GUI가 구성된다면, 1238 동작에서, 프로세서는 GUI 구성요소들을 검색 및 통합한다. 그러면 1240 동작에서, 프로세서는 데이터를 표시부로 전송한다.
도 13은 본 개시의 실시 예에 따른 단일 화면 및 분할 화면 모드를 표시하는 프로세스 1300을 도시한다. 도 13에서 도시된 프로세스 1300의 실시 예는 단지 설명만을 위한 것이다. 그러나, 프로세스 1300은 다양한 구성으로 구현될 수 있으며, 도 13이 프로세스 1300의 특정 구현으로 본 개시의 범위를 제한하는 것은 아니다. 프로세스 1300은 본원에서 설명되는 많은 장치들 또는 구성요소들에 의해 구현될 수 있다. 예를 들면, 프로세스 1300은 컨트롤러, 프로세서, 또는 프로세싱 회로에 의해 구현될 수 있다.
1302 동작에서, 모바일 장치는 헤드 마운트 장치에 장착될 수 있다. 1304 동작에서, 프로세서는 장착되기 이전의 표시부 방향을 저장한다. 1306 동작에서, 프로세서는 동작 모드를 결정한다. 1308 동작에서, 프로세서는 표시부 업데이터 프로세스를 제어한다. 1310 동작에서, 프로세서는 표시부를 표시부 업데이터 프로세스의 결과를 표시하도록 제어한다. 표시부 업데이터 프로세스는 표시부 업데이터를 선택하고 동작 모드의 파라미터들을 설정하는 프로세스이다.
도 14는 본 개시의 실시 예에 따른 분할 화면 모드를 표시하는 프로세스 1400을 도시하는 흐름도이다.
1410 단계에서, 프로세서는 표시 모드를 분할 화면 모드로 결정한다. 상기 표시 모드는 오버라이드(override) 모드가 존재한다면, 오버 라이드 모드를 표시 모드로 설정하고 분할 표시 모드로 결정한다. 오버라이드(override) 모드가 존재하지 않으면, 실행된 어플리케이션을 식별하고 어플리케이션의 기본 보기 모드를 검색한다. 상기 기본 보기 모드를 표시 모드로 설정하고, 분할 표시 모드로 결정한다.
1420 단계에서, 프로세서는 분할 화면 모드와 관련된 파라미터를 검색한다. 상기 파라미터는 화면 표시 방향, 크기, 위치 등을 포함한다. 상기 파라미터는 실행된 어플리케이션 또는 사용자 입력에 의해 결정될 수 있다.
1430 단계에서, 표시부는 프레임 데이터를 제1 화면 및 제2 화면으로 분할하여 표시한다. 표시부의 화면에서 분할된 제1 화면 및 제2 화면을 제외한 영역인 여백(negative space)이 존재하면, 여백에 부가될 수 있는 GUI(graphic user interface)를 검색하고 부가하여 표시할 수 있다.
도 15는 본 개시의 실시 예에 따른 그래픽 서브시스템을 구비한 모바일 장치1500를 도시한다. 그래픽 서브 시스템은 스크린 컴포저(screen composer) 1515, 표시부 1530, 및 적어도 2개의 표시부 업데이터를 포함한다. 제1 동작 모드는 제1 표시부 업데이터 1520a로 하여금 상기 표시부를 전체 표시부를 채우는 최종 프레임 데이터로 업데이트하도록 한다. 제2 동작 모드는 제2 표시부 업데이터 1520b로 하여금 메모리 1540에 저장된 설정 가능한 파라미터에 따라 나란히 있는 온-화면(on-screen) 위치들로 최종 프레임 데이터를 2회 송신하도록 한다.
도 15에서, 스크린 컴포저 1515 및 표시부 업데이터들 1520a 및 1520b은 프로세서 1510의 일부로서 설명되었다. 이때, 스크린 컴포저 1515 및 표시부 업데이터들 1520a 및 1520b은 프로세서 1510는 하드웨어 또는 소프트웨어에 의해 구현이 가능하다. 단, 다른 실시 예에 따라, 스크린 컴포저 1515 및 표시부 업데이터들 1520a 및 1520b은 프로세서 1510는 프로세서 1510과 별도의 하드웨어 또는 별도의 하드웨어에 의해 실행되는 소프트웨어로 구현될 수 있다.
비록 본 개시가 예시적인 실시 예와 함께 설명되어 왔으나, 다양한 변화 및 변경들이 당업자에게 제시된다. 본 개시는 첨부된 청구항들의 범위에 속하는 이러한 변화들 및 변경들을 포괄하도록 의도되었다.

Claims (18)

  1. 단일 화면 모드 및 분할 화면 모드로 동작가능한 표시부를 포함하는 전자 장치의 동작 방법에 있어서,
    상기 전자 장치가 헤드 마운트 장치에 장착된 상태인 경우, 상기 표시부의 표시 모드를 상기 분할 화면 모드로 결정하는 과정;
    상기 분할 화면 모드와 관련된 적어도 하나의 파라미터(parameter)를 검색(retrieve)하는 과정;
    상기 적어도 하나의 파라미터에 따라 프레임 데이터를 제1 화면 및 제2 화면으로 분할하여 표시하는 과정, 상기 적어도 하나의 파라미터는 상기 제1 화면 및 상기 제2 화면의 크기 파라미터 및 위치 파라미터를 포함함;
    상기 표시부의 화면에서 상기 제1 화면 및 상기 제2 화면을 제외한 나머지 여백 영역에 적어도 하나의 제어 구성 요소를 표시하는 과정을 포함하고;
    상기 제1 화면 및 상기 제2 화면의 영역이 상기 표시부를 채우는 경우, 상기 적어도 하나의 제어 구성 요소는 비활성화 되고 상기 나머지 여백 영역에서 사라지며; 및
    상기 제1 화면 및 상기 제2 화면이 상기 표시부의 영역보다 작은 경우, 상기 적어도 하나의 제어 구성 요소는 상기 나머지 여백 영역에서 시인되고,
    상기 제1 화면 및 상기 제2 화면의 변화는 사용자의 시선 추적에 따라 결정되고, 상기 적어도 하나의 제어 구성 요소는 상기 전자 장치의 물리적 버튼에 대응하는 기능을 제공하기 위하여 표시되는, 방법.
  2. 제 1항에 있어서,
    상기 표시 모드를 분할 화면 모드로 결정하는 과정은,
    실행된 어플리케이션에 대한 기본 동작 모드를 검색하는 과정; 및
    상기 검색된 기본 동작 모드를 상기 분할 화면 모드로 결정하는 과정을 포함하는 방법.
  3. 제 1항에 있어서,
    상기 표시 모드는 입력에 의해 전환될 수 있고,
    상기 입력은 센서 인지, 사용자 입력, 및 어플리케이션으로부터의 입력을 포함하는 방법.
  4. 제 1항에 있어서,
    상기 프레임 데이터를 표시하는 과정은,
    실행된 어플리케이션이 기본 방향을 설정하는지 여부를 식별하는 과정;
    상기 기본 방향을 검색하는 과정; 및
    상기 검색된 기본 방향에 따라 상기 프레임 데이터를 표시하는 과정을 포함하는 방법.
  5. 제 1항에 있어서,
    상기 적어도 하나의 파라미터는,
    상기 제1 화면 및 상기 제2 화면이 표시되는 방향 파라미터를 더 포함하는 방법.
  6. 제 1항에 있어서,
    상기 적어도 하나의 파라미터는,
    실행된 어플리케이션 또는 사용자 입력에 의해 결정되는 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 전자 장치에 있어서,
    적어도 하나의 파라미터(parameter)를 저장하는 메모리(memory);
    상기 메모리와 결합된 프로세싱 회로(processing circuitry); 및
    상기 프로세싱 회로와 결합되고, 단일 화면 모드 및 분할 화면 모드로 동작가능한 표시부(display unit)를 포함하고,
    상기 프로세싱 회로는,
    상기 전자 장치가 헤드 마운트 장치에 장착된 상태인 경우, 상기 표시부의 표시 모드를 상기 분할 화면 모드로 결정하고,
    상기 분할 화면 모드와 관련된 적어도 하나의 파라미터를 검색(retrieve)하고,
    상기 적어도 하나의 파라미터에 따라 프레임 데이터를 제1 화면 및 제2 화면으로 분할하여 표시하고,
    상기 표시부의 화면에서 상기 제1 화면 및 상기 제2 화면을 제외한 나머지 여백 영역에 적어도 하나의 제어 구성 요소를 표시하고,
    상기 적어도 하나의 파라미터는 상기 제1 화면 및 상기 제2 화면의 크기 파라미터 및 위치 파라미터를 포함하고,
    상기 제1 화면 및 상기 제2 화면의 영역이 상기 표시부를 채우는 경우, 상기 적어도 하나의 제어 구성 요소는 비활성화 되고 상기 나머지 여백 영역에서 사라지며, 및
    상기 제1 화면 및 상기 제2 화면이 상기 표시부의 영역보다 작은 경우, 상기 적어도 하나의 제어 구성 요소는 상기 나머지 여백 영역에서 시인되고,
    상기 제1 화면 및 상기 제2 화면의 변화는 사용자의 시선 추적에 따라 결정되고, 상기 적어도 하나의 제어 구성 요소는 상기 전자 장치의 물리적 버튼에 대응하는 기능을 제공하기 위하여 표시되는 장치.
  11. 제 10항에 있어서,
    상기 프로세싱 회로는,
    실행된 어플리케이션에 대한 기본 동작 모드를 검색하고, 상기 검색된 기본 동작 모드를 상기 분할 화면 모드로 결정하는 장치.
  12. 제 10항에 있어서,
    상기 표시 모드는 입력에 의해 전환될 수 있고,
    상기 입력은 센서 인지, 사용자 입력, 및 어플리케이션으로부터의 입력을 포함하는 장치.
  13. 제 10항에 있어서,
    상기 프로세싱 회로는,
    실행된 어플리케이션이 기본 방향을 설정하는지 여부를 식별하고, 상기 기본 방향을 검색하고, 상기 검색된 기본 방향에 따라 프레임 데이터를 표시하는 장치.
  14. 제 10항에 있어서,
    상기 적어도 하나의 파라미터는,
    상기 제1 화면 및 상기 제2 화면이 표시되는 방향 파라미터를 더 포함하는, 장치.
  15. 제 10항에 있어서,
    상기 적어도 하나의 파라미터는,
    실행된 어플리케이션 또는 사용자 입력에 의해 결정되는, 장치.
  16. 삭제
  17. 삭제
  18. 삭제
KR1020150132441A 2015-06-24 2015-09-18 분할 화면 디스플레이를 위한 방법 및 장치 KR102492555B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2016/005834 WO2016208885A1 (en) 2015-06-24 2016-06-02 Apparatus and method for split screen display on mobile device
EP16814598.5A EP3314890A4 (en) 2015-06-24 2016-06-02 Apparatus and method for split screen display on mobile device
CN201680037206.9A CN108235768B (zh) 2015-06-24 2016-06-02 用于移动设备上的分屏显示的装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/748,941 2015-06-24
US14/748,941 US10043487B2 (en) 2015-06-24 2015-06-24 Apparatus and method for split screen display on mobile device

Publications (2)

Publication Number Publication Date
KR20170000738A KR20170000738A (ko) 2017-01-03
KR102492555B1 true KR102492555B1 (ko) 2023-01-27

Family

ID=57601205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132441A KR102492555B1 (ko) 2015-06-24 2015-09-18 분할 화면 디스플레이를 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US10043487B2 (ko)
EP (1) EP3314890A4 (ko)
KR (1) KR102492555B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102656425B1 (ko) * 2016-12-07 2024-04-12 삼성전자주식회사 영상을 표시하는 전자 장치 및 방법
CN107025877B (zh) * 2017-03-16 2023-05-16 上海创功通讯技术有限公司 一种显示设备及其分屏显示方法
CN107577414A (zh) 2017-09-07 2018-01-12 广东欧珀移动通信有限公司 分屏显示的方法和移动终端
CN107948632A (zh) * 2017-12-26 2018-04-20 郑州胜龙信息技术股份有限公司 一种三维虚拟显示系统
US10706822B2 (en) * 2018-03-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Device configuration using orientation cues
CN108632462A (zh) * 2018-04-19 2018-10-09 Oppo广东移动通信有限公司 分屏显示的处理方法、装置、存储介质及电子设备
CN108803963A (zh) * 2018-05-24 2018-11-13 维沃移动通信有限公司 一种截屏方法及移动终端
CN110727312A (zh) * 2018-07-16 2020-01-24 北京小米移动软件有限公司 前置组件滑动结构、控制方法、装置、终端及存储介质
CN109309753A (zh) * 2018-07-23 2019-02-05 努比亚技术有限公司 图片分享方法、终端及计算机可读存储介质
KR102527824B1 (ko) * 2018-07-31 2023-05-02 삼성전자주식회사 복수의 출력 화면 환경에서 가상 입력 인터페이스의 표시를 제어하기 위한 전자 장치 및 그의 동작 방법
CN113419655A (zh) * 2021-05-28 2021-09-21 广州三星通信技术研究有限公司 用于电子终端的应用截屏方法和装置
KR20220164644A (ko) 2021-06-05 2022-12-13 박유빈 노인 멀티 기기

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162502A1 (en) * 2011-12-23 2013-06-27 Kt Corporation Dynamically controlling display mode of external device coupled to user equipment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070250867A1 (en) 2006-04-20 2007-10-25 Matsushita Electric Industrial Co., Ltd. Display system, video processing apparatus, and video processing method
US20080278628A1 (en) 2006-10-06 2008-11-13 Sharp Kabushiki Kaisha Content display device, content display method, content display system, content display program, and recording medium
WO2008151213A2 (en) 2007-06-04 2008-12-11 Standardvision, Llc Methods and systems of large scale video display
KR20090022297A (ko) * 2007-08-30 2009-03-04 삼성전자주식회사 디스플레이 제어 방법, 이를 이용한 디스플레이 장치 및디스플레이 시스템
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
EP2681710B1 (en) 2011-03-02 2018-09-12 Dolby Laboratories Licensing Corporation Local multiscale tone-mapping operator
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
MX337444B (es) 2012-03-26 2016-03-07 Koninkl Philips Nv Aparatos basados en la region de brillo y metodos para la codificacion y decodificacion de imagenes de rango dinamico alto.
KR101375648B1 (ko) * 2012-07-12 2014-03-18 메디칸(주) 모바일 단말을 위한 입체영상 제공장치 및 그 방법
BR112015020009B1 (pt) 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
KR102088911B1 (ko) 2013-04-18 2020-03-13 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102192159B1 (ko) * 2013-07-25 2020-12-16 삼성전자주식회사 디스플레이 방법 및 그 방법을 처리하는 전자 장치
KR20150014553A (ko) 2013-07-29 2015-02-09 삼성전자주식회사 멀티비전 스크린을 구성하는 방법 및 이를 지원하는 전자장치
CN104423794A (zh) * 2013-09-11 2015-03-18 上海帛茂信息科技有限公司 一种具有双窗口显示功能的智能型移动设备
US9529200B2 (en) * 2014-03-10 2016-12-27 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
AU2015255652B2 (en) * 2014-05-09 2018-03-29 Google Llc Systems and methods for using eye signals with secure mobile communications
US20160019720A1 (en) * 2014-07-15 2016-01-21 Ion Virtual Technology Corporation Method for Viewing Two-Dimensional Content for Virtual Reality Applications
KR102328823B1 (ko) * 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
US10477090B2 (en) * 2015-02-25 2019-11-12 Kyocera Corporation Wearable device, control method and non-transitory storage medium

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130162502A1 (en) * 2011-12-23 2013-06-27 Kt Corporation Dynamically controlling display mode of external device coupled to user equipment

Also Published As

Publication number Publication date
US20160379598A1 (en) 2016-12-29
KR20170000738A (ko) 2017-01-03
EP3314890A4 (en) 2018-05-16
EP3314890A1 (en) 2018-05-02
US10043487B2 (en) 2018-08-07

Similar Documents

Publication Publication Date Title
KR102492555B1 (ko) 분할 화면 디스플레이를 위한 방법 및 장치
JP7123128B2 (ja) インタフェース表示方法及び装置
CN107369197B (zh) 图片处理方法、装置及设备
US11202119B2 (en) Video playing method and terminal device
CN110692031B (zh) 用于虚拟现实环境中的窗口控制的系统和方法
US11145276B2 (en) Integrated near-far light field display systems
KR102234928B1 (ko) 가상 현실 경험 공유
US9418464B2 (en) Control of timing for animations in dynamic icons
CN107071539B (zh) 基于vr设备的终端上信息资源同步显示方法及系统
WO2018059332A1 (zh) 一种信息处理方法及终端、计算机存储介质
US10976808B2 (en) Body position sensitive virtual reality
US11845007B2 (en) Perspective rotation method and apparatus, device, and storage medium
WO2016001771A1 (en) Image generation method and apparatus, and mobile terminal
US10897435B2 (en) Instant messaging method and system, and electronic apparatus
CN108235768B (zh) 用于移动设备上的分屏显示的装置和方法
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
KR20160006545A (ko) 입력 장치와의 매핑을 통해 분할된 스크린을 개별 제어하기 위한 시스템 및 방법
WO2016065514A1 (zh) 图像显示方法、用户终端和视频接收设备
KR102508148B1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
KR20140141419A (ko) 디스플레이장치 및 그 제어방법
US11388282B2 (en) Method and apparatus for controlling video
US20180008895A1 (en) Video game processing program, and video game processing system
KR20230109762A (ko) 시선에 기초한 미디어 디스플레이 디바이스 제어
CN115617297A (zh) 处理方法、智能终端及存储介质
US10601741B2 (en) Message transmission device and message transmission method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right