KR20150082940A

KR20150082940A - 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법

Info

Publication number: KR20150082940A
Application number: KR1020140002484A
Authority: KR
Inventors: 김성관; 김수현; 조동현; 황대식; 국승용; 김종규
Original assignee: 삼성전자주식회사
Priority date: 2014-01-08
Filing date: 2014-01-08
Publication date: 2015-07-16
Also published as: US20150193187A1; WO2015105345A1; KR102122476B1; US10121449B2; EP3092572A4; EP3092572A1; CN105900074A

Abstract

본 개시는 적어도 하나의 제2 전자 장치와 연결되어 있는 제1 전자 장치의 동작 방법에 있어서, 디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드 정보를 상기 제2 전자 장치로 전송하는 과정; 상기 제2 전자 장치로부터 상기 전송한 제1 화면모드 정보의 변경을 요청받는 과정; 및 상기 제1 화면모드가 변경된 제2 화면모드를 상기 제2 전자 장치로 전송하는 과정을 그 구성상의 특징으로 하는 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법에 관한 것이다.

Description

화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법{APPARATAS AND METHOD FOR CONTROLLING A ROTATION OF SCREEN IN AN ELECTRONIC DEVICE}

본 개시는 하나 이상의 디스플레이로 화면을 전송하는 시스템에서 화면의 회전을 컨트롤할 수 있는 전자 장치 및 방법에 관한 것이다.

정보 통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 예를 들어, 전자 장치는 음성 통화 서비스, 영상 통화 서비스, 메신저 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스 및 음악 재생 서비스와 같은 멀티미디어 서비스를 제공할 수 있다.

최근 모바일 장치(예컨대, 스마트폰)은 하나의 멀티미디어 장치에서 다수개의 멀티미디어 장치로 동영상 전송, 인터넷 화면 전송, 게임 화면 전송 등을 제공하므로서, 다중 화면 서비스(N-Screen)을 실현되고 있다.

여러 장치에 화면을 공유하면서, 각각의 수신 장치들에 전송되는 화면에 맞는 가로 모드, 세로 모드 화면표시가 필요하게 되었다.

본 개시의 다양한 실시 예는 제1 전자 장치에서 디스플레이되고 있는 화면을 실시간으로 제2 전자 장치에서 디스플레이되도록 연결되어 있는 경우, 제2 전자 장치에서 디스플레이되고 있는 화면의 회전을 트리거링을 통하여 화면 모드를 빠르게 동기화 하는, 사용자의 편의성을 향상시킬 수 있는 장치 및 방법을 제안하고자 한다.

본 개시의 다양한 실시 예는 제1 전자 장치에서 실행되고 있는 다수의 응용 프로그램의 화면을 실시간으로 다수의 제2 전자 장치에서 디스플레이되도록 연결되어 있는 경우, 각각의 제2 전자 장치에 디스플레이되는 응용 프로그램의 화면의 rotation 처리가 가능하여, 사용자의 다양한 욕구를 충족시켜 줄 수 있는 장치 및 방법을 제안하고자 한다.

본 개시의 실시 예들에 따르면, 적어도 하나의 제1 전자 장치와 제2 전자 장치의 연결과정에 있어서, 유선/무선 네트워크를 통하여 제1전자 장치 또는 제2 전자 장치에서 디스플레이 장치를 검색하고, 상기 제1, 제2 전자 장치는 디스플레이 세션 Negotiation 과정을 통하여, 제2 전자 장치에 디스플레이될 해상도 및 오디오/비디오 코덱 정보를 교환하고, 협상된 해상도 및 코덱으로 디스플레이 세션 셋업을 하고, 제2 전자 장치에 출력될 화면 버퍼를 포함한 외부 디스플레이 정보(해상도, DPI, 각도)를 생성하고, 제2 전자 장치에 해당하는 화면의 화면모드 정보(가로/세로 또는 각도)를 전송하고, 해당 제2전자 장치에 디스플레이될 화면을 협상된 해상도 기반의 전송 화면모드(ex 가로 고정)에 맞게 캡쳐하여 실시간으로 보내는 것을 특징으로 한다.

본 개시의 로테이션 처리에 있어, 적어도 하나의 제2 전자 장치와 연결되어 있는 제1 전자 장치의 동작 방법에 있어서, 상기 제2 전자 장치로 디스플레이하고 있는 적어도 하나의 화면의 제1 전자장치의 화면모드(가로/세로 또는 각도) 정보를 전송하는 과정; 상기 제2 전자 장치로부터 상기 적어도 하나의 화면 중 어느 하나의 화면모드 변경을 요청받는 과정; 제2 전자 장치에 해당하는 외부 디스플레이의 화면모드를 변경하고 화면모드 변경을 응용프로그램에 알리는 과정; 제2 전자 장치에 해당하는 논리적인 외부 디스플레이에 화면을 그리는 응용프로그램에서 화면 모드 변경의 알림을 인지하고 화면 그리는 방식(가로모드 방식 또는 세로모드 방식)을 변경하는 과정; 및 상기 제2 전자 장치로 상기 화면 변경을 요청받은 변경될 화면에 따른 제2 로테이션 정보를 전송하는 과정; 해당 제2전자 장치에 디스플레이될 화면을 협상된 해상도 기반의 전송 화면모드(ex 가로 고정)에 맞게 캡쳐하여 전송하는 과정을 그 구성상의 특징으로 한다.

본 개시의 실시 예들에 따르면, 제1 전자 장치와 하나 이상의(다수의) 제2 전자 장치가 이미 연결되어 있는 상태에서, 제1 전자 장치에서 사용자가 응용프로그램을 선택하여 실행하는 과정; 응용프로그램에서 연결된 외부 디스플레이 장치를 확인하는 과정; 응용프로그램에서 출력할 외부 디스플레이 장치를 선택하는 과정; 외부 디스플레이용 화면 Composer가 해당 앱의 화면을 추가적으로 포함하여 합성(composition)하여 과정; 합성된 화면 데이터를 협상된 해상도 기반의 전송 화면모드(ex 가로 고정)에 맞게 캡쳐하는 과정; 화면 데이터를 인코딩하는 과정; 및 전송하는 과정을 그 구성상의 특징으로 한다.

본 개시의 실시 예들에 따르면, 제1 전자 장치와 하나 이상의(다수의) 제2 전자 장치가 이미 연결되어 있고, 다수의 응용프로그램이 실행되어 있는 상태에서, 제1 전자 장치에서 사용자가 실행되고 있는 응용프로그램을 선택하는 과정; 연결된 외부 디스플레이 장치를 확인하는 과정; 응용프로그램이 실행되는 외부 디스플레이를 선택하는 과정; 외부 디스플레이용 화면 Composer가 해당 앱의 화면을 추가적으로 포함하여 합성(composition)하여 과정; 합성된 화면 데이터를 협상된 해상도 기반의 전송 화면모드(ex 가로 고정)에 맞게 캡쳐하는 과정; 화면 데이터를 인코딩하는 과정; 및 전송하는 과정을 그 구성상의 특징으로 한다.

본 개시의 다양한 실시 예는 제1 전자 장치에서 디스플레이되고 있는 화면을 실시간으로 제2 전자 장치에서 디스플레이되도록 연결되어 있는 경우, 제2 전자 장치에서 디스플레이되고 있는 화면의 회전을 트리거링을 통하여 화면 모드를 빠르게 동기화하는, 사용자의 편의성을 향상시킬 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 블록도.
도 2는 본 개시 일 실시 예에 따른 하드웨어의 블록도.
도 3은 본 개시의 일 실시 예에 따른 프로그래밍 모듈의 블록도.
도 4는 본 개시의 다양한 실시 예에 따른 제1 전자 장치와 연결된 제2 전자 장치의 트리거에 의하여 제2 전자 장치의 화면을 변경하는 제1 실시 예를 도시한 도면.
도 5는 본 개시의 다양한 실시 예에 따른 제1 전자 장치와 연결된 제2 전자 장치의 트리거에 의하여 제2 전자 장치의 화면을 변경하는 제2 실시 예를 도시한 도면.
도 6은 본 개시의 일 실시 예에 따른 제1 전자 장치의 동작 순서를 도시한 순서도.
도 7은 본 개시의 일 실시 예에 따른 제2 전자 장치의 동작 순서를 도시한 순서도.
도 8은 본 개시의 일 실시 예에 따른 제1 전자 장치 및 제2 전자 장치의 동작의 흐름도.
도 9는 본 개시의 일 실시 예에 따른 제1 전자 장치의 방법의 흐름도.
도 10은 본 개시의 일 실시 예에 따른 제2 전자 장치의 방법의 흐름도.
도 11은 본 개시의 다양한 실시 예에 따른 제1 전자 장치의 구성을 모식적으로 도시한 블록도.
도 12는 본 개시의 다양한 실시 예에 따른 제2 전자 장치의 구성을 모식적으로 도시한 도면.
도 13은 본 개시의 일 실시 예에 따른 제1 전자 장치가 복수의 제2 전자 장치와 연결된 상태에서, 응용프로그램의 화면 처리 및 합성하는 동작 순서를 도시한 순서도.

이하, 첨부된 도면을 참조하여 본 개시를 설명한다. 본 개시은 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 따라서, 본 개시는 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.

본 개시에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 카메라(camera), 웨어러블 장치(wearable device), 전자 시계(electronic clock), 손목 시계(wrist watch), 스마트 가전(smart white appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(digital video disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자 등), 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(electronic equipment for ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(camcorder), 게임 콘솔(game consoles), HMD(head-mounted display), 평판표시장치(flat panel display device), 전자 앨범, 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device) 또는 프로젝터(projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다. 도 1을 참조하면, 전자장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 또는 통신 모듈(160)을 포함할 수 있다.

버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.

프로세서(120)는, 예를 들면, 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.

메모리(130)는, 프로세서(120) 또는 다른 구성요소들(예: 상기 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 수신되거나 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface, 133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.

커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(131)은 미들웨어(132), API(133) 또는 애플리케이션(134)에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

미들웨어(132)는 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(132)는 (다수의) 애플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, (다수의) 애플리케이션들(134) 들 중 적어도 하나의 애플리케이션에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.

API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.

사용자 입력 모듈(140)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전달할 수 있다. 디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.

통신 모듈(160)은 다른 전자 장치(102)와 전자 장치(100) 간의 통신을 연결할 수 있다. 통신 모듈(160)은 소정의 근거리 통신 프로토콜(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication) 또는 소정의 네트워크 통신(162)(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)을 지원할 수 있다. 전자 장치(102, 104) 각각은 전자 장치(100)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.

도 2는 본 개시의 일 실시 예에 따른 하드웨어의 블록도이다. 상기 하드웨어(200)는, 예를 들면, 도 1에 도시된 전자 장치(100)일 수 있다. 도 2를 참조하면, 하드웨어(200)는 하나 이상의 프로세서(210), SIM(subscriber identification module) 카드(214), 메모리(220), 통신 모듈(230), 센서 모듈(240), 사용자 입력 모듈 250, 디스플레이 모듈 260, 인터페이스 270, 오디오 코덱 280, 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298)를 포함할 수 있다.

프로세서(210) (예: 프로세서 120)는 하나 이상의 애플리케이션 프로세서(AP: application processor, 211) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor, 213)를 포함할 수 있다. 프로세서(210)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 2에서는 상기 AP(211) 및 CP(213)가 프로세서(210) 내에 포함된 것으로 도시되었으나, AP(211)와 CP(213)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 일 실시 예에서는 AP(211) 및 CP(213)는 하나의 IC 패키지 내에 포함될 수 있다. 본 개시에서 프로세서(210)는, 상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업하고, 상기 제2 전자 장치에 출력될 디스플레이 정보를 생성하며, 상기 제2 전자 장치로 디스플레이 할 화면모드를 가로 또는 세로 중 어느 하나의 방향으로 고정할 수 있다. 또한, 프로세서(210)는, 상기 적어도 하나의 제2 전자 장치 중 선택받은 어느 하나의 응용 프로그램에 연결된 제2 전자 장치를 확인하고, 상기 확인된 제2 전자 장치 중 하나 이상의 제2 전자 장치를 선택할 수 있다. 또한, 프로세서(210)는, 상기 제1 전자 장치로부터, 수신한 제2 화면모드 정보를 기반으로 디스플레이 하고 있는 어느 하나의 화면을 변경할 수 있다. 또한, 프로세서(210)는, 상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업할 수 있다.

AP(211)는 운영체제 또는 응용 프로그램을 구동하여 AP(211)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP(211)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 일 실시 예에 따르면, 프로세서(210)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.

CP(213)는 하드웨어(200)를 포함하는 전자 장치(예: 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. CP(213)는, 예를 들면, SoC로 구현될 수 있다. 일 실시 예에 따르면, CP(213)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. CP(213)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, CP(213)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.

또한, CP(213)는 통신 모듈(230)의 데이터 송수신을 제어할 수 있다. 도 2에서는, CP(213), 전력관리 모듈(295) 또는 메모리(220) 등의 구성요소들이 AP(211)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, AP(211)가 전술한 구성요소들의 적어도 일부(예: CP(213))를 포함하도록 구현될 수 있다.

일 실시 예에 따르면, AP(211) 또는 CP(213)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP(211) 또는 CP(213)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.

SIM 카드(214)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드(214)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.

메모리(220)는 내장 메모리(222) 또는 외장 메모리(224)를 포함할 수 있다. 메모리(220)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 내장 메모리(222)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 내장 메모리(222)는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 외장 메모리(224)는, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 memorystick 등을 더 포함할 수 있다.

통신 모듈(230)은 무선 통신 모듈(231) 또는 RF 모듈(234)을 포함할 수 있다. 통신 모듈(230)은, 예를 들면, 도 1에 도시된 통신 모듈(160)일 수 있다. 무선 통신 모듈(231)은, 예를 들면, WiFi(233), BT(bluetooth, 235), GPS(237) 또는 NFC(near field communication, 239)를 포함할 수 있다. 예를 들면, 무선 통신 모듈(231)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 무선 통신 모듈(231)은 하드웨어(200)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다. 본 개시에서 통신 모듈(231)은, 디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드 정보를 상기 제2 전자 장치로 전송하고, 상기 제2 전자 장치로부터 상기 전송한 제1 화면모드 정보의 변경을 요청받고, 상기 제1 화면모드가 변경된 제2 화면모드를 상기 제2 전자 장치로 전송할 수 있다. 또한, 통신 모듈(231)은, 상기 제2 전자 장치와 세션 협상을 통하여, 상기 제2 전자 장치에 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환할 수 있다. 또한, 통신 모듈(231)은, 상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 전송할 수 있고, 합성된 화면 데이터를 캡처 및 인코딩하여, 상기 선택된 제2 전자 장치로 전송할 수 있다. 또한, 통신 모듈(231)은, 상기 제1 전자 장치로부터 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면의 제1 화면모드 정보를 수신하고, 상기 제1 전자 장치로, 상기 수신한 제1 화면모드 정보의 변경을 요청할 수 있다. 또한, 통신 모듈(231)은, 상기 제1 전자 장치와 세션 협상을 통하여, 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환할 수 있다. 또한, 통신 모듈(231)은, 상기 제1 전자 장치로부터, 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면에 관한 데이터를 수신하고, 상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 수신할 수 있다.

RF 모듈(234)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. RF 모듈(234)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈(234)은 무선통신에서 자유공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.

센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), RGB(red, green, blue) 센서(240H), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로/대체적으로, 센서 모듈(240)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.

사용자 입력 모듈(250)은 터치 패널(touch panel, 252), (디지털) 펜 센서(pen sensor, 254), 키(key, 256) 또는 초음파 입력 장치(258)를 포함할 수 있다. 사용자 입력 모듈(250)은, 예를 들면, 도 1에 도시된 사용자 입력 모듈(140)일 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널(252)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.

(디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키(256)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다. 초음파 입력 장치(258)는 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 하드웨어(200)는 통신 모듈(230)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.

디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 포함할 수 있다. 디스플레이 모듈(260)은, 예를 들면, 도 1에 도시된 디스플레이 모듈(150)일 수 있다. 패널(262)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 홀로그램(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 제어하기 위한 제어회로를 더 포함할 수 있다. 본 개시에서 디스플레이 모듈(260)은, 수신한 데이터를 기반으로 적어도 하나의 화면을 실시간으로 디스플레이할 수 있다.

인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface, 272), USB(universal serial bus, 274), 프로젝터(276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.

오디오 코덱(280)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 코덱(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.

카메라 모듈(291)은 화상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(image signal processor, 미도시) 또는 플래쉬 LED(flash LED, 미도시)를 포함할 수 있다.

전력관리 모듈(295)은 하드웨어 200의 전력을 관리할 수 있다. 도시하지는 않았으나, 전력관리 모듈(295)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.

PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 일 실시 예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.

배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리(296)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(rechargeable battery)일 수 있다.

인디케이터(297)는 하드웨어(200) 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. MCU (299)은, 센서 모듈(240)을 제어할 수 있다.

도시되지는 않았으나, 하드웨어(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.

본 개시 따른 하드웨어의 전술한 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 개시에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 개시에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 프로그래밍 모듈의 블록도이다. 프로그래밍 모듈(300)은 도 1에 도시된 전자 장치(100)(예: 메모리(130))에 포함(예:저장)될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다. 프로그래밍 모듈(300)은 하드웨어(예: 하드웨어(200))에 구현되어 전자 장치(예: 전자 장치(100))에 관련된 자원을 제어하는 운영체제(OS: operation system) 또는 운영체제상에서 구동되는 다양한 애플리케이션(예: 애플리케이션(370))을 포함할 수 있다. 예를 들면, 운영체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 프로그래밍 모듈(300)은 커널(310), 미들웨어 (330), API(application programming interface, 360) 또는 애플리케이션(370)을 포함할 수 있다.

커널(310)(예: 커널(131))은 시스템 리소스 매니저(311) 또는 디바이스 드라이버(312)를 포함할 수 있다. 시스템 리소스 매니저(311)는, 예를 들면, 프로세스관리부(313), 메모리관리부(315) 또는 파일시스템 관리부(317) 등을 포함할 수 있다. 시스템 리소스 매니저(311)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 디바이스 드라이버(312)는, 예를 들면, 디스플레이 드라이버(314), 카메라 드라이버(316), 블루투스 드라이버(318), 공유 메모리 드라이버(320), USB 드라이버(322), 키패드 드라이버(324), WiFi 드라이버(326) 또는 오디오 드라이버(328)를 포함할 수 있다. 또한, 일 실시 예에 따르면, 디바이스 드라이버(312)는 IPC (inter-process communication, 미도시) 드라이버를 포함할 수 있다.

미들웨어(330)는 애플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 미들웨어(330)는 애플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 기능을 제공할 수 있다. 예를 들면, 도 3에 도시된 바와 같이, 미들웨어(330)(예: 미들웨어(132))는 런타임 라이브러리(335), 어플리케이션 매니저(application manager, 341), 윈도우 매니저(window manager, 342), 멀티미디어 매니저(multimedia manager, 343), 리소스 매니저(resource manager, 344), 파워 매니저(power manager, 345), 데이터베이스 매니저(database manager, 346), 패키지 매니저(347), 연결 매니저(connectivity manager, 348), 통지 매니저(notification manager, 349), 위치 매니저(location manager, 350), 그래픽 매니저(graphic manager, 351) 또는 보안 매니저(security manager, 352) 중 적어도 하나를 포함할 수 있다.

런타임 라이브러리(335)는, 예를 들면, 애플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 일 실시 예에 따르면, 런타임 라이브러리(335)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.

애플리케이션 매니저(341)는, 예를 들면, 애플리케이션(370) 중 적어도 하나의 애플리케이션의 생명주기(life cycle)를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 사용되는 포맷을 파악하고, 해당 포맷에 맞는 코덱(codec)을 이용하여 미디어 파일의 인코딩(encoding) 또는 디코딩(decoding)을 수행할 수 있다. 리소스 매니저(344)는 상기 애플리케이션(370) 중 적어도 어느 하나의 애플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.

파워 매니저(345)는 바이오스(BIOS: basic input/output system) 등과 함께 동작하여 배터리(battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(346)는 애플리케이션(370) 중 적어도 하나의 애플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 애플리케이션의 설치 또는 업 데이트를 관리할 수 있다.

연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 일 실시 예에 따르면, 전자 장치(예: 전자 장치(100))가 전화 기능을 구비한 경우에는, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(telephony manager, 미도시)를 더 포함할 수 있다.

미들웨어(330)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 개시의 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.

API(360)(예: API(133))는 API 프로그래밍 함수들의 집합으로, 운영체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 IOS의 경우, 예를 들면, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들면, 두 개 이상의 API 셋을 제공할 수 있다.

애플리케이션(370)(예: 상기 애플리케이션(134))은, 예를 들면, 프리로드 어플리케이션(preloaded Application) 또는 제 삼자 어플리케이션(third party application)을 포함할 수 있다.

프로그래밍 모듈(300)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(260)가 될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는, 예를 들면, 프로세서(210)에 의해 구현(implement) (예: 실행)될 수 있다. 프로그래밍 모듈(300)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.

본 개시에 따른 프로그래밍 모듈(예: 프로그래밍 모듈(300))의 구성요소들의 명칭은 운영체제의 종류에 따라서 달라질 수 있다. 또한, 본 개시에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.

도 4는 본 개시의 다양한 실시 예에 따른 제1 전자 장치와 연결된 제2 전자 장치의 트리거에 의하여 제2 전자 장치의 화면을 변경하는 제1 실시 예를 도시한 도면이다. 먼저, 본 개시에 따른 제1 전자 장치와 제2 전자 장치는 상호 네트워크에 연결될 수 있다. 예를 들면, 제1 전자 장치 및 제2 전자 장치는 USB(Universal Serial Bus), LAN(Local Area Network) 및 WiFi(Wireless Fidelity) 등과 같이 IP(Internet Protocol) 기반의 네트워크에 상호 연결될 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로부터 제2 전자 장치에서 설정될 수 있는 해상도 정보를 수신할 수 있다. 예를 들면, 제2 전자 장치에서 설정될 수 있는 해상도가 "A", "B", "C" 및 "D" PPI(Pixel Per Inch)인 경우, 제1 전자 장치는 제2 전자 장치로부터 제2 전자 장치에서 설정할 수 있는 해상도인 "A", "B", "C" 및 "D"의 해상도 정보를 수신할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로부터 수신한 해상도 정보 중 어느 하나의 해상도를 선택할 수 있다. 상술한 예에서, 제1 전자 장치는 제2 전자 장치로부터 수신한 "A", "B", "C" 및 "D" PPI의 해상도 정보 중 "A" PPI의 해상도를 사용자에 의하여 선택받을 수 있다.

이후, 제1 전자 장치는 제2 전자 장치에 선택한 해상도가 설정될 수 있도록 선택한 해상도 정보를 제2 전자 장치로 전송할 수 있다. 상술한 예에서, 제1 전자 장치는 사용자에 의하여 선택받은 "A" PPI의 해상도 정보를 제2 전자 장치로 전송할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로 디스플레이하고 있는 적어도 하나의 화면의 제1 로테이션 정보를 전송할 수 있다. 여기서, 제1 로테이션 정보란 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 제1 전자 장치에 설정된 복수의 애플리케이션 중 적어도 하나의 애플리케이션을 실행하도록 하는 명령어를 입력받아, 적어도 하나의 애플리케이션을 실행하는 각각의 화면을 디스플레이할 수 있다. 이와 동시에, 제2 전자 장치는 제1 전자 장치의 디스플레이 모듈에 디스플레이되고 있는 적어도 하나의 화면을 제2 전자 장치의 디스플레이 모듈에 각각 디스플레이할 수 있다.

예를 들면, 도 4의(a)에 도시된 바와 같이, 제1 전자 장치(401)가 제1 애플리케이션을 실행하도록 하는 명령어를 입력받아 제1 전자 장치(401)의 디스플레이 모듈에 제1 애플리케이션이 포함된 제1 화면을 실행시킨 경우에 대하여 설명해 보겠다. 상술한 예에서, 제2 전자 장치(402)는 제2 전자 장치(402)의 디스플레이 모듈에 제1 전자 장치(401)에서 디스플레이되고 있는 제1 애플리케이션이 포함된 제1 화면을 설정된 영역에 디스플레이할 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 수신한 제1 로테이션 정보를 기반으로 제2 전자 장치의 디스플레이 모듈에 디스플레이되고 있는 적어도 하나의 화면 중 어느 하나의 화면 변경을 제1 전자 장치로 요청할 수 있다.

예를 들면, 도 4의(b)에 도시된 바와 같이, 제2 전자 장치(402)에서 제1 화면의 디스플레이 각도를 변경하도록 하는 메뉴에 진입한 경우에 대하여 설명해 보겠다. 상술한 예에서, 제2 전자 장치(402)는 현재 제2 전자 장치(402)의 디스플레이 모듈에서 디스플레이되고 있는 제1 화면의 디스플레이 각도가 오른쪽으로 90도(왼쪽으로 270도) 회전하도록 하는 명령어를 입력받을 수 있다.

이후, 제1 전자 장치는 화면 변경을 요청받은 화면의 해상도를 변경할 수 있다. 보다 구체적으로, 제1 전자 장치는 변경된 화면을 제1 전자 장치의 디스플레이 모듈에 출력하기 위하여 변경된 화면에 알맞은 해상도로 화면의 해상도를 변경할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로 화면 변경을 요청받은 변경될 화면에 따른 제2 로테이션 정보를 전송할 수 있다. 여기서, 제2 로테이션 정보란 제2 전자 장치로부터 요청받은 화면의 디스플레이 각도가 변화됨에 따라 변경될 해상도를 기반으로 한 요청받은 화면에 관한 화면 데이터 정보 및 제1 로테이션 정보에 포함된 동일한 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 요청받은 화면을 변경할 수 있다. 예를 들면, 도 4의(c)에 도시된 바와 같이, 제1 전자 장치(401)가 제2 전자 장치(402)로부터 제1 화면의 화면을 오른쪽으로 90도(왼쪽으로 270도) 회전하도록 하는 요청받은 경우에 대하여 설명해 보겠다. 상술한 예에서, 제1 전자 장치(401)는 제1 전자 장치(401)의 디스플레이 모듈에 디스플레이된 제1 화면의 디스플레이 각도를 오른쪽으로 90도(왼쪽으로 270도) 회전시킬 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 수신한 제2 로테이션 정보를 기반으로 화면을 변경할 수 있다. 보다 구체적으로, 제2 전자 장치는 제1 전자 장치로부터 수신한 제2 로테이션 정보를 기반으로 제1 전자 장치로 요구한 화면의 디스플레이 각도로 디스플레이되고 있는 화면의 디스플레이 각도를 변경할 수 있다. 예를 들면, 도 4의(d)에 도시된 바와 같이, 제2 전자 장치(402)는 제1 전자 장치(401)로부터 수신한 제2 로테이션 정보를 기반으로 화면의 디스플레이 각도를 오른쪽으로 90도(왼쪽으로 270도) 회전시킬 수 있다.

도 5는 본 개시에 따른 제1 전자 장치와 연결된 제2 전자 장치의 트리거에 의하여 제2 전자 장치의 화면을 변경하는 제2 실시 예를 도시한 도면이다. 본 실시 예에서의 제1 전자 장치(501)와 연결될 수 있는 제2 전자 장치(502, 503, 504)는 복수 개일 수 있다. 이하, 제1 전자 장치와 연결된 제2 전자 장치(502, 503, 504)가 3개인 경우에 대하여 설명해 보겠다.

먼저, 제1 전자 장치(501)와 제2 전자 장치(502, 503, 504)는 상호 네트워크에 연결될 수 있다. 예를 들면, 제1 전자 장치(501) 및 제2 전자 장치(502, 503, 504)는 USB, LAN 및 WiFi 등과 같이 IP 기반의 네트워크에 상호 연결될 수 있다.

이후, 제1 전자 장치(501)는 각각의 제2 전자 장치(502, 503, 504)로부터 제2 전자 장치(502, 503, 504)에서 설정될 수 있는 해상도 정보를 수신할 수 있다. 예를 들면, 하나의 제2 전자 장치(502)에서 설정될 수 있는 해상도가 "A" 및 "B" PPI 이고, 또 다른 제2 전자 장치(503)에서 설정될 수 있는 해상도가 "B" 및 "C" PPI 이며, 또 다른 제2 전자 장치(504)에서 설정될 수 있는 해상도가 "C" 및 "D" PPI인 경우, 제1 전자 장치(501)는 각각의 제2 전자 장치(502, 503, 504)로부터 제2 전자 장치에서 설정할 수 있는 해상도인 "A", "B", "C" 및 "D"의 해상도 정보를 수신할 수 있다.

이후, 제1 전자 장치(501)는 각각의 제2 전자 장치(502, 503, 504)로부터 수신한 해상도 정보 중 어느 하나의 해상도를 선택할 수 있다. 상술한 예에서, 제1 전자 장치(501)는 하나의 제2 전자 장치(502)로부터 수신한 "A" 및 "B" PPI의 해상도 정보 중 "A" PPI의 해상도를 사용자에 의하여 선택받을 수 있다.

이후, 제1 전자 장치(501)는 각각의 제2 전자 장치(502, 503, 504)에 선택한 해상도가 설정될 수 있도록 선택한 해상도 정보를 제2 전자 장치(502, 503, 504)로 각각 전송할 수 있다. 상술한 예에서, 제1 전자 장치(501)는 사용자에 의하여 선택받은 "A" PPI의 해상도 정보를 제2 전자 장치(502)로 전송할 수 있다.

이후, 제1 전자 장치(501)에서 응용프로그램 실행을 통한 응용프로그램의 화면이 생성되고, 응용프로그램에서 연결된 제2 전자 장치를 중 하나의 장치를 선택하는 과정을 통하여, 해당 제2 전자 장치로 출력할 수 있다. 또한 이미 실행 중인 응용프로그램 중에서 하나의 응용프로그램을 선택하는 과정을 통하여, 연결된 제2 전자 장치 중 하나의 장치를 선택하는 과정을 통하여, 해당 응용프로그램의 화면을 해당 제2 전자 장치로 출력할 수 있다.

이후, 제1 전자 장치(501)는 제2 전자 장치(502, 503, 504)로 제1 전자 장치(501)의 디스플레이 모듈에 디스플레이하고 있는 적어도 하나의 화면(505, 506, 507, 508)의 제1 로테이션 정보를 전송할 수 있다. 여기서, 제1 로테이션 정보란 각각의 제2 전자 장치(502, 503, 504)에 설정된 해상도를 기반으로 한 적어도 하나의 화면(505, 506, 507, 508)에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치(501)는 제1 전자 장치(501)에 설정된 복수의 애플리케이션 중 적어도 하나의 애플리케이션을 실행하도록 하는 명령어를 입력받아, 적어도 하나의 애플리케이션을 포함하는 적어도 하나의 화면(505, 506, 507, 508)을 각각 디스플레이할 수 있다. 이와 동시에, 제2 전자 장치(502, 503, 504)는 제1 전자 장치(501)의 디스플레이 모듈에 디스플레이되고 있는 적어도 하나의 화면(505, 506, 507, 508)을 제2 전자 장치(502, 503, 504)의 디스플레이 모듈에 각각 디스플레이할 수 있다.

예를 들면, 도 5의(a)에 도시된 바와 같이, 제1 전자 장치(501)가 제1 화면 내지 제4 화면(505, 506, 507, 508)을 표시하도록 하는 명령어를 입력받아 제1 전자 장치(501)의 디스플레이 모듈에 제1 화면 내지 제4 화면(505, 506, 507, 508)을 디스플레이한 경우에 대하여 설명해 보겠다. 또한, 하나의 제2 전자 장치(502)에서는 제1 전자 장치(501)의 디스플레이 모듈에 디스플레이된 제2 화면(506)이 실시간으로 디스플레이된 경우에 대하여 설명해 보겠다. 또한, 또 다른 제2 전자 장치(503)에서는 제1 전자 장치(501)의 디스플레이 모듈에 디스플레이된 제3 화면(507)이 실시간으로 디스플레이된 경우에 대하여 설명해 보겠다. 또한, 또 다른 제2 전자 장치(503)에서는 제1 전자 장치(501)의 디스플레이 모듈에 디스플레이된 제4 화면(508)이 실시간으로 디스플레이된 경우에 대하여 설명해 보겠다.

상술한 예에서, 하나의 제2 전자 장치(502)는 제2 전자 장치(502)의 디스플레이 모듈에 제1 전자 장치(501)에서 디스플레이되고 있는 제2 화면(506)을 실시간으로 디스플레이할 수 있다. 또한, 또 다른 제2 전자 장치(503)는 제2 전자 장치(503)의 디스플레이 모듈에 제1 전자 장치(501)에서 디스플레이되고 있는 제3 화면(507)을 실시간으로 디스플레이할 수 있다. 또한, 또 다른 제2 전자 장치(504)는 제2 전자 장치(504)의 디스플레이 모듈에 제1 전자 장치(501)에서 디스플레이되고 있는 제4 화면(508)을 실시간으로 디스플레이할 수 있다.

이후, 제2 전자 장치(502, 503, 504, 505)는 제1 전자 장치(501)로부터 수신한 제1 로테이션 정보를 기반으로 제2 전자 장치(502, 503, 504, 505)의 디스플레이 모듈에 디스플레이되고 있는 적어도 하나의 화면 중 어느 하나의 화면 변경을 제1 전자 장치(501)로 요청할 수 있다.

예를 들면, 제2 전자 장치(504)에서 제4 화면(508)의 디스플레이 각도를 변경하도록 하는 메뉴에 진입하여, 현재 제2 전자 장치(504)의 디스플레이 모듈에서 디스플레이되고 있는 제4 화면(508)의 디스플레이 각도가 왼쪽으로 90도(오른쪽으로 270도) 회전하도록 하는 명령어를 입력받을 수 있다.

이후, 제1 전자 장치(501)는 화면 변경을 요청받은 화면의 해상도를 변경할 수 있다. 보다 구체적으로, 제1 전자 장치(501)는 변경된 화면을 제1 전자 장치(501)의 디스플레이 모듈에 출력하기 위하여 변경된 화면에 알맞은 해상도로 화면의 해상도를 변경할 수 있다.

이후, 제1 전자 장치(501)는 제2 전자 장치(502, 503, 504)로 화면 변경을 요청받은 변경될 화면에 따른 제2 로테이션 정보를 전송할 수 있다. 여기서, 제2 로테이션 정보란 제2 전자 장치(502, 503, 504)로부터 요청받은 화면의 디스플레이 각도가 변화됨에 따라 변경될 해상도를 기반으로 한 요청받은 화면에 관한 화면 데이터 정보 및 제1 로테이션 정보에 포함된 동일한 디스플레이 각도 정보일 수 있다.

이후, 제2 전자 장치(502, 503, 504)는 제1 전자 장치(501)로부터 수신한 제2 로테이션 정보를 기반으로 화면을 변경할 수 있다. 보다 구체적으로, 제2 전자 장치(502, 503, 504)는 제1 전자 장치(501)로부터 수신한 제2 로테이션 정보를 기반으로 제1 전자 장치(501)로 요구한 화면의 디스플레이 각도로 디스플레이되고 있는 화면의 디스플레이 각도를 변경할 수 있다. 예를 들면, 도 5의(b)에 도시된 바와 같이, 제2 전자 장치(504)는 제1 전자 장치(501)로부터 수신한 제2 로테이션 정보를 기반으로 화면의 디스플레이 각도를 왼쪽으로 90도(오른쪽으로 270도) 회전시킬 수 있다.

도 6은 본 개시의 일 실시 예에 따른 제1 전자 장치의 동작 순서를 도시한 순서도이다. 먼저, 도 6에 도시된 바와 같이, 제1 전자 장치는 적어도 하나의 제2 전자 장치와 각각 네트워크에 연결됨을 확인할 수 있다(601). 이하, 제1 전자 장치와 제2 전자 장치가 상호 네트워크에 연결되는 두 가지 일 실시 예를 상세히 설명하겠다. 설명의 편의를 위해 제1 전자 장치를 source 장치로, 제2 전자 장치를 sink 전자 장치로 명명하겠다. 이하, 첫 번째 실시 예를 설명해 보겠다.

먼저, source 장치와 sink 장치는 각각 네트워크에 연결될 수 있다. 여기서, 네트워크 연결은 USB, LAN, WiFi 등 IP(Internet Protocol) 기반의 네트워크일 수 있다. 이후, source 장치는 Device Discovery 과정을 수행할 수 있다. 여기서, Device Discovery 과정이란 source 장치가 연결된 network에서 연결 가능한 Display 장치를 검색(search)하는 'discovery packet'을 보내어 응답하는 단말을 찾는 과정이다.

이후, source 장치와 sink 장치는 Session Negotiation 과정을 수행할 수 있다. 여기서, Session Negotiation 과정이란 지원하는 Display 해상도, 코덱및 제어장치 정보를 source 장치와 sink 장치가 상호 교환 및 협상하는 과정일 수 있다. 이후, source 장치와 sink 장치는 세션에 사용할 해상도 및 코덱을 지정하여 세션 연결을 하는 Session 연결 과정을 수행할 수 있다.

이후, source 장치는 sink 장치로 화면/소리 데이터를 설립된 코덱으로 인코딩하여 전송하는 Screen Data Transfer 과정을 수행할 수 있다. 이후, source 장치와 sink 장치는 세션 연결을 해제하는 Session Disconnection 과정 및 연결을 해제하는 Network Disconnection 과정을 수행할 수 있다.

이하, WiFi Direct를 사용하여 source 장치와 sink 장치가 상호 연결되는 두 번째 실시 예를 설명해 보겠다. 먼저, source 장치는 Device Discovery 과정을 수행할 수 있다. 보다 구체적으로, source 장치가 WiFi Direct 장치의 scan 응답 메시지의 정보에서 'display 정보 세션 연결 정보'를 포함하는 장치 검색한 후, 'device type', 'device status', 세션 연결 정보(TCP 포트 정보)로 검출할 수 있다. Source 장치 와 sink 장치 간의 WiFi Direct network 연결되는 network Connection 과정이 수행될 수 있다.

이후, source 장치와 sink 장치가 상호 지원하는 Display 해상도, 코덱및 제어장치 정보 교환 및 협상을 하는 Session Negotiation 과정을 수행할 수 있다. 이후, source 장치와 sink 장치가 세션에 사용할 해상도 및 코덱을 지정하여 세션 연결을 하는 Session 연결 과정을 수행할 수 있다. 이후, source 장치는 sink 장치로 화면/소리 데이터를 설립된 코덱으로 인코딩하여 전송하는 Screen Data Transfer 과정을 수행할 수 있다. 이후, source 장치와 sink 장치는 세션 연결을 해제하는 Session Disconnection 과정 및 연결을 해제하는 Network Disconnection 과정을 수행할 수 있다.

이후, 제1 전자 장치는 선택한 해상도 정보를 각각의 제2 전자 장치로 전송할 수 있다(602). 보다 구체적으로, 제1 전자 장치는 제2 전자 장치로부터 제2 전자 장치에서 설정될 수 있는 해상도 정보를 수신하여, 수신한 해상도 정보 중 어느 하나의 해상도를 선택한 후, 제2 전자 장치에서 선택한 해상도가 설정될 수 있도록 선택한 해상도 정보를 제2 전자 장치로 전송할 수 있다.

이후, 제1 전자 장치는 sink 출력용 logical display를 생성할 수 있다. 보다 구체적으로, 제1 전자 장치는 display 정보를 관리하기 위한 정보를 생성할 수 있다. 이후, 제1 전자 장치는 sink 출력용 logical display configuration을 초기화할 수 있다. 예를 들면, 제1 전자 장치는 제1 전자 장치의 화면의 가로 또는 세로에 따른 해상도 정보 및 컬러(color)의 농도 정보 등을 설정할 수 있다. 이후, 제1 전자 장치는 캡쳐화면의 orientation을 고정할 수 있다. 보다 구체적으로, 제1 전자 장치는 logical 디스플레이의 캡쳐화면을 가로 또는 세로로 고정할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로 디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드 정보를 전송할 수 있다(603). 여기서, 제1 화면모드 정보란 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로부터 제1 화면모드 변경을 요청받을 수 있다(604). 예를 들면, 제1 전자 장치는 제2 전자 장치로부터 현재 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제1 화면의 디스플레이 각도가 180도 회전하도록 요청받을 수 있다. 이후, 제1 전자 장치는 sink 출력용 logical display configuration을 변경할 수 있다. 즉, 제1 전자 장치는 최초 설정된 sink 출력용 logical display configuration에 따른 가로 또는 세로에 따른 해상도 정보 및 컬러의 농도 정보 등을 변경할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로 제1 화면모드가 변경된 제2 화면모드 정보를 전송할 수 있다(605). 여기서, 제2 화면모드 정보란 제2 전자 장치로부터 요청받은 화면의 디스플레이 각도가 변화됨에 따라 변경될 해상도를 기반으로 한 요청받은 화면에 관한 화면 데이터 정보 및 제1 화면모드 정보에 포함된 동일한 디스플레이 각도 정보일 수 있다. 보다 구체적으로, 제1 전자 장치에서 제1 화면모드 정보에 포함된 각도 정보가 화면의 가로에 따라 설정된 경우, 제1 전자 장치는 제2 전자 장치로 가로 화면의 디스플레이 각도 정보를 전송할 수 있다. 같은 의미로, 제1 전자 장치에서 제1 화면모드 정보에 포함된 각도 정보가 화면의 세로에 따라 설정된 경우, 제1 전자 장치는 제2 전자 장치로 세로 화면의 디스플레이 각도 정보를 전송할 수 있다.

이후, 제1 전자 장치는 화면모드를요청받은 화면의 레이아웃을 조정할 수 있다. 예를 들면, 제1 전자 장치가 제2 전자 장치로부터 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제1 화면의 디스플레이 각도를 180도 회전하도록 요청받은 경우, 제1 전자 장치는 제1 전자 장치의 디스플레이 모듈에 디스플레이되고 있는 제1 화면의 디스플레이 화면의 각도를 180도 회전할 수 있다.

도 7은 본 개시의 일 실시 예에 따른 제2 전자 장치의 동작 순서를 도시한 순서도이다. 먼저, 도 7에 도시된 바와 같이, 제2 전자 장치는 제1 전자 장치와 네트워크에 연결됨을 확인할 수 있다(701). 여기서, 제1 전자 장치와 제2 전자 장치는 USB, LAN 및 WiFi 등과 같이 IP 기반의 네트워크에 상호 연결될 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 수신한 해상도로 적어도 하나의 화면의 해상도를 설정할 수 있다(702). 보다 구체적으로, 제2 전자 장치는 제1 전자 장치로 제2 전자 장치에서 설정될 수 있는 해상도 정보를 전송한 후, 제1 전자 장치로부터 선택받은 어느 하나의 해상도 정보를 수신하여, 수신한 해상도로 적어도 하나의 화면의 해상도를 설정할 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 제1 전자 장치에서 디스플레이되고 있는 적어도 하나의 화면의 제1 화면모드 정보를 수신할 수 있다(703). 여기서, 제1 화면모드정보는 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제2 전자 장치는 제1 전자 장치에서 디스플레이되고 있는 적어도 하나의 화면을 실시간으로 디스플레이할 수 있다(704). 예를 들면, 제1 전자 장치에서 제1 화면 및 제2 화면이 디스플레이되고 있는 경우, 제2 전자 장치의 디스플레이 모듈에는 제1 화면 및 제2 화면 중 적어도 하나의 화면이 실시간이 디스플레이될 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로 제1 화면모드 정보의 변경을 요청할 수 있다(705). 예를 들면, 제2 전자 장치는 현재 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제2 화면의 디스플레이 각도가 왼쪽으로 90도(오른쪽으로 270도) 회전하도록 하는 화면 변경을 제1 전자 장치로 요청할 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 수신한 제2 화면모드 정보를 기반으로 어느 하나의 화면을 변경할 수 있다(706). 상술한 예에서, 제2 전자 장치는 제2 화면의 디스플레이 각도를 왼쪽으로 90도(오른쪽으로 270도) 회전시켜, 제2 화면을 변경할 수 있다.

도 8은 본 개시의 일 실시 예에 따른 제1 전자 장치 및 제2 전자 장치의 동작의 흐름도이다. 먼저, 도 8에 도시된 바와 같이, 제1 전자 장치와 제2 전자 장치는 상호 네트워크에 연결될 수 있다(801). 여기서, 제1 전자 장치와 제2 전자 장치는 USB, LAN 및 WiFi 등과 같이 IP 기반의 네트워크에 상호 연결될 수 있다.

이후, 제1 전자 장치 및 제2 전자 장치는 디스플레이 세션을 설정할 수 있다(802). 보다 구체적으로, 제2 전자 장치는 제1 전자 장치로 제2 전자 장치에서 설정될 수 있는 해상도 정보를 전송한 후, 제1 전자 장치로부터 선택받은 어느 하나의 해상도 정보를 수신하여, 수신한 해상도로 적어도 하나의 화면의 해상도를 설정할 수 있다.

이후, 제1 전자 장치는 sink 출력용 logical display를 생성할 수 있다(803). 보다 구체적으로, 제1 전자 장치는 display 정보를 관리하기 위한 정보를 생성할 수 있다.

이후, 제1 전자 장치는 sink 출력용 logical display configuration을 초기화할 수 있다(804). 예를 들면, 제1 전자 장치는 제1 전자 장치의 화면의 가로 또는 세로에 따른 해상도 정보 및 컬러의 농도 정보 등을 설정할 수 있다.

이후, 제1 전자 장치는 캡쳐화면의 orientation을 고정할 수 있다(805). 보다 구체적으로, 제1 전자 장치는 logical 디스플레이의 캡쳐화면을 가로 또는 세로로 고정할 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로 제1 화면모드 정보를 전송할 수 있다(806). 여기서, 제1 화면모드정보란 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 적어도 하나의 화면을 디스플레이할 수 있다(807). 예를 들면, 제1 전자 장치는 제1 전자 장치에 설치된 복수의 애플리케이션 중 어느 하나의 애플리케이션을 선택받아, 실행하도록 선택받은 애플리케이션이 포함된 화면을 디스플레이할 수 있다.

이후, 제2 전자 장치는 적어도 하나의 화면을 디스플레이할 수 있다(808). 보다 구체적으로, 제1 전자 장치와 제2 전자 장치는 상호 네트워크로 연결되어 있기 때문에, 현재 제1 전자 장치에서 디스플레이되고 있는 화면이 제2 전자 장치의 디스플레이 모듈에 디스플레이될 수 있다.

이후, 제2 전자 장치는 제1 화면모드 정보의 변경을 요청할 수 있다. (809). 예를 들면, 제2 전자 장치는 현재 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제2 화면의 디스플레이 각도가 왼쪽으로 90도(오른쪽으로 270도) 회전하도록 하는 화면 변경을 제1 전자 장치로 요청할 수 있다.

이후, 제1 전자 장치는 sink 출력용 logical display configuration을 변경할 수 있다(810). 즉, 제1 전자 장치는 최초 설정된 sink 출력용 logical display configuration에 따른 가로 또는 세로에 따른 해상도 정보 및 컬러의 농도 정보 등을 변경할 수 있다.

이후, 제1 전자 장치는 화면 변경을 요청받은 변경될 화면에 따른 제2 로테이션 정보를 전송할 수 있다(811). 여기서, 제2 로테이션 정보란 제2 전자 장치로부터 요청받은 화면의 디스플레이 각도가 변화됨에 따라 변경될 해상도를 기반으로 한 요청받은 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 요청받은 화면을 변경할 수 있다(812). 예를 들면, 제1 전자 장치가 제2 전자 장치로부터 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제1 화면의 디스플레이 각도를 180도 회전하도록 요청받은 경우, 제1 전자 장치는 제1 전자 장치의 디스플레이 모듈에 디스플레이되고 있는 제1 화면의 디스플레이 화면의 각도를 180도 회전할 수 있다.

이후, 제2 전자 장치는 제2 화면모드정보를 기반으로 화면을 변경할 수 있다(813). 예를 들면, 제2 전자 장치가 제1 전자 장치로 제2 전자 장치의 디스플레이 모듈에 디스플레이되고 있는 제1 화면의 각도를 180도 변경하도록 요청한 경우, 제2 전자 장치는 제1 화면의 디스플레이 각도를 180도 회전시켜 제2 화면을 변경할 수 있다.

도 9는 본 개시의 일 실시 예에 따른 제1 전자 장치의 방법의 흐름도이다. 먼저, 도 9에 도시된 바와 같이, 제1 전자 장치는 디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드정보를 제2 전자 장치로 전송할 수 있다(910). 여기서, 제1 화면모드정보란 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제1 전자 장치는 제2 전자 장치로부터 전송한 제1 화면모드 정보의 변경을 요청받을 수 있다(902). 예를 들면, 제1 전자 장치는 제2 전자 장치로부터 현재 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제1 화면의 디스플레이 각도가 180도 회전하도록 요청받을 수 있다.

이후, 제1 전자 장치는 제1 화면모드가 변경된 제2 화면모드를 제2 전자 장치로 전송할 수 있다. (903). 여기서, 제2 화면모드 정보란 제2 전자 장치로부터 요청받은 화면의 디스플레이 각도가 변화됨에 따라 변경될 해상도를 기반으로 한 요청받은 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

도 10은 본 개시의 일 실시 예에 따른 제2 전자 장치의 방법의 흐름도이다. 먼저, 도 10에 도시된 바와 같이, 제2 전자 장치는 제1 전자 장치로부터 제1 전자 장치에서 디스플레이되고 있는 적어도 하나의 화면의 제1 화면모드정보를 수신할 수 있다(1001). 여기서, 제1 화면모드 정보는 제2 전자 장치에 설정된 해상도를 기반으로 한 적어도 하나의 화면에 관한 화면 데이터 정보 및 디스플레이 각도 정보일 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로 수신한 제1 화면모드 정보의 변경을 요청할 수 있다. (1002). 예를 들면, 제2 전자 장치는 현재 제2 전자 장치의 디스플레이 모듈에서 디스플레이되고 있는 제2 화면의 디스플레이 각도가 왼쪽으로 90도(오른쪽으로 270도) 회전하도록 하는 화면 변경을 제1 전자 장치로 요청할 수 있다.

이후, 제2 전자 장치는 제1 전자 장치로부터 수신한 제2 화면모드정보를 기반으로 어느 하나의 화면을 변경할 수 있다(1003). 상술한 예에서, 제2 전자 장치는 제2 화면의 디스플레이 각도를 왼쪽으로 90도(오른쪽으로 270도) 회전시켜, 제2 화면의 화면을 변경할 수 있다.

도 11은 본 개시에 따른 제1 전자 장치의 구성을 모식적으로 도시한 블록도이다. 먼저, 도 11의(a)는 본 개시에 따른 제1 전자 장치의 구성을 도시한 도면이다. 도 11의(a)에 도시된 바와 같이, 본 개시에 따른 제1 전자 장치는 제1 전자 장치의 디스플레이 모듈에 적어도 하나의 애플리케이션(1101)을 디스플레이할 수 있으며, 각각의 logical display(1102)를 생성할 수 있다.

도 11의(b)는 본 개시에 따른 제1 전자 장치의 응용 프로그램들을 모식적으로 도시한 도면이다. 먼저, Logical Display 관리자(1103)는 sink 장치의 논리적인 display 정보, 즉 width, height, refresh rate(FPS frame per second), color depth (dpi) 을 관리한다.

Logical Display Session 관리자(1104)는 sink 장치와의 display session 의 관리 (연결/해제 등)을 관리한다.

화면 Composer(1105)는 Logical Display 로 표시될 화면을 composing 한다.

화면/오디오 데이터 캡쳐 모듈(1106)은 Logical Display 로 표시될 화면을 캡쳐(capture 또는 read)한다.

화면/오디오 데이터 인코딩 모듈(1107)은 Logical Display 로 표시될 화면을 인코딩 한다.

화면/오디오 데이터 전송 모듈(1108)은 인코딩 된 데이터를 전송한다.

도 12는 본 개시에 따른 제2 전자 장치의 구성을 모식적으로 도시한 도면이다. 먼저, 사용자 UX 인터페이스(1201)는 (source에서 수신한) 화면을 그리는 것 과 rotation 변경 user interface 를 포함한다.

Logical Display 관리자(1202)는 source 장치와 연결된 논리적인 display의 정보, 즉 width, height, refresh rate(FPS frame per second), color depth (dpi) 을 관리한다.

Logical Display Session 관리자(1203)는 source 장치와 연결된 논리적인 display session 의 관리 (연결/해제 등)을 관리한다.

화면/오디오 데이터 랜더링 모듈(1204)은 화면 표시 영역에 화면 데이터 랜더링한다.

화면/오디오 데이터 디코딩 모듈(1205)은 수신한 데이터를 디코딩 한다.

화면/오디오 데이터 수신 모듈(1206)은 데이터를 수신한다.

도 13은 본 개시의 일 실시 예에 따른 제1 전자 장치가 복수의 제2 전자 장치와 연결된 상태에서, 응용프로그램의 화면 처리 및 합성하는 동작 순서를 도시한 순서도이다. 먼저, 제1 전자 장치는 실행되고 있는 응용 프로그램을 포함하여, 어느 하나의 응용 프로그램을 선택할 수 있다(1301). 보다 구체적으로, 제1 전자 장치는 사용자로부터 설치된 응용 프로그램 중 어느 하나를 선택받을 수도 있고, 이미 실행 중인 응용 프로그램 중 어느 하나를 선택받을 수 도 있다.

이후, 제1 전자 장치는 응용 프로그램에 연결된 외부 디스플레이 장치를 확인할 수 있다(1302). 보다 구체적으로, 제1 전자 장치는 복수의 제2 전자 장치 중 응용 프로그램에 연결된 제2 전자 장치를 확인할 수 있다.

이후, 제1 전자 장치는 확인한 외부 디스플레이 장치 중 하나 이상을 선택할 수 있다(1303). 즉, 제1 전자 장치는 확인한 복수의 제2 전자 장치 중 하나 이상의 제2 전자 장치를 선택할 수 있다.

이후, 제1 전자 장치의 화면 합성기가 응용 프로그램으로부터 표시될 화면을 추가적으로 합성할 수 있다(1304). 즉, 제1 전자 장치의 화면 합성기는 현재 디스플레이 중인 화면 이외에 응용 프로그램으로부터 표시될 화면을 추가적으로 합성할 수 있다.

이후, 제1 전자 장치는 합성된 화면 데이터를 캡처 및 인코딩하여 선택한 외부 디스플레이 장치로 전송할 수 있다(1304). 즉, 제1 전자 장치는 추가적으로 합성된 화면에 관한 화면 데이터를 캡처 및 인코딩하여, 제1 전자 장치에 의하여 선택된 하나 이상의 제2 전자 장치로 전송할 수 있다.

이상 설명한 본 개시는 본 개시가 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 개시에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

100: 전자 장치 102: 전자 장치
104: 전자 장치 110: 버스
120: 프로세서 130: 메모리
131: 커널 132: 미들웨어
133: 애플리케이션 프로그래밍 인터페이스
140: 사용자 입력모듈 150: 디스플레이 모듈
160: 통신 모듈 162: 네트워크
164: 서버 200: 전자 장치
210: 프로세서 211: 애플리케이션 프로세서
213: 커뮤니케이션 프로세서 214: SIM 카드
220: 메모리 222: 내장 메모리
224: 외장 메모리 230: 통신 모듈
231: 무선 통신 모듈 234: RF 모듈
233: WiFi 235: BT
237: GPS 239: NFC
240: 센서 모듈 240A: 제스처 센서
240B: 자이로 센서 240C: 기압 센서
240D: 마그네틱 센서 240E: 가속도 센서
240F: 그립 센서 240G:근접 센서
240H: RGB 센서 240I: 생체 센서
240J: 온/습도 센서 240K: 조도 센서
240M: UV 센서 250: 사용자 입력모듈
252: 터치 패널 254: 펜 센서
256: 키 258: 울트라 소닉
260: 디스플레이 모듈 262: 패널
264: 홀로그램 270: 인터페이스
272: HDMI 274: USB
276: 프로젝터 278: D-SUB
280: 오디오 코덱 282: 스피커
284: 리시버 286: 이어폰
288: 마이크 291: 카메라 모듈
295: 전력 관리 모듈 296: 배터리
297: 인디케이터 298: 모터
300: 전자 장치 310: 커널
311: 시스템 리소스 매니저 312: 디바이스 드라이버
330: 미들웨어 341: 애플리케이션 매니저
342: 윈도우 매니저 343: 멀티미디어 매니저
344: 리소스 매니저 345: 파워 매니저
346: 데이터베이스 매니저 347: 패키지 매니저
348: 연결 매니저 349: 통지 매니저
350: 위치 매니저 351: 그래픽 매니저
352: 보안 매니저 355: 런타임 라이브러리
360: API 370: 애플리케이션
371: 홈 372: 다이얼러
373:SMS/MMS 374: IM
375: 브라우저 376: 카메라
377: 알람 378: 컨텐트
379: 음성 다이얼 380: 이메일
381: 달력 382: 미디어 플레이어
383: 앨범 384: 시계
401: 제1 전자 장치 402: 제2 전자 장치
501: 제1 전자 장치 502: 제2 전자 장치
503: 제2 전자 장치 504: 제2 전자 장치
505: 제1 애플리케이션 506: 제2 애플리케이션
507: 제3 애플리케이션 508: 제4 애플리케이션
1101: 애플리케이션 1102: Logical Display
1103: Logical Display 관리자
1104: Logical Display Session 관리자(1104)
1105: 화면 Composer(1105)
1106: 화면/오디오 데이터 캡쳐 모듈(1106)
1107: 화면/오디오 데이터 인코딩 모듈(1107)
1108: 화면/오디오 데이터 전송 모듈(1108)
1201: 사용자 UX 인터페이스(1201)
1202: Logical Display 관리자(1202)
1203: Logical Display Session 관리자(1203)
1204: 화면/오디오 데이터 랜더링 모듈(1204)
1205: 화면/오디오 데이터 디코딩 모듈(1205)
1206: 화면/오디오 데이터 수신 모듈(1206)

Claims

적어도 하나의 제2 전자 장치와 연결되어 있는 제1 전자 장치의 동작 방법에 있어서,
디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드 정보를 상기 제2 전자 장치로 전송하는 과정;
상기 제2 전자 장치로부터 상기 전송한 제1 화면모드 정보의 변경을 요청받는 과정; 및
상기 제1 화면모드가 변경된 제2 화면모드를 상기 제2 전자 장치로 전송하는 과정을 포함하는 방법.
제1항에 있어서,
상기 제2 전자 장치와 세션 협상(negotiation)을 통하여, 상기 제2 전자 장치에 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환하는 과정;
상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업하는 과정;
상기 제2 전자 장치에 출력될 디스플레이 정보를 생성하는 과정; 및
상기 제2 전자 장치로 디스플레이 할 화면모드를 가로 또는 세로 중 어느 하나의 방향으로 고정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제2항에 있어서,
상기 디스플레이 정보는,
해상도 정보, 디피아이 정보(Dots Per Inch information) 및 각도 정보(angle information) 중 적어도 하나의 정보인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제1 화면모드 정보는,
상기 제2 전자 장치에 설정된 해상도를 기반으로 한 상기 적어도 하나의 화면에 관한 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 화면모드 정보는,
상기 제1 화면모드 정보가 변경됨에 따라 변경될 해상도를 기반으로 한 화면 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 전송하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 적어도 하나의 제2 전자 장치 중 선택받은 어느 하나의 응용 프로그램에 연결된 제2 전자 장치를 확인하는 과정;
상기 확인된 제2 전자 장치 중 하나 이상의 제2 전자 장치를 선택하는 과정;
상기 응용 프로그램에 의하여 표시될 화면을 추가적으로 합성하는 과정; 및
상기 합성된 화면 데이터를 캡처 및 인코딩하여, 상기 선택된 제2 전자 장치로 전송하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제1 전자 장치와 연결되어 있는 적어도 하나의 제2 전자 장치의 동작 방법에 있어서,
상기 제1 전자 장치로부터 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면의 제1 화면모드 정보를 수신하는 과정;
상기 제1 전자 장치로, 상기 수신한 제1 화면모드 정보의 변경을 요청하는 과정; 및
상기 제1 전자 장치로부터, 수신한 제2 화면모드 정보를 기반으로 디스플레이 하고 있는 어느 하나의 화면을 변경하는 과정을 포함하는 방법.
제8항에 있어서,
상기 제1 전자 장치와 세션 협상을 통하여, 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환하는 과정; 및
상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 제1 화면모드 정보는,
설정된 해상도를 기반으로 한 상기 적어도 하나의 화면에 관한 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 방법.
제8항에 있어서,
상기 제2 화면모드 정보는,
상기 제1 화면모드 정보가 변경됨에 따라 변경될 해상도를 기반으로 한 화면 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 방법.
제8항에 있어서,
상기 제1 전자 장치로부터, 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면에 관한 데이터를 수신하는 과정; 및
상기 수신한 데이터를 기반으로 상기 적어도 하나의 화면을 실시간으로 디스플레이하는 과정을 더 포함하는 것을 특징으로 하는 방법.
제12항에 있어서,
상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 수신하는 과정을 더 포함하는 것을 특징으로 하는 방법.
적어도 하나의 제2 전자 장치와 연결되어 있는 제1 전자 장치에 있어서,
전반적인 동작을 제어하는 프로세서; 및
상기 프로세서 유닛에서 제어된 데이터를 상기 제2 전자 장치와 송수신하는 통신 모듈을 포함하되;
상기 통신 모듈은, 디스플레이하고 있는 적어도 하나의 화면의 제1 화면모드 정보를 상기 제2 전자 장치로 전송하고, 상기 제2 전자 장치로부터 상기 전송한 제1 화면모드 정보의 변경을 요청받고, 상기 제1 화면모드가 변경된 제2 화면모드를 상기 제2 전자 장치로 전송하는 것을 포함하는 장치.
제14항에 있어서,
상기 통신 모듈은, 상기 제2 전자 장치와 세션 협상을 통하여, 상기 제2 전자 장치에 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환하고,
상기 프로세서는, 상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업하고, 상기 제2 전자 장치에 출력될 디스플레이 정보를 생성하며, 상기 제2 전자 장치로 디스플레이 할 화면모드를 가로 또는 세로 중 어느 하나의 방향으로 고정하는 것을 특징으로 하는 장치.
제15항에 있어서,
상기 디스플레이 정보는,
해상도 정보, 디피아이 정보 및 각도 정보 중 적어도 하나의 정보인 것을 특징으로 하는 장치.
제14항에 있어서,
상기 제1 화면모드 정보는,
상기 제2 전자 장치에 설정된 해상도를 기반으로 한 상기 적어도 하나의 화면에 관한 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 장치.
제14항에 있어서,
상기 제2 화면모드 정보는,
상기 제1 화면모드 정보가 변경됨에 따라 변경될 해상도를 기반으로 한 화면 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 장치.
제14항에 있어서,
상기 통신 모듈은, 상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 전송하는 것을 특징으로 하는 장치.
제14항에 있어서,
상기 프로세서는, 상기 적어도 하나의 제2 전자 장치 중 선택받은 어느 하나의 응용 프로그램에 연결된 제2 전자 장치를 확인하고, 상기 확인된 제2 전자 장치 중 하나 이상의 제2 전자 장치를 선택하고,
상기 통신 모듈은, 합성된 화면 데이터를 캡처 및 인코딩하여, 상기 선택된 제2 전자 장치로 전송하고,
상기 응용 프로그램에 의하여 표시될 화면을 추가적으로 합성하는 화면 합성기(composer)를 더 포함하는 것을 특징으로 하는 장치.
제1 전자 장치와 연결되어 있는 적어도 하나의 제2 전자 장치에 있어서,
상기 제1 전자 장치로부터 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면의 제1 화면모드 정보를 수신하고, 상기 제1 전자 장치로, 상기 수신한 제1 화면모드 정보의 변경을 요청하는 통신 모듈; 및
상기 제1 전자 장치로부터, 수신한 제2 화면모드 정보를 기반으로 디스플레이 하고 있는 어느 하나의 화면을 변경하는 프로세서를 포함하는 장치.
제21항에 있어서,
상기 통신 모듈은, 상기 제1 전자 장치와 세션 협상을 통하여, 디스플레이 될 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보 중 적어도 하나의 정보를 교환하고,
상기 프로세서는, 상기 협상된 해상도 정보, 오디오 코덱 정보 및 비디오 코덱 정보로부터 디스플레이 세션을 셋업하는 것을 특징으로 하는 장치.
제21항에 있어서,
상기 제1 화면모드 정보는,
설정된 해상도를 기반으로 한 상기 적어도 하나의 화면에 관한 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 장치.
제21항에 있어서,
상기 제2 화면모드 정보는,
상기 제1 화면모드 정보가 변경됨에 따라 변경될 해상도를 기반으로 한 화면 데이터 정보 및 디스플레이 각도 정보인 것을 특징으로 하는 장치.
제21항에 있어서,
상기 통신 모듈은, 상기 제1 전자 장치로부터, 상기 제1 전자 장치에서 디스플레이 되고 있는 적어도 하나의 화면에 관한 데이터를 수신하고,
상기 수신한 데이터를 기반으로 상기 적어도 하나의 화면을 실시간으로 디스플레이하는 디스플레이 모듈을 더 포함하는 것을 특징으로 하는 장치.
제25항에 있어서,
상기 통신 모듈은, 상기 제2 화면모드에 따른 비디오 데이터 및 오디오 데이터를 실시간으로 수신하는 것을 특징으로 하는 장치.