KR20150046594A - 단말 장치 및 제어 방법 - Google Patents

단말 장치 및 제어 방법 Download PDF

Info

Publication number
KR20150046594A
KR20150046594A KR20130126030A KR20130126030A KR20150046594A KR 20150046594 A KR20150046594 A KR 20150046594A KR 20130126030 A KR20130126030 A KR 20130126030A KR 20130126030 A KR20130126030 A KR 20130126030A KR 20150046594 A KR20150046594 A KR 20150046594A
Authority
KR
South Korea
Prior art keywords
terminal device
image
output image
interface
sub
Prior art date
Application number
KR20130126030A
Other languages
English (en)
Inventor
김현진
박다혜
백성욱
국승빈
김학준
이혜원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130126030A priority Critical patent/KR20150046594A/ko
Publication of KR20150046594A publication Critical patent/KR20150046594A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J7/00—Circuit arrangements for charging or depolarising batteries or for supplying loads from batteries
    • H02J7/0068—Battery or charger load switching, e.g. concurrent charging and load supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Power Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

단말 장치 및 제어 방법이 개시된다. 본 발명에 따른 단말 장치는 서브 단말 장치와 연결되어 데이터를 송수신하는 인터페이스부 및 인터페이스부를 통해 서브 단말 장치가 연결되면, 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 인터페이스부를 통해 서브 단말 장치로 전송하는 제어부를 포함하며, 인터페이스 영상 및 출력 영상은, 서브 단말 장치를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상이다. 이에 따라, 단말 장치는 물리적으로 연결된 서브 단말 장치를 통해 주변 공간을 이용하여 단말 장치에서 제공하는 출력 화면 및 입력 화면을 다양한 형태로 확장하여 제공할 수 있다.

Description

단말 장치 및 제어 방법{Terminal apparatus and control method thereof}
본 발명은 단말 장치 및 제어 방법에 관한 것으로써, 보다 상세하는 단말 장치의 출력 영상 및 입력을 위한 인터페이스 영상을 확장시켜 제공하기 위한 단말 장치 및 제어 방법에 관한 것이다.
일반적으로, 스마트폰과 같은 단말 장치는 다양한 어플리케이션을 제공한다. 이에 따라, 사용자는 단말 장치에서 제공하는 어플리케이션을 이용하기 위해서, 단말 장치의 터치 스크린을 통해 자신이 이용하고자 하는 어플리케이션 실행을 조작하거나 실행된 어플리케이션을 시청할 수 있다.
그러나, 이 같은 단말 장치의 터치 스크린을 통해 어플리케이션 실행을 조작하기에는 터치 스크린의 크기가 제한적이기 때문에 여러 번의 실행 동작을 수행해야 한다. 뿐만 아니라, 단말 장치의 터치 스크린의 크기가 제한적이기 때문에 터치 스크린을 통해 실행 중인 어플리케이션을 시청하기에 불편함을 감수해야한다.
따라서, 이 같은 문제점을 개선하기 위해서 단말 장치와 물리적으로 연결되어 사용자의 터치 입력 혹은 스크린 확대를 지원하는 보조 단말 장치가 개발되었다.
그러나, 이 같은 보조 단말 장치를 통해 단말 장치의 제한적인 스크린 사이즈 문제에 대해서만 개선되었을 뿐, 전술한 바와 같이, 어플리케이션 실행을 조작하기 위해 여러 번의 실행 동작을 수행하거나 어플리케이션 관련 실행 화면을 제한적으로 제공하는 불편함에 대해서는 여전히 해소되지 못하고 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명이 목적은 단말 장치에서 제공하는 출력 화면 및 입력 화면을 다양한 형태로 확장하여 제공하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 단말 장치는 서브 단말 장치와 연결되어 데이터를 송수신하는 인터페이스부 및 상기 인터페이스부를 통해 상기 서브 단말 장치가 연결되면, 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 상기 인터페이스부를 통해 상기 서브 단말 장치로 전송하는 제어부를 포함하며, 상기 인터페이스 영상 및 출력 영상은, 상기 서브 단말 장치를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상이다.
그리고, 상기 실행 화면을 디스플레이하는 디스플레이부를 더 포함하고, 상기 제어부는, 상기 디스플레이되는 실행 화면과 관련된 제1 및 제2 출력 영상을 생성하여 상기 제1 출력 영상을 상기 서브 단말 장치로 전송하고, 상기 제2 출력 영상을 상기 디스플레이부를 통해 디스플레이할 수 있다.
또한, 상기 제어부는, 상기 인터페이스부를 통해 상기 서브 단말 장치와의 연결이 분리되면, 상기 제2 출력 영상에서 상기 실행 화면으로 전환하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 사용자의 근접 여부를 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 감지부를 통해 감지된 근접 정보에 기초하여 상기 사용자가 기설정된 임계 범위 내에 근접한 것으로 판단되면, 상기 인터페이스 영상을 생성할 수 있다.
또한, 사용자의 위치를 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 감지부를 통해 감지된 사용자 위치 정보에 기초하여 상기 인터페이스 영상 및 상기 출력 영상 중 적어도 하나의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 사용자의 모션을 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 인터페이스부를 통해 상기 서브 단말 장치가 연결된 후, 기설정된 임계 시간 동안 상기 서브 단말 장치로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상을 생성하여 상기 서브 단말 장치로 전송하며, 상기 대기 상태 영상이 디스플레이되고 있는 상태에서, 상기 감지부를 통해 상기 사용자의 모션이 감지되면, 상기 실행 화면에 대한 출력 영상을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
또한, 상기 제어부는, 상기 서브 단말 장치로부터 상기 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 실행 화면에서 상기 수신된 사용자 명령에 대응되는 제어 화면으로의 전환을 수행하고, 상기 제어 화면과 관련된 출력 영상을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 배터리에 전원을 충전하는 전원 공급부를 더 포함하며, 상기 제어부는, 상기 실행 화면이 대기 상태이면, 상기 서브 단말 장치를 통해 인가되는 전원을 상기 배터리에 충전하도록 상기 전원 공급부를 제어할 수 있다.
또한, 주변 기기와 통신을 수행하는 통신부를 더 포함하며, 상기 제어부는, 상기 통신부를 통해 기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 상기 검색된 주변 기기로부터 실행 정보를 수신하여 상기 출력 영상에 상기 수신된 실행 정보가 디스플레이되도록 상기 출력 영상을 가공 처리하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 상기 서브 단말 장치는, 프린터 출력 가능하며, 상기 단말 장치와 연결되어 데이터를 송수신하는 인터페이스부, 상기 출력 영상을 상기 주변 공간의 제1 영역에 투사하는 제1 출력부, 상기 인터페이스 영상을 상기 주변 공간의 제2 영역에 투사하는 제2 출력부, 상기 단말 장치로부터 수신된 오디오 신호를 출력하는 오디오 출력부, 상기 제2 영역에 투사된 상기 인터페이스 영상과 관련하여 사용자의 터치를 감지하는 감지부 및 상기 감지부를 통해 감지된 감지 정보에 기초하여 사용자 명령을 결정하고, 상기 결정된 사용자 명령을 상기 단말 장치로 전송하는 제어부를 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 단말 장치의 제어 방법에 있어서, 상기 제어 방법은 상기 단말 장치가 서브 단말 장치와 연결되는지 여부를 판단하는 단계, 상기 서브 단말 장치와 연결되면, 상기 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하는 단계 및 상기 생성된 인터페이스 영상 및 출력 영상을 상기 서브 단말 장치로 전송하는 단계를 포함하며, 상기 인터페이스 영상 및 출력 영상은, 상기 서브 단말 장치를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상이다.
그리고, 상기 전송하는 단계는, 상기 실행 화면과 관련된 제1 및 제2 출력 영상을 생성하여 상기 제1 출력 영상을 상기 서브 단말 장치로 전송하며, 상기 디스플레이하는 단계는, 상기 실행 화면을 상기 제2 출력 영상으로 전환하여 디스플레이할 수 있다.
또한, 상기 서브 단말 장치와의 연결이 분리되면, 상기 제2 출력 영상에서 상기 실행 화면으로 전환하여 디스플레이하는 단계를 더 포함할 수 있다.
그리고, 상기 전송하는 단계는, 사용자가 기설정된 임계 범위 내에 근접하는지 여부에 따라, 상기 인터페이스 영상을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
또한, 상기 전송하는 단계는, 사용자의 위치 정보에 기초하여 상기 인터페이스 영상 및 상기 출력 영상 중 적어도 하나의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 상기 전송하는 단계는, 기설정된 임계 시간 동안 상기 서브 단말 장치로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상을 생성하여 상기 서브 단말 장치로 전송하고, 상기 대기 상태 영상이 디스플레이되고 있는 상태에서, 사용자 모션이 감지되면, 상기 실행 화면에 대한 출력 영상을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
또한, 상기 전송하는 단계는, 상기 서브 단말 장치로부터 상기 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 실행 화면에서 상기 수신된 사용자 명령에 대응되는 제어 화면으로의 전환을 수행하고, 상기 제어 화면과 관련된 출력 영상을 생성하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 상기 실행 화면이 대기 상태의 화면이면, 상기 서브 단말 장치를 통해 인가되는 전원을 상기 단말 장치의 배터리에 충전하는 단계를 더 포함할 수 있다.
또한, 상기 전송하는 단계는, 기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 상기 검색된 주변 기기로부터 실행 정보를 수신하여 상기 출력 영상에 상기 수신된 실행 정보가 디스플레이되도록 상기 출력 영상을 가공 처리하여 상기 서브 단말 장치로 전송할 수 있다.
그리고, 상기 서브 단말 장치는, 프린터 출력이 가능하며, 상기 단말 장치로부터 상기 출력 영상이 수신되면, 제1 출력부를 통해 상기 주변 공간의 제1 영역에 투사하고, 상기 단말 장치로부터 인터페이스 영상이 수신되면,제2 출력부를 통해 상기 주변 공간의 제2 영역에 투사하고, 상기 단말 장치로부터 오디오 신호가 수신되면, 오디오 출력부를 통해 상기 오디오 신호를 출력하며, 상기 제2 영역에 투사된 상기 인터페이스 영상과 관련하여 사용자의 터치를 감지하고, 상기 감지된 감지 정보에 기초하여 사용자 명령을 결정하여 상기 단말 장치로 전송할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 단말 장치는 물리적으로 연결된 서브 단말 장치를 통해 주변 공간을 이용하여 단말 장치에서 제공하는 출력 화면 및 입력 화면을 다양한 형태로 확장하여 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 서브 단말 장치의 블록도,
도 3은 본 발명의 일 실시예에 따른 서브 단말 장치에서 주변 공간을 활용하여 출력 영상 및 인터페이스 영상을 투사하는 제1 예시도,
도 4는 본 발명의 또다른 실시예에 따른 서브 단말 장치에서 주변 공간을 활용하여 출력 영상 및 인터페이스 영상을 투사하는 제2 예시도하는 예시도,
도 5는 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 출력 영상 및 인터페이스 영상을 주변 공간에 디스플레이하는 예시도,
도 6은 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 이벤트 발생에 따라 상이한 출력 영상을 주변 공간에 디스플레이하는 제1 예시도,
도 7은 본 발명의 또다른 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 이벤트 발생에 따라 상이한 출력 영상을 주변 공간에 디스플레이하는 제2 예시도,
도 8은 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 단말 장치의 상태를 디스플레이하는 예시도,
도 9는 본 발명의 일 실시예에 따른 어플리케이션 리스트 관련 출력 영상을 디스플레이하는 예시도,
도 10은 본 발명의 일 실시예에 따른 사진 어플리케이션 실행 관련 출력 영상을 디스플레이하는 예시도,
도 11은 본 발명의 일 실시예에 따른 사진 어플리케이션 실행 관련 출력 영상 및 인터페이스 영상을 디스플레이하는 예시도,
도 12는 본 발명의 일 실시예에 따른 사용자 입력에 대응하는 출력 영상을 디스플레이하는 제1 예시도,
도 13은 본 발명의 또다른 실시예에 따른 사용자 입력에 대응하는 출력 영상을 디스플레이하는 제2 예시도,
도 14는 본 발명의 일 실시예에 따른 단말 장치 및 공유된 주변 기기의 실행 어플리케이션 관련 출력 영상을 디스플레이하는 예시도,
도 15는 본 발명의 일 실시예에 따른 단말 장치에서 물리적으로 연결된 서브 단말 장치를 이용하여 주변 공간의 서로 다른 영역에 확장된 출력 영상 및 인터페이스 영상을 디스플레이하는 방법의 흐름도이다.
이하 첨부된 도면들을 참조하여 본 발명의 일시 예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 단말 장치의 블록도이다.
도 1에 도시된 바와 같이, 단말 장치(100)는 스마트 폰과 같은 휴대용 단말 장치로써, 인터페이스부(110), 제어부(120) 및 디스플레이부(130)를 포함한다.
인터페이스부(110)는 서브 단말 장치(200)와 물리적으로 연결되어 데이터를 송수신한다. 여기서, 서브 단말 장치(200)는 인터페이스부(110)를 통해 단말 장치(100)와 물리적으로 연결되어, 단말 장치(100)로부터 수신된 인터페이스 영상 혹은 출력 영상을 주변 공간의 서로 다른 영역에 확장시켜 투사하는 장치가 될 수 있다. 이 같은 서브 단말 장치(200)의 구체적인 동작 설명은 하기에서 상세히 설명하도록 한다.
제어부(120)는 인터페이스부(110)를 통해 서브 단말 장치(200)가 연결되면, 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 인터페이스부(110)를 통해 서브 단말 장치(200)로 전송한다. 여기서, 실행 화면은 적어도 하나의 어플리케이션에 대한 실행 여부에 따라 실행 중인 어플리케이션의 실행 화면 및 대기 화면을 포함할 수 있다. 그리고, 실행 화면과 관련된 인터페이스 영상 및 출력 영상은 서브 단말 장치(200)를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상이 될 수 있다.
한편, 서브 단말 장치(200)는 인터페이스부(110)를 통해 단말 장치(100)의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나가 수신되면, 전술한 바와 같이, 수신된 인터페이스 영상 혹은 출력 영상을 주변 공간의 서로 다른 영역에 확장시켜 투사할 수 있다.
구체적으로, 제어부(120)는 인터페이스부(110)를 통해 서브 단말 장치(200)와 물리적으로 연결되면, 현재 적어도 하나의 어플리케이션이 실행 중인지 여부를 판단한다. 판단 결과, 적어도 하나의 어플리케이션이 실행 중인 것으로 판단되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 해당 어플리케이션의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성할 수 있다. 예를 들어, 디스플레이부(130)는 영화 관련 스트림 영상을 화면상에 디스플레이할 수 있다. 이 같은 스트림 영상이 디스플레이되고 있는 상태에서, 인터페이스부(110)를 통해 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 출력 영상을 생성한다. 이때, 제어부(120)는 해당 스트림 영상을 제어하기 위한 인터페이스 영상을 생성한다. 이 같이, 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 인터페이스 영상 및 출력 영상이 생성되면, 제어부(120)는 인터페이스부(110)를 통해 서브 단말 장치(200)로 기생성된 인터페이스 영상 및 출력 영상을 전송한다.
한편, 판단 결과, 단말 장치의 실행 화면이 대기 상태를 나타내는 실행 화면이면, 제어부(120)는 대기 상태를 나타내는 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 서브 단말 장치(200)로 전송할 수 있다.
이에 따라, 서브 단말 장치(200)는 인터페이스부(110)를 통해 단말 장치(100)로부터 수신한 인터페이스 영상 및 출력 영상을 주변 공간의 서로 다른 영역에 상이한 형태로 확장시켜 투사한다. 따라서, 해당 인터페이스 영상 및 출력 영상은 주변 공간의 서로 다른 영역에 디스플레이될 수 있다.
한편, 오디오 출력부(140)를 통해 스트림 영상과 관련된 오디오 신호가 출력될 경우, 제어부(120)는 스트림 영상에 대한 출력 영상 및 인터페이스 영상 뿐만 아니라, 해당 스트림 영상과 관련된 오디오 신호를 서브 단말 장치(200)로 전송할 수 있다. 이에 따라, 서브 단말 장치(200)는 인터페이스부(110)를 통해 단말 장치(100)로부터 수신한 인터페이스 영상 및 출력 영상을 주변 공간의 서로 다른 영역에 상이한 형태로 확장시켜 투사할 뿐만 아니라, 단말 장치(100)로부터 수신한 오디오 신호를 스피커를 통해 출력할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 제어부(120)는 인터페이스부(110)를 통해 서브 단말 장치(200)와 물리적으로 연결되면, 디스플레이부(130)를 통해 디스플레이되는 실행 화면과 관련된 제1 및 제2 출력 영상을 생성할 수 있다. 이 같은 제1 및 제2 출력 영상이 생성되면, 제어부(120)는 생성된 제1 및 제2 출력 영상 중 제1 출력 영상을 인터페이스부(110)를 통해 서브 단말 장치(200)로 전송하고, 제2 출력 영상을 디스플레이부(130)를 통해 디스플레이할 수 있다.
전술한 예와 같이, 디스플레이부(130)를 통해 영화 관련 스트림 영상을 디스플레이하고 있는 상태에서, 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 제1 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이때, 제어부(120)는 영화 관련 어플리케이션이 실행되고 있음을 나타내는 상태 메시지에 대한 제2 출력 영상을 생성한다. 이에 따라, 디스플레이부(130)는 상태 메시지에 대한 제2 출력 영상을 디스플레이함으로써, 사용자는 디스플레이부(130)를 통해 디스플레이되는 제2 출력 영상을 통해 현재 어플리케이션의 실행 상태를 확인할 수 있다.
한편, 제어부(120)는 인터페이스부(110)를 통해 물리적으로 연결된 서브 단말 장치(200)와의 연결이 분리되면, 제2 출력 영상에서 현재 실행 중인 실행 화면으로 전환하여 디스플레이하도록 디스플레이부(130)를 제어한다. 이에 따라, 디스플레이부(130)는 제2 출력 영상에서 현재 실행 중인 실행 화면을 디스플레이할 수 있다.
전술한 예와 같이, 디스플레이부(130)를 통해 영화 관련 스트림 영상을 디스플레이하고 있는 상태에서, 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 제1 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 스트림 영상에 대한 제1 출력 영상을 주변 공간의 특정 영역에 확장시켜 투사할 수 있다. 한편, 디스플레이부(130)는 영화 관련 어플리케이션이 실행되고 있음을 나타내는 상태 메시지에 대한 제2 출력 영상을 디스플레이할 수 있다.
이 같은 상태 메시지에 대한 제2 출력 영상이 디스플레이되고 있는 상태에서, 인터페이스부(110)를 통해 물리적으로 연결된 서브 단말 장치(200)와의 연결이 분리되면, 제어부(120)는 영화 관련 스트림 영상에 대한 제1 출력 영상의 생성을 중단하고, 해당 스트림 영상이 디스플레이부(130)를 통해 디스플레이되도록 디스플레이부(130)를 제어한다. 이에 따라, 디스플레이부(130)는 상태 메시지에 대한 제2 출력 영상에서 영화 관련 스트림 영상으로 전환하여 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치(100)는 감지부(160)를 더 포함할 수 있다. 이 같은 감지부(160)는 사용자의 근접 여부 및 위치를 감지하는 근접 센서 및 사용자의 움직임 즉, 모션을 감지하는 모션 센서를 포함할 수 있다.
이 같은 감지부(160)를 통해 사용자의 근접 여부, 위치 및 모션이 감지되면, 제어부(120)는 감지된 그 감지 결과에 기초하여 동작을 수행할 수 있다.
실시예에 따라, 제어부(120)는 감지부(160)를 통해 감지된 사용자의 근접 정보에 기초하여 해당 사용자가 기설정된 임계 범위 내에 근접한 것으로 판단되면, 실행 중인 실행 화면과 관련된 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 전술한 예와 같이, 스트림 영상이 디스플레이되고 있는 상태에서, 인터페이스부(110)를 통해 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이때, 제어부(120)는 해당 스트림 영상을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 사용자는 주변 공간의 일 영역에 디스플레이된 인터페이스 영상을 통해 주변 공간의 타 영역에 디스플레이된 스트림 영상에 대한 출력 영상의 플레이를 조작을 수행할 수 있다.
한편, 제어부(120)는 이 같은 출력 영상에 대한 제어를 수행하는 인터페이스 영상을 통해 입력된 사용자 명령이 서브 단말 장치(200)로부터 기설정된 임계 시간 내에 수신되지 않으면, 서브 단말 장치(200)로의 인터페이스 영상에 대한 전송을 중단한다.
그러나, 본 발명은 이에 한정되지 않으며, 제어부(120)는 감지부(160)를 통해 감지된 감지 정보를 통해 사용자가 기설정된 위치 내에 근접하지 않은 것으로 판단되면, 서브 단말 장치(200)로의 인터페이스 영상에 대한 전송을 중단할 수 있다.
이 같이, 인터페이스 영상에 대한 전송이 중단된 상태에서, 감지부(160)를 통해 감지된 감지 정보를 통해 사용자가 기설정된 위치 내로 근접한 것으로 판단되면, 제어부(120)는 서브 단말 장치(200)로 해당 인터페이스 영상을 생성하여 전송한다. 이와 같이, 본 발명에 따른 제어부(120)는 단말 장치(100)와 사용자 간의 거리 정도 혹은 사용자 명령에 대한 입력 상태 여부에 따라 인터페이스 영상을 적응적으로 생성하여 서브 단말 장치(200)로 전송할 수 있다.
한편, 감지부(160)를 통해 사용자의 위치 정보가 감지되면, 제어부(120)는 감지된 사용자 위치 정보에 기초하여 인터페이스 영상 및 출력 영상 중 적어도 하나의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
전술한 예와 같이, 디스플레이부(130)를 통해 영화 관련 스트림 영상을 디스플레이하고 있는 상태에서, 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 스트림 영상에 대한 출력 영상 및 해당 출력 영상을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 이때, 제어부(120)는 감지부(160)를 통해 감지된 사용자 위치 정보에 기초하여 사용자가 현재 위치한 지점을 파악하고, 그에 따른 위치 제어 명령을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 위치 제어 명령에 기초하여 출력 영상 및 인터페이스 영상의 투사 방향을 조정하여 주변 공간의 서로 다른 영상에 투사할 수 있다.
한편, 제어부(120)는 감지부(160)를 통해 사용자의 모션이 감지되는지 여부에 따라, 기설정된 대기 상태 영상 혹은 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
예를 들어, 디스플레이부(130)는 입력부(150)를 통해 입력된 검색 명령에 기초하여 통신부(190)를 통해 웹 서버(미도시)로부터 수신한 웹 검색 결과를 화면상에 디스플레이할 수 있다. 이 같은 웹 검색 결과를 디스플레이하고 있는 상태에서, 인터페이스부(110)를 통해 외부 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 디스플레이부(130)를 통해 디스플레이되는 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 주변 공간의 일 영역에 웹 검색 결과에 대한 출력 영상을 투사하고, 주변 공간의 타 영역에 웹 검색을 위한 인터페이스 영상을 투사할 수 있다.
이 같은 출력 영상 및 인터페이스 영상이 주변 공간의 서로 다른 영역에 투사된 상태에서, 제어부(120)는 기설정된 임계 시간 동안 서브 단말 장치(200)로부터 사용자 명령이 수신되는지 여부를 판단한다. 판단 결과, 기설정된 임계 시간 동안 사용자 명령이 수신되지 않으면, 제어부(120)는 기설정된 대기 상태 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 웹 검색 결과에 대한 출력 영상이 투사되는 지점에 대기 상태 영상을 투사할 수 있다. 따라서, 주변 공간의 일 영역에는 대기 상태 영상이 디스플레이될 수 있다.
이 같은 대기 상태 영상이 디스플레이되고 있는 상태에서, 감지부(160)를 통해 사용자 모션이 감지되면, 제어부(120)는 대기 상태 영상을 생성하기 이전의 웹 검색 결과에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라서, 서브 단말 장치(200)는 대기 상태 영상이 투사되는 지점에 웹 검색 결과에 대한 출력 영상을 투사한다. 이에 따라, 주변 공간의 일 영역에는 대기 상태 영상이 디스플레이되기 직전에 디스플레이된 웹 검색 결과에 대한 출력 영상을 디스플레이할 수 있다.
한편, 제어부(120)는 서브 단말 장치(200)로부터 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 수신된 사용자 명령에 기초하여 실행 중인 실행 화면에서 수신된 사용자 명령에 대응되는 제어 화면으로의 전환을 수행할 수 있다. 이후, 제어부(120)는 해당 제어 화면에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
실시예에 따라, 단말 장치(100)는 특정 어플리케이션을 실행할 수 있으며, 서브 단말 장치(200)를 통해 해당 어플리케이션에 대한 인터페이스 영상을 주변 공간에 디스플레이할 수 있다. 한편, 서브 단말 장치(200)는 주변 공간의 일 영역에 투사된 인터페이스 영상 상에서의 사용자의 터치를 감지한다. 이후, 서브 단말 장치(200)는 감지된 터치에 기초하여 사용자 명령을 생성하여 단말 장치(100)로 전송한다. 이에 따라, 제어부(120)는 서브 단말 장치(200)로부터 수신된 사용자 명령에 기초하여 현재 실행 중인 어플리케이션에 대한 동작을 제어할 수 있다. 이후, 제어부(120)는 사용자 명령에 기초하여 제어된 어플리케이션의 실행 화면에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 사용자 명령에 기초하여 제어된 어플리케이션의 실행 화면에 대한 출력 영상을 주변 공간의 일 영역에 투사할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치(100)는 배터리에 전원을 충전하고, 충전된 전원을 단말 장치(100)의 각 구성에 공급하는 전원 공급부(170)를 더 포함한다. 그리고, 제어부(120)는 현재 실행 중인 실행 화면이 대기 상태 관련 화면이면, 인터페이스부(110)를 통해 물리적으로 연결된 서브 단말 장치(200)를 통해 인가되는 전원을 배터리에 충전하도록 전원 공급부(170)를 제어한다. 이에 따라, 전원 공급부(170)는 서브 단말 장치(200)로부터 인가되는 전원을 배터리에 충전할 수 있다.
예를 들어, 단말 장치(100)는 대기 모드 상태 혹은 절전 모드 상태로 진입할 수 있다. 이 같은 동작 상태에서, 인터페이스부(110)를 통해 서브 단말 장치(200)와 물리적으로 연결되면, 제어부(120)는 배터레에 전원을 충전하도록 전원 공급부(170)를 제어한다. 이에 따라, 전원 공급부(170)는 서브 단말 장치(200)를 통해 인가되는 전원을 배터리에 충전할 수 있다.
한편, 전술한 통신부(190)는 주변 기기 혹은 외부 서버(미도시)와 무선으로 통신을 수행한다. 이 같은 통신부(190)는 와이파이(WiFi), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Ling Term Evoloution) 등과 같은 다양한 무선 통신 규격에 따라 주변 기기 혹은 외부 서버(미도시)와 무선으로 통신을 수행할 수 있다.
이 같은 통신부(190)를 통해 기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 제어부(120)는 검색된 주변 기기로부터 현재 실행 중인 실행 화면을 제어하기 위한 실행 정보를 수신한다. 이후, 제어부(120)는 현재 실행 중인 실행 화면에 대한 출력 영상에 기검색된 주변 기기로부터 수신한 실행 정보가 디스플레이되도록 해당 출력 영상을 가공 처리하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)를 통해 주변 공간의 일 영역에는 해당 주변 기기로부터 수신한 실행 정보를 포함하는 출력 영상이 디스플레이될 수 있다.
한편, 전술한 바와 같이, 단말 장치(100)로부터 수신한 인터페이스 영상 및 출력 영상을 주변 공간의 서로 다른 영역에 상이한 형태로 확장시켜 투사하는 서브 단말 장치(200)는 도 2와 같이 구성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 서브 단말 장치의 블록도이다.
도 2에 도시된 바와 같이, 서브 단말 장치(200)는 인터페이스부(210), 제어부(220), 제1 출력부(230), 제2 출력부(240) 및 감지부(260)를 포함한다. 인터페이스부(210)는 단말 장치(100)와 물리적으로 연결되어 데이터를 송수신하며, 제어부(220)는 서브 단말 장치(200)의 각 구성을 전반적으로 제어한다. 특히, 제어부(220)는 인터페이스부(210)를 통해 단말 장치(100)와 물리적으로 연결되는지 여부를 판단하며, 인터페이스부(210)를 통해 단말 장치(100)로부터 수신한 출력 영상 및 인터페이스 영상을 제1 및 제2 출력부(230,240)를 통해 제1 및 제2 영역에 투사하도록 제어한다.
제1 출력부(230)는 인터페이스부(210)를 통해 단말 장치(100)로부터 수신한 출력 영상을 주변 공간의 제1 영역에 투사하며, 제2 출력부(240)는 인터페이스부(210)를 통해 단말 장치(100)로부터 수신한 인터페이스 영상을 주변 공간의 제2 영역에 투사한다. 여기서, 제1 영역에 투사되는 출력 영상은 단말 장치(100)에서 실행 중인 실행 화면을 나타내는 영상이며, 제2 영역에 투사되는 인터페이스 영상은 단말 장치(100)에서 실행 중인 실행 화면을 제어하기 위한 메뉴 혹은 단말 장치(100)의 동작을 제어하기 위한 메뉴가 UI 형태로 나타내는 영상이 될 수 있다. 즉, 인터페이스 영상은 사용자 명령을 입력받기 위한 가상의 입력부가 될 수 있다. 여기서, 실행 화면은 적어도 하나의 어플리케이션에 대한 실행 여부에 따라 실행 중인 어플리케이션의 실행 화면 및 대기 화면을 포함할 수 있다.
감지부(260)는 제2 출력부(240)를 통해 제2 영역에 투사된 인터페이스 영상과 관련하여 사용자의 터치를 감지한다. 구체적으로, 감지부(260)는 제2 영역 상에 디스플레이된 인터페이스 영상에 표시된 메뉴와 관련하여 사용자의 터치를 감지하고, 그에 따른 감지 정보를 생성한다. 이에 따라, 제어부(220)는 감지부(260)를 통해 감지된 감지 정보에 기초하여 사용자 명령을 결정하고, 그 결정된 사용자 명령을 인터페이스부(210)를 통해 단말 장치(100)로 전송한다.
한편, 주변 공간의 일 영역에 디스플레이된 인터페이스 영상을 통해 사용자가 의도한 사용자 명령을 파악하는 기술은 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
한편, 제어부(220)는 인터페이스부(210)를 통해 단말 장치(100)로부터 출력 영상과 관련된 오디오 신호를 수신할 수 있다. 이 같은 오디오 신호가 수신되면, 제어부(220)는 수신된 오디오 신호가 오디오 출력부(250)를 통해 출력되도록 제어한다. 이에 따라, 오디오 출력부(250)는 단말 장치(100)로부터 수신한 오디오 신호를 가청음 형태로 신호 처리하여 해당 출력 영상과 관련된 오디오를 출력할 수 있다.
한편, 본 발명에 따른 서브 단말 장치(200)는 단말 장치(100)의 배터리에 전원을 공급하는 전원 공급 장치 혹은 프린터 출력이 가능한 영상 출력 장치가 될 수 있다. 특히, 서브 단말 장치(200)가 프린터 출력이 가능한 영상 출력 장치로 구현될 경우, 서브 단말 장치(200)는 영상을 출력하는 프린터 출력부(270)를 더 포함할 수 있다.
예를 들어, 사용자는 제1 출력부(230)를 통해 제1 영역에 디스플레이된 출력 영상을 프린터로 출력하기 위해서, 제2 영역에 디스플레이된 인터페이스 영상에 표시된 프린터 출력 UI 메뉴를 터치할 수 있다. 이에 따라, 감지부(260)는 제2 영역 상에 디스플레이된 인터페이스 영상에 표시된 프린터 출력 UI 메뉴와 관련하여 사용자의 터치를 감지하고, 그에 따른 감지 정보를 생성한다. 이 같은 감지 정보가 생성되면, 제어부(220)는 감지부(260)를 통해 감지된 감지 정보에 기초하여 프린트 출력 관련 사용자 명령을 결정하고, 그 결정된 사용자 명령을 인터페이스부(210)를 통해 단말 장치(100)로 전송한다.
단말 장치(100)의 제어부(120)는 서브 단말 장치(200)로부터 수신한 사용자 명령에 기초하여 제1 출력부(230)를 통해 제1 영역에 디스플레이되는 출력 영상에 대한 프린터 출력 관련 데이터를 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)의 프린터 출력부(270)는 단말 장치(100)로부터 수신한 프린터 출력 관련 데이터에 기초하여 제1 영역에 디스플레이되는 출력 영상에 대한 프린터를 출력할 수 있다.
지금까지, 본 발명에 따른 단말 장치(100) 및 서브 단말 장치(200)의 각 구성에 대해서 상세히 설명하였다. 이하에서는 다양한 실시예를 통해 단말 장치(100)와 물리적으로 연결된 서브 단말 장치(200)를 이용하여 주변 공간의 서로 다른 영역에 출력 영상 및 인터페이스 영상을 디스플레이하는 동작에 대해서 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 서브 단말 장치에서 주변 공간을 활용하여 출력 영상 및 인터페이스 영상을 투사하는 제1 예시도이며, 도 4는 본 발명의 또다른 실시예에 따른 서브 단말 장치에서 주변 공간을 활용하여 출력 영상 및 인터페이스 영상을 투사하는 제2 예시도이다.
도 3에 도시된 바와 같이, 단말 장치(100)는 테이블의 일 영역에 놓여진 서브 단말 장치(200)와 물리적으로 연결될 수 있다. 이 같이, 서브 단말 장치(200)와 물리적으로 연결되면, 단말 장치(100)는 실행 중인 실행 화면과 관련된 인터페이스 영상 및 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 인터페이스 영상 및 출력 영상을 주변 공간의 서로 다른 영역에 투사한다.
구체적으로, 서브 단말 장치(200)는 단말 장치(100)로부터 실행 중인 실행 화면과 관련하여 생성된 인터페이스 영상 및 출력 영상이 수신되면, 수신된 출력 영상을 주변 공간의 제1 영역(10)에 투사하고, 수신된 인터페이스 영상을 주변 공간의 제2 영역(20)에 투사한다.
보다 구체적으로, 서브 단말 장치(200)는 제1 및 제2 출력부(230,240)를 통해 주변 공간의 서로 다른 영역에 출력 영상 및 인터페이스 영상을 투사할 수 있다. 도 4에 도시된 바와 같이, 서브 단말 장치(200)의 후면의 하단은 제1 출력부(230)가 배치될 수 있다. 따라서, 제1 출력부(230)는 주변 공간 중 서브 단말 장치(200)의 뒷 공간을 활용하여 출력 영상을 투사할 수 있다. 그리고, 서브 단말 장치(200)의 정면의 상단은 제2 출력부(240)가 배치될 수 있다. 따라서, 제2 출력부(240)는 주변 공간 중 서브 단말 장치(200)의 앞 공간을 활용하여 인터페이스 영상을 투사할 수 있다.
따라서, 제1 출력부(230)를 통해 투사된 출력 영상은 서브 단말 장치(200)의 뒷 공간에 해당하는 벽면에 디스플레이될 수 있으며, 제2 출력부(240)를 통해 투사된 인터페이스 영상은 서브 단말 장치(200)의 앞 공간에 해당하는 테이블 면에 디스플레이 될 수 있다.
도 5는 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 출력 영상 및 인터페이스 영상을 주변 공간에 디스플레이하는 예시도이다.
도 5(a)에 도시된 바와 같이, 사용자 명령에 따라, 단말 장치(100)는 기저장된 영화 컨텐츠(510)를 실행하여 디스플레이할 수 있다. 이 같은 영화 컨텐츠(510)가 디스플레이되고 있는 상태에서, 사용자는 단말 장치(100)를 서브 단말 장치(200)에 물리적으로 연결할 수 있다. 이와 같이, 단말 장치(100)와 서브 단말 장치(200)가 물리적으로 서로 연결되면, 단말 장치(100)는 현재 실행 중인 영화 컨텐츠(510)에 대한 출력 영상 및 해당 영화 컨텐츠에 대한 제어를 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다.
이에 따라, 서브 단말 장치(200)는 도 5(b)에 도시된 바와 같이, 단말 장치(100)로부터 수신한 영화 컨텐츠(510)에 대한 출력 영상을 제1 영역(10)에 투사하고, 영화 컨텐츠(510)에 대한 인터페이스 영상을 제2 영역(20)에 투사한다. 이에 따라, 제1 영역(10) 상에는 단말 장치(100)를 통해 디스플레이되는 영화 컨텐츠(510)와 관련하여 확장된 출력 영상(510-1)이 디스플레이되며, 제2 영역(20) 상에는 영화 컨텐츠(510)와 관련하여 영상을 제어하기 위한 제어 UI 메뉴를 포함하는 인터페이스 영상(510-2)이 디스플레이될 수 있다.
한편, 영화 컨텐츠(510)를 디스플레이하는 단말 장치(100)는 서브 단말 장치(200)와 물리적으로 연결되면, 영화 컨텐츠(510) 실행을 중단하고, 현재 단말 장치(100)의 활성화 상태를 나타내는 활성화 상태 메시지를 디스플레이할 수 있다. 즉, 도 5(b)에 도시된 바와 같이, 서브 단말 장치(200)와 물리적으로 연결되면, 단말 장치(100)는 영화 컨텐츠(510)가 실행되고 있음을 나타내는 플레이 아이콘(510-3)을 생성하여 화면상에 디스플레이할 수 있다.
이에 따라, 사용자는 단말 장치(100)를 통해 시청 중인 영화 컨텐츠(510)를 제1 영역(10)을 통해 확장된 형태로 시청할 수 있으며, 제2 영역(20)에 디스플레이되는 인터페이스 영상을 통해 해당 영화 컨텐츠(510)에 대한 영상 제어를 보다 쉽고 편리하게 할 수 있다.
한편, 단말 장치(100)는 제1 및 제2 영역(10,20)을 통해 출력 영상(510-1) 및 인터페이스 영상(510-2)이 디스플레이되고 있는 상태에서, 기설정된 임계 시간 동안 서브 단말 장치(200)로부터 제2 영역(20)에 디스플레이된 인터페이스 영상(510-2)의 제어 UI 메뉴와 관련하여 사용자 명령이 수신되는지 여부를 판단한다. 판단 결과, 기설정된 임계 시간 동안 사용자 명령이 수신되지 않으면, 단말 장치(100)는 서브 단말 장치(200)로의 해당 인터페이스 영상(510-2)에 대한 전송을 중단하거나 혹은 서브 단말 장치(200)로 인터페이스 영상(510-2)에 대한 투사 중지 명령을 전송한다. 이에 따라, 서브 단말 장치(200)는 인터페이스 영상(510-2)의 투사를 중단할 수 있다. 이후, 단말 장치(100)는 사용자가 기설정된 위치 내에 근접하거나 혹은 인터페이스 영상에 대한 디스플레이 관련 모션이 감지되면, 서브 단말 장치(200)로 제어 UI 메뉴를 포함하는 인터페이스 영상(510-2)을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 제2 영역(20)에 수신된 인터페이스 영상(510-2)을 투사한다. 이에 따라, 사용자는 제2 영역(20)에 디스플레이된 인터페이스 영상(510-2)의 제어 UI 메뉴를 이용하여 제1 영역(10)에 디스플레이되는 출력 영상(510-1)에 대한 영상 제어를 수행할 수 있다.
뿐만 아니라, 단말 장치(100)는 제1 및 제2 영역(10,20)을 통해 출력 영상(510-1) 및 인터페이스 영상(510-2)이 디스플레이되고 있는 상태에서, 주기적으로 사용자의 위치를 감지한다. 이후, 단말 장치(100)는 감지된 사용자 위치 정보에 기초하여 출력 영상(510-1) 및 인터페이스 영상(510-2)의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 위치 제어 명령에 기초하여 제1 및 제2 영역(10,20)에 디스플레이되는 출력 영상(510-1) 및 인터페이스 영상(510-2)의 투사 방향을 조정할 수 있다. 따라서, 제1 및 제2 영역(10,20)에 디스플레이되는 출력 영상(510-1) 및 인터페이스 영상(510-2)은 사용자가 위치하는 지점으로 이동되어 디스플레이될 수 있다.
도 6은 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 이벤트 발생에 따라 상이한 출력 영상을 주변 공간에 디스플레이하는 제1 예시도이다.
도 6에 도시된 바와 같이, 서브 단말 장치(200)와 물리적으로 연결된 단말 장치(100)는 기설정된 임계 시간 동안 서브 단말 장치(200)로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상(610)을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 제1 영역(10)에 대기 상태 영상(610)을 투사할 수 있다.
전술한 예와 같이, 단말 장치(100)는 웹 서버(미도시)로부터 수신한 웹 검색 결과를 디스플레이하고 있는 상태에서 서브 단말 장치(200)와 물리적으로 연결될 수 있다. 이 경우, 단말 장치(100)는 서브 단말 장치(200)로 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 제1 영역(10)에 웹 검색 결과에 대한 출력 영상을 투사하고, 제2 영역(20)에 웹 검색을 위한 인터페이스 영상을 투사함으로써, 제1 및 제2 영역(10,20)에는 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상이 디스플레이될 수 있다.
이 같이, 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상이 제1 및 제2 영역(10,20)에 디스플레이되고 있는 상태에서, 단말 장치(100)는 기설정된 임계 시간 동안 서브 단말 장치(200)로부터 인터페이스 영상에 표시된 메뉴에 대한 사용자 명령이 수신되는지 여부를 판단한다. 이때, 단말 장치(100)는 기설정된 임계 시간 동안 사용자 명령이 수신되지 않으면, 사용자가 기설정된 위치 내에 근접해 있는지 여부를 추가로 더 판단할 수 있다.
판단 결과, 기설정된 임계 시간 동안 사용자 명령이 수신되지 않거나 혹은 사용자가 기설정된 위치 내에 있지 않은 것으로 판단되면, 단말 장치(100)는 기설정된 대기 상태 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상에 대한 투사를 중단하고, 단말 장치(100)로부터 수신한 대기 상태 영상을 제1 영역(10)에 투사할 수 있다. 이에 따라, 제1 영역(10)에는 현재 시간을 안내하도록 기설정된 대기 상태 영상(610)이 디스플레이될 수 있다.
이 같이, 제1 영역(10)에 대기 상태 영상(610)이 디스플레이된 상태에서, 사용자 모션이 감지되거나 사용자 명령이 입력되면, 단말 장치(100)는 대기 상태 영상(610)을 생성하기 직전에 생성된 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상을 재전송할 수 있다. 이에 따라, 서브 단말 장치(200)는 대기 상태 영상(610)에 대한 투사를 중단하고, 단말 장치(100)로부터 수신한 웹 검색 결과에 대한 출력 영상 및 웹 검색을 위한 인터페이스 영상을 제1 및 제2 영역(10,20)에 투사할 수 있다.
도 7은 본 발명의 또다른 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 이벤트 발생에 따라 상이한 출력 영상을 주변 공간에 디스플레이하는 제2 예시도이다.
도 7에 도시된 바와 같이, 단말 장치(100)와 물리적으로 연결된 서브 단말 장치(200)는 단말 장치(100)에서 실행 중인 어플리케이션와 관련하여 생성된 출력 영상을 제1 영역(10)에 디스플레이할 수 있다. 이 같이, 제1 영역(10)에 실행 중인 어플리케이션와 관련하여 생성된 출력 영상이 확장되어 디스플레이되고 있는 상태에서, 단말 장치(100)는 SNS(Social Network Service) 관련 어플리케이션을 통해 외부 단말 장치(미도시)로부터 새로운 메시지가 수신될 수 있다.
이 같은 새로운 메시지가 수신되면, 일 실시예에 따라, 단말 장치(100)는 해당 메시지가 수신되었음을 알리는 알림 메시지를 생성하여 서브 단말 장치(200)로 전송할 수 있다. 이 같은 알림 메시지가 수신되면, 서브 단말 장치(200)는 단말 장치(100)에서 실행 중인 어플리케이션와 관련하여 생성된 출력 영상에 대한 투사를 중단하고, 단말 장치(100)로부터 수신한 알림 메시지(710)를 제1 영역(10)에 투사할 수 있다. 따라서, 제1 영역(10) 상에는 외부 단말 장치(미도시)를 통해 새로운 메시지가 수신되었음을 알리는 알림 메시지(710)가 디스플레이될 수 있다.
또다른 실시예에 따라, 단말 장치(100)는 새로운 메시지가 수신되면, 실행 중인 어플리케이션의 실행 화면과 관련하여 생성되는 출력 영상에 새로운 메시지가 수신되었음을 알리는 알림 메시지가 중첩되도록 해당 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
이에 따라, 서브 단말 장치(200)는 알림 메시지가 중첩된 출력 영상을 제1 영역(10)에 투사함으로써, 제1 영역(10) 상에는 알림 메시지가 중첩된 출력 영상이 디스플레이될 수 있다.
도 8은 본 발명의 일 실시예에 따른 단말 장치와 연결된 서브 단말 장치를 이용하여 단말 장치의 상태를 디스플레이하는 예시도이다.
도 8에 도시된 바와 같이, 단말 장치(100)는 서브 단말 장치(200)와 물리적으로 연결되면, 서브 단말 장치(200)로부터 공급되는 전원을 이용하여 배터리에 전원을 충전한다. 예를 들어, 단말 장치(100)는 적어도 하나의 어플리케이션에 대한 동작을 수행하지 않거나 혹은 절전 모드 상태일 수 있다. 이 같은 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, 단말 장치(100)는 서브 단말 장치(200)로부터 전원을 공급받아 배터리에 전원을 충전할 수 있다.
이와 함께, 단말 장치(100)는 배터리에 전원이 충전 중임을 안내하는 충전 관련 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 충전 관련 출력 영상(810)을 제1 영역(10)에 투사한다. 이에 따라, 사용자는 제1 영역(10)에 디스플레이된 출력 영상(810)을 통해 현재 단말 장치(100)가 충전 상태임을 알 수 있다.
한편, 배터리에 전원을 충전하고 있는 상태에서, 사용자가 기설정된 임계 범위 내로 근접하거나 혹은 사용자 모션을 감지되면, 단말 장치(100)는 서브 단말 장치(200)로부터 공급되는 전원을 배터리에 충전하면서, 어플리케이션 리스트를 나타내는 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 충전 관련 출력 영상에 대한 투사를 중단하고, 단말 장치(100)로부터 수신한 어플리케이션 리스트 관련 출력 영상을 제1 영역(10)에 투사할 수 있다.
이 같은 어플리케이션 리스트 관련 출력 영상은 도 9와 같은 형태로 제1 영역(10)에 디스플레이될 수 있다.
도 9는 본 발명의 일 실시예에 따른 어플리케이션 리스트 관련 출력 영상을 디스플레이하는 예시도이다.
도 9에 도시된 바와 같이, 제1 영역(10)에 디스플레이되는 어플리케이션 리스트 관련 출력 영상(910)은 단말 장치(100)의 화면상에 디스플레이되는 어플리케이션 리스트 관련 실행 화면과 상이한 형태로 디스플레이될 수 있다.
구체적으로, 단말 장치(100)는 어플리케이션 리스트 관련 실행 화면을 디스플레이하고 있는 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, 어플리케이션 리스트 관련 실행 화면과 상이한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상(910)을 제1 영역(10)에 투사할 수 있다.
이 같은 어플리케이션 리스트 관련 출력 영상(910)이 제1 영역(10)에 디스플레이된 상태에서, 사용자가 기설정된 임계 범위 내로 근접하거나 혹은 사용자 모션이 감지되면, 단말 장치(100)는 어플리케이션 리스트에 포함된 적어도 하나의 어플리케이션에 대한 실행을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 인터페이스 영상을 제2 영역(20)에 투사함으로써, 제2 영역(20) 상에는 어플리케이션 리스트에 포함된 적어도 하나의 어플리케이션에 대한 실행을 제어하기 위한 인터페이스 영상이 디스플레이할 수 있다.
이 같은 인터페이스 영상은 제1 영역(10)에 디스플레이되는 출력 영상(910)과 대응되는 형태로 제2 영역(20) 상에 디스플레이되거나 혹은 단말 장치(100)의 화면상에 디스플레이되는 어플리케이션 리스트 관련 실행 화면과 대응되는 형태로 디스플레이될 수 있다.
도 10은 본 발명의 일 실시예에 따른 사진 어플리케이션 실행 관련 출력 영상을 디스플레이하는 예시도이며, 도 11은 본 발명의 일 실시예에 따른 사진 어플리케이션 실행 관련 출력 영상 및 인터페이스 영상을 디스플레이하는 예시도이다.
도 10에 도시된 바와 같이, 단말 장치(100)는 사용자 요청에 따라 복수의 어플리케이션 중 사진 어플리케이션이 실행되면, 기저장된 복수의 사진 이미지를 포함하는 사진 리스트를 화면상에 디스플레이할 수 있다. 이 같은 사진 리스트가 화면상에 디스플레이된 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, 단말 장치(100)는 화면상에 디스플레이되는 사진 리스트와 상이한 형태로 가공된 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다.
이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상을 제1 영역(10)에 투사할 수 있다. 따라서, 제1 영역(10) 상에는 단말 장치(100)의 화면상에 디스플레이되는 사진 리스트와 상이한 형태의 출력 영상(1010)이 디스플레이될 수 있다. 즉, 도시된 바와 같이, 제1 영역(10)에 디스플레이되는 출력 영상(1010)에 표시되는 복수의 사진들은 서로 다른 간격 및 일정하지 않은 배열 상태로 표시될 뿐만 아니라 서로 다른 크기로 표시될 수 있다. 따라서, 출력 영상(1010)을 통해 표시되는 복수의 사진들은 갤러리 형태로 제1 영역(10)에 디스플레이될 수 있다.
이와 같이, 사진 리스트에 포함된 복수의 사진들이 갤러리 형태로 제1 영역(10)에 디스플레이된 상태에서, 사용자가 기설정된 임계 범위 내로 근접하거나 혹은 사용자 모션이 감지되면, 단말 장치(100)는 사진 리스트를 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 인터페이스 영상을 제2 영역(20)에 투사할 수 있다. 이에 따라, 제2 영역(20)에는 사진 리스트에 포함된 복수의 사진들을 제어하기 위한 인터페이스 영상이 디스플레이될 수 있다.
도시된 바와 같이, 제2 영역(20)에 디스플레이되는 인터페이스 영상(1110)은 사진 리스트에 포함된 복수의 사진들을 기설정된 크기 및 순서에 따라 정렬된 상태로 표시할 수 있다. 이 같은 인터페이스 영상이 제2 영역(20)에 디스플레이된 상태에서, 사용자가 인터페이스 영상에 표시된 복수의 사진들 중 하나의 사진(1110)을 선택하면, 서브 단말 장치(200)는 선택한 사진(1110)에 대한 사용자 명령을 단말 장치(100)로 전송한다. 이에 따라, 단말 장치(100)는 서브 단말 장치(200)로부터 수신한 사용자 명령에 기초하여 제1 영역(10)에 디스플레이되는 출력 영상과 상이한 형태의 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상을 제1 영역(10)에 투사한다. 따라서, 제1 영역(10)에는 사용자에 의해 선택된 사진(1110)에 대응하는 사진(1110-1)이 주변 사진들보다 큰 사이즈로 제1 영역(10)의 중심 영역에 표시되는 출력 영상이 디스플레이될 수 있다.
도 12는 본 발명의 일 실시예에 따른 사용자 입력에 대응하는 출력 영상을 디스플레이하는 제1 예시도이다.
도 12에 도시된 바와 같이, 단말 장치(100)와 물리적으로 연결된 서브 단말 장치(200)는 제2 영역(20)을 통해 입력된 사용자 명령에 대응하는 출력 영상(을 제1 영역(10)에 투사할 수 있다.
예를 들어, 단말 장치(100)는 문자 서비스 관련 어플리케이션이 실행된 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, 문자 서비스 관련 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다.
또다른 예를 들어, 도 9에서 설명한 바와 같이, 제1 영역(10)에 어플리케이션 리스트에 대한 출력 영상이 디스플레이된 상태에서, 단말 장치(100)는 서브 단말 장치(200)로부터 어플리케이션 리스트에 포함된 복수의 어플리케이션 중 문자 서비스 관련 어플리케이션에 대한 사용자 명령을 수신하고, 그 사용자 명령에 기초하여 문자 서비스 관련 어플리케이션을 실행할 수 있다. 이후, 단말 장치(100)는 문자 서비스 관련 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다.
이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상을 제1 영역(10)에 투사할 수 있으며, 제1 영역(10)에는 문자 서비스 관련 어플리케이션에 대한 출력 영상이 디스플레이될 수 있다. 이 같은 문자 서비스 관련 어플리케이션에 대한 출력 영상이 디스플레이된 상태에서, 서브 단말 장치(200)는 제2 영역(20)을 통해 사용자 모션이 감지되면, 감지된 사용자 모션에 대한 사용자 명령을 생성하여 단말 장치(100)로 전송한다.
도시된 바와 같이, 제2 영역(20)을 통해 사용자가 하트 모양(1210)을 그릴 경우, 서브 단말 장치(200)는 이 같은 사용자 모션을 감지하고, 그에 따른 사용자 명령을 생성하여 단말 장치(100)로 전송할 수 있다. 이에 따라, 단말 장치(100)는 서브 단말 장치(200)로부터 수신한 사용자 명령에 기초하여 하트 모양에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송하며, 서브 단말 장치(200)는 수신한 출력 영상을 제1 영역(10)에 투사한다. 이에 따라, 제1 영역(10) 상에는 제2 영역(20)을 통해 그려진 하트 모양(1210)에 대한 출력 영상(1210-1)이 디스플레이될 수 있다.
전술한 예에서, 단말 장치(100)는 문자 서비스 관련 어플리케이션이 실행된 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, 문자 서비스 관련 어플리케이션에 대한 출력 영상 및 문자 서비스 관련 어플리케이션을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 문자 서비스 관련 어플리케이션에 대한 출력 영상을 제1 영역(10)에 투사하고, 인터페이스 영상을 제2 영역(20)에 투사할 수 있다. 따라서, 사용자는 제2 영역(20)에 투사된 인터페이스 영상을 통해 사용자가 입력하고자 하는 문자를 선택할 수 있으며, 서브 단말 장치(200)는 사용자에 의해 선택된 문자에 대한 사용자 명령을 단말 장치(100)로 전송할 수 있다. 이에 따라, 단말 장치(100)는 서브 단말 장치(200)로부터 수신한 사용자 명령에 기초하여 사용자가 선택한 문자 관련 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상을 제1 영역(10)에 투사함으로써, 제1 영역(10)에는 사용자에 의해 선택된 문자에 대한 출력 영상이 디스플레이될 수 있다.
도 13은 본 발명의 또다른 실시예에 따른 사용자 입력에 대응하는 출력 영상을 디스플레이하는 제2 예시도이다.
도 13(a)에 도시된 바와 같이, 단말 장치(100)는 SNS 관련 어플리케이션이 실행된 상태에서 서브 단말 장치(200)와 물리적으로 연결되면, SNS 관련 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다.
일 실시예에 따라, 단말 장치(100)는 기저장된 SNS 서비스 이력 정보에 기초하여 기설정된 임계 기간 동안 SNS 서비스를 이용한 지인의 SNS 정보를 제공하는 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
또다른 실시예에 따라, 단말 장치(100)는 기저장된 SNS 서비스 이력 정보에 기초하여 기설정된 임계 기간 동안 SNS 서비스를 이용한 지인과 그 지인과 관련된 연관 지인들의 SNS 정보를 동일 그룹으로 분류하여 그룹별 SNS 정보를 제공하는 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 SNS 관련 어플리케이션에 대한 출력 영상(1310)을 제1 영역(10)에 투사할 수 있다. 따라서, 사용자는 제1 영역(10)에 투사된 출력 영상(1310)을 통해 최근에 SNS 서비스를 이용한 지인이 누구인지 확인하거나 혹은 최근에 SNS 서비스를 이용한 지인과 그 지인과 관련된 연관 지인이 누구인지를 확인할 수 있다.
한편, 단말 장치(100)는 SNS 관련 어플리케이션에 대한 출력 영상과 함께 SNS 관련 어플리케이션을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 따라서, 서브 단말 장치(200)는 SNS 관련 어플리케이션에 대한 출력 영상(1310)을 제1 영역(10)에 투사하고, 인터페이스 영상(1310-1)을 제2 영역(20)에 투사할 수 있다.
이 같은 인터페이스 영상(1310-1)은 제1 영역(10)에 디스플레이된 출력 영상(1310)에 포함된 각 지인들을 선택 및 연락하기 위한 메뉴를 UI 형태로 제2 영역(20)에 디스플레이될 수 있다. 따라서, 사용자는 제2 영역(20)에 디스플레이된 인터페이스 영상(1310-1)을 통해 연락하고자 하는 지인을 선택할 수 있다. 만약, 사용자가 제2 영역(20)에 디스플레이된 인터페이스 영상(1310-1)을 통해 'B'라는 지인에 대한 메뉴를 선택하면, 서브 단말 장치(200)는 사용자의 선택에 따른 사용자 명령을 생성하여 단말 장치(100)로 전송한다.
이에 따라, 단말 장치(100)는 'B'라는 지인에 대한 연락 정보를 포함하는 출력 영상 및 해당 연락 정보를 통해 연락하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 도 13(b)에 도시된 바와 같이, 'B'라는 지인에 대한 연락 정보를 포함하는 출력 영상(1320)을 제1 영역(10)에 투사하고, 제1 영역(10)에 디스플레이된 출력 영상(1320)에 기초하여 'B'라는 지인에게 연락하기 위한 인터페이스 영상(1320-1)을 제2 영역(20)에 투사한다. 이에 따라, 사용자는 제1 및 제2 영역(10,20)에 디스플레이된 출력 영상(1320) 및 인터페이스 영상(1320-1)을 통해 'B'라는 지인이게 연락하기 위한 수단을 선택할 수 있다.
도 14는 본 발명의 일 실시예에 따른 단말 장치 및 공유된 주변 기기의 실행 어플리케이션 관련 출력 영상을 디스플레이하는 예시도이다.
도 14에 도시된 바와 같이, 제1 영역(10)에는 단말 장치(100)에서 실행 중인 스케줄 관련 어플리케이션에 대한 출력 영상(1420)이 디스플레이될 수 있다. 이 같은 스케줄 관련 어플리케이션에 대한 출력 영상(142)에는 공유된 주변 기기(1410)의 스케줄 정보가 포함될 수 있다.
구체적으로, 단말 장치(100)는 스케줄 관련 어플리케이션을 실행하고 있는 상태에서 서브 단말 장치(200)와 물리적으로 연결될 수 있다. 이와 같이, 서브 단말 장치(200)와 연결되면, 단말 장치(100)는 스케줄 관련 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 스케줄 관련 어플리케이션에 대한 출력 영상(1420)을 제1 영역(10)에 투사함으로써, 제1 영역(10)에는 단말 장치(100) 사용자인 A 사용자의 스케줄 정보가 표시된 출력 영상(1420)이 디스플레이될 수 있다.
한편, 단말 장치(100)는 스케줄 관련 어플리케이션에 대한 출력 영상 뿐만 아니라, 스케줄 설정 관련 사용자 명령을 입력받기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 이 경우, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 인터페이스 영상을 제2 영역(20)에 투사할 수 있으며, 사용자는 제2 영역(20)에 투사된 인터페이스 영상을 통해 자신의 스케줄을 업데이트할 수 있다.
한편, 단말 장치(100)는 기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 검색된 주변 기기(1410)로부터 현재 실행 중인 어플리케이션 관련 실행 정보를 요청할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 도시된 바와 같이, 주변 기기(1410)가 인터페이스 영상이 디스플레이되는 제2 영역(20)에 위치하면, 서브 단말 장치(200)는 제2 영역(20)에 있는 주변 기기(1410)의 식별 정보를 단말 장치(100)로 전송하며, 이에 따라, 단말 장치(100)는 서브 단말 장치(200)로부터 수신한 식별 정보에 기초하여 주변 기기(1410)로부터 현재 실행 중인 어플리케이션 관련 실행 정보를 요청할 수 있다.
전술한 예와 같이, 단말 장치(100)에서 스케줄 관련 어플리케이션이 실행 중인 경우, 단말 장치(100)는 주변 기기(1410)로 스케줄 관련 어플리케이션에 대한 실행 정보를 요청할 수 있다. 요청에 따라, 주변 기기(1410)로부터 실행 정보가 수신되면, 단말 장치(100)는 수신한 실행 정보와 기설정된 스케줄 정보에 기초하여 스케줄 관련 어플리케이션에 대한 출력 영상을 생성하여 서브 단말 장치(200)로 전송한다.
이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상을 제1 영역(10)에 투사하며, 따라서, 제1 영역(10)에는 단말 장치(100) 사용자인 A 사용자의 스케줄과 주변 기기(1410) 사용자인 B 사용자의 스케줄이 포함된 출력 영상이 디스플레이될 수 있다.
지금까지, 본 발명에 따른 단말 장치(100)에서 물리적으로 연결된 서브 단말 장치(200)를 이용하여 주변 공간의 서로 다른 영역에 확장된 출력 영상 및 인터페이스 영상을 디스플레이하는 동작에 대해서 상세히 설명하였다.
이하에서는, 본 발명에 따른 단말 장치(100)에서 물리적으로 연결된 서브 단말 장치(200)를 이용하여 주변 공간의 서로 다른 영역에 확장된 출력 영상 및 인터페이스 영상을 디스플레이하는 방법에 대해서 상세히 설명하도록 한다.
도 15는 본 발명의 일 실시예에 따른 단말 장치에서 물리적으로 연결된 서브 단말 장치를 이용하여 주변 공간의 서로 다른 영역에 확장된 출력 영상 및 인터페이스 영상을 디스플레이하는 방법의 흐름도이다.
도 15에 도시된 바와 같이, 단말 장치(100)는 서브 단말 장치(200)와 인터페이스부를 통해 물리적으로 연결되는지 여부를 판단한다(S1510). 판단 결과, 서브 단말 장치(200)와 인터페이스부를 통해 물리적으로 연결된 것으로 판단되면, 단말 장치(100)는 적어도 하나의 어플리케이션에 대한 실행 여부를 판단한다(S1520). 판단 결과, 적어도 하나의 어플리케이션이 실행 중이면, 단말 장치(100)는 실행 중인 어플리케이션에 대한 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 서브 단말 장치(200)로 전송한다(S1530). 따라서, 서브 단말 장치(200)는 단말 장치(100)로부터 실행 중인 어플리케이션에 대한 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나가 수신되면, 수신된 영상을 주변 공간의 일 영역에 투사한다.
구체적으로, 서브 단말 장치(200)는 단말 장치(100)로부터 실행 중인 어플리케이션에 대한 실행 화면과 관련된 출력 영상이 수신되면, 수신된 출력 영상을 주변 공간의 제1 영역에 투사한다. 이에 따라, 주변 공간의 제1 영역에는 단말 장치(100)에서 실행 중인 어플리케이션과 관련된 출력 영상이 확장된 형태로 디스플레이될 수 있다.
한편, 서브 단말 장치(200)는 단말 장치(100)로부터 실행 중인 어플리케이션에 대한 실행 화면과 관련된 출력 영상과 함께 해당 어플리케이션을 제어하기 위한 인터페이스 영상이 수신되면, 수신된 인터페이스 영상을 주변 공간의 제2 영역에 투사한다. 이에 다라, 주변 공간의 제2 영역에는 단말 장치(100)에서 실행 중인 어플리케이션을 제어하기 위한 인터페이스 영상이 디스플레이될 수 있다.
즉, 단말 장치(100)로부터 실행 중인 어플리케이션과 관련하여 생성된 출력 영상 및 인터페이스 영상은 서브 단말 장치(200)를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이될 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치(100)는 서브 단말 장치(200)와 물리적으로 연결되면, 실행 중인 어플리케이션에 대한 실행 화면과 관련된 제1 및 제2 출력 영상을 생성할 수 있다. 이 같은 제1 및 제2 출력 영상이 생성되면, 단말 장치(100)는 생성된 제1 출력 영상을 서브 단말 장치(200)로 전송하고, 제2 출력 영상을 단말 장치(100)의 화면상에 디스플레이할 수 있다. 따라서, 주변 공간의 제1 영역에는 서브 단말 장치(200)로부터 투사된 제1 출력 영상이 디스플레이되며, 단말 장치(100)의 화면상에는 제2 출력 영상이 디스플레이될 수 있다.
한편, 서브 단말 장치(200)와 물리적으로 연결된 단말 장치(100)는 기설정된 이베트 발생에 따라, 실행 중인 어플리케이션을 제어하기 위한 인터페이스 영상을 생성할 수 있다. 일 실시예에 따라, 단말 장치(100)는 사용자가 기설정된 임계 범위 내에 근접하는지 여부에 따라 실행 중인 어플리케이션을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
또다른 실시예에 따라, 단말 장치(100)는 사용자 모션이 감지되면, 감지된 사용자 모션에 기초하여 실행 중인 어플리케이션을 제어하기 위한 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
한편, 서브 단말 장치(200)와 물리적으로 연결되면, 실행 중인 어플리케이션과 관련된 출력 영상 및 인터페이스 영상을 생성하여 서브 단말 장치(200)로 전송하는 단말 장치(100)는 사용자의 위치 정보에 기초하여 해당 출력 영상 및 인터페이스 영상의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 서브 단말 장치(200)로 전송할 수 있다. 따라서, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 위치 제어 명령에 기초하여 출력 영상 및 인터페이스 영상의 투사 방향을 조정하여 주변 공간의 서로 다른 영역에 투사할 수 있다.
한편, 단말 장치(100)는 기설정된 임계 시간 동안 서브 단말 장치(200)로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 대기 상태 영상을 출력 영상이 디스플레이되는 제1 영역에 투사할 수 있다.
이와 같이, 주변 공간의 제1 영역에 대기 상태 영상이 디스플레이되고 있는 상태에서, 사용자 모션이 감지되면, 단말 장치(100)는 대기 상태 영상을 생성하기 이전의 출력 영상 즉, 현재 실행 중인 어플리케이션 관련 출력 영상을 생성을 생성하여 서브 단말 장치(200)로 전송한다. 이에 따라, 서브 단말 장치(200)는 대기 상태 영상이 투사되는 제1 영역에 단말 장치(100)로부터 수신한 출력 영상을 투사할 수 있다.
한편, 단말 장치(100)는 서브 단말 장치(200)로부터 주변 공간의 제2 영역에 디스플레이된 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 수신된 사용자 명령에 대응되는 동작을 수행하도록 실행 중인 어플리케이션을 제어한다. 이후, 단말 장치(100)는 그 사용자 명령에 기초하여 제어된 어플리케이션에 대한 실행 화면과 관련된 출력 영상을 생성하여 서브 단말 장치(200)로 전송할 수 있다.
이와 같이, 단말 장치(100)는 서브 단말 장치(200)와 물리적으로 연결되면, 단말 장치(100)에서 실행 중인 어플리케이션에 대한 출력 영상 및 인터페이스 영상을 생성하여 서브 단말 장치(200)를 전송한다. 이에 따라, 서브 단말 장치(200)는 단말 장치(100)로부터 수신한 출력 영상 인터페이스 영상을 주변 공간의 제1 및 제2 영역에 투사함으로써, 제1 및 제2 영역에는 단말 장치(100)에서 실행 중인 어플리케이션과 관련된 출력 영상 및 인터페이스 영상이 디스플레이될 수 있다.
한편, 단말 장치(100)는 인터페이스부를 통해 물리적으로 연결된 서브 단말 장치(200)와의 연결이 분리되는지 여부를 판단한다(S1540). 판단 결과, 서브 단말 장치(200)와의 연결이 분리된 것으로 판단되면, 단말 장치(100)는 화면상에 디스플레이되는 제2 출력 영상에서 실행 중인 어플리케이션에 대한 실행 화면으로 전환하여 디스플레이한다(S1550).
한편, 단계 S1520에서 서브 단말 장치(200)와 물리적으로 연결된 단말 장치(100)에서 적어도 하나의 어플리케이션이 미실행 중인 것으로 판단되면, 단말 장치(100)는 인터페이스부를 통해 물리적으로 연결된 서브 단말 장치(200)를 통해 인가되는 전원을 배터리에 충전한다(S1560). 이와 같이, 본 발명에 따른 단말 장치(100)는 내부적으로 어플리케이션이 실행 중이면, 실행 중인 어플리케이션 관련 출력 영상 및 인터페이스 영상을 서브 단말 장치(200)를 통해 주변 공간의 서로 다른 영역에 확장시켜 디스플레이하고, 어플리케이션이 미실행 중이면, 서브 단말 장치(200)로부터 인가되는 전원을 배터리에 충전할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110,210 : 인터페이스부 120,220 : 제어부
130 : 디스플레이부 140,250 : 오디오 출력부
150 : 입력부 160,260 : 감지부
170 : 전원 공급부 180 : 저장부
190 : 통신부 230 : 제1 출력부
240 : 제2 출력부 270 : 프린터 출력부

Claims (20)

  1. 서브 단말 장치와 연결되어 데이터를 송수신하는 인터페이스부; 및
    상기 인터페이스부를 통해 상기 서브 단말 장치가 연결되면, 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하여 상기 인터페이스부를 통해 상기 서브 단말 장치로 전송하는 제어부;를 포함하며,
    상기 인터페이스 영상 및 출력 영상은,
    상기 서브 단말 장치를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상인 것을 특징으로 하는 단말 장치.
  2. 제 1 항에 있어서,
    상기 실행 화면을 디스플레이하는 디스플레이부;를 더 포함하고,
    상기 제어부는,
    상기 디스플레이되는 실행 화면과 관련된 제1 및 제2 출력 영상을 생성하여 상기 제1 출력 영상을 상기 서브 단말 장치로 전송하고, 상기 제2 출력 영상을 상기 디스플레이부를 통해 디스플레이하는 것을 특징으로 하는 단말 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 인터페이스부를 통해 상기 서브 단말 장치와의 연결이 분리되면, 상기 제2 출력 영상에서 상기 실행 화면으로 전환하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 단말 장치.
  4. 제 1 항에 있어서,
    사용자의 근접 여부를 감지하는 감지부;를 더 포함하며,
    상기 제어부는,
    상기 감지부를 통해 감지된 근접 정보에 기초하여 상기 사용자가 기설정된 임계 범위 내에 근접한 것으로 판단되면, 상기 인터페이스 영상을 생성하는 것을 특징으로 하는 단말 장치.
  5. 제 1 항에 있어서,
    사용자의 위치를 감지하는 감지부;를 더 포함하며,
    상기 제어부는,
    상기 감지부를 통해 감지된 사용자 위치 정보에 기초하여 상기 인터페이스 영상 및 상기 출력 영상 중 적어도 하나의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 단말 장치.
  6. 제 1 항에 있어서,
    사용자의 모션을 감지하는 감지부;를 더 포함하며,
    상기 제어부는,
    상기 인터페이스부를 통해 상기 서브 단말 장치가 연결된 후, 기설정된 임계 시간 동안 상기 서브 단말 장치로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상을 생성하여 상기 서브 단말 장치로 전송하며,
    상기 대기 상태 영상이 디스플레이되고 있는 상태에서, 상기 감지부를 통해 상기 사용자의 모션이 감지되면, 상기 실행 화면에 대한 출력 영상을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 단말 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 서브 단말 장치로부터 상기 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 실행 화면에서 상기 수신된 사용자 명령에 대응되는 제어 화면으로의 전환을 수행하고, 상기 제어 화면과 관련된 출력 영상을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 단말 장치.
  8. 제 1 항에 있어서,
    배터리에 전원을 충전하는 전원 공급부;를 더 포함하며,
    상기 제어부는,
    상기 실행 화면이 대기 상태이면, 상기 서브 단말 장치를 통해 인가되는 전원을 상기 배터리에 충전하도록 상기 전원 공급부를 제어하는 것을 특징으로 하는 단말 장치.
  9. 제 1 항에 있어서,
    주변 기기와 통신을 수행하는 통신부;를 더 포함하며,
    상기 제어부는,
    상기 통신부를 통해 기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 상기 검색된 주변 기기로부터 실행 정보를 수신하여 상기 출력 영상에 상기 수신된 실행 정보가 디스플레이되도록 상기 출력 영상을 가공 처리하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 단말 장치.
  10. 제 1 항에 있어서,
    상기 서브 단말 장치는,
    프린터 출력 가능하며,
    상기 단말 장치와 연결되어 데이터를 송수신하는 인터페이스부;
    상기 출력 영상을 상기 주변 공간의 제1 영역에 투사하는 제1 출력부;
    상기 인터페이스 영상을 상기 주변 공간의 제2 영역에 투사하는 제2 출력부;
    상기 단말 장치로부터 수신된 오디오 신호를 출력하는 오디오 출력부;
    상기 제2 영역에 투사된 상기 인터페이스 영상과 관련하여 사용자의 터치를 감지하는 감지부; 및
    상기 감지부를 통해 감지된 감지 정보에 기초하여 사용자 명령을 결정하고, 상기 결정된 사용자 명령을 상기 단말 장치로 전송하는 제어부;
    를 포함하는 것을 특징으로 하는 단말 장치.
  11. 단말 장치의 제어 방법에 있어서,
    상기 단말 장치가 서브 단말 장치와 연결되는지 여부를 판단하는 단계;
    상기 서브 단말 장치와 연결되면, 상기 단말 장치의 실행 화면과 관련된 인터페이스 영상 및 출력 영상 중 적어도 하나를 생성하는 단계; 및
    상기 생성된 인터페이스 영상 및 출력 영상을 상기 서브 단말 장치로 전송하는 단계;를 포함하며,
    상기 인터페이스 영상 및 출력 영상은,
    상기 서브 단말 장치를 통해 주변 공간의 서로 다른 영역에 상이한 형태로 확장되어 디스플레이되는 영상인 것을 특징으로 하는 제어 방법.
  12. 제 11 항에 있어서,
    상기 전송하는 단계는,
    상기 실행 화면과 관련된 제1 및 제2 출력 영상을 생성하여 상기 제1 출력 영상을 상기 서브 단말 장치로 전송하며,
    상기 디스플레이하는 단계는,
    상기 실행 화면을 상기 제2 출력 영상으로 전환하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  13. 제 12 항에 있어서,
    상기 서브 단말 장치와의 연결이 분리되면, 상기 제2 출력 영상에서 상기 실행 화면으로 전환하여 디스플레이하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  14. 제 11 항에 있어서,
    상기 전송하는 단계는,
    사용자가 기설정된 임계 범위 내에 근접하는지 여부에 따라, 상기 인터페이스 영상을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 제어 방법.
  15. 제 11 항에 있어서,
    상기 전송하는 단계는,
    사용자의 위치 정보에 기초하여 상기 인터페이스 영상 및 상기 출력 영상 중 적어도 하나의 디스플레이 위치를 조정하기 위한 위치 제어 명령을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 단말 장치.
  16. 제 11 항에 있어서,
    상기 전송하는 단계는,
    기설정된 임계 시간 동안 상기 서브 단말 장치로부터 사용자 명령이 수신되지 않으면, 기설정된 대기 상태 영상을 생성하여 상기 서브 단말 장치로 전송하고,
    상기 대기 상태 영상이 디스플레이되고 있는 상태에서, 사용자 모션이 감지되면, 상기 실행 화면에 대한 출력 영상을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 제어 방법.
  17. 제 11 항에 있어서,
    상기 전송하는 단계는,
    상기 서브 단말 장치로부터 상기 인터페이스 영상에 기초하여 사용자 명령이 수신되면, 상기 수신된 사용자 명령에 기초하여 상기 실행 화면에서 상기 수신된 사용자 명령에 대응되는 제어 화면으로의 전환을 수행하고, 상기 제어 화면과 관련된 출력 영상을 생성하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 제어 방법.
  18. 제 11 항에 있어서,
    상기 실행 화면이 대기 상태의 화면이면, 상기 서브 단말 장치를 통해 인가되는 전원을 상기 단말 장치의 배터리에 충전하는 단계;
    를 더 포함하는 것을 특징으로 하는 제어 방법.
  19. 제 11 항에 있어서,
    상기 전송하는 단계는,
    기설정된 임계 범위 내에 적어도 하나의 주변 기기가 검색되면, 상기 검색된 주변 기기로부터 실행 정보를 수신하여 상기 출력 영상에 상기 수신된 실행 정보가 디스플레이되도록 상기 출력 영상을 가공 처리하여 상기 서브 단말 장치로 전송하는 것을 특징으로 하는 제어 방법.
  20. 제 11 항에 있어서,
    상기 서브 단말 장치는,
    프린터 출력이 가능하며,
    상기 단말 장치로부터 상기 출력 영상이 수신되면, 제1 출력부를 통해 상기 주변 공간의 제1 영역에 투사하고,
    상기 단말 장치로부터 인터페이스 영상이 수신되면,제2 출력부를 통해 상기 주변 공간의 제2 영역에 투사하고,
    상기 단말 장치로부터 오디오 신호가 수신되면, 오디오 출력부를 통해 상기 오디오 신호를 출력하며,
    상기 제2 영역에 투사된 상기 인터페이스 영상과 관련하여 사용자의 터치를 감지하고, 상기 감지된 감지 정보에 기초하여 사용자 명령을 결정하여 상기 단말 장치로 전송하는 것을 특징으로 하는 제어 방법.
KR20130126030A 2013-10-22 2013-10-22 단말 장치 및 제어 방법 KR20150046594A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130126030A KR20150046594A (ko) 2013-10-22 2013-10-22 단말 장치 및 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130126030A KR20150046594A (ko) 2013-10-22 2013-10-22 단말 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20150046594A true KR20150046594A (ko) 2015-04-30

Family

ID=53037924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130126030A KR20150046594A (ko) 2013-10-22 2013-10-22 단말 장치 및 제어 방법

Country Status (1)

Country Link
KR (1) KR20150046594A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086464A (ko) * 2014-11-18 2017-07-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
WO2018155733A1 (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
WO2022181865A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 디스플레이 장치 및 그 동작방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086464A (ko) * 2014-11-18 2017-07-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
WO2018155733A1 (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
WO2022181865A1 (ko) * 2021-02-23 2022-09-01 삼성전자 주식회사 디스플레이 장치 및 그 동작방법
US11928381B2 (en) 2021-02-23 2024-03-12 Samsung Electronics Co., Ltd. Display device and operating method thereof
EP4210336A4 (en) * 2021-02-23 2024-05-01 Samsung Electronics Co Ltd DISPLAY DEVICE AND ITS OPERATING METHOD

Similar Documents

Publication Publication Date Title
JP6097679B2 (ja) 端末間機能共有方法及びその端末
KR101935084B1 (ko) 화상 형성 장치, 그 제어 방법 및 기억 매체
KR20160143429A (ko) 이동단말기 및 그 제어방법
KR20180016131A (ko) 이동 단말기 및 그 제어방법
KR101971736B1 (ko) 이동단말기 및 그 제어방법
KR20170071347A (ko) 이동단말기 및 그 제어방법
US20220166685A1 (en) Communication apparatus and control method for the same
EP3901754A1 (en) Method and device for displaying application, and storage medium
WO2020088268A1 (zh) 桌面图标的整理方法及终端
CN105468261A (zh) 移动终端及其控制方法
KR20150046594A (ko) 단말 장치 및 제어 방법
JP5961375B2 (ja) 画像形成システム、それに用いる携帯情報端末および画像形成装置
JP5769000B2 (ja) 端末装置及びプログラム
KR20180135698A (ko) 이동 단말기 및 그 제어 방법
JP6451194B2 (ja) 端末装置、遠隔操作システム、制御方法、および制御プログラム
KR20180017638A (ko) 이동단말기 및 그 제어방법
JP5773961B2 (ja) 携帯電子機器
JP6319234B2 (ja) 遠隔制御システム、画像処理装置、遠隔制御方法、および遠隔制御プログラム
US20150149547A1 (en) Information processing system and information processing device
EP2916526A1 (en) Portable communication device and communication control method
KR101651011B1 (ko) 이동 단말기
JP6134836B2 (ja) 画像形成システムに用いる携帯情報端末および画像形成装置
KR20150106535A (ko) 이동 단말기 및 이의 제어 방법
CN114498827A (zh) 清洁机器人的运行方法、装置、电子设备及介质
EP2998856A1 (en) Device information acquisition system, device information acquisition method, and device information acquisition program

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination