KR20130103116A - 컨텐츠 실행 시스템 - Google Patents

컨텐츠 실행 시스템 Download PDF

Info

Publication number
KR20130103116A
KR20130103116A KR1020120024489A KR20120024489A KR20130103116A KR 20130103116 A KR20130103116 A KR 20130103116A KR 1020120024489 A KR1020120024489 A KR 1020120024489A KR 20120024489 A KR20120024489 A KR 20120024489A KR 20130103116 A KR20130103116 A KR 20130103116A
Authority
KR
South Korea
Prior art keywords
input
user terminal
content
display
data
Prior art date
Application number
KR1020120024489A
Other languages
English (en)
Inventor
심승필
전형근
Original Assignee
올토주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 올토주식회사 filed Critical 올토주식회사
Priority to KR1020120024489A priority Critical patent/KR20130103116A/ko
Publication of KR20130103116A publication Critical patent/KR20130103116A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/3833—Hand-held transceivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 디스플레이; 그래픽을 디스플레이로 전송하는 컨텐츠 실행기; 그리고, 컨텐츠 실행기와 교신할 수 있고, 그래픽을 표시하는 않는 상태에서 사용자의 입력을 받는 터치 스크린을 구비하며, 터치 스크린 터치시 이 정보를 컨텐츠 실행기로 전송하고, 손에 쥘 수 있는 사용자 단말기;를 포함하는 것을 특징으로 하는 컨텐츠 실행 시스템에 관한 것이다.

Description

컨텐츠 실행 시스템{SYSTEM FOR EXECUTING CONTENT PROGRAMS}
본 개시(Disclosure)는 전체적으로 컨텐츠 실행 시스템에 관한 것으로, 특히 스마트 폰과 같은 사용자 단말기를 입력 수단으로 이용하는 컨텐츠 실행 시스템에 관한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).
도 1은 미국 공개특허공보 제2010-0235726호에 제시된 스마트 폰의 일 예를 나타내는 도면으로서, 스마트 폰(100)은 메모리(102)(하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있음), 메모리 제어기(122), 하나 이상의 처리 장치(CPU)(120), 주변 장치 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 터치 스크린 또는 터치 감응 디스플레이 시스템(112), 마이크(113), 입/출력(I/O) 서브시스템(106), 기타 입력 또는 제어 장치(116), 및 외부 포트(124)를 포함할 수 있다. 스마트 폰(100)은 하나 이상의 광 센서(164)를 포함할 수 있다. 이들 구성요소는 하나 이상의 통신 버스 또는 신호선(103)을 통해 통신할 수 있다.
메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고상 메모리 장치와 같은 비휘발성 메모리를 포함할 수 있다. CPU(120) 및 주변 장치 인터페이스(118)와 같은 장치(100)의 다른 구성요소가 메모리(102)에 액세스하는 것이 메모리 제어기(122)에 의해 제어될 수 있다.
주변장치 인터페이스(118)는 장치의 입력 및 출력 주변 장치를 CPU(120) 및 메모리(102)에 결합시킨다.
하나 이상의 프로세서(120)는, 장치(100)의 다양한 기능을 수행하고 데이터를 처리하기 위해, 메모리(102)에 저장되어 있는 다양한 소프트웨어 프로그램 및/또는 일련의 명령어를 실행한다.
주변장치 인터페이스(118), CPU(120) 및 메모리 제어기(122)는 칩(104)과 같은 단일 칩 상에 구현될 수 있다. 어떤 다른 실시예에서, 이들은 개별 칩 상에 구현될 수 있다.
RF(radio frequency) 회로(108)는 RF 신호(전자기 신호라고도 함)를 수신하고 전송한다. RF 회로(108)는 전기 신호를 전자기 신호로/전자기 신호를 전기 신호로 변환하고 전자기 신호를 통해 통신 네트워크 및 기타 통신 장치와 통신한다. RF 회로(108)는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱 칩셋, SIM(subscriber identity module) 카드, 메모리(이들로 제한되지 않음) 등을 비롯한 이들 기능을 수행하는 공지의 회로를 포함할 수 있다. RF 회로(108)는 무선 통신에 의해 인터넷[월드 와이드 웹(WWW)이라고도 함], 인트라넷 및/또는 무선 네트워크[휴대 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등]와 같은 네트워크 및 기타 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일에 대한 프로토콜[예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)], 인스턴트 메시징[예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)], 및/또는 SMS(Short Message Service)], 또는 본 문서의 출원일에 즈음하여 아직 개발되지 않은 통신 프로토콜을 포함한 임의의 다른 적당한 통신 프로토콜을 포함하지만 이에 한정되지 않은 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.
오디오 회로(110), 스피커(111), 및 마이크(113)는 사용자와 스마트 폰(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변 장치 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하며, 전기 신호를 스피커(111)로 전송한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로(110)는 또한 마이크(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로 (110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변 장치 인터페이스(118)로 전송한다. 오디오 데이터는 주변 장치 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되고 및/또는 그곳으로 전송될 수 있다.
I/O 서브시스템(106)은 장치(100) 상의 입/출력 주변 장치[터치 스크린(112) 및 기타 입력/제어 장치(116) 등]를 주변 장치 인터페이스(118)에 결합시킨다. I/O 서브시스템(106)은 디스플레이 제어기(156) 및 다른 입력 또는 제어 장치에 대한 하나 이상의 입력 제어기(160)를 포함할 수 있다. 하나 이상의 입력 제어기(160)는 기타 입력 또는 제어 장치(116)로부터/로 전기 신호를 수신/전송한다. 기타 입력/제어 장치(116)는 실제 버튼[예를 들어, 푸시 버튼, 로커 버튼(rocker button), 기타], 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휘일, 기타를 포함하고 있을 수 있다. 입력 제어기(들)(160)는 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 장치 중 임의의 것에 결합될 수 있다(또는 그 중 아무 것에도 결합되지 않을 수 있다).
터치 스크린(112)은 장치와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 전기 신호를 터치 스크린(112)으로부터/으로 수신 및/또는 전송한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 그래픽, 텍스트, 아이콘, 이 비디오, 및 이들의 임의의 조합(모두 합하여 '그래픽'이라고 함)을 포함할 수 있다. 터치 스크린(112)은 햅틱 및/또는 촉각 접촉에 기초한 사용자로부터의 입력을 받는 터치-감응 표면, 센서 또는 일련의 센서를 가진다. 터치 스크린(112) 및 디스플레이 제어기(156)는 [메모리(102) 내의 임의의 연관된 모듈 및/또는 명령어 집합과 함께] 터치 스크린(112) 상의 접촉(및 접촉의 움직임 또는 단절)을 검출하고, 검출된 접촉을 터치 스크린 상에 디스플레이되는 사용자-인터페이스 객체(예를 들어, 하나 이상의 소프트 키, 아이콘, 웹페이지 또는 이미지 등)와의 상호작용으로 변환한다. 터치 스크린(112)은 LCD(liquid crystal display) 기술 또는 LPD(light emitting polymer display) 기술을 사용할 수 있지만, 다른 실시예에서 기타 디스플레이 기술들이 사용될 수 있다. 터치 스크린(112) 및 디스플레이 제어기(156)는 용량성, 저항성, 적외선 및 표면 음파(surface acoustic wave) 기술은 물론 터치 스크린(112)과의 하나 이상의 접촉점을 결정하는 기타 근접 센서 어레이 또는 기타 요소(이들로 제한되지 않음)를 비롯한 현재 알려져 있거나 나중에 개발되는 복수의 터치 감지 기술 중 임의의 기술을 사용하여 접촉 및 접촉의 움직임 또는 단절을 검출할 수 있다.
터치 스크린(112)은 100 dpi를 초과하는 해상도를 가질 수 있다. 예시적인 실시예에서, 터치 스크린은 대략 160 dpi의 해상도를 가진다. 사용자는 스타일러스, 손가락, 기타 등등의 임의의 적당한 물체 또는 부속물을 사용하여 터치 스크린(112)과 접촉할 수 있다.
스마트 폰(100)은 또한 다양한 구성요소에 전원을 제공하는 전원 시스템(162)도 포함하고 있다. 전원 시스템(162)은 전력 관리 시스템, 하나 이상의 전원[예를 들어, 배터리, 교류(AC)], 충전 시스템, 전원 고장 검출 회로, 전력 컨버터 또는 인버터, 전원 상태 표시기[예를 들어, LED(light emitting diode)] 및 휴대용 장치에서의 전력의 발생, 관리 및 분배와 연관되어 있는 임의의 다른 구성요소를 포함할 수 있다.
스마트 폰(100)은 또한 하나 이상의 광 센서(164)도 포함할 수 있다. 도 1은 I/O 서브 시스템(106) 내의 광 센서 제어기(158)에 결합된 광 센서를 나타내고 있다.
스마트 폰(100)은 또한 하나 이상의 근접 센서(166)도 포함할 수 있다. 도 1은 주변 장치 인터페이스(118)에 결합된 근접 센서(166)를 나타내고 있다. 다른 대안으로서, 근접 센서(166)는 I/O 서브시스템(106) 내의 기타 입력 제어기(160)에 결합될 수 있다. 스마트 폰(100)이 사용자의 귀 근방에 위치될 때(예를 들어, 사용자가 전화 통화를 하고 있을 때), 근접 센서(166)는 터치 스크린(112)을 끄고 비활성화시킨다. 일부 실시예에서, 장치가 잠금 상태에 있을 때 불필요한 배터리 소모를 방지하기 위해, 장치가 사용자의 주머니, 지갑, 또는 기타 어두운 영역에 있을 때, 근접 센서(166)는 스크린을 끈 채로 둔다.
스마트 폰(100)은 또한 하나 이상의 가속도계(168)도 포함할 수 있다. 도 1은 주변 장치 인터페이스(118)에 결합된 가속도계(168)를 나타내고 있다. 다른 대안으로서, 가속도계(168)는 I/O 서브시스템(106) 내의 기타 입력 제어기(160)에 결합될 수 있다. 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여, 정보가 터치 스크린 디스플레이 상에 인물 보기 또는 풍경 보기로 디스플레이될 수 있다.
메모리(102)에 저장된 소프트웨어 구성요소는 운영 체제(126), 통신 모듈(또는 명령어 집합)(128), 접촉/움직임 모듈(또는 명령어 집합)(130), 그래픽 모듈(또는 명령어 집합)(132), 편집 모듈(또는 명령어 집합)(133), 텍스트 입력 모듈(또는 명령어 집합)(134), GPS(Global Positioning System) 모듈(또는 명령어 집합)(135), 및 응용 프로그램(또는 명령어 집합)(136)을 포함할 수 있다.
운영 체제(126)(예를 들어, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반 시스템 작업(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리, 기타)을 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 구성요소와 소프트웨어 구성요소 사이의 통신을 용이하게 해준다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 장치들과의 통신을 용이하게 해주고, 또한 RF 회로(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하는 다양한 소프트웨어 구성요소를 포함한다. 외부 포트(124)[예를 들어, USB(Universal Serial Bus), FireWire, 기타]는 다른 장치들에 직접 결합하거나 네트워크(예를 들어, 인터넷, 무선 LAN, 기타)를 통해 간접적으로 결합하도록 되어 있다. 스마트 폰(100)을 손에 쥘 수 있는(Handheld) 장치(예: PDA, Tablet PC, I-POD, I-PAD)로 확장하면, 외부 포트(124)는 iPod(Apple Computer, Inc.의 상표) 장치에서 사용되는 30-핀 커넥터와 동일하거나 유사하고 및/또는 호환되는 멀티-핀(예를 들어, 30-핀) 커넥터일 수 있다.
접촉/움직임 모듈(130)은 [디스플레이 제어기(156)와 관련된] 터치 스크린(112)에 대한 접촉을 검출할 수 있다. 접촉/움직임 모듈(130)은 접촉이 일어났는지를 판정하는 것(예를 들어, 손가락-아래로 이벤트를 검출하는 것), 접촉의 움직임이 있는지를 판정하고 터치-감응 표면을 가로지르는 움직임을 추적하는 것(예를 들어, 하나 이상의 손가락-드래그 이벤트를 검출하는 것), 및 접촉이 중단되었는지를 판정하는 것(예를 들어, 손가락-위로 이벤트 또는 접촉의 단절을 검출하는 것)과 같은, 접촉의 검출과 관련된 다양한 동작을 수행하는 다양한 소프트웨어 구성요소를 포함한다. 접촉/움직임 모듈(130)은 터치-감응 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터로 표현되는 접촉 지점의 움직임을 판정하는 것은 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함할 수 있다. 이들 동작은 단일 접촉(예를 들어, 하나의 손가락 접촉)에 또는 다중 동시 접촉(예를 들어, "멀티터치"/다중 손가락 접촉)에 적용될 수 있다. 접촉/움직임 모듈(130)은 사용자에 의해 입력된 제스처를 검출할 수 있다. 터치-감응 표면상의 상이한 제스처는 상이한 접촉 패턴을 가진다. 따라서, 특정의 접촉 패턴을 검출함으로써 제스처가 검출될 수 있다. 예를 들어, 손가락 탭핑 제스처를 검출하는 것은 손가락-아래로 이벤트를 검출하고 이어서 손가락-아래로 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예를 들어, 아이콘의 위치에서) 손가락-위로 이벤트를 검출하는 것을 포함한다. 다른 일례로서, 터치-감응 표면 상에서 손가락 스와이프 제스처를 검출하는 것은 손가락-아래로 이벤트를 검출하고 이어서 하나 이상의 손가락-드래그 이벤트를 검출하며 그 후에 손가락-위로 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은 디스플레이되는 그래픽의 휘도를 변경하는 구성요소를 비롯한, 터치 스크린(112) 또는 기타 디스플레이 상에 그래픽을 렌더링하고 디스플레이하는 다양한 공지된 소프트웨어 구성요소를 포함한다. 본 개시에서 사용되는 바와 같이, '그래픽'이라는 용어는 텍스트, 웹 페이지, 아이콘(소프트 키를 비롯한 사용자 인터페이스 객체 등), 디지털 이미지, 비디오, 애니메이션, 기타(이들로 제한되지 않음)를 비롯한 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다. 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽은 대응하는 코드를 할당받을 수 있다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 기타 그래픽 속성 데이터와 함께 디스플레이될 그래픽을 지정하는 하나 이상의 코드를 응용 프로그램 등으로부터 수신하고, 이어서 디스플레이 제어기(156)에 출력할 스크린 이미지 데이터를 발생한다.
텍스트 입력 모듈(134)의 구성요소일 수 있는 편집 모듈(133)은 다양한 응용 프로그램[예를 들어, 연락처(137), 이메일(140), IM(141), 브라우저(147), 달력(148), 검색 모듈(151), 및 콘텐츠를 선택하고 편집할 필요가 있는 임의의 다른 응용 프로그램]에서 사용자-선택 콘텐츠에 관련된 잘라내기, 복사, 붙여넣기, 및 기타 기능을 제공한다.
그래픽 모듈(132)의 구성요소일 수 있는 텍스트 입력 모듈(134)은 다양한 응용 프로그램[예를 들어, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 응용 프로그램]에서 텍스트를 입력하는 소프트 키보드를 제공한다.
GPS 모듈(135)은 스마트 폰의 위치(100)를 결정하고, 이 정보를 다양한 응용 프로그램에서 사용하도록[예를 들어, 위치-기반 다이얼링에서 사용하도록 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 및 날씨 위젯, 지역 옐로우 페이지 위젯, 및 지도/내비게이션 위젯과 같은 위치-기반 서비스를 제공하는 응용 프로그램에] 제공한다.
응용 프로그램(136)은 다음과 같은 모듈(또는 명령어 집합) 또는 그의 부분 집합 또는 상위 집합(superset)을 포함할 수 있다:
연락처 모듈(137)(때때로 주소록 또는 연락처 목록이라고 함), 전화 모듈(138), 화상 회의 모듈(139), 이메일 클라이언트 모듈(140), 인스턴트 메시징(IM) 모듈(141), 운동 보조 모듈(142), 정지 및/또는 비디오 영상에 대한 카메라 모듈(143), 이미지 관리 모듈(144), 비디오 플레이어 모듈(145), 음악 플레이어 모듈(146), 브라우저 모듈(147), 달력 모듈(148), 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 기타 위젯은 물론, 사용자-생성 위젯(149-6)을 포함할 수 있는 위젯 모듈(149), 사용자-생성 위젯(149-6)을 만드는 위젯 생성기 모듈(150), 검색 모듈(151), 비디오 플레이어 모듈(145) 및 음악 플레이어 모듈(146)을 병합한 비디오 및 음악 플레이어 모듈(152), 메모 모듈(153), 지도 모듈(154), 및/또는 온라인 비디오 모듈(155), 메모리(102)에 저장될 수 있는 다른 응용 프로그램(136)의 일례는 다른 워드 프로세싱 응용 프로그램, 다른 이미지 편집 응용 프로그램, 그리기 응용 프로그램, 프레젠테이션 응용 프로그램, JAVA-지원 응용 프로그램, 암호화, 디지털 저작권 관리(digital rights management), 음성 인식, 및 음성 복제를 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 연락처 모듈(137)은 주소록에 이름(들)을 추가하는 것, 주소록으로부터 이름(들)을 삭제하는 것, 전화 번호(들), 이메일 주소(들), 실제 주소(들) 또는 기타 정보를 이름과 연관시키는 것, 이미지를 이름과 연관시키는 것, 이름을 분류하고 정렬하는 것, 전화(138), 화상 회의(139), 이메일(140), 또는 IM(141)에 의한 통신을 시작하고 및/또는 용이하게 해주기 위해 전화 번호 또는 이메일 주소를 제공하는 것 등을 비롯하여 주소록 또는 연락처 목록을 관리하는 데 사용될 수 있다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 편집 모듈(133), 및 텍스트 입력 모듈(134)과 관련하여, 전화 모듈(138)은 전화 번호에 대응하는 문자 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화 번호에 액세스하며, 입력된 전화 번호를 수정하고, 각각의 전화 번호를 다이얼하며, 대화를 수행하고, 대화가 완료될 때 연결 해제하거나 수화기를 놓는 데 사용될 수 있다.
상기 언급한 모듈 및 응용 프로그램 각각은 상기한 하나 이상의 기능을 수행하는 실행가능 명령어 집합 및 이 응용 프로그램에 기술된 방법에 대응한다. 이들 모듈(즉, 명령어 집합)은 별도의 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요가 없고, 따라서 이들 모듈의 다양한 부분집합이 결합되거나 다른 방식으로 재배열될 수 있다. 예를 들어, 비디오 플레이어 모듈(145)은 음악 플레이어 모듈(146)과 결합되어 하나의 모듈로 될 수 있다.
도 2는 한국 등록특허공보 제10-1055481호에 제시된 셋탑 박스의 일 예를 나타내는 도면으로서, 셋탑 박스(200)는 케이블 TV/IPTV 수신부(201; Cable TV/IPTV Receiver), 데이터 통신 I/F(Interface)부(202; Data Comm. I/F), 주 제어부(203; Main Controller), 인터넷 접속 처리부(204; Internet Access Processor), 응용 서비스 처리부(205; ISO/CP-Provided Application Service Processor), TV 제어 화면 생성부(206; TV control Video Generator; 206), 영상 구성부(207; Display Video Combiner; 207), 영상 구성부(208; User Terminal Video Combiner), 수신 신호 처리부(209; User Terminal Sensor Handling Processor), 영상 최적화부(210; Display Video Optimizer), 영상 최적화부(211; User Terminal Video Optimizer), 영상 압축 처리부(212; Video Compression Processor), TV I/F부(213), 비디오 통신 I/F부(214; Video Comm. I/F), 데이터 통신 I/F부(215; User Terminal Data Comm. I/F) 등으로 구성될 수 있다.
케이블 TV/IPTV 수신부(201)는 방송 데이터 수신부로서 케이블 TV 수신부 및 IPTV 수신부로 구분될 수 있다. 케이블 TV 수신부는 케이블 TV 신호에 대한 복조(demodulation)를 수행한다. 이때, 복조된 후의 데이터는 압축된 영상, 음성 및 부가 정보로 구성된다. 압축된 영상은 MPEG/H.26x 표준에 따른 복원(decompression)을 수행하여 비디오 원본 데이터(video raw data)를 생성한다. 또한, 압축된 음성은 MPEG/AC3/AAC 표준에 따른 복원(decompression)을 수행하여 오디오 원본 데이터(audio raw data)를 생성한다. 아울러, 부가 정보는 주 제어부(203)로 전송된다. 한편, 비디오 원본 데이터로 구성되는 디스플레이 화면은 순수한 TV 디스플레이 화면으로서, 디스플레이(300) 또는 사용자 단말기(100A,100B)의 디스플레이 영역에 표시될 수 있다. IPTV 수신부는, 인터넷(internet)을 통해 위 데이터를 수신하여, 이후의 과정은 동일하다.
데이터 통신 I/F부(202)는 케이블 TV/IPTV 수신부(201)에서 수신되는 TV 방송 콘텐츠 수신과는 별도의 데이터 통신을 수행하는 데이터 통신 채널이다. 이 인터페이스를 통한 통신 수단은 WiFi일 수도 있고, 3G 통신이 될 수도 있으며, 인터넷 접속이 가능한 어떠한 유무선 통신 수단도 가능하다.
주 제어부(203)는 사용자 단말기(100A,100B)를 통한 각종 기능을 지원하는 셋탑 박스(200)의 주 제어 기능을 수행한다. 즉, 인터넷 접속을 통해 현재 TV 방송 콘텐츠의 정보를 계속해서 갱신하여 사용자에게 제공한다. 또한, 사용자가 원하는 명령을 수신 신호 처리부(209)를 통해 수신하여 디스플레이(300)의 설정(display configuration)을 제어한다. 아울러, TV 채널 변경, 음성 조절 등과 같은 TV 설정 변경을 제어하며, 사용자 단말기(100A,100B)를 통한 인터넷 접속을 제어하고, T-commerce와 같은 CP 및 ISO가 제공하는 응용 서비스의 제어를 수행한다.
인터넷 접속 처리부(204)는 사용자가 사용자 단말기(100A,100B)를 통해 인터넷 접속을 수행할 경우 이를 제어하는 기능을 수행한다. 인터넷 접속 처리부(204)를 통해 TV 디스플레이 영역과는 별도로 인터넷 디스플레이 영역을 생성하여 각종 정보를 제공하게 된다.
응용 서비스 처리부(205)는 CP(Content Provider) 또는 ISO(Internet Service Operator)가 제공하는 응용 서비스(예컨대, T-commerce, 지역 광고, 지역 정보, 긴급 정보 등)을 제어한다. 즉, 현재 방송되고 있는 콘텐츠와 밀접하게 관련된 사항에 대하여 사용자에게 T-commerce 서비스 등과 같은 응용 서비스를 제공할 수 있다. 또한, 현재 방송되고 있는 콘텐츠와 밀접하게 연관된 정보들을 실시간으로 자동적으로 디스플레이하는 기능을 수행할 수 있다. 예컨대, 지역광고, 긴급정보 등을 포함하여, CP에서 제공하는 SMS 기능들을 제공할 수 있다. 이러한 각종 응용 서비스를 통한 정보들은 사용자 단말기(100A,100B)에서 하나의 응용 서비스 화면 영역을 형성하여 제공할 수 있다.
TV 제어 화면 생성부(206)는 TV 채널 변경, 음량 조정, 설정 변경 등에 대한 별도의 제어 디스플레이 영역을 생성한다.
영상 구성부(207)는 케이블 TV/IPTV 수신부(201), 인터넷 접속 처리부(204), 응용 서비스 처리부(205), TV 제어 화면 생성부(206)를 통해 제공되는 각 디스플레이 영역을 사용자가 설정한 형태로 결합하여 디스플레이 영역을 생성한다.
영상 구성부(208)는 케이블 TV/IPTV 수신부(201), 인터넷 접속 처리부(204), 응용 서비스 처리부(205), TV 제어 화면 생성부(206)를 통해 제공되는 각 디스플레이 영역을 사용자가 설정한 형태로 결합하여 사용자 단말기 디스플레이 영역을 생성한다.
영상 최적화부(210)는 사용하는 TV(즉, 디스플레이(300))의 설정에 적합하도록 디스플레이 화면을 최적화한다. 이때, 스케일링(Scaling), 프레임 레이트 변환(Frame rate conversion), 인핸스먼트(Enhancement) 등의 각종 신호 처리 방법을 적용할 수 있다.
영상 최적화부(211)는 사용하는 사용자 단말기(100A,100B)의 설정에 적합하도록 사용자 단말기 디스플레이 화면을 최적화한다. 이때, 마찬가지로 스케일링(Scaling), 프레임 레이트 변환(Frame rate conversion), 인핸스먼트(Enhancement) 등의 각종 신호 처리 방법을 적용할 수 있다. 따라서, 사용자 단말기(100A)를 사용하다가 사용자 단말기(100B)를 통해 연결하더라도 해당 사용자 단말기에 최적화된 영상을 생성하여 제공할 수가 있게 된다.
영상 압축 처리부(212)는 기가비트(Gigabit) 등과 같은 고속의 송수신 기술이 장착되지 않은 스마트폰 또는 타블렛 등을 사용할 경우에는 비디오 원본 데이터를 송신하는 것이 부적절하기 때문에 원본 데이터를 압축하는 기능을 수행한다. 이때에는, 상기 압축된 데이터를 수신하는 사용자 단말기에서 압축을 복원하는 처리 구성이 추가되어야 한다.
수신 신호 처리부(209)는 사용자 단말기(100A,100B)를 통해 사용자가 입력 수단(예: 터치 스크린)을 통해 입력하는 정보를 취합하는 기능을 수행한다. 이를 위해, 비디오 통신 I/F부(214)의 상향 채널(uplink channel)을 이용할 수도 있고, WiFi의 상향 채널을 이용할 수도 있다. 다른 방법으로 블루투스(Bluetooth; BT) 등의 통신 수단을 이용할 수도 있다.
한편, 수신 신호 처리부(209)에서 수신된 정보는 주 제어부(203)로 전송되어, 상술한 각 디스플레이영역들을 제어하거나, 사용자가 원하는 형태의 명령을 수행한다.
TV I/F부(213)는 디스플레이(300)와 연결되는 인터페이스로서 HDMI/Component/Composite 등 각종 연결 수단을 사용할 수 있다.
비디오 통신 I/F부(214)는 비디오 원본 데이터 전송을 위한 인터페이스로서, HD 신호 전송을 위해 WirelessHD, WirelessUSB, WirelessPCI, 또는 WiGig 등을 이용할 수 있다. 이때, 하향 채널(Downlink)은 비디오 원본 데이터 전송을 위해 사용하고, 상향 채널(uplink)은 사용자의 터치 스크린(touch screen)에 의한 입력 정보 전송을 위한 반송 채널(return channel)로 이용할 수 있다.
데이터 통신 I/F부(215)는 WiFi, 블루투스 등으로 구현할 수 있다.
도 3은 미국 공개특허공보 제2011-0190052호에 제시된 게임 시스템의 일 예를 나타내는 도면으로서, 닌텐도의 Wii 시스템이 제시되어 있다. 게임 장치(3)는, CPU(Central Processing Unit)(10a), 시스템 LSI(11), 외부 메인 메모리(12), ROM/RTC(13), 디스크 드라이브(14) 및 AV-IC(15) 등을 갖는다. CPU(10a)는 광 디스크(4)에 기억된 게임 프로그램을 실행함으로써 게임 처리를 실행하는 것이며, 게임 프로세서로서 기능한다. CPU(10a)는 시스템 LSI(11)에 접속된다. 시스템 LSI(11)에는, CPU(10a) 외에, 외부 메인 메모리(12), ROM/RTC(13), 디스크 드라이브(14) 및 AV-IC(15)가 접속된다. 시스템 LSI(11)는, 그것에 접속되는 각구성 요소간에 있어서의 데이터 전송의 제어, 표시해야 할 화상의 생성, 외부 장치로부터의 데이터의 취득 등의 처리를 행한다. 휘발성의 외부 메인 메모리(12)는 광 디스크(4)로부터 판독된 게임 프로그램이나, 플래시 메모리(17)로부터 판독된 게임 프로그램 등의 프로그램을 기억하거나, 각종 데이터를 기억하거나 하는 것이며, CPU(10a)의 워크 영역이나 버퍼 영역으로서 사용된다. ROM/RTC(13)는, 게임 장치(3)의 기동용 프로그램이 내장되는 ROM(소위 부트 ROM)과, 시간을 카운트하는 클록 회로(RTC: Real Time Clock)를 갖는다. 디스크 드라이브(14)는 광 디스크(4)로부터 프로그램 데이터나 텍스처 데이터 등을 판독하고, 후술하는 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)에 판독한 데이터를 기입한다. 시스템 LSI(11)에는, 입출력 프로세서(I/O 프로세서)(11a), GPU(Graphics Processor Unit)(11b), DSP(Digital Signal Processor)(11c), VRAM(Video RAM)(11d) 및 내부 메인 메모리(11e)가 설치된다. GPU(11b)는 묘화 수단의 일부를 형성하고, CPU(10a)로부터의 그래픽스 커맨드(작화 명령)에 따라서 화상을 생성한다. VRAM(11d)은 GPU(11b)가 그래픽스 커맨드를 실행하기 위하여 필요한 데이터(폴리곤 데이터나 텍스처 데이터 등의 데이터)를 기억한다. 화상이 생성될 때에는, GPU(11b)는 VRAM(11d)에 기억된 데이터를 사용하여 화상 데이터를 작성한다. 또한, 게임 장치(3)는, 텔레비전(2)에 표시하는 게임 화상과, 단말 장치(7)에 표시하는 게임 화상의 양쪽을 생성한다. DSP(11c)는 오디오 프로세서로서 기능하고, 내부 메인 메모리(11e)나 외부 메인 메모리(12)에 기억되는 사운드 데이터나 음파형(음색) 데이터를 사용하여 음성 데이터를 생성한다. 게임 장치(3)에 있어서 생성되는 화상 및 음성 중에서, 텔레비전(2)에 있어서 출력되는 화상 및 음성의 데이터는, AV-IC(15)에 의해 판독된다. AV-IC(15)는 판독한 화상 데이터를 AV 커넥터(16)를 통하여 텔레비전(2)에 출력함과 함께, 판독한 음성 데이터를 텔레비전(2)에 내장되는 스피커(2a)에 출력한다. 이에 의해, 텔레비전(2)에 화상이 표시됨과 함께 스피커(2a)로부터 소리가 출력된다. 또한, 게임 장치(3)에 있어서 생성되는 화상 및 음성 중에서, 단말 장치(7)에 있어서 출력되는 화상 및 음성의 데이터는, 입출력 프로세서(11a) 등에 의해 단말 장치(7)로 송신된다. 입출력 프로세서(11a)는, 그것에 접속되는 구성 요소와의 사이에서 데이터의 송수신을 실행하거나, 외부 장치로부터의 데이터의 다운로드를 실행하거나 한다. 입출력 프로세서(11a)는, 플래시 메모리(17), 네트워크 통신 모듈(18), 컨트롤러 통신 모듈(19), 확장 커넥터(20a), 메모리 카드용 커넥터(21), 코덱 LSI(27)에 접속된다. 또한, 네트워크 통신 모듈(18)에는 안테나(22)가 접속된다. 컨트롤러 통신 모듈(19)에는 안테나(23)가 접속된다. 코덱 LSI(27)는 단말기 통신 모듈(28)에 접속되고, 단말기 통신 모듈(28)에는 안테나(29)가 접속된다. 게임 장치(3)는 인터넷 등의 네트워크에 접속하여 외부 정보 처리 장치(예를 들어 다른 게임 장치나, 각종 서버 등)와 통신을 행하는 것이 가능하다. 즉, 입출력 프로세서(11a)는 네트워크 통신 모듈(18) 및 안테나(22)를 통하여 인터넷 등의 네트워크에 접속하여, 네트워크에 접속되는 외부 정보 처리 장치와 통신할 수 있다. 입출력 프로세서(11a)는 정기적으로 플래시 메모리(17)에 액세스하고, 네트워크로 송신할 필요가 있는 데이터의 유무를 검출하고, 당해 데이터가 있는 경우에는, 네트워크 통신 모듈(18) 및 안테나(22)를 통하여 네트워크에 송신한다. 또한, 입출력 프로세서(11a)는 외부 정보 처리 장치로부터 송신되어 오는 데이터나 다운로드 서버로부터 다운로드한 데이터를, 네트워크, 안테나(22) 및 네트워크 통신 모듈(18)을 통하여 수신하고, 수신한 데이터를 플래시 메모리(17)에 기억한다. CPU(10a)는 게임 프로그램을 실행함으로써, 플래시 메모리(17)에 기억된 데이터를 판독하여 게임 프로그램에서 이용한다. 플래시 메모리(17)에는, 게임 장치(3)와 외부 정보 처리 장치 사이에서 송수신되는 데이터 외에, 게임 장치(3)를 이용하여 플레이한 게임의 세이브 데이터(게임의 결과 데이터 또는 도중 데이터)가 기억되어도 된다. 또한, 플래시 메모리(17)에는 게임 프로그램이 기억되어도 된다. 또한, 게임 장치(3)는, 컨트롤러(5)로부터의 조작 데이터를 수신하는 것이 가능하다. 즉, 입출력 프로세서(11a)는 컨트롤러(5)로부터 송신되는 조작 데이터를 안테나(23) 및 컨트롤러 통신 모듈(19)을 통하여 수신하고, 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)의 버퍼 영역에 기억(일시 기억)한다. 또한, 게임 장치(3)는 단말 장치(7)와의 사이에서 화상이나 음성 등의 데이터를 송수신하는 것이 가능하다. 입출력 프로세서(11a)는 단말 장치(7)로 게임 화상(단말기용 게임 화상)을 송신하는 경우, GPU(11b)가 생성한 게임 화상의 데이터를 코덱 LSI(27)에 출력한다. 코덱 LSI(27)는 입출력 프로세서(11a)로부터의 화상 데이터에 대하여 소정의 압축 처리를 행한다. 단말기 통신 모듈(28)은 단말 장치(7)와의 사이에서 무선 통신을 행한다. 따라서, 코덱 LSI(27)에 의해 압축된 화상 데이터는, 단말기 통신 모듈(28)에 의해 안테나(29)를 통하여 단말 장치(7)로 송신된다. 또한, 게임 장치(3)로부터 단말 장치(7)로 송신되는 화상 데이터는 게임에 사용하는 것이며, 게임에 있어서는 표시되는 화상에 지연이 발생하면 게임의 조작성에 악영향을 준다. 그로 인해, 게임 장치(3)로부터 단말 장치(7)로의 화상 데이터의 송신에 관해서는, 가능한 한 지연이 발생하지 않도록 하는 것이 바람직하다. 따라서, 코덱 LSI(27)는, 예를 들어 H.264 규격과 같은 고효율의 압축 기술을 이용하여 화상 데이터를 압축한다. 또한, 그 이외의 압축 기술을 이용해도 되고, 통신 속도가 충분한 경우에는 무압축으로 화상 데이터를 송신하는 구성이어도 된다. 또한, 단말기 통신 모듈(28)은, 예를 들어 Wi-Fi의 인증을 받은 통신 모듈이며, 예를 들어 IEEE802.11n 규격으로 채용되는 MIMO(Multiple Input Multiple Output)의 기술을 이용하여 단말 장치(7)와의 사이의 무선 통신을 고속으로 행하도록 해도 되고, 다른 통신 방식을 이용해도 된다. 또한, 게임 장치(3)는, 화상 데이터 외에, 음성 데이터를 단말 장치(7)로 송신한다. 즉, 입출력 프로세서(11a)는, DSP(11c)가 생성한 음성 데이터를, 코덱 LSI(27)를 통하여 단말기 통신 모듈(28)로 출력한다. 코덱 LSI(27)는, 음성 데이터에 대해서도 화상 데이터와 마찬가지로 압축 처리를 행한다. 음성 데이터에 대한 압축의 방식은, 어떠한 방식이어도 되지만, 압축률이 높고, 음성의 열화가 적은 방식이 바람직하다. 또한, 다른 실시 형태에 있어서는, 음성 데이터는 압축되지 않고 송신되어도 된다. 단말기 통신 모듈(28)은 압축된 화상 데이터 및 음성 데이터를, 안테나(29)를 통하여 단말 장치(7)로 송신한다. 또한, 게임 장치(3)는, 상기 화상 데이터 및 음성 데이터 외에, 필요에 따라서 각종 제어 데이터를 단말 장치(7)로 송신한다. 제어 데이터는, 단말 장치(7)가 구비하는 구성 요소에 대한 제어 지시를 나타내는 데이터이다. 입출력 프로세서(11a)는 CPU(10a)의 지시에 따라서 제어 데이터를 단말 장치(7)로 송신한다. 또한, 게임 장치(3)로부터 단말 장치(7)로 송신되는 상술한 데이터는, 필요에 따라서 암호화가 되어 있어도 되고, 되어 있지 않아도 된다. 또한, 게임 장치(3)는 단말 장치(7)로부터 각종 데이터를 수신 가능하다. 단말 장치(7)는 조작 데이터, 화상 데이터 및 음성 데이터를 송신한다. 단말 장치(7)로부터 송신되는 각 데이터는 안테나(29)를 통하여 단말기 통신 모듈(28)에 의해 수신된다. 여기서, 단말 장치(7)로부터의 화상 데이터 및 음성 데이터는 게임 장치(3)로부터 단말 장치(7)로의 화상 데이터 및 음성 데이터와 같은 압축 처리가 실시되어 있다. 따라서, 이들 화상 데이터 및 음성 데이터에 대해서는, 단말기 통신 모듈(28)로부터 코덱 LSI(27)에 보내져, 코덱 LSI(27)에 의해 신장 처리가 실시되어 입출력 프로세서(11a)에 출력된다. 한편, 단말 장치(7)로부터의 조작 데이터에 관해서는, 화상이나 음성에 비하여 데이터량이 적으므로, 압축 처리가 실시되어 있지 않아도 된다. 또한, 필요에 따라서 암호화가 되어 있어도 되고, 되어 있지 않아도 된다. 따라서, 조작 데이터는 단말기 통신 모듈(28)에서 수신된 후, 코덱 LSI(27)를 통하여 입출력 프로세서(11a)에 출력된다. 입출력 프로세서(11a)는 단말 장치(7)로부터 수신한 데이터를, 내부 메인 메모리(11e) 또는 외부 메인 메모리(12)의 버퍼 영역에 기억(일시 기억)한다. 또한, 게임 장치(3)는 다른 기기나 외부 기억 매체에 접속하는 것이 가능하다. 즉, 입출력 프로세서(11a)에는 확장 커넥터(20a) 및 메모리 카드용 커넥터(21)가 접속된다. 확장 커넥터(20a)는 USB나 SCSI와 같은 인터페이스를 위한 커넥터이다. 확장 커넥터(20a)에 대해서는, 외부 기억 매체와 같은 미디어를 접속하거나, 다른 컨트롤러 등의 주변 기기를 접속하거나, 유선 통신용 커넥터를 접속함으로써 네트워크 통신 모듈(18)로 바꾸어 네트워크와의 통신을 행하거나 할 수 있다. 메모리 카드용 커넥터(21)는 메모리 카드와 같은 외부 기억 매체를 접속하기 위한 커넥터이다. 예를 들어, 입출력 프로세서(11a)는 확장 커넥터(20a)나 메모리 카드용 커넥터(21)를 통하여 외부 기억 매체에 액세스하고, 외부 기억 매체에 데이터를 보존하거나, 외부 기억 매체로부터 데이터를 판독하거나 할 수 있다. 게임 장치(3)에는, 전원 버튼(24), 리셋 버튼(25) 및 이젝트 버튼(26)이 설치된다. 전원 버튼(24) 및 리셋 버튼(25)은 시스템 LSI(11)에 접속된다. 전원 버튼(24)이 온되면, 도시하지 않은 AC 어댑터에 의해 외부의 전원으로부터 게임 장치(3)의 각 구성 요소에 대하여 전력이 공급된다. 리셋 버튼(25)이 눌리면, 시스템 LSI(11)는 게임 장치(3)의 기동 프로그램을 재기동한다. 이젝트 버튼(26)은 디스크 드라이브(14)에 접속된다. 이젝트 버튼(26)이 눌리면, 디스크 드라이브(14)로부터 광 디스크(4)가 배출된다. 또한, 다른 실시 형태에 있어서는, 게임 장치(3)가 구비하는 각 구성 요소 중에서 몇 개의 구성 요소는, 게임 장치(3)와는 별개 부재의 확장 기기로서 구성되어도 된다. 이때, 확장 기기는, 예를 들어 상기 확장 커넥터(20a)를 통하여 게임 장치(3)와 접속되도록 해도 된다. 구체적으로는, 확장 기기는, 예를 들어 상기 코덱 LSI(27), 단말기 통신 모듈(28) 및 안테나(29)의 각 구성 요소를 구비하고 있고, 확장 커넥터(20a)에 대하여 착탈 가능해도 된다. 이에 따르면, 상기 각 구성 요소를 구비하고 있지 않은 게임 장치에 대하여 상기 확장 기기를 접속함으로써, 당해 게임 장치를 단말 장치(7)와 통신 가능한 구성으로 할 수 있다.
이와 같이, 다양한 형태의 스마트 폰, 타블릿 PC, 셋탑 박스, 게임 장치, 디스플레이 등이 제시되고 있으며, 본 발명자들은 이들의 사이에서 컨텐츠(예: 게임)를 이용하기 위한 수단을 제공하고자 한다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 디스플레이; 그래픽을 디스플레이로 전송하는 컨텐츠 실행기; 그리고, 컨텐츠 실행기와 교신할 수 있고, 그래픽을 표시하는 않는 상태에서 사용자의 입력을 받는 터치 스크린을 구비하며, 터치 스크린 터치시 이 정보를 컨텐츠 실행기로 전송하고, 손에 쥘 수 있는 사용자 단말기;를 포함하는 것을 특징으로 하는 컨텐츠 실행 시스템이 제공된다.
이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.
도 1은 미국 공개특허공보 제2010-0235726호에 제시된 스마트 폰의 일 예를 나타내는 도면,
도 2는 한국 등록특허공보 제10-1055481호에 제시된 셋탑 박스의 일 예를 나타내는 도면,
도 3은 미국 공개특허공보 제2011-0190052호에 제시된 게임 시스템의 일 예를 나타내는 도면,
도 4는 본 개시에 따른 시스템의 일 예를 나타내는 도면,
도 5는 본 개시에 따른 컨텐츠 실행기의 기능적 구성의 일 예를 나타내는 도면,
도 6은 본 개시에 따른 시스템의 구체적인 작동의 일 예를 나타내는 도면,
도 7은 본 개시에 따른 컨텐츠 실행기의 일 예를 나타내는 도면,
도 8은 본 개시에 따라 컨텐츠 실행기에서 게임(응용 프로그램)을 진행하는 방법의 일 예를 설명하는 도면,
도 9는 본 개시에 따라 사용자 단말기에서 게임(응용 프로그램)을 진행하는 방법의 일 예를 설명하는 도면,
도 10은 본 개시에 따른 시스템을 기능에 따라 설명하는 도면,
도 11은 본 개시에 따른 사용자 단말기의 일 예를 나타내는 도면,
도 12 및 도 13은 사용자 단말기에서 복수의 입력부(10-1,10-2,10-3)의 배치를 변경하는 일 예를 나타내는 도면,
도 14 및 도 15는 사용자 단말기측 응용 프로그램에서의 작동의 일 예를 나타내는 도면,
도 16은 사용자 단말기에서 복수의 입력부(10-1,10-2,10-3)를 설정하는 다른 예를 나타내는 도면,
도 17은 컨텐츠 실행기(30)측 컨텐트(예: 게임 응용 프로그램)에서 입력부를 수정하는 일 예를 설명하는 도면,
도 18은 수정된 입력부의 일 예를 나타내는 도면,
도 19는 입력부를 수정하는 또다른 예를 설명하는 도면,
도 20은 수정된 입력부가 반영된 터치 스크린의 일 예를 나타내는 도면,
도 21은 본 개시에 따라 컨텐츠 실행 시스템을 운용하는 방법의 일 예를 설명하는 도면,
도 22는 본 개시에 따른 입력부 북의 일 예를 설명하는 도면,
도 23은 본 개시에 따른 네비게이션 윈도우의 일 예를 설명하는 도면,
도 24는 본 개시에 따른 컨텐츠 실행 시스템을 운용하는 다른 예를 나타내는 도면,
도 25는 본 개시에 따른 컨텐츠 실행 시스템을 운용하는 또다른 예를 나타내는 도면,
도 26은 컨텐츠 실행기의 운영체계 환경의 일 예를 나타내는 도면.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).
도 4는 본 개시에 따른 시스템의 일 예를 나타내는 도면으로서, 복수의 사용자 단말기(10), 디스플레이(20), 그리고 컨텐츠 실행기(30)가 구비되어 있다.
사용자 단말기(10)의 전형적인 예는 애플의 i-Phone, 삼성의 갤럭시S와 같은 스마트 폰이다. 손에 쥐고 사용할 수 있는(Handheld) 단말기라면, 사용자 단말기(10)는 특별히 제한되지 않으며, 테블릿 PC, PDA도 이러한 단말기에 해당할 수 있다. 다만 사용자 단말기(10)는 컨텐츠 실행기(30)와 교신할 수 있는 것이라야 한다. 이러한 교신에는 도 1 내지 도 3에 설명된 교신 형태들이 포함되며, 전형적인 예는 WiFi 통신과 블루투스 통신이다. 사용자 단말기(10)가 스마트 폰인 경우에, 사용자 단말기(10)는 3G/4G과 같은 이동 통신망(40)을 통해 전화 및 서버(50)와의 데이터 통신을 할 수가 있으며, WiFi와 같은 인터넷 통신을 이용할 수도 있다.
컨텐츠 실행기(30)의 주 기능은 게임과 같은 컨텐츠를 실행시키고, 이를 디스플레이(20)에 표시 가능케 하는 것이며, 전형적인 물리적 형태는 셋탑 박스(Set Top Box) 및 Wii 같은 게임 장치이다. 그러나 컨텐츠 실행기(30)는 사용자 단말기(10)로부터 교신된 내용을 어떤 형태로든 디스플레이(20)에 반영할 수 있는 구조이기만 하면 된다. 도 5에 컨텐츠 실행기(30)의 구성요소들을 기능적으로 나타내어 보았다. 컨텐츠 실행기(30)는 디스플레이(20)와 무선 및/또는 유선으로 교신하며, 디스플레이(20)에 그래픽을 가능케 하는 디스플레이 인터페이스(31), 사용자 단말기(10)와 교신하는 사용자 단말기 인터페이스(33), 그리고 메모리(34)와 CPU과 같은 처리 장치(35)를 가지며, 컨텐츠를 실행시키고, 디스플레이 인터페이스(31)와 사용자 단말기 인터페이스(33) 사이에서 데이터의 흐름을 제어하고 가능케 하는 소프트웨어를 탑재한 제어부(32)를 구비한다. 이들은 공지의 하드웨어적, 소드웨어적, 하드웨어/소프트웨어 통합적 요소들로 구성될 수 있다. 컨텐츠 실행기(30)는 디스플레이(20)와 독립적으로 존재해도 좋고, 일체로 존재해도 좋다. 컨텐츠 실행기(30)는 인터넷 네트워크(60)과 연결될 수 있으며, 도 2에 도시된 것과 같이 TV 수신용 케이블에 연결될 수도 있다. 즉, 컨텐츠 실행기(30)는 사용자 단말기(10)와의 교신과 별개로 외부와 통신을 하는 것이 가능하다.
디스플레이(20)의 전형적인 예는 LCD TV이다. 모니터 등 그래픽을 디스플레이할 수 있는 장치라면, 어떠한 장치여도 좋다.
도 6은 본 개시에 따른 시스템의 구체적인 작동의 일 예를 나타내는 도면으로서, 서버(50), 사용자 단말기(10), 컨텐츠 실행기(30) 그리고 디스플레이(20)가 구비되어 있다. 사용자 단말기(10)로 스마트 폰이, 서버(50)로 애플 스토어나 마켓이, 디스플레이(20)로 TV가 이용될 수 있다. 사용자는 서버(50)로부터 앱으로서 게임(응용 프로그램)을 다운로드받아(S61), 이를 컨텐츠 실행기(30)로 업로드한다(S62). 게임이 실행되면, 디스플레이(20)를 통해 게임이 디스플레이되고(S63), 사용자 단말기(10)와 컨텐츠 실행기(30)의 교신을 통해 게임을 할 수 있게 된다(S64). 이 예에서, 사용자 단말기(10)에서 실행될 수 있는 게임이 컨텐츠 실행기(30)로 그대로 전달된다. 즉, 컨텐츠 실행기(30) 환경에 적합한 게임(응용 프로그램)이 별도로 개발된 것이 아니라 종래에 애플 스토어나 마켓에서 다운로드되어 스마트 폰에서 실행될 수 있는 게임을 그대로 사용하는 것이다. 스마트 폰에는 가속도 센서와 같은 각종 센서와 터치 스크린 등의 각종 입력 수단이 구비되어 있다. 응용 프로그램(게임)이 사용자 단말기(10)로 다운로드되면, 다운로드된 응용 프로그램이 터치 스크린, 가속도 센서 등의 입력 수단과 연동할 수 있도록 소프트웨어적 환경 또는 운영체계의 환경이 마련되어 있다. 그러나 컨텐츠 실행기(30)에는 터치 스크린과 가속도 센서 등의 물리적 구성이 존재하지 않으므로(도 1을 예로 들어 설명하면, 터치 감응 디스플레이(112), 디스플레이 제어기(156) 및 접촉/움직임 모듈(130)이 구비되어 있지 않으므로), 응용 프로그램의 인스톨 자체가 불가능하거나, 응용 프로그램의 실행이 이루어지지 않을 수 있다.
도 7은 본 개시에 따른 컨텐츠 실행기의 일 예를 나타내는 도면으로서, 컨텐츠 실행기(30)는 터치 스크린(70) 및 가속도 센서(80)와 같은 입력 수단을 구비하지 않은 대신에, 소프트웨어적으로 구성된 가상 입력 수단으로서, 사용자 단말기(10)의 터치 스크린(70)과 가속도 센서(80)에 대응하는 가상 터치 스크린(71)과 가상 가속도 센서(81)를 구비한다. 이러한 가상 입력 수단(71,81)을 구비함으로써, 컨텐츠 실행기(30)가 스마트 폰에 구비된 여러 입력 수단들을 구비하지 않음에도, 컨텐츠 실행기(30)에 사용자 단말기(10)에서 실행가능한 컨텐츠, 즉 응용 프로그램(92)을 인스톨 및 실행할 수 있게 된다. 미설명 부호 (12) 및 (32) 각각은 사용자 단말기(10)의 제어부(12)와 컨텐츠 실행기(30)의 제어부(32)이다.
도 8은 본 개시에 따라 컨텐츠 실행기에서 게임(응용 프로그램)을 진행하는 방법의 일 예를 설명하는 도면으로서, 시작(실행)과 함께, 게임이 진행되면, 디스플레이(20)에 표시되는 것과 함께, 사용자 단말기(10)에도 필요한 화면이 표시된다(S81). 동시에 컨텐츠 실행기(30)는 사용자 단말기(10)의 입력 수단(70,80)으로부터의 입력을 기다려(S82), 입력이 있으면, 입력된 정보를 가상 입력 수단(71,81)을 통해 응용 프로그램(92)으로 전달한다(S83). 전달된 입력 정보는 응용 프로그램(92)에 반영되며, 해당 동작이 디스플레이(20) 및/또는 사용자 단말기(10)에 표시된다. 게임은 중간에 중단되거나 끝난 후 완료된다(S85).
도 9는 본 개시에 따라 사용자 단말기에서 게임(응용 프로그램)을 진행하는 방법의 일 예를 설명하는 도면으로서, 시작(실행)과 함께, 게임이 진행되면(게임은 사용자 단말기(10)에서 컨텐츠 실행기(30)에 시작 지시를 함으로써 시작될 수 있다.) 디스플레이(20)에 표시되는 것과 함께, 사용자 단말기(10)에도 필요한 화면이 표시된다(S91). 동시에 컨텐츠 실행기(30)는 사용자 단말기(10)의 입력 수단(70,80)으로부터의 입력을 대기하고(도 8에서 'A' 참조), 사용자 단말기(10)는 입력 수단(70,80)으로부터의 입력을 기다려(S92), 입력이 있으면, 입력된 정보를 콘텐츠 실행기(30)로 전달한다(S93; 도 9에서 'A' 참조). 이렇게 전달된 정보는 응용 프로그램(92)에 반영되며(S84), 게임에 반영되는 한편, 디스플레이(20) 및/또는 사용자 단말기(10)로 전달되어 표시된다(도 8 및 도 9에서 'B' 참조). 사용자 단말기(10)에서 이러한 컨텐츠의 운용은 응용 프로그램(92) 자체가 스마트 폰에서 실행되는 모드와 TV에서 실행되는 모드(컨텐츠 실행기(30)에서 실행되는 모드)를 지원할 수 있도록 구성됨으로써 이루어질 수 있으며, 또한 컨텐츠 실행기(30)에서 실행되는 모드를 지원하도록(즉, 컨텐츠가 컨텐츠 실행기(30)에서 실행될 때, 사용자 단말기(10)에 필요한 화면을 표시하고, 사용자 단말기(10)로부터의 입력을 컨텐츠 실행기(30)로 전달하도록) 별도의 응용 프로그램을 구성하여 행해질 수도 있다.
도 10은 본 개시에 따른 시스템을 기능에 따라 설명하는 도면으로서, 컨텐츠 실행기(30)는 기본적으로 컨텐트(응용 프로그램/게임)를 실행하며, 이 실행된 컨텐트를 디스플레이 인터페이스(31)를 통해, 디스플레이(20)에 전송하는 한편, 사용자 단말기 인터페이스(33)를 통한 사용자 단말기(10)와의 교신을 통해 사용자 단말기(10)로부터의 입력을 통해 작동된다. 사용자 단말기(10)는 기본적으로 컨텐츠 실행기(30)의 입력 수단으로 기능한다. 어떤 하나의 컴퓨팅 기능을 갖춘 장치가 다른 하나의 컴퓨팅 기능을 갖춘 장치와 교신하여 입력 수단으로 기능하는 것은 일반적인 기술이며, 도 3에서 설명된 미국 공개특허공보 제2011-0190052호에 제시된 게임 시스템에도 이러한 예가 설명되어 있다. 또한 휴대폰에 간단한 응용 프로그램을 구비하여, 적외선 통신을 통해, TV의 리모콘으로 사용하는 것은 아주 일반적인 것이다. 사용자 단말기(10)측 응용 프로그램은 터치 스크린 등의 입력 수단을 통한 입력을 받아, 입력된 데이트를 컨텐츠 실행기(30)로 전송하는 기능을 가지면 된다. 도 1을 예로 설명하면, 터치 스크린 즉, 터치 감응 디스플레이 시스템(112)을 통해 물리적 입력이 이루어지면, 디스플레이 제어기(156) 및 접촉/움직임 모듈(130)을 통해 입력 데이터가 사용자 단말기(10)측 응용 프로그램으로 전달되고, 사용자 단말기(10)측 응용 프로그램은 통신 모듈(128)과 RF 회로(108)를 통해 이 입력 데이터를 컨텐츠 실행기(30)로 전달하며, 이 입력 데이터가 물리적 입력 수단을 갖지 않는 컨텐츠 실행기(30)의 입력으로 이용된다. 부가적으로, 제어부(32)는 사용자 단말기(10)로 그래픽 등의 데이터를 전송할 수 있으며, 마찬가지로 사용자 단말기(10)측 응용 프로그램은 자체 데이터 및/또는 컨텐츠 실행기(30)로부터 전달된 데이터를 디스플레이할 수 있다.
도 11은 본 개시에 따른 사용자 단말기의 일 예를 나타내는 도면으로서, 사용자 단말기(10)는 입력 수단으로 터치 스크린(10a)을 포함한다. 터치 스크린(10a)은 복수의 입력부(10-1,10-2,10-3)가 구비되어 있다. 입력부(10-1), 입력부(10-2) 및 입력부(10-3) 각각을 터치/입력함에 따라, 이에 해당하는 입력 데이터1, 입력 데이터2 및 입력 데이터3이 생성되어 전송된다. 종래에 게임과 같은 컨텐츠가 주로 사용자 단말기(10)에서 실행되었으므로, 복수의 입력부(10-1,10-2,10-3)가 터치 스크린(10a)의 크기와, 터치 스크린(10a)에 표시된 컨텐츠의 내용 구성에 맞추어 설계되고 배치되었다. 즉, 터치 스크린(10a)의 제약을 고려하고, 사용자가 입력을 용이하게 할 수 있도록 배치되어 있다. 그러나 본 개시에 따른 시스템은 TV와 같이 큰 화면을 가지는 디스플레이(20)에 표시되고, 컨텐츠가 여기에 맞추어 설계된다. 디스플레이(20)의 크기에 맞추어 복수의 입력부(10-1,10-2,10-3)가 설계된 경우에, 복수의 입력부(10-1,10-2,10-3)가 크기가 작은 터치 스크린(10a)에 표시될 경우에, 극단적인 경우에, 복수의 입력부(10-1,10-2,10-3)가 겹쳐서 표시되는 등의 문제점이 발생할 수 있다.
도 12 및 도 13은 사용자 단말기에서 복수의 입력부(10-1,10-2,10-3)의 배치를 변경하는 일 예를 나타내는 도면으로서, 시작 즉, 입력부 수정 모드의 실행과 함께, 입력부(10-1,10-2 및/또는 10-3)에 대한 수정 요청 예를 들어, 위치 이동, 크기 조절, 형상 변경 등의 요청이 있는지를 판단하여(S131), 요청이 있는 경우에, 이를 사용자 단말기(10)측 응용 프로그램에 반영한다(S132). 수정하는 예를 도 12에 나타내었으며, 입력부(10-1)는 위치 이동 및 크기 조절되어 입력부(10-4)로 되었으며, 입력부(10-2)는 위치 이동되어 입력부(10-5)가 되었고, 입력부(10-3)는 위치 이동 및 형상 변경되어 입력부(10-6)가 되었다. 복수의 입력부(10-1,10-2,10-3) 각각에 대응하는 복수의 입력부(10-4,10-5,10-6)의 입력시에 응용 프로그램은 마찬가지로 도 11에 도시된 바와 같이, 입력 데이터1, 입력 데이터2, 입력 데이터3을 전송한다.
도 14 및 도 15는 사용자 단말기측 응용 프로그램에서의 작동의 일 예를 나타내는 도면으로서, 터치 스크린(10a)에서 사용자가 입력부(10-1)를 터치하면, 도 1의 사용자 단말기의 경우에, 터치 감응 디스플레이 시스템(112), 디스플레이 제어기(156) 및 접촉/움직임 모듈(130)에 의해 터치 스크린(10a)의 상의 특정 영역(A1)으로 해석되고, 응용 프로그램은 특정 영역(A1)을 입력 데이터1에 매칭시켜 입력 데이터1을 전송한다. 한편 입력부(10-1)가 입력부(10-4)로 수정된 경우에, 터치 스크린(10a)에서 사용자가 입력부(10-4)를 터치하면, 도 1의 사용자 단말기의 경우에, 터치 감응 디스플레이 시스템(112), 디스플레이 제어기(156) 및 접촉/움직임 모듈(130)에 의해 터치 스크린(10a)의 상의 특정 영역(A2)으로 해석되고, 응용 프로그램은 특정 영역(A2)을 특정 영역(A1)에 매칭시킨 다음, 특정 영역(A1)을 입력 데이터1에 매칭시켜 입력 데이터1을 전송한다.
도 16은 사용자 단말기에서 복수의 입력부(10-1,10-2,10-3)를 설정하는 다른 예를 나타내는 도면으로서, 복수의 입력부(10-1,10-2,10-3)에 대해 각각의 기능을 설정하는 예를 설명하고 있다. 입력부(10-1)에 입력 데이터1(예: 총 쏘기), 입력부(10-2)에 입력 데이터2(예: 점프), 입력부(10-3)에 입력 데이터3(예: 엎드리기), 입력부(10-1) 길게 누르기에 입력 데이터4(예: 중지), 입력부(10-1)에 입력 데이터5(예: 상황에 따라 찌르기)을 설정할 수 있다. 수정된 입력부(10-1,10-2,10-3)는 터치 스크린(10a) 상에 아이콘 등의 형태로 표시되어도 좋지만, 표시되지 않아도 좋다. 표시되지 않은 경우 컨텐트의 실행 중에 수정된 입력부(10-1,10-2,10-3)는 스크린의 기능은 없고, 터치부의 기능만을 가진다.
이상에서, 복수의 입력부(10-1,10-2,10-3)의 수정이 사용자 단말기(10)측 응용 프로그램에서 처리되는 예를 설명하였다. 이하에서는 복수의 입력부(10-1,10-2,10-3)의 수정이 컨텐츠 실행기(30)에서 처리되는 예를 설명한다.
도 17은 컨텐츠 실행기(30)측 컨텐트(예: 게임 응용 프로그램)에서 입력부를 수정하는 일 예를 설명하는 도면으로서, 시작 즉, 입력부 수정 모드의 실행과 함께(사용자 단말기(10)로부터 입력 수정 모드 요청이 오면), 사용자 단말기(10)로 입력부 화면을 전송한다(S171). 사용자 단말기(10)로부터의 입력부에 대한 수정 요청 예를 들어, 위치 이동, 크기 조절, 형상 변경 등의 요청이 있는지를 판단하여(S172), 요청이 있는 경우에, 이를 게임 응용 프로그램에 반영하고(S173), 모드를 종료한다. 게임이 실행되면, 입력부(10-1)에 대응하는 특정 영역(A1) 대신에 입력부(10-4)에 대응하는 특정 영역(A2)에 대한 정보가 사용자 단말기(10)로부터 전송되며, 이 정보는 도 7에서와 같은 구조인 경우에, 가상 터치 스크린(71)을 거쳐 응용 프로그램으로 전달되고, 특정 영역(A2)가 특정 영역(A1)으로, 특정 영역(A1)이 입력 데이터1로 해석되어 응용 프로그램에 반영된다. 이 경우에, 사용자 단말기(10)측 응용 프로그램은 입력 데이터1이 아니라 특정 영역(A2)에 대한 정보를 전송하도록 설계된다. 또한 컨텐츠 실행기(30)측 응용 프로그램이 가상 터치 스크린(71)의 도움없이도 특정 영역(A2) 자체를 판독가능하도록 설계되는 경우에는 특정 영역(A2)에 대한 정보는 가상 터치 스크린(71)을 거치지 않고 응용 프로그램에 반영될 수 있다.
도 18은 수정된 입력부의 일 예를 나타내는 도면으로서, 컨텐츠 실행기(30)는 디스플레이(20)에 화면을 표시하는 한편, 사용자 단말기(10)에도 화면을 표시한다. 사용자 단말기(10)의 입력부(10-1,10-2) 각각이 디스플레이(20)의 입력부(10-1b,10-2b) 각각에 대응한다. 입력부(10-1b,10-2b)는 충분한 크기를 가지지만, 입력부(10-1,10-2)는 그렇지 못하다. 이때, 수정된 입력부(10-4,10-5)를 이용함으로써 이러한 문제를 해소할 수 있다. 입력부(10-4,10-5)는 사용자 단말기(10) 화면을 반반을 차지하고 있다. 이러한 예는 컨텐트가 디스플레이(20)에 적합하도록 개발될 때 특히 유용하다. 디스플레이(20) 화면과 사용자 단말기(10) 화면이 동일한 경우 등 필요한 경우에, 사용자 단말기(10) 화면을 끄고, 터치 입력 수단으로서만 활용하는 것도 가능하다.
도 19는 입력부를 수정하는 또다른 예를 설명하는 도면으로, 컨텐츠 실행기(30)는 디스플레이(20)로 화면을 제공하는 하는 한편, 사용자 단말기(10)로 화면을 제공한다. 이 경우, 인접해 있는 입력부(10-1)와 입력부(10-2)의 수정이 필요할 수 있다. 이를 위해, 수정 모드가 실행되면, 입력부(10-1)에 대응하는 영역(10-11)과 입력부(10-2)에 대응하는 영역(10-21)을 지정하고, 이후 디스플레이(20)에 표시되는 그래픽 전체가 아니라, 영역(10-11,10-21)에 대한 정보만을 사용자 단말기(10)로 전송해 줄 것을 컨텐츠 실행기(30)에 요청한다. 영역(10-11,10-21)이 반드시 입력부(10-1,10-2)에 대응할 필요는 없다. 즉 사용자는 필요에 따라 디스플레이에 표시되는 그래픽 중 임의의 일부를 요청하여 게임 등의 컨텐트에 활용할 수 있다. 전송된 정보가 입력부(10-1,10-2)에 표시된다면, 터치 입력이 쉽지 않을 수 있으므로, 영역(10-11,10-21)이 전술한 방식에 따라 수정되어 위치될 수 있다.
도 20은 수정된 입력부가 반영된 터치 스크린의 일 예를 나타내는 도면으로서, 영역(10-11; 도 19 참조)에 해당하는 픽셀 {(Xi,Yj) to (Xm,Yn)}에 대한 정보와 수정된 후 표시될 픽셀 {(Xa,Yb) to (Xc,Yd)}에 대한 정보가 주어지면, 수정된 입력부(10-4)의 표시가 가능해진다. 영역(10-21)도 마찬가지로 표시될 수 있다. 영역(10-7)은 수정된 입력부(10-4,10-5))가 아니라 사용자가 임의로 선택한 그래픽의 일부를 나타낸다. 전술한 바와 같이, 특정 영역(A2), 즉 픽셀 {(Xa,Yb) to (Xc,Yd)}에 대한 터치는 입력부(10-1)에 대한 입력으로 매칭된다. 수정된 후 표시될 픽셀{(Xa,Yb) to (Xc,Yd)}이 영역(10-11)에 해당하는 픽셀 {(Xi,Yj) to (Xm,Yn)}보다 클 수가 있는데, 즉 확대하여 표시할 경우에, 이 확대는 사용자 단말기(10)가 영역(10-11)에 해당하는 픽셀 {(Xi,Yj) to (Xm,Yn)}에 해당하는 그래픽 정보를 컨텐츠 단말기(30)로부터 받은 다음, 사용자 단말기(10)측 응용 프로그램에서 픽셀{(Xa,Yb) to (Xc,Yd)}에 표시되도록 처리하여도 좋고, 컨텐츠 단말기(30)측 응용 프로그램이 픽셀{(Xa,Yb) to (Xc,Yd)}에 표시되록 처리한 다음, 사용자 단말기(10)로 정보를 전송하여도 좋다. 컨텐츠 실행기(30)에서 구동하는 응용프로그램(예:게임)을 제어하는 역할을 사용자 단말기(10)가 한다. 이때, 컨텐츠 실행기(30)가 디스플레이(20)에 투사하는 화면과 사용자 단말기(10)에 제공하는 화면이 동일하거나 특정한 영역 (예, 아이콘 영역, 제어영역 등)만을 사용자 단말기(10)에 제공하여 서로 상이할 수 있다. 기술적으로 사용자 단말기(10)의 화면과 디스플레이(20)의 화면을 정확하게 맵핑하는 것이 중요하며 이들에 대한 정보는 사용자 단말기(10) 혹은 컨텐츠 실행기(30)에 저장될 수 있다. 미국의 애플(Apple Inc.)의 기술인 에어플레이 미러링 기술(Airplay Mirroring)은 사용자 단말기(10)에 재생되는 응용프로그램의 화면을 동영상압축기술을 이용하여 컨텐츠 실행기(30)에 전송하고 이를 압축을 푸는 디코딩을 통해 디스플레이(20)에 주사한다. 에어플레이 미러링 기술에는 컨텐츠 실행기(30) 및 응용프로그램 컨트롤을 위한 아이콘 및 화면을 재구성하거나 최적화하는 요소는 없다. 또한, 컨텐츠 실행기(30)에서 사용자 단말기(10)로 디스플레이 그래픽을 제공하지는 못한다. 이를 본 기술에서는 역 미러링(Back mirroring)이라고 말한다. 역 미리렁 기술은 컨텐츠 및 실행기 제어화면을 재구성/확대/재배열하는 기능을 사용자 단말기를 상에서 가능하도록하는 기술을 포함한다.
도 21은 본 개시에 따라 컨텐츠 실행 시스템을 운용하는 방법의 일 예를 설명하는 도면으로서, 입력부 수정 모드가 실행되면, 컨텐츠 실행기(30)에서도 게임이 중단되고(S211b), 사용자 단말기(10)측에서 전송받을 픽셀들({(Xi,Yj) to (Xm,Yn)})의 설정 및 위치 이동/크기 변경 등이 이루어지고(S212a), 이를 컨텐츠 실행기(30)에 알려주면(S213a), 컨텐츠 실행기(30)도 이를 반영하며(S214b), 사용자가 수정 모드를 종료하는 한편 게임을 실행하면(S215a), 컨텐츠 실행기(30)는 디스플레이(20)에 그래픽 정보를 전송하는 한편, 요청된 그래픽 일부에 대한 정보를 사용자 단말기(10)로 전송하고(S216b), 사용자 단말기(10)는 수정된 입력부 내지는 수정된 영역에 이를 표시한다(S217a).
도 22는 본 개시에 따른 입력부 북의 일 예를 설명하는 도면으로서, 사용자 단말기(10)에 미리 정의된 적어도 하나의 입력부가 배치된 복수의 템플릿(500 to 512)을 가지는 입력부 북이 도시되어 있다. 미리 복수의 템플릿(500 to 512)을 준비해 둠으로써, 사용자는 별도로 입력부를 수정할 필요없이, 최적화된 수정된 입력부를 사용할 수 있게 된다. 복수의 템플릿(501 to 512)은 컨텐츠별로 제공될 수 있으며, 특정 게임에 사용될 수 있는 몇개의 템플릿이 미리 준비될 수도 있고, 범용으로 사용될 수도 있다. 특정의 템플릿(예: 501)이 주어지면, 수정된 입력부(세모,네모,원)는 전술한 바와 같이 특정 영역(A2)에 해당되고, 전술한 바와 같은 과정을 거쳐 게임에 있어서 입력으로 기능할 수 있게 된다.
도 23은 본 개시에 따른 네비게이션 윈도우의 일 예를 설명하는 도면으로서, 입력부로 사용될 복수의 아이콘(10i,10ii)이 구비된 네비게이션 윈도우(10m)가 제시되어 있다. 사용자는 자신이 원하는 아이콘(10i,10ii)을 선택하여 복수의 입력부를 구성할 수 있다.
도 24는 본 개시에 따른 컨텐츠 실행 시스템을 운용하는 다른 예를 나타내는 도면으로서, 사용자 단말기(10)의 터치 스크린(10a)이 꺼진 채로(그래픽의 표시없이 입력부로서 터치를 감지하는 기능만 가진 채로) 운용된다. 바람직하게는 컨텐츠 실행기(30)는 터치 스크린(10a)에서 터치된 영역(10t)에 대응하는 영역(20t)을 디스플레이(20)에 표시한다. 이러한 구성을 통해, 사용자 단말기(10)의 전력 손실을 줄일 수 있게 된다.
도 25는 본 개시에 따른 컨텐츠 실행 시스템을 운용하는 또다른 예를 나타내는 도면으로서, 도 24에 제시된 운용 예와 달리, 수정된 입력부(10-4)가 사용되고 있다. 디스플레이(20)에서 영역(20t)은 수정 전 입력부(10-1)에 대응한다. 이러한 구성을 통해 입력부(10-1)가 수정된 경우에도, 사용자 단말기(10)의 전력 손실을 줄이면서, 사용자 단말기(10)를 입력 수단으로 하여, 컨텐트를 실행할 수 있게 된다. 터치 입력은 가능하고, 화면 표시를 없는 상황은 사용자 단말기(10)의 하드웨어의 일반적 구성에 의거해 가능하다. 터치 스크린은 일반적으로 LCD 부품 상단에 정전식/정압식 터치스크린을 압착하는 방식이고, 분리된 전기적 신호를 가한다. 사용자 단말기(10)의 중앙처리장치는 LCD와 터치 스크린을 독립적으로 제어하는 것이 가능하므로 LCD 화면이 OFF 상태(전기적 신호의 단절)에서 터치스크린을 ON 상태(전기적 신호의 개통)가 되도록 하는 것이 가능하다. 입력부의 조작(예, 컨트롤 아이콘 영역 등), 입력부 북, 네이게이션 윈도우는 사용자 단말기(10)에 나타나지 않고 디스플레이(20) 화면을 보면서 선택 혹은 재구성 등을 하는 것도 가능하다.
도 26은 컨텐츠 실행기의 운영체계 환경의 일 예를 나타내는 도면으로서, 운영체계(OS)가 안드로이드 환경으로 구성되어 있다. 안드로이드 아키텍쳐는 어플리케이션(A), 어플리케이션 프레임웍(AF), 라이버러리(L), 리눅스 커널(LK)의 영역들로 구분된다. 게임, 브라우즈 등의 프로그램은 어플리케이션(A) 영역에 위치하고 제한된 API들에 접근가능하다. 어플리케이션 프레임웍(AF), 라이버러리(L), 리눅스 커널(LK)은 시스템 영역에 속하므로 어플리케이션 프로그램에서 접근하기 어렵다. 사용자 단말기(10)에서 각종 인터페이스 정보(센서, 텍스트, 음성 정보)를 특정 통신 프로토콜을 통하여 커뮤니케이션 메니저(CM)에 전달한다. 커뮤니케이션 메니저(CM)는 어플리케이션 프레임워크(AF) 레벨에서 처리가능한 이벤트인지 혹은 리눅스 커널(LK) 레벨에서 가능한 것인지 구분해서 넘겨준다. 즉, 터치 정보는 가상 터치 스크린(71)에 대응하는 시스템 터치 매니저(71A)에, 중력 혹은 가속도 센서 정보는 가상 가속도 센서(81)을 담당하는 가상 드라이버(81A)로 전달한다. 이때, 어플리케이션 유저는 어플리케이션의 터치 API 혹은 각종 센서 API를 통해 이벤트를 요청하고 이에 상응하는 이벤트를 얻는다. 현재 안드로이드 아키텍쳐에서는 중력 및 가속도 센서의 제조업자들이 제공하는 리눅스 드라이브를 통해서 센서 하드웨어의 정보를 얻도록 되어 있다. 컨텐츠 실행기(30)의 운영체계가 안드로이드이므로 안드로이드용 어플리케이션을 구동한다. 사용자 단말기(10)의 운영체계가 iPhone OS, 바다OS 등과 같이 컨텐츠 실행기(30)의 운용체제와 다른 경우에라도, 사용자 단말기(10)와 컨텐츠 실행기(30) 사이의 교신이 가능하다면, 양자는 문제없이 구동될 수 있다. 즉, 사용자 단말기(10)에서 컨텐츠 실행기(30)의 커뮤니케이션 매니저(CM)에 전달하는 프로토콜을 유지한다면 다양한 OS에서 컨텐츠 실행기의 제어가 가능하다. 따라서 본 개시에 따른 컨텐츠 실행기(30)는 특정의 운영체계로 운영되더라도, 다양한 운영체계를 가지는 사용자 단말기(10)와 문제없이 사용될 수 있다. 한편, 도 20에 있어서 입력부(10-1)를 수정하는 과정을 안드로이드 운영체계 환경에서 설명하면, 사용자 단말기(10)에서 수정 요청이 있으면, 커뮤니케이션 메니져(CM)가 이를 받는다. 커뮤니케이션 메니져(CM)는 이를 리룩스 커널(LK) 레벨로 전달한다. 리룩스 커널(LK) 레벨에서는 현재 컨텐츠 실행기(30)의 화면을 캡쳐하여(Capture), 캡쳐된 화면을 커뮤니케이션 메니져(CM)로 올려 보내고, 커뮤니케이션 메니져(CM)는 이를 사용자 단말기(10)로 전송한다. 사용자 단말기(10)의 이 화면 상에서 입력부가 수정될 수 있다.
이하 본 개시의 다양한 실시 형태에 대하여 설명한다.
(1) 컨텐츠 실행기는 터치 스크린에서 터치된 영역에 대응하는 영역을 디스플레이에 표시하는 것을 특징으로 하는 컨텐츠 실행 시스템.
(2) 터치 스크린은 수정된 입력부를 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
(3) 컨텐츠 실행기는 수정된 입력부 터치시 수정전 입력부에 대응하는 영역을 디스플레이에 표시하는 것을 특징으로 하는 컨텐츠 실행 시스템.
(4) 사용자 단말기는 수정된 입력부에 대한 터치 정보를 수정전 입력부에 대한 터치 정보로 매칭하는 응용 프로그램을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
(5) 컨텐츠 실행기는 수정된 입력부의 터치시 컨텐츠 실행기로 전송되는 정보를 수정전 입력부에 대한 터치 정보로 매칭하는 응용 프로그램을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
(6) 컨텐츠 실행기는 전송된 정보를 입력받는 가상 입력 수단을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
본 개시에 따른 하나의 컨텐츠 실행 시스템에 의하면, 전력 손실을 줄일 수 있는 새로운 형태의 컨텐츠 실행 시스템이 제공될 수 있게 된다.
사용자 단말기 10; 디스플레이 20

Claims (7)

  1. 디스플레이;
    그래픽을 디스플레이로 전송하는 컨텐츠 실행기; 그리고,
    컨텐츠 실행기와 교신할 수 있고, 그래픽을 표시하는 않는 상태에서 사용자의 입력을 받는 터치 스크린을 구비하며, 터치 스크린 터치시 이 정보를 컨텐츠 실행기로 전송하고, 손에 쥘 수 있는 사용자 단말기;를 포함하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  2. 청구항 1에 있어서,
    컨텐츠 실행기는 터치 스크린에서 터치된 영역에 대응하는 영역을 디스플레이에 표시하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  3. 청구항 1에 있어서,
    터치 스크린은 수정된 입력부를 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  4. 청구항 3에 있어서,
    컨텐츠 실행기는 수정된 입력부 터치시 수정전 입력부에 대응하는 영역을 디스플레이에 표시하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  5. 청구항 4에 있어서,
    사용자 단말기는 수정된 입력부에 대한 터치 정보를 수정전 입력부에 대한 터치 정보로 매칭하는 응용 프로그램을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  6. 청구항 4에 있어서,
    컨텐츠 실행기는 수정된 입력부의 터치시 컨텐츠 실행기로 전송되는 정보를 수정전 입력부에 대한 터치 정보로 매칭하는 응용 프로그램을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
  7. 청구항 1에 있어서,
    컨텐츠 실행기는 전송된 정보를 입력받는 가상 입력 수단을 구비하는 것을 특징으로 하는 컨텐츠 실행 시스템.
KR1020120024489A 2012-03-09 2012-03-09 컨텐츠 실행 시스템 KR20130103116A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120024489A KR20130103116A (ko) 2012-03-09 2012-03-09 컨텐츠 실행 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120024489A KR20130103116A (ko) 2012-03-09 2012-03-09 컨텐츠 실행 시스템

Publications (1)

Publication Number Publication Date
KR20130103116A true KR20130103116A (ko) 2013-09-23

Family

ID=49452598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120024489A KR20130103116A (ko) 2012-03-09 2012-03-09 컨텐츠 실행 시스템

Country Status (1)

Country Link
KR (1) KR20130103116A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015094506A1 (en) * 2013-12-19 2015-06-25 Qualcomm Incorporated Apparatuses and methods for using remote multimedia sink devices
WO2016159585A1 (ko) * 2015-03-31 2016-10-06 최민석 스마트 폰 제어 방법 및 상기 스마트 폰의 제어를 위한 소프트웨어 제공 서버

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015094506A1 (en) * 2013-12-19 2015-06-25 Qualcomm Incorporated Apparatuses and methods for using remote multimedia sink devices
WO2016159585A1 (ko) * 2015-03-31 2016-10-06 최민석 스마트 폰 제어 방법 및 상기 스마트 폰의 제어를 위한 소프트웨어 제공 서버

Similar Documents

Publication Publication Date Title
CN113553014B (zh) 多窗口投屏场景下的应用界面显示方法及电子设备
US10904482B2 (en) Method and apparatus for generating video file, and storage medium
CN109982102B (zh) 直播间的界面显示方法和系统、以及直播服务器和主播端
CN110602321B (zh) 应用程序切换方法、装置、电子装置及存储介质
CN109977333B (zh) 网页显示方法、装置、计算机设备及存储介质
CN114764298A (zh) 一种跨设备的对象拖拽方法及设备
US20190267037A1 (en) Method, apparatus and terminal for controlling video playing
WO2018161534A1 (zh) 一种显示图像的方法、双屏终端和计算机可读的非易失性存储介质
CN111913628A (zh) 分享方法、装置和电子设备
CN108093307B (zh) 获取播放文件的方法和系统
CN118042036A (zh) 显示图形用户界面的方法和移动终端
JP2023503679A (ja) マルチウィンドウ表示方法、電子デバイス及びシステム
CN107896337B (zh) 信息推广方法、装置及存储介质
CN112527174B (zh) 一种信息处理方法及电子设备
CN112527222A (zh) 一种信息处理方法及电子设备
CN112118477A (zh) 虚拟礼物展示方法、装置、设备以及存储介质
US20230333803A1 (en) Enhanced Screen Sharing Method and System, and Electronic Device
CN111383175A (zh) 图片获取方法及电子设备
CN110178111B (zh) 一种终端的图像处理方法及装置
CN114845152B (zh) 播放控件的显示方法、装置、电子设备及存储介质
CN112616082A (zh) 视频预览方法、装置、终端及存储介质
US20230024761A1 (en) Method for playing videos and electronic device
WO2023030292A1 (zh) 多媒体文件的播放方法和装置
KR20130103116A (ko) 컨텐츠 실행 시스템
CN111464829B (zh) 切换媒体数据的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid