KR20150069155A

KR20150069155A - 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치

Info

Publication number: KR20150069155A
Application number: KR1020130155240A
Authority: KR
Inventors: 박정민; 진평규; 박성철
Original assignee: 삼성전자주식회사
Priority date: 2013-12-13
Filing date: 2013-12-13
Publication date: 2015-06-23
Also published as: US20150169129A1

Abstract

본 발명은 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치에 관한 것으로, 전자 장치의 동작 방법에 있어서, 공동 제작할 오브젝트를 다른 전자 장치로 전송하여 공유하는 과정; 상기 다른 전자 장치로부터 수신되는 메시지에서, 상기 오브젝트의 터치 정보를 획득하는 과정; 상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분하는 과정; 및 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터를 디스플레이 하는 과정을 포함하는 것을 특징으로 한다. 본 발명은 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치{TOUCH INDICATOR DISPLAY METHOD OF ELECTRONIC APPARATUS AND ELECTRONIC APPPARATUS THEREOF}

본 발명은, 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치에 관한 것이다.

일반적으로 스마트 폰(smart phone) 또는 태블릿(tablet) PC 등과 같은 다양한 유형의 전자 장치는, 이동통신망, 와이파이(WiFi), 그리고 블루투스(Bluetooth) 등과 같은 여러 통신 방식을 이용하여, 적어도 하나 이상의 다른 전자 장치들과 양방향 통신이 가능하다.

예를 들어, 제1 전자 장치를 구비한 제1 사용자와, 제2 전자 장치를 구비한 제2 사용자는, 양방향 통신을 통해, 하나의 오브젝트(object)를 실시간으로 공유할 수 있다. 더 나아가, 상기 제1 전자 장치는, 마스터 터미널(master terminal)로 설정되고, 상기 제2 전자 장치는, 슬레이브 터미널(slave terminal)로 설정될 수 있으며, 그 반대로 설정될 수도 있다.

상기 제1 사용자는, 상기 마스터 터미널을 이용하여, 상기 공유된 오브젝트를 편집하고, 상기 제2 사용자는, 상기 슬레이브 터미널을 이용하여, 상기 공유된 오브젝트를 편집하는 등의 다양한 오브젝트 공동 제작(object co-production) 동작을 실시간으로 수행할 수 있다.

본 발명의 다양한 실시 예는, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치가, 양방향 통신을 통해 다른 전자 장치와 오브젝트를 공동 제작하는 동안, 상기 다른 전자 장치의 오브젝트 터치 정보를 획득하여, 표면 터치(surface touch)와 호버링 터치(hovering touch)를 구별할 수 있는 인디케이터(indicator)를 디스플레이 하기 위한 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치를 제공한다.

본 발명의 다양한 실시 예는, 전자 장치의 동작 방법에 있어서, 공동 제작할 오브젝트를 다른 전자 장치로 전송하여 공유하는 과정; 상기 다른 전자 장치로부터 수신되는 메시지에서, 상기 오브젝트의 터치 정보를 획득하는 과정; 상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분하는 과정; 및 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터를 디스플레이 하는 과정을 포함할 수 있다.

본 발명의 다양한 실시 예는, 전자 장치에 있어서, 통신 모듈; 표면 터치와 호버링 터치를 검출하는 터치 스크린 패널; 및 상기 통신 모듈과 터치 스크린 패널을 제어하는 프로세서를 포함하되, 상기 프로세서는, 공동 제작할 오브젝트를 다른 전자 장치로 전송하여 공유한 후, 상기 다른 전자 장치로부터 수신되는 메시지에서, 상기 오브젝트의 터치 정보를 획득하고, 상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분한 후, 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터를 디스플레이 할 수 있다..

본 발명의 다양한 실시 예에 따르면, 스마트 폰 또는 태블릿 PC 등과 같은 다양한 유형의 전자 장치가, 양방향 통신을 통해 다른 전자 장치와 오브젝트를 공동 제작하는 동안, 상기 다른 전자 장치의 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터(indicator)를 디스플레이 함으로써, 상기 다른 전자 장치를 사용하는 사용자의 작업 의도를 미리 예측할 수 있다.

본 발명의 다양한 실시 예에 따르면, 상기 다른 전자 장치를 사용하는 사용자의 작업 의도를 미리 예측하여, 작업 의도가 부적절한 경우, 알람 또는 경고 등을 발생시켜, 오브젝트 공동 제작의 효율성을 향상시킬 수 있다.

도 1은 본 발명의 다양한 실시 예에 따른 전자 장치의 블록 도면이다.
도 2는 본 발명의 다양한 실시 예에 따른 하드웨어의 블록 도면이다.
도 3은 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈의 블록 도면이다.
도 4는 정전식 터치 스크린 패널의 적층 구조를 도시한 도면이다.
도 5은 정전식 터치 스크린 패널의 표면 터치 상태를 도시한 도면이다.
도 6은 정전식 터치 스크린 패널의 표면 터치와 호버링 터치 상태를 도시한 도면이다.
도 7은 본 발명의 다양한 실시 예에 따른 오브젝트가 다수의 전자 장치에 공유되어 디스플레이 되는 도면이다.
도 8은 본 발명의 다양한 실시 예에 따른 표면 터치의 인디케이터가 오브젝트에 디스플레이 되는 도면이다.
도 9는 본 발명의 다양한 실시 예에 따른 호버링 터치의 인디케이터가 오브젝트에 디스플레이 되는 도면이다.
도 10은 본 발명의 다양한 실시 예에 따른 전자 장치의 터치 인디케이터 디스플레이 방법에 대한 동작 흐름 도면이다.
도 11은 본 발명의 다양한 실시 예에 따른 오브젝트 공동 제작 정보에 대한 도면이다.
도 12는 본 발명의 다양한 실시 예에 따른 호버링 터치의 깊이를 구별할 수 있는 인디케이터가 디스플레이 되는 도면이다.
도 13은 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 다수의 전자 장치들로 나뉘어 디스플레이 되는 도면이다.
도 14는 본 발명의 다양한 실시 예에 따른 표면 터치의 인디케이터가 부분 오브젝트에 디스플레이 되는 도면이다.
도 15는 본 발명의 다양한 실시 예에 따른 호버링 터치의 인디케이터가 부분 오브젝트에 디스플레이 되는 도면이다.
도 16는 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 영역 기반으로 합성되는 도면이다.
도 17은 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 영역 기반으로 합성되는 도면이다.
도 18은 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 레이어 기반으로 합성되는 도면이다.

이하, 첨부된 도면을 참조하여 본 발명을 설명한다. 본 발명은 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있다.

본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다.

본 발명의 다양한 실시 예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 스마트 폰(Smart Phone), 태블릿 PC(Tablet Personal Computer), 이동전화기(Mobile Phone), 화상전화기, 전자북 리더기(E-Book Reader), 데스크탑 PC(Desktop Personal Computer), 랩탑 PC(Laptop Personal Computer), 넷북 컴퓨터(Netbook Computer), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), MP3 플레이어, 모바일 의료기기, 전자 팔찌, 전자 목걸이, 전자 앱세서리(Appcessory), 카메라(Camera), 웨어러블 장치(Wearable Device), 전자 시계(Electronic Clock), 손목 시계(Wrist Watch), 스마트 가전(Smart White Appliance)(예: 냉장고, 에어컨, 청소기, 인공 지능 로봇, TV, DVD(Digital Video Disk) 플레이어, 오디오, 오븐, 전자레인지, 세탁기, 공기 청정기, 전자 액자 등), 각종 의료기기(예: MRA(Magnetic Resonance Angiography), MRI(Magnetic Resonance Imaging), CT(Computed Tomography), 촬영기, 초음파기 등), 네비게이션(Navigation) 장치, GPS 수신기(Global Positioning System Receiver), EDR(Event Data Recorder), FDR(Flight Data Recorder), 셋톱 박스(Set-Top Box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 전자 사전, 자동차 인포테인먼트(Infotainment) 장치, 선박용 전자 장비(Electronic Equipment for Ship, 예를 들면, 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(Avionics), 보안 기기, 전자 의복, 전자 키, 캠코더(Camcorder), 게임 콘솔(Game Consoles), HMD(Head-Mounted Display), 평판표시장치(Flat Panel Display Device), 전자 앨범, 통신 기능을 포함한 가구(Furniture) 또는 건물/구조물의 일부, 전자 보드(Electronic Board), 전자 사인 입력장치(Electronic Signature Receiving Device) 또는 프로젝터(Projector) 등의 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.

도 1은, 본 발명의 다양한 실시 예에 따른 전자 장치의 블록 도면이다. 도 1을 참조하면, 전자장치(100)는 버스(110), 프로세서(120), 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 그리고 통신 모듈(160)을 포함할 수 있다.

상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.

상기 프로세서(120)는, 예를 들면, 상기 버스(110)를 통해 전술한 다른 구성요소들(예: 메모리(130), 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.

상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예: 사용자 입력 모듈(140), 디스플레이 모듈(150), 통신 모듈(160) 등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다.

상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: Application Programming Interface, 133) 또는 애플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.

상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어(132), API(133) 또는 애플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)을 제어 또는 관리할 수 있다.

상기 커널(131)은 상기 미들웨어(132), API(133) 또는 애플리케이션(134)에서 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.

상기 미들웨어(132)는 상기 API(133) 또는 애플리케이션(134)이 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 (다수의) 애플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, (다수의) 애플리케이션들(134) 들 중 적어도 하나의 애플리케이션에 전자 장치(100)의 시스템 리소스(예: 버스(110), 프로세서(120) 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.

상기 API(133)는 애플리케이션(134)이 커널(131) 또는 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.

상기 사용자 입력 모듈(140)은, 예를 들면, 사용자로부터 명령 또는 데이터를 입력 받아 버스(110)를 통해 프로세서(120) 또는 메모리(130)에 전달할 수 있고, 상기 디스플레이 모듈(150)은 사용자에게 화상, 영상 또는 데이터 등을 표시할 수 있다.

상기 통신 모듈(160)은 다른 전자 장치(102)와 전자 장치(100) 간의 통신을 연결할 수 있고, 상기 통신 모듈(160)은 소정의 근거리 통신 프로토콜(예: Wifi(Wireless Fidelity), BT(Bluetooth), NFC(Near Field Communication) 또는 소정의 네트워크 통신(162)(예: Internet, LAN(Local Area Network), WAN(Wire Area Network), Telecommunication Network, Cellular Network, Satellite Network 또는 POTS(Plain Old Telephone Service) 등)을 지원할 수 있다.

상기 전자 장치(102, 104) 각각은 전자 장치(100)와 동일한 (예: 같은 타입의) 장치이거나 또는 다른 (예: 다른 타입의) 장치일 수 있다.

도 2는, 본 발명의 다양한 실시 예에 따른 하드웨어의 블록 도면이다. 상기 하드웨어(200)는, 예를 들면, 도 1에 도시된 전자 장치(100)일 수 있다. 도 2를 참조하면, 상기 하드웨어(200)는 하나 이상의 프로세서(210), SIM(Subscriber Identification Module) 카드(214), 메모리(220), 통신 모듈(230), 센서 모듈(240), 사용자 입력 모듈(250), 디스플레이 모듈(260), 인터페이스(270), 오디오 코덱(280), 카메라 모듈(291), 전력관리 모듈(295), 배터리(296), 인디케이터(297) 또는 모터(298)를 포함할 수 있다.

상기 프로세서(210) (예: 프로세서 120)는, 하나 이상의 애플리케이션 프로세서(AP: Application Processor, 211) 또는 하나 이상의 커뮤니케이션 프로세서(CP: Communication Processor, 213)를 포함할 수 있다.

상기 프로세서(210)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 2에서는 상기 AP(211) 및 CP(213)가 상기 프로세서(210) 내에 포함된 것으로 도시되었으나, 상기 AP(211)와 CP(213)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 일 실시 예에서 상기 AP(211) 및 CP(213)는 하나의 IC 패키지 내에 포함될 수 있다.

상기 AP(211)는 운용체제 또는 응용 프로그램을 구동하여 상기 AP(211)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어하고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(211)는, 예를 들면, SoC(System on Chip)로 구현될 수 있다. 일 실시 예에 따르면, 상기 프로세서(210)는, GPU(Graphic Processing Unit, 미도시)를 더 포함할 수 있다.

상기 CP(213)는 상기 하드웨어(200)를 포함하는 전자 장치(예: 전자 장치 100)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP(213)는, 예를 들면, SoC로 구현될 수 있다.

다양한 실시 예에 따르면, 상기 CP(213)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP(213)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드 214)을 이용하여 통신 네트워크 내에서 단말의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP(213)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.

또한, 상기 CP(213)는 통신 모듈(230)의 데이터 송수신을 제어할 수 있다. 도 2에서는, 상기 CP(213), 전력관리 모듈(295) 또는 메모리(220) 등의 구성요소들이 상기 AP(211)와 별개의 구성요소로 도시되어 있으나, 일 실시 예에 따르면, 상기 AP(211)가 전술한 구성요소들의 적어도 일부(예: CP(213))를 포함하도록 구현될 수 있다.

다양한 실시 예에 따르면, 상기 AP(211) 또는 CP(213)는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(211) 또는 CP(213)는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.

상기 SIM 카드(214)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(214)는 고유한 식별 정보(예: ICCID(Integrated Circuit Card Identifier)) 또는 가입자 정보(예: IMSI(International Mobile Subscriber Identity))를 포함할 수 있다.

상기 메모리(220)는 내장 메모리(222) 또는 외장 메모리(224)를 포함할 수 있다. 상기 메모리(220)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 상기 내장 메모리(222)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.

다양한 실시 예에 따르면, 상기 내장 메모리(222)는 Solid State Drive (SSD)의 형태를 취할 수도 있다. 상기 외장 메모리(224)는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 또는 memory stick 등을 더 포함할 수 있다.

상기 통신 모듈(230)은 무선 통신 모듈(231) 또는 RF 모듈(234)을 포함할 수 있다. 상기 통신 모듈(230)은, 예를 들면, 도 2에 도시된 통신 모듈(160)일 수 있다. 상기 무선 통신 모듈(231)은, 예를 들면, WiFi(233), BT(BlueTooth, 235), GPS(237) 또는 NFC(Near Field Communication, 239)를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈(231)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다.

추가적으로 또는 대체적으로, 상기 무선 통신 모듈(231)은 하드웨어(200)를 네트워크(예: Internet, LAN(Local Area Network), WAN(Wire Area Network), Telecommunication Network, Cellular Network, Satellite Network 또는 POTS(Plain Old Telephone Service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.

상기 RF 모듈(234)은 데이터의 송수신, 예를 들면, RF 신호 또는 호출된 전자 신호의 송수신을 담당할 수 있다. 상기 RF 모듈(234)은, 도시되지는 않았으나, 예를 들면, 트랜시버(Transceiver), PAM(Power Amp Module), 주파수 필터(Frequency Filter) 또는 LNA(Low Noise Amplifier) 등을 포함할 수 있다.

또한, 상기 RF 모듈(234)은 무선통신에서 자유공간 상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.

상기 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), RGB(Red, Green, Blue) 센서(240H), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K) 또는 UV(Ultra Violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(240)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다.

추가적으로/대체적으로, 상기 센서 모듈(240)은, 예를 들면, 후각 센서(E-Nose Sensor, 미도시), EMG 센서(Electromyography Sensor, 미도시), EEG 센서(Electroencephalogram Sensor, 미도시), ECG 센서(Electrocardiogram Sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어회로를 더 포함할 수 있다.

상기 사용자 입력 모듈(250)은 터치 패널(Touch Panel, 252), (디지털) 펜 센서(Pen Sensor, 254), 키(Key, 256) 또는 초음파 입력 장치(258)를 포함할 수 있다. 상기 사용자 입력 모듈(250)은, 예를 들면, 도 2에 도시된 사용자 입력 모듈(140)일 수 있다. 상기 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다.

또한, 상기 터치 패널(252)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 직접 터치뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널(252)은 택타일 레이어(Tactile Layer)를 더 포함할 수도 있다. 이 경우, 상기 터치 패널(252)은 사용자에게 촉각 반응을 제공할 수 있다.

상기 (디지털) 펜 센서(254)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 시트(Sheet)를 이용하여 구현될 수 있다. 상기 키(256)로서, 예를 들면, 키패드 또는 터치 키가 이용될 수 있다.

상기 초음파 입력 장치(258)는 초음파 신호를 발생하는 펜을 통해, 단말에서 마이크(예: 마이크(288))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 일 실시 예에 따르면, 상기 하드웨어(200)는 통신 모듈(230)를 이용하여 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.

상기 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 포함할 수 있다. 상기 디스플레이 모듈(260)은, 예를 들면, 도 2에 도시된 디스플레이 모듈(150)일 수 있다. 상기 패널(262)은, 예를 들면, LCD(Liquid-Crystal Display) 또는 AM-OLED(Active-Matrix Organic Light-Emitting Diode) 등일 수 있다. 상기 패널(262)은, 예를 들면, 유연하게(Flexible), 투명하게(Transparent) 또는 착용할 수 있게(Wearable) 구현될 수 있다.

상기 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램(264)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 일 실시 예에 따르면, 상기 디스플레이 모듈(260)은 패널(262) 또는 홀로그램(264)을 제어하기 위한 제어회로를 더 포함할 수 있다.

상기 인터페이스(270)는, 예를 들면, HDMI(High-Definition Multimedia Interface, 272), USB(Universal Serial Bus, 274), 프로젝터(276) 또는 D-sub(D-subminiature, 278)를 포함할 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(270)는, 예를 들면, SD(Secure Digital)/MMC(Multi-Media Card)(미도시) 또는 IrDA(Infrared Data Association, 미도시)를 포함할 수 있다.

상기 오디오 코덱(280)은 음성과 전기신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 코덱(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286) 또는 마이크(288) 등을 통해 입력 또는 출력되는 음성 정보를 변환시킬 수 있다.

상기 카메라 모듈(291)은 화상 및 동영상을 촬영할 수 있는 장치로서, 일 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 렌즈 또는 후면 렌즈), ISP(Image Signal Processor, 미도시) 또는 플래쉬 LED(Flash LED, 미도시)를 포함할 수 있다.

상기 전력관리 모듈(295)은 하드웨어(200)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈(295)은, 예를 들면, PMIC(Power Management Integrated Circuit), 충전 IC(Charger Integrated Circuit) 또는 배터리 게이지(Battery Fuel Gauge)를 포함할 수 있다.

상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다.

일 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.

상기 배터리 게이지는, 예를 들면, 상기 배터리(296)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(296)는 전기를 생성하여 전원을 공급할 수 있고, 예를 들면, 충전식 전지(Rechargeable Battery)일 수 있다.

인디케이터(297)는 하드웨어(200) 혹은 그 일부(예: 상기 AP 211)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있다. MCU(299)은, 센서 모듈(240)을 제어할 수 있다.

도시되지는 않았으나, 상기 하드웨어(200)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(Digital Multimedia Broadcasting), DVB(Digital Video Broadcasting) 또는 미디어 플로우(Media Flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.

본 발명의 다양한 실시 예에 따른 하드웨어의 전술한 구성요소들의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 하드웨어는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.

또한, 본 발명의 다양한 실시 예에 따른 하드웨어의 구성 요소들 중 일부가 결합되어 하나의 개체(Entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.

도 3은, 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈의 블록 도면이다. 프로그래밍 모듈(300)은, 도 1에 도시된 전자 장치(100)(예: 메모리(130))에 포함(예: 저장)될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.

상기 프로그래밍 모듈(300)은 하드웨어(예: 하드웨어(200))에 구현되어 전자 장치(예: 전자 장치(100))에 관련된 자원을 제어하는 운용체제(OS: Operation System) 또는 운용체제 상에서 구동되는 다양한 애플리케이션(예: 애플리케이션(370))을 포함할 수 있다.

예를 들면, 상기 운용체제는 안드로이드(Android), iOS, 윈도우즈(Windows), 심비안(Symbian), 타이젠(Tizen) 또는 바다(Bada) 등이 될 수 있다. 도 3을 참조하면, 상기 프로그래밍 모듈(300)은 커널(310), 미들웨어 (330), API(Application Programming Interface, 360) 또는 애플리케이션(370)을 포함할 수 있다.

상기 커널(310)(예: 커널(131))은 시스템 리소스 매니저(311) 또는 디바이스 드라이버(312)를 포함할 수 있다. 상기 시스템 리소스 매니저(311)는, 예를 들면, 프로세스관리부(313), 메모리관리부(315) 또는 파일시스템 관리부(317) 등을 포함할 수 있다.

상기 시스템 리소스 매니저(311)는 시스템 리소스의 제어, 할당 또는 회수 등을 수행할 수 있다. 상기 디바이스 드라이버(312)는, 예를 들면, 디스플레이 드라이버(314), 카메라 드라이버(316), 블루투스 드라이버(318), 공유 메모리 드라이버(320), USB 드라이버(322), 키패드 드라이버(324), WiFi 드라이버(326) 또는 오디오 드라이버(328)를 포함할 수 있다.

또한, 다양한 실시 예에 따르면, 상기 디바이스 드라이버(312)는 IPC(Inter-Process Communication, 미도시) 드라이버를 포함할 수 있다.

상기 미들웨어(330)는 애플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하기 위해 미리 구현해 놓은 복수의 모듈들을 포함할 수 있다. 또한, 상기 미들웨어(330)는 애플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 기능을 제공할 수 있다.

예를 들면, 도 3에 도시된 바와 같이, 상기 미들웨어(330)(예: 미들웨어(132))는 런타임 라이브러리(335), 어플리케이션 매니저(Application Manager, 341), 윈도우 매니저(Window Manager, 342), 멀티미디어 매니저(Multimedia Manager, 343), 리소스 매니저(Resource Manager, 344), 파워 매니저(Power Manager, 345), 데이터베이스 매니저(Database Manager, 346), 패키지 매니저(347), 연결 매니저(Connectivity Manager, 348), 통지 매니저(Notification Manager, 349), 위치 매니저(Location Manager, 350), 그래픽 매니저(Graphic Manager, 351) 또는 보안 매니저(Security Manager, 352) 중 적어도 하나를 포함할 수 있다.

상기 런타임 라이브러리(335)는, 예를 들면, 애플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 일 실시 예에 따르면, 런타임 라이브러리(335)는 입출력, 메모리 관리 또는 산술 함수에 대한 기능 등을 수행할 수 있다.

상기 애플리케이션 매니저(341)는, 예를 들면, 애플리케이션(370) 중 적어도 하나의 애플리케이션의 생명주기(Life Cycle)를 관리할 수 있다. 상기 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다.

상기 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱(Codec)을 이용하여 미디어 파일의 인코딩(Encoding) 또는 디코딩(Decoding)을 수행할 수 있다. 리소스 매니저(344)는 상기 애플리케이션(370) 중 적어도 어느 하나의 애플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.

상기 파워 매니저(345)는 바이오스(BIOS: Basic Input/Output System) 등과 함께 동작하여 배터리(Battery) 또는 전원을 관리하고, 동작에 필요한 전력 정보 등을 제공할 수 있다. 상기 데이터베이스 매니저(346)는 애플리케이션(370) 중 적어도 하나의 애플리케이션에서 사용할 데이터베이스를 생성, 검색 또는 변경할 수 있도록 관리할 수 있다.

상기 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 애플리케이션의 설치 또는 업 데이트를 관리할 수 있다. 연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 상기 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건(Event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 상기 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다.

상기 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 상기 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다.

일 실시 예에 따르면, 전자 장치(예: 전자 장치(100))가 전화 기능을 구비한 경우에는, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저(Telephony Manager, 미도시)를 더 포함할 수 있다.

상기 미들웨어(330)는 전술한 내부 구성요소 모듈들의 다양한 기능 조합을 통해 새로운 미들웨어 모듈을 생성하여 사용할 수 있다. 상기 미들웨어(330)는 차별화된 기능을 제공하기 위해 운용체제의 종류별로 특화된 모듈을 제공할 수 있다.

또한, 상기 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 따라서, 본 발명의 다양한 실시 예에 기재된 구성요소를 일부 생략하거나 다른 구성요소를 더 구비하거나 또는 유사한 기능을 수행하는 다른 명칭을 갖는 구성요소로 대체할 수 있다.

상기 API(360)(예: API(133))는 API 프로그래밍 함수들의 집합으로, 운용체제에 따라 다른 구성으로 제공될 수 있다. 안드로이드 또는 IOS의 경우, 예를 들어, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠(Tizen)의 경우, 예를 들어, 두 개 이상의 API 셋을 제공할 수 있다.

상기 애플리케이션(370)(예: 상기 애플리케이션(134))은, 예를 들면, 프리로드 어플리케이션(Preloaded Application) 또는 제 삼자 어플리케이션(Third Party Application)을 포함할 수 있다.

상기 프로그래밍 모듈(300)의 적어도 일부는 컴퓨터로 읽을 수 있는 저장매체(Computer-Readable Storage Media)에 저장된 명령어로 구현될 수 있다. 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서(210))에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(260)가 될 수 있다. 상기 프로그래밍 모듈(300)의 적어도 일부는, 예를 들면, 프로세서(210)에 의해 구현(Implement) (예: 실행)될 수 있다.

상기 프로그래밍 모듈(300)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(Sets of instructions) 또는 프로세스 등을 포함할 수 있다.

본 발명의 다양한 실시 예에 따른 프로그래밍 모듈(예: 프로그래밍 모듈(300))의 구성요소들의 명칭은 운용체제의 종류에 따라서 달라질 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명의 다양한 실시 예에 대한 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 본 발명의 다양한 실시 예에 따른 전자 장치의 터치 인디케이터 디스플레이 방법 및 그 전자 장치에 대해 상세히 설명한다.

본 발명의 다양한 실시 예에 따른 스마트 폰(smart phone) 또는 태블릿(tablet) PC 등과 같은 전자 장치는, 터치 스크린 패널(touch screen panel)을 포함할 수 있다. 상기 터치 스크린 패널은, 예를 들어, 내구성이 강하고 반응 시간이 짧으며, 투과성이 양호한 정전식(capacitive type) 터치 스크린 패널 등이 사용될 수 있다.

도 4는, 정전식 터치 스크린 패널의 적층 구조를 도시한 것이다. 예를 들어, 도 4에 도시한 바와 같이, 상기 정전식 터치 스크린 패널은, 제1 ITO(indium tin oxide) 필름, 제1 OCA(optical clear adhesive), 제2 ITO 필름, 제2 OCA, 그리고 윈도우 글라스(window glass) 등이, 하층에서부터 상층 방향으로 적층된 구조를 가질 수 있다.

상기 OCA는, 필름과 필름, 그리고 필름과 윈도우 글라스 등을 접착시키기 위한 투명한 양면 테이프일 수 있고, 상기 ITO 필름은, 인듐과 산화 주석의 화합물로서 투명한 전극을 만드는 박막 필름일 수 있다.

상기 제1 OC와 접촉하는 제1 ITO 필름의 접촉 면에는, 펄스(pulse) 신호를 송신하는 트랜시버(transceiver)가 횡 방향의 X 패턴(X-pattern)으로 형성되고, 상기 제2 OCA와 접촉하는 제2 ITO 필름의 접촉 면에는, 상기 펄스 신호를 수신하는 리시버(receiver)가 종 방향의 Y 패턴(Y-pattern)으로 형성될 수 있다.

예를 들어, 도 4에 도시한 바와 같이, 4 X 4 센서(sensors)의 정전식 터치 스크린 패널은, 사용자가 손가락으로 T1 위치를 터치하면, 상기 T1 위치에 상응하는 좌표 (X2,Y0)의 값이 1로 검출되고, T2 위치를 터치하면, 상기 T2 위치에 상응되는 좌표 (X1,Y3)의 값이 1로 검출될 수 있다.

도 5은, 정전식 터치 스크린 패널의 표면 터치 상태를 도시한 것이고, 도 6은, 정전식 터치 스크린 패널의 표면 터치와 호버링 터치 상태를 도시한 것이다. 도 5에 도시한 바와 같이, 사용자는, 손가락(finger) 또는 펜(pen) 등을 이용하여, 터치스크린 패널(TSP)의 표면을 접촉하는 표면 터치(surface touch)를 할 수 있다.

더 나아가, 도 6에 도시한 바와 같이, 상기 터치 스크린 패널의 표면에 근접(예: 1cm 이내)시켜, 비 접촉으로 호버링 터치(hovering touch)를 할 수 있다. 상기 펜은, 터치 스크린 패널이 터치를 검출할 수 있는 전자 펜이고, 상기 호버링 터치(hovering touch)는, 플로팅 터치(floating touch) 등으로 다양하게 일컬어질 수 있다.

도 5에 도시한 바와 같이, 아무런 터치(touch)가 없을 때, X 패턴의 트랜시버(transceiver)에서 송신되는 펄스 신호는, Y 패턴의 리시버(receiver)로 모두 수신되고, 사용자의 터치가 있을 때, X 패턴의 트랜시버에서 송신되는 펄스 신호의 일부분만이, Y 패턴의 리시버(receiver)로 수신된다.

예를 들어, 아무런 터치(touch)가 없을 때, 상기 송신 측(Tx) 트랜시버와 수신 측(Rx) 리시버 간의 커플링(coupling) 전압(예: V_coup. = 1.0V)은, 사전에 설정된 기준 전압(예: V_ref. = 1.0V)으로 검출될 수 있다.

반면, 사용자의 표면 터치(surface touch)가 있을 때, X 패턴의 트랜시버에서 송신되는 펄스 신호 중 일부가, 터치된 사용자의 손가락 등으로 유도되기 때문에, Y 패턴의 리시버에는 나머지 일부만이 수신된다.

상기 송신 측(Tx) 트랜시버와 수신 측(Rx) 리시버 간의 커플링 전압(예: V_coup. = 0.5V)은, 상기 기준 전압(예: V_ref. = 1.0V) 보다 낮은 저 전압으로 검출될 수 있다. 상기 기준 전압에서 하강(falling)하는 커플링 전압(coupling voltage)은, 하강 커플링 전압(V_fall.) 등으로 다양하게 일컬어 질 수 있다.

도 6에 도시한 바와 같이, 사전에 설정된 기준 전압(예: V_ref = 1.0V) 보다 낮은 전압으로 하강하는 하강 커플링 전압(V_fall.)을 검출하여, 사용자의 표면 터치(surface touch) 또는 호버링(hovering touch)을 검출할 수 있다.

예를 들어, 사용자가 터치 스크린 패널을 표면 터치(surface touch)하는 경우, 상기 하강 커플링 전압은, V_fall.= - 0.5V 로 검출될 수 있다. 반면, 사용자가 터치 스크린 패널을 비접촉 상태로 호버링 터치(hovering touch)하는 경우, 상기 하강 커플링 전압은, V_fall.= - 0.25V 로 검출될 수 있다.

본 발명의 다양한 실시 예에 따른 전자 장치는, 도 2에 도시된 구성 요소들을 포함하여 구성될 수 있다. 상기 전자 장치(100)의 프로세서(210)는, 상기 디스플레이 모듈(260)과 어플리케이션 프로세서(211) 등을 동작 제어하여, 사용자가 요청하는 다양한 동작을 수행할 수 있다.

상기 디스플레이 모듈(260)은, 터치 스크린 패널(TSP)로서, 예를 들어, 사용자의 손가락(finger) 또는 전자 펜(pen) 등의 표면 터치와 호버링 터치를 모두 검출하거나, 상기 표면 터치만을 검출할 수 있는 정전식 터치 스크린 패널(C-Type TSP)이 사용될 수 있다.

상기 프로세서(210)는, 사용자의 요청 등에 따라, 오브젝트 공동 제작(co-production) 모드를 설정하고, 상기 통신 모듈(230)을 동작 제어하여, 적어도 하나 이상의 다른 전자 장치와 양방향 통신을 수행한 후, 공동 제작할 오브젝트(object)를 실시간으로 공유할 수 있다. 예를 들어, 상기 오브젝트는, 그림 그리기, 색칠하기, 그리고 문서 작성 등과 같은 다양한 유형의 콘텐츠(contents)일 수 있다.

도 7은, 본 발명의 다양한 실시 예에 따른 오브젝트가 다수의 전자 장치에 공유되어 디스플레이 되는 도면이고, 도 8은, 본 발명의 다양한 실시 예에 따른 표면 터치(surface touch)의 인디케이터(indicator)가 오브젝트에 디스플레이 되는 도면이고, 도 9는, 본 발명의 다양한 실시 예에 따른 호버링 터치(hovering touch)의 인디케이터가 오브젝트에 디스플레이 되는 도면이다.

예를 들어, 도 7에 도시한 바와 같이, 스마트 폰 또는 태블릿 PC 등과 같은 제1 전자 장치는, 마스터(master)의 제1 터미널(terminal 1)로 설정되고, 제2 전자 장치는 슬레이브(slave)의 제2 터미널(terminal 2)로 설정될 수 있다. 상기 제1 터미널과 제2 터미널은, 이동통신망, 와이파이(WiFi), 그리고 블루투스(Bluetooth) 등과 같은 여러 통신 방식을 이용하여 양방향 통신이 가능하다.

상기 제1 터미널은, 공동 제작할 오리지널 오브젝트(original object)를, 상기 제2 터미널로 전송하여 공유(sharing)한 후, 상기 제2 터미널과의 양방향 통신을 통해, 실시간으로 오브젝트를 공동 제작한다.

예를 들어, 상기 제1 터미널을 사용하는 제1 사용자(user 1)는, 전자 펜 등을 사용하여, 터치 스크린 패널에 디스플레이 되는 오브젝트의 특정 위치를 표면 터치 또는 호버링 터치한 후, 상기 오브젝트를 편집할 수 있다.

상기 제2 터미널을 사용하는 제2 사용자(user 2)는, 마찬가지로 전자 펜 등을 사용하여, 터치 스크린 패널에 디스플레이 되는 오브젝트의 특정 위치를 표면 터치 또는 호버링 터치한 후, 상기 오브젝트를 편집할 수 있다.

상기 제1 터미널은, 상기 제1 사용자에 의해 편집되는 오브젝트와, 상기 제2 터미널을 사용하는 제2 사용자에 의해 편집되는 오브젝트를 합성(merge)한 후, 상기 합성된 오브젝트를 디스플레이 함과 아울러, 상기 제2 터미널로 전송하여 실시간으로 공유할 수 있다.

예를 들어, 상기 제2 터미널은, 상기 제2 사용자가 터치 스크린 패널을 표면 터치 또는 호버링 터치하면, 그에 상응하는 터치 정보를, 상기 제1 터미널로 전송한다. 상기 제1 터미널은, 상기 터치 정보를 수신하여, 표면 터치 또는 호버링 터치를 구별할 수 있는 인디케이터를, 상기 오브젝트에 디스플레이 한다.

상기 인디케이터는, 표면 터치와 호버링 터치를 구별할 수 있도록 형상(shape), 컬러(color), 그리고 휘도(luminance) 중 어느 하나 이상이 서로 다르게 디스플레이 될 수 있다.

도 8에 도시한 바와 같이, 상기 제2 터미널의 오브젝트에 표면(surface) 터치가 발생하면, 상기 제1 터미널의 오브젝트에는, 상기 표면 터치가 발생한 오브젝트의 위치에 삼각 형상의 인디케이터가 디스플레이 되고, 상기 제1 터미널의 오브젝트에 표면(surface) 터치가 발생하면, 상기 제2 터미널의 오브젝트에는, 상기 표면 터치가 발생한 오브젝트의 위치에 삼각 형상의 인디케이터가 디스플레이 될 수 있다.

반면, 도 9에 도시한 바와 같이, 상기 제2 터미널의 오브젝트에 호버링(hovering) 터치가 발생하면, 상기 제1 터미널의 오브젝트에는, 상기 표면 터치가 발생한 오브젝트의 위치에 원형 형상의 인디케이터가 디스플레이 되고, 상기 제1 터미널의 오브젝트에 호버링(hovering) 터치가 발생하면, 상기 제2 터미널의 오브젝트에는, 상기 표면 터치가 발생한 오브젝트의 위치에 원형 형상의 인디케이터가 디스플레이 될 수 있다.

이에 따라, 상기 제1 터미널의 사용자와, 상기 제2 터미널의 사용자는, 상대방 사용자의 작업 의도를 미리 예측할 수 있으며, 더 나아가, 상대방 사용자의 표면 터치와 호버링 터치를 구별하여 인식할 수 있다.

도 10은, 본 발명의 다양한 실시 예에 따른 전자 장치의 터치 인디케이터 디스플레이 방법에 대한 동작 흐름 도면이고, 도 11은, 본 발명의 다양한 실시 예에 따른 오브젝트 공동 제작 정보에 대한 도면이다.

도 2에 도시된 바와 같이 구성될 수 있는 전자 장치(200)는, 마스터(master)의 제1 터미널(terminal 1)로 설정될 수 있다. 상기 제1 터미널의 프로세서(210)는, 사용자의 요청 등에 따라 오브젝트 공동 제작 모드를 설정하고(S10), 상기 통신 모듈(230)을 동작 제어하여, 임의의 다른 전자 장치와 양방향 통신을 할 수 있다. 상기 임의의 다른 전자 장치는, 도 2에 도시된 바와 같이 구성될 수 있으며, 슬레이브(slave)의 제2 터미널(terminal 2)로 설정될 수 있다.

상기 제1 터미널의 프로세서(210)는, 공동 제작할 오브젝트를, 상기 슬레이브의 제2 터미널(terminal 2)로 전송하여 공유하고, 양방향 통신을 통해, 상기 오브젝트를 공동으로 제작하는 동작을 실시간으로 수행한다(S11).

상기 제1 터미널의 프로세서(210)는, 상기 제2 터미널에서 전송하는 메시지를, 상기 통신 모듈(230)을 통해 수신하여(S12), 상기 제2 터미널에 디스플레이 된 오브젝트의 터치 정보를 획득하고(S13), 상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분한다.

상기 제1 터미널의 프로세서(210)는, 상기 터치 정보가, 표면 터치를 나타내는 정보이면(S14), 표면 터치가 발생한 오브젝트의 위치에 제1 인디케이터(indicator 1)를 디스플레이하고(S15), 상기 터치 정보가, 호버링 터치를 나타내는 정보이면(S16), 호버링 터치가 발생한 오브젝트의 위치에 제2 인디케이터(indicator 2)를 디스플레이하며(S17), 공동 제작이 종료되는지를 판단한다(S18).

상기 표면 터치를 나타내는 제1 인디케이터(indicator 1)는, 예를 들어, 도 8에 도시한 바와 같이, 삼각 형상일 수 있고, 상기 호버링 터치를 나타내는 제2 인디케이터(indicator 2)는, 예를 들어, 도 9에 도시한 바와 같이, 원형 형상일 수 있다.

더 나아가, 상기 제1 인디케이터와 제2 인디케이터는, 형상(shape), 컬러(color), 그리고 휘도(luminance) 중 어느 하나 이상이 서로 다르게 디스플레이 될 수 있으며, 사용자는, 상기 제1 인디케이터와 제2 인디케이터를 확인하여, 표면 터치와 호버링 터치를 구별할 수 있다.

상기 제2 터미널에서 전송하는 메시지에는, 상기 제2 터미널의 식별 정보와, 상기 오브젝트의 터치 정보, 그리고 상기 오브젝트의 유형 및 사이즈 정보 중 어느 하나 이상을 포함될 수 있다. 상기 정보들은, 예를 들어, 오브젝트 공동 제작 정보(object co-production information) 등으로 다양하게 일컬어질 수 있다.

상기 오브젝트 공동 제작 정보는, 예를 들어, 도 11에 도시한 바와 같이, 상기 제2 터미널을 식별하기 위한 디바이스 정보(device info)로서, 디바이스 아이디(device id), 억세스 포인트(access point), 그리고 맥 어드레스(Mac address) 중 어느 하나 이상을 포함할 수 있다.

상기 오브젝트의 터치 정보는, 터치 위치(touch position), 터치 유형(touch type), 그리고 터치 상태(touch state) 중 어느 하나 이상을 포함할 수 있다. 상기 터치 위치는, 터치가 발생한 오브젝트의 가로 X축과 세로 Y축에 대응되는 (X,Y) 값이고, 상기 터치 유형은, 터치가 발생한 오브젝트의 수직 Z축에 대응되는 (Z) 값으로서, 표면 터치와 호버링 터치 중 어느 하나를 나타낼 수 있다.

상기 터치 위치와 터치 유형은, (X,Y,Z) 값으로 간략하게 표현될 수 있고, 상기 (Z) 값이, 영(zero)이면 표면 터치(예: Z=0)이고, 영 보다 크면 호버링 터치(예: Z>0)일 수 있다, 상기 터치 상태는, 터치 발생(touch press), 터치 이동(touch move), 터치 해제(touch release), 터치 속도(touch speed), 멀티 터치(multi-touch), 그리고 호버링 터치의 깊이(hovering touch depth) 중 어느 하나 이상을 나타낼 수 있다.

예를 들어, 도 12에 도시한 바와 같이, 상기 제1 터미널의 오브젝트에는, 상기 제2 터미널에서 발생한 호버링 터치를 나타내는 원형 형상의 인디케이터가 디스플레이 될 수 있다.

더 나아가, 상기 호버링 터치를 나타내는 인디케이터는, 호버링 터치의 깊이(depth)를 구별할 수 있도록 2 개의 원형, 또는 3 개의 원형 등으로 다르게 디스플레이 될 수 있다. 예를 들어, 터치 스크린 패널과 0.5cm 미만으로 근접된 호버링 터치는, 3 개의 원형으로 인디케이터를 디스플레이하고, 터치 스크린 패널과 0.5cm 이상으로 근접된 호버링 터치는, 2 개의 원형으로 인디케이터를 디스플레이 할 수 있다.

상기 터치 위치와 터치 유형은, 필수(mandatory) 정보로서, 상기 오브젝트의 터치 정보 내에 포함되되, 상기 터치 상태는, 부수(optional) 정보로서, 상기 오브젝트의 터치 정보 내에 포함되지 않을 수도 있다.

상기 오브젝트의 유형 정보는. 해당 오브젝트가 오리지널 오브젝트(original object)인지, 또는 다수 개로 분할된 부분 오브젝트(partial object)인지를 나타낸다. 상기 오브젝트의 사이즈 정보는, 오리지널 오브젝트의 사이즈와 부분 오브젝트의 사이즈를 나타낸다.

예를 들어, 오리지널 오브젝트의 사이즈는, 가로 길이와 세로 길이로 나타낸다. 반면, 부분 오브젝트의 사이즈는, 오리지널 오브젝트를 기반으로 분할된 특정 시작 위치(start position_(X,Y))과, 상기 시작 위치를 기반으로 가로 폭(width) 및 세로 높이(height)로 나타내며, 더 나아가, (X,Y,W,H) 값으로 간략하게 나타낼 수 있다.

상기 제1 터미널의 프로세서(210)는, 상기와 같이 제1 인디케이터 또는 제2 인디케이터가 디스플레이 되는 오브젝트를, 상기 제2 터미널로 전송하여, 오브젝트 공동 제작 과정을 실시간으로 공유한다.

더 나아가, 상기 제1 터미널의 프로세서(210)는, 공동 제작할 오리지널 오브젝트(original object)를 다수의 부분 오브젝트(partial object)들로 분할한 후, 상기 부분 오브젝트들을, 다른 전자 장치들로 나누어 전송하여 공유할 수 있다.

예를 들어, 도 13에 도시한 바와 같이, 상기 제1 터미널의 프로세서(210)는, 하나의 오리지널 오브젝트를 제1 부분 오브젝트(partial object 1)와 제2 부분 오브젝트(partial object 2)로 분할할 수 있다.

상기 제1 부분 오브젝트는, 상기 오리지널 오브젝트의 좌측의 60% 영역으로 분할되고, 상기 제2 부분 오브젝트는, 상기 오리지널 오브젝트의 우측의 60% 영역으로 분할되어, 중앙의 10% 영역이 중첩(overlap)될 수 있다. 상기와 같이 중앙의 10% 영역을 중첩시키는 경우, 상기 제1 부분 오브젝트와 제2 부분 오브젝트 간의 경계 부분을 단절 없이(seamless) 자연스럽게 공동 제작할 수 있다.

상기 제1 터미널에는, 상기 제1 부분 오브젝트가 디스플레이 되고, 상기 제2 터미널에는, 상기 제2 부분 오브젝트가 디스플레이 될 수 있다. 예를 들어, 도 14에 도시한 바와 같이, 상기 제2 터미널을 사용하는 제2 사용자(user 2)가, 전자 펜을 사용하여, 상기 제2 부분 오브젝트의 최 좌측에 가까운 영역을 호버링 터치하면, 상기 제1 터미널의 제1 부분 오브젝트의 최 우측에 가까운 영역에는, 상기 호버링 터치를 나타내는 인디케이터가 디스플레이 될 수 있다.

반면, 상기 제1 터미널을 사용하는 제1 사용자(user 1)가, 전자 펜을 사용하여, 상기 제1 부분 오브젝트의 최 우측에 가까운 영역을 호버링 터치하면, 상기 제2 터미널의 제2 부분 오브젝트의 최 좌측에 가까운 영역에는, 상기 호버링 터치를 나타내는 인디케이터가 디스플레이 될 수 있다. 만일, 상기 호버링 터치가 표면 터치로 변경되면, 상기 인디케이터가 표면 터치를 나타내는 인디케이터로 변경된다.

도 16 및 도 17은, 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 영역 기반으로 합성되는 도면이고, 도 18은, 본 발명의 다양한 실시 예에 따른 부분 오브젝트들이 레이어 기반으로 합성되는 도면이다.

상기 제1 터미널의 프로세서(210)는, 상기 제1 부분 오브젝트와, 상기 제2 터미널의 제2 부분 오브젝트를 합성(merge)하여, 오브젝트 공동 제작을 완료한다. 예를 들어, 상기 제1 부분 오브젝트와 제2 부분 오브젝트를 영역(area) 기반으로 합성하거나, 레이어(layer) 기반으로 합성할 수 있다.

상기 제1 터미널의 프로세서(210)는, 도 16에 도시한 바와 같이, 상기 영역 기반으로 합성하는 경우, 상기 제1 부분 오브젝트와 제2 부분 오브젝트가 중첩된 중앙의 10% 영역을 고려하여, 상기 제1 부분 오브젝트의 최 우측 5% 영역과, 상기 제2 부분 오브젝트의 최 좌측 5% 영역을 각각 제외한 후, 영역 기반의 합성 동작을 수행할 수 있다.

더 나아가, 상기 제1 터미널의 프로세서(210)는, 도 17에 도시한 바와 같이, 마스터인 제1 터미널에 의해 편집된 제1 부분 오브젝트에 가중치를 두어, 상기 제2 부분 오브젝트의 최 좌측 10% 영역을 제외한 후, 영역 기반의 합성 동작을 수행할 수도 있다.

상기 제1 터미널의 프로세서(210)는, 도 18에 도시한 바와 같이, 상기 레이어 기반으로 합성하는 경우, 마스터인 제1 터미널에 의해 편집된 제1 부분 오브젝트에 가중치를 두어, 상기 제1 부분 오브젝트를 상위 레이어(예: layer 2)로 설정하고, 상기 제2 부분 오브젝트를 하위 레이어(예: layer 1)로 설정한 후, 레이어 기반의 합성 동작을 수행할 수도 있다.

본 발명의 청구항 또는 명세서에 기재된 다양한 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(Implemented) 수 있다.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(Device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(Configured for execution).

하나 이상의 프로그램은, 전자 장치로 하여금 본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(Instructions)를 포함한다.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (Random Access Memory), 플래시(Flash) 메모리를 포함하는 불휘발성(Non-Volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(Magnetic Disc Storage Device), 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), DVD(Digital Video Disk) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(Magnetic Cassette)에 저장될 수 있다.

또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(Access)할 수 있는 부착 가능한(Attachable) 저장 장치(Storage Device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 발명의 다양한 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 발명의 다양한 실시 예를 수행하는 장치에 접속할 수도 있다.

상술한 본 발명의 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 발명이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

100: 전자 장치 102: 전자 장치
104: 전자 장치 110: 버스
120: 프로세서 130: 메모리
131: 커널 132: 미들웨어
133: 애플리케이션 프로그래밍 인터페이스
140: 사용자 입력모듈 150: 디스플레이 모듈
160: 통신 모듈 162: 네트워크
164: 서버 200: 전자 장치
210: 프로세서 211: 애플리케이션 프로세서
213: 커뮤니케이션 프로세서 214: SIM 카드
220: 메모리 222: 내장 메모리
224: 외장 메모리 230: 통신 모듈
231: 무선 통신 모듈 234: RF 모듈
233: WiFi 235: BT
237: GPS 239: NFC
240: 센서 모듈 240A: 제스처 센서
240B: 자이로 센서 240C: 기압 센서
240D: 마그네틱 센서 240E: 가속도 센서
240F: 그립 센서 240G: 근접 센서
240H: RGB 센서 240I: 생체 센서
240J: 온/습도 센서 240K: 조도 센서
240M: UV 센서 250: 사용자 입력모듈
252: 터치 패널 254: 펜 센서
256: 키 258: 울트라 소닉
260: 디스플레이 모듈 262: 패널
264: 홀로그램 270: 인터페이스
272: HDMI 274: USB
276: 프로젝터 278: D-SUB
280: 오디오 코덱 282: 스피커
284: 리시버 286: 이어폰
288: 마이크 291: 카메라 모듈
295: 전력 관리 모듈 296: 배터리
297: 인디케이터 298: 모터
300: 전자 장치 310: 커널
311: 시스템 리소스 매니저 312: 디바이스 드라이버
330: 미들웨어 341: 애플리케이션 매니저
342: 윈도우 매니저 343: 멀티미디어 매니저
344: 리소스 매니저 345: 파워 매니저
346: 데이터베이스 매니저 347: 패키지 매니저
348: 연결 매니저 349: 통지 매니저
350: 위치 매니저 351: 그래픽 매니저
352: 보안 매니저 355: 런타임 라이브러리
360: API 370: 애플리케이션
371: 홈 372: 다이얼러
373:SMS/MMS 374: IM
375: 브라우저 376: 카메라
377: 알람 378: 컨텐트
379: 음성 다이얼 380: 이메일
381: 달력 382: 미디어 플레이어
383: 앨범 384: 시계

Claims

전자 장치의 동작 방법에 있어서,
공동 제작할 오브젝트를 다른 전자 장치로 전송하여 공유하는 과정;
상기 다른 전자 장치로부터 수신되는 메시지에서, 상기 오브젝트의 터치 정보를 획득하는 과정;
상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분하는 과정; 및
상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터를 디스플레이 하는 과정을 포함하는 방법.
제1항에 있어서,
상기 공유하는 과정은, 공동 제작할 오브젝트를 다수의 부분 오브젝트들로 분할한 후, 상기 부분 오브젝트들 중 어느 하나를 다른 전자 장치로 전송하여 공유하는 방법.
제1항에 있어서,
상기 메시지는, 상기 다른 전자 장치의 식별 정보와, 상기 오브젝트의 터치 정보, 그리고 상기 오브젝트의 유형 및 사이즈 정보 중 어느 하나 이상을 포함하는 방법.
제3항에 있어서,
상기 다른 전자 장치의 식별 정보는, 디바이스 아이디, 억세스 포인트, 그리고 맥 어드레스 중 어느 하나 이상을 포함하는 방법.
제3항에 있어서,
상기 오브젝트의 터치 정보는, 터치 위치, 터치 유형, 그리고 터치 상태 중 어느 하나 이상을 포함하는 방법.
제5항에 있어서,
상기 터치 위치는, 오브젝트의 가로 X축과 세로 Y축에 대응되는 (X,Y) 값이고,
상기 터치 유형은, 오브젝트의 수직 Z축에 대응되는 (Z) 값으로서, 표면 터치와 호버링 터치 중 어느 하나를 나타내는 방법.
제6항에 있어서,
상기 터치 위치와 터치 유형은, (X,Y,Z) 값으로 표현되고,
상기 (Z) 값이, 영(zero)이면 표면 터치이고, 영 보다 크면 호버링 터치인 것을 특징으로 하는 방법.
제5항에 있어서,
상기 터치 상태는, 터치 발생, 터치 이동, 터치 해제, 터치 속도, 멀티 터치, 그리고 호버링 터치의 깊이 중 어느 하나 이상인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 디스플레이 하는 과정은, 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터의 형상, 컬러, 그리고 휘도 중 어느 하나 이상을 서로 다르게 디스플레이 하는 방법.
제1항에 있어서,
상기 인디케이터가 디스플레이 되는 오브젝트를, 상기 다른 전자 장치로 전송하여 공유하는 과정을 더 포함하는 방법.
전자 장치에 있어서,
통신 모듈;
표면 터치와 호버링 터치를 검출하는 터치 스크린 패널; 및
상기 통신 모듈과 터치 스크린 패널을 제어하는 프로세서를 포함하되,
상기 프로세서는, 공동 제작할 오브젝트를 다른 전자 장치로 전송하여 공유한 후, 상기 다른 전자 장치로부터 수신되는 메시지에서, 상기 오브젝트의 터치 정보를 획득하고,
상기 터치 정보를 기반으로, 상기 오브젝트의 표면 터치와 호버링 터치를 구분한 후, 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터를 디스플레이 하는 장치.
제11항에 있어서,
상기 프로세서는, 공동 제작할 오브젝트를 다수의 부분 오브젝트들로 분할한 후, 상기 부분 오브젝트들 중 어느 하나를 다른 전자 장치로 전송하여 공유하는 장치.
제11항에 있어서,
상기 메시지는, 상기 다른 전자 장치의 식별 정보와, 상기 오브젝트의 터치 정보, 그리고 상기 오브젝트의 유형 및 사이즈 정보 중 어느 하나 이상을 포함하는 장치.
제13항에 있어서,
상기 다른 전자 장치의 식별 정보는, 디바이스 아이디, 억세스 포인트, 그리고 맥 어드레스 중 어느 하나 이상을 포함하는 장치.
제13항에 있어서,
상기 오브젝트의 터치 정보는, 터치 위치, 터치 유형, 그리고 터치 상태 중 어느 하나 이상을 포함하는 장치.
제15항에 있어서,
상기 터치 위치는, 오브젝트의 가로 X축과 세로 Y축에 대응되는 (X,Y) 값이고,
상기 터치 유형은, 오브젝트의 수직 Z축에 대응되는 (Z) 값으로서, 표면 터치와 호버링 터치 중 어느 하나를 나타내는 장치.
제16항에 있어서,
상기 터치 위치와 터치 유형은, (X,Y,Z) 값으로 표현되고,
상기 (Z) 값이, 영(zero)이면 표면 터치이고, 영 보다 크면 호버링 터치인 장치.
제15항에 있어서,
상기 터치 상태는, 터치 발생, 터치 이동, 터치 해제, 터치 속도, 멀티 터치, 그리고 호버링 터치의 깊이 중 어느 하나 이상을 나타내는 장치.
제11항에 있어서,
상기 디스플레이 하는 과정은, 상기 표면 터치와 호버링 터치를 구별할 수 있는 인디케이터의 형상, 컬러, 그리고 휘도 중 어느 하나 이상을 서로 다르게 디스플레이 하는 장치.
제1항의 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체.