KR102109649B1 - 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치 - Google Patents

전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치 Download PDF

Info

Publication number
KR102109649B1
KR102109649B1 KR1020130063942A KR20130063942A KR102109649B1 KR 102109649 B1 KR102109649 B1 KR 102109649B1 KR 1020130063942 A KR1020130063942 A KR 1020130063942A KR 20130063942 A KR20130063942 A KR 20130063942A KR 102109649 B1 KR102109649 B1 KR 102109649B1
Authority
KR
South Korea
Prior art keywords
user
coordinate correction
point
electromagnetic induction
electronic device
Prior art date
Application number
KR1020130063942A
Other languages
English (en)
Other versions
KR20140142778A (ko
Inventor
안희태
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130063942A priority Critical patent/KR102109649B1/ko
Priority to EP14168518.0A priority patent/EP2811373B1/en
Priority to US14/278,492 priority patent/US9262028B2/en
Publication of KR20140142778A publication Critical patent/KR20140142778A/ko
Application granted granted Critical
Publication of KR102109649B1 publication Critical patent/KR102109649B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0442—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명에 따른 일정 간격 이격된 펜 접촉부와 코일을 포함하는 전자 펜과 휴대형 전자장치를 이용하는 전자 펜 좌표 보정 방법은 좌표 보정 각도를 산출하는 과정; 및 상기 코일 및 상기 휴대형 전자장치의 센서 보드 간 전자기 유도에 의해 발생되는 자기장이 측정되는 상기 휴대형 전자장치의 표시부 상의 전자기 유도 지점으로부터 상기 표시부에 대한 상기 펜 접촉부의 접촉 지점까지의 좌표 보정 거리를 산출하는 과정을 포함하고, 상기 좌표 보정 각도를 산출하는 과정은, 사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 상기 휴대형 전자장치의 좌우 기울어진 정도와 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정; 상기 전자 펜을 파지한 사용자의 손 호버링에 의해 상기 표시부 상에 발생되는 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정; 및 상기 표시부에 대한 사용자의 손바닥 터치에 의해 발생되는 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 중 적어도 하나 과정을 포함하는 것을 특징으로 한다.

Description

전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치{METHOD FOR CORRECTING COORDINATION OF ELECTRONIC PEN AND POTABLE ELECTRONIC DEVICE SUPPORTING THE SAME}
본 발명은 전자 펜 좌표 보정 방법에 관한 것으로, 특히 전자기 유도 방식에 따라 운용되는 전자 펜이 휴대형 전자장치에 접촉될 때 발생되는 오차를 얼굴 인식, 터치 호버링 및 팜 터치 중 적어도 하나를 이용하여 보정하도록 지원하는 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치에 관한 것이다.
휴대형 전자장치는 특정 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작아 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 사용자 기능을 통합적으로 지원하는 휴대형 전자장치가 등장하고 있다. 이러한 휴대형 전자장치는 사용자 기능을 지원하면서 해당 사용자 기능에 대응하는 화면을 표시부를 통해 제공하고 있다. 이에 따라 사용자는 특정 사용자 기능을 이용할 때 표시부에 출력되는 화면을 열람하면서 해당 기능을 이용하고 있다.
한편 종래 휴대형 전자장치는 전자기 유도 방식의 전자 펜을 이용하여 글쓰기나 그림 그리기 등의 기능을 지원하고 있다. 이때 사용되는 전자 펜은 표시부 상에 접촉되는 과정에서 휴대형 전자장치에서 특정 입력 신호를 검출하도록 지원한다. 이에 따라 사용자는 휴대형 전자장치의 표시부 상에서 해당 전자 펜을 운용하여 글쓰기 등을 수행할 수 있다. 이때 사용자의 전자 펜 파지에 따른 각도가 서로 다를 수 있기 때문에 실제 전자 펜이 표시부 상에 접촉되는 지점과 휴대형 전자장치가 전자 펜의 접촉 지점을 인식하는 지점 간의 오차가 발생하는 문제점이 있었다. 이러한 오차를 보정하기 위해 종래에는 사용자 펜 파지 형태에 따라 왼손 기준 각도(이하, '왼손 그립 각도'라 칭함) 또는 오른손 기준 각도(이하, '오른손 그립 각도'라 칭함) 2가지 형태와 휴대형 전자장치를 파지하고 있는 사용자 정면 기준으로 휴대형 전자장치의 배치 상태에 따라 정방향/역방향 또는 가로/세로 방향의 4가지 형태 즉, 종래 장치는 형태에 따라 총 8개의 전자 펜 좌표 보정 값이 미리 정의된 테이블을 이용하였다. 즉, 미리 정의된 그립 각도와 미리 정의된 오차 보정 거리(이하, '표준 기울임 보정 거리'라 칭함)가 저장된 테이블을 이용하여 전자 펜에 의한 전자기 유도 지점의 좌표를 전자 펜이 표시부에 접촉되는 지점의 좌표로 보정하고 있었다. 여기서, 왼손 그립 각도, 오른손 그립 각도 및 표준 기울임 보정 거리는 실험적 또는 통계적으로 미리 정의된 수치이다.
그러나 종래 해결 방법은 휴대형 전자장치가 지면과 일정 각도 이상 기울어진 경우에만 제대로 적용될 수 있으며 반면, 휴대형 전자장치가 지면과 수평으로 놓여 있는 경우에는 휴대형 전자장치의 배치 상태를 인식할 수 없어 제대로 전자 펜 좌표를 보정할 수 없었다. 따라서, 종래에는 이를 위해 수평 상태에 놓인 휴대형 전자장치를 일정 각도 이상 기울여 전자장치의 배치 상태를 확인 후 휴대형 전자장치를 다시 수평 상태로 전환하여 휴대형 전자장치의 배치 상태를 확인하도록 해야 하는 불편이 있었다.
또한, 휴대형 전자장치의 배치 상태가 제대로 인식되지 않은 상태에서 사용자가 전파 펜에 의해 신호를 입력하는 경우에는 휴대형 전자장치의 배치 상태와 일치하지 않는 미리 정의된 보정 각도 및 보정 거리 값을 이용하게 되어 보정에 의해 오차가 더 커질 수 있는 문제점이 있었다.
게다가 종래 기술은 총 8개의 좌표 보정 값만을 제공함으로써 휴대형 전자장치의 변경되는 회전 상태에 따라 발생되는 다양한 오차를 반영할 수 없고, 사용자가 필기 시 전자 펜의 기울임 각도가 달라짐에도 동일한 표준 기울임 거리를 적용하는 한계가 있었다.
따라서, 본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서 본 발명의 목적은 전자기 유도 방식에 따라 운용되는 전자 펜이 휴대형 전자장치에 접촉될 때 발생되는 오차를 얼굴 인식, 터치 호버링 및 팜 터치 중 적어도 하나를 이용하여 보정하도록 지원하는 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치를 제공하는 데 있다.
본 발명에 따른 일정 간격 이격된 펜 접촉부와 코일을 포함하는 전자 펜과 휴대형 전자장치를 이용하는 전자 펜 좌표 보정 방법은 좌표 보정 각도를 산출하는 과정; 및 상기 코일 및 상기 휴대형 전자장치의 센서 보드 간 전자기 유도에 의해 발생되는 자기장이 측정되는 상기 휴대형 전자장치의 표시부 상의 전자기 유도 지점으로부터 상기 표시부에 대한 상기 펜 접촉부의 접촉 지점까지의 좌표 보정 거리를 산출하는 과정을 포함하고, 상기 좌표 보정 각도를 산출하는 과정은, 사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 상기 휴대형 전자장치의 좌우 기울어진 정도와 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정; 상기 전자 펜을 파지한 사용자의 손 호버링에 의해 상기 표시부 상에 발생되는 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정; 및 상기 표시부에 대한 사용자의 손바닥 터치에 의해 발생되는 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 중 적어도 하나 과정을 포함하는 것을 특징으로 한다.
본 발명에 따른 휴대형 전자장치는 펜 접촉부와 전자기 유도를 위한 코일이 일정 간격 이격된 형태로 포함되는 전자기 유도 방식의 전자 펜으로부터 호버링 입력 및 터치 입력을 수신하는 센서보드; 상기 전자 펜을 파지한 사용자의 손 호버링에 의한 터치 호버링 입력 및 사용자의 손바닥 터치에 의해 발생되는 팜 터치 입력을 수신하는 터치 패널; 및 상기 전자 펜의 입력을 출력하는 표시 패널을 포함하는 표시부; 사용자 얼굴 이미지를 촬상하는 카메라; 및 사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 휴대형 전자장치의 좌/우로 기울어진 정도와 상기 전자기 유도 지점을 이용하여 좌표 보정 각도를 산출하는 과정, 상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 및 상기 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 중 적어도 하나의 과정을 이용하여 상기 좌표 보정 각도를 산출하고, 상기 전자기 유도 지점으로부터 상기 표시부에 대한 상기 펜 접촉부의 접촉 지점까지의 좌표 보정 거리를 산출하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
이상에서 살펴본 바와 같이 본 발명의 실시예에 따른 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치는 전자 펜에 의한 정확한 입력 좌표를 산출할 수 있어 뛰어난 사용성을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 펜과 휴대형 전자장치의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 휴대형 전자장치의 구성을 상세히 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식을 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 인식을 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 터치 호버링을 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 터치 호버링을 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
도 7는 본 발명의 또 다른 실시예에 따른 팜 터치를 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 팜 터치를 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다. 여기서 본 발명의 실시 예에 따른 전자 장치는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여 PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예를 들어, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart phone), 노트북(notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기가 간격에 의해 제한되어지지 않는다.
도 1은 본 발명의 일 실시예에 따른 전자 펜과 휴대형 전자장치의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 전자 펜(200)을 이용하여 휴대형 전자장치(100)에 특정 입력 신호를 생성할 수 있도록 지원한다. 특히 본 발명의 실시예에 따라 전자기 유도 방식으로 입력 신호를 생성하도록 지원하는 전자 펜(200)이 휴대형 전자장치(100)와 협업하여 입력 신호를 생성할 때, 얼굴 인식, 터치 호버링 및 팜 터치 중 적어도 하나를 이용하여 휴대형 전자장치(100)의 배치 상태, 회전에 따른 각도 변화 및 전자 펜(200)의 기울어짐에 따른 오차를 보정하도록 지원할 수 있다. 여기서 터치 호버링은 전자 펜(200)의 호버링 상태와 구별되며, 사용자가 전자 펜(200)을 파지하고 글 쓰기 등을 수행할 때, 사용자의 손이 표시부(160)에 접촉 터치 전 일정 거리에 있는 상태를 의미한다. 팜 터치는 사용자의 손바닥이 일정 면적을 이루면서 표시부(160)에 접촉된 상태를 의미한다. 본 발명의 일 실시예에 따라 휴대형 전자장치(100)는 전자 펜(200 이용에 따라 특정 입력 신호가 수신되는 경우 해당 입력 신호에 따른 그래픽 요소를 전자 펜(200)이 접촉된 표시부(160) 지점에 적절하게 출력할 수 있다.
전자 펜(200)은 도 1에 도시된 바와 같이 펜대(220)와 펜 접촉부(210)을 포함하며, 전자기 유도 방식을 위한 코일(230)이 펜 접촉부(210)에 인접된 영역의 펜대(220) 내측에 배치될 수 있다. 펜대(220)는 일정 길이를 가지며 내부가 빈 원통형의 형상을 가질 수 있다. 펜대(220)의 전단부는 원뿔 형태를 가질 수 있으며, 전단부의 첨단은 관통홀이 형성되어 펜 접촉부(210)이 배치될 수 있다. 펜 접촉부(210)은 펜대(220)의 전단부 내측에 배치되는 부분 및 첨단의 관통홀을 관통하는 부분이 서로 연결되는 형태를 가질 수 있다. 이러한 펜 접촉부(210)은 실제 전자 펜(200)을 사용하는 느낌을 제공하기 위하여 탄성 부재에 의해 펜 접촉부(210)이 특정 물체와 접촉되는 시점에 펜대(220)의 전단부에서 후방으로 밀리는 형태를 가질 수 있다. 이후 특정 물체와의 접촉이 해제되면 펜 접촉부(210)은 탄성 부재에 의하여 원래의 위치로 복귀할 수 있다. 한편 펜 접촉부(210) 중 전단부 내측에 배치되는 부분은 탄성 부재에 의하여 지지됨과 아울러 후방으로 밀리는 과정에서 펜대(220)의 내측에 위치한 코일(230)과 접촉되는 구조를 가지도록 배치될 수 있다. 이러한 펜 접촉부(210)은 휴대형 전자장치(100)의 표시부(160)에 접촉되는 경우 접촉 지점(102)을 가질 수 있다.
코일(230)은 내부가 빈 원통형의 펜대(220) 내측 중 일정 영역에 펜 접촉부(210)과 일정 간격 이격된 위치에 배치되며, 휴대형 전자장치(100)에 포함되는 센서 보드와 상호 작용하여 센서 보드 상에 전자기를 유도하는 역할을 수행할 수 있다. 이에 따라 코일(230)은 휴대형 전자장치(100)에 포함되는 센서 보드 상에 전자기를 유도하도록 지원하며 이에 따른 전자기 유도 지점을 형성할 수 있다. 이러한 코일(230)은 펜대(220)의 전단부에 치우쳐 배치될 수 있으며, 앞서 설명한 바와 같이 펜 접촉부(210)의 이동에 따라 펜 접촉부(210)의 일정 부분과 접촉되도록 배치될 수도 있다. 한편, 코일(230)의 형태 및 길이나 부피 등은 특정 상태로 결정지어지는 것이 아니라 본 발명의 실시예에 적용되는 전자 펜(200)의 크기나 휴대형 전자장치(100)에 적용되는 센서 보드의 품질이나 제공되는 전류의 크기 등에 따라 다르게 정의될 수 있다. 이에 따라 본 발명의 일 실시예에 따른 전자 펜(200)의 구조는 앞서 설명한 그리고 도시한 펜 접촉부(210)의 형태나 펜대(220)의 형태 또는 코일(230)의 크기나 위치 등에 한정되는 것이 아니라 휴대형 전자장치(100)에 배치된 센서 보드와의 협업 과정에서 전자기 유도를 형성하는 실험적 형태에 의하여 결정될 수 있을 것이다.
휴대형 전자장치(100)는 다양한 응용 프로그램 지원을 위한 저장부와 제어부를 포함하여 본 발명의 실시 예에 따른 전자 펜(200)의 운용과 그에 따른 그래픽 요소 출력을 위하여 표시부(160)를 포함할 수 있다. 이러한 구성의 휴대형 전자장치(100)는 센서 보드를 이용하여 전자 펜(200)의 위치를 검출하고, 전자 펜(200)의 위치 검출에 따른 오차를 보정할 수 있다.
특히, 본 발명의 일 실시예에 따른 휴대형 전자장치(100)는 사용자의 얼굴 인식을 통해 휴대형 전자장치(100)가 회전됨에 따른 배치 상태를 확인하고, 배치 상태에 따라 전자 펜(200)에 적용되는 오차의 보정 값을 다르게 하도록 지원할 수 있다. 여기서 휴대형 전자장치(100)의 배치상태는 휴대형 전자장치(100)가 회전됨에 따라 파지하는 사용자의 정면을 기준으로 휴대형 전자장치(100)가 정방향/역방향 및 가로/세로로 놓인 것을 의미한다. 예를 들어, 사용자가 도 1의 휴대형 전자장치(100)를 정면으로 응시한다고 가정할 때, 도 1의 휴대형 전자장치(100)는 정방향 가로 상태에 있는 것으로 볼 수 있고, 휴대형 전자장치(100)가 시계 방향으로 90도 회전되어 배치되는 상태는 정방향 세로 상태에 놓인 것으로 볼 수 있다. 본 발명의 일 실시예에 따른 휴대형 전자장치(100)는 휴대형 전자장치(100)의 정방향/역방향 및 가로/세로 배치 상태를 확인하고, 이에 더하여 사용자 정면을 기준으로 휴대형 전자장치(100)의 회전 각도를 산출할 수 있다. 이와 같이, 휴대형 전자장치(100)의 배치 상태 및 회전 각도에 기반하여 휴대형 전자장치(100)가 사용자 정면을 기준으로 좌/우 기울어진 정도를 확인할 수 있다. 또한, 본 발명의 다른 실시예에 따른 휴대형 전자장치(100)는 터치 호버링 및 팜 터치를 이용하여 휴대형 전자장치(100)의 좌우 기울어진 정도에 무관하게 전자 펜(200)의 전자기 유도 지점(104)을 전자 펜(200)의 접촉 지점(104)으로 보정하기 위한 좌표 보정 각도를 산출할 수 있다. 즉, 전자 펜(200)이 표시부(160)에 접촉 시 유도되는 전자기 유도 지점 좌표(104)와 터치 호버링 또는 팜 터치에 의해 입력되는 좌표가 수집되면 휴대형 전자장치(100)는 배치상태와 관계없이 보정 각도를 산출할 수 있다. 게다가, 팜 터치를 이용하는 경우 휴대형 전자장치(100)는 전자기 유도 지점 좌표(104)와 팜 터치에 의해 입력되는 좌표를 이용하여 보정 거리를 결정할 수 있다. 이와 관련하여 상세히 후술한다.
도 2는 본 발명의 일 실시예에 따른 휴대형 전자장치의 구성을 상세히 나타내는 도면이다.
도 2를 참조하면 본 발명의 일 실시예에 따른 휴대형 전자장치(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 카메라(140), 센서부(150), 표시부(160), 저장부(170) 및 제어부(180)를 포함할 수 있다.
통신부(110)는 휴대형 전자장치(100)가 통신 기능을 지원하는 장치인 경우 추가될 수 있는 구성으로서, 휴대형 전자장치(100)가 통신 기능을 지원하지 않는 경우 생략될 수도 있다. 이러한 통신부(110)는 전자 펜(200)을 이용하여 통신 기능 지원을 위해 마련된 항목을 선택하는 경우 활성화될 수 있으며, 또한 전자 펜(200)뿐만 아니라 손가락 등의 사용자 입력에 따라 활성화될 수도 있다.
입력부(120)는 휴대형 전자장치(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 이러한 입력부(120)는 휴대형 전자장치(100)의 호환 가능 여부에 따라 키보드나 키패드, 키버튼 등의 다양한 입력 수단을 포함할 수 있다. 또한 입력부(120)는 표시부(160)가 터치스크린으로 제공되는 경우 터치스크린에 출력되는 터치 맵 형태로 구성될 수도 있다. 특히 본 발명의 실시예에 따른 입력부(120)는 전자 펜(200) 운용을 활성화하는 입력 신호 또는 전자 펜(200) 운용을 비활성화하는 입력 신호를 사용자 요청에 따라 생성할 수 있다. 추가로 입력부(120)는 전자 펜(200)의 왼손 입력 모드 및 오른손 입력 모드 전환을 위한 입력 신호를 사용자 요청에 따라 생성하고 이를 제어부(180)로 전달할 수 있다.
오디오 처리부(130)는 휴대형 전자장치(100)의 운용과정에서 설정된 다양한 오디오 데이터 및 저장부(170)에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부로부터 수신되는 오디오 데이터 등을 출력할 수 있다. 또한, 오디오 처리부(130)는 오디오 데이터 수집 기능을 지원할 수 있다. 이를 위하여 오디오 처리부(130)는 스피커와 마이크를 포함할 수 있다. 특히, 오디오 처리부(130)는 휴대형 전자장치(100)의 얼굴 인식, 터치 호버링 및 팜 터치 중 적어도 하나를 이용하는 경우 그에 대응하는 안내음이나 효과음 출력을 지원할 수 있다. 또한 오디오 처리부(130)는 전자 펜(200)이 접근하여 호버링 상태가 되는 경우, 전자 펜(200)의 접근에 따른 안내음이나 효과음 출력을 지원할 수 있다. 또한, 오디오 처리부(130)는 전자 펜(200)을 이용하여 휴대형 전자장치(100)의 표시부(160)에 특정 텍스트나 이미지를 기입하는 과정에서 전자 펜(200)에 의한 입력 신호가 정상적으로 운용되고 있음을 안내하기 위한 효과음 등을 출력할 수 있다.
카메라(140)는 사용자의 얼굴을 포함하는 이미지를 수집할 수 있는 구성이다. 특히, 본 발명의 실시예에 따른 카메라(140)는 전자 펜(200)에 의한 전자기 유도 지점의 좌표(104)를 접촉 지점(102)의 좌표로 보정하기 위해 필요한 좌표 보정 각도를 산출하기 위해 수집된 이미지를 제어부(180)로 전달할 수 있다. 한편 제어부(180)의 제어 하에 카메라(140)는 전자 펜(200)이 호버링 상태에 도달 시 촬상을 시작할 수 있다. 여기서 전자 펜(200)의 호버링 상태는 전자 펜(200)이 휴대형 전자장치(100)에 근접하여 전자 펜(200)에 의해 발생되는 신호를 센서 보드(166)가 감지 가능한 거리로부터 표시부(160)에 접촉 되기 전까지의 거리에 있는 것을 의미한다. 그리고, 제어부(180)는 카메라(140)를 제어하여 전자 펜(200) 호버링 상태에서 사용자 이미지 촬상을 시작함으로써 전자 펜(200)에 의한 신호가 입력되기 전에 휴대형 전자장치(100)의 배치상태 및 회전 각도를 미리 확인할 수 있다. 이에 따라, 전자 펜(200)의 신호 입력에 따른 그래픽 요소 출력의 반응 속도를 높일 수 있다. 다만, 본 발명의 기술적 사상의 범위를 이에 한정하는 것은 아니며 본 발명의 실시예에 따른 카메라(140)는 전자 펜(200)에 의한 입력 후에 촬상을 시작하더라도 동일한 목적을 달성할 수 있다.
제어부(180)는 사용자 얼굴 포함 이미지로부터 사용자 얼굴을 인식하고, 인식된 사용자 얼굴로부터 사용자의 특정점으로서 눈, 코 및 안면 형상 등 특정 좌표를 추출할 수 있다. 특히 본 발명의 일 실시예에서는 제어부(180)는 특정 좌표로서 추출된 사용자의 2개의 눈 좌표를 이용하여 휴대형 전자장치(100)이 사용자 정면을 기준으로 좌우 기울어진 정도를 확인하고 이를 이용하여 좌표 보정 각도를 산출할 수 있다.
센서부(150)는 휴대형 전자장치(100)의 회전 기능 지원을 위한 센서 정보를 수집하는 구성이다. 이러한 센서부(150)는 가속도 센서 등 단말기의 회전을 감지할 수 있는 센서로 구성될 수 있다. 이에 따라 센서부(150)는 휴대형 전자장치(100)가 특정 방향으로 배치되거나, 특정 방향으로 배치된 상태에서 방향 전환이 발생하는 경우 센서 정보를 발생시킨다. 이렇게 발생된 센서 정보는 제어부(180)로 전달되어 휴대형 전자장치(100)의 배치 상태를 판단하는 데이터로 이용될 수 있다. 한편 센서부(150)는 가속도 센서뿐만 아니라 지자기 센서, 자이로 센서 등도 포함하거나 다양한 센서 중 적어도 하나를 포함하여 구성될 수 있다. 이러한 센서부(150)는 특정 사용자 기능이 활성화되는 상태에서 활성화되어 휴대형 전자장치(100)의 회전 감지를 수행할 수 있다. 특히 센서부(150)는 펜 기능 활성화를 위한 입력 신호가 발생하면 함께 활성화되어 휴대형 전자장치(100)의 회전 감지에 따른 센서 정보를 발생시키고 이를 제어부(180)에 전달할 수 있다. 다만 센서부(150)는 본 발명의 실시예에 따라 생략될 수 있는 구성이다. 즉, 본 발명의 일 실시예에 따라 카메라(140)에 촬상된 사용자 이미지 입력, 터치 호버링 입력 및 팜 터치 입력 중 적어도 하나의 입력이 있는 경우 이를 이용하여 전자 펜(200) 입력에 따른 오차를 보정할 수 있으므로 센서부(150)는 생략될 수도 있다.
표시부(160)는 휴대형 전자장치(100) 운용에 필요에 다양한 화면을 제공하는 구성이다. 예를 들어, 표시부(160)는 휴대형 전자장치(100) 운용에 필요한 대기 화면, 메뉴 화면 등을 지원한다. 또한, 표시부(160)는 사용자의 휴대형 전자장치(100)의 회전에 따라 표시되는 화면 방향을 다르게 표시할 수 있다.
한편 표시부(160)는 본 발명의 일 실시예에 따른 전자 펜(200) 좌표 보정을 적용할 지 여부를 결정할 수 있는 설정 화면을 지원할 수 있다. 예를 들어, 표시부(160)는 전자 펜(200) 좌표 보정 방법으로서 카메라(140)에 의해 촬상된 사용자 이미지를 이용하는 모드, 터치 호버링 입력을 이용하는 모드 및 팜 터치 입력을 이용하는 모드를 설정할 수 있는 설정창을 제공할 수 있다. 이때, 카메라(140)에 의해 촬상된 사용자 이미지를 이용하는 모드, 터치 호버링 입력을 이용하는 모드 및 팜 터치 입력을 이용하는 모드는 제어부(180) 제어 하에 중복되도록 설정될 수 있으며, 중복되어 설정되는 경우 상호 간에 우선 순위를 갖도록 설정될 수 있다. 예를 들어, 제어부(180)는 우선 순위를 팜 터치을 이용하는 모드, 터치 호버링을 이용하는 모드, 사용자 이미지를 이용하는 모드 순서로 설정할 수 있다.
표시부(160)는 표시 패널(164), 터치 패널(162) 및 센서보드(166)를 포함하여 구성될 수 있다. 이때 터치 패널(162)은 표시 패널(164) 전면을 덮는 형태로 구성됨으로써 풀 터치스크린의 형태로 구성될 수 있다. 표시 패널(164)은 사용자 기능 운용에 따른 화면을 일정 방향으로 출력할 수 있으며, 회전에 따라 특정 방향의 가로 모드 또는 세로 모드 화면을 제공하거나 특정 모드 화면 상태를 지속적으로 유지하도록 지원할 수 있다. 또한, 표시 패널(164)은 제어부에 의해 산출된 좌표 보정 각도 및 좌표 보정 거리에 기초하여 좌표가 보정된 입력을 출력할 수 있다.
터치 패널(162)은 접촉에 따른 터치 이벤트를 위치 정보 및 터치 정도나 기간 정보와 함께 제어부(180)로 전달할 수 있다. 이러한 터치 패널(162)은 표시 패널(164)에 출력된 화면 구성 요소와 매칭됨으로써 화면에 출력된 특정 구성 요소를 선택할 수 있는 기능을 지원한다. 특히 본 발명의 일 실시예에 따른 터치 패널(162)은 전자 펜(200)의 좌표 보정을 위해 터치 호버링 입력 및 팜 터치 입력을 수신할 수 있다.
구체적으로, 터치 패널(162)은 전자 펜(200)을 파지한 사용자 손에 의해 발생되는 터치 호버링 입력을 수신하여 제어부(180)로 전달할 수 있다. 제어부(180)는 전달된 터치 호버링 입력에 기초하여 터치 호버링 입력의 좌표를 확인할 수 있다. 이때 터치 호버링 입력이 다수의 좌표로 입력되는 경우 제어부(180)는 호버링 세기를 비교하여 터치 호버링 입력 좌표를 결정할 수 있다. 제어부(180)는 산출된 터치 호버링 입력 좌표와 전자 펜(200)의 전자기 유도 지점(104)의 좌표를 이용하여 좌표 보정 각도를 산출할 수 있다.
또한, 터치 패널(162)은 전자 펜(200)을 파지한 사용자의 손바닥 터치 입력 즉, 팜 터치 입력을 수신할 수 있다. 터치 패널(162)은 수신된 팜 터치 입력을 제어부(180)로 전달할 수 있다. 제어부(180)는 팜 터치 입력에 기초하여 다수의 포인트들 가운데 팜 터치 입력의 중심 포인트를 산출할 수 있다. 여기서 팜 터치 입력의 중심 포인트를 산출하는 기준은 팜 터치에 의한 영역을 구성하는 포인트들의 좌표들 중 팜 터치 영역의 외곽선에 해당하는 포인트들의 벡터값을 평균한 좌표를 중심 포인트로 산출할 수 있다. 다만 이러한 중심 포인트 산출 기준은 본 발명의 일 실시예에 따른 예시에 불과하여 이에 한정되지 않고 다양한 중심 포인트 산출 기준이 가능할 것이다. 예를 들어, 터치 패널(162)을 구현하는 방식에 따라 팜 터치 영역 내에서 접촉에 의한 압력의 크기 또는 정전 용량 변화의 세기를 측정하고, 측정된 크기 또는 세기가 가장 큰 지점을 중심 포인트로 산출할 수도 있다. 제어부(180)는 산출된 팜 터치 입력의 중심 포인트 및 전자 펜(200) 전자기 유도 지점(104)의 좌표를 이용하여 좌표 보정 각도를 산출할 수 있다. 그리고 제어부(180)는 전자 펜(200)의 기울어짐에 따른 거리 오차를 보정하기 위한 좌표 보정 거리를 결정하는 데 팜 터치 중심 포인트 및 전자 펜(200) 전자기 유도 지점(104) 간 거리를 이용할 수 있다.
센서 보드(166)는 표시 패널(164)의 하부에 배치되어 전자 펜(200) 내에 포함되는 코일(230)에 의한 전자기 유도를 지원한다. 이때 센서 보드(166)는 코일(230)의 전자기 유도 및 유도된 전자기 검출을 위하여 제어부(180) 제어에 따라 보드 전면에 일정한 전압이나 전류를 공급할 수 있다. 본 발명의 실시예에 따른 휴대형 전자장치(100)가 풀터치를 지원하는 경우 센서 보드(166)는 표시 패널(164) 전체에 대응하는 크기를 가질 수 있으며, 일정 부분에 대한 터치 기능만을 지원하는 경우 표시 패널(164)보다 작은 크기를 가질 수도 있다. 특히 본 발명의 실시예에 따라 센서 보드(166)는 전자 펜(200)이 휴대형 전자장치(100)로 접근하여 호버링 감지 가능한 거리에 도달하면 신호를 생성하여 제어부(180)로 전달할 수 있다. 이때 제어부(180)는 사용자를 촬상하기 위해 카메라(140)가 활성화되도록 제어할 수 있다.
저장부(170)는 제어부(180)의 보조기억장치(secondary memory unit)로써, 디스크, 램(RAM) 및 플래쉬 메모리를 포함할 수 있다. 저장부(170)는 제어부(180)의 제어 하에 휴대형 전자장치(100)에서 생성되거나 통신부(110) 또는 외부 인터페이스부(미도시)를 통해 외부장치 예를 들어, 서버, 데스크 탑 PC 등으로부터 수신한 데이터를 저장할 수 있다. 특히 본 발명의 일 실시예에 따른 저장부(170)는 표준 좌표 보정 테이블(172), 얼굴 인식 프로그램(174) 및 팜 터치 테이블(176)을 포함할 수 있다.
표준 좌표 보정 테이블(172)은 종래 기술에서 상술한 왼손 그립 각도, 오른손 그립 각도 및 표준 기울임 보정 거리 등 전자 펜(200)의 좌표 보정을 위해 미리 정의된 값들을 저장할 수 있다. 왼손 그립 각도, 오른손 그립 각도 및 표준 기울임 보정 거리는 일반적으로 통계에 의한 값으로 결정될 수 있으며, 설계 시 설계자 또는 사용자에 의해 설정될 수 있다. 본 발명의 일 실시예에서 제어부(180)는 얼굴 인식을 통해 휴대형 전자장치(100)의 좌우 기울어진 정도를 확인하며, 휴대형 전자장치(100)의 좌우 기울어진 정도와 함께 왼손 그립 각도 또는 오른손 그립 각도를 가감하여 좌표 보정 각도를 산출할 수 있다. 또한, 제어부(180)는 좌표 보정 각도가 산출되면 표준 기울임 보정 거리를 이용하여 보정 좌표 즉, 전자기 유도 지점(104)으로부터 전자 펜(200)의 접촉 지점(102)으로 보정하기 위한 좌표를 결정할 수 있다.
얼굴 인식 프로그램(174)은 본 발명의 일 실시예에 따라 촬상된 사용자 이미지를 이용하여 좌표 보정 각도를 산출하기 위한 구성에 해당될 수 있다. 즉, 얼굴 인식 프로그램(174)은 카메라(140)에 의해 촬상된 이미지에 포함된 사용자의 얼굴을 인식하고, 인식된 얼굴로부터 눈 또는 코 등의 특정 좌표을 추출할 수 있다. 특히 본 발명의 일 실시예에서 얼굴 인식 프로그램(174)은 특징점으로서 사용자의 두 눈에 대한 좌표를 추출할 수 있다. 제어부(180)는 얼굴 인식 프로그램(174)로부터 추출된 사용자의 두 눈에 대한 좌표를 수신하고, 수신된 사용자 눈 좌표로부터 휴대형 전자장치(100)의 회전 각도를 산출할 수 있다. 또한 제어부(180)는 제어부(180)는 인식된 사용자 얼굴로부터 휴대형 전자장치(100)의 배치상태를 확인할 수 있다. 제어부(180)는 산출된 휴대형 전자장치(100)의 배치 상태 및 회전 각도를 포함하는 휴대형 전자장치(100)의 좌우 기울어진 정도를 이용하여 좌표 보정 각도를 산출할 수 있다.
팜 터치 테이블(176)은 전자 펜(200)의 기울어짐 각도에 따른 거리 오차를 보정하기 위해 좌표 보정 거리를 미리 정의한 테이블이다. 사용자가 전자 펜(200)을 이용하여 표시부(160)에 필기함에 따라 전자 펜(200)의 기울어짐 각도는 연속적으로 변경될 수 있다. 제어부(180)는 팜 터치 테이블(176)을 통해 표시부(160)에 대한 사용자의 손바닥 입력 즉, 팜 터치 입력을 이용하여 연속적으로 변경되는 전자 펜(200)의 기울어짐 각도를 반영하여 좌표를 보정할 수 있다. 구체적으로, 전자 펜(200)이 표시부(160)에 접촉 시, 터치 패널(162)로 팜 터치가 입력되면 터치 패널(162)은 팜 터치 입력을 제어부(180)에 전달할 수 있다. 제어부(180)는 수신된 팜 터치 입력에 기초하여 팜 터치 입력의 중심 포인트의 좌표를 확인할 수 있다. 제어부(180)는 전자 펜(200)의 표시부(160) 접촉에 따른 접촉 지점의 좌표 및 확인된 중심 포인트의 좌표 간 거리를 산출할 수 있다. 이때 제어부(180)는 산출된 접촉 지점의 좌표 및 중심 포인트의 좌표 간 거리에 상응하는 거리를 미리 정의한 팜 터치 테이블(176)을 통해 전자 펜(200)의 좌표 보정 거리를 결정할 수 있다.
또한 저장부(170)는 휴대형 전자장치(100) 운용을 위한 운영체제(Operating System; OS)를 비롯하여, 기타 옵션(options) 기능 예를 들어, 소리 재생기능, 이미지 또는 동영상 재생 기능, 방송 재생 기능 등에 필요한 응용 프로그램을 비롯하여 사용자 데이터 및 통신 시 송수신되는 데이터 등을 저장할 수 있다. 특히, 본 발명의 일 실시예에 따른 저장부(170)는 전자 펜(200) 좌표 보정 프로그램을 저장할 수 있다. 예를 들어, 전자 펜(200) 좌표 보정 프로그램은 사용자 얼굴 이미지 입력 수신 시, 수신된 사용자 얼굴 이미지로부터 추출된 눈 좌표를 이용하여 좌표 보정 각도를 산출하는 루틴, 터치 호버링 입력 수신 시 전자 펜(200)의 전자기 유도 지점(104) 좌표 및 터치 호버링 입력 좌표를 이용하여 좌표 보정 각도를 산출하는 루틴, 팜 터치 입력 수신 시 전자 펜(200)의 전자기 유도 지점(104) 좌표 및 팜 터치 입력 좌표를 이용하여 좌표 보정 각도 및 좌표 보정 거리를 산출하는 루틴을 포함할 수 있다.
제어부(180)는 휴대형 전자장치(100)의 전반적인 동작 및 휴대형 전자장치(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. 그리고 제어부(180)는 배터리에서 내부 구성들로의 전원 공급을 제어할 수 있다. 특히 제어부(180)는 전자기 유도 방식으로 입력 신호를 생성하도록 지원하는 전자 펜(200)이 휴대형 전자장치(100)와 협업하여 입력 신호를 생성할 때 얼굴 인식, 터치 호버링 및 팜 터치 중 적어도 하나를 이용하여 전자 펜(200)의 전자기 유도 지점(104)의 좌표를 보정하도록 제어할 수 있다. 즉, 제어부(180)는 얼굴 인식, 터치 호버링 및 팜 터치를 중복 이용하거나 상호 간에 우선 순위를 설정할 수 있도록 제어할 수 있다. 이때 제어부(180)는 우선 순위를 팜 터치, 터치 호버링, 얼굴 인식 순으로 설정할 수 있다. 다만 이러한 우선 순위는 본 발명의 일 실시예에 따른 바람직한 예시일 뿐 본 발명의 기술적 사상을 제한하지는 않는다.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식을 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이고, 도 4는 본 발명의 일 실시예에 따른 얼굴 인식을 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 과정 301에서 제어부(180)는 전자 펜(200) 기능을 활성화할 수 있다. 즉, 제어부(180)는 공급된 전원을 이용하여 휴대형 전자장치(100)의 각 구성이 사용자 기능을 수행할 수 있는 상태가 되도록 제어하고, 입력부(120) 등으로부터 전자 펜(200) 기능 활성화 신호를 수신하여 전자 펜(200) 기능을 활성화할 수 있다.
과정 303에서 제어부(180)는 카메라(140)에 의해 촬상된 사용자 이미지를 수신할 수 있다. 특히, 제어부(180)는 전자 펜(200)의 호버링 상태가 감지되면 카메라(140)를 활성화하여 사용자 촬상이 시작되도록 제어할 수 있다. 여기서 전자 펜(200)의 호버링 상태는 전자 펜(200)이 휴대형 전자장치(100)에 근접하여 전자 펜(200)에 의해 발생되는 신호를 센서 보드(166)가 감지 가능한 거리로부터 표시부(160)에 접촉되기 전까지의 거리에 있는 것을 의미한다. 이때 제어부(180)는 센서보드로부터 일정 기준 이상의 신호가 수신되는 경우에만 전자 펜(200)의 호버링 상태가 되는 것으로 정의할 수도 있다. 이와 같이 제어부(180)는 전자 펜(200)의 호버링 상태 감지 시 촬상을 시작함으로써 전자 펜(200)의 신호 출력의 반응 속도를 높일 수 있다. 다만, 본 발명의 기술적 사상의 범위를 이에 한정하는 것은 아니며 본 발명의 실시예에 따른 카메라(140)는 전자 펜(200)에 의한 입력 후에 촬상을 시작하더라도 동일한 목적을 달성할 수 있다.
과정 305에서는 제어부(180)는 수신된 사용자 이미지로부터 얼굴을 인식하고 특정점을 추출할 수 있다. 즉, 제어부(180)는 사용자 이미지에 포함된 얼굴 인식 프로그램(174)을 이용하여 사용자 얼굴을 인식할 수 있다. 또한 제어부(180)는 인식된 얼굴로부터 특정점의 좌표를 추출할 수 있다. 여기서 특정점은 인식된 얼굴의 눈 또는 코 등을 포함할 수 있다. 다만, 본 발명의 기술적 사상의 범위는 이에 한정되지 않는다. 따라서, 본 발명은 인식된 얼굴의 눈 또는 코 외에 얼굴로부터 인식될 수 있는 다른 얼굴 부위 예를 들어, 입술, 안면 형상 등 얼굴의 각도를 인식할 수 있는 부분을 모두 포함할 수 있다. 특히 본 발명의 일 실시예에 따라 제어부(180)는 특정점의 좌표로서 사용자의 두 눈 좌표를 이용할 수 있다.
한편, 제어부(180)가 수집된 이미지로부터 사용자의 얼굴을 인식하지 못하는 경우도 있을 수 있다. 예를 들어, 카메라(140)가 촬상하는 범위 내에서 사용자 얼굴이 촬상되지 않거나 사용자 얼굴의 일부만이 촬상되는 경우에는 제어부(180)가 사용자가 얼굴을 제대로 인식하지 않을 수 있다. 이러한 경우 제어부(180)는 사용자 이미지 촬상 횟수를 일정 횟수로 제한하거나, 일정 시간 내에 사용자 얼굴이 인식되지 않으면 종래 기술과 같이 왼손 또는 오른손 그립 각도(θ)와 표준 기울임 거리를 이용하여 전자 펜(200)의 오차를 보정할 수 있도록 제어할 수 있다.
과정 307에서 제어부(180)는 인식된 얼굴 및 추출된 두 눈의 좌표(410, 420)를 이용하여 휴대형 전자장치(100)의 배치 상태 및 회전 각도를 포함하는 휴대형 전자장치(100)의 좌우 기울어진 정도를 확인할 수 있다. 도 4를 참조하면, 401은 사용자 정면을 기준으로 정방향 가로모드로 휴대형 전자장치(100)가 배치된 상태를 도시하고 있다. 종래 기술에서 상술한 바와 같이, 401에서 휴대형 전자장치(100)가 지면에 대해 일정 각도로 기울여진 상태인 경우에는 센서부(150)에 포함된 가속도 센서, 지자기 센서 및 자이로 센서 등을 통해 휴대형 전자장치(100)가 정방향 가로모드임이 확인될 수 있지만, 휴대형 전자장치(100)가 지면과 수평으로 놓인 상태에서는 휴대형 전자장치(100)의 배치 상태를 확인할 수 없었다. 따라서, 만일 제어부(180)가 휴대형 전자장치(100)의 배치 상태를 정방향 가로모드가 아닌 다른 모드로 인식하고 있는 상태에서 오른손 그립 각도(θ)를 전자 펜(200)의 좌표 보정 각도로 적용하는 경우에는 이로 인하여 오차가 더욱 커지게 된다.
반면, 402는 본 발명의 일 실시예에 따라 사용자 얼굴을 포함하는 이미지(430)로부터 두 눈의 좌표(410, 420)를 이용하여 전자 펜(200)의 좌표 보정 각도를 산출하기 위해 휴대형 전자장치(100)가 일정 각도(A) 회전된 상태를 도시하고 있다. 이때 휴대형 전자장치(100)의 회전에 따라 사용자 정면을 기준으로 사용자의 두 눈 좌표는 변경되지 않지만, 휴대형 전자장치(100) 표시부(160) 상의 좌표는 변경될 수 있다. 그리고 402에서 점선으로 도시된 사용자 얼굴을 포함하는 이미지(430)는 표시부(160) 상에 실제로 출력되지 않는다. 제어부(180)는 사용자 얼굴을 인식하여 휴대형 전자장치(100)의 배치상태를 확인할 수 있다. 즉, 제어부(180)는 사용자 얼굴로부터 인식된 두 눈, 코, 안면 부위, 입술 등을 통해 402에서 휴대형 전자장치(100)의 배치 상태를 정방향 가로모드 상태로 인식할 수 있다. 그리고, 제어부(180)는 추출된 사용자의 두 눈의 좌표(410, 420)를 확인하여, 휴대형 전자장치(100)의 회전 각도를 확인할 수 있다. 즉, 402에서 제어부(180)는 사용자 두 눈 좌표(410, 420) 간의 거리, 휴대형 전자장치(100)의 가로 및 세로 축에 대한 두 눈 좌표(410, 420) 간 거리를 이용하여 사용자 정면을 기준으로 휴대형 전자장치(100)가 회전된 각도(A)를 확인할 수 있다.
과정 309에서 제어부(180)는 휴대형 전자장치(100)의 배치 상태 및 회전 각도에 기초하여 전자 펜(200)의 보정 각도를 산출할 수 있다. 403은 설명의 편의를 위해 일정 각도(A) 회전된 휴대형 전자장치(100)를 휴대형 전자장치(100)의 좌표를 기준으로 도시한 도면이다. 여기서, 휴대형 전자장치(100)의 좌표의 기준은 403에 도시된 바와 같이 정방향 가로모드가 기준이 될 수 있다. 403에서 휴대형 전자장치(100)가 A 만큼 왼쪽으로 회전되었기 때문에, 제어부(180)는 휴대형 전자장치(100)의 정방향 가로모드에서 전자 펜(200)의 좌표 보정 각도를 오른손 그립 각도에서 휴대형 전자장치(100)의 회전 각도(A)를 감산한 각도로서 θ-A를 산출될 수 있다.
과정 311에서 제어부(180)는 산출된 좌표 보정 각도 및 표준 기울임 거리를 좌표 보정 거리로 적용하여 전자 펜(200)의 좌표를 보정할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 터치 호버링을 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이고, 도 6은 본 발명의 다른 실시예에 따른 터치 호버링을 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
도 5 및 도 6을 참조하면, 과정 501에서 제어부(180)는 전자 펜(200) 기능을 활성화할 수 있다. 즉, 제어부(180)는 공급된 전원을 이용하여 휴대형 전자장치(100)의 각 구성이 사용자 기능을 수행할 수 있는 상태가 되도록 제어하고, 입력부(120) 등으로부터 전자 펜(200) 기능 활성화 신호를 수신하여 전자 펜(200) 기능을 활성화할 수 있다.
과정 503에서 제어부(180)는 전자 펜(200) 입력 수신 시 터치 호버링 입력이 수신되는 지 확인할 수 있다. 여기서 터치 호버링은 전자 펜(200)의 호버링 상태와 구별되며, 사용자가 전자 펜(200)을 파지하고 글 쓰기 등을 수행할 때, 사용자의 손이 표시부(160)에 접촉 터치 전 터치 패널(162)로부터 감지 가능한 일정 거리에 있는 상태를 의미한다. 터치 호버링 입력은 601에서와 같이 영역(610)을 이루며 다수의 포인트들의 좌표로 감지될 수 있다. 이때 제어부(180)는 호버링이 감지되는 다중 포인트의 좌표에서 호버링 세기를 비교하여 터치 호버링 입력 좌표를 결정할 수 있다. 한편 제어부(180)는 일정 시간을 미리 정의하여 일정 시간 내 터치 호버링 입력이 감지되는지 확인할 수 있다.
과정 503에서 제어부(180)가 터치 호버링 입력이 감지되지 않는 경우에는 과정 505에서 표준 좌표 보정 테이블(172)에 저장된 왼손 또는 오른손 그립 각도를 이용하여 좌표 보정 각도로 적용할 수 있다.
반면, 과정 503에서 전자 펜(200) 입력 수신 시 터치 호버링 입력이 수신되면, 과정 507에서 제어부(180)는 터치 호버링 좌표로부터 전자 펜(200)의 좌표 보정 각도를 산출할 수 있다. 본 발명의 일 실시예에 따라 터치 호버링을 이용하는 경우에는 상술한 얼굴 인식을 이용하는 경우와 달리, 휴대형 전자장치(100)의 배치 상태 및 회전 각도에 무관하게 좌표 보정 각도를 산출할 수 있다. 즉, 602에서 휴대형 전자장치(100)가 일정 각도(B) 회전되더라도 좌표 보정 각도(C)를 산출하기 위해 필요한 전자기 유도 지점의 좌표(104) 및 결정된 터치 호버링 좌표(620)를 획득할 수 있으므로, 이를 이용하여 좌표 보정 각도(C)를 산출할 수 있다.
한편, 602에서는 전자 펜(200)의 접촉 지점(102) 및 전자기 유도 지점(104)이 이루는 각도와 전자기 유도 지점(104) 및 터치 호버링 좌표(620)가 이루는 각도가 평행한 것으로 도시하였지만, 이는 본 발명의 기술적 사상을 설명하기 위함이며 이에 한정되지 않는다. 즉, 제어부(180)는 전자기 유도 지점의 좌표(104) 및 터치 호버링 좌표(620)에 기초하여 산출된 각도(C)를 좌표 보정 각도로 결정할 수도 있지만, 산출된 각도(C)에 실험 또는 통계를 통해 일정 각도를 가감하여 좌표 보정 각도로 적용할 수도 있다.
과정 509에서 제어부(180)는 과정 507로부터 산출된 좌표 보정 각도 및 표준 기울임 거리를 좌표 보정 거리로 적용하여 전자 펜(200)의 좌표를 보정할 수 있다.
도 7는 본 발명의 또 다른 실시예에 따른 팜 터치를 이용한 전자 펜의 좌표 보정 방법을 설명하기 위한 흐름도이고, 도 8은 본 발명의 또 다른 실시예에 따른 팜 터치를 이용한 전자 펜의 보정 방법을 설명하기 위한 도면이다.
도 7 및 도 8을 참조하면, 과정 701에서 제어부(180)는 전자 펜(200) 기능을 활성화할 수 있다. 즉, 제어부(180)는 공급된 전원을 이용하여 휴대형 전자장치(100)의 각 구성이 사용자 기능을 수행할 수 있는 상태가 되도록 제어하고, 입력부(120) 등으로부터 전자 펜(200) 기능 활성화 신호를 수신하여 전자 펜(200) 기능을 활성화할 수 있다.
과정 703에서 제어부(180)는 전자 펜(200) 입력 수신 시 팜 터치 입력이 수신되는 지 확인할 수 있다. 여기서 팜 터치는 사용자의 손바닥이 일정 면적을 이루면서 표시부(160)에 접촉된 상태를 의미한다. 그리고 팜 터치 입력은 801에서와 같이 영역(810)을 이루며 다수의 포인트의 좌표로 감지될 수 있다. 한편 팜 터치 입력이 수신되지 않는 경우 과정 705에서 제어부(180)는 왼손 또는 오른손 그립 각도 및 표준 기울임 보정 거리를 이용하여 전자 펜(200)의 좌표를 보정할 수 있다.
반면, 과정 703에서 제어부(180)로 팜 터치 입력이 수신되면 과정 707에서 팜 터치의 중심 포인트 좌표(820)를 산출할 수 있다. 구체적으로, 제어부(180)가 팜 터치 입력의 중심 포인트(820)를 산출하는 기준은 팜 터치에 의한 영역(810)을 구성하는 다수의 포인트의 좌표들 중 팜 터치 영역(810)의 외곽선에 해당하는 포인트들의 벡터값을 평균하고, 평균에 해당하는 벡터값을 중심 포인트(820)로 산출할 수 있다. 다만 이러한 중심 포인트(820) 산출 기준은 본 발명의 일 실시예에 따른 예시에 불과하여 이에 한정되지 않고 다양한 중심 포인트(820) 산출 기준이 가능할 것이다. 예를 들어, 터치 패널(162)을 구현하는 방식에 따라 팜 터치 영역 내에서 접촉에 의한 압력의 크기 또는 정전 용량 변화의 세기를 측정하고, 측정된 크기 또는 세기가 가장 큰 지점을 중심 포인트로 산출할 수도 있다. 과정 709에서 제어부(180)는 과정 707을 통해 산출된 팜 터치 중심 포인트(820)에 기초하여 좌표 보정 각도를 산출할 수 있다. 팜 터치 중심 포인트(820)에 기초하여 좌표 보정 각도를 산출하는 방식은 상술한 터치 호버링을 이용하는 방식과 동일할 수 있다. 즉, 제어부(180)는 802에 도시된 바와 같이 휴대형 전자장치(100)의 회전 각도와 무관하게 전자기 유도 지점(104)의 좌표 및 팜 터치 중심 포인트 좌표(820)에 기초하여 좌표 보정 각도(E)를 산출할 수 있다. 그리고, 801 및 802에서 전자 펜(200)의 접촉 지점(102) 및 전자기 유도 지점(104)이 이루는 각도와 전자기 유도 지점(104) 및 팜 터치 중심 포인트(820) 좌표가 이루는 각도가 평행한 것으로 도시하고 있지만, 이에 한정되지 않고 제어부(180)는 산출된 각도(E)에 실험 또는 통계를 통해 일정 각도를 가감하여 좌표 보정 각도로 적용할 수도 있다.
과정 711에서는 중심 포인트 좌표(820)에 기초하여 좌표 보정 거리를 산출할 수 있다. 즉 제어부(180)는 전자기 유도 지점 좌표(104)와 팜 터치 중심 포인트(820) 좌표에 기초하여 전자기 유도 지점(104) 및 팜 터치 중심 포인트(820) 사이의 거리를 산출할 수 있고, 이를 이용하여 좌표 보정 거리를 산출할 수 있다. 이때, 좌표 보정 거리는 전자기 유도 지점(104) 및 산출된 팜 터치 중심 포인트(820) 사이의 거리에 상응하는 거리로 결정될 수 있다. 구체적으로, 803에서 전자 펜(200)의 기울임 각도(F, G)에 따라 전자기 유도 지점(104)의 좌표를 달라질 수 있으며, 이에 따라 전자기 유도 지점(104) 및 팜 터치 중심 포인트(820) 사이의 거리(ℓ1, ℓ2)도 달라질 수 있다. 803에서는 팜 터치 중심 포인트(820)가 전자 펜(200)의 기울임 각도에 무관하게 동일한 지점으로 도시되어 있으나, 팜 터치 중심 포인트(820)의 좌표 또한 달라질 수 있다. 반면, 전자 펜(200)의 기울임 각도와 전자기 유도 지점(104) 및 팜 터치 중심 포인트(820) 사이의 거리는 상호 상응하는 관계에 있다. 즉, 전자 펜(200) 기울임 각도가 작을수록 전자기 유도 지점(104) 및 팜 터치 중심 포인트 사이(820)의 거리는 커질 수 있다. 따라서, 본 발명의 일 실시예에서는 전자기 유도 지점(104) 및 팜 터치 중심 포인트(820) 사이의 거리에 상응하는 거리를 미리 정의한 팜 터치 테이블(176)을 이용하여 좌표 보정 거리를 산출할 수 있다. 이때, 팜 터치 테이블(176)에 전자기 유도 지점(104) 및 팜 터치 중심 포인트 사이(820)의 거리에 상응하는 거리는 실험 또는 통계를 통해 획득된 값을 적용할 수 있다.
이와 같이, 본 발명의 일 실시예에 따라 팜 터치를 이용하여 전자 펜(200)의 좌표를 보정하는 경우에는 보다 정확한 좌표 보정 각도 및 좌표 보정 거리를 산출할 수 있다.
한편 본 발명의 일 실시예에 따라 전자 펜(200) 좌표 보정 방법은 카메라(140)에 의해 촬상된 사용자 이미지를 이용하는 모드, 터치 호버링 입력을 이용하는 모드 및 팜 터치 입력을 이용하는 모드는 중복하여 설정할 수 있으며, 중복 하여 설정하는 경우 상호 간에 우선 순위를 두고 설정할 수 있다. 이때 제어부(180)는 팜 터치 입력을 이용하는 모드, 터치 호버링 입력을 이용하는 모드, 카메라(140)에 의해 촬상된 사용자 이미지를 이용하는 모드 순으로 우선 순위를 설정할 수 있다. 즉, 팜 터치를 이용하여 전자 펜(200) 좌표를 보정하는 모드는 좌표 보정 각도 및 좌표 보정 거리를 산출할 수 있는데 반해 터치 호버링 입력 및 카메라(140)에 의해 촬상된 사용자 이미지를 이용하는 모드는 좌표 보정 각도만을 산출하기 때문에 팜 터치를 이용하여 전자 펜(200) 좌표를 보정하는 모드에 우선 순위를 부여할 수 있다. 또한, 터치 호버링 입력을 이용하는 모드는 휴대형 전자장치(100)의 배치 상태 및 회전 각도를 별도로 확인하지 않더라도 좌표 보정 각도를 산출할 수 있기 때문에 카메라(140)에 의해 촬상된 사용자 얼굴 이미지를 이용하는 모드 보다 높은 우선 순위를 부여할 수 있다. 다만 이러한 우선 순위 설정은 하나의 예시에 불과하고, 본 발명의 기술적 사상을 제한하지는 않을 것이다.
한편 상술한 휴대형 전자장치(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기는 근거리 통신을 위한 근거리 통신모듈, 상기 휴대형 전자장치(100)의 유선통신 방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 휴대형 전자장치(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 휴대형 전자장치 110 : 통신부
120 : 입력부 130 : 오디오 처리부
140 : 카메라 150 : 센서부
160 : 표시부 170 : 저장부
180 : 제어부 200 : 전자 펜

Claims (16)

  1. 일정 간격 이격된 펜 접촉부와 코일을 포함하는 전자 펜과 휴대형 전자장치를 이용하는 전자 펜 좌표 보정 방법에 있어서,
    좌표 보정 각도를 산출하는 과정; 및
    상기 코일 및 상기 휴대형 전자장치의 센서 보드 간 전자기 유도에 의해 발생되는 자기장이 측정되는 상기 휴대형 전자장치의 표시부 상의 전자기 유도 지점으로부터 상기 표시부에 대한 상기 펜 접촉부의 접촉 지점까지의 좌표 보정 거리를 산출하는 과정을 포함하고,
    상기 좌표 보정 각도를 산출하는 과정은,
    사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 상기 휴대형 전자장치의 좌우 기울어진 정도와 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정;
    상기 전자 펜을 파지한 사용자의 손 호버링에 의해 상기 표시부 상에 발생되는 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정; 및
    상기 표시부에 대한 사용자의 손바닥 터치에 의해 발생되는 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  2. 제 1항에 있어서, 상기 사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 상기 휴대형 전자장치의 좌우 기울어진 정도와 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정은,
    카메라에 의해 촬상된 사용자 이미지를 수집하는 과정;
    상기 수집된 사용자 이미지에 포함된 사용자 얼굴을 인식하는 과정;
    상기 인식된 사용자 얼굴 내에서 특정 좌표를 추출하는 과정;
    상기 인식된 사용자 얼굴, 상기 특정 좌표 및 상기 전자기 유도 지점에 기초하여 상기 휴대형 전자장치의 배치 상태 및 회전 각도를 포함하는 상기 좌우 기울어진 정도를 확인하는 과정;
    상기 휴대형 전자장치의 상기 좌우 기울어진 정도에 기초하여 상기 좌표 보정 각도를 산출하는 과정을 포함하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  3. 제 2항에 있어서, 상기 카메라에 의해 촬상된 사용자 이미지를 수집하는 과정은,
    상기 전자 펜의 호버링이 감지되는 때, 상기 카메라에 의해 상기 사용자 이미지 촬상을 시작하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  4. 제 2항에 있어서,
    상기 사용자 얼굴 내에서의 특정 좌표는 사용자의 눈 좌표, 코 좌표 및 안면 형상 좌표 중 적어도 하나인 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  5. 제 1항에 있어서,
    상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정은,
    상기 펜 접촉부가 상기 표시부 상에 접촉되는 때, 상기 터치 호버링 입력을 감지하는 과정; 및
    상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 지나는 직선에 해당하는 각도로 상기 좌표 보정 각도를 산출하는 과정을 포함하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  6. 제 1항에 있어서,
    상기 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정은,
    상기 펜 접촉부가 상기 표시부 상에 접촉되는 때, 상기 팜 터치 입력을 감지하는 과정;
    상기 감지된 팜 터치 입력에 상응하는 상기 표시부 상의 지점으로서 중심 포인트를 산출하는 과정; 및
    상기 중심 포인트 및 상기 전자기 유도 지점에 기초하여 상기 좌표 보정 각도를 산출하는 과정을 포함하고,
    상기 좌표 보정 거리를 산출하는 과정은 상기 중심 포인트 및 상기 전자기 유도 지점 간 거리에 기초하여 상기 좌표 보정 거리를 산출하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  7. 제 1항에 있어서,
    상기 사용자 얼굴 이미지, 터치 호버링 입력 및 팜 터치 입력 중 적어도 두 개 이상의 입력이 수신되는 경우 상기 적어도 두 개 이상의 입력 간 우선 순위를 결정하는 과정; 및
    상기 결정된 우선 순위에 따라 상기 우선 순위가 빠른 입력에 기초하여 상기 좌표 보정 각도 및 상기 좌표 보정 거리를 산출하는 과정을 더 포함하는 것을 특징으로 하는 전자 펜 좌표 보정 방법.
  8. 제 7항에 있어서,
    상기 적어도 두 개 이상의 입력 간 우선 순위를 결정하는 과정은,
    상기 팜 터치 입력, 상기 터치 호버링 입력, 상기 사용자 얼굴 이미지 순서로 상기 우선 순위를 결정하는 것을 특징으로 전자 펜 좌표 보정 방법.
  9. 펜 접촉부와 전자기 유도를 위한 코일이 일정 간격 이격된 형태로 포함되는 전자기 유도 방식의 전자 펜으로부터 호버링 입력 및 터치 입력을 수신하는 센서보드;
    상기 전자 펜을 파지한 사용자의 손 호버링에 의한 터치 호버링 입력 및 사용자의 손바닥 터치에 의해 발생되는 팜 터치 입력을 수신하는 터치 패널; 및
    상기 전자 펜의 입력을 출력하는 표시 패널을 포함하는 표시부;
    사용자 얼굴 이미지를 촬상하는 카메라;
    사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 휴대형 전자장치의 좌우로 기울어진 정도와 상기 전자기 유도 지점을 이용하여 좌표 보정 각도를 산출하는 과정, 상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 및 상기 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하는 과정 중 적어도 하나의 과정을 이용하여 상기 좌표 보정 각도를 산출하고, 상기 전자기 유도 지점으로부터 상기 표시부에 대한 상기 펜 접촉부의 접촉 지점까지의 좌표 보정 거리를 산출하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 휴대형 전자장치.
  10. 제 9항에 있어서,
    상기 제어부는 상기 사용자 얼굴 이미지에 기초하여 사용자 정면을 기준으로 상기 휴대형 전자장치의 좌우로 기울어진 정도와 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하기 위해 상기 카메라에 의해 촬상된 사용자 이미지를 수집하고, 상기 수집된 사용자 이미지에 포함된 사용자 얼굴을 인식하며, 상기 인식된 사용자 얼굴 내에서 특정 좌표를 추출하고, 상기 인식된 사용자 얼굴, 상기 특정 좌표 및 상기 전자 펜의 전자기 유도 지점에 기초하여 배치 상태 및 회전 각도를 포함하는 상기 좌우 기울어진 정도를 확인하며, 상기 좌우 기울어진 정도에 기초하여 상기 좌표 보정 각도를 산출하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  11. 제 10항에 있어서,
    상기 제어부는 상기 카메라에 의해 촬상된 상기 사용자 이미지를 수집하기 위해 상기 전자 펜의 호버링 감지 시, 상기 카메라가 사용자 이미지 촬상을 시작하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  12. 제 10항에 있어서,
    상기 사용자 얼굴 내에서의 특정 좌표는 사용자의 눈 좌표, 코 좌표 및 안면 형상 좌표 중 적어도 하나인 것을 특징으로 하는 휴대형 전자장치.
  13. 제 9항에 있어서,
    상기 제어부는 상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하기 위해, 상기 펜 접촉부가 상기 표시부 상에 접촉되는 때, 상기 터치 호버링 입력을 감지하고, 상기 터치 호버링 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 지나는 직선에 해당하는 각도로 상기 좌표 보정 각도를 산출하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  14. 제 9항에 있어서,
    상기 제어부는 상기 팜 터치 입력에 상응하는 상기 표시부 상의 지점 및 상기 전자기 유도 지점을 이용하여 상기 좌표 보정 각도를 산출하기 위해 상기 펜 접촉부가 상기 표시부 상에 접촉되는 때, 상기 팜 터치 입력을 감지하고, 상기 팜 터치 입력에 상응하는 상기 표시부 상의 지점으로서 중심 포인트를 산출하며, 상기 전자기 유도 지점 및 상기 중심 포인트에 기초하여 상기 좌표 보정 각도를 산출하고,
    상기 전자기 유도 지점 및 상기 중심 포인트 간 거리에 기초하여 상기 좌표 보정 거리를 산출하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  15. 제 9항에 있어서,
    상기 제어부는 상기 사용자 얼굴 이미지, 터치 호버링 입력 및 팜 터치 입력 중 적어도 두 개 이상의 입력이 수신되는 경우 상기 적어도 두 개 이상의 입력 간 우선 순위를 결정하고, 상기 결정된 우선 순위에 따라 상기 우선 순위가 빠른 입력에 기초하여 상기 좌표 보정 각도 및 상기 좌표 보정 거리를 산출하도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
  16. 제 15항에 있어서,
    상기 제어부가 상기 팜 터치 입력, 상기 터치 호버링 입력, 상기 사용자 얼굴 이미지 순서로 상기 우선 순위가 결정되도록 제어하는 것을 특징으로 하는 휴대형 전자장치.
KR1020130063942A 2013-06-04 2013-06-04 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치 KR102109649B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130063942A KR102109649B1 (ko) 2013-06-04 2013-06-04 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치
EP14168518.0A EP2811373B1 (en) 2013-06-04 2014-05-15 Method for correcting coordinates of portable electronic device using electronic pen
US14/278,492 US9262028B2 (en) 2013-06-04 2014-05-15 Method for correcting coordinates of portable electronic device using electronic pen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130063942A KR102109649B1 (ko) 2013-06-04 2013-06-04 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치

Publications (2)

Publication Number Publication Date
KR20140142778A KR20140142778A (ko) 2014-12-15
KR102109649B1 true KR102109649B1 (ko) 2020-05-13

Family

ID=51032894

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130063942A KR102109649B1 (ko) 2013-06-04 2013-06-04 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치

Country Status (3)

Country Link
US (1) US9262028B2 (ko)
EP (1) EP2811373B1 (ko)
KR (1) KR102109649B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102429967B1 (ko) 2022-06-02 2022-08-05 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법
KR102446916B1 (ko) 2022-06-03 2022-09-23 주식회사 보나 광융착 광파이버를 이용한 광 산란 기반의 광학식 전자펜
KR102472784B1 (ko) 2022-05-27 2022-12-01 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 호버링 처리 방법
KR102476025B1 (ko) 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법
KR102478738B1 (ko) 2022-05-24 2022-12-19 주식회사 보나 광 산란 기반의 광학식 전자펜
KR102486202B1 (ko) 2022-09-15 2023-01-10 주식회사 보나 광 산란제 펜팁을 구비한 광학식 전자펜
WO2023096188A1 (ko) * 2021-11-29 2023-06-01 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 이의 동작 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136276A (ko) * 2012-06-04 2013-12-12 삼성전자주식회사 단말기의 펜 입력 보정장치 및 방법
KR102169952B1 (ko) * 2013-10-18 2020-10-26 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR102241764B1 (ko) * 2013-11-01 2021-04-19 삼성전자 주식회사 전자 장치의 입력 처리 방법 및 장치
US10345927B2 (en) * 2014-06-11 2019-07-09 Lenovo (Singapore) Pte. Ltd. Pen/stylus offset modification
CN105630270B (zh) * 2014-10-30 2019-03-29 联想(北京)有限公司 一种信息处理方法、装置和电子设备
KR101672731B1 (ko) * 2015-01-20 2016-11-04 주식회사 트레이스 펜의 기울기 정보를 이용하여 3d 호버링 인식이 가능한 디지타이저 시스템
KR102338712B1 (ko) * 2015-09-24 2021-12-13 엘지디스플레이 주식회사 능동형 터치 펜과 그를 포함한 터치 센싱 시스템, 및 그 구동방법
KR102589452B1 (ko) 2016-07-29 2023-10-16 삼성전자주식회사 펜 입력 처리 방법 및 이를 지원하는 전자 장치
USD861688S1 (en) * 2017-08-25 2019-10-01 Samsung Electronics Co., Ltd. E-board pen
CN110851014B (zh) * 2019-10-29 2023-08-18 Tcl移动通信科技（宁波）有限公司 触摸识别方法、装置、存储介质及终端设备
CN111273812A (zh) * 2020-01-15 2020-06-12 深圳市华星光电半导体显示技术有限公司 屏幕触控定位的方法及定位系统
US11869213B2 (en) * 2020-01-17 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for analyzing skin image and method for controlling the same
JP7550839B2 (ja) * 2020-02-10 2024-09-13 株式会社ワコム ポインタの位置検出方法及びセンサコントローラ
KR20220074053A (ko) 2020-11-27 2022-06-03 삼성전자주식회사 전자 장치 및 전자 장치에서 스타일러스 펜의 에어 포인터를 제어하기 위한 방법
US11537239B1 (en) * 2022-01-14 2022-12-27 Microsoft Technology Licensing, Llc Diffusion-based handedness classification for touch-based input
CN114459434A (zh) * 2022-01-28 2022-05-10 青岛罗博科技有限公司 一种点阵笔倾角检测方法、系统及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4577057A (en) * 1984-03-02 1986-03-18 Pencept, Inc. Digitizing tablet system having stylus tilt correction
JPS6370326A (ja) 1986-09-12 1988-03-30 Wacom Co Ltd 位置検出装置
JP2006302029A (ja) 2005-04-21 2006-11-02 Fuji Xerox Co Ltd 表示装置制御プログラム、表示装置制御方法、表示装置
JP2011164746A (ja) 2010-02-05 2011-08-25 Seiko Epson Corp 端末装置、持ち手検出方法、及びプログラム
TWI414979B (zh) * 2010-08-16 2013-11-11 Waltop Int Corp 手寫輸入裝置及其角度校正方法
KR20130034765A (ko) * 2011-09-29 2013-04-08 삼성전자주식회사 휴대 단말기의 펜 입력 방법 및 장치
US9261985B2 (en) * 2013-03-11 2016-02-16 Barnes & Noble College Booksellers, Llc Stylus-based touch-sensitive area for UI control of computing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120206419A1 (en) * 2011-02-11 2012-08-16 Massachusetts Institute Of Technology Collapsible input device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023096188A1 (ko) * 2021-11-29 2023-06-01 삼성전자 주식회사 변형 가능한 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
KR102478738B1 (ko) 2022-05-24 2022-12-19 주식회사 보나 광 산란 기반의 광학식 전자펜
US12026323B2 (en) 2022-05-24 2024-07-02 Bona Inc. Optical digital pen by use of light scattering
KR102472784B1 (ko) 2022-05-27 2022-12-01 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 호버링 처리 방법
KR102429967B1 (ko) 2022-06-02 2022-08-05 주식회사 보나 자이로 센서 기반의 광학식 전자펜의 디스플레이 엣지 처리 시스템 및 방법
KR102446916B1 (ko) 2022-06-03 2022-09-23 주식회사 보나 광융착 광파이버를 이용한 광 산란 기반의 광학식 전자펜
KR102486202B1 (ko) 2022-09-15 2023-01-10 주식회사 보나 광 산란제 펜팁을 구비한 광학식 전자펜
KR102476025B1 (ko) 2022-10-13 2022-12-09 주식회사 보나 광학식 전자펜을 위한 그래픽 인디케이터 장치 및 그 이미지 처리 방법

Also Published As

Publication number Publication date
KR20140142778A (ko) 2014-12-15
US9262028B2 (en) 2016-02-16
EP2811373A2 (en) 2014-12-10
US20140354589A1 (en) 2014-12-04
EP2811373B1 (en) 2019-01-02
EP2811373A3 (en) 2015-10-28

Similar Documents

Publication Publication Date Title
KR102109649B1 (ko) 전자 펜 좌표 보정 방법 및 이를 지원하는 휴대형 전자장치
AU2020201096B2 (en) Quick screen splitting method, apparatus, and electronic device, display UI, and storage medium
US10268302B2 (en) Method and apparatus for recognizing grip state in electronic device
EP2575013B1 (en) Pen system and method for performing input operations to mobile device via the same
KR102081817B1 (ko) 디지타이저 모드 전환 방법
US9081424B2 (en) Input device error compensating method and terminal for supporting the same
US8970481B2 (en) Method for adjusting display manner of portable electronic device
KR102090956B1 (ko) 지문 인식 방법 및 이를 위한 장치
US20140340338A1 (en) Mobile terminal and control method thereof
JP5865597B2 (ja) 携帯電子機器
US20130120458A1 (en) Detecting screen orientation by using one or more proximity sensors
WO2017161803A1 (zh) 一种设置的调节方法和终端
KR20140131061A (ko) 터치 스크린 동작 방법 및 그 전자 장치
US20140145966A1 (en) Electronic device with touch input display system using head-tracking to reduce visible offset for user input
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
US20140258923A1 (en) Apparatus and method for displaying screen image
US9323380B2 (en) Electronic device with touch-sensitive display and three-dimensional gesture-detection
US9436294B2 (en) Adjusting method for button functions in electronic device and related apparatus
WO2014112996A1 (en) Electronic device with touch-sensitive display and gesture-detection
KR101901234B1 (ko) 휴대 단말기의 펜 입력 방법 및 장치
KR20140066378A (ko) 디스플레이장치와 그 제어방법
CN108983960A (zh) 终端设备的显示方法、智能终端设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant