KR20140132065A - 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체 - Google Patents

디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체 Download PDF

Info

Publication number
KR20140132065A
KR20140132065A KR1020130051071A KR20130051071A KR20140132065A KR 20140132065 A KR20140132065 A KR 20140132065A KR 1020130051071 A KR1020130051071 A KR 1020130051071A KR 20130051071 A KR20130051071 A KR 20130051071A KR 20140132065 A KR20140132065 A KR 20140132065A
Authority
KR
South Korea
Prior art keywords
unit
images
display unit
lens
image
Prior art date
Application number
KR1020130051071A
Other languages
English (en)
Inventor
김강남
윤인국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130051071A priority Critical patent/KR20140132065A/ko
Publication of KR20140132065A publication Critical patent/KR20140132065A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 일 측면에 따른 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법은, 사용자 입력에 대응하는 디스플레이 유닛의 표면 일부에 대한 복수의 이미지를 획득하는 과정과; 상기 복수의 이미지 중의 하나를 선택하는 과정과; 상기 선택된 이미지로부터 단위 입력 영역을 추출하는 단계와; 상기 단위 입력 영역 내 위치 식별자를 인식하는 단계와; 상기 위치 식별자에 근거하여 상기 디스플레이 유닛 상의 상기 사용자 입력의 위치를 결정하는 단계를 포함한다.

Description

디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체{ELECTRONIC APPARATUS AND METHOD FOR DETECTING USER INPUT POSITION ON DISPLAY UNIT AND MACHINE-READABLE STORAGE MEDIUM}
본 발명은 디스플레이 유닛에 관한 것으로, 특히 위치 식별자를 구비한 디스플레이 유닛에서 사용자 입력 위치를 검출하는 방법에 관한 것이다.
디스플레이 기술이 발전하면서, 디스플레이 유닛들은 기존의 보여주기만 하는 디스플레이 개념을 뛰어넘어 사용자와 커뮤니케이션 가능한 양방향 엔터테인먼트 기기로 발전하고 있다. 이에 따라 사용자가 손가락 제스쳐(gesture)나 터치용 펜을 이용하여 디스플레이 유닛의 화면을 직접 터치하거나 그에 상응하는 동작을 하면, 해당 입력을 인식하는 디스플레이 유닛이 다수 개발되고 있다.
최근에는 디스플레이 유닛의 입력 방식으로서, 패턴 인식에 의해 화면 상의 위치를 센싱하여 위치에 따른 입력을 수행하는 방식이 개발되어 이용되고 있다. 패턴 인식을 이용한 입력 방식은 예를 들면 전자펜 등과 같은 카메라를 구비한 입력 기기(이하 "전자 펜"으로 설명함)를 이용하여 디스플레이 유닛에 형성된 패턴을 인식하고 이를 이용하여 전자펜의 위치를 검출하고 검출된 위치 값을 통해 입력을 수행하는 입력 방식이다. 이러한 입력 방식은 전자 펜의 펜 팁 방향을 촬영하는 카메라를 이용하여 전자 펜이 가리키는 영역에 형성된 디스플레이 화면을 촬영하고 촬영된 영상에서 약속된 패턴을 검출하여 전자 펜이 가리키는 위치 혹은 명령을 인식한다.
전술한 바와 같은, 디스플레이 유닛에 형성된 패턴을 이용한 사용자 입력 위치를 검출하는 방법은 전자 펜이 디스플레이 유닛에 대하여 기울어진 경우에 입력 위치의 검출 정확도가 현저하게 감소되며, 그 기울임 정도가 심한 경우에는 입력 위치의 검출이 불가능하게 된다는 문제점이 있다.
본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.
본 발명의 일 목적은 전자 펜의 정렬 상태와 상관없이 높은 정확도로 입력 위치 좌표를 산출할 수 있도록 하는 방법을 제공함에 있다.
본 발명의 일 측면에 따른 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법은, 사용자 입력에 대응하는 디스플레이 유닛의 표면 일부에 대한 복수의 이미지를 획득하는 과정과; 상기 복수의 이미지 중의 하나를 선택하는 과정과; 상기 선택된 이미지로부터 단위 입력 영역을 추출하는 단계와; 상기 단위 입력 영역 내 위치 식별자를 인식하는 단계와; 상기 위치 식별자에 근거하여 상기 디스플레이 유닛 상의 상기 사용자 입력의 위치를 결정하는 단계를 포함한다.
본 발명의 다른 측면에 따른 디스플레이 유닛 상의 사용자 입력 위치를 검출하기 위한 전자 펜은, 복수의 초점을 갖는 렌즈부와; 사용자 입력에 대응하는 디스플레이 유닛의 표면 일부에 대하여 상기 렌즈부에 의해 형성된 서로 다른 초점을 갖는 복수의 이미지를 검출하는 이미지 센서부와; 상기 복수의 이미지를 처리하는 제어부를 포함한다.
본 발명에 따르면 다중 초점을 갖는 렌즈부를 이용하여 동일 피사체에 대한 서로 다른 초점들의 복수의 이미지를 형성하고, 복수의 이미지 중에서 가장 선명도가 높은 이미지를 선택하고, 선택된 이미지로부터 입력 위치 좌표를 산출함으로써, 전자 펜의 정렬 상태와 상관없이 높은 정확도로 입력 위치 좌표를 산출할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 전자 펜의 외관을 개략적으로 나타낸 도면,
도 2는 전자 펜의 회로 구성을 나타내는 도면,
도 3은 전자 펜의 주요 구성을 나타내는 도면,
도 4는 하나의 광원을 이용하여 피사체를 균일 조명하는 경우를 설명하기 위한 도면,
도 5는 광학계의 다른 예들을 나타내는 도면,
도 6은 본 발명의 바람직한 실시 예에 따른 디스플레이 유닛을 나타내는 도면,
도 7은 디스플레이 유닛의 단위 입력 영역을 나타내는 도면,
도 8은 본 발명의 실시 예에 따른 15진수를 이용한 마크 패턴을 나타내는 도면,
도 9는 본 발명이 실시 예에 따른 단위 입력 영역에 대한 위치 식별자의 일 예를 나타낸 도면,
도 8은 입력 위치 산출 방법을 나타내는 흐름도,
도 9 및 도 10은 입력 위치 산출 방법을 설명하기 위한 도면들,
도 10은 물체 거리 변화에 따른 초점 거리의 변화를 설명하기 위한 도면,
도 11 및 도 12는 본 발명의 바람직한 실시 예에 따른 광학계를 나타내는 도면들,
도 13은 본 발명의 바람직한 실시 예에 따른 렌즈부를 나타내는 도면,
도 14는 본 발명의 바람직한 실시 예에 따른 렌즈부를 나타내는 단면도,
도 15는 본 발명의 다른 예들에 따른 렌즈부를 나타내는 도면,
도 16은 본 발명의 바람직한 실시 예에 따른 입력 위치 산출 방법을 나타내는 흐름도,
도 17은 전자 펜을 이용한 사용자 입력을 설명하기 위한 도면,
도 18은 본 발명의 바람직한 실시 예에 따른 전자 장치를 나타내는 개략적인 블록도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 바람직한 실시 예에 따른 전자 펜의 외관을 개략적으로 나타낸 도면이고, 도 2는 전자 펜의 회로 구성을 나타내는 도면이며, 도 3은 전자 펜의 주요 구성을 나타내는 도면이다.
도 1을 참고하면, 전자 펜(200)은 통상의 펜과 유사한 외관을 가지며, 본체(202)(또는 하우징)와 펜 팁(204)으로 구성된다. 전자 펜(200)의 회로는 본체(202)의 내부에 실장된다. 본체(202)의 끝단에 펜 팁(204)의 일부가 노출된다.
도 2를 참고하면, 전자 펜(200)은 스위치(210), 제1 전원 공급부(220), 제1 통신 모듈(230), 광학계(240), 제1 제어부(260) 및 제1 저장부(250)를 포함한다.
스위치(210)는 펜 팁(204)에 연결되고, 펜 팁(204)이 눌림에 따른 압력을 감지하고, 감지된 압력 신호를 제1 제어부(260)로 출력한다. 사용자가 전자 펜(200)으로 영상을 출력하는 디스플레이 유닛(190)의 표면(192)을 누를 때, 펜 팁(204)에 가해지는 압력에 의해 스위치(210)가 동작함으로써, 사용자의 터치 입력을 감지하게 된다. 또는, 전자 펜(200)은 이러한 스위치 동작에 근거하지 않고, 전자 펜(200)과 디스플레이 유닛(190) 간의 간격이 미리 설정된 임계값 이내에 있을 때(즉, 접촉 또는 비접촉), 사용자의 터치 입력을 감지할 수도 있다. 본 예에서, 전자 펜(200)이 스위치(210)를 포함하는 것으로 예시하고 있으나, 스위치(210)는 생략될 수도 있다.
제1 전원 공급부(220)는 제1 제어부(260)의 제어에 따라 전자 펜(200)에 전력을 공급할 수 있다. 제1 전원 공급부(220)는 하나 또는 복수의 배터리와 연결될 수 있다. 또한, 전원 공급부(220)는 커넥터와 연결된 유선 케이블을 통해 외부의 전원 소스(도시되지 아니함)로부터 입력되는 전원을 전자 펜(200)으로 공급할 수 있다.
제1 통신 모듈(230)은 유선, 무선 또는 유/무선 통신 모듈일 수 있으며, 제1 제어부(260)로부터의 데이터를 유선 또는 무선으로 외부의 전자 장치로 전송하거나, 전자 장치로부터 데이터를 유선 또는 무선으로 수신하여 제1 제어부(260)로 전달한다.
제1 통신 모듈(230)은 제1 제어부(260)의 제어에 따라 외부의 전자 장치와 무선으로 통신을 할 수 있다. 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등의 근거리 통신 방식일 수 있다.
광학계(240)는 광원부(242), 렌즈부(244) 및 이미지 센서부(246)를 포함한다. 본 예에서는, 광학계(240)가 광원부(242)를 포함하는 것으로 예시하고 있으나, 광원부(242)는 생략될 수도 있다.
광원부(242)는 제1 제어부(260)의 제어에 따라 외부로 광을 출력하며, 광원부(242)는 미리 설정된 파장의 광, 예를 들어 적외광, 가시광 등을 출력할 수 있다. 피사체를 여러 방향에서 균일하게 조명하기 위하여, 도 3에 예시된 바와 같이, 광원부(242)는 적어도 제1 및 제2 광원(310, 312)을 포함할 수 있다. 또는, 피사체는 하나의 광원을 이용하여 여러 방향에서 균일하게 조명될 수도 있다. 본 발명에서 피사체는 디스플레이 유닛(190)의 표면(192) 일부를 말한다.
도 4는 하나의 광원을 이용하여 피사체를 균일 조명하는 경우를 설명하기 위한 도면이다. 광원부(242a)는 하나의 광원(314), 광원(314)으로부터 출력된 광(315)을 투과 및 반사를 통해 2분할하는 빔 스플리터(340) 및 빔 스플리터(340)로부터 반사된 광(317)을 피사체를 향해 반사하는 미러(342)를 포함하도록 할 수 있다. 이때, 빔 스플리터(342)를 투과한 광(316)은 피사체를 향해 조사된다.
렌즈부(244)는 입사한 광을 굴절시키는 기능을 하고, 그 화각 내에 위치하는 피사체에 대한 복수의 광학 이미지를 적어도 하나의 이미지 센서(246)의 수광면에 형성한다. 본 발명에서, 렌즈부(244)는 다중 초점을 가지며, 동일 피사체에 대한 서로 다른 초점들의 복수의 광학 이미지를 형성한다. 서로 다른 초점들의 복수의 광학 이미지를 형성하기 위하여, 도 3에 예시된 바와 같이, 렌즈부(244)는 적어도 제1 및 제2 렌즈(320, 322)를 포함할 수 있다. 제1 및 제2 렌즈(320, 322)는 동일 물질을 이용한 몰딩을 통해 일체로 형성되어 하나의 렌즈의 부분들을 형성하거나, 서로 분리된 별개의 렌즈들로 형성될 수 있다.
이미지 센서부(246)는 렌즈부(244)를 통과한 광에 의해 형성된 복수의 광학적 이미지를 디지털 이미지들(즉, 이미지 데이터)로 변환한다. 복수의 광학적 이미지의 디지털 변환을 위해, 도 3에 예시된 바와 같이, 이미지 센서부(246)는 적어도 제1 및 제2 이미지 센서(330, 332)를 포함할 수 있다. 제1 및 제2 이미지 센서(330, 332)는 일체로 형성되어 하나의 이미지 센서의 부분들을 형성하거나, 서로 분리된 별개의 이미지 센서들로 형성될 수 있다.
각 이미지 센서(330, 332)는 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하며, 상기 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 상기 화소 유닛은 입사된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 상기 입사된 광의 조도를 나타낸다. 정지 이미지 또는 동영상을 구성하는 한 이미지를 처리하는 경우에 있어서, 상기 이미지 센서(330, 332)로부터 출력되는 이미지 데이터는 상기 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 상기 이미지 데이터는 하나의 프레임(즉, 디지털 정지 이미지)을 나타낸다. 또한, 상기 프레임은 M×N 화소로 구성된다.
광학계(240)는 미리 설정된 파장 대역의 광(예를 들어, 적외광, 가시광 등)만을 투과시키는 필터부를 더 포함할 수 있다. 필터부(244)는 적어도 제1 및 제2 필터를 포함할 수 있다. 제1 및 제2 필터는 일체로 형성되어 하나의 필터의 부분들을 형성하거나, 서로 분리된 별개의 필터들로 형성될 수 있다.
도 3을 참조하면, 제1 및 제2 광원(310, 312)은 디스플레이 유닛(190)의 표면(192) 일부(즉, 본 예에서의 피사체)를 서로 다른 방향에서 조명한다. 피사체로부터 반사된 제1 광은 제1 렌즈(320)에 입사하고, 제1 렌즈(320)는 피사체의 제1 광학 이미지를 제1 이미지 센서(330)의 수광면에 형성한다. 제1 이미지 센서(330)는 제1 광학 이미지를 제1 디지털 이미지로 변환한다. 피사체로부터 반사된 제2 광은 제2 렌즈(322)에 입사하고, 제2 렌즈(322)는 피사체의 제2 광학 이미지를 제2 이미지 센서(332)의 수광면에 형성한다. 제2 이미지 센서(332)는 제2 광학 이미지를 제2 디지털 이미지로 변환한다.
도 5는 광학계의 다른 예들을 나타내는 도면이다.
도 5는 광학계가 필터부를 포함하는 것을 예시한다. 도 5의 (a)에 도시된 광학계(240a)에서는 필터부(350)가 별개의 제1 및 제2 필터(352, 354)를 포함하고, 도 5의 (b)에 도시된 광학계(240b)에서는 하나의 필터로 구성된 필터부(350a)와, 하나의 이미지 센서로 구성된 이미지 센서부(246a)를 예시한다.
도 5의 (a)를 참조하면, 피사체로부터 반사된 제1 광은 제1 필터(352)에 의해 필터링되어 제1 렌즈(320)에 입사하고, 피사체로부터 반사된 제2 광은 제2 필터(354)에 의해 필터링되어 제2 렌즈(322)에 입사한다. 각 필터는 미리 설정된 파장 대역의 광만을 투과하거나 반사하는 특성을 가질 수 있으며, 예를 들어 각 필터는 가시광 또는 적외광만을 투과시킬 수 있다.
도 5의 (b)를 참조하면, 피사체로부터 반사된 제1 및 제2 광은 하나의 필터로 구성된 필터부(350a)에 의해 필터링되어 제1 및 제2 렌즈(320, 322)에 각각 입사한다.
제1 및 제2 렌즈(320, 322)를 투과한 제1 및 제2 광은 하나의 이미지 센서로 구성된 이미지 센서부(246a)에 입사한다. 제1 광은 이미지 센서부(246a)의 제1 부분(330a)(제1 이미지 센서에 해당)에 입사하고, 제2 광은 이미지 센서부의 제2 부분(332a)(제2 이미지 센서에 해당)에 입사한다. 이미지 센서부(246a)는 제1 광에 의해 형성된 제1 광학 이미지를 제1 디지털 이미지로 변환하고, 제2 광에 의해 형성된 제2 광학 이미지를 제2 디지털 이미지로 변환한다.
도 2를 참조하면, 광학계(240)는 렌즈부(244)에 의해 형성된 피사체의 광학적 이미지들을 이미지 센서부(246)를 통해 디지털 이미지들로 변환하여 제1 제어부(260)로 출력하고, 제1 제어부(260)는 광학계(240)로부터 입력된 디지털 이미지들을 처리한다. 제1 제어부(260)는 디지털 이미지들 중의 하나를 선택하고, 선택된 디지털 이미지로부터 입력 위치 좌표를 산출하고, 산출된 사용자 입력 위치 좌표를 전자 장치로 전송할 수 있다. 또는, 제1 제어부(260)는 디지털 이미지들을 전자 장치로 전송할 수 있다.
제1 제어부(260)는 디지털 이미지를 프레임(frame) 단위로 처리하며, 처리된 디지털 이미지를 제1 저장부(250)에 저장하거나, 처리된 디지털 이미지를 제1 통신 모듈(230)을 통해 전자 장치로 전송할 수 있다.
제1 제어부(260)는 프로그램된 동작을 수행하며, 제1 제어부(260)는 정보 통신을 위한 버스(bus) 및 정보 처리를 위해 버스와 연결된 프로세서(processor)를 포함할 수 있다. 제1 제어부(260)는 또한 프로세서에 의해 요구되는 정보를 저장하기 위해 버스와 연결된 메모리(예를 들어, 램(random access memory: RAM))를 포함할 수 있다. 메모리는 프로세서에 의해 요구되는 임시 정보를 저장하는데 사용될 수 있다. 제1 제어부(260)는 프로세서에 의해 요구되는 정적 정보(static information)를 저장하기 위해 버스와 연결되는 롬(read only memory: ROM)을 더 포함할 수 있다. 제1 제어부(260)는 중앙처리장치로서 전자 펜(200)의 전반적인 동작을 제어한다.
제1 저장부(250)는 광학계(240), 또는 제1 제어부(260)로부터 입력되는 데이터를 저장하며, 전자 펜(200)을 구동하는데 필요한 운영 프로그램 등을 저장할 수 있다. 제1 저장부(250)는 기계(예를 들어, 컴퓨터, 휴대폰 등)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 기계에게 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 제1 저장부(250)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 매체에 의해 전달되는 명령들이 명령들을 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플래시 메모리, 램, 롬, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM), 플래시-이피롬(FLASH-EPROM) 등의 적어도 하나를 포함할 수 있다.
도 3을 참고하면, 광원부(242)는 디스플레이 유닛(190)의 표면(192)을 조명한다. 본 예에서, 이러한 표면(192)은 디스플레이 유닛(190)의 화면에 해당한다. 후술하는 바와 같이, 디스플레이 유닛(190)은 외부에 표시되는 위치 식별자들을 가지며, 전자 펜(200)은 단위 입력 영역을 촬영하고, 이미지 인식 과정을 통해 이러한 단위 입력 영역 내 위치 식별자를 인식하고, 이러한 위치 식별자를 통해 입력 위치 좌표를 산출한다. 또는, 전자 펜(200)은 촬영된 단위 입력 영역에 대한 이미지를 전자 장치로 전송하고, 전자 장치가 위치 식별자의 인식 및 입력 위치 좌표의 산출을 수행할 수도 있다.
도 3을 참조하면, 전자 펜(200)의 본체(202)는 사용자가 손으로 잡기 쉬운 형상을 갖는다. 예를 들어 본체(202)는 원형이나 다각형 등의 다양한 펜 형상으로 형성된다. 본체(202)의 전단에 펜 팁(204) 및 광원부(242)가 제공되고, 본체(202)의 내부에 렌즈부(244) 및 이미지 센서부(246)와, 도 2에 도시된 바와 같은 스위치(210), 제1 전원 공급부(220), 제1 통신 모듈(230), 제1 제어부(260) 및 제1 저장부(250)가 제공된다. 본 예와 다르게, 광원부(242)는 본체(202)의 전단으로부터 돌출되지 않을 수 있다.
이미지 센서부(246)는 렌즈부(244)의 광축들(300, 302) 상에 배치되고, 펜 팁(204) 및 광원부(242)은 광 경로를 막지 않도록 광축들(300, 302)의 주위에 배치된다. 제1 렌즈(320)의 제1 광축(300) 상에 제1 이미지 센서(330)가 배치되고, 제2 렌즈(322)의 제2 광축(302) 상에 제2 이미지 센서(332)가 배치된다. 제1 및 제2 광축(300, 302)은 각각 광학계(240)의 중심 축(248)과 2~10도의 각도를 이룰 수 있고, 예를 들어 제1 및 제2 광축(300, 302)은 각각 광학계(240)의 중심 축(248)과 6도의 각도를 이룰 수 있다. 본 예와 다르게, 제1 및 제2 광축(300, 302)은 각각 광학계(240)의 중심 축(248)과 평행하도록 설정될 수도 있다.
광원부(242)로부터 출력된 광은 디스플레이 유닛(190)의 표면(192)에서 반사되고, 반사된 광은 렌즈부(244)를 통과하여 이미지 센서부(246)에 입사한다. 이미지 센서부(246)로부터 출력되는 이미지들은 각각 디스플레이 유닛(190)의 표면 이미지를 나타낸다. 이미지 센서부(246)로부터 출력되는 이미지들은 각각 동일한 피사체, 즉 디스플레이 유닛(190)의 표면(192)의 동일한 부분을 포함한다. 이러한 동일한 부분은 광학계(240)의 중심 축(248) 상에 배치된 표면(192)의 일부에 해당한다.
본 발명이 적용되는 디스플레이 유닛(190)은 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light-Emitting Display), 전자 종이(Electronic Paper) 등과 같이 화소들을 포함하는 어떤 장치든지 될 수 있다. 본 명세서에서는 LCD 디스플레이 패널을 예로 들어 본 발명의 구성과 동작 원리를 설명하기로 한다.
도 6은 본 발명의 바람직한 실시 예에 따른 디스플레이 유닛을 나타낸다. 디스플레이 유닛(190)은, 아래에서 위로 차례로 적층된 박막 트랜지스터 기판(410), 액정(420) 및 컬러 필터 기판(430)을 포함한다. 박막 트랜지스터 기판(410)의 하면에는 제1 편광판(440)이 적층되고, 컬러 필터 기판(430)의 상면에는 제2 편광판(445)이 적층된다. 디스플레이 유닛(190)은 복수의 화소를 포함하나, 본 예에서는 하나의 화소에 대한 구성이 도시된다.
박막 트랜지스터 기판(410)의 상면에는 액정 분자를 화소 단위로 제어하기 위한 화소 전극(450)과, 화소 전극(450)의 온/오프를 제어하는 박막 트랜지스터(460)가 적층된다. 박막 트랜지스터(460)는 제1 제어부(260)로부터의 데이터 신호를 인가받기 위한 데이터 라인(465)과 연결된다. 컬러필터 기판(430)의 하면에는 매트릭스(480) 및 컬러 필터(470)가 적층되고, 매트릭스(480) 및 컬러 필터(470)의 하면에 그라운드 전위를 제공하는 공통 전극(455)이 적층된다. 화소 전극(450) 및 박막 트랜지스터(460)의 상면에는 액정 분자의 배열을 제어하기 위한 제1 배향막(490)이 적층되고, 매트릭스(480)와 컬러 필터(470)의 하면에는 액정 분자의 배열을 제어하기 위한 제2 배향막(495)이 적층된다. 액정(420)은 그 측면을 둘러싸는 밀봉 부재(497)에 의해 밀봉된다. 본 발명의 매트릭스(480)는 바람직하게는 흑색을 갖기 때문에, 본 발명의 매트릭스(480)를 블랙 매트릭스라고 칭할 수도 있다.
화소 또는 부화소 사이의 경계를 나타내는 매트릭스(480)는 광을 흡수할 수 있는 물질이나 구조를 포함하거나, 광을 선택적으로 반사하는 물질이나 구조를 포함한다. 만약 전자 펜(200)의 광원(242)이 적외광을 출력하는 경우에, 매트릭스(480)는 적외광 흡수체인 카본 블랙(Carbon Black)으로 형성될 수 있다. 또한, 컬러 필터(204)는 R(적색) 필터, G(녹색) 필터 및 B(청색) 필터 중의 하나일 수 있다. R 필터, G 필터, B필터는 각각 부화소(Subpixel)에 대응되고, R, G, B 필터의 집합이 하나의 화소(Pixel)에 대응될 수 있다. 즉, 하나의 화소는 3개의 부화소들을 가지며, 서로 다른 색상을 갖는 부화소들의 집합에 의해 임의의 색상을 갖는 점을 화면에 표시한다. 디스플레이 유닛(190)에 있어서, 부화소 또는 화소는 화면에서 하나의 점을 표시할 수 있는 구성 단위에 해당하고, 이러한 부화소는 R, G 또는 B 필터와, 이러한 필터와 정렬된 액정 부분과, 이러한 액정 부분을 제어하기 위한 화소 전극(450) 및 박막 트랜지스터(460) 등으로 구성된다.
본 예에서, 매트릭스(480)는 컬러 필터(470)와 함께 하나의 층을 이루고 있으나, 매트릭스(480)는 컬러 필터(470)의 위 또는 아래에 위치하는 별개의 층으로 이루어질 수도 있다.
본 발명은 각각 부화소들로 구분되지 않는 화소들을 갖는 디스플레이 유닛에도 적용될 수 있다.
디스플레이 유닛(190)에서 사용자 입력 위치는 2×2 화소 단위로 식별되고, 이러한 2×2 화소 단위는 단위 입력 영역에 대응된다.
도 7은 디스플레이 유닛의 단위 입력 영역을 나타낸다.
단위 입력 영역(500)은 2×2 화소들로 구성되고, 각 화소(510)는 R, G, B 필터를 갖는 부화소들(520, 522, 524)을 포함하고, R, G, B 부화소들(520, 522, 524)은 매트릭스(530)에 의해 구분된다. 매트릭스(530)는 각 부화소를 둘러싸며, 매트릭스(530)는 부화소들의 길이 방향으로 이격 배치된 메인 라인들(532)과, 부화소들의 폭 방향으로 이격 배치된 서브 라인들(534)을 갖는다. 메인 라인들(532)과 서브 라인들(534)은 서로 수직으로 교차한다. 이때, 메인 라인들(532)의 두께는 서브 라인들(534)의 두께보다 큰 것으로 예시되어 있으나, 본 발명은 이에 한정되지 않고, 메인 라인들(532) 및 서브 라인들(534)은 동일한 두께를 가질 수도 있고, 서브 라인들(534) 중에서 일정 배수 위치의 서브 라인들은 메인 라인들(532)의 두께와 동일한 두께를 가질 수도 있다. 예를 들어, 도시된 7개의 서브 라인들(534) 중에서 보는 방향에서 좌측으로부터 1, 4, 7번째 서브 라인들은 다른 서브 라인들보다 더 두꺼울 수 있다.
본 발명에서 각 단위 입력 영역은 위치 식별을 위한 식별자를 포함하고, 이러한 위치 식별자는 매트릭스에 표시된 마크들로 구성된다. 마크(Mark)는 매트릭스의 직선 형태의 라인에서 부화소 영역 내로 돌출된 라인 형태를 갖는다. 마크는 매트릭스의 물질과 동일하거나 다른 물질로 형성될 수 있다. 마크의 모양 및 크기는 다양하게 설정될 수 있다. 본 예에서 매트릭스와 마크는 하나의 층에 위치하고 있으나, 본 예와 다르게, 매트릭스를 갖는 층과 마크를 갖는 층이 별개의 층들로 구성될 수도 있다.
본 발명의 화소 또는 부화소는 적어도 하나의 마크를 포함한다.
본 발명의 일 예에 따라서 각 부화소는 4개의 마크를 포함하며, 이러한 위치 식별 방식을 4마크 방식이라고 칭할 수 있다.
이러한 4 마크 방식에서는, 하나의 부화소가 16가지의 서로 다른 마크 패턴들(또는 마크 배치들) 중의 하나를 가질 수 있다. 16가지의 서로 다른 마크 패턴들 중 하나의 마크 패턴은 위치 식별자가 공통으로 구비하는 기준 또는 덴트 마크 패턴으로 이용되고, 15가지의 서로 다른 마크 패턴들은 입력 위치 또는 입력 좌표를 산출하는데 이용된다. 이때 본 발명의 실시 예에 따르면 15가지의 서로 다른 마크 패턴은 15진수를 나타내도록 구현될 수 있다. 즉, 하나의 마크 패턴은 하나의 15진수 값(즉, 패턴 값)을 나타낸다.
본 발명은 복수의 화소 또는 복수의 부화소의 마크 패턴들의 집합이 디스플레이 유닛 상의 한 위치에 대한 식별자로서 기능하도록 하며, 이러한 하나의 식별자로서 기능하는 화소들 또는 부화소들의 수는 임의로 설정할 수 있다. 예를 들어, 각 부화소가 하나의 마크 패턴을 가질 수도 있고, 8개의 부화소들이 하나의 위치 식별자를 나타낼 수도 있다.
도 8은 본 발명의 실시 예에 따른 15진수를 이용한 마크 패턴을 나타낸다. 도 8의 (a)는 덴트 마크 패턴을 나타내고, 도 8의 (b), (c), (d), (e), (f), (g), (h), (i), (j), (k), (l), (m), (n), (o) 및 (p)는 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13 및 14를 각각 나타낸다.
본 예에서, 노이즈의 발생을 최소화하기 위하여, 각 부화소를 상부 및 하부로 구분하였을 때, 마크 패턴이 각 부화소의 상부에 위치하는 것을 예시하고 있으나, 본 발명은 이에 한정되지 않고, 마크 패턴이 각 부화소의 하부에 위치할 수도 있다. 또한, 이러한 상부와 하부의 구분은 미리 정해진 길이 비율(예를 들어, 1:1, 2:1 등)에 따라 구분될 수 있다.
본 발명에서는 15개의 마크 패턴들 중 일부를 이용하여 입력 위치의 X 좌표 값 및 Y 좌표 값을 나타낸다. 구체적으로, 1개의 부화소가 15개의 마크 패턴 중 어느 하나의 마크 패턴을 포함할 수 있으므로, 1개의 부화소는 0~14 범위의 값을 나타낼 수 있고, 2개의 부화소는 15*15=225개의 값들 중의 하나(즉, 0~224 범위의 값)를 나타낼 수 있고, 3개의 부화소는 15*15*15=3375개의 값들 중의 하나(즉, 0~3374 범위의 값)를 나타낼 수 있다.
이하, 3개의 부화소들을 이용하여 X 좌표 값을 나타내고, 다른 3개의 부화소들을 이용하여 Y 좌표 값을 나타내는 경우를 예시하자면 아래와 같다.
도 9는 본 발명이 실시 예에 따른 단위 입력 영역에 대한 위치 식별자의 일 예를 나타낸 도면이다. 단위 입력 영역(600)은 2×2 화소들로 구성되고, 각 화소(610)는 R, G, B 필터를 갖는 부화소들(620, 622, 624)을 포함하고, R, G, B 부화소들(620, 622, 624)은 매트릭스(630)에 의해 구분된다. 매트릭스(630)는 각 부화소를 둘러싸며, 매트릭스(630)는 부화소들의 길이 방향으로 이격 배치된 메인 라인들(632)과, 부화소들의 폭 방향으로 이격 배치된 서브 라인들(634)을 갖는다.
도시된 12개의 부화소들(620, 622, 624)은, 덴트 마크 패턴(Dent)을 갖는 Dent 부화소(즉, 덴트 부화소)와, X 좌표 값을 나타내는 마크 패턴들(X1, X2, X3)을 갖는 X1, X2, X3 부화소들(즉, X 좌표 부화소들)과, Y 좌표 값을 나타내는 마크 패턴들(Y1, Y2, Y3)을 갖는 Y1, Y2, Y3 부화소들(즉, Y 좌표 부화소들)과, X1, X2, X3 부화소들과 Y1, Y2, Y3 부화소들에 포함된 마크 패턴들의 인식 에러 검출 및 정정을 위한 에러 정정 마크 패턴들(H1, H2, H3, H4)을 포함하는 H1, H2, H3, H4 부화소들(즉, 에러 정정 부화소들)과, 패리티 마크 패턴(P1)을 포함하는 P1 부화소(즉, 패리티 부화소)를 포함할 수 있다.
H1, H2, H3, H4 부화소들은 제1 제어부(260) 또는 제2 제어부가 X1, X2, X3 부화소들과 Y1, Y2, Y3 부화소들 중 어느 하나의 부화소에 포함된 마크 패턴을 잘못된 값으로 인식하였을 경우에, 잘못 인식된 값을 정정할 수 있도록 하기 위한 에러 정정 마크 패턴들을 포함한다.
이때 에러 정정 마크 패턴들은 해밍 코드(Hhmming Code) 원리에 의해 결정될 수 있다. 해밍 코드 원리란 데이터 비트(k)와 패리티 비트(m) 사이의 관계는 2m ≥ k + m + 1와 같이 나타낼 수 있다는 원리로서, 4개의 데이터 비트를 해밍 코드로 만들기 위해 필요한 최소 패리티 비트수는 3개라는 원리이다. 이러한 해밍 코드 원리를 이용하면, 4개의 부화소 인식 값들의 에러 검출 및 정정을 위해서 3개의 에러 정정 마크 패턴들이 필요하다. 본 예에서는 6개의 부화소 인식 값들에 대한 에러 검출 및 정정을 수행하므로, 최소 4개의 에러 정정 마크 패턴들이 필요하다.
X1, X2, X3 부화소들의 인식 값들(x1, x2, x3)과 X1, X2, X3 부화소들의 인식 값들(Y1, Y2, Y3)을 이용한 X좌표 값 및 Y좌표 값의 산출식은 하기 수학식 1과 같다.
Figure pat00001
H1, H2, H3, H4 부화소들에 대한 에러 정정 패턴 값들 h1, h2, h3, h4의 산출식은 하기 수학식 2와 같다.
Figure pat00002
상기 수학식 3에서 modulo15는 () 내의 값을 15로 나눈 나머지 값을 출력하는 함수이다.
P1 부화소에 대한 패리티 패턴 값 p1의 산출식은 하기 수학식 3과 같다.
Figure pat00003
마크 패턴의 인식 값에 대한 에러 유무는 하기 수학식 4에 근거하여 판단될 수 있다.
Figure pat00004
Dent 부화소와 P1 부화소를 제외한 10개의 부화소들의 인식 값들이 모두 에러가 없는 경우 C1, C2, C3, C4의 값은 모두 0이다. 그러나, 어느 하나의 인식 값에 에러가 있는 경우에, C1, C2, C3, C4는 각각 0 또는 0이 아닌 동일한 값을 갖는다.
아래의 표 1은 패턴 값들 및 해밍 코드 값을 예시적으로 나타낸다.
비트 위치 10 9 8 7 6 5 4 3 2 1
패턴 값 y3 x3 h4 y2 x2 y1 h3 x1 h2 h1
해밍 코드값 1 0 1 0 1 1 2 1 3 2
본 예에서, x1, x2, x3, y1, y2, y3는 1, 1, 0, 1, 0, 1이고, h1, h2, h3, h4는 상기 수학식 3에 따라 2, 3, 2, 1이고, 해밍 코드 값은 1010112132(15진수)이다.
x2가 1이 아니라 5로 잘못 인식된 경우에, C1, C2, C3, C4의 값은 하기 수학식 5와 같이 산출된다.
Figure pat00005
해밍 코드 값에서 에러가 발생한 패턴 값의 비트 위치는 하기 수학식 6을 이용하여 산출될 수 있다.
Figure pat00006
상기 수학식 6을 참조하면, Correct bit=0111(2진수)인 경우 이를 10진수로 표현하면 7이 된다. 즉, 10개의 부화소들 중 7번째에 해당하는 부화소에서 마크 검출 에러가 발생했음을 알 수 있다.
에러가 발생한 패턴 값은 에러 비트 위치 값(Correct bit)이 0000(2진수)가 되도록 하는 x2'로 대체됨으로써 정정될 수 있다. 본 예에서, 에러 비트 위치 값(Correct bit)이 0000(2)가 되도록 하는 x2'는 1이다.
전술한 바와 같이, 전자 펜(200)은 직접 입력 위치 좌표를 산출하고, 산출된 입력 위치 좌표를 전자 장치로 전송하거나, 전자 펜(200)은 이미지 데이터를 전자 장치로 전송함으로써 전자 장치가 입력 위치 좌표를 산출하도록 할 수 있다. 이와 같이, 전자 펜(200)은 입력 위치 좌표, 이미지 데이터 등의 입력 위치 정보를 전자 장치로 전송할 수 있다.
전자 펜(200)이 디스플레이 유닛(190)과 이루는 각도, 더 구체적으로는 광학계(240)의 중심 축과 표면(192)의 법선이 이루는 각도에 따라서, 피사체와 렌즈부(244) 간의 물체 거리와, 렌즈부(244)의 초점 거리(또는 상 거리)가 변화한다.
도 10은 물체 거리 변화에 따른 초점 거리의 변화를 설명하기 위한 도면이다. 도 10은 비교예에 따른 전자 펜(20)의 주요 구성을 나타낸다.
전자 펜(20)에 있어서, 렌즈(22)와 이미지 센서(23) 간의 간격은 전자 펜(20)이 디스플레이 유닛(190)에 수직하게 접촉하고 있는 경우를 가정하여 설정된다.
도 10의 (a)는 전자 펜(20)이 디스플레이 유닛(190)에 수직하게 접촉하고 있는 경우를 나타내고, 디스플레이 유닛(190)과 렌즈(22)의 간격, 즉 제1 물체 거리(OD1)에 따라 제1 초점 거리(FD1)가 결정되고, 렌즈(22)와 이미지 센서(23) 간의 간격은 제1 초점 거리와 동일하도록 설정된다. 따라서, 이미지 센서(23)는 선명한(즉, 인 포커싱된) 피사체 이미지를 검출할 수 있다.
도 10의 (b)를 참조하면, 도 10의 (a)의 수직 정렬과 비교하여 물체 거리가 증가하도록 디스플레이 유닛(190)과 접촉한 상태로 전자 펜(20)을 기울이면, 제1 물체 거리보다 긴 제2 물체 거리(OD2)에 따라 결정되는 제2 초점 거리(FD2)는 제1 초점 거리보다 짧게 되고, 이미지 센서(23)는 흐린(즉, 아웃 포커싱된) 피사체 이미지를 검출하게 된다.
도 10의 (c)를 참조하면, 도 10의 (a)의 수직 정렬과 비교하여 물체 거리가 감소하도록 디스플레이 유닛(190)과 접촉한 상태로 전자 펜을 기울이면, 제1 물체 거리보다 짧은 제3 물체 거리(OD3)에 따라 결정되는 제3 초점 거리(FD3)는 제1 초점 거리보다 길게 되고, 이미지 센서(23)는 흐린(즉, 아웃 포커싱된) 피사체 이미지를 검출하게 된다.
도 10의 (b) 및 (c)의 경우에, 흐린(즉, 아웃 포커싱된) 피사체 이미지로부터 입력 위치 좌표를 산출하게 되므로 좌표값의 정확도가 낮게 된다. 또한, 피사체 이미지가 너무 흐린 경우에는, 이러한 좌표 산출이 불가능하게 될 수도 있다.
따라서, 본 발명은 다중 초점을 갖는 렌즈부를 이용하여 동일 피사체에 대한 서로 다른 초점들의 복수의 이미지를 형성하고, 복수의 이미지 중에서 가장 선명도가 높은 이미지를 선택하고, 선택된 이미지로부터 입력 위치 좌표를 산출함으로써, 전자 펜의 정렬 상태와 상관없이 높은 정확도로 입력 위치 좌표를 산출할 수 있도록 한다.
도 11 및 도 12는 본 발명의 바람직한 실시 예에 따른 광학계를 나타내는 도면들이다. 도 11 및 도 12에서 광원부(242)는 생략되어 있다. 도 11의 (a)는 광학계의 사시도를 나타내고, 도 11의 (b)는 광학계의 평면도를 나타내고, 도 12의 (a)는 광학계의 정면도를 나타내고, 도 12의 (b)는 광학계의 측면도를 나타낸다.
광학계(242)는 이미지 센서부(246)에 입사하는 제1 광(710) 및 제2 광(720) 각각의 빔 폭을 제한하기 위한 조리개(360)를 더 포함할 수 있다. 조리개(360)는 렌즈부(244)의 제1 및 제2 렌즈(및/또는 이미지 센서부의 제1 및 제2 이미지 센서)에 각각 대응하여 정렬된 제1 및 제2 개구를 포함하거나, 하나의 개구를 포함할 수도 있다. 본 예에서, 조리개(360)는 이미지 센서부(246) 및 렌즈부(244)의 사이에 배치되는 것으로 예시하고 있으나, 렌즈부(244) 및 펜 팁(204)의 사이에 배치되거나 생략될 수도 있다.
광학계(242)는 제1 및 제2 광이 분리되어 이미지 센서부(246)의 제1 및 제2 이미지 센서에 입사하도록 하기 위한 광차단부(370)를 더 포함할 수 있다. 광차단부(370)는 필름 형태를 가지며, 제1 및 제2 이미지 센서의 사이 및/또는 제1 및 제2 렌즈의 사이에 위치하도록 배치된다. 예를 들어, 광차단부(370)는 광흡수도가 높은 물질로 사출 성형되거나, 플라스틱 필름에 광흡수도가 높은 차광액(예를 들어, 흑색 잉크)를 코팅함으로써 형성될 수 있다. 광차단부(370)는 제1 광이 제2 이미지 센서에 입사하거나, 제2 광이 제1 이미지 센서에 입사하는 것을 방지한다. 본 예에서, 광차단부(370)는 제1 및 제2 이미지 센서의 사이 및 제1 및 제2 렌즈의 사이에 위치하도록 배치에 것으로 예시하고 있으나, 광차단부(370)는 생략될 수도 있다.
도 13은 본 발명의 바람직한 실시 예에 따른 렌즈부를 나타내는 도면이다. 도 13의 (a)는 렌즈부의 평면도를 나타내고, 도 13의 (b)는 렌즈부의 정면도를 나타내고, 도 13의 (c)는 렌즈부의 측면도를 나타낸다.
렌즈부(244)는 본체(324)와, 상기 본체(324)에 형성되며 서로 다른 초점 거리를 갖는 제1 및 제2 렌즈(320, 322)를 포함한다. 본체(324) 및 제1 및 제2 렌즈(320, 322)는 동일 물질을 이용한 사출 성형을 통해 서로 일체로 형성되거나, 서로 다른 물질을 이용한 이중 사출 성형을 통해 형성될 수 있다. 예를 들어, 제1 물질을 이용하여 사출 성형을 통해 2개의 구멍을 가진 본체(324)를 형성한 후, 상기 본체(324)를 틀로 하고 제2 물질을 이용한 사출 성형을 통해 제1 및 제2 렌즈(320, 322)를 형성할 수도 있다.
본체(324)는 필름 형태를 가지며, 본체(324)는 광흡수도가 높은 물질로 사출 성형되거나, 플라스틱 필름에 광흡수도가 높은 차광액(예를 들어, 흑색 잉크)를 코팅함으로써 형성될 수도 있다. 즉, 제1 및 제2 렌즈(320, 322)를 제외한 본체(324)의 일 표면 또는 양면은 광흡수도가 높은 차광액으로 코팅될 수도 있다.
도 14는 본 발명의 바람직한 실시 예에 따른 렌즈부를 나타내는 단면도이다.
본 예에서, 제1 및 제2 렌즈(320, 322)는 광학계(240)의 중심 축(248)을 사이에 두고 중심 축과 수직인 방향으로 일정 간격으로 이격 배치되어 있다. 제1 및 제2 렌즈(320, 322)의 이격 거리는 다양하게 설정할 수 있으며, 또한 제1 및 제2 렌즈(320, 322)의 이격 거리가 0일 수도 있다.
하기 표 2는 제1 및 제2 렌즈(320, 322)의 수치 데이터를 나타낸다. 하기 표 2는, 면 번호(i), 제i 광학면(Si)의 곡률 반경인 R, 제i 광학면의 두께 또는 공기 간격(또는, 제i 광학면에서 제(i+1) 광학면까지의 거리)인 T, 제i 광학면의 d 선(587.5618㎚)에서의 굴절률인 nd, 제i 광학면의 d 선에서의 분산 값, 즉 아베수(Abbe? number)인 Vd를 나타낸다. 또한, 곡률반경 및 두께의 단위는 ㎜이다. 각 렌즈에 있어서, 광학면의 번호 i는 피사체(즉, 물체) 측에서 이미지 센서(즉, 상면) 측(또는 상측)으로 차례로 붙인 것이다. 예를 들어, 제1 렌즈(320)에 있어서, 제1 광학면은 물체측(또는 피사체측) 광학면으로, 제2 광학면은 상측 광학면으로 칭할 수도 있다.
면번호 곡률반경(R) 면 간격 굴절률(nd) 아베수(Vd) 비고
1 1.550810035 1.042 1.5309 51.66 제1 렌즈
2 2.221245478
3 3.137392948 1.0 1.5309 51.66  제2 렌즈
4
제1 렌즈(320)는 양면 비구면 렌즈이고, 제2 렌즈(322)는 비구면-평면 렌즈이다. 이때, 평면은 곡률반경이 무한대(∞)인 것으로 표시한다. 비구면에 대한 곡률 반경은 상기 비구면의 중심에서 측정된 값을 나타낸다. 비구면 정의식은 하기 수학식 7로 표시된다.
Figure pat00007
상기 수학식 7에서, z는 광학면의 중심(또는 정점)으로부터 광축에 따른 거리, h는 광축에 수직한 방향으로의 거리, c는 광학면의 중심에서의 곡률(곡률반경의 역수), k는 코닉 계수(conic coefficient), A, B, C, D, E, F 및 G는 비구면 계수들을 나타내고, B~G=0이다.
하기 표 3는 상기 표 2의 각 비구면에 대한 비구면 계수들을 예시하고 있다.
면번호 k A
1 0.586749148 -1.135999E-02
2 7.172854495 2.201953E-02
3 0 2.232137E-02
하기 표 4는 각 렌즈에 대한 상세 제원을 나타낸다.
제1 렌즈 제2 렌즈
F수 7 7
초점 거리 6.00 6.41
X축 화각 -40~40도 -45~45도
Y축 화각 -45~0도 -15~30도
물질 E48R25 E48R25
물체 크기 3*3 2.52*2.52
상 크기 1.02*1.02 1.02*1.02
중심 축과 광축 간의 각도 6도 6도
도 12를 참조하면, X축 화각은 도 12의 (a)의 지면에서의 화각을 말하고, Y축 화각은 도 12의 (b)의 지면에서의 화각을 말한다. 물체 크기는 물체의 가로*세로 크기(mm)를 나타내고, 상 크기는 이미지 센서의 수광면에서의 가로*세로 크기(mm)를 나타낸다.
제1 렌즈(320)의 초점거리를 f1, 제2 렌즈(322)의 초점거리를 f2라고 할 때, 0.9<f1/f2<1의 조건을 만족하는 것이 바람직하나, 본 발명은 이에 한정되지 않는다. 예를 들어, 제1 렌즈(320)는 5.4~6.6㎜의 초점거리를 가질 수 있고, 제2 렌즈(322)는 5.7~7.1㎜의 초점거리를 가질 수 있으며, 0.92<f1/f2<0.95의 조건을 만족할 수 있다.
본 발명에 따른 광학계의 성능은 MTF 값에 따라 판단될 수도 있다.
MTF 값은 재현도를 나타낸다. MTF 값, 즉 재현도는 흰 줄과 검은 줄의 쌍을 광학계가 얼마나 재현하였는지의 정도를 나타낸다. 즉, 광학계가 흰 줄과 검은 줄의 쌍을 완벽하게 재현한 경우는 MTF 비율이 100%이 되고, 전혀 재현하지 못한 경우는 MTF 비율이 0%이 된다.
통상적으로 MTF 값이 15% 이상일 때 사용자 입력 위치의 검출이 가능하다. 도 10에 예시한 바와 같은 전자 펜은 도 10의 (b) 및 (c)와 같이 우측 및 좌측으로 각각 35도로 기울인 경우에 MTF 값이 15% 미만으로 떨어진다.
반면에, 본 발명에 따른 전자 펜은 도 10의 (b) 및 (c)와 같이 우측 및 좌측으로 각각 35도로 기울인 경우에도 MTF값이 15% 이상을 유지한다.
도 15는 본 발명의 다른 예들에 따른 렌즈부를 나타내는 도면이다.
도 15의 (a)를 참조하면, 렌즈부(244a)는 적어도 일부 또는 전체가 상이한 초점들을 갖는 제1 내지 제3 렌즈(810, 812, 814)를 포함할 수도 있다.
도 15의 (b)를 참조하면, 렌즈부(244b)는 적어도 일부 또는 전체가 상이한 초점들을 갖는 제1 내지 제4 렌즈(820, 822, 824, 826)를 포함할 수도 있다.
본 발명에서 입력 위치 정보는 전자 펜 또는 전자 장치에 의해 산출될 수 있다.
이하, 전자 펜이 직접 입력 위치 정보를 산출하는 경우를 먼저 예시하기로 한다.
도 16은 본 발명의 바람직한 실시 예에 따른 입력 위치 산출 방법을 나타내는 흐름도이다.
도 3 및 도 16을 참조하면, 상기 입력 위치 산출 방법은 S110~S140 단계들을 포함한다.
S110 단계는 디스플레이 유닛(190)의 단위 입력 영역에 대한 제1 및 제2 이미지를 획득하는 단계로서, 제1 이미지 센서(330)는 제1 렌즈(320)를 통과한 제1 광에 의해 형성된 제1 이미지를 출력하고, 제2 이미지 센서(332)는 제2 렌즈(322)를 통과한 제2 광에 의해 형성된 제2 이미지를 출력한다. 이때, 제1 및 제2 이미지는 각각 도 7에 예시된 바와 같은 단위 입력 영역을 포함한다.
S120 단계는 제1 및 제2 이미지 중 하나를 선택하는 단계로서, 제1 제어부(260)는 제1 및 제2 이미지 중에서 더 선명한 이미지, 즉 보다 초점이 잘 맞춰진 이미지를 선택한다. 예를 들어, 제1 제어부(260)는 제1 및 제2 이미지(또는 그 일부들) 각각에 대한 누적 에지값(edge value)을 산출한다. 이때, "에지"는 피사체의 윤곽에 해당하고, 이미지 상에서 밝기가 급격하게 변하는 경계에 해당한다. "에지값"은 이러한 "에지"의 밝기 차이를 나타낸다. 제1 제어부(260)는 각 이미지에서 각 픽셀(pixel)이 갖는 밝기를 산출하고, 인접한 두 픽셀들간의 밝기 차이와 기준값을 비교하여 상기 두 픽셀들간의 경계가 에지인지의 여부를 판별하고, 에지에 해당하는 픽셀 쌍들의 밝기 차이들을 누적 합산함으로써, 이러한 누적 에지값을 산출한다.
제1 및 제2 이미지 각각에 대한 누적 에지값들이 산출되면, 제1 제어부(260)는 보다 큰 누적 에지값을 갖는 이미지를 선택한다.
이러한 누적 에지값은 이미지(또는 그 일부) 내 에지에 대한 콘트라스트 값이라고 칭할 수도 있다.
S130 단계는 위치 식별자를 인식하는 단계로서, 도 7을 참고하면, 제1 제어부(260)는 매트릭스, 즉 메인 라인들(532) 및 서브 라인들(534)로 구분되는 각 부화소(520, 522, 524) 내 마크 패턴을 인식한다. 예를 들어, 제1 제어부(260)는 미리 저장되어 있는 마크 패턴과의 비교를 통해 각 부화소(520, 522, 524) 내 마크 패턴을 인식할 수 있다.
S140 단계는 입력 좌표를 산출하는 단계로서, 제1 제어부(260)는 상기 수학식 1 내지 6과 관련하여 설명한 바와 같은 방식으로 단위 입력 영역의 좌표를 산출한다. 이러한 입력 좌표는 해밍 코드값, 수학식 1을 이용하여 산출되는 X 및 Y 좌표값 등일 수 있다. 제1 제어부(260)는 산출된 입력 좌표를 전자 장치로 전송한다.
이상, 전자 펜(200)이 직접 입력 위치 정보를 산출하는 경우를 예시하였고, 다음으로 전자 장치가 입력 위치 정보를 산출하는 경우를 예시하자면 아래와 같다.
도 17은 전자 펜을 이용한 사용자 입력을 설명하기 위한 도면이다.
도시된 바와 같이, 사용자는 전자 장치(100)의 디스플레이 유닛(190)의 표면 위에 전자 펜(200)을 검출 임계 간격 이내로 유지하거나, 디스플레이 유닛(190)의 표면을 전자 펜(200)으로 터치함으로써, 입력 동작을 수행한다.
도 18은 본 발명의 바람직한 실시 예에 따른 전자 장치를 나타내는 개략적인 블록도이다.
전자 장치(100)는 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북, 랩탑, 태블릿(Tablet) PC, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등일 수 있다. 상기 전자 장치(100)는 휴대 단말, 이동 단말, 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 이동 단말로서 구현될 수 있다.
전자 장치(100)는 제2 통신 모듈(120), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 전자 장치(도시되지 아니함) 또는 전자 펜(200)과 연결될 수 있다. 이러한, 전자 장치는 상기 전자 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들 중의 하나를 포함할 수 있다. 또한, 전자 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치, 와이파이 다이렉트(WiFi Direct) 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 전자 장치(100)는 유선 또는 무선을 이용하여 다른 전자 장치 또는 전자 장치, 예를 들어, 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC 및 서버 중의 하나와 연결될 수 있다.
전자 장치(100)는 적어도 하나의 디스플레이 유닛을 포함한다. 또한, 전자 장치(100)는 제2 제어부(110), 제2 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 제2 저장부(175) 및 제2 전원 공급부(180)를 포함한다.
제2 통신 모듈(120)은 이동통신 모듈(121), 서브 통신 모듈(130) 및 방송통신 모듈(141)을 포함한다.
서브 통신 모듈(130)은 무선랜 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 전자 장치(100)의 카메라 모듈(150)은 전자 장치(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위한 광을 출력하는 플래쉬(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진동 소자(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함할 수 있다.
제2 제어부(110)는 CPU(111), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자 장치(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
또한, 제2 제어부(110)는 제2 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 제2 저장부(175), 제2 전원 공급부(180), 디스플레이 유닛(190)을 제어할 수 있다.
제2 제어부(110)는 디스플레이 유닛(190) 상에 복수의 객체들이 표시된 상태에서 전자 펜(200), 사용자의 손가락 등의 터치 가능한 사용자 입력 수단이 어느 하나의 객체를 터치하거나, 그에 접근하거나, 그에 근접하게 위치함에 따른 사용자 입력을 감지하고, 사용자 입력이 발생한 디스플레이 유닛(190) 상의 위치에 대응하는 객체를 식별한다. 디스플레이 유닛(190)을 통한 사용자 입력은 객체를 직접 터치하는 직접 터치 입력과, 미리 설정된 인식 거리 이내로 객체에 접근하지만 객체를 직접 터치하지 않는 간접 터치 입력인 호버링 입력 중의 하나를 포함한다. 예를 들어, 전자 펜(200)을 디스플레이 유닛(190)에 가까이 위치시키면, 전자 펜(200)의 연직 하방에 위치하는 객체가 선택될 수 있다. 본 발명에서 사용자 입력은, 디스플레이 유닛(190)을 통한 사용자 입력 외에, 카메라 모듈(150)을 통한 제스쳐 입력, 버튼(161) 또는 키패드(166)를 통한 스위치/버튼 입력, 마이크(162)를 통한 음성 입력 등을 포함한다.
객체는 전자 장치(100)의 디스플레이 유닛(190) 상에 표시되거나, 표시될 수 있는 것으로서, 예를 들어, 애플리케이션, 메뉴, 기능 아이템(또는 메뉴 아이템), 문서, 위젯, 사진, 동영상, 이메일, SMS 메시지 및 MMS 메시지 중 적어도 하나를 포함하며, 사용자 입력 수단에 의해 선택, 실행, 삭제, 취소, 저장 및 변경될 수 있다. 이러한, 객체는 버튼, 단축 아이콘, 썸네일 이미지 또는 전자 장치에서 적어도 하나의 객체를 저장하고 있는 폴더를 포괄하는 의미로도 사용될 수 있다. 본 발명에서 아이템은 실행 가능한 기능, 예를 들어 아이콘, 특정 메뉴를 구성하는 어느 한 기능 아이템 등을 나타낸다. 또한, 이러한 기능 아이템은 아이콘, 텍스트 등의 형태로 표시될 수 있다.
단축 아이콘은 각각의 애플리케이션 또는 전자 장치(100)에서 기본적으로 제공되는 통화, 연락처, 메뉴 등의 빠른 실행을 위해 전자 장치(100)의 디스플레이 유닛(190) 상에 표시되는 것으로서, 이를 실행하기 위한 명령 또는 선택이 입력되면 해당 애플리케이션을 실행한다.
또한, 제2 제어부(110)는 전자 펜(200)으로부터 수신한 입력 위치 정보에 따른 사용자 입력 이벤트를 감지할 수 있다.
제2 제어부(110)는 미리 설정된 객체에 대해, 또는 미리 설정된 방식에 따라 사용자 입력 이벤트가 발생되면, 사용자 입력 이벤트에 대응하는 미리 설정된 기능을 수행한다.
이동 통신 모듈(121)은 제2 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자 장치(100)이 외부 전자 장치와 연결되도록 할 수 있다. 이동 통신 모듈(121)은 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브 통신 모듈(130)은 무선랜 모듈(131)과 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리 통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리 통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제2 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신 모듈(132)은 제2 제어부(110)의 제어에 따라 전자 장치(100)과 전자 펜(200) 또는 외부 전자 장치 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
이러한, 서브 통신 모듈(130)을 통해서 제2 제어부(110)는 전자 펜(200)으로부터 입력 위치 정보를 수신할 수 있다.
방송 통신 모듈(141)은 제2 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다.
멀티미디어 모듈(140)은 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 오디오 재생 모듈(142)은 제2 제어부(110)의 제어에 따라 제2 저장부(175)에 저장되어 있거나 또는 제2 통신 모듈(120)을 통해 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 제2 제어부(110)의 제어에 따라 제2 저장부(175)에 저장되어 있거나 또는 제2 통신 모듈(120)을 통해 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다.
멀티미디어 모듈(140)은 제2 제어부(110)에 통합될 수 있다.
카메라 모듈(150)은 제2 제어부(110)의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 조명을 제공하는 플래쉬(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 전자 장치(100) 전면에 배치되고, 제2 카메라(152)는 상기 전자 장치(100)의 후면에 배치될 수 있다. 달리 취한 방식으로, 제1 카메라(151)와 제2 카메라(152)는 인접(예를 들어, 제1 카메라(151)와 제2 카메라(152)의 간격이 1cm 보다 크고, 8cm 보다는 작은)하게 배치되어 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수도 있다.
또한, 제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제2 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다.
입/출력 모듈(160)은 적어도 하나의 버튼(161), 적어도 하나의 마이크(162), 적어도 하나의 스피커(163), 적어도 하나의 진동 소자(164), 커넥터(165), 키패드(166) 및 이어폰 연결잭(167) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 디스플레이 유닛(190) 상의 커서의 움직임을 제어하기 위해 제공될 수 있다.
버튼(161)은 상기 전자 장치(100)의 하우징(또는 케이스)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제2 제어부(110)의 제어에 따라 음성(voice) 또는 소리를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제2 제어부(110)의 제어에 따라 다양한 신호 또는 데이터(예를 들어, 무선 데이터, 방송 데이터, 디지털 오디오 데이터, 디지털 동영상 데이터 등)에 대응되는 소리를 전자 장치(100)의 외부로 출력할 수 있다. 스피커(163)는 전자 장치(100)이 수행하는 기능에 대응되는 소리(예를 들어, 전화 통화에 대응되는 버튼 조작음, 통화 연결음, 상대방 사용자의 음성 등)를 출력할 수 있다. 스피커(163)는 상기 전자 장치(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 소자(164)는 제2 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 전자 장치(100)은 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 소자(164)가 동작한다. 진동 소자(164)는 상기 전자 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 소자(164)는 디스플레이 유닛(190)을 통한 사용자 입력에 대응하여 동작할 수 있다.
커넥터(165)는 상기 전자 장치(100)과 외부 전자 장치 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제2 제어부(110)는 커넥터(165)에 연결된 유선 케이블을 통해 전자 장치(100)의 저장부(175)에 저장된 데이터를 외부 전자 장치로 전송하거나 외부 전자 장치로부터 데이터를 수신할 수 있다. 전자 장치(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원 소스로부터 전력을 수신하거나, 전원 소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전자 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 디스플레이 유닛(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)에 형성되는 물리적인 키패드는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰(도시되지 아니함)은 이어폰 연결잭(Earphone Connecting Jack, 167)에 삽입되어 상기 전자 장치(100)에 연결될 수 있다.
센서 모듈(170)은 전자 장치(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 사용자의 전자 장치(100)에 대한 접근 여부를 검출하는 근접 센서, 전자 장치(100) 주변의 빛의 양을 검출하는 조도 센서(도시되지 아니함), 또는 전자 장치(100)의 동작(예를 들어, 전자 장치(100)의 회전, 전자 장치(100)의 가속 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 전자 장치(100)의 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter), GPS 모듈(157) 등의 적어도 하나의 센서를 포함할 수 있다.
GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)으로부터 전파를 수신하고, GPS 위성으로부터 전자 장치(100)까지의 전파 도달 시간(Time of Arrival)을 이용하여 전자 장치(100)의 위치를 산출할 수 있다.
제2 저장부(175)는 제2 제어부(110)의 제어에 따라 제2 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170) 또는 디스플레이 유닛(190)의 동작에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 제2 저장부(175)는 전자 장치(100) 또는 제2 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 제2 저장부(175), 제2 제어부(110) 내 롬(112), 램(113) 또는 전자 장치(100)에 장착되는 메모리 카드(예를 들어, SD 카드, 메모리 스틱) 등의 임의의 데이터 저장 장치를 지칭하는 용어로 사용된다. 제2 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다.
또한, 제2 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 전자 장치(100)를 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다. 제2 저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 제2 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punchcard), 페이퍼 테이프(papertape), 플래시 메모리, 램, 롬, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함할 수 있다.
제2 전원 공급부(180)는 제2 제어부(110)의 제어에 따라 전자 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리에 전력을 공급할 수 있다. 하나 또는 복수의 배터리는 전자 장치(100)에 전력을 공급한다. 또한, 제2 전원 공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다. 또한, 제2 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 전자 장치(100)로 공급할 수도 있다.
그리고, 전자 장치(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 그래픽 인터페이스를 제공하는 적어도 하나의 디스플레이 유닛(190)을 포함할 수 있다.
디스플레이 유닛(190)은 도 4에 도시된 바와 같은 구성을 가지며, 이러한 구성에 추가로 사용자의 신체(예를 들어, 엄지를 포함하는 손가락)와 같은 사용자 입력 수단을 통해 적어도 하나의 사용자 입력을 수신하기 위한 터치 패널을 더 포함할 수 있다.
터치 패널은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, 또는 이들의 조합으로 구현될 수 있다.
제2 제어부(110)는 전자 장치(100)의 전반적인 동작을 제어하며, 제2 제어부(110)는 전자 장치(100) 내 다른 구성 소자들을 제어하여 사용자 입력을 처리한다.
제2 제어부(110)는 전자 펜(200)으로부터 이미지 데이터를 수신한 경우에, 도 8에 도시된 바와 같은 입력 위치 산출 방법을 수행한다. 또한, 제2 제어부(110)는 전자 펜(200)으로부터 입력 좌표를 수신한 경우에, 디스플레이 유닛(190) 상의 입력 좌표에 대응하는 객체를 식별하고, 객체의 선택, 실행 등을 수행한다.
전술한 바와 같이, 디스플레이 유닛(190)은 외부에 표시되는 위치 식별자를 포함하고, 전자 펜(200)은 디스플레이 유닛(190)의 표면을 촬영하고, 촬영된 이미지를 전자 장치(100)로 전송하거나, 촬영된 이미지로부터 입력 위치를 산출한다.
디스플레이 유닛(190) 내의 매트릭스는 전자 펜(200)의 광원에서 발생시킨 광을 흡수 또는 반사하는 물질이나 구조를 포함하여 이루어지며, 전자 펜(200)은 디스플레이 유닛(190)을 촬영하여 매트릭스가 표현된 이미지를 얻는다.
화소들 또는 부화소들에 포함된 복수의 마크 패턴도 매트릭스와 같은 물질 또는 광의 흡수 또는 반사가 일어나는 물질로 이루어지기 때문에 화소들 또는 부화소들에 포함된 복수의 마크 패턴들도 촬영된 이미지에 표현된다. 이러한 마크 패턴들로 이루어진 위치 식별자는 디스플레이 유닛(190)의 단위 입력 영역의 위치와 대응하여 미리 약속되어 있는 혹은 미리 저장되어 있는 패턴이기 때문에, 인식된 패턴을 통해 촬영된 단위 입력 영역의 이미지가 디스플레이 유닛(190)에서 어느 위치에 해당하는지 검출이 가능하게 되는 것이다.
전술한 예에서, 전자 펜은 전자 장치에 통합될 수 있고, 이러한 조합은 장치 또는 시스템이라고 칭할 수 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 전자 펜 또는 전자 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 전자 장치 또는 전자 펜은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 전자 장치 또는 전자 펜이 기설정된 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 전자 장치 또는 전자 펜과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 전자 장치 또는 전자 펜의 요청 또는 자동으로 해당 프로그램을 상기 전자 장치 또는 전자 펜으로 전송하는 제어부를 포함할 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.
200: 전자 펜, 210: 스위치, 220: 전원 공급부, 230: 통신 모듈, 240: 광학계, 250: 저장부, 260: 제어부

Claims (18)

  1. 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법에 있어서,
    사용자 입력에 대응하는 디스플레이 유닛의 표면 일부에 대한 복수의 이미지를 획득하는 과정과;
    상기 복수의 이미지 중의 하나를 선택하는 과정과;
    상기 선택된 이미지로부터 단위 입력 영역을 추출하는 단계와;
    상기 단위 입력 영역 내 위치 식별자를 인식하는 단계와;
    상기 위치 식별자에 근거하여 상기 디스플레이 유닛 상의 상기 사용자 입력의 위치를 결정하는 단계를 포함함을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  2. 제1항에 있어서,
    상기 복수의 이미지는 서로 다른 초점을 가짐을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  3. 제1항에 있어서, 상기 복수의 이미지 중의 하나를 선택하는 과정은,
    상기 복수의 이미지의 각각에 포함된 에지에 대한 콘트라스트 값을 산출하는 과정과;
    상기 복수의 이미지의 콘트라스트 값을 비교하는 과정과;
    최대 콘트라스트 값을 갖는 이미지를 선택하는 과정을 포함함을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  4. 제1항에 있어서,
    상기 위치 식별자는 각각 매트릭스의 라인들로부터 돌출된 마크들로 구성되는 복수의 마크 패턴을 포함함을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  5. 제4항에 있어서,
    상기 복수의 마크 패턴은 복수의 화소에 형성되어 있음을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  6. 제5항에 있어서,
    상기 각 화소는 복수의 부화소들로 구성되며, 상기 각 부화소는 복수의 마크들을 포함함을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  7. 제4항에 있어서,
    상기 매트릭스는 상기 디스플레이 유닛의 화소들을 구분하며 서로 수직으로 교차하는 메인 라인들과 서브 라인들로 구성됨을 특징으로 하는 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 따른 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.
  9. 제8항의 기계로 읽을 수 있는 저장 매체를 포함하는 전자 장치.
  10. 디스플레이 유닛 상의 사용자 입력 위치를 검출하기 위한 전자 펜에 있어서,
    복수의 초점을 갖는 렌즈부와;
    사용자 입력에 대응하는 디스플레이 유닛의 표면 일부에 대하여 상기 렌즈부에 의해 형성된 서로 다른 초점을 갖는 복수의 이미지를 검출하는 이미지 센서부와;
    상기 복수의 이미지를 처리하는 제어부를 포함함을 특징으로 하는 전자 펜.
  11. 제10항에 있어서,
    상기 렌즈부는 서로 다른 초점 거리를 갖는 복수의 렌즈를 포함함을 특징으로 하는 전자 펜.
  12. 제11항에 있어서,
    상기 렌즈부는 f1의 초점 초점 거리를 갖는 제1 렌즈와 f2의 초점 초점 거리를 갖는 제2 렌즈를 포함하고, 0.9<f1/f2<1의 조건을 만족함을 특징으로 하는 전자 펜.
  13. 제12항에 있어서,
    상기 제1 렌즈는 5.4~6.6㎜의 초점거리를 갖고, 상기 제2 렌즈는 5.7~7.1㎜의 초점거리를 가짐을 특징으로 하는 전자 펜.
  14. 제10항에 있어서,
    상기 이미지 센서부는 상기 렌즈부에 의해 형성된 서로 다른 초점을 갖는 복수의 이미지를 각각 검출하는 복수의 이미지 센서를 포함함을 특징으로 하는 전자 펜.
  15. 제10항에 있어서,
    상기 이미지 센서부에 입사하여 상기 복수의 이미지를 형성하는 복수의 광 각각의 빔 폭을 제한하기 위한 조리개를 더 포함함을 특징으로 하는 전자 펜.
  16. 제10항에 있어서,
    상기 이미지 센서부에 입사하여 상기 복수의 이미지를 형성하는 복수의 광이 분리되어 상기 이미지 센서부에 입사하도록 하기 위한 광차단부를 더 포함함을 특징으로 하는 전자 펜.
  17. 제10항에 있어서,
    상기 이미지 센서부에 입사하여 상기 복수의 이미지를 형성하는 복수의 광 각각을 필터링하는 필터부를 더 포함함을 특징으로 하는 전자 펜.
  18. 제10항에 있어서,
    무선 통신을 위한 통신 모듈을 더 포함하고,
    상기 제어부는 상기 통신 모듈을 통해 상기 복수의 이미지에 대한 정보를 전자 장치로 전송함을 특징으로 하는 전자 펜.
KR1020130051071A 2013-05-07 2013-05-07 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체 KR20140132065A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130051071A KR20140132065A (ko) 2013-05-07 2013-05-07 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130051071A KR20140132065A (ko) 2013-05-07 2013-05-07 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체

Publications (1)

Publication Number Publication Date
KR20140132065A true KR20140132065A (ko) 2014-11-17

Family

ID=52453191

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051071A KR20140132065A (ko) 2013-05-07 2013-05-07 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체

Country Status (1)

Country Link
KR (1) KR20140132065A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020091320A1 (ko) * 2018-11-02 2020-05-07 주식회사 네오랩컨버전스 전자펜
KR20200058256A (ko) * 2018-11-19 2020-05-27 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020091320A1 (ko) * 2018-11-02 2020-05-07 주식회사 네오랩컨버전스 전자펜
KR20200050829A (ko) * 2018-11-02 2020-05-12 주식회사 네오랩컨버전스 전자펜
KR20200058256A (ko) * 2018-11-19 2020-05-27 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜
WO2020105880A1 (ko) * 2018-11-19 2020-05-28 주식회사 네오랩컨버전스 이미지 센서를 이용하여 전자펜의 기울기를 획득하는 방법, 그 장치 및 전자펜

Similar Documents

Publication Publication Date Title
US20210181536A1 (en) Eyewear device with finger activated touch sensor
US11516381B2 (en) Display device and operating method thereof with adjustments related to an image display according to bending motion of the display device
KR101784523B1 (ko) 터치형 휴대용 단말기
US9507428B2 (en) Electronic device, control method, and control program
KR20140142337A (ko) 증강 현실 광 가이드 디스플레이
US20100039401A1 (en) Electronic device and method for viewing displayable medias
US10331229B2 (en) Mobile terminal and method for controlling the same
US20140132725A1 (en) Electronic device and method for determining depth of 3d object image in a 3d environment image
CN112150560B (zh) 确定消失点的方法、装置及计算机存储介质
US11209914B1 (en) Method and apparatus for detecting orientation of electronic device, and storage medium
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN108317992A (zh) 一种物距测量方法及终端设备
CN104221149A (zh) 摄像元件以及摄像装置
US11281320B2 (en) Electronic device and method for controlling the same
US11350025B2 (en) Optical device and mobile terminal comprising same
KR20140132065A (ko) 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 전자 장치와 저장 매체
US20190364195A1 (en) Mobile terminal and control method thereof
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
KR102136739B1 (ko) 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치
JP2017032870A (ja) 画像投影装置及び画像表示システム
KR20140139374A (ko) 디스플레이 유닛 상의 입력 위치를 검출하는 방법 및 장치
KR20160086125A (ko) 투명 디스플레이를 구비한 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
KR20140089168A (ko) 디스플레이 유닛 상의 사용자 입력 위치를 검출하는 방법 및 장치와 저장 매체
CN217508882U (zh) 摄像装置及移动终端
US20240129617A1 (en) Image capture eyewear with context-based sending

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination