KR20200088628A - 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템 - Google Patents

접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템 Download PDF

Info

Publication number
KR20200088628A
KR20200088628A KR1020190005148A KR20190005148A KR20200088628A KR 20200088628 A KR20200088628 A KR 20200088628A KR 1020190005148 A KR1020190005148 A KR 1020190005148A KR 20190005148 A KR20190005148 A KR 20190005148A KR 20200088628 A KR20200088628 A KR 20200088628A
Authority
KR
South Korea
Prior art keywords
contact
contact sound
sound
unit
screen
Prior art date
Application number
KR1020190005148A
Other languages
English (en)
Other versions
KR102156539B1 (ko
Inventor
임성민
임성수
임화영
Original Assignee
임성민
임화영
임성수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임성민, 임화영, 임성수 filed Critical 임성민
Priority to KR1020190005148A priority Critical patent/KR102156539B1/ko
Publication of KR20200088628A publication Critical patent/KR20200088628A/ko
Application granted granted Critical
Publication of KR102156539B1 publication Critical patent/KR102156539B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 일 실시 예는 교육장소에서 설명자가 기본 자료를 빔 프로젝터를 통해 일반 스크린에 투사하고, 그 화면 위에 판서하기 위한 펜마우스를 제공한다. 본 발명의 실시 예에 따른 접촉음 센싱 펜마우스는, 하우징; 상기 하우징의 일단에 결합되어, 빔 프로젝터로 방사된 스크린에 판서 시 발생하는 접촉음이 입력되는 촉부; 상기 하우징의 일단에서 상기 촉부의 말단을 둘러싸는 형상으로, 접촉음 이외의 소리를 차단하는 잡음 전도 차단부; 상기 촉부와 상기 잡음 전도 차단부를 거쳐 입력된 음향으로부터 접촉음을 판단하는 센서부; 상기 센서부를 통해 센싱된 접촉음 신호 및 접촉 여부 신호를 외부 네크워크로 전송하는 통신부; 및 상기 촉부의 센싱감도를 조절하는 센싱감도 조절부;를 포함한다.

Description

접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템{TOUCH SOUND SENSING PEN-MOUSE AND LECTURE SYSTEM WITH USING IT}
본 발명은 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템에 관한 것으로, 더욱 상세하게는, 교육장소에서 사용자가 자료를 빔 프로젝터를 통해 일반 스크린에 투사하고, 그 화면 위에 판서 시 발생한 접촉음의 센싱 신호와 판서위치 이미지 신호를 컴퓨터에 전달하며, 이 신호들의 처리를 통해 판서 흔적도 빔 프로젝터를 거쳐 스크린에 투사되고, 더 나아가 교육 대상자들의 집중도와 흥미도를 높이기 위한 마우스 이벤트를 구현할 수 있는 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템에 관한 것이다.
교육현장에서 사용되는 펜마우스에 있어서, 현재 통상적으로 사용되는 펜마우스는, 기존 무선 마우스를 펜 모양으로 개조하여 왼편 버튼을 펜촉으로 하고 이 펜촉을 눌러 클릭시킨다. 이는 기존 마우스의 기능뿐이며 스크린 위에 직접 판서는 불가능하다.
또한 스크린 위에서 펜촉이 눌릴 때, 적외선 등이 켜지도록 하여 적외선 이미지로 펜촉 위치 추적을 하는 경우는, 전지 소모가 많고 추적 거리의 한계가 있다.
펜마우스에 다양한 센서들을 내장하여 펜촉 위치를 추정하는 경우(대한민국 등록특허 제 10-1796925호)가 있으나, 복잡한 구성과 추정오차의 누적 문제가 있다.
전자칠판의 경우에는, 센서가 내장된 별도의 모니터 장치를 사용하여 터치 기능을 구현한다. 이러한 경우, 스크린의 크기 제한과 조명 밝기의 제약도 있으며, 고비용이 요구될 수도 있다.
영상에 의한 필기구 추적과 손 동작 및 모양의 판별의 경우에는, 많은 사례가 알려지고 다양한 소프트웨어 프로그램이 공개 되고 있다.
대한민국 등록특허 제 10-1796925호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 펜마우스의 촉부가 판서면(화면)의 접촉상태 여부를 접촉음으로 센싱해서 무선 마우스의 클릭 이벤트를 생성하는 기능과, 웹캠 이미지로부터 판서자의 모션과 촉부 위치를 추적하여, 고가의 전자칠판이 아닌 일반 스크린에도 판서가 가능하도록 구현하는 것이다.
또한, 기본적인 판서 기능 외에도 직감적인 다양한 인공지능형 마우스 동작 기능을 구현하여, 교육의 편의성과 몰입도를 향상시키는 것이다.
또한, 주로 교육용으로 설치된 빔 프로젝터를 활용하면서, 최소의 비용으로 작은 장치를 추가하여 전자칠판과 같은 기능으로 향상 시키는 것이다.
또한, 빔 프로젝터에 의한 방사 면적의 크기 제한이 없고, 조명 밝기의 제약을 받지 않으므로 쾌적한 환경을 유지하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 하우징; 상기 하우징의 일단에 결합되어, 빔 프로젝터로 방사된 스크린에 판서 시 발생하는 접촉음이 입력되는 촉부; 상기 하우징의 일단에서 상기 촉부의 말단을 둘러싸는 형상으로, 접촉음 이외의 소리를 차단하는 잡음 전도 차단부; 상기 촉부와 상기 잡음 전도 차단부를 거쳐 입력된 음향을 필터링하여, 접촉음 및 접촉 여부를 센싱하는 센서부; 상기 센서부를 통해 센싱된 접촉음 신호 및 접촉 여부 신호를 외부 네크워크로 전송하는 통신부; 및 상기 촉부의 센싱감도를 조절하는 센싱감도 조절부;를 포함하는 것을 특징으로 하는 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템을 포함한다.
본 발명의 실시 예에 있어서, 상기 촉부는, 상기 하우징이 스크린 표면에 접촉 시에 발생하는 접촉음을 상기 센서부로 전달할 수 있다.
본 발명의 실시 예에 있어서, 상기 촉부는, 마이크 기능을 가지며, 매질을 통해 전도되는 음향으로 접촉 여부를 검출할 수 있다.
본 발명의 실시 예에 있어서, 상기 잡음 전도 차단부는, 촉부에 유입되는 접촉음 이외의 소리를 차단할 수 있다.
본 발명의 실시 예에 있어서, 상기 잡음 전도 차단부는, 고무, 실리콘 및 합성수지로 이루어진 군에서 선택되는 하나 이상의 소재로 형성될 수 있다.
본 발명의 실시 예에 있어서, 상기 센서부는, 촉부로 들어온 접촉음과 상기 잡음 전도 차단부를 거쳐 들어와 혼재된 잡음으로부터 접촉음 존재를 센싱할 수 있다.
본 발명의 실시 예에 있어서, 상기 통신부는, 센싱된 접촉음 검출 신호를 외부 네크워크로 전송할 수 있다.
본 발명의 실시 예에 있어서, 상기 센싱감도 조절부는, 상기 촉부의 센싱감도를 조절할 수 있다.
본 발명의 실시 예에 있어서, 상기 하우징은, 상기 하우징 중앙 하단에 결합되며, 스크린에 고정시킬 수 있는 고정부;를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 접촉음 센싱 펜마우스는, 상기 하우징의 내부에 형성 되어 있는 배터리부; 상기 하우징의 후방 끝단에 위치하며, 상기 배터리부와 연결되어, 상기 배터리부를 충전할 수 있는 유에스비 충전단자부; 및 상기 하우징의 후방 하단에 위치하는 전원 스위치부;를 더 포함할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, ⅰ) 판서 면에 판서 시 발생하는 접촉음이 입력되는 단계; ⅱ) 또는 매질을 통해 전도되는 음향으로 접촉음이 입력되는 단계; ⅲ) 상기 센서부를 통하여, 상기 접촉음 유무를 판별하는 단계; 및 ⅳ) 상기 통신부를 통하여, 접촉음 센싱 신호를, 상기 외부 네크워크로 전달하는 통신단계;를 포함한다.
본 발명의 실시 예에 있어서, 접촉음은, 촉부가 스크린에 접촉할 때의 음의 크기 및 주파수 영역을 포함할 수 있다.
본 발명의 실시 예에 있어서, 접촉음은, 촉부가 스크린에 고정되고 펜마우스 외 손가락 등이 스크린과 접촉할 때 매질을 통해 전달되는 음의 크기 및 주파수 영역을 포함할 수 있다.
본 발명의 실시 예에 있어서, 센서부는, 촉부로 들어오는 직접적 접촉음 또는 매질을 통해 전달되어 들어오는 접촉음을 혼재된 잡음으로부터 판별하는 기능을 수행할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 사용자의 손 동작과 모양을 촬영하는 촬상부; 상기 통신부로부터 접촉음 여부를 전달받는 상기 외부 통신부; 상기 외부통신부로 전달된 접촉음 센싱 신호를 인식하여, 효과 이벤트로 스크린에서 구현되도록 실행하는 프로세서부;를 포함한다.
본 발명의 실시 예에 있어서, 상기 촬상부는, 별도로 마련되어 컴퓨터에 연결된 웹캠인 것을 특징으로 할 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 상기 촬상부로부터 전달받은 이미지 정보를 분석하여, 상기 촉부가 접촉하는 스크린 상의 판서 위치를 추적하고, 상기 판서 위치와, 상기 빔 프로젝터를 통해 스크린상에 구현되는 커서 위치를 매칭시킬 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 접촉음 신호가 존재할 경우, 판서의 내용을 빔 프로젝트를 통해 스크린에 표시할 수 있다.
본 발명의 실시 예에 있어서, 상기 프로세서부는, 상기 촬상부를 통해 받은 이미지 정보를 분석하고, 사용자의 손 동작과 모양을 판별하여, 여러가지 효과 이벤트를 실행할 수 있다.
상기와 같은 구성에 따른 본 발명의 효과는, 주로 교육용으로 설치된 빔 프로젝터를 활용하면서, 최소의 비용으로 작은 장치를 추가하여 터치 스크린을 사용한 전자칠판과 같은 기능으로 향상 시킬 수 있다.
그리고, 본 발명의 효과는, 인공지능형 마우스 동작을 구현하여 직감적이고 일목요연하게 진행시켜 교육의 집중도를 높일 수 있다.
또한, 스크린의 크기 제한이 없으며, 조명 밝기의 제약을 받지 않으므로 쾌적한 강의 환경을 유지할 수 있다.
또한, 판서하는 펜의 위치를 촬영하여, 실제 화면상의 위치와 매칭하므로, 펜의 속도, 가속도 및 각 가속도 등의 센싱 노이즈가 발생하지 않아, 이의 축적에 따른 오차의 영향을 받지 않는 장점이 있을 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 접촉음 센싱 펜마우스에 대한 단면도이다.
도 2는 본 발명의 일 실시 예에 따른 접촉음 센싱 회로도이다.
도 3은 본 발명의 일 실시 예에 따른 접촉음 센싱 펜마우스와 접촉음 센싱 방법을 이용한 강의 시스템의 작동 순서도이다.
도 4는 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 컴퓨터를 이용한 강의 시스템의 실시상태도이다.
도 5는 본 발명의 일 실시 에 따른 매질의 전도에 의한 접촉음 센싱 펜마우스와 컴퓨터를 이용한 강의 시스템의 실시상태도이다.
도 6은 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 마이크로 프로세서를 이용한 강의 시스템의 실시상태도이다.
도 7은 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 휴대용 단말기를 이용한 강의 시스템의 실시상태도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
먼저, 본 발명의 접촉음 센싱 펜마우스에 대해 설명하기로 한다.
본 발명에서 사용되는 접촉음 센싱 펜마우스는, 빔 프로젝터(1100)가 투사되는 스크린 상에 판서 시 발생한 접촉음 신호와, 판서위치에 대한 이미지 신호를 종합하여 스크린(1200) 상에 판서 결과가 표시되도록 하는 특징이 있다. 이때의 접촉음이란, 촉부(110)가 스크린(1200)에 접촉하거나 매질을 통해 촉부(110)로 전도될 때의 음의 크기 및 주파수 영역을 포함할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 접촉음 센싱 펜마우스에 대한 단면도이다.
도1에서 보는 바와 같이, 본 발명의 접촉음 센싱 펜마우스는, 하우징(100); 하우징(100)의 일단에 결합되어, 스크린(1200)에 판서 시 발생하는 접촉음이 입력되는 촉부(110); 하우징(100)의 일단에서 촉부(110)의 말단을 둘러싸는 형상으로, 접촉음 이외의 소리를 차단하는 잡음 전도 차단부(120); 잡음 전도 차단부(120)와 촉부(110)를 거쳐 들어온 음향을 대상으로 접촉 여부를 센싱하는 센서부(200); 센서부(200)를 통해 센싱된 신호를 외부 네크워크(700)로 전송하는 통신부(300); 및 촉부의 센싱감도를 조절하는 센싱감도 조절부(400);를 포함한다.
하우징(100)은 플라스틱 소재로 형성될 수 있다. 또한, 메탈, 알루미늄 알로이, 세라믹 및 ABS수지로 이루어진 군에서 선택되는 하나 이상의 소재로 형성될 수 있다. 또한, 휴대용 클립부를 하우징(100) 후방 상단에 구비하여, 접촉음 센싱 펜마우스를 셔츠, 포켓, 또는 파일 폴더 등에 고정시킬 수 있다. 이를 통해 휴대성을 높이고 분실방지 및 간편소지의 장점을 가질 수 있다. 또한, 휴대용 클립부는 하우징(100)과 동일한 소재로 형성될 수 있다.
촉부(110)는, 마이크를 포함할 수 있으며, 매질을 통해 전도되는 음향으로 접촉 여부를 검출할 수 있다. 또한 판서면에 접촉을 하여 마찰을 일으키므로 내구성이 필요하다. 이를 위해 마이크를 내장하는 촉부(110)의 외장은 하우징(100)과 동일한 소재를 사용할 수 있다.
여기서 마이크는, 음향 에너지를 전기 에너지로 바꾸기 위해 사용되는 전기 음향 변환기로서, 마이크로폰(microphone)의 줄임 말을 뜻한다. 보다 상세하게는, 동작 원리에 따라 다이내믹(dynamic) 타입 또는 콘덴서(condenser) 타입일 수 있다. 다이내믹 타입은 진동판 뒤에 보이스 코일이 부착되어 있으며 그 주위를 영구 자석이 감싸는 구조이고, 콘덴서 타입은 두 장의 평행한 금속판에 직류 전압을 공급하면 두 전극 사이에 전하가 저장되는 원리로, 한 쪽 전극을 진동판으로 사용하여 두 전극 사이에 변화를 주어 마이크에 전달된 소리를 오디오 신호로 변환하며, 이는 종래기술을 활용한 것일 수 있다.
잡음 전도 차단부(120)는, 고무, 실리콘 및 합성수지로 이루어진 군에서 선택되는 하나 이상의 소프트한 소재로 형성될 수 있으며, 잡음 전도 차단의 기능을 수행할 수 있다.
센서부(200)는, 잡음 전도 차단부(120)와 촉부(110)를 거쳐 들어온 음향으로부터 접촉 여부를 센싱할 수 있다.
통신부(300)는, 센싱한 접촉 유무를 무선 네크워크(700)로 전송하기 위한 것으로서, 적외선 방식, RF방식 및 블루투스 방식으로 이루어진 군에서 선택되는 하나 이상의 방식을 사용할 수 있으며, 외부 네트워크(700)의 방식 또한 동일할 수 있다.
고정부(500)는, 하우징(100) 중앙 하단에 결합될 수 있으며, 접촉음 센싱 펜마우스를 스크린(1200)에 고정시키도록 자석 소재로 형성될 수 있다. 또한, 스크린(1200)의 소재에 따라 접착성을 갖는 고무 소재로 형성될 수도 있다.
배터리부(600)는 하우징(100)의 내부에 형성될 수 있으며, 일반적으로 재사용이 불가능한 1차 전지보다 경제적이고 환경 친화적인, 충전이 가능한 2차 전지로 형성될 수 있다. 2차 전지 중에서는 메모리 효과가 없는 리튬 이온 전지로 형성될 수 있다. 또한, 리튬 이온 전지보다도 얇고 작게 만들 수 있으며 안정성이 높은, 전지 내부를 특수 폴리머로 둘러싼, 리튬 폴리머 전지로 형성될 수 있다.
유에스비 충전단자부(610)는, 하우징(100)의 후방 끝단에 위치할 수 있으며, 배터리부(600)와 연결되어, 배터리부(600)를 충전할 수 있고, 유에스비 2.0, 미니 타입 B 잭, 마이크로타입 B 잭 및 타입 B 잭으로 이루어진 군에서 선택되는 하나 이상의 타입으로 사용할 수 있다.
전원 스위치부(620)는 하우징(100)의 후방 하단에 위치할 수 있으며, 본 발명을 작동시키기 위한 전원 온/오프 기능을 할 수 있다.
빔 프로젝터(1100)는, 영상을 투영하기 위한 장치로, CRT, LCD, DLP, 및 레이저 프로젝터로 이루어진 군에서 선택되는 하나 이상의 장치로 할 수 있으며, 이는 이미 출시된 시중 제품을 활용한 것일 수 있다.
스크린(1200)은, 영사막(映寫幕) 또는 프로젝션 스크린(projection screen)을 의미할 수 있으며, 영화나 환등 따위를 투영하기 위한 백색 또는 은색의 막을 의미할 수 있다. 또한, 칠판 또는 화이트 보드일 수 있으며, 이는 이미 출시된 시중 제품을 활용한 것일 수 있다.
이하, 본 발명의 접촉음 센싱 펜마우스를 이용한 접촉음 센싱 방법에 대해 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 접촉음 센싱 회로도이고, 도 3은 본 발명의 일 실시 예에 따른 접촉음 센싱 방법의 순서도이다.
판서 면에 판서 시 발생하는 접촉음이 촉부(110)에 입력될 수 있다. 또한, 매질을 통해 전도되는 음향으로 접촉음이 촉부(110)에 입력될 수 있다.
입력된 음향 신호는 센서부(200)를 통하여, 접촉음을 유무를 센싱할 수 있다.
센싱된 접촉음 유무 신호는 통신부(300)에서 외부 네트워크(700)를 통해 무선으로 외부 통신부(800)로 전달될 수 있다.
무선을 통해 외부 통신부(800)로 수신된 신호를 프로세서부(1000)에 전달하는 단계;를 포함할 수 있다.
여기서 프로세서부(1000)는, 기존 출시된 전자 판서 소프트웨어를 포함할 수 있으며, 이는 종래기술을 활용한 것일 수 있다.
도3에서 보는 바와 같이, 단계 S201에서, 판서 면에 판서 시 발생하는 접촉음이 촉부(110)를 통해 입력될 수 있다.
단계 S202에서, 촉부(110)로 입력된 음향 또는 매질을 통해 전도되는 음향으로부터 센서부(200)에서 접촉여부를 판단할 수 있다.
단계 S203에서, 통신부(300)를 통하여, 접촉음 판별 결과를 외부 네크워크(800)로 전달할 수 있다.
이하, 본 발명의 접촉음 센싱 펜마우스를 이용한 강의 시스템에 대해 설명하기로 한다.
도 3는 본 발명의 일 실시 예에 따른 접촉음 센싱 펜마우스를 이용한 강의 시스템의 작동 순서도이다.
도 3에서 보는 바와 같이, 본 발명의 접촉음 센싱 펜마우스를 이용한 강의 시스템은, 사용자의 손 동작과 모양을 촬영하는 촬상부(900); 통신부(300)로부터 접촉음 여부 신호를 전달받는 외부 통신부(800); 외부 통신부(800)로 전달된 접촉음 유무를 이용하여, 효과 이벤트 생성여부를 정하고, 효과 이벤트를 외부에 나타내도록 실행하는 프로세서부(1000);를 포함한다.
촬상부(900)는, 별도로 마련되어 컴퓨터에 연결된 웹캠인 것을 더 포함할 수 있다.
여기서, 웹캠이라 함은 Web과 Camera의 합성어로, 주로 PC와 연결하여 화상 데이터를 네트워크 상에 스트리밍할 목적으로 개발된 카메라를 말할 수 있다. 또한, PC기능을 수행할 수 있는 마이크로 프로세서(910)를 포함할 수 있다. 또한, USB단자를 통해 연결할 수 있으며, 이는 이미 출시된 시중 제품을 활용한 것일 수 있다.
프로세서부(1000)는, 촬상부(900)로부터 전달받은 이미지 정보를 기초로, 판서 인식 영역을 결정할 수 있다.
여기서 판서 인식 영역이란, 촬상부(900)가 커버할 수 있는 스크린(1200)의 영역을 포함할 수 있다.
프로세서부(1000)는, 촬상부(900)로부터 전달받은 이미지 정보를 분석하여, 촉부(110)가 접촉하는 스크린(1200) 상의 판서 위치를 추적하고, 판서 위치와 빔 프로젝터(1100)를 통해 스크린(1200) 상에 구현되는 커서 위치를 매칭시킬 수 있다.
여기서 이미지 정보는, 사용자의 손 동작 및 모양의 변형을 포함할 수 있으며, 스크린(1200)에 접촉된 촉부(110)의 위치를 포함할 수 있다.
프로세서부(1000)는, 촬상부(900)로부터 전달받은 이미지 정보를 분석하고, 사용자의 손 동작과 모양을 판별하여, 효과 이벤트를 실행할 수 있다.
여기서 효과 이벤트란, 이미지 정보를 매칭하여 사용자의 손 동작 및 모양을 판별하고, 마우스의 왼쪽 버튼, 혹은 오른쪽 버튼, 또는 페이지를 넘기는 기능을 포함할 수 있다.
또한, 수신호에 따라 마우스 및 키보드 기능을 구현할 수 있다.
또한, 사용자가 주먹을 쥐고 화면을 두드리면 마우스 오른쪽 버튼이 클릭되어 팝업 창이 뜨고, 손가락으로 눌러 선택하면 마우스 왼편 버튼이 클릭으로 선택되며, 밑줄 긋거나 글씨를 쓰면 마우스 왼편 버튼 클릭으로 실행되고, 손바닥으로 스크린(1200)을 쓸어 올리면 다음 페이지로 넘어갈 수 있는 기능을 포함할 수 있다.
또한, 스크린(1200) 상에 표시되는 마우스 커서 및 글자 폰트 등의 확대, 축소 및 변형을 포함할 수 있다. 단, 반드시 이에 한정되는 것은 아니다.
도 3에서 보는 바와 같이,
단계 S101에서, 촬상부(900)를 통해 이미지 정보를 생성할 수 있다.
단계 S102에서, 사용자의 손 동작과 모양을 판별할 수 있다.
단계 S103에서, 효과 이벤트 선정을 수행할 수 있다.
단계 S104에서, 통신부(300)로부터 외부 통신부(800)로 들어온 접촉음 정보를 이용하여, 효과 이벤트 생성을 수행할 수 있다.
단계 S105에서, 프로세서부(1000)는 마우스 효과 이벤트를 생성할 수 있다.
단계 S111에서, 프로세서부(1000)는, 촬상부(900)를 이용하여 촉부(110)가 접촉하는 스크린(1200) 상의 판서 위치 추적을 수행할 수 있다.
단계 S112에서, 프로세서부(1000)는, 촬상부(900)로부터 전달받은 이미지 정보를 분석하여, 촉부(110)가 접촉하는 스크린(1200) 상의 판서 위치와, 빔 프로젝터(1100)를 통해 스크린(1200) 상에 구현되는 커서 위치를 매칭시킬 수 있다.
단계 S113에서, 프로세서부(1000)를 통해 스크린(1200)에 커서를 표시할 수 있다.
도 4는 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 컴퓨터를 이용한 강의 시스템의 실시상태도이다.
도 4에서 보는 바와 같이, 접촉음 센싱 펜마우스가 스크린(1200) 접촉 여부를 검출하여 프로세서부(1000)에 신호를 보낼 수 있다.
프로세서부(1000)는, 빔 프로젝트를 통해 일반 스크린(1200)에 화면을 보내고, 화면상에 있는 촉부의 위치를 촬상부(900)를 통해 입력 받아, 커서의 위치를 매칭시킬 수 있다. 접촉음 센싱 펜마우스로부터 접촉상태라는 이벤트 신호를 받으면, 미리 선택한 판서조건에 따라, 스크린(1200) 화면상의 촉부 위치에 쓰여 지도록, 프로세서부(1000)를 통해 처리할 수 있다.
여기서 판서조건이란, 펜, 형광 펜, 잉크 색, 및 선 굵기로 이루어진 군에서 선택되는 하나 이상의 컨디션으로 선택할 수 있다.
도 5는 본 발명의 일 실시 에 따른 매질의 전도에 의한 접촉음 센싱 펜마우스와 컴퓨터를 이용한 강의 시스템의 실시상태도이다.
도 5에서 보는 바와 같이, 사용자의 손, 손가락, 주먹, 및 기타 물체가 스크린(1200) 접촉 시, 스크린(1200) 접촉음이 매질의 전도로 접촉음 센싱 펜마우스(스크린(1200) 가장자리 등에 부착)에 전달 되어, 이벤트 발생을 통신할 수 있다. 동작 원리는 도 4와 같으며, 두 손을 자유롭게 활용할 수 있는 장점이 있을 수 있다.
본 발명의 실시 예에서는, 촉부(110)가 스크린(1200) 표면에 접촉 시 발생하는 접촉음을 센싱한다고 설명하고 있으나, 반드시 이에 한정되는 것은 아니고, 촉부(110)를 스크린(1200) 표면에 밀착 고정 시켜 놓고, 다른 막대나 손가락으로 스크린(1200) 표면에 판서 작업을 해도 매질의 소리 전도로 접촉음을 센싱할 수 있다. 이렇게 촉부(110)가 일반 스크린(1200) 표면에 접촉된 조건에서, 촬상부(900)로부터 사용자의 손 동작, 모양 및 하우징(100)의 위치를 추적하여 효과 이벤트를 프로세서부(1000)로 구현할 수 있다. 필기구가 표면에 접촉된 조건에서만 효과 이벤트를 발생시키기 위해 접촉 음을 감지하려는 것이며, 영상에 의한 추적과 손 모양의 판별은 많은 사례로 알려진 다양한 소프트웨어 프로그램을 사용할 수 있다.
도 6은 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 마이크로 프로세서를 이용한 강의 시스템의 실시상태도이다.
도 6에서 보는 바와 같이, 마이크로 프로세서(910)를 포함한 촬상부(900)가, 도 4의 프로세서부(1000) 기능을 수행하고, 접촉음 센싱 펜마우스의 동작 신호를 프로세서부(1000)에 보낼 수 있다.
촬상부(900)의 마이크로 프로세서(910)는, 촉부의 위치를 추정하고, 접촉음 센싱 펜마우스로부터 접촉상태라는 이벤트 신호를 받으면, 미리 선택한 판서조건에 따라, 스크린(1200) 화면상의 촉부 위치와, 프로세서부(1000)에 표시되는 커서 위치를 매칭시키기 위해, 프로세서부(1000)에 동작 신호를 전송할 수 있다.
도 7은 본 발명의 일 실시 에 따른 접촉음 센싱 펜마우스와 휴대용 단말기를 이용한 강의 시스템의 실시상태도이다.
도 7에서 보는 바와 같이, 휴대용 단말기(1300)는, 카메라와 마이크로 프로세서를 장착하고 무선 통신 기능을 가질 수 있어, 접촉음 센싱 펜마우스로부터 신호를 받아, 이벤트를 처리하고 빔 프로젝터(1100)와 연결을 통해, 동일한 기능을 구현할 수 있다.
여기서 휴대용 단말기(1300)는, PDA, 스마트폰 및 태플릿 PC로 이루어진 군에서 선택되는 하나 이상의 장치를 의미할 수 있으며, 이는 이미 출시된 시중 제품을 활용한 것일 수 있다. 또한 무선 통신 기능은, 와이파이 또는 기타 무선통신수단을 이용하여 IoT(사물 인터넷)콘셉트로 접근할 수 있다.
본 발명은 교육 현장에서 설명자가 일반 스크린(1200) 상에 판서하듯이 표시를 하거나 글을 쓰는 등 특수 목적에 사용하려는 펜마우스이다. 무선마우스를 펜 모양으로 개조하여 스크린(1200) 상에 글을 쓰기에 편리한 구조로 형성될 수 있다.
스크린(1200) 표면에 접촉하는 촉부(110)는 마이크 기능을 갖도록 하여 표면과의 접촉, 마찰 등으로 발생하는 소리가 입력될 수 있다. 촉부(110)가 눌릴 때 감압센서를 이용하여, 판서 내용을 화면에 표시하는 기존의 마우스 펜 제품은 있지만, 본 발명은 접촉음을 마이크로 센싱하여 동작한다는 점에서 차별성을 가질 수 있다.
촉부(110)에 입력되는 음향은 외부 공간에 존재하는 소음과 손의 움직임에 의한 잡음이 포함될 것이므로, 이들을 배제할 목적으로 촉부(110)의 표면을 밀폐시켜 공기의 소리 전도를 막고, 잡음 전도 차단부(120)를 두어 잡음을 제거할 수 있다.
스크린(1200) 표면의 접촉음을 입력 받아 센서부(200)에서 필터링으로 접촉음 여부를 검출한 후, 통신부(300)를 통하여 프로세서부(1000)에 전달하며, 이것이 본 발명의 핵심적인 역할일 수 있다.
컴퓨터에 별도의 외부 마이크로 프로세서(910)를 마련하여, 촉부(110)가 접촉하는 스크린(1200) 상의 판서 위치를 촬상부(900)의 이미지를 통해 추적하여, 스크린(1200) 상에 구현되는 커서를 이동시키며, 사용자의 손 동작 및 모양을 판별하여 효과 이벤트를 실행하는데 활용할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 하우징
110 : 촉부
120 : 잡음 전도 차단부
200 : 센서부
300 : 통신부
400 : 센싱감도 조절부
500 : 고정부
600 : 배터리부
610 : 유에스비 충전단자부
620 : 전원 스위치부
700 : 외부 네크워크
800 : 외부 통신부
900 : 촬상부
910 : 마이크로 프로세서
1000 : 프로세서부
1100 : 빔 프로젝터
1200 : 스크린
1300 : 휴대용 단말기

Claims (6)

  1. 하우징;
    상기 하우징의 일단에 결합되어, 빔 프로젝터로 방사된 스크린에 판서 시 발생하는 접촉음이 입력되는 촉부;
    상기 하우징의 일단에서 상기 촉부의 말단을 둘러싸는 형상으로, 접촉음 이외의 소리를 차단하는 잡음 전도 차단부;
    상기 촉부와 상기 잡음 전도 차단부를 거쳐 입력된 음향을 필터링하여, 접촉음 및 접촉 여부를 센싱하는 센서부;
    상기 센서부를 통해 센싱된 접촉음 신호 및 접촉 여부 신호를 외부 네크워크로 전송하는 통신부; 및
    상기 촉부의 센싱감도를 조절하는 센싱감도 조절부;를 포함하는 것을 특징으로 하는 접촉음 센싱 펜마우스.
  2. 청구항 1에 있어서,
    상기 촉부는, 마이크를 포함하며, 직접적인 접촉이나 매질을 통해 전도되는 음향을 입력 받는 것을 특징으로 하는 접촉음 센싱 펜마우스.
  3. 청구항 1의 접촉음 센싱 펜마우스를 이용한 접촉음 센싱 방법에 있어서,
    ⅰ) 판서 면에 판서 시 발생하는 접촉음이 입력되는 단계;
    ⅱ) 매질을 통해 전도되는 음향으로 접촉음이 입력되는 단계; 및
    ⅲ) 접촉음 신호를 프로세서부에 전송하여 주파수, 음의 크기, 음의 페턴 등으로 검출하는 단계;를 포함하는 것을 특징으로 하는 접촉음 센싱 펜마우스를 이용한 접촉음 센싱 방법.
  4. 청구항 1의 접촉음 센싱 펜마우스를 이용한 강의 시스템에 있어서,
    별도로 마련되어 컴퓨터에 연결된 웹캠인 것을 특징으로 하는 촬상부;
    상기 통신부로부터 접촉음 신호를 수신받는 상기 외부 통신부; 및
    수신된 접촉음 신호를 컴퓨터 상에서 인식하여, 효과 이벤트로 외부에 나타내도록 실행하는 프로세서부;를 포함하는 것을 특징으로 하는 접촉음 센싱 펜마우스를 이용한 강의 시스템.
  5. 청구항 4에 있어서,
    상기 프로세서부는, 상기 촬상부로부터 수신한 이미지 정보를 분석하여, 상기 촉부가 접촉하는 스크린 상의 판서 위치를 추적하고, 판서 위치와 스크린 상에 구현되는 커서 위치를 매칭시키는 것을 특징으로 하는 접촉음 센싱 펜마우스를 이용한 강의 시스템.
  6. 청구항 4에 있어서,
    상기 프로세서부는, 상기 촬상부로부터 수신한 이미지 정보를 분석하여, 사용자의 손 동작과 모양을 판별하고, 효과 이벤트를 실행하는 것을 특징으로 하는 접촉음 센싱 펜마우스를 이용한 강의 시스템.
KR1020190005148A 2019-01-15 2019-01-15 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템 KR102156539B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190005148A KR102156539B1 (ko) 2019-01-15 2019-01-15 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005148A KR102156539B1 (ko) 2019-01-15 2019-01-15 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템

Publications (2)

Publication Number Publication Date
KR20200088628A true KR20200088628A (ko) 2020-07-23
KR102156539B1 KR102156539B1 (ko) 2020-09-16

Family

ID=71894376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005148A KR102156539B1 (ko) 2019-01-15 2019-01-15 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템

Country Status (1)

Country Link
KR (1) KR102156539B1 (ko)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100081406A (ko) * 2009-01-06 2010-07-15 엘지전자 주식회사 이동 단말기 및 그 명령 입력방법
KR20120045272A (ko) * 2010-10-29 2012-05-09 (주)더게이트테크놀러지스 터치펜 및 그를 이용한 터치 스크린 장치
KR20120100351A (ko) * 2011-03-04 2012-09-12 한국과학기술원 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
KR20120135184A (ko) * 2010-01-06 2012-12-12 주식회사 셀루온 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
KR20140000436A (ko) * 2012-06-22 2014-01-03 주식회사 라온옵틱스 적외선 카메라를 이용한 전자칠판 시스템
JP2014517361A (ja) * 2010-11-22 2014-07-17 エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブ カメラ式マルチタッチ相互作用装置、システム及び方法
KR101458312B1 (ko) * 2013-06-20 2014-11-04 한국과학기술원 소리를 이용한 터치 압력 센싱 방법, 그리고 이를 이용하는 사용자 단말 및 터치 압력 센싱 시스템
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
KR20170080508A (ko) * 2015-12-30 2017-07-10 (주) 이에스엘에듀 전자칠판 기반 강의 서비스 시스템 및 방법
KR101796925B1 (ko) 2016-04-14 2017-11-16 (주)이케이네트웍스 전자 필기 장치 및 이를 포함하는 시스템
KR20180113066A (ko) * 2017-04-05 2018-10-15 조민영 스마트 칠판 시스템 및 상기 스마트 칠판 시스템을 이용한 스마트 필기 방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100081406A (ko) * 2009-01-06 2010-07-15 엘지전자 주식회사 이동 단말기 및 그 명령 입력방법
KR20120135184A (ko) * 2010-01-06 2012-12-12 주식회사 셀루온 가상 멀티터치 마우스와 스타일러스 장치를 위한 시스템 및 그 방법
KR20120045272A (ko) * 2010-10-29 2012-05-09 (주)더게이트테크놀러지스 터치펜 및 그를 이용한 터치 스크린 장치
JP2014517361A (ja) * 2010-11-22 2014-07-17 エプソン ノルウェー リサーチ アンド ディベロップメント アクティーゼルスカブ カメラ式マルチタッチ相互作用装置、システム及び方法
KR20120100351A (ko) * 2011-03-04 2012-09-12 한국과학기술원 소리를 이용한 터치세기 검출방법, 이를 위한 입력장치 및 사용자 단말
KR20140000436A (ko) * 2012-06-22 2014-01-03 주식회사 라온옵틱스 적외선 카메라를 이용한 전자칠판 시스템
KR101458312B1 (ko) * 2013-06-20 2014-11-04 한국과학기술원 소리를 이용한 터치 압력 센싱 방법, 그리고 이를 이용하는 사용자 단말 및 터치 압력 센싱 시스템
WO2015052765A1 (ja) * 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
KR20170080508A (ko) * 2015-12-30 2017-07-10 (주) 이에스엘에듀 전자칠판 기반 강의 서비스 시스템 및 방법
KR101796925B1 (ko) 2016-04-14 2017-11-16 (주)이케이네트웍스 전자 필기 장치 및 이를 포함하는 시스템
KR20180113066A (ko) * 2017-04-05 2018-10-15 조민영 스마트 칠판 시스템 및 상기 스마트 칠판 시스템을 이용한 스마트 필기 방법

Also Published As

Publication number Publication date
KR102156539B1 (ko) 2020-09-16

Similar Documents

Publication Publication Date Title
CN101375297B (zh) 交互式输入系统
EP3258423B1 (en) Handwriting recognition method and apparatus
US20140028635A1 (en) Modular stylus device
CN109491924B (zh) 代码检测方法、装置、终端及存储介质
US20150160731A1 (en) Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium
TW201303655A (zh) 無線傳輸觸控筆與觸控顯示系統
EP3373124A1 (en) Mobile terminal
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
US11650674B2 (en) Electronic device and method for mapping function to button input
WO2020211607A1 (zh) 生成视频的方法、装置、电子设备及介质
US20200249773A1 (en) Electronic device and method for mapping function of electronic device to operation of stylus pen
KR102621809B1 (ko) 저전력 상태에서 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 그의 동작 방법
KR20140136349A (ko) 대화 기록 장치 및 그 방법
CN112650405A (zh) 一种电子设备的交互方法及电子设备
CN113220590A (zh) 语音交互应用的自动化测试方法、装置、设备及介质
US20160357274A1 (en) Pen terminal and method for controlling the same
US20190384996A1 (en) Stylus pen, electronic device, and digital copy generating method
US20140348334A1 (en) Portable terminal and method for detecting earphone connection
US10203777B2 (en) Stylus having detachable functional parts and operation method thereof
KR102156539B1 (ko) 접촉음 센싱 펜마우스 및 이를 이용한 강의 시스템
EP3582086B1 (en) Input device and electronic device including the same
TWI402720B (zh) 用以將光點軌跡轉換成所對應之預設動作的媒體播放系統、轉換模組及轉換方法
KR20150069486A (ko) 스마트 펜
CN108089732B (zh) 演示用电容笔及投影手机
CN113010175A (zh) 匿名函数的信息获取方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant