KR101318949B1 - Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same - Google Patents

Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same Download PDF

Info

Publication number
KR101318949B1
KR101318949B1 KR1020130031548A KR20130031548A KR101318949B1 KR 101318949 B1 KR101318949 B1 KR 101318949B1 KR 1020130031548 A KR1020130031548 A KR 1020130031548A KR 20130031548 A KR20130031548 A KR 20130031548A KR 101318949 B1 KR101318949 B1 KR 101318949B1
Authority
KR
South Korea
Prior art keywords
unit
pattern
pattern recognition
multimedia
publication
Prior art date
Application number
KR1020130031548A
Other languages
Korean (ko)
Inventor
이성훈
Original Assignee
(주)씨엔씨네트웍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씨엔씨네트웍 filed Critical (주)씨엔씨네트웍
Priority to KR1020130031548A priority Critical patent/KR101318949B1/en
Application granted granted Critical
Publication of KR101318949B1 publication Critical patent/KR101318949B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1632—External expansion units, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

PURPOSE: A pattern recognition unit, a multimedia device capable of pattern recognition, and a driving method are provided to connect the pattern recognition unit to a multimedia terminal, thereby recognizing the pattern of a publication and offering a recognition result to a user as multimedia information. CONSTITUTION: A unit connection terminal is good (120) connects a unit housing (110) and a multimedia terminal (200). A sensor unit (130) senses the pattern of a publication. A pattern recognition unit (140) processes pattern recognition. A device identification unit identifies the connected multimedia terminal. The sensor unit includes a sensor or a camera which recognizes or photographs the pattern printed on the publication. An object identification (OID) pattern is applied to the publication. The sensor unit recognizes and senses the OID pattern.

Description

패턴 인식 유닛 및 패턴 인식이 가능한 멀티미디어 장치와 이의 구동 방법{PATTERN RECOGNITION UNIT, MULTIMEDIA APPARATUS WITH PATTERN RECOGNITION AND METHOD FOR DRIVING THE SAME}PATTERN RECOGNITION UNIT, MULTIMEDIA APPARATUS WITH PATTERN RECOGNITION AND METHOD FOR DRIVING THE SAME}

본 발명은 패턴 인식 유닛 및 패턴 인식이 가능한 멀티 미디어 장치와 이의 구동 방법에 관한 것으로, 패턴 인식 기능을 갖는 유닛을 휴대용 모바일 기기에 결합시켜 멀티미디어 재생이 가능하도록 하여 기존의 전자펜 또는 스피킹 펜과 동일한 기능을 수행할 수 있는 출판물 패턴 인식 유닛 및 패턴 인식이 가능한 멀티 미디어 장치와 이의 구동 방법을 제공한다.
The present invention relates to a pattern recognition unit, a multimedia device capable of pattern recognition, and a driving method thereof, by combining a unit having a pattern recognition function with a portable mobile device to enable multimedia playback, which is the same as a conventional electronic pen or a speaking pen. A publication pattern recognition unit capable of performing a function, a multimedia apparatus capable of pattern recognition, and a driving method thereof are provided.

기존의 전자 펜 및 스피킹 펜과 같이 도서의 패턴을 인식하고, 이를 음성으로 서비스하는 장치의 개발이 활발하게 진행되고 있다. 특히, 이와 같은 장치가 학습을 위한 요소로 사용됨으로 인해 그 수요가 기하급수적으로 늘어나고, 이에 따라 요구하는 사양도 더욱 심화되었다. 그러나, 기존의 전자 펜 및 스피킹 펜과 같은 패턴 인식 장치는 고가이고, 상호 호환이 되지 않고, 장치에 초기 저장된 정보 이외의 정보와 서비스를 받기 어려운 실정이다. 즉, 용이하게 업데이트 될 수 없는 단점이 있다.
A device for recognizing a pattern of a book, such as a conventional electronic pen and a speaking pen, and serving it by voice has been actively developed. In particular, the use of such devices as learning elements has resulted in an exponential increase in demand, and as a result, the required specifications have been further intensified. However, existing pattern recognition devices such as electronic pens and speech pens are expensive, incompatible with each other, and difficult to receive information and services other than information initially stored in the device. That is, there is a disadvantage that it can not be updated easily.

(특허 문헌 1) 한국등록특허 제10-0984721호(Patent Document 1) Korean Patent No. 10-0984721 (특허 문헌 2) 한국공개특허 제2009-0044627호(Patent Document 2) Korean Published Patent Application No. 2009-0044627 (특허 문헌 3) 한국등록실용신안 제20-0333701호(Patent Document 3) Korean Utility Model Registration No. 20-0333701 (특허 문헌 4) 한국등록실용신안 제20-0287162호(Patent Document 4) Korean Utility Model Model No. 20-0287162

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 도서에 인쇄된 패턴을 인식할 수 있는 유닛과, 유닛의 제어 및 통신이 가능한 휴대용 단말기를 결합하여 기존의 전자 펜 또는 스피커 펜의 기능을 수행할 수 있을 뿐만 아니라, 다양한 형태의 호환이 가능하고, 서비스 및 기능의 업데이트가 용이하고, 제품의 제조 단가를 절감할 수 있고, 패턴 인식 기능을 향상시킬 수 있는 패턴 인식 유닛 및 패턴 인식이 가능한 멀티 미디어 장치와 이의 구동 방법을 제공하는 것을 그 목적으로 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and combines a unit capable of recognizing a pattern printed on a book and a portable terminal capable of controlling and communicating the unit to perform a function of an existing electronic pen or speaker pen. In addition to being compatible with various forms, it is easy to update services and functions, reduce the manufacturing cost of the product, and can recognize the pattern recognition unit and pattern recognition that can improve the pattern recognition function. It is an object of the present invention to provide a media device and a driving method thereof.

본 발명에 따른 유닛 하우징과, 상기 유닛 하우징과 외부 기기를 연결하기 위한 유닛 연결 단자와, 출판물의 패턴을 감지하는 센서 및 감지부 및 감지된 패턴 인식을 처리하는 패턴 인식부를 포함하는 패턴 인식 유닛을 제공한다. A pattern recognition unit including a unit housing according to the present invention, a unit connection terminal for connecting the unit housing to an external device, a sensor for detecting a pattern of a publication, and a sensing unit for detecting a pattern and a pattern recognition unit for processing the detected pattern recognition; to provide.

상기 센서 및 감지부는 출판물에 인쇄된 패턴을 인식하거나, 촬영하는 센서 또는 카메라를 포함하고, 상기 출판물 상에 OID 패턴이 적용되고, 상기 센서 및 감지부는 OID 패턴을 인식 감지할 수 있는 센서가 마련된 것을 특징으로 한다. The sensor and the sensing unit includes a sensor or a camera for recognizing or photographing a pattern printed on the publication, the OID pattern is applied to the publication, the sensor and the sensing unit is provided with a sensor for detecting and detecting the OID pattern It features.

상기 패턴 인식부는 상기 센서 및 감지부의 패턴 인식 신호와 저장된 인식 패턴 판단 정보의 비교를 통해 패턴 판단 신호를 생성하는 인식 패턴 판단부와, 인식 패턴 판단부의 판단 결과를 전송하는 결과 전송부와, 다수의 인식 패턴 판단을 위한 정보가 저장된 정보 저장부를 포함하는 것을 특징으로 한다. The pattern recognition unit includes a recognition pattern determination unit for generating a pattern determination signal by comparing the pattern recognition signal of the sensor and the detection unit with stored recognition pattern determination information, a result transmission unit for transmitting a determination result of the recognition pattern determination unit, And an information storage unit in which information for determining a recognition pattern is stored.

상기 유닛 연결 단자는 외부 기기와 접속하되, 선을 통해 접속되거나, 외부 기기에 직접 접속되며, 직접 접속시 유닛 하우징과 외부 기기 간의 분리를 방지하기 위한 수단이 마련된 것을 특징으로 한다. The unit connection terminal may be connected to an external device, but may be connected through a line or directly connected to an external device, and means for preventing separation between the unit housing and the external device may be provided when the direct connection is made.

또한, 본 발명에 따른 유닛 하우징과, 상기 유닛 하우징과 멀티미디어 단말기 간을 연결하기 위한 유닛 연결 단자와, 출판물의 패턴을 감지하는 센서 및 감지부 및 감지된 패턴 인식을 처리하는 패턴 인식부를 포함하여 출판물에 인쇄된 패턴을 인식하는 패턴 인식 유닛 및 패턴 인식 유닛의 신호에 따라 멀티미디어화된 정보로 사용자에게 제공하는 멀티미디어 단말기를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치를 제공한다. In addition, the publication includes a unit housing according to the present invention, a unit connection terminal for connecting the unit housing and the multimedia terminal, a sensor for detecting a pattern of the publication, and a sensing unit for detecting a pattern of the publication and a pattern recognition unit for processing the detected pattern recognition. According to an aspect of the present invention, there is provided a pattern recognition unit including a pattern recognition unit for recognizing a pattern printed on and a multimedia terminal for providing a user with multimedia information according to a signal of the pattern recognition unit.

상기 멀티미디어 단말기는 상기 패턴 인식 유닛과 전기적으로 연결되는 연결 단자와, 패턴 인식 유닛의 패턴 판단 신호에 대응하는 멀티미디어 정보를 산출하는 미디어 정보 산출부와, 음성을 출력하는 음성 출력부와, 영상 및 이미지를 출력하는 디스플레이부와, 각부의 동작 및 패턴 인식 유닛의 동작을 제어하는 메인 제어부를 포함하는 것을 특징으로 한다. The multimedia terminal includes a connection terminal electrically connected to the pattern recognition unit, a media information calculator for calculating multimedia information corresponding to the pattern determination signal of the pattern recognition unit, a voice output unit for outputting voice, images and images And a main controller configured to control an operation of each unit and an operation of the pattern recognition unit.

상기 멀티미디어 단말기의 기능을 스마트 기기의 어플리케이션을 통해 수행하는 것을 특징으로 한다. Characterized in that the function of the multimedia terminal to perform through the application of the smart device.

또한, 본 발명에 따른 유닛 하우징과, 상기 유닛 하우징과 멀티미디어 단말기 간 무선 통신을 실시하는 유닛 무선 통신부와, 출판물의 패턴을 감지하는 센서 및 감지부 및 전원을 공급하는 유닛 전원부를 포함하는 패턴 인식 유닛 및 유닛 인증 기능을 갖는 단말 무선 통신부와, 패턴 인식 유닛에 의해 감지된 패턴 인식을 처리하는 패턴 인식부와, 패턴 인식부의 패턴 판단 신호에 대응하는 멀티미디어 정보를 산출하는 미디어 정보 산출부와, 음성을 출력하는 음성 출력부와, 영상 및 이미지를 출력하는 디스플레이부와, 각부의 동작 및 패턴 인식 유닛의 동작을 제어하는 메인 제어부를 포함하는 멀티미디어 단말기를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치를 제공한다. In addition, a pattern recognition unit including a unit housing according to the present invention, a unit wireless communication unit for performing wireless communication between the unit housing and the multimedia terminal, a sensor for detecting a pattern of a publication, and a sensing unit and a unit power supply unit for supplying power. And a terminal wireless communication unit having a unit authentication function, a pattern recognition unit processing pattern recognition sensed by the pattern recognition unit, a media information calculation unit calculating multimedia information corresponding to the pattern determination signal of the pattern recognition unit, and a voice. And a multimedia terminal including an audio output unit for outputting, a display unit for outputting images and images, and a main control unit for controlling operations of each unit and operations of the pattern recognition unit. to provide.

또한, 본 발명에 따른 패턴 인식 유닛과, 멀티미디어 단말기를 구비하는 멀티미디어 장치의 구동 방법에 있어서, 상기 패턴 인식 유닛을 멀티미디어 단말기에 전기적으로 접속시키는 단계와, 상기 패턴 인식 유닛을 이용하여 출판물의 표면 패턴을 감지하는 단계와, 감지된 결과 신호와 대응되는 멀티미디어 정보를 산출 또는 생성하는 단계 및 상기 산출 또는 생성된 미디어 정보를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치의 구동 방법을 제공한다. A method of driving a multimedia apparatus including a pattern recognition unit and a multimedia terminal, the method comprising: electrically connecting the pattern recognition unit to a multimedia terminal, and using the pattern recognition unit to surface a publication. Detecting, generating or generating multimedia information corresponding to the detected result signal, and providing the calculated or generated media information to a user. Provide a method.

상기 출판물 표면의 패턴이 OID 패턴인 것을 특징으로 한다. The pattern on the surface of the publication is an OID pattern.

상기 출판물의 표면 패턴을 감지하는 단계 전에, 상기 패턴 인식 유닛에 전원을 제공하거나, 상기 멀티미디어 단자 내의 프로그램(어플리케이션)이 실행되어 패턴 인식 유닛의 구동을 제어하는 것을 특징으로 한다. Before the surface pattern of the publication is detected, power is supplied to the pattern recognition unit, or a program (application) in the multimedia terminal is executed to control driving of the pattern recognition unit.

또한, 본 발명에 따른 출판물에 인쇄된 패턴 정보를 제공하는 출판물 서버와, 패턴 인식 유닛이 장착되어 출판물에 인쇄된 패턴 정보를 멀티미디어 정보로 제공받는 멀티미디어 장치 및 상기 출판물 서버로부터 제공받은 패턴 정보를 멀티미디어 장치에 제공하는 관리 서버를 포함하는 패턴 인식 유닛 관리 시스템을 제공한다. In addition, a multimedia server for providing pattern information printed on a publication according to the present invention, a multimedia apparatus equipped with a pattern recognition unit and receiving pattern information printed on the publication as multimedia information, and a pattern information received from the publication server A pattern recognition unit management system including a management server provided to an apparatus is provided.

상기 출판물 서버는 통신망 연결부와, 패턴 정보 전송부를 구비하고, 상기 관리 서버는 출판물 서버로 부터 제공된 패턴 정보를 이용하여 어플리케이션을 생성 또는 업데이트하고, 이를 유/무선 통신망을 통해 멀티미디어 장치에 전송하기 위한 통신망 연결부와, 어플리케이션 생성 및 편집부와, 어플리케이션 전송부를 포함하는 것을 특징으로 한다.
The publication server includes a communication network connection unit and a pattern information transmission unit, and the management server uses the pattern information provided from the publication server to create or update an application, and to transmit it to a multimedia device through a wired / wireless communication network. And a connection unit, an application generation and editing unit, and an application transmission unit.

이와 같이 하여 본 발명은 패턴 인식 기능만이 부여된 패턴 인식 유닛을 제작하고, 이를 멀티미디어 기능을 갖는 멀티미디어 단말기에 접속시킴으로 인해 출판물의 패턴을 인식하고, 그 인식 결과를 멀티미디어 정보로 사용자에게 제공할 수 있다. 또한, 멀티미디어 단말기의 어플리케이션(어플)을 통해 유닛을 제어함으로 인해 호환이 용이하고, 서비스 및 기능의 업데이트가 용이한 제품의 제작이 가능하고, 단일 유닛 생산으로 생산 단가도 낮출 수 있다. .
In this way, the present invention can produce a pattern recognition unit to which only the pattern recognition function is given, and recognize the pattern of the publication by connecting it to a multimedia terminal having a multimedia function, and provide the recognition result to the user as multimedia information. have. In addition, by controlling the unit through the application (application) of the multimedia terminal, it is possible to manufacture a product that is easy to be compatible, easy to update services and functions, and to reduce the production cost by producing a single unit. .

도 1은 본 발명의 일 실시예에 따른 패턴 인식 유닛의 개념 블록도.
도 2는 일 실시예에 따른 패턴 인식부의 블록도.
도 3은 본 발명의 일 실시예에 따른 출판물 패턴 인식 유닛을 갖는 멀티미디어 장치의 개념도.
도 4는 일 실시예에 따른 멀티미디어 단말기의 블록도.
도 5는 본 발명의 일 실시예에 따른 멀티미디어 장치의 구동 방법을 설명하기 위한 도면.
도 6은 일 실시예의 제 1 변형예에 따른 패턴 인식 유닛을 갖는 멀티미디어 장치의 블록도.
도 7은 본 발명의 일 실시예에 따른 패턴 인식 유닛 관리 시스템의 블록도. 1 is a conceptual block diagram of a pattern recognition unit according to an embodiment of the present invention.
2 is a block diagram of a pattern recognition unit according to an exemplary embodiment.
3 is a conceptual diagram of a multimedia apparatus having a publication pattern recognition unit according to an embodiment of the present invention.
4 is a block diagram of a multimedia terminal according to an embodiment.
5 is a view for explaining a method of driving a multimedia apparatus according to an embodiment of the present invention.
6 is a block diagram of a multimedia apparatus having a pattern recognition unit according to the first modification of the embodiment;
7 is a block diagram of a pattern recognition unit management system according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be apparent to those skilled in the art that the present invention may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, It is provided to let you know. Wherein like reference numerals refer to like elements throughout.

본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석 되어야 할 것이다. 이러한 이유로 본 발명의 패턴 인식 유닛 및 패턴 인식이 가능한 멀티 미디어 장치와 이의 구동 방법의 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 상이해질 수 있음을 명확히 밝혀둔다.
It is to be clarified that the division of components in this specification is merely a division by main function which each component is responsible for. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more functions according to functions that are more subdivided. In addition, each of the constituent units described below may additionally perform some or all of the functions of other constituent units in addition to the main functions of the constituent units themselves, and that some of the main functions, And may be carried out in a dedicated manner. Accordingly, the presence or absence of each component described in this specification should be interpreted as a function. For this reason, it is clarified that the configuration of the pattern recognition unit of the present invention, the multimedia device capable of pattern recognition, and the components of the driving method thereof may be different within the limits that can achieve the object of the present invention.

도 1은 본 발명의 일 실시예에 따른 패턴 인식 유닛의 개념 블록도이다. 도 2는 일 실시예에 따른 패턴 인식부의 블록도이다. 1 is a conceptual block diagram of a pattern recognition unit according to an embodiment of the present invention. 2 is a block diagram of a pattern recognition unit according to an exemplary embodiment.

도 1 및 도 2에 도시된 바와 같이 본 실시예에 따른 출판물의 패턴 인식 유닛(100)은 유닛 하우징(110)과, 유닛 하우징(110)과 외부 기기를 연결하기 위한 유닛 연결 단자(120)와, 출판물의 패턴을 감지하는 센서 및 감지부(130)와, 감지된 패턴 인식을 처리하는 패턴 인식부(140)를 포함한다. As shown in FIGS. 1 and 2, the pattern recognition unit 100 of the publication according to the present embodiment includes a unit housing 110, a unit connection terminal 120 for connecting the unit housing 110, and an external device. The sensor may include a sensor and a detector 130 for detecting a pattern of the publication, and a pattern recognizer 140 for processing the detected pattern recognition.

또한, 패턴 인식 유닛은 출판물에 접촉하는 접촉부(150)를 더 포함하는 것이 바람직하다. In addition, the pattern recognition unit preferably further includes a contact 150 in contact with the publication.

유닛 하우징(110)은 내부공간을 구비하고, 이 내부 공간에 유닛 연결 단자(120), 센서 및 감지부(130) 및 패턴 인식부(140)가 수납된다. 유닛 하우징(110)은 단일 몸체로 제작되거나, 상하로 분리된 2개의 몸체가 결합되어 제작될 수도 있다. 물론 본 실시예에서는 이에 한정되지 않고, 다양한 방법과 몸체로 유닛 하우징(110)을 제작하는 것이 효과적이다. The unit housing 110 has an internal space in which the unit connection terminal 120, the sensor and the sensing unit 130, and the pattern recognition unit 140 are accommodated. The unit housing 110 may be manufactured by a single body, or may be manufactured by combining two bodies separated vertically. Of course, in the present embodiment is not limited to this, it is effective to manufacture the unit housing 110 in various ways and the body.

또한, 도시된 바와 같이 유닛 하우징(110)은 삼각형 형태의 몸체를 갖는 것이 바람직하다. 이는 출판물 패턴 인식 유닛이 외부 기기와 접속되어 전자 펜과 동일한 역할을 하기 때문에 외부 휴대용 기기와 결합되었을때 펜과 같은 형상이 될 수 있도록 삼각형 형상이 가능하다. 물론, 외부 휴대용 기기와 별도의 연결 케이블로 제작되는 경우, 펜 형상이나 삼각뿔 형태로 제작하는 것이 가능하다. 또한, 유닛 하우징은 상술한 구조와 형상에 한정되지 않고, 필요에 따라 다양한 구조와 형상으로의 제작이 가능하다. In addition, as shown, the unit housing 110 preferably has a triangular body. Since the publication pattern recognition unit is connected to an external device and plays the same role as an electronic pen, a triangular shape is possible so that the publication pattern recognition unit can be shaped like a pen when combined with an external portable device. Of course, if it is manufactured with a separate connecting cable from an external portable device, it can be manufactured in the form of a pen or a triangular pyramid. In addition, the unit housing is not limited to the above-described structure and shape, and can be manufactured in various structures and shapes as necessary.

유닛 하우징(110)은 외부 휴대용 기기에 접속하는 영역과 출판물에 인접 또는 접촉하는 영역으로 분리된다. 이때, 휴대용 기기에 접속하는 영역은 휴대용 기기의 일측면과의 밀착이 용이한 형태 즉, 면 또는 판 형태인 것이 효과적이고, 출판물과 인접 또는 접촉하는 영역은 앞의 휴대용 기기에 접속하는 영역보다 그 면적이 적은 점 형태인 것이 효과적이다. 따라서, 도면에서와 같이 삼각형의 유닛 하우징(110)의 경우 휴대용 기기에 접속하는 영역은 삼각형 형태 유닛 하우징(110)의 일측면이되고, 출판물에 인접하는 영역은 상기 일측면에 대응되는 일 꼭지점 영역이 되는 것이 바람직하다. The unit housing 110 is divided into an area connecting to an external portable device and an area adjacent to or in contact with the publication. In this case, it is effective that the area to be connected to the portable device is in the form of an easy-to-adhere contact with one side of the portable device, that is, in the form of a face or a plate, It is effective to have a point shape with a small area. Therefore, in the case of the triangular unit housing 110 as shown in the drawing, the area connected to the portable device becomes one side of the triangular shape unit housing 110, and the area adjacent to the publication is one vertex area corresponding to the one side. It is preferable to become.

유닛 하우징(110)의 일측에는 유닛 연결 단자(120)가 마련된다. One side of the unit housing 110 is provided with a unit connection terminal 120.

별도의 선을 이용하여 외부 휴대용 기기와 접속하기 위한 단자인 것이 효과적이다. 본 실시예에서는 이와 같은 유닛 연결 단자(120)로 USB단자를 사용하는 것이 가능하다. 이를 통해 별도의 연결선을 통해 다양한 형태의 외부 휴대용 기기와의 접속이 가능해진다. It is effective to be a terminal for connecting to an external portable device using a separate wire. In this embodiment, it is possible to use the USB terminal as such a unit connection terminal 120. This enables connection with various types of external portable devices through separate connection lines.

하지만, 이에 한정되지 않고, 외부 휴대용 기기의 접속 단자와 직접 접속할 수 있는 단자 구조 또한 가능하다. 이를 통해 별도의 선 없이 출판물 패턴 인식 유닛을 휴대용 기기에 직접 접속시킬 수 있다. 이 경우, 유닛과 외부 기기간의 탈착을 위한 수단이 유닛 하우징(110)과 외부 기기간에 마련되는 것이 효과적이다. 이를 통해 유닛이 외부 기기로부터 쉽게 분리되는 것을 막을 수 있다. However, the present invention is not limited thereto, and a terminal structure capable of directly connecting with a connection terminal of an external portable device is also possible. This allows the publication pattern recognition unit to be directly connected to the portable device without any extra lines. In this case, it is effective that a means for detachment between the unit and the external device is provided between the unit housing 110 and the external device. This prevents the unit from being easily separated from the external device.

앞서 언급한 바와 같이 유닛 연결 단자(120)는 하우징의 일 측면 영역에 위치하는 것이 바람직하다. As mentioned above, the unit connection terminal 120 is preferably located at one side area of the housing.

센서 및 감지부(130)는 출판물의 패턴을 감지 또는 센싱하고, 그 결과를 패턴 인식부에 제공한다. 본 실시예에서는 센서 및 감지부(130)로 출판물에 인쇄된 패턴을 인식하는 센서를 사용하거나, 패턴의 직접 인식이 가능한 CMOS 카메라를 사용하는 것이 효과적이다. The sensor and sensing unit 130 senses or senses the pattern of the publication, and provides the result to the pattern recognition unit. In this embodiment, it is effective to use a sensor for recognizing the pattern printed on the publication by the sensor and sensing unit 130, or to use a CMOS camera capable of directly recognizing the pattern.

센서 및 감지부(130)는 출판물 상에 인쇄된 특수 잉크를 감지하여 패턴을 인식할 수 있다. 이에 따라, 전기적 신호, 광학적 신호에 따라 그 출력이 변화되는 센서를 사용할 수 있다. 물론, 글자(ㄱ, ㄴ, A, B...)와 같이 기 설정된 패턴을 감지하여 각각 대응되는 인식 신호를 출력할 수도 있다. The sensor and sensing unit 130 can recognize the pattern by sensing the special ink printed on the publication. Accordingly, a sensor whose output varies according to an electrical signal or an optical signal can be used. Of course, it is also possible to detect predetermined patterns such as letters (a, b, A, B) and output corresponding recognition signals.

본 실시예에서는 출판물 상에 OID(Object IDentifier)패턴이 적용되어 있고, 이를 감지하는 센서 및 감지부(130)를 구비하는 것이 효과적이다. In this embodiment, an OID (Object Identifier) pattern is applied to a publication, and it is effective to include a sensor and a sensing unit 130 for sensing the OID.

패턴 인식부(140)는 센서 및 감지부(130)를 통해 인식된 패턴 인식 신호를 바탕으로 인식된 패턴이 무엇인지를 판단하고, 해당 판단에 대응하는 패턴 판단 신호 유닛 연결 단자를 통해 외부 기기에 전송한다. The pattern recognition unit 140 determines what the recognized pattern is based on the pattern recognition signal recognized by the sensor and the sensing unit 130, and connects to the external device through the pattern determination signal unit connection terminal corresponding to the determination. send.

패턴 인식부(140)는 입력된 패턴 인식 신호에 대응하는 인식 패턴 판단부(141)와, 인식 패턴 판단부(141)의 판단 결과를 전송하는 결과 전송부(142)와, 다수의 인식 패턴 판단을 위한 정보가 저장된 정보 저장부(143)를 구비한다. The pattern recognition unit 140 includes a recognition pattern determination unit 141 corresponding to the inputted pattern recognition signal, a result transmission unit 142 transmitting the determination result of the recognition pattern determination unit 141, And an information storage unit 143 for storing information for the user.

또한, 도시되지 않았지만, 패턴 인식부(140)에는 제공된 패턴 인식 신호를 증폭하는 증폭부와, 필터링하여 노이즈를 제거하는 필터링부를 더 구비한다. 또한, 패턴 판단 신호를 외부 기기와 통신이 가능한 신호로 변환하는 신호 변환부를 더 구비할 수 있다. Although not shown, the pattern recognizing unit 140 further includes an amplifying unit for amplifying the pattern recognition signal, and a filtering unit for filtering the noise. The apparatus may further include a signal conversion unit for converting the pattern determination signal into a signal capable of communicating with an external device.

인식 패턴 판단부(141)는 제공된 패턴 인식 신호와 정보 저장부에 저장된 인식 패턴 판단 정보의 비교를 통해 패턴 판단 신호를 생성한다. The recognition pattern determination unit 141 generates a pattern determination signal by comparing the provided pattern recognition signal with the recognition pattern determination information stored in the information storage unit.

상술한 설명에서는 패턴 인식부(140)가 제공된 신호를 분석하고, 저장된 다수의 패턴 정보중 입력된 신호에 해당하는 패턴 정보를 인식 패턴 판단 정보로 출력함에 관하여 설명하였다. 하지만, 본 실시예의 패턴 인식부(140)는 이에 한정되지 않고, 다양한 형태의 패턴 인식 기술의 적용이 가능하다. 예를 들어, 패턴 인식부에 이미지 및 영상 인식 기술을 위한 프로그램이 내장되어 있어, 센서 및 감지부(130)를 통해 촬영된 이미지 또는 영상을 바탕으로 이미지 및 영상 내의 텍스트 패턴을 인식하는 것이 가능하다. 이때의 텍스트 패턴 인식은 이미지 간의 색상 차이를 이용하는 것이 가능하다. 또는 앞서 언급한 바와 같이 인식된 이미지 및 영상의 패턴과 기 저장된 패턴들과의 비교를 통해 패턴을 인식하는 것도 가능하다. In the above description, the pattern recognition unit 140 analyzes the provided signal and outputs pattern information corresponding to the input signal among the plurality of stored pattern information as the recognition pattern determination information. However, the pattern recognition unit 140 of the present embodiment is not limited to this, and various types of pattern recognition techniques can be applied. For example, it is possible to recognize a text pattern in an image and an image based on an image or an image photographed through the sensor and the sensing unit 130 because a program for image and image recognition technology is built in the pattern recognition unit . At this time, the text pattern recognition can use the color difference between images. Alternatively, it is also possible to recognize the pattern by comparing the recognized image and image pattern with the pre-stored patterns as mentioned above.

접촉부(150)는 패턴 인식 유닛(100)이 출판물에 접촉하는 것으로 구 형태의 모형을 갖는 것이 효과적이다. 이는 접촉부(150)가 도서와 같은 출판물의 표면과 접속하기 때문에 마찰력을 최소화할 수 있는 구조이다. 또한, 접촉부(150)는 센서 및 감지부와 출판물의 표면간의 거리를 이격시키는 역할을 수행함으로 인해 정확한 센싱 및 감지(즉, 촬영)이 가능하도록 할 수 있다. The contact unit 150 is effective in having a spherical model as the pattern recognition unit 100 contacts the publication. This is a structure that minimizes the frictional force since the contact portion 150 connects with the surface of a publication such as a book. In addition, the contact unit 150 may serve to separate the sensor and the sensing unit from the surface of the publication, thereby enabling accurate sensing and sensing (i.e., photographing).

그리고, 도시되지 않았지만, 패턴 인식 유닛(100)은 접속되는 외부 기기를 식별하는 기기 식별부를 더 구비할 수 있다. 이를 통해 외부 기기와 통신을 위한 신호의 변환을 수행할 수 있다. 그리고, 유닛은 자체 별도의 전원부를 구비하는 것이 가능하다. 물론 외부 기기와 접속된 단자를 통해 외부 기기로부터 전원을 제공 받아 동작을 수행할 수도 있다. 또한, 유닛은 유닛의 동작을 표시하는 표시부가 유닛 하우징 표면에 위치할 수 있고, 유닛의 동작을 제어하는 동작 스위치가 더 구비될 수도 있다. Although not shown, the pattern recognition unit 100 may further include a device identification unit for identifying an external device to be connected. Thus, a signal for communication with an external device can be converted. The unit can be provided with its own separate power supply unit. Of course, an operation may be performed by receiving power from an external device through a terminal connected to an external device. In addition, the unit may be located on the surface of the unit housing for indicating the operation of the unit, it may be further provided with an operation switch for controlling the operation of the unit.

도 3은 본 발명의 일 실시예에 따른 출판물 패턴 인식 유닛을 갖는 멀티미디어 장치의 개념도이다. 도 4는 일 실시예에 따른 멀티미디어 단말기의 블록도이다. 3 is a conceptual diagram of a multimedia apparatus having a publication pattern recognition unit according to an embodiment of the present invention. 4 is a block diagram of a multimedia terminal according to an exemplary embodiment.

도 3 및 도 4에 도시된 바와 같이 본 실시예에 따른 멀티미디어 장치는 출판물에 접속하여 출판물에 인쇄된 패턴을 인식하는 패턴 인식 유닛(100)과, 패턴 인식 유닛(100)의 패턴 판단 신호에 따라 멀티미디어화된 정보로 사용자에게 제공하는 멀티미디어 단말기(200)를 포함한다. As shown in FIG. 3 and FIG. 4, the multimedia apparatus according to the present embodiment is connected to a publication and recognizes a pattern printed on the publication according to a pattern determination signal of the pattern recognition unit 100 and the pattern recognition unit 100. It includes a multimedia terminal 200 for providing a user with multimedia information.

패턴 인식 유닛(100)은 유닛 하우징(110)과, 유닛 연결 단자(120)와, 센서 및 감지부(130)와, 패턴 인식부(140)를 포함한다. The pattern recognition unit 100 includes a unit housing 110, a unit connection terminal 120, a sensor and a sensing unit 130, and a pattern recognition unit 140.

멀티미디어 단말기(200)로 스마트폰, 테블릿 피씨, 스마트 패드등의 휴대용 단말기를 사용하는 것이 가능하다. 물론, 이에 한정되지 않고, 기존의 PC, TV 등과 같이 고정형 단말기도 가능하다. As the multimedia terminal 200, it is possible to use a portable terminal such as a smartphone, a tablet PC, a smart pad, or the like. Of course, the present invention is not limited to this, and it is also possible to use a fixed type terminal such as a conventional PC or TV.

멀티미디어 단말기(200)는 패턴 인식 유닛(100)과 전기적으로 연결되는 연결 단자(210)와, 제공된 패턴 판단 신호에 대응하는 멀티미디어 정보를 산출하는 미디어 정보 산출부(220)와, 음성을 출력하는 음성 출력부(230)와, 영상 및 이미지를 출력하는 디스플레이부(240)와, 각부의 동작 및 패턴 인식 유닛의 동작을 제어하는 메인 제어부(250)를 포함한다. The multimedia terminal 200 includes a connection terminal 210 electrically connected to the pattern recognition unit 100, a media information calculator 220 for calculating multimedia information corresponding to the provided pattern determination signal, and a voice for outputting a voice. An output unit 230, a display unit 240 for outputting an image and an image, and a main controller 250 for controlling an operation of each unit and an operation of a pattern recognition unit.

이에 한정되지 않고, 멀티미디어 단말기는 각각의 고유 기능을 위한 부분을 더 포함할 수 있다. 예를 들어 스마트 기기의 경우, 전화 통화를 위한 통신부와, 인터넷 연결을 위한 인터넷 연결부와, 어플리케이션을 수행하는 어플리케이션 수행부와, 전원을 공급하는 전원 공급부를 포함할 수 있다. 물론 이에 한정되지 않고, 멀티미디어 단말기의 기능에 따라 다양한 요소가 더 포함된다. However, the present invention is not limited to this, and the multimedia terminal may further include a portion for each unique function. For example, a smart device may include a communication unit for a telephone call, an internet connection unit for an internet connection, an application execution unit for performing an application, and a power supply unit for supplying power. Of course, the present invention is not limited thereto, and various elements may be included depending on the function of the multimedia terminal.

연결 단자(210)는 멀티미디어 단말기의 일측에 위치하여 별도의 선(라인)을 통해 패턴 인식 유닛(100)의 유닛 연결 단자(120)와 연결되거나, 직접 유닛 연결 단자에 연결될 수 있다. The connection terminal 210 may be located at one side of the multimedia terminal and connected to the unit connection terminal 120 of the pattern recognition unit 100 through a separate line (line), or may be directly connected to the unit connection terminal.

미디어 정보 산출부(220)는 입력된 패턴 판단 신호가 텍스트관련 패턴 판단 정보인지 이미지 또는 영상관련 패턴 판단 정보인지를 판단한다. 물론, 동작의 단순화를 위해 텍스트 관련 패턴 판단 정보 및/또는 단순 이미지(즉, 도형 이미지) 패턴 판단 정보만을 사용하고, 복잡한 이미지와 영상은 센서 및 감지부(130)에서 제공된 정보 그대로를 사용할 수 있다. The media information calculator 220 determines whether the input pattern determination signal is text related pattern determination information or image or image related pattern determination information. Of course, for simplicity of operation, only text-related pattern determination information and / or simple image (ie, graphic image) pattern determination information may be used, and complex images and images may use the same information provided by the sensor and the sensing unit 130. .

미디어 정보 산출부(220)는 만일 텍스트 관련 패턴 판단 정보인 경우, 해당 텍스트에 대응하는 음성정보를 매칭시킨다. 또한, 촬영된 이미지 또는 영상정보를 준비하거나, 텍스트에 대응하는 이미지 정보를 준비한다. 이때, 음성 정보나 이미지 정보는 사전에 별도의 메모리 장치에 저장되어 있는 것이 효과적이다. The media information calculator 220 matches the voice information corresponding to the text if the text-related pattern determination information is used. In addition, the photographed image or image information is prepared, or image information corresponding to the text is prepared. In this case, it is effective that the voice information or the image information is previously stored in a separate memory device.

음성 출력부(230)는 미디어 정보 산출부(220)를 통해 매칭된 음성 정보에 해당하는 음성을 출력한다. 이때, 사용자의 별도 출력 명령에 따라 해당 음성을 출력하는 것이 바람직하다. 또한, 사용자의 요청에 의해 반복 출력하거나, 일부 구간만을 출력하는 것 또한 가능하다. The voice output unit 230 outputs a voice corresponding to the matched voice information through the media information calculator 220. At this time, it is preferable to output the corresponding voice according to a separate output command of the user. In addition, it is also possible to repeatedly output at the request of the user, or to output only a partial section.

디스플레이부(240)는 미디어 정보 산출부(220)에 의해 제공된 이미지 또는 영상 정보를 화면상에 표시한다. The display 240 displays the image or video information provided by the media information calculator 220 on the screen.

메인 제어부(250)는 사용자 요청 또는 패턴 인식 유닛의 접속에 따라 패턴 인식 유닛(100) 및 멀티미디어 단말기(200) 각부의 동작을 제어하는 제어 신호를 생성하고, 상기의 동작들을 실시한다. The main controller 250 generates a control signal for controlling operations of each of the pattern recognition unit 100 and the multimedia terminal 200 according to a user request or a connection of the pattern recognition unit, and performs the above operations.

본 실시예의 멀티 미디어 단말기(200)로 스마트 기기를 사용하는 경우, 스마트 기기의 운영체제(OS)를 기반으로 하는 어플리케이션을 통해 상기 기능을 수행하는 것이 바람직하다. 이를 통해 어플리케이션의 반복적인 업데이트를 통해 패턴 인식에 따라 출력되는 멀티미디어 정보 즉, 음성 및 영상/이미지의 정확도를 향상시킬 수 있고, 다양한 형태의 음성 지원이 가능할 수 있다. When the smart device is used as the multimedia terminal 200 of the present embodiment, it is preferable to perform the above function through an application based on an operating system (OS) of the smart device. Through this, it is possible to improve the accuracy of the multimedia information that is output according to the pattern recognition, that is, the voice and the image / image through repeated update of the application, and may support various types of voice.

또한, 도시되지 않았지만, 멀티미디어 단말기(200)에는 사전 기능을 포함하여, 인식된 단어를 다른 언어로 변환하거나, 해당 단어에 대한 뜻 또는 정의를 표시 또는 알려줄 수 있는 것이 효과적이다. In addition, although not shown, it is effective to include a dictionary function in the multimedia terminal 200 to convert a recognized word into another language, or to display or inform the meaning or definition of the word.

하기에서는 상술한 구성을 갖는 본 실시예의 멀티미디어 장치의 구동 방법을 도면을 참조하여 설명한다. Hereinafter, a driving method of the multimedia apparatus of the present embodiment having the above-described configuration will be described with reference to the drawings.

도 5는 본 발명의 일 실시예에 따른 멀티미디어 장치의 구동 방법을 설명하기 위한 도면이다. 5 is a view for explaining a method of driving a multimedia apparatus according to an embodiment of the present invention.

도 5에 도시된 바와 같이 패턴 인식 유닛을 멀티미디어 단말기에 전기적으로 접속시킨다(S110). As shown in FIG. 5, the pattern recognition unit is electrically connected to the multimedia terminal (S110).

즉, 패턴 인식 유닛의 유닛 연결 단자와 멀티미디어 단말기의 연결 단자간을 전기적으로 연결한다. 이때, 별도의 와이어를 이용하여 이둘 간을 연결하거나, 두 단자간을 직접 연결할 수 있다. 이를 통해 이 둘간에 통신이 가능하게 된다. 또한, 이와 같은 전기적 접속을 통해 패턴 인식 유닛에 멀티미디어 단말기의 전원이 제공될 수 있다.In other words, the unit connection terminal of the pattern recognition unit and the connection terminal of the multimedia terminal are electrically connected. In this case, the two wires may be connected by using separate wires or may be directly connected between the two terminals. This enables communication between the two. In addition, a power supply of the multimedia terminal may be provided to the pattern recognition unit through such an electrical connection.

이때, 접속과 동시에 멀티미디어 단자내에 프로그램(어플리케이션 등)이 실행되어 패턴 인식 유닛의 구동을 제어할 수 있다. 또한, 패턴 인식 유닛에 접속된 단말기의 통신 특성을 전송하여 상호 원활한 통신이 되도록 할 수 있다. At this time, at the same time as the connection, a program (application or the like) is executed in the multimedia terminal to control the driving of the pattern recognition unit. In addition, the communication characteristics of the terminal connected to the pattern recognition unit can be transmitted to facilitate smooth communication with each other.

이어서, 패턴 인식 유닛 부분을 이용하여 출판물의 표면을 패턴을 감지한다(S120). Subsequently, the surface of the publication is detected using the pattern recognition unit part (S120).

출판물의 표면 패턴은 한정되지 않고, 다양한 방법의 패턴이 인쇄 되는 것이 가능하고, 이에 따라 이와 같은 패턴의 감지를 위한 센싱 및 감지 또는 촬영 방식 또한 다양할 수 있다. 본 실시예에서는 OID 패턴이 적용된 출판물을 사용하고, OID 패턴을 인식할 수 있는 센서, 감지 수단 또는 영상 촬영 수단을 사용하는 것이 효과적이다. The surface pattern of the publication is not limited, and a variety of patterns may be printed, and thus, sensing and sensing or photographing methods for detecting such a pattern may also vary. In this embodiment, it is effective to use a publication to which the OID pattern is applied, and to use a sensor, a sensing means, or an image capturing means capable of recognizing the OID pattern.

이를 통해 패턴 인식 유닛에 의해 출판물의 표면 패턴을 감지할 수 있게 된다. This enables the pattern recognition unit to detect the surface pattern of the publication.

이어서, 패턴 인식 유닛은 감지된 결과를 이용하여 패턴을 판단하고, 패턴 판단 신호를 멀티미디어 단말기에 전송한다(S130). Subsequently, the pattern recognition unit determines a pattern using the detected result and transmits a pattern determination signal to the multimedia terminal (S130).

이어서, 멀티미디어 단말기는 패턴 판단 신호에 대응하는 멀티미디어 정보를 산출 또는 생성한다(S140). Subsequently, the multimedia terminal calculates or generates multimedia information corresponding to the pattern determination signal (S140).

이어서, 산출 또는 생성된 미디어 정보를 사용자에게 제공한다(S150). Subsequently, the calculated or generated media information is provided to the user (S150).

예를 들어, 사용자가 패턴 인식 유닛을 이용하여 출판물 표면의 글씨('도서')를 인식시킨 경우, 인식 정보를 이용하여 패턴 인식 유닛에서 인식된 글씨가 '도서'인 것을 확인한 패턴 판단 신호를 생성한다. 이 패턴 판단 신호가 멀티미디어 단말기로 제공되고, 멀티미디어 단말기는 도서에 대응하는 음성 정보를 산출한다. 그리고, 도서에 해당하는 텍스트 또는 이미지 정보를 추출한다. 이후, 멀티미디어 단말기는 자신의 디스플레이 화면에 '도서'라는 글씨를 표시하면서, 동시에 음성으로 도서라고 출력한다. 이를 통해 사용자는 패턴 인식 유닛을 통해 인식한 단어가 도서임을 확인할 수 있다. For example, when the user recognizes the text ('book') on the surface of the publication by using the pattern recognition unit, the pattern determination signal is generated by confirming that the text recognized by the pattern recognition unit is 'book' using the recognition information. do. This pattern determination signal is provided to the multimedia terminal, and the multimedia terminal calculates voice information corresponding to the book. Then, text or image information corresponding to the book is extracted. Subsequently, the multimedia terminal displays the letters 'book' on its display screen and simultaneously outputs the book as voice. Through this, the user can confirm that the word recognized through the pattern recognition unit is a book.

이때, 사용자의 요청에 따라 인식된 정보에 대한 언어 변환(예를 들어 국어를 영어로의 변환)이 가능하다. 또한, 인식된 정보에 대한 정의나 뜻 풀이(해석)도 가능하다. In this case, a language conversion (for example, Korean to English) is possible for the recognized information according to a user's request. It is also possible to define or interpret the meaning of the recognized information.

본 발명은 상술한 실시예에 한정되지 않고, 다양한 변형이 가능하다. The present invention is not limited to the above embodiment, and various modifications are possible.

하기에서는 본 실시예의 변형예에 따른 출판물 패턴 인식 유닛을 갖는 멀티미디어 장치에 관하여 설명한다. 후술되는 설명중 앞서 설명한 실시예와 중복되는 설명은 생략한다. 또한, 후술되는 설명의 기술은 앞서 설명한 실시예에 적용 가능하다. The following describes a multimedia apparatus having a publication pattern recognition unit according to a modification of the present embodiment. Descriptions overlapping with the above-described embodiments will be omitted. In addition, the description of the following description is applicable to the above-described embodiment.

도 6은 일 실시예의 제 1 변형예에 따른 패턴 인식 유닛을 갖는 멀티미디어 장치의 블록도이다. 6 is a block diagram of a multimedia apparatus having a pattern recognition unit according to a first modification of the embodiment.

본 변형예에 따른 멀티미디어 장치는 하우징(110)과, 유닛 무선 통신부(160)와, 센서 및 감지부(130) 및 전원부(170)를 포함하는 출판물 패턴 인식 유닛(100)와, 유닛 인증 기능을 갖는 단말 무선 통신부(260)와, 패턴 인식부(270)와, 미디어 정보 산출부(220)와, 음성 출력부(230)와, 디스플레이부(240)와, 제어부(250)를 갖는 멀티미디어 단말기(200)를 포함한다. The multimedia apparatus according to the present modification includes a publication pattern recognition unit 100 including a housing 110, a unit wireless communication unit 160, a sensor and a sensing unit 130, and a power supply unit 170, and a unit authentication function. A multimedia terminal having a terminal wireless communication unit 260, a pattern recognition unit 270, a media information calculation unit 220, a voice output unit 230, a display unit 240, and a control unit 250. 200).

이때, 유닛 무선 통신부(160)는 센서 및 감지부(130)에서 센싱된 결과를 무선 통신을 통해 멀티미디어 단말기(200)로 제공할 수 있다. 단말 무선 통신부(260)는 유닛 무선 통신부(160)와 통신하여 출판물 패턴 인식 유닛(100)의 동작을 제어할 수 있고, 제공받은 센싱 결과를 패턴 인식부(270)에 제공하여 출판물 표면의 패턴을 인식하게 할 수 있다. 또한, 단말 무선 통신부(260)는 접속된 유닛 무선 통신부(160)의 고유 신호를 인식하여 해당 유닛 무선 통신부(160)의 신호만을 입력받는 것이 효과적이다. 여기서 사용되는 무선 통신은 그 방식이 한정되지 않고, 다양한 형태의 무선 통신 방법이 사용될 수 있다. In this case, the unit wireless communication unit 160 may provide the result sensed by the sensor and the sensing unit 130 to the multimedia terminal 200 through wireless communication. The terminal wireless communication unit 260 may communicate with the unit wireless communication unit 160 to control the operation of the publication pattern recognition unit 100, and provide the received sensing result to the pattern recognition unit 270 to provide a pattern on the surface of the publication. It can make you aware. In addition, the terminal wireless communication unit 260 recognizes the unique signal of the connected unit wireless communication unit 160 is effective to receive only the signal of the unit wireless communication unit 160. The wireless communication used herein is not limited in its manner, and various types of wireless communication methods may be used.

이와 같은 무선 통신을 통해 출판물 패턴 인식 유닛(100)이 멀티미디어 단말기(200)로 부터 자유로이 이격될 수 있는 장점이 있게 된다. 또한, 패턴 인식 유닛(100)을 다양한 형태로의 제작이 가능하게 된다. Through such a wireless communication, the publication pattern recognition unit 100 may be freely spaced apart from the multimedia terminal 200. In addition, the pattern recognition unit 100 may be manufactured in various forms.

물론, 앞선 실시예에 언급하였듯이, 패턴 인식 유닛(100)이 멀티미디어 단말기(200)에 탈착될 수 있는 것도 가능하다. Of course, as mentioned in the above embodiment, it is also possible that the pattern recognition unit 100 can be attached to and detached from the multimedia terminal 200.

또한, 앞서 도 1에 언급한 바와 같이 패턴 인식부(270)가 패턴 인식 유닛(100)에 위치하여, 패턴 인식부(270)에 의해 인식된 패턴 판단 신호가 상기의 유닛 무선 통신부(160)를 통해 단말 무선 통신부(260)로 제공되는 것도 가능하다. In addition, as described above with reference to FIG. 1, the pattern recognizing unit 270 is located in the pattern recognizing unit 100, so that the pattern determination signal recognized by the pattern recognizing unit 270 transmits the unit wireless communication unit 160. It is also possible to be provided to the terminal wireless communication unit 260 through.

본 변형예에서는 패턴 인식부(270)가 멀티미디어 단말기(200)에 위치함으로 인해 패턴 인식 유닛(100)의 구성을 더욱 단순화할 수 있다. 또한, 멀티미디어 단말기(200) 내에서 패턴 인식부(270)가 어플리케이션 형태로 동작하게 되므로, 패턴 인식 속도가 향상될 수 있다. 또한, 인터넷 통신 기능을 갖는 멀티미디어 단말기(200)를 통해 어플리케이션의 지속적인 업데이트가 가능하게 되어 더욱 효과적인 패턴 인식을 할 수 있는 장점이 있다. In the present modification, since the pattern recognition unit 270 is located in the multimedia terminal 200, the configuration of the pattern recognition unit 100 may be further simplified. In addition, since the pattern recognition unit 270 operates in an application form in the multimedia terminal 200, the pattern recognition speed may be improved. In addition, through the multimedia terminal 200 having the Internet communication function is possible to continuously update the application has the advantage of more effective pattern recognition.

이를 위해 본 발명은 패턴 인식 유닛 관리 시스템을 더 구비할 수 있다. To this end, the present invention may further include a pattern recognition unit management system.

도 7은 본 발명의 일 실시예에 따른 패턴 인식 유닛 관리 시스템의 블록도이다. 7 is a block diagram of a pattern recognition unit management system according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 본 실시예에 따른 패턴 인식 유닛 관리 시스템은 출판물에 인쇄된 패턴 정보를 제공하는 출판물 서버(2000)와, 패턴 인식 유닛(100)이 장착되어 출판물에 인쇄된 패턴 정보를 멀티미디어 정보로 제공받는 멀티미디어 장치(1000)와, 출판물 서버(2000)로부터 제공받은 패턴 정보를 멀티미디어 장치에 제공하는 관리 서버(3000)를 포함한다. As shown in FIG. 7, the pattern recognition unit management system according to the present embodiment includes a publication server 2000 that provides pattern information printed on a publication, and a pattern information printed on the publication by mounting the pattern recognition unit 100. It includes a multimedia device 1000 provided with the multimedia information, and the management server 3000 for providing the multimedia device with the pattern information provided from the publication server (2000).

출판물 서버(2000)는 유/무선 통신망을 통해 출판물에 인쇄된 패턴 정보를 관리 서버에 등록한다. 이를 위해 출판물 서버(200)는 통신망 연결부와, 패턴 정보 전송부를 구비한다. The publication server 2000 registers the pattern information printed on the publication in the management server through a wired / wireless communication network. To this end, the publication server 200 includes a communication network connection unit and a pattern information transmission unit.

관리 서버(3000)는 제공된 패턴 정보를 이용하여 어플리케이션을 생성 또는 업데이트하고, 이를 유/무선 통신망을 통해 멀티미디어 장치에 전송한다. 이를 위해 관리 서버는 통신망 연결부와, 어플리케이션 생성 및 편집부와, 어플리케이션 전송부를 구비한다. The management server 3000 generates or updates an application using the provided pattern information and transmits the application to the multimedia device through a wired / wireless communication network. To this end, the management server includes a communication network connection unit, an application generation and editing unit, and an application transmission unit.

멀티미디어 장치(100)는 제공받은 어플리케이션을 이용하여 출판물에 인쇄된 패턴 정보를 인식하고, 이에 대응하는 멀티미디어 정보를 사용자에게 제공한다. 앞선 실시예에서와 같이 멀티미디어 장치는 패턴 인식 유닛과 멀티미디어 단말기를 포함하고, 멀티미디어 단말기내에 어플리케이션이 설치된다. 따라서, 패턴 인식 유닛에 의해 제공된 패턴 판단 신호와 대응되는 패턴 정보와 일치하는 멀티미디어 정보를 어플리케이션을 통해 찾을 수 있고, 자유로운 업데이트를 통해 다양한 출판물의 정보를 실시간으로 확인하는 것이 가능해질 수 있다. The multimedia apparatus 100 recognizes the pattern information printed on the publication by using the provided application, and provides the user with the multimedia information corresponding thereto. As in the previous embodiment, the multimedia apparatus includes a pattern recognition unit and a multimedia terminal, and an application is installed in the multimedia terminal. Therefore, multimedia information that matches the pattern information corresponding to the pattern determination signal provided by the pattern recognition unit can be found through the application, and the information of various publications can be confirmed in real time through a free update.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
Although the technical spirit of the present invention described above has been described in detail in a preferred embodiment, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention.

100 : 패턴 인식 유닛 110 : 유닛 하우징
120 : 유닛 연결 단자 130 : 센서 및 감지부
140 : 패턴 인식부 150 : 접촉부
200 : 멀티미디어 단말기 210 : 연결 단자
220 : 미디어 정보 산출부 230 : 음성 출력부
240 : 디스플레이부 250 : 메인 제어부
1000 : 멀티미디어 장치 2000 : 출판물 서버
3000 : 관리 서버100: pattern recognition unit 110: unit housing
120: unit connection terminal 130: sensor and detection unit
140: pattern recognition unit 150: contact unit
200: multimedia terminal 210: connection terminal
220: media information calculation unit 230: audio output unit
240: display unit 250: main control unit
1000: Multimedia Device 2000: Publication Server
3000: management server

Claims (13)

멀티미디어 단말기에 접속되어 사용되는 패턴 인식 유닛으로서,
유닛 하우징;
상기 유닛 하우징과 멀티미디어 단말기를 연결하기 위한 유닛 연결 단자;
출판물의 패턴을 감지하는 센서 및 감지부;
감지된 패턴 인식을 처리하는 패턴 인식부; 및
접속되는 멀티미디어 단말기를 식별하는 기기 식별부를 포함하며,
상기 센서 및 감지부는 출판물에 인쇄된 패턴을 인식하거나, 촬영하는 센서 또는 카메라를 포함하고, 상기 출판물 상에 OID 패턴이 적용되고, 상기 센서 및 감지부는 OID 패턴을 인식 감지할 수 있는 센서가 마련되고,
상기 패턴 인식부는,
상기 센서 및 감지부의 패턴 인식 신호와 저장된 인식 패턴 판단 정보의 비교를 통해 패턴 판단 신호를 생성하는 인식 패턴 판단부와, 인식 패턴 판단부의 판단 결과를 전송하는 결과 전송부와, 다수의 인식 패턴 판단을 위한 정보가 저장된 정보 저장부를 포함하는 것을 특징으로 하는 패턴 인식 유닛.
A pattern recognition unit connected to a multimedia terminal for use,
Unit housings;
A unit connection terminal for connecting the unit housing and the multimedia terminal;
A sensor and a sensing unit for detecting a pattern of the publication;
A pattern recognition unit processing the detected pattern recognition; And
Device identification unit for identifying the connected multimedia terminal,
The sensor and the sensing unit includes a sensor or a camera for recognizing or photographing a pattern printed on the publication, the OID pattern is applied to the publication, the sensor and the sensing unit is provided with a sensor for detecting and detecting the OID pattern ,
The pattern recognition unit,
A recognition pattern determination unit generating a pattern determination signal by comparing the pattern recognition signal of the sensor and the detection unit with stored recognition pattern determination information, a result transmission unit transmitting a determination result of the recognition pattern determination unit, and a plurality of recognition pattern determinations And an information storage unit for storing the information for the pattern recognition unit.
삭제delete 삭제delete 제1항에 있어서,
상기 유닛 연결 단자는 멀티미디어 단말기와 접속하되, 선을 통해 접속되거나, 멀티미디어 단말기에 직접 접속되며, 직접 접속시 유닛 하우징과 멀티미디어 단말기 간의 분리를 방지하기 위한 수단이 마련된 것을 특징으로 하는 패턴 인식 유닛.
The method of claim 1,
The unit connection terminal is connected to the multimedia terminal, connected via a line, or directly connected to the multimedia terminal, the pattern recognition unit, characterized in that provided with means for preventing separation between the unit housing and the multimedia terminal when directly connected.
유닛 하우징; 상기 유닛 하우징과 멀티미디어 단말기를 연결하기 위한 유닛 연결 단자; 출판물의 패턴을 감지하는 센서 및 감지부; 감지된 패턴 인식을 처리하는 패턴 인식부; 및 접속되는 멀티미디어 단말기를 식별하는 기기 식별부를 포함하는 패턴 인식 유닛 및
상기 패턴 인식 유닛의 신호에 따라 멀티미디어화된 정보로 사용자에게 제공하는 멀티미디어 단말기를 포함하며,
상기 센서 및 감지부는 출판물에 인쇄된 패턴을 인식하거나, 촬영하는 센서 또는 카메라를 포함하고, 상기 출판물 상에 OID 패턴이 적용되고, 상기 센서 및 감지부는 OID 패턴을 인식 감지할 수 있는 센서가 마련되고,
상기 패턴 인식부는 상기 센서 및 감지부의 패턴 인식 신호와 저장된 인식 패턴 판단 정보의 비교를 통해 패턴 판단 신호를 생성하는 인식 패턴 판단부와, 인식 패턴 판단부의 판단 결과를 전송하는 결과 전송부와, 다수의 인식 패턴 판단을 위한 정보가 저장된 정보 저장부를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치.
Unit housings; A unit connection terminal for connecting the unit housing and the multimedia terminal; A sensor and a sensing unit for detecting a pattern of the publication; A pattern recognition unit for processing the detected pattern recognition; And a device identification unit identifying a connected multimedia terminal.
A multimedia terminal for providing a user with multimedia information according to a signal of the pattern recognition unit,
The sensor and the sensing unit includes a sensor or a camera for recognizing or photographing a pattern printed on the publication, the OID pattern is applied to the publication, the sensor and the sensing unit is provided with a sensor for detecting and detecting the OID pattern ,
The pattern recognition unit includes a recognition pattern determination unit for generating a pattern determination signal by comparing the pattern recognition signal of the sensor and the detection unit with stored recognition pattern determination information, a result transmission unit for transmitting a determination result of the recognition pattern determination unit, And an information storage unit for storing information for determining a recognition pattern.
제5항에 있어서,
상기 멀티미디어 단말기는 상기 패턴 인식 유닛과 전기적으로 연결되는 연결 단자와, 패턴 인식 유닛의 패턴 판단 신호에 대응하는 멀티미디어 정보를 산출하는 미디어 정보 산출부와, 음성을 출력하는 음성 출력부와, 영상 및 이미지를 출력하는 디스플레이부와, 각부의 동작 및 패턴 인식 유닛의 동작을 제어하는 메인 제어부를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치.
The method of claim 5,
The multimedia terminal includes a connection terminal electrically connected to the pattern recognition unit, a media information calculator for calculating multimedia information corresponding to the pattern determination signal of the pattern recognition unit, a voice output unit for outputting voice, images and images And a main controller configured to control an operation of each unit and an operation of the pattern recognition unit.
제5항에 있어서,
상기 멀티미디어 단말기의 기능을 스마트 기기의 어플리케이션을 통해 수행하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치.
The method of claim 5,
Multimedia device capable of pattern recognition, characterized in that for performing the function of the multimedia terminal through the application of the smart device.
제6항에 있어서,
상기 패턴 인식 유닛은 상기 유닛 하우징과 멀티미디어 단말기 간 무선 통신을 실시하는 유닛 무선 통신부를 더 포함하며,
상기 멀티미디어 단말기는 유닛 인증 기능을 갖는 단말 무선 통신부를 더 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치.
The method according to claim 6,
The pattern recognition unit further includes a unit wireless communication unit for performing wireless communication between the unit housing and the multimedia terminal,
The multimedia terminal may further include a terminal wireless communication unit having a unit authentication function.
제5항 내지 제8항 중 어느 한 항에 따른 패턴 인식이 가능한 멀티미디어 장치의 구동 방법에 있어서,
멀티미디어 단말기에 접속된 패턴 인식 유닛이 출판물의 표면 패턴을 감지하는 단계;
상기 패턴 인식 유닛이 감지 결과를 이용하여 패턴을 판단하고, 패턴 판단 신호를 멀티미디어 단말기에 전송하는 단계;
상기 멀티미디어 단말기가 패턴 판단 신호에 대응되는 멀티미디어 정보를 산출 또는 생성하는 단계; 및
상기 멀티미디어 단말기가 상기 산출 또는 생성된 미디어 정보를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치의 구동 방법.
A method of driving a multimedia apparatus capable of pattern recognition according to any one of claims 5 to 8,
Detecting, by a pattern recognition unit connected to the multimedia terminal, a surface pattern of the publication;
Determining, by the pattern recognition unit, a pattern using a detection result, and transmitting a pattern determination signal to a multimedia terminal;
Calculating or generating, by the multimedia terminal, multimedia information corresponding to a pattern determination signal; And
And providing, by the multimedia terminal, the calculated or generated media information to a user.
제9항에 있어서,
상기 출판물 표면의 패턴이 OID 패턴인 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치의 구동 방법.
10. The method of claim 9,
And a pattern on the surface of the publication is an OID pattern.
제9항에 있어서, 상기 출판물의 표면 패턴을 감지하는 단계 전에,
상기 패턴 인식 유닛에 전원을 제공하거나, 상기 멀티미디어 단자 내의 프로그램(어플리케이션)이 실행되어 패턴 인식 유닛의 구동을 제어하는 것을 특징으로 하는 패턴 인식이 가능한 멀티미디어 장치의 구동 방법. The method of claim 9, prior to detecting the surface pattern of the publication,
A method for driving a pattern recognition multimedia device, characterized in that to supply power to the pattern recognition unit or to execute a program (application) in the multimedia terminal to control the driving of the pattern recognition unit. 삭제delete 삭제delete
KR1020130031548A 2013-03-25 2013-03-25 Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same KR101318949B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031548A KR101318949B1 (en) 2013-03-25 2013-03-25 Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031548A KR101318949B1 (en) 2013-03-25 2013-03-25 Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same

Publications (1)

Publication Number Publication Date
KR101318949B1 true KR101318949B1 (en) 2013-10-29

Family

ID=49638640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031548A KR101318949B1 (en) 2013-03-25 2013-03-25 Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same

Country Status (1)

Country Link
KR (1) KR101318949B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457179B1 (en) * 2013-11-14 2014-11-03 (주)씨엔씨네트웍 Smart device having pattern recognition gender and studying system and method using the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010497A (en) * 2005-07-19 2007-01-24 박홍철 System for joining image and internet page, and method thereof
KR20070098375A (en) * 2006-04-01 2007-10-05 박순영 Input and output module composed by image sensor and laser projector, and mobile phone using it, which plus digital dictionary
KR20090044627A (en) * 2007-11-01 2009-05-07 주식회사 지팡이 User created contents smart opitc pen and the method for operating the same
KR101056862B1 (en) * 2010-09-13 2011-08-12 송길석 Mobile phone gender combined contactless type touch pen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070010497A (en) * 2005-07-19 2007-01-24 박홍철 System for joining image and internet page, and method thereof
KR20070098375A (en) * 2006-04-01 2007-10-05 박순영 Input and output module composed by image sensor and laser projector, and mobile phone using it, which plus digital dictionary
KR20090044627A (en) * 2007-11-01 2009-05-07 주식회사 지팡이 User created contents smart opitc pen and the method for operating the same
KR101056862B1 (en) * 2010-09-13 2011-08-12 송길석 Mobile phone gender combined contactless type touch pen

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457179B1 (en) * 2013-11-14 2014-11-03 (주)씨엔씨네트웍 Smart device having pattern recognition gender and studying system and method using the same

Similar Documents

Publication Publication Date Title
KR102624327B1 (en) Method for location inference of IoT device, server and electronic device supporting the same
KR102560689B1 (en) Method and apparatus for displaying an ar object
KR20200100918A (en) Electronic device for providing various functions through application using a camera and operating method thereof
US20210383806A1 (en) User input processing method and electronic device supporting same
KR20210050390A (en) Electronic device sharing peripheral device with external electronic device and method thereof
KR102512614B1 (en) Electronic device audio enhancement and method thereof
KR20200127687A (en) Electronic device for establishing a communiation with external electronic device and controlling method thereof
KR20210045280A (en) METHOD FOR CONTROLLING IoT DEVICE AND ELECTRONIC DEVICE THEREFOR
KR20200110006A (en) Electronic device for controlling external conversion device
KR20200101048A (en) An electronic device for processing image and image processing method thereof
KR102607787B1 (en) Electronic device and Method of controlling thereof
KR102511720B1 (en) Apparatus and method for visually displaying voice of speaker at 360 video
KR101318949B1 (en) Pattern recognition unit, multimedia apparatus with pattern recognition and method for driving the same
KR20190107901A (en) Electronic device for executing various functions based on a signal recevied from an electric pen
US11425081B2 (en) Message reception notification method and electronic device supporting same
KR102574210B1 (en) An electronic device comprising key assembly including pressure sensor and a operation method thereof
KR102156054B1 (en) Electronic pen system interlocked with artificial intelligent speaker
KR20190108977A (en) Screen controlling method and electronic device supporting the same
KR102429901B1 (en) Electronic device and method for generating partial image
KR20220125648A (en) Apparatus and method for generating image
KR20200121549A (en) Electronic device recognizing accessory
KR20200054153A (en) Electronic pen system interlocked with artificial intelligent speaker with microphone
KR20200054154A (en) Electronic pen system for controlling function of artificial intelligent speaker
KR20200054152A (en) Electronic pen system for controlling interactive program in conjunction with artificial intelligent speaker
KR20210122541A (en) Method of providing data and electronic device supporting same

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161212

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee