KR102452152B1 - Device for Converting Contents of Kiosk to Braille in Real time - Google Patents

Device for Converting Contents of Kiosk to Braille in Real time Download PDF

Info

Publication number
KR102452152B1
KR102452152B1 KR1020200145309A KR20200145309A KR102452152B1 KR 102452152 B1 KR102452152 B1 KR 102452152B1 KR 1020200145309 A KR1020200145309 A KR 1020200145309A KR 20200145309 A KR20200145309 A KR 20200145309A KR 102452152 B1 KR102452152 B1 KR 102452152B1
Authority
KR
South Korea
Prior art keywords
finger
text
image information
braille
area
Prior art date
Application number
KR1020200145309A
Other languages
Korean (ko)
Other versions
KR20220059751A (en
Inventor
김성욱
권서현
이채원
Original Assignee
주식회사 포스코아이씨티
권서현
이채원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 포스코아이씨티, 권서현, 이채원 filed Critical 주식회사 포스코아이씨티
Priority to KR1020200145309A priority Critical patent/KR102452152B1/en
Publication of KR20220059751A publication Critical patent/KR20220059751A/en
Application granted granted Critical
Publication of KR102452152B1 publication Critical patent/KR102452152B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04—Devices for conversing with the deaf-blind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 측면에 따른 키오스크 실시간 점자 변환 장치는, 이미지 입력기에서 입력되는 영상정보를 이용하여 텍스트 및 손가락이 표시된 제1 이미지정보를 생성하는 이미지정보 생성부; 상기 제1 이미지정보를 이용하여 상기 텍스트가 표시된 텍스트영역 중 상기 손가락이 가리키는 텍스트영역을 결정하는 인식부; 및 상기 손가락이 가리키는 텍스트영역의 텍스트정보에 대응하는 점자정보를 점자 출력기로 출력하는 점자 출력부;를 포함하는 것을 특징으로 한다.A kiosk real-time braille conversion apparatus according to an aspect of the present invention includes: an image information generator for generating first image information in which text and a finger are displayed by using image information input from an image input device; a recognition unit configured to determine a text area to which the finger points from among the text areas in which the text is displayed by using the first image information; and a braille output unit for outputting braille information corresponding to text information in the text area pointed by the finger to a braille output device.

Figure 112020117258910-pat00001
Figure 112020117258910-pat00001

Description

키오스크 실시간 점자 변환 장치{Device for Converting Contents of Kiosk to Braille in Real time}Device for Converting Contents of Kiosk to Braille in Real time

본 발명은 키오스크 실시간 점자 변환 장치에 관한 것이다.The present invention relates to a kiosk real-time braille conversion device.

일반적으로, 키오스크(KIOSK) 장치는 무인 정보 단말기로서 정부기관이나 지방자치 단체, 은행, 백화점, 및 전시장 등과 같은 공공장소에 설치되어 각종 행정절차나 상품정보, 시설물의 이용방법 등에 대한 안내 서비스를 제공하는데 사용한다.In general, a kiosk device is an unmanned information terminal that is installed in public places such as government agencies, local governments, banks, department stores, and exhibition halls to provide information on various administrative procedures, product information, and how to use facilities. use it to

이러한 키오스크는 주로 터치 디스플레이로 구성되며 키오스크의 터치 디스플레이에 표시되는 내용 및 그 위치가 실시간으로 변경될 수 있으며 점자 출력 장치를 포함하고 있지 않기 때문에, 시각 장애인은 키오스크에 의해 제공되는 안내 서비스를 이용하기 어렵다는 문제가 있다.Since these kiosks mainly consist of a touch display, and the contents and their location displayed on the touch display of the kiosk can be changed in real time, and do not include a braille output device, the visually impaired can use the guidance service provided by the kiosk. There is a difficult problem.

본 발명은 상술한 문제점을 해결하기 위한 것으로서, 키오스크에 표시되는 텍스트를 실시간으로 점자로 변환하여 출력하는 키오스크 실시간 점자 변환 장치를 제공하는 것을 그 기술적 과제로 한다.An object of the present invention is to provide a kiosk real-time braille conversion device that converts and outputs text displayed on a kiosk into braille in real time in order to solve the above problems.

상술한 목적을 달성하기 위한 본 발명의 일 측면에 따른 키오스크 실시간 점자 변환 장치는, 이미지 입력기에서 입력되는 영상정보를 이용하여 텍스트 및 손가락이 표시된 제1 이미지정보를 생성하는 이미지정보 생성부; 상기 제1 이미지정보를 이용하여 상기 텍스트가 표시된 텍스트영역 중 상기 손가락이 가리키는 텍스트영역을 결정하는 인식부; 및 상기 손가락이 가리키는 텍스트영역의 텍스트정보에 대응하는 점자정보를 점자 출력기로 출력하는 점자 출력부;를 포함하는 것을 특징으로 한다.According to one aspect of the present invention, there is provided a kiosk real-time braille conversion apparatus for achieving the above object, comprising: an image information generating unit for generating first image information in which text and a finger are displayed using image information input from an image input device; a recognition unit configured to determine a text area to which the finger points from among the text areas in which the text is displayed by using the first image information; and a braille output unit for outputting braille information corresponding to text information in the text area pointed by the finger to a braille output device.

상술한 바와 같이 본 발명에 따른 키오스크 실시간 점자 변환 장치는 키오스크의 안내 서비스를 실시간으로 점자로 변환하여 시각 장애인에게 제공하는 효과가 있다.As described above, the kiosk real-time braille conversion apparatus according to the present invention has the effect of converting the information service of the kiosk into braille in real time and providing it to the visually impaired.

또한, 본 발명에 따른 키오스크 실시간 점자 변환 장치는 사용자의 손가락과 텍스트가 함께 촬영된 이미지정보를 기반으로 사용자가 손가락으로 가리키고 있는 텍스트를 실시간으로 변환하여 출력하기 때문에 사용자가 손가락으로 가리키고 있는 영역의 위치와 텍스트를 함께 사용자인 시각 장애인에게 제공하여 시각 장애인이 효과적으로 키오스크를 이용할 수 있는 효과가 있다.In addition, the kiosk real-time braille conversion apparatus according to the present invention converts and outputs the text pointed by the user's finger in real time based on image information in which the user's finger and text are photographed together, so the location of the area pointed by the user's finger and text together with the visually impaired users, there is an effect that the visually impaired can use the kiosk effectively.

도 1은 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 구성을 개략적으로 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치에 의해 인식된 텍스트를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 점자 변환 방법을 보여주는 플로우 차트이다.
도 5는 본 발명의 다른 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 지시픽셀 결정방법을 보여주는 플로우 차트이다.1 is a block diagram showing the configuration of a kiosk real-time braille conversion apparatus according to an embodiment of the present invention.
2 is a diagram schematically showing the configuration of a kiosk real-time braille conversion apparatus according to an embodiment of the present invention.
3 is a view showing text recognized by the kiosk real-time braille conversion apparatus according to an embodiment of the present invention.
4 is a flowchart illustrating a braille conversion method of a real-time braille conversion apparatus at a kiosk according to an embodiment of the present invention.
5 is a flowchart illustrating a method for determining an indicator pixel of a kiosk real-time braille conversion apparatus according to another embodiment of the present invention.

명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소들을 의미한다. 이하의 설명에서, 본 발명의 핵심 구성과 관련이 없는 경우 및 본 발명의 기술분야에 공지된 구성과 기능에 대한 상세한 설명은 생략될 수 있다. 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.Like reference numerals refer to substantially identical elements throughout. In the following description, a detailed description of configurations and functions known in the art and cases not related to the core configuration of the present invention may be omitted. The meaning of the terms described herein should be understood as follows.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.The shapes, sizes, proportions, angles, numbers, etc. disclosed in the drawings for explaining the embodiments of the present invention are illustrative and the present invention is not limited to the illustrated matters. Like reference numerals refer to like elements throughout. In addition, in describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

본 명세서에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.When 'including', 'having', 'consisting', etc. mentioned in this specification are used, other parts may be added unless 'only' is used. When a component is expressed in the singular, the case in which the plural is included is included unless specifically stated otherwise.

구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting the components, it is interpreted as including an error range even if there is no separate explicit description.

위치 관계에 대한 설명일 경우, 예를 들어, '~상에', '~상부에', '~하부에', '~옆에' 등으로 두 부분의 위치 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 두 부분 사이에 하나 이상의 다른 부분이 위치할 수도 있다.In the case of a description of the positional relationship, for example, when the positional relationship of two parts is described as 'on', 'on', 'on', 'beside', etc., 'right' Alternatively, one or more other parts may be positioned between two parts unless 'directly' is used.

시간 관계에 대한 설명일 경우, 예를 들어, '~후에', '~에 이어서', '~다음에', '~전에' 등으로 시간적 선후 관계가 설명되는 경우, '바로' 또는 '직접'이 사용되지 않는 이상 연속적이지 않은 경우도 포함할 수 있다.In the case of a description of a temporal relationship, for example, 'immediately' or 'directly' when a temporal relationship is described as 'after', 'following', 'after', 'before', etc. It may include cases that are not continuous unless this is used.

제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although the first, second, etc. are used to describe various components, these components are not limited by these terms. These terms are only used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미할 수 있다. The term “at least one” should be understood to include all possible combinations from one or more related items. For example, the meaning of “at least one of the first, second, and third items” means 2 of the first, second, and third items as well as each of the first, second, or third items. It may mean a combination of all items that can be presented from more than one.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하고, 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시할 수도 있다.Each feature of the various embodiments of the present invention may be partially or wholly combined or combined with each other, technically various interlocking and driving are possible, and each of the embodiments may be implemented independently of each other or may be implemented together in a related relationship. may be

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 구체적으로 설명한다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 구성을 보여주는 블록도이고, 도 2는 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 구성을 개략적으로 보여주는 도면이다. 도 3은 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치에 의해 인식된 텍스트를 보여주는 도면이다.1 is a block diagram showing the configuration of a kiosk real-time braille transformation apparatus according to an embodiment of the present invention, and FIG. 2 is a diagram schematically showing the configuration of a kiosk real-time braille transformation apparatus according to an embodiment of the present invention. 3 is a view showing text recognized by the kiosk real-time braille conversion apparatus according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 키오스크 실시간 점자 변환 장치(100)는 사용자의 손가락 및 텍스트를 촬영하는 이미지 입력기(200)로부터 생성되는 영상정보를 입력받아 제1 이미지정보를 생성하는 이미지정보 생성부(110), 제1 이미지정보를 이용하여 사용자가 가리키고 있는 텍스트를 판별하는 인식부(120) 및 인식부(120)에 의해 인식된 텍스트에 대응하는 점자정보를 점자 출력기(300)로 출력하는 점자 출력부(130)로 구성된다.1 and 2 , the kiosk real-time braille conversion apparatus 100 according to an embodiment of the present invention receives image information generated from an image input device 200 that captures a user's finger and text, and receives the first image information The image information generating unit 110 that generates It is composed of a braille output unit 130 that outputs 300.

이미지정보 생성부(110)는 키오스크 디스플레이(1000)를 촬영하는 이미지 입력기(200)로부터 생성되는 영상정보를 입력받아 제1 이미지정보를 생성한다. 구체적으로, 이미지정보 생성부(110)는 사용자가 점자로 변환하고자 하는 텍스트를 포함하는 키오스크 디스플레이(1000)의 일부 영역을 촬영하는 이미지 입력기(200)로부터 생성되는 영상정보를 입력받아 제1 이미지정보를 생성한다. 이때, 제1 이미지정보는 RGB 색공간에서 정의된 정보일 수 있다. 이때, 이미지 입력기(200)는 반지형 웨어러블 장치로 구현될 수 있다. 이에 따라, 시각 장애인은 시각 장애인의 손가락과 키오스크 디스플레이(1000)에 표시되는 내용을 반지형 웨어러블 장치를 통해 실시간으로 촬영할 수 있다. The image information generating unit 110 receives image information generated from the image input device 200 for photographing the kiosk display 1000 and generates first image information. Specifically, the image information generating unit 110 receives image information generated from the image input device 200 for photographing a partial region of the kiosk display 1000 including text that the user wants to convert into Braille, and receives the first image information create In this case, the first image information may be information defined in the RGB color space. In this case, the image input device 200 may be implemented as a ring-type wearable device. Accordingly, the visually impaired can photograph the visually impaired's finger and the contents displayed on the kiosk display 1000 in real time through the ring-type wearable device.

본 발명의 일 실시예에 따르면, 이미지 입력기(200)는 키오스크 실시간 점자 변환 장치(100)와 구분되는 별도의 장치로 구성될 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100)는 스마트폰과 같은 단말기로 구성되고, 이미지 입력기(200)는 단말기와 구분되는 반지형 웨어러블 장치로 구성될 수 있다. 이를 위해, 키오스크 실시간 점자 변환 장치(100) 및 이미지 입력기(200)는 유선 또는 무선 통신 모듈을 포함할 수 있다. 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치(100) 및 이미지 입력기(200)는 유선 통신 또는 근거리 무선 통신을 이용하여 영상정보를 송수신할 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100) 및 이미지 입력기(200)는 근거리 유선 통신 매체인 USB(Universal Serial Bus), RS-232c 및 1394 또는 근거리 무선 통신 매체인 IEEE 802.11.x 규격을 따르는 블루투스(BlueTooth), 와이파이(Wi-Fi), UWB(Ultra Wide Band system) 중 적어도 어느 하나의 방식을 이용하여 영상저보를 송수신할 수 있다. According to an embodiment of the present invention, the image input device 200 may be configured as a separate device distinct from the kiosk real-time braille conversion device 100 . For example, the kiosk real-time braille conversion device 100 may be configured as a terminal such as a smartphone, and the image input device 200 may be configured as a ring-type wearable device that is distinguished from the terminal. To this end, the kiosk real-time braille conversion apparatus 100 and the image input device 200 may include a wired or wireless communication module. The kiosk real-time braille conversion apparatus 100 and the image input device 200 according to an embodiment of the present invention may transmit/receive image information using wired communication or short-range wireless communication. For example, the kiosk real-time braille conversion device 100 and the image input device 200 are short-range wired communication media such as USB (Universal Serial Bus), RS-232c and 1394 or short-distance wireless communication medium, Bluetooth compliant with IEEE 802.11.x standard. (BlueTooth), Wi-Fi (Wi-Fi), UWB (Ultra Wide Band system) can be transmitted and received using at least any one method.

또한, 본 발명의 다른 일 실시예에 따른 키오스크 실시간 점자 변환 장치(100)는 이미지 입력기(200)와 함께 일체로 형성될 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100)와 이미지 입력기(200)는 일체로 구성된 반지형 웨어러블 장치일 수 있으며, 또는 키오스크 실시간 점자 변환 장치(100)와 이미지 입력기(200)는 일체로 구성된 단말기일 수 있다.In addition, the kiosk real-time braille conversion apparatus 100 according to another embodiment of the present invention may be integrally formed with the image input device 200 . For example, the kiosk real-time braille conversion device 100 and the image input device 200 may be a ring-type wearable device configured integrally, or the kiosk real-time braille conversion device 100 and the image input device 200 are integrally configured terminals. can be

인식부(120)는 이미지정보 생성부(110)로부터 생성된 제1 이미지정보를 이용하여 사용자가 가리키고 있는 텍스트정보를 추출한다. 이를 위해, 본 발명의 일 실시예에 따른 인식부(120)는 도 2에 도시된 바와 같이, 텍스트 인식부(122), 지시영역 인식부(124) 및 지시 텍스트 판별부(126)를 포함한다.The recognition unit 120 extracts text information pointed to by the user by using the first image information generated by the image information generation unit 110 . To this end, the recognition unit 120 according to an embodiment of the present invention includes a text recognition unit 122 , an indication area recognition unit 124 , and an indication text determination unit 126 as shown in FIG. 2 . .

텍스트 인식부(122)는 도 3에 도시된 바와 같이, 이미지정보 생성부(110)로부터 생성된 제1 이미지정보(Img1)에 표시되는 텍스트영역(TA1, TA2)을 추출하고, 각 텍스트영역(TA1, TA2)에 대한 텍스트영역정보를 추출한다. 구체적으로, 텍스트 인식부(122)는 OCR(Optical Character Recognition) 기법을 통해 제1 이미지정보(Img1)에서 텍스트영역(TA1, TA2)을 인식하고, 텍스트영역(TA1, TA2)에 대한 정보인 텍스트영역정보를 추출한다. 예를 들어, 텍스트 인식부(122)는 OCR 기법을 제공하는 어플리케이션 프로그래밍 인터페이스(APIs; Application Programming Interfaces)를 이용하여 제1 이미지정보(Img1)에 표시된 텍스트영역(TA1, TA2)에 대한 텍스트영역정보를 추출한다. 이때, 도 3에 도시된 바와 같이, 텍스트영역정보는 텍스트영역(TA1, TA2)에 표시된 문자에 대한 정보인 텍스트정보("블랙 밀크티") 및 제1 이미지정보(Img1)에서 텍스트영역(TA1, TA2)의 좌표(P1, P2)를 나타내는 텍스트영역 위치정보를 포함한다. 구체적으로, 텍스트 인식부(122)는 텍스트영역 위치정보는 제1 이미지정보(Img1)에서 사각형의 텍스트영역(TA1)의 좌측 상단 좌표인 제1 텍스트영역 위치정보 P1(x1, y1) 및 우측 하단 좌표인 제2 텍스트영역 위치정보 P2(x2, y2)를 포함하고, 텍스트 인식부(122)는 제1 텍스트영역 위치정보 P1(x1, y1) 및 제2 텍스트영역 위치정보 P2(x2, y2)를 이용하여 제1 이미지정보에 텍스트영역(TA1)을 bounding box로 표시할 수 있다.As shown in FIG. 3 , the text recognition unit 122 extracts text areas TA1 and TA2 displayed in the first image information Img1 generated by the image information generation unit 110, and each text area ( Text area information for TA1, TA2) is extracted. Specifically, the text recognition unit 122 recognizes the text areas TA1 and TA2 from the first image information Img1 through an OCR (Optical Character Recognition) technique, and the text that is information about the text areas TA1 and TA2. Extract area information. For example, the text recognition unit 122 uses application programming interfaces (APIs) that provide the OCR technique to provide text area information for the text areas TA1 and TA2 displayed in the first image information Img1. to extract At this time, as shown in FIG. 3 , the text area information includes text information (“black milk tea”) that is information about characters displayed in the text areas TA1 and TA2 and text areas TA1 and TA1 in the first image information Img1. TA2) includes the text area position information indicating the coordinates (P1, P2). Specifically, the text recognizing unit 122 includes the text area location information as the first text area location information P1(x1, y1), which is the upper left coordinate of the rectangular text area TA1 in the first image information Img1, and the lower right corner. and second text area location information P2(x2, y2) as coordinates, and the text recognition unit 122 includes the first text area location information P1(x1, y1) and the second text area location information P2(x2, y2) can be used to display the text area TA1 in the first image information as a bounding box.

지시영역 인식부(124)는 도 3에 도시된 바와 같이, 제1 이미지정보(Img1)를 이용하여 사용자의 손가락 말단에 대응하는 지시픽셀(Pp)을 결정한다.As shown in FIG. 3 , the indication area recognition unit 124 determines the indication pixel Pp corresponding to the end of the user's finger by using the first image information Img1.

지시영역 인식부(124)는 RGB 색공간에서 정의되는 제1 이미지정보를 HSV 색공간에서 정의되는 제2 이미지정보로 변환한다. The indication region recognition unit 124 converts first image information defined in the RGB color space into second image information defined in the HSV color space.

지시영역 인식부(124)는 변환된 제2 이미지정보를 이용하여 제1 이미지정보(Img1) 및 제2 이미지정보에서 사용자의 손가락을 표시하는 손가락 픽셀(Pf)을 결정한다. 지시영역 인식부(124)는 제2 이미지정보를 구성하는 픽셀들 중 변환된 제2 이미지정보에서 미리 정해진 색조(Hue) 임계 범위 내의 색조값을 갖고, 미리 정해진 밝기(Value) 임계 범위 내의 밝기값을 갖는 픽셀들을 추출하여 손가락 픽셀을 결정한다.The indication area recognition unit 124 determines a finger pixel Pf indicating the user's finger from the first image information Img1 and the second image information by using the converted second image information. The indication area recognition unit 124 has a hue value within a predetermined Hue threshold range in the converted second image information among pixels constituting the second image information, and a brightness value within a predetermined value threshold range. A finger pixel is determined by extracting pixels having .

지시영역 인식부(124)는 결정된 손가락 픽셀들을 Connected Component 기법을 이용하여 후보 지시영역을 결정한다. 구체적으로, 지시영역 인식부(124)는 제2 이미지정보의 손가락 픽셀들 중 연결된 객체들을 인식하여 연결된 각각의 객체들을 후보 지시영역으로 결정한다.The indication area recognition unit 124 determines a candidate indication area using the connected component technique for the determined finger pixels. Specifically, the pointing area recognition unit 124 recognizes connected objects among the finger pixels of the second image information and determines each of the connected objects as a candidate pointing area.

지시영역 인식부(124)는 후보 지시영역 중 지시영역(PA)을 결정한다. 본 발명의 일 실시예에 따르면, 반지형 웨어러블 장치로 구현된 이미지정보 생성부(110)가 제1 이미지정보(Img1)를 생성하기 때문에, 사용자의 손가락이 촬영되어 제1 이미지정보(Img1) 및 제2 이미지정보에 표시되고, 특히 사용자의 손가락은 제1 이미지정보(Img1) 및 제2 이미지정보 내에서 x축의 중앙 및 y축의 최하단에 위치한 픽셀(Pf)을 포함하는 영역에 표시될 수 있다. 이에 따라, 키오스크 실시간 점자 변환 장치는 후보 지시영역 중 x축의 중앙 및 y축의 최하단에 위치한 픽셀(Pf)을 포함하는 후보 지시영역을 지시영역(PA)으로 결정할 수 있다.The indication area recognition unit 124 determines the indication area PA among the candidate indication areas. According to an embodiment of the present invention, since the image information generating unit 110 implemented as a ring-type wearable device generates the first image information Img1, the user's finger is photographed and the first image information Img1 and It is displayed in the second image information, and in particular, the user's finger may be displayed in an area including the pixel Pf located at the center of the x-axis and the lowest end of the y-axis in the first image information Img1 and the second image information. Accordingly, the kiosk real-time braille conversion apparatus may determine the candidate indication area including the pixel Pf located at the center of the x-axis and the lowest end of the y-axis among the candidate indication areas as the indication area PA.

지시영역 인식부(124)는 결정된 지시영역(PA)을 이루는 픽셀들 중 사용자의 손가락 말단에 대응하는 지시픽셀(Pp)을 결정한다. 지시영역 인식부(124)는 결정된 지시영역을 이루는 픽셀들 중 y좌표가 최대값을 갖는 픽셀을 지시픽셀(Pp)로 결정한다.The indication area recognition unit 124 determines an indication pixel Pp corresponding to the end of the user's finger from among the pixels constituting the determined indication area PA. The indication area recognition unit 124 determines a pixel having the maximum y-coordinate among pixels constituting the determined indication area as the indication pixel Pp.

지시 텍스트 판별부(126)는 텍스트 인식부(122)에서 인식된 텍스트영역들(TA1, TA2) 중 지시영역 인식부(124)에서 결정된 지시픽셀(Pp)과 가장 가까이 위치한 텍스트영역을 판별한다. 즉, 지시 텍스트 판별부(126)는 지시픽셀(Pp)과 텍스트영역(TA1, TA2)들 사이의 거리를 각각 산출한 후, 지시픽셀(Pp)과 가장 가까운 거리에 위치한 텍스트영역(TA1)을 사용자가 손가락으로 가리키는 영역으로 결정할 수 있다. 지시 텍스트 판별부(126)는 지시픽셀(Pp)과 가장 가까운 거리에 위치한 텍스트영역(TA1)의 텍스트정보("블랙 밀크티")를 출력한다. 이에 따라, 본 발명에 따른 키오스크 실시간 점자 변환 장치(100)는 사용자가 손가락으로 가리키고 있는 영역의 텍스트를 실시간으로 변환하여 출력하기 때문에 사용자가 손가락으로 가리키고 있는 영역의 위치와 텍스트를 함께 시각 장애인에게 제공하기 때문에, 시각 장애인은 본 발명에 따른 키오스크 실시간 점자 변환 장치(100)를 이용하여 효과적으로 키오스크를 이용할 수 있다.The indicating text determining unit 126 determines a text area located closest to the indicating pixel Pp determined by the indicating area recognition unit 124 among the text areas TA1 and TA2 recognized by the text recognition unit 122 . That is, the indication text determining unit 126 calculates the distance between the indication pixel Pp and the text areas TA1 and TA2, respectively, and then selects the text area TA1 located at the closest distance to the indication pixel Pp. It can be determined by the area the user points to with his or her finger. The indication text determining unit 126 outputs text information (“black milk tea”) of the text area TA1 located at the closest distance to the indication pixel Pp. Accordingly, since the kiosk real-time braille conversion apparatus 100 according to the present invention converts and outputs the text in the area pointed by the user in real time, the location and text of the area pointed by the user are provided to the visually impaired together. Therefore, the visually impaired can effectively use the kiosk by using the kiosk real-time braille conversion apparatus 100 according to the present invention.

점자 출력부(130)는 지시 텍스트 판별부(126)에서 출력된 텍스트정보를 점자표현 알고리즘을 통해 점자정보로 변환하여 점자 출력기(300)로 출력한다. 점자 출력기(300)는 점자 출력부(130)로부터 수신한 점자정보를 통해 시각장애인들이 인지할 수 있는 점자로 표현한다.The braille output unit 130 converts the text information output from the instruction text determining unit 126 into braille information through a braille expression algorithm and outputs it to the braille output device 300 . The braille output unit 300 expresses the braille information that the visually impaired can recognize through the braille information received from the braille output unit 130 .

본 발명의 일 실시예에 따르면, 점자 출력기(300)는 키오스크 실시간 점자 변환 장치(100)와 구분되는 별도의 장치로 구성될 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100)는 스마트폰과 같은 단말기로 구성되고, 도트 와치(Dot Watch)와 같은 손목시계형 웨어러블 점자출력장치로 구성될 수 있다. 이를 위해, 키오스크 실시간 점자 변환 장치(100) 및 점자 출력기(300)는 유선 또는 무선 통신 모듈을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 키오스크 실시간 점자 변환 장치(100) 및 점자 출력기(300)는 유선 통신 또는 근거리 무선 통신을 이용하여 점자정보를 송수신할 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100) 및 점자 출력기(300)는 근거리 유선 통신 매체인 USB(Universal Serial Bus), RS-232c 및 1394 또는 근거리 무선 통신 매체인 IEEE 802.11.x 규격을 따르는 블루투스(BlueTooth), 와이파이(Wi-Fi), UWB(Ultra Wide Band system) 중 적어도 어느 하나의 방식을 이용하여 점자정보를 송수신할 수 있다. According to an embodiment of the present invention, the braille output device 300 may be configured as a separate device distinct from the kiosk real-time braille conversion device 100 . For example, the kiosk real-time braille conversion device 100 may be configured as a terminal such as a smart phone, and may be configured as a wristwatch-type wearable braille output device such as a dot watch. To this end, the kiosk real-time braille conversion apparatus 100 and the braille output device 300 may include a wired or wireless communication module. According to an embodiment of the present invention, the kiosk real-time braille conversion apparatus 100 and the braille output device 300 may transmit and receive braille information using wired communication or short-range wireless communication. For example, the kiosk real-time braille conversion device 100 and the braille output device 300 are short-range wired communication media such as USB (Universal Serial Bus), RS-232c, and 1394 or Bluetooth compliant with IEEE 802.11.x short-range wireless communication media. (BlueTooth), Wi-Fi (Wi-Fi), UWB (Ultra Wide Band system) can be transmitted and received using at least one method of braille information.

또한, 본 발명의 다른 일 실시예에 따른 키오스크 실시간 점자 변환 장치(100)는 점자 출력기(300)와 일체의 장치로 구성될 수 있다. 예를 들어, 키오스크 실시간 점자 변환 장치(100)와 점자 출력기(300)는 일체로 구성된 손목시계형 웨어러블 장치일 수 있으며, 또는 키오스크 실시간 점자 변환 장치(100)와 이미지 입력기(200)는 일체로 구성된 단말기일 수 있다.In addition, the kiosk real-time braille conversion apparatus 100 according to another embodiment of the present invention may be configured as an integrated device with the braille output device 300 . For example, the kiosk real-time braille conversion device 100 and the braille output device 300 may be a wrist watch-type wearable device configured integrally, or the kiosk real-time braille conversion device 100 and the image input device 200 are integrally configured It may be a terminal.

본 발명의 또 다른 일 실시예에 따르면, 키오스크 실시간 점자 변환 장치(100)는 이미지 입력기(200) 및 점자 출력기(300)와 일체로 구성될 수 있다. According to another embodiment of the present invention, the kiosk real-time braille conversion apparatus 100 may be integrally configured with the image input device 200 and the braille output device 300 .

도 4는 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 점자 변환 방법을 보여주는 플로우 차트이다. 이하, 도 4를 참조하여, 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 점자 변환 방법에 대해 상세히 설명한다. 4 is a flowchart illustrating a braille conversion method of a real-time braille conversion apparatus at a kiosk according to an embodiment of the present invention. Hereinafter, a braille conversion method of a real-time braille conversion apparatus at a kiosk according to an embodiment of the present invention will be described in detail with reference to FIG. 4 .

우선, 키오스크 실시간 점자 변환 장치는 사용자가 점자로 변환하고자 하는 텍스트가 표시된 키오스크 디스플레이의 적어도 일부 및 사용자의 손가락을 촬영하여 제1 이미지정보를 생성한다(S411).First, the kiosk real-time braille conversion apparatus generates first image information by photographing at least a part of the kiosk display on which text the user wants to convert into braille and the user's finger (S411).

이후, 키오스크 실시간 점자 변환 장치는 생성된 제1 이미지정보를 이용하여 제1 이미지정보에 표시되는 텍스트영역을 추출하고 각 텍스트영역에 대한 정보를 추출한다(S421). 구체적으로, 키오스크 실시간 점자 변환 장치는 OCR(Optical Character Recognition) 기법을 통해 제1 이미지정보에서 텍스트영역을 추출하고, 텍스트영역에 대한 정보인 텍스트영역정보를 추출한다. 예를 들어, 키오스크 실시간 점자 변환 장치는 OCR 기법을 제공하는 어플리케이션 프로그래밍 인터페이스(APIs; Application Programming Interfaces)를 이용하여 제1 이미지정보에 표시된 텍스트영역에 대한 텍스트영역정보를 추출한다. 이때, 텍스트영역정보는 텍스트영역에 표시된 문자에 대한 정보인 텍스트정보 및 제1 이미지정보에서 텍스트영역의 좌표를 나타내는 텍스트영역 위치정보를 포함한다.Thereafter, the kiosk real-time braille conversion apparatus extracts a text area displayed in the first image information using the generated first image information and extracts information on each text area ( S421 ). Specifically, the kiosk real-time braille conversion apparatus extracts a text area from the first image information through an optical character recognition (OCR) technique, and extracts text area information that is information about the text area. For example, the kiosk real-time braille conversion apparatus extracts text area information about the text area displayed in the first image information using application programming interfaces (APIs) that provide the OCR technique. In this case, the text area information includes text information, which is information about characters displayed in the text area, and text area position information indicating the coordinates of the text area in the first image information.

이와 함께, 키오스크 실시간 점자 변환 장치는 제1 이미지정보에서 사용자의 손가락 말단에 대응하는 지시픽셀을 결정한다(S422). 이에 대해서는 도 5를 참조하여 상세히 후술한다.At the same time, the kiosk real-time braille conversion device determines an indicator pixel corresponding to the end of the user's finger in the first image information (S422). This will be described in detail later with reference to FIG. 5 .

이후, 키오스크 실시간 점자 변환 장치는 인식된 텍스트영역들 중 지시픽셀과 가장 가까이 위치한 텍스트영역을 판별한다(S431). 키오스크 실시간 점자 변환 장치는 지시픽셀과 텍스트영역들 사이의 거리를 각각 산출한 후, 지시픽셀과 가장 가까운 거리에 위치한 텍스트영역을 사용자가 손가락으로 가리키는 영역으로 결정할 수 있다. 키오스크 실시간 점자 변환 장치는 지시픽셀과 가장 가까운 거리에 위치한 텍스트영역의 텍스트정보를 출력한다.Thereafter, the kiosk real-time braille conversion apparatus determines a text area located closest to the indication pixel among the recognized text areas ( S431 ). The kiosk real-time braille conversion apparatus may calculate the distance between the indication pixel and the text areas, respectively, and then determine the text area located closest to the indication pixel as the area pointed by the user's finger. The kiosk real-time braille conversion device outputs text information of a text area located at the closest distance to the indicator pixel.

이후, 키오스크 실시간 점자 변환 장치는 텍스트정보를 점자표현 알고리즘을 통해 점자정보로 변환하여 출력한다(S441). 이에 따라, 점자 출력기(300)는 점자정보를 수신하여 시각장애인들이 인식할 수 있도록 점자를 표현한다.Thereafter, the kiosk real-time braille conversion apparatus converts the text information into braille information through a braille expression algorithm and outputs it (S441). Accordingly, the braille output device 300 receives the braille information and expresses the braille so that the visually impaired can recognize it.

도 5는 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 지시픽셀 결정방법에 대해 상세히 설명한다. 이하, 도 5를 참조하여, 본 발명의 일 실시예에 따른 키오스크 실시간 점자 변환 장치의 지시영역 결정방법에 대해 상세히 설명한다. 5 is a detailed description of a method for determining an indicator pixel of a kiosk real-time braille conversion apparatus according to an embodiment of the present invention. Hereinafter, with reference to FIG. 5, a method for determining an indication area of a kiosk real-time braille conversion apparatus according to an embodiment of the present invention will be described in detail.

우선, 키오스크 실시간 점자 변환 장치는 RGB 색공간에서 정의되는 제1 이미지정보를 HSV 색공간에서 정의되는 제2 이미지정보로 변환한다(S511).First, the kiosk real-time braille conversion apparatus converts first image information defined in the RGB color space into second image information defined in the HSV color space (S511).

이후, 키오스크 실시간 점자 변환 장치는 변환된 제2 이미지정보를 이용하여 사용자의 손가락을 표시하는 손가락 픽셀을 결정한다(S512). 구체적으로, 키오스크 실시간 점자 변환 장치는 제2 이미지정보를 구성하는 픽셀들 중 미리 정해진 색조(Hue) 임계 범위 내의 색조값을 갖고, 미리 정해진 밝기(Value) 임계 범위 내의 밝기값을 갖는 픽셀들을 추출하여 손가락 픽셀을 결정한다.Thereafter, the kiosk real-time braille conversion apparatus determines a finger pixel displaying the user's finger using the converted second image information (S512). Specifically, the kiosk real-time braille conversion apparatus extracts pixels having a hue value within a predetermined Hue threshold range among pixels constituting the second image information, and having a brightness value within a predetermined value threshold range. Determines the finger pixels.

이후, 키오스크 실시간 점자 변환 장치는 결정된 손가락 픽셀들을 Connected Component 기법을 이용하여 후보 지시영역을 결정한다(S513). 키오스크 실시간 점자 변환 장치는 제2 이미지정보의 손가락 픽셀들 중 연결된 객체들을 인식하여 각각의 객체들을 후보 지시영역으로 결정한다.Thereafter, the kiosk real-time braille conversion apparatus determines a candidate indication area by using the determined finger pixels using the Connected Component technique (S513). The kiosk real-time braille conversion apparatus recognizes connected objects among finger pixels of the second image information and determines each object as a candidate indication area.

이후, 키오스크 실시간 점자 변환 장치는 후보 지시영역 중 지시영역을 결정한다(S514). 전술한 바와 같이 본 발명의 일 실시예에 따르면, 반지형 웨어러블 장치로 구현된 이미지정보 생성부(110)가 제1 이미지정보를 생성하기 때문에, 사용자의 손가락이 제1 이미지정보 및 제2 이미지정보에 표시되고 특히 사용자의 손가락은 제1 이미지정보 및 제2 이미지정보 내에서 x축의 중앙 및 y축의 최하단에 위치한 픽셀(Pf)을 포함하는 영역에 표시될 수 있다. 이에 따라, 키오스크 실시간 점자 변환 장치는 후보 지시영역 중 x축의 중앙 및 y축의 최하단에 위치한 픽셀을 포함하는 후보 지시영역을 지시영역으로 결정할 수 있다.Thereafter, the kiosk real-time braille conversion apparatus determines an indication area among the candidate indication areas (S514). As described above, according to an embodiment of the present invention, since the image information generating unit 110 implemented as a ring-type wearable device generates the first image information, the user's finger uses the first image information and the second image information. In particular, the user's finger may be displayed in an area including the pixel Pf located at the center of the x-axis and the lowermost end of the y-axis in the first image information and the second image information. Accordingly, the kiosk real-time braille conversion apparatus may determine a candidate indication area including pixels located at the center of the x-axis and the lowest end of the y-axis among the candidate indication areas as the indication area.

이후, 키오스크 실시간 점자 변환 장치는 결정된 지시영역을 이루는 픽셀들 중 사용자의 손가락 말단에 대응하는 지시픽셀을 결정한다(S515). 구체적으로, 키오스크 실시간 점자 변환 장치는 결정된 지시영역을 구성하는 픽셀들 중 y축의 최상단에 위치하는 픽셀을 지시픽셀로 결정한다.Thereafter, the kiosk real-time braille conversion device determines an indicator pixel corresponding to the end of the user's finger from among the pixels constituting the determined indication area (S515). Specifically, the kiosk real-time braille conversion apparatus determines a pixel located at the top of the y-axis among pixels constituting the determined indication area as the indication pixel.

본 발명이 속하는 기술분야의 당업자는 상술한 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.Those skilled in the art to which the present invention pertains will understand that the above-described present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof.

그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

100: 점자 변환 장치 200: 이미지 입력기
300: 점자 출력기
110: 이미지정보 생성부 120: 인식부
122: 텍스트 인식부 124: 지시영역 인식부
126: 지시 텍스트 판별부 130: 점자 출력부100: braille conversion device 200: image input device
300: braille printer
110: image information generation unit 120: recognition unit
122: text recognition unit 124: indication area recognition unit
126: instruction text determination unit 130: braille output unit

Claims (16)

이미지 입력기에서 입력되는 영상정보를 이용하여 텍스트 및 손가락이 표시된 제1 이미지정보를 생성하는 이미지정보 생성부;
상기 제1 이미지정보를 이용하여 상기 텍스트가 표시된 텍스트영역 중 상기 손가락이 가리키는 텍스트영역을 결정하는 인식부; 및
상기 손가락이 가리키는 텍스트영역의 텍스트정보에 대응하는 점자정보를 점자 출력기로 출력하는 점자 출력부;를 포함하고,
상기 인식부는,
상기 제1 이미지정보를 이용하여 손가락 픽셀들을 결정하여 상기 손가락 픽셀들을 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 손가락을 표시하는 지시영역을 결정하고, 상기 지시영역 중 상기 손가락의 말단이 표시된 지시픽셀을 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.an image information generator for generating first image information in which text and a finger are displayed by using image information input from an image input device;
a recognition unit configured to determine a text area to which the finger points from among the text areas in which the text is displayed by using the first image information; and
and a braille output unit for outputting braille information corresponding to text information in the text area pointed to by the finger to a braille output device;
The recognition unit,
Finger pixels are determined using the first image information to group the finger pixels to determine a candidate indication area, and from among the candidate indication areas a pointing area for displaying the finger is determined, and the distal end of the finger in the indication area. By determining the indicated indicator pixel, the kiosk real-time braille conversion device, characterized in that the text region and the text region pointed to by the finger are determined using the indicator pixel. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 인식부는,
상기 제1 이미지정보를 HSV 색공간에서 정의되는 제2 이미지정보로 변환하여 상기 제2 이미지정보를 구성하는 픽셀들 중 미리 정해진 색조(Hue) 임계 범위 내의 색조값을 갖고, 미리 정해진 밝기(Value) 임계 범위 내의 밝기값을 갖는 픽셀들을 추출하여 손가락 픽셀들을 결정하여 상기 손가락 픽셀들을 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 손가락을 표시하는 지시영역을 결정하고, 상기 지시영역 중 상기 손가락의 말단이 표시된 지시픽셀을 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The recognition unit,
The first image information is converted into second image information defined in the HSV color space, has a hue value within a predetermined Hue threshold range among pixels constituting the second image information, and a predetermined brightness (Value) By extracting pixels having a brightness value within a threshold range to determine finger pixels, grouping the finger pixels to determine a candidate indication area, and determining a pointing area for displaying the finger among the candidate indication areas; A kiosk real-time braille conversion apparatus, characterized in that by determining an indicator pixel indicated by the distal end of a finger, and determining a text region indicated by the finger using the text region and the indicator pixel. 제1항에 있어서,
상기 인식부는,
상기 제1 이미지정보를 이용하여 손가락 픽셀들을 결정하고, 상기 손가락 픽셀들을 Connected Component 기법을 이용하여 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 손가락을 표시하는 지시영역을 결정하고, 상기 지시영역 중 상기 손가락의 말단이 표시된 지시픽셀을 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The recognition unit,
determining finger pixels using the first image information, grouping the finger pixels using a Connected Component technique to determine a candidate indication area, determining a pointing area for displaying the finger among the candidate indication areas, and A kiosk real-time braille conversion apparatus, characterized in that by determining an indicator pixel on which the distal end of the finger is indicated among the indicator regions, and determining the text region pointed to by the finger using the text region and the indicator pixel. 제1항에 있어서,
상기 인식부는,
상기 제1 이미지정보를 이용하여 손가락 픽셀들을 결정하여 상기 손가락 픽셀들을 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 제1 이미지정보의 x축의 중앙 및 y축의 최하단에 위치한 픽셀을 포함하는 후보 지시영역을 지시영역으로 결정하고, 상기 지시영역 중 상기 손가락의 말단이 표시된 지시픽셀을 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.The method of claim 1,
The recognition unit,
Finger pixels are determined using the first image information to determine a candidate indication area by grouping the finger pixels, and a pixel located at the center of the x-axis and the lowermost end of the y-axis of the first image information among the candidate indication areas. A kiosk comprising: determining a candidate indication area as a pointing area; determining an indication pixel on which an end of the finger is indicated among the indication areas; and determining a text area pointed to by the finger using the text area and the indication pixel. Real-time braille conversion device. 제1항에 있어서,
상기 인식부는,
상기 제1 이미지정보를 이용하여 손가락 픽셀들을 결정하여 상기 손가락 픽셀들을 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 손가락을 표시하는 지시영역을 결정하고, 상기 지시영역을 구성하는 픽셀들 중 y축의 최상단에 위치한 픽셀을 상기 손가락의 말단에 대응하는 지시픽셀로 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The recognition unit,
The finger pixels are determined using the first image information to group the finger pixels to determine a candidate indication area, and among the candidate indication areas, a pointing area for displaying the finger is determined, and pixels constituting the indication area A kiosk real-time braille conversion device, characterized in that by determining a pixel located at the top of the y-axis as an indicator pixel corresponding to the tip of the finger, and determining the text region pointed to by the finger using the text region and the indicator pixel. 제1항에 있어서,
상기 인식부는,
OCR(Optical Character Recognition) 기법을 통해 상기 제1 이미지정보에서 상기 텍스트영역을 추출하고, 상기 텍스트영역에 대한 상기 텍스트정보 및 텍스트영역 위치정보를 추출하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The recognition unit,
A kiosk real-time braille conversion apparatus, characterized in that extracting the text area from the first image information through an OCR (Optical Character Recognition) technique, and extracting the text information and text area location information for the text area. 제1항에 있어서,
상기 이미지 입력기 및 상기 이미지정보 생성부는 유선 또는 무선 통신 모듈을 포함하여 상기 통신 모듈을 통해 영상정보를 송수신하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The image input device and the image information generator includes a wired or wireless communication module, and the kiosk real-time braille conversion device, characterized in that for transmitting and receiving image information through the communication module. 제1항에 있어서,
상기 점자 출력기 및 상기 점자 출력부는 유선 또는 무선 통신 모듈을 포함하여 상기 통신 모듈을 통해 점자정보를 송수신하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The braille output unit and the braille output unit include a wired or wireless communication module to transmit and receive Braille information through the communication module. 제1항에 있어서,
상기 이미지 입력기는 손가락 및 텍스트를 촬영하여 영상정보를 생성하고, 생성된 영상정보를 상기 이미지정보 생성부로 출력하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The image input device generates image information by photographing a finger and text, and outputs the generated image information to the image information generating unit. 제1항에 있어서,
상기 점자 출력기는 상기 점자 출력부로부터 수신한 점자정보에 대응하는 점자를 표현하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.According to claim 1,
The braille output unit is a kiosk real-time braille conversion device, characterized in that it expresses the braille corresponding to the braille information received from the braille output unit. 손가락 및 텍스트를 촬영하여 영상정보를 생성하는 이미지 입력기;
상기 이미지 입력기로부터 생성된 영상정보를 이용하여 제1 이미지정보를 생성하는 이미지정보 생성부;
상기 제1 이미지정보를 이용하여 상기 텍스트가 표시된 텍스트영역 중 상기 손가락이 가리키는 텍스트영역을 결정하는 인식부;
상기 텍스트영역의 텍스트정보에 대응하는 점자정보를 생성하는 점자 출력부; 및
상기 점자 출력부에서 생성된 점자정보에 대응하는 점자를 표현하는 점자 출력기;를 포함하고,
상기 인식부는,
상기 제1 이미지정보를 이용하여 손가락 픽셀들을 결정하여 상기 손가락 픽셀들을 군집화하여 후보 지시영역을 결정하고, 상기 후보 지시영역 중 상기 손가락을 표시하는 지시영역을 결정하고, 상기 지시영역 중 상기 손가락의 말단이 표시된 지시픽셀을 결정하여, 상기 텍스트영역과 상기 지시픽셀을 이용하여 상기 손가락이 가리키는 텍스트영역을 결정하는 것을 특징으로 하는 키오스크 실시간 점자 변환 장치.

an image input device for generating image information by photographing a finger and text;
an image information generator for generating first image information using the image information generated from the image input device;
a recognition unit configured to determine a text area to which the finger points from among the text areas in which the text is displayed by using the first image information;
a braille output unit for generating braille information corresponding to the text information in the text area; and
Includes; a braille output device for expressing braille corresponding to the braille information generated by the braille output unit;
The recognition unit,
Finger pixels are determined using the first image information to group the finger pixels to determine a candidate indication area, and from among the candidate indication areas a pointing area for displaying the finger is determined, and the distal end of the finger in the indication area. By determining the indicated indicator pixel, the kiosk real-time braille conversion device, characterized in that the text region and the text region pointed to by the finger are determined using the indicator pixel.
KR1020200145309A 2020-11-03 2020-11-03 Device for Converting Contents of Kiosk to Braille in Real time KR102452152B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200145309A KR102452152B1 (en) 2020-11-03 2020-11-03 Device for Converting Contents of Kiosk to Braille in Real time

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200145309A KR102452152B1 (en) 2020-11-03 2020-11-03 Device for Converting Contents of Kiosk to Braille in Real time

Publications (2)

Publication Number Publication Date
KR20220059751A KR20220059751A (en) 2022-05-10
KR102452152B1 true KR102452152B1 (en) 2022-10-11

Family

ID=81591605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200145309A KR102452152B1 (en) 2020-11-03 2020-11-03 Device for Converting Contents of Kiosk to Braille in Real time

Country Status (1)

Country Link
KR (1) KR102452152B1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140113780A (en) * 2013-03-13 2014-09-25 한양대학교 산학협력단 Smart glasses and its translation method
KR101954989B1 (en) * 2014-09-05 2019-03-08 (주)엠에스라인이엔지 Imformation provision apparatus for blind people
KR20190014416A (en) * 2017-08-02 2019-02-12 한국전자통신연구원 Finger Wearable Mobile Translation System
KR102047988B1 (en) * 2017-12-14 2019-11-22 주식회사 코이노 Vision aids apparatus for the vulnerable group of sight, remote managing apparatus and method for vision aids

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2016-0029909호(2016.3.16. 공개) 1부.*
공개특허공보 제10-2019-0077639호(2019.7.4. 공개) 1부.*

Also Published As

Publication number Publication date
KR20220059751A (en) 2022-05-10

Similar Documents

Publication Publication Date Title
CN105487673B (en) A kind of man-machine interactive system, method and device
JP6288372B2 (en) Interface control system, interface control device, interface control method, and program
KR102207856B1 (en) Device for detecting the user's hand and method thereof
JP5521727B2 (en) Image processing system, image processing apparatus, image processing method, and program
US6885761B2 (en) Method and device for generating a person's portrait, method and device for communications, and computer product
CN102708383B (en) System and method for detecting living face with multi-mode contrast function
CN103139508A (en) Method and system for controlling display of television pictures
CN108027656B (en) Input device, input method, and program
KR20160093530A (en) Wearable device for visual handicap person
KR102305403B1 (en) Method of detection gesture of wearable augmented reality device using depth map and wearable augmented reality device capable of detecting gesture using depth map
JP2006251596A (en) Support device for visually handicapped person
KR20120133648A (en) Control terminal and server for managing target devices using Augmented Reality Contents
US20160363774A1 (en) Display control method, computer-readable recording medium, information processing terminal, and wearable device
WO2015093130A1 (en) Information processing device, information processing method, and program
KR101638630B1 (en) Method for Optimizing a Augmented Reality Data
KR102452152B1 (en) Device for Converting Contents of Kiosk to Braille in Real time
KR101743638B1 (en) Separation control type video system and method thereof
KR20110136024A (en) Method for interchanging between augmented reality device
Kim Application on character recognition system on road sign for visually impaired: Case study approach and future
JP2013025031A (en) Display device and control method thereof
US20180150999A1 (en) Image display apparatus, image display method, and system
KR101520889B1 (en) Digilog Book System Using Distance Information Between Object and Hand Device and Implementation Method Therof
KR101680124B1 (en) Method for Transferring Augmented Reality between Different Platform
KR101807824B1 (en) Augmented Reality System Using IR Absorbing Text Document and Method for Implementing the same
KR101679844B1 (en) Method for Providing Augmented Reality between Different Platform

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant