KR101823121B1 - Character recognition devices for visually impaired - Google Patents
Character recognition devices for visually impaired Download PDFInfo
- Publication number
- KR101823121B1 KR101823121B1 KR1020160044791A KR20160044791A KR101823121B1 KR 101823121 B1 KR101823121 B1 KR 101823121B1 KR 1020160044791 A KR1020160044791 A KR 1020160044791A KR 20160044791 A KR20160044791 A KR 20160044791A KR 101823121 B1 KR101823121 B1 KR 101823121B1
- Authority
- KR
- South Korea
- Prior art keywords
- visually impaired
- text
- character recognition
- character
- image
- Prior art date
Links
- 230000001771 impaired effect Effects 0.000 title claims abstract description 33
- 239000011521 glass Substances 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 abstract description 3
- 230000004304 visual acuity Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 8
- 206010047571 Visual impairment Diseases 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 208000029257 vision disease Diseases 0.000 description 5
- 230000004393 visual impairment Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 4
- 201000009487 Amblyopia Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C1/00—Assemblies of lenses with bridges or browbars
- G02C1/06—Bridge or browbar secured to or integral with closed rigid rims for the lenses
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C5/00—Constructions of non-optical parts
- G02C5/14—Side-members
-
- G06K9/00442—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Otolaryngology (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Discrimination (AREA)
- Character Input (AREA)
Abstract
본 발명은 사용자에게 안경형태로 착용되며, 촬영된 이미지를 분석하여 문자를 인식하고 이를 청각적 신호로 사요자에게 안내함으로써 점자책이 아닌 문자책을 읽을 수 있도록 돕는 시각장애인용 안경형 문자 인식 장치에 관한 것이다.
본 발명에 따른 시각장애인용 문자 인식 장치는 렌즈가 장착되는 렌즈프레임과, 상기 렌즈프레임으로부터 연장되는 다리프레임을 포함하여, 안경과 같이 사용자의 얼굴에 착용할 수 있도록 된 본체와, 상기 본체의 일측에 마련되어 문자를 촬영하는 촬영부와, 상기 본체의 일측에 마련되어 상기 촬영부에서 촬영된 이미지를 기초로 텍스트를 추출하고, 추출된 텍스트를 음성신호로 변환하는 제어부와, 상기 본체에 연결되어 사용자의 귀에 착용할 수 있으며, 상기 제어부에서 변환된 음성신호를 출력하는 스피커부를 구비한다.The present invention relates to a vision-type character recognition apparatus for a visually impaired person, which is worn in the form of a spectacle in the form of a spectacle, recognizes a character by recognizing the character and guides the character to audiences through auditory signals, .
A character recognition apparatus for a visually impaired person according to the present invention includes a body including a lens frame on which a lens is mounted and a leg frame extending from the lens frame and worn on the user's face like a pair of glasses, A control unit which is provided at one side of the main body and extracts text based on the image photographed by the photographing unit and converts the extracted text into a voice signal; And a speaker unit which can be worn on the ear and outputs the voice signal converted by the control unit.
Description
본 발명은 시각장애인용 문자 인식 장치에 관한 것으로, 더욱 상세하게는 사용자에게 안경형태로 착용되며, 촬영된 이미지를 분석하여 문자를 인식하고 이를 청각적 신호로 사요자에게 안내함으로써 점자책이 아닌 문자책을 읽을 수 있도록 돕는 시각장애인용 안경형 문자 인식 장치에 관한 것이다. The present invention relates to a character recognition apparatus for a visually impaired person, and more particularly, to a character recognition apparatus for a visually impaired person, which is worn in the form of a spectacle for a user, and recognizes the character by analyzing the photographed image, To a vision-aware character recognition device for a visually impaired person.
의학적 측면에서 일반적으로 시각장애를 시각 손상이나 시각 불능이라 칭하고, 안과학에서는 시각장애를 시력의 정도에 따라 맹, 준맹, 약시로 분류한다.In terms of medicine, visual impairment is generally called visual impairment or visual impairment. In ophthalmology, visual impairment is classified into blindness, collimation, and amblyopia according to the degree of visual acuity.
각각의 정의는 학자에 따라 다르나 일반적으로 1/3m 이상에서 안전지수를 판별하지 못하면 맹이라 하고, 양안 교정시력이 0.02 이상 0.04 미만이면 준맹이라 한다. 약시를 고도약시, 중등도약시, 경도약시로 분류하고, 고정시력이 0.04~0.1 이면 고도약시라 하며 0.1~0.3 이면 중등도약시라 하고 0.3~0.8 이면 경도약시라 한다.Although each definition differs depending on the scholar, it is generally considered blind if the safety index can not be determined at more than 1 / 3m. If the corrected visual acuity is 0.02 or more and less than 0.04, It is classified as high amblyopia, medium - leap angle and mild amblyopia. If the fixed visual acuity is 0.04 ~ 0.1, it means high leap. If it is 0.1 ~ 0.3, it means moderate leap.
한국의 경우 시각장애인 등급을 다음과 같이 구분한다. In Korea, we classify the blind people as follows.
1급은 좋은 눈의 시력(만국식 시력표에 의하여 측정한 것을 말하며 굴절이상이 있는 사람에 대하여는 교정시력을 기준으로 함)이 0.02 이하인 사람이며, 2급은 좋은 눈의 시력의 0.04 이하인 사람이고, 3급은 좋은 눈의 시력이 0.04 이하이고 두 눈의 시야가 각각 주시점에서 5도 이하로 남은 사람이고, 4급은 좋은 눈의 시력의 0.1 이하이고 두 눈의 시야가 각각 주시점에서 10도 이하로 남은 사람이고, 5급은 좋은 눈의 시력이 0.2 이하인 사람이고 두 눈에 의한 시야의 2분의 1 이상을 잃은 사람이고, 6급은 나쁜 눈의 시력이 0.02 이하인 사람이다.Class 1 is a person with a good visual acuity (measured by a universal visual acuity chart), a person with a visual acuity of 0.02 or less for a person with a refractive error, and a person with a visual acuity of 0.04 or less, The third grade is a person whose visual acuity of the good eye is less than 0.04, the visual field of the two eyes is less than 5 degrees from the main point, the fourth grade is less than 0.1 of the good eye, and the visual acuity of both eyes is 10 degrees And the fifth grade is a person with a good visual acuity of 0.2 or less, who has lost more than one-half of the visual acuity of both eyes, and the sixth grade is a person whose visual acuity of bad eyes is 0.02 or less.
시각장애인들에게 손실된 시력을 찾아주기 위한 그간의 노력으로는 90년대 말 뇌의 시신경에 전선을 수십 내지 수백가닥 연결하여 외부에서 카메라 영상신호를 단순화하여 전기적인 신호를 가함으로써 단순한 형태나 움직임을 인식하도록 하는 시도와 최근 들어 망막이 손상된 시각장애인을 대상으로 카메라로 보는 영상을 망막에 이식된 칩으로 전달해 사물의 형체와 움직임을 분간할 수 있도록 하는 기술이 개발되어 망막을 다쳐 앞을 볼 수 없는 환자들도 머지않아 인공 눈을 통해 시력을 찾을수 있을 것으로 기대되어진다.The effort to find lost vision for the visually impaired was made by connecting several tens to several hundred wires to the optic nerve of the brain in the late 90s, In recent years, a technique has been developed that can transfer images from a camera to a chip implanted in the retina for blind and visually impaired people to damage the retina, Patients are also expected to find vision through artificial eyes soon.
그렇지만 현재의 기술로는 당장 시각장애인들의 시력 회복이 어렵기 때문에 당장의 시각장애인들을 위한 다양한 보조장치 등이 필요하다.However, with current technology, it is difficult to immediately restore the sight of the visually impaired, so various assistive devices for the visually impaired are needed immediately.
시각장애인의 생활에 있어서 어려운 점 중 하나는 신문이나 책 등의 독서 문제이다.One of the difficulties in the life of the visually impaired is the reading problem of newspapers and books.
시각장애인들은 일반적인 문자를 인식할 수 없기 때문에 점자를 사용하는데, 점자책의 경우 일반 책에 비해 두께가 많이 두꺼워질 수 밖에 없어서 휴대가 불편하다. Braille is used for visually impaired people because they can not recognize common characters. Braille book is thicker than ordinary books and is inconvenient to carry.
아울러 점자책에 대한 수요가 많지 않고 제작비용이 매우 비싸기 때문에 이러한 점자 책의 제작이 이루어지지 않아, 점자로 읽을 수 있는 콘텐츠의 양이 매우 제한적이다.In addition, since there is not much demand for braille books and the production cost is very high, the production of such braille books is not made, and the amount of content that can be read by braille is very limited.
게다가 점자를 읽기 위해서는 점자 해독에 대한 교육이 필요한데 시각장애들 중 이러한 점자 해독능력을 갖추도록 교육을 받은 사람들의 수가 제한적이어서, 점자로 된 독서물이 제공되어도 이를 제대로 읽을 수 있는 시각장애인들도 제한적이다. In addition, there is a limited number of people with visual impairments who are trained to have the ability to decipher the braille, so that even if braille readers are provided, the visually impaired will be limited in reading. .
본 발명은 상기 문제점을 해결하기 위해 창출된 것으로, 안경 형태로 형성되어 쉽게 착용할 수 있으며, 독서물의 이미지를 촬영하고 해당 이미지를 변환하여 음성신호로 출력하여 사용자가 들을 수 있도록 함으로써 시각장애인이 일반적인 문자의 인식이 가능하도록 돕는 시각장애인용 문자 인식 장치를 제공하는데 그 목적이 있다.The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide an eyeglass lens which can be worn easily and can be easily worn by taking an image of a book, The present invention provides a character recognition apparatus for a visually impaired person, which enables characters to be recognized.
본 발명에 따른 시각장애인용 문자 인식 장치는 렌즈가 장착되는 렌즈프레임과, 상기 렌즈프레임으로부터 연장되는 다리프레임을 포함하여, 안경과 같이 사용자의 얼굴에 착용할 수 있도록 된 본체와, 상기 본체의 일측에 마련되어 문자를 촬영하는 촬영부와, 상기 본체의 일측에 마련되어 상기 촬영부에서 촬영된 이미지를 기초로 텍스트를 추출하고, 추출된 텍스트를 음성신호로 변환하는 제어부와, 상기 본체에 연결되어 사용자의 귀체 착용할 수 있으며, 상기 제어부에서 변환된 음성신호를 출력하는 스피커부를 구비한다.A character recognition apparatus for a visually impaired person according to the present invention includes a body including a lens frame on which a lens is mounted and a leg frame extending from the lens frame and worn on the user's face like a pair of glasses, A control unit which is provided at one side of the main body and extracts text based on the image photographed by the photographing unit and converts the extracted text into a voice signal; And a speaker unit which can be worn as a body and outputs the voice signal converted by the control unit.
상기 제어부는 상기 촬영부에서 촬영된 이미지를 수집단계와, 수집된 이미지를 후속 처리를 위해 가공하는 이미지 프로세싱 단계와, 이미지 프로세싱을 거친 후 판독 범위를 설정하는 단계와, 설정된 범위의 이미지에서 텍스트를 추출하는 단계와, 추출된 텍스트를 음성으로 변환하는 단계와, 변환된 음성신호를 출력하는 단계로 구동되는 것이 바람직하다.The control unit may include a step of collecting the image photographed by the photographing unit, an image processing step of processing the collected image for subsequent processing, a step of setting a read range after image processing, Extracting the extracted text, converting the extracted text into speech, and outputting the converted speech signal.
상기 이미지 프로세싱 단계는 수집된 이미지를 흑백 이미지로 변환한 후, 이진화필터를 사용하여 데이터를 이진화하고, 상기 판독범위를 설정하는 단계는 변환된 이미지에서 첫번째 문자의 시작부분과 마지막 문자의 끝 부분의 좌표를 구해 사각형의 범위를 설정한 후, 설정된 사각형의 범위 내에서 문자를 각 라인별로 구분하고, 구분된 라인에서 띄어쓰기된 부분을 판별하는 것이 바람직하다.Wherein the image processing step converts the collected image into a monochrome image, then binarizes the data using a binarization filter, and wherein the step of setting the read range comprises the step of converting the start of the first character and the end of the last character It is preferable to determine the spacing in the divided lines by dividing the characters into lines within the range of the set rectangle after finding the coordinates and setting the range of the rectangle.
상기 텍스트를 추출하는 단계에서는 촬영된 이미지에서 OCR(OPtical character recognition) 기술을 이용해 문자를 추출한 다음 상기 판독범위를 설정하는 단계에서 판별된 띄어쓰기된 부분을 삽입하여 띄어쓰기가 적용된 텍스트를 형성하도록 형성되는 것이 바람직하다.In the step of extracting the text, a character is extracted from the photographed image by using an optical character recognition (OCR) technique, and then a space is determined by inserting the determined spaced part in the step of setting the read range to form a text to which spacing is applied desirable.
본 발명에 따른 시각장애인용 문자 인식 장치는 안경처럼 착용하는 것만으로 문자 정보를 인식하여 사용자에게 음성으로 정보를 전달해 주므로 시각장애인이 용이하게 사용할 수 있으며, 점자가 아닌 일반 문자 서적이나 신문 등의 책자 이용이 가능해지는 이점이 있다.The character recognition apparatus for a visually impaired person according to the present invention recognizes character information only by worn like a pair of glasses and transmits the information to a user by voice so that it can be easily used by a visually impaired person. There is an advantage that it can be used.
도 1은 본 발명에 따른 시각장애인용 문자 인식 장치의 일 실시예를 도시한 구성도,
도 2는 본 발명의 시각장애인용 문자 인식 장치의 작동 과정을 도시한 흐름도이다.FIG. 1 is a block diagram of an embodiment of a character recognition apparatus for a visually impaired person according to the present invention.
2 is a flowchart illustrating an operation process of the character recognition apparatus for the visually impaired according to the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 시각장애인용 문자 인식 장치에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다. Hereinafter, a character recognition apparatus for a visually impaired person according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text. It is to be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but on the contrary, is intended to cover all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing. In the accompanying drawings, the dimensions of the structures are enlarged to illustrate the present invention in order to clarify the present invention.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a part or a combination thereof is described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
도 1 및 도 2에는 본 발명에 따른 시각장애인용 문자 인식 장치(1)의 일 실시예와, 문자 인식 후 음성신호로 출력하는 과정이 도시되어 있다.1 and 2 show an embodiment of a character recognition apparatus 1 for a visually impaired person according to the present invention and a process of outputting a voice signal after character recognition.
도 1을 참조하면, 시각장애인용 문자 인식 장치(1)는 본체(10)와, 본체(10)에 설치되는 촬영부(20), 촬영부(20)의 촬영이미지를 음성신호로 변환하는 제어부(40) 및 변환된 음성신호를 출력하는 스피커부(30)를 포함한다.A character recognition apparatus 1 for a visually impaired person includes a
상기 본체(10)는 안경과 같이 사용자의 얼굴에 착용할 수 있도록 형성되는데, 렌즈프레임(11)과, 렌즈프레임(11)으로부터 연장되는 다리프레임(12)을 구비한다.The
렌즈프레임(11)에는 렌즈가 장착되어 있으며, 사용자의 필요에 따라 렌즈는 착색된 컬러렌즈가 적용될 수도 있다. A lens is mounted on the
상기 다리프레임(12)은 렌즈프레임(11)의 양측 단부로부터 사용자의 얼굴 측면을 따라 후방으로 연장될 수 있도록 되어 있으며, 후단부는 하방으로 절곡되어 있어서 귀에 걸리도록 형성된다.The
본체(10)는 통상적인 안경의 형태와 같이 렌즈프레임(11)과 다리프레임(12)을 포함하고, 렌즈프레임(11)이나 다리프레임(12)은 형상이나 두께가 다양하게 변형될 수 있다. The
상기 촬영부(20)는 렌즈프레임(11)에 장착되어 본체(10)의 전방 이미지를 촬영하기 위한 것이다. The photographing
본 실시예의 경우 촬영부(20)가 렌즈프레임(11)의 중앙 전면에 장착되어 있는 것으로 도시되어 있는데, 촬영부(20)는 렌즈프레임(11)의 좌측 또는 우측 가장자리에 장착될 수도 있고, 다리프레임(12)에 고정되어 전방을 촬영하도록 형성될 수도 있다.The photographing
상기 촬영부(20)는 렌즈프레임(11)의 전방을 촬영하는데, 텍스트의 추출을 위한 이미지를 촬영하는 것을 목적으로 하기 때문에 자동으로 텍스트 형상에 초점을 맞춰 이미지를 촬영할 수 있는 오토포커싱 기능을 포함하는 것이 바람직하다.The photographing
이러한 오토포커싱 기능을 통해서 사용자가 책이나 신문을 읽을 필요가 있을 때, 책이나 신문과 사용자 사이의 거리가 일정하게 유지 되지 않더라도 촬영되는 이미지의 초점이 자동으로 조정되도록 한다.This auto-focus feature allows the user to automatically adjust the focus of the captured image even when the distance between the book or newspaper and the user is not constant when the user needs to read the book or newspaper.
상기 스피커부(30)는 제어부(40)가 상기 촬영부(20)에서 촬영된 이미지에서 텍스트를 추출하여 음성신호로 변환하면 변환된 음성신호를 출력한다.The
본 실시예에서는 상기 스피커부(30)가 다리프레임(12)의 일측으로부터 하방으로 연장되는 연장로드의 단부에 장착되어 있는 것으로 도시되어 있다. 그러나 상기 스피커부(30)는 이에 한정되지 않고, 다리프레임(12)이나 렌즈프레임(11)으로부터 연장되는 플렉시블한 케이블과, 케이블의 단부에 형성되어 있는 이어폰 형태로 형성될 수도 있다. In the present embodiment, the
또한 후술하는 제어부(40)가 변환된 음성신호를 블루투스 등의 무선통신 방법을 통해 출력하고, 스피커는 본체(10)와는 분리되어 무선신호를 통해 음성신호를 수신하여 출력하는 무선이어폰 형태 또는 스탠드 형태의 스피커로 형성될 수도 있다.In addition, the
상기 제어부(40)는 상술한 것처럼 촬영부(20)에서 촬영된 이미지를 음성신호로 변환하는 작업을 수행한다.The
제어부(40)에서 촬영된 이미지를 음성신호로 변환하는 과정은 다음과 같다.The process of converting an image photographed by the
도 2를 참조하면, 제어부(40)에서는 이미지 수집 단계, 이미지 프로세싱 단계, 판독범위 설정 단계, 텍스트 추출 단계 및 음성신호 변환 단계를 거쳐 구동된다.Referring to FIG. 2, the
상기 이미지 수집 단계는 촬영부(20)에서 촬영된 이미지를 수집하는 단계이다. 본체(10) 또는 별도로 구비된 스위치를 누르면 촬영부(20)에서는 전방 이미지를 촬영하며, 촬영된 이미지는 제어부(40)로 전송된다.The image collecting step is a step of collecting images photographed by the photographing
제어부(40)에서는 촬영된 이미지들을 수집하는데, 버튼을 통해 작동신호가 입력되었을 때 촬영부(20)에서 연속으로 복수의 이미지를 촬영하고, 제어부(40)에서는 이 이미지들 중 텍스트 부분에 초점이 잘 맞춰진 이미지를 하나 선택하여 후속 단계를 진행하도록 할 수 있다.The
상기 이미지 프로세싱 단계는 수집된 이미지를 텍스트 추출을 위해 가공하는 단계이다. 본 단계에서는 촬영 이미지를 흑백 이미지로 변환하며, 이미지 변환 후에는 이진화 필터를 이용해 데이터를 이진화한다.The image processing step is processing the collected image for text extraction. In this step, the captured image is converted into a monochrome image, and after the image conversion, the data is binarized using a binarization filter.
이렇게 이미지를 흑백으로 변환하고 이진화하면 글자가 아닌 그림자나 잡티가 제거되어 텍스트 추출 과정에서 오류 발생을 현저하게 줄일 수 있다.When the image is converted to black and white and binarized, shadows and specks that are not characters are removed, which can significantly reduce errors in the text extraction process.
판독범위 설정 단계는 판독을 진행할 이미지의 범위를 설정하는 단계이다.The read range setting step is a step of setting a range of an image to be read.
이 작업을 위해 먼저 이미지 속에서 첫 번째 문자의 시작 부분과 제일 마지막 문자의 끝 부분의 좌표를 구해 사각형의 범위를 설정한다. 이를 통해서 텍스트 이외의 불필요한 정보를 최소화한다.To do this, first set the range of the rectangle by taking the coordinates of the beginning of the first character and the end of the last character in the image. This minimizes unnecessary information other than text.
이렇게 텍스트의 전체 범위를 설정한 후에는 텍스트를 라인별로 구분하여 설정한다. 여러 라인의 문자들이 한 범위 안에 들어오는 경우 테스트 추출 과정에서 문자의 판독 정확성이 현저히 낮아지기 때문이다. After setting the entire range of text, set the text line by line. This is because when the characters of several lines are within a range, the accuracy of reading characters in the test extraction process is significantly lowered.
따라서 전체 판독 범위의 설정 후에 각 텍스트의 라인을 설정하는데, 문자라인과 문자 라인 사이에 여백 공간이 형성되어 있으므로 각 행별로 픽셀의 합을 구해 합이 0인 행들이 특정개수 이상으로 연속되면 한 라인으로 판별한다. Therefore, the line of each text is set after setting the entire read range. Since a blank space is formed between the character line and the character line, the sum of pixels is found for each line, .
라인을 나눈 다음에는 띄어쓰기를 찾아낸다. 앞서 각 라인들을 구분한 상태에서 각 라인별 범위에서 각 열의 픽셀 값들을 더해 비교하여 각 글자 사이의 간격을 구한다. 그리고 자간들이 차지하고 있는 픽셀길이를 비교하여 표준편차를 구해 low threshold와 high threshold의 값을 설정하며, 이 값을 이용해 자간의 픽셀 길이가 low threshold 보다 작으면 단어를 구성하는 한 글자로, high threshold보다 크면 띄어쓰기로 판별한다.After dividing the line, find the spacing. With each line separated, the pixel values of each column are added to each line range, and the interval between the letters is obtained. If the pixel length is less than the low threshold by using this value, one character composing the word is set as the high threshold. If it is larger, it is determined as a space.
상기 텍스트 추출 단계는 판독범위가 설정된 이미지로부터 텍스트를 추출하는 단계이다. 이 단게에서는 OCR(OPtical character recognition) 기술을 이용해 문자를 추출하며, 문자의 추출 후에는 상기 판독범위 설정 단계에서 판별한 각 라인의 띄어쓰기를 텍스트에 삽입시킨다. The text extracting step is a step of extracting text from an image in which a read range is set. In this step, characters are extracted using an OCR (Optical Character Recognition) technique. After extraction of the characters, the spacing of each line determined in the reading range setting step is inserted into the text.
이렇게 텍스트의 추출 후 판별된 띄어쓰기를 삽입해 줌으로써 음성신호로의 변환 과정에서 음성신호의 발음이 정확해지고, 출력된 음성신호를 통해 정확한 의미 파악이 가능하게 된다.By inserting the discriminated spacing after extracting the text, the pronunciation of the voice signal becomes correct in the conversion to the voice signal, and the accurate meaning can be grasped through the output voice signal.
음성신호 변환 단계는 상기 추출된 텍스트를 음성신호로 변환하는 단계이다. The voice signal conversion step converts the extracted text into a voice signal.
이렇게 변환된 음성신호는 상술한 것처럼 스피커부(30)를 통해 사용자가 들을 수 있도록 출력될 수 있다.The voice signal thus converted can be output to the user through the
이상에서 설명한 본 발명에 따른 시각장애인용 문자 인식 장치(1)는 점자를 이해하지 못하는 시삭장애인도 점자가 아닌 일반 문자로 기록된 책이나 신문을 음성신호를 통해 읽을 수 있어 사용 편의성이 높으며, 다양한 컨텐츠를 즐길 수 있도록 하여 시각장애인의 삶의 질을 향상시킬 수 있다. The above-described character recognition apparatus 1 for a visually impaired person according to the present invention can read a book or a newspaper recorded in a normal character, not a braille character, by a voice signal, The quality of life of the visually impaired can be improved by allowing the user to enjoy the contents.
특히 텍스트를 음성신호로 변환하는 과정에서 텍스트의 판독 범위를 설정하고, 각 라인 및 띄어쓰기를 판별하여 음성신호로 변환하기 때문에 판독 정확성을 높이고, 변환되는 음성신호의 발음이 정확해질 수 있다.Especially, since the reading range of the text is set in the process of converting the text into the voice signal, and each line and space is discriminated and converted into the voice signal, the read accuracy can be improved and the voice of the voice signal to be converted can be correctly pronounced.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the disclosed embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features presented herein.
1: 시각장애인용 문자 인식 장치
10: 본체
11: 렌즈프레임
12: 다리프레임
20: 촬영부
30: 스피커부
40: 제어부1: Character recognition device for the visually impaired
10: Body
11: Lens frame
12: Leg frame
20:
30: speaker section
40:
Claims (6)
상기 본체의 일측에 마련되어 문자를 촬영하는 촬영부;
상기 본체의 일측에 마련되어, 상기 촬영부에서 촬영된 이미지를 구성하는 픽셀들 중 각 행을 이루는 픽셀들의 합이 0인 행들이 특정 개수 이상으로 연속될 경우, 텍스트 라인과 텍스트 라인 사이의 여백 공간으로 판별하여 텍스트를 라인 별로 구분하고, 상기 구분된 라인 별로 텍스트를 추출하고, 상기 추출된 텍스트를 음성신호로 변환하는 제어부; 및
상기 본체에 연결되어 사용자의 귀에 착용할 수 있으며, 상기 제어부에서 변환된 음성신호를 출력하는 스피커부;
를 포함하는,
시각장애인용 문자 인식 장치.
A body such as a pair of glasses that can be worn on the user's face;
A photographing unit provided on one side of the main body for photographing a character;
When a row of pixels having a sum of pixels constituting each row among the pixels constituting the image photographed by the photographing unit is continuous beyond a specific number, a margin space between the text line and the text line A control unit for dividing the text into lines, extracting text for each of the divided lines, and converting the extracted text into a voice signal; And
A speaker unit connected to the main body so as to be worn on a user's ear and outputting a voice signal converted by the controller;
/ RTI >
Character recognition device for the visually impaired.
상기 촬영된 이미지는,
상기 제어부에서 기설정된 기준에 따라 선택된 하나의 이미지인,
시각장애인용 문자 인식 장치.
The method according to claim 1,
The photographed image is,
Wherein the control unit selects one image according to a preset reference,
Character recognition device for the visually impaired.
상기 제어부는,
상기 픽셀들의 합을 계산하기 위하여,
상기 촬영된 이미지를 흑백 이미지로 변환한 후, 이진화 필터를 사용하여 데이터를 이진화 하는,
시각장애인용 문자 인식 장치.
The method according to claim 1,
Wherein,
To calculate the sum of the pixels,
Converting the photographed image into a monochrome image, and then binarizing the data using a binarization filter,
Character recognition device for the visually impaired.
상기 제어부는,
상기 촬영된 이미지에서 첫번째 문자의 시작부분과 마지막 문자의 끝부분의 좌표를 구해 사각형의 판독 범위를 설정하며,
상기 판독 범위 내에서 텍스트를 라인 별로 구분하는,
시각장애인용 문자 인식 장치.
The method according to claim 1,
Wherein,
The coordinates of the start portion of the first character and the end portion of the last character are obtained in the photographed image to set the read range of the rectangle,
Wherein the text is divided line by line within the reading range,
Character recognition device for the visually impaired.
상기 제어부는,
상기 구분된 라인에 포함된 글자들 사이의 픽셀길이들의 표준편차를 계산하고,
상기 계산된 표준편차를 이용하여 최고 임계값(high threshold)을 설정하고,
상기 설정된 최고 임계값 보다 큰 픽셀길이를 갖는 글자들 사이를 띄어쓰기된 부분으로 판별하는,
시각장애인용 문자 인식 장치.
The method according to claim 1,
Wherein,
Calculating a standard deviation of pixel lengths between characters included in the divided line,
Setting a high threshold using the calculated standard deviation,
Determining a space between characters having a pixel length larger than the set maximum threshold value as a space portion;
Character recognition device for the visually impaired.
상기 제어부는,
상기 추출된 텍스트들 사이에 상기 판별된 띄어쓰기된 부분을 삽입한 후, 상기 띄어쓰기된 부분이 삽입된 텍스트를 음성신호로 변환하는,
시각장애인용 문자 인식 장치.6. The method of claim 5,
Wherein,
Inserting the determined spaced-apart portion between the extracted texts, and converting the inserted text into a voice signal,
Character recognition device for the visually impaired.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160044791A KR101823121B1 (en) | 2016-04-12 | 2016-04-12 | Character recognition devices for visually impaired |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160044791A KR101823121B1 (en) | 2016-04-12 | 2016-04-12 | Character recognition devices for visually impaired |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170116775A KR20170116775A (en) | 2017-10-20 |
| KR101823121B1 true KR101823121B1 (en) | 2018-01-29 |
Family
ID=60299220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160044791A KR101823121B1 (en) | 2016-04-12 | 2016-04-12 | Character recognition devices for visually impaired |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101823121B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220106332A (en) | 2021-01-22 | 2022-07-29 | 금오공과대학교 산학협력단 | Braille Learning Tutor System |
| KR20220120262A (en) | 2021-02-23 | 2022-08-30 | 청주대학교 산학협력단 | Smart glasses system for visually impaired people |
| KR20230046511A (en) | 2021-09-30 | 2023-04-06 | 박두고 | Wearable device for recognition object using hand or finger tracking |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109377834B (en) * | 2018-09-27 | 2021-02-09 | 成都快眼科技有限公司 | Text conversion method and system for assisting blind person in reading |
| KR102325061B1 (en) * | 2020-01-29 | 2021-11-11 | 가천대학교 산학협력단 | Cognitive Assistance System and Method for Visually Impaired |
| KR102296271B1 (en) * | 2021-03-24 | 2021-09-01 | 주식회사 시스메이트 | Kiosk for visually impaired and hard of hearing person |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101513856B1 (en) * | 2014-01-07 | 2015-04-21 | 금오공과대학교 산학협력단 | Braille-to-Voice Translation System |
-
2016
- 2016-04-12 KR KR1020160044791A patent/KR101823121B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101513856B1 (en) * | 2014-01-07 | 2015-04-21 | 금오공과대학교 산학협력단 | Braille-to-Voice Translation System |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220106332A (en) | 2021-01-22 | 2022-07-29 | 금오공과대학교 산학협력단 | Braille Learning Tutor System |
| KR20220120262A (en) | 2021-02-23 | 2022-08-30 | 청주대학교 산학협력단 | Smart glasses system for visually impaired people |
| KR20230046511A (en) | 2021-09-30 | 2023-04-06 | 박두고 | Wearable device for recognition object using hand or finger tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170116775A (en) | 2017-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101823121B1 (en) | Character recognition devices for visually impaired | |
| US8909530B2 (en) | Apparatus, method, and computer readable medium for expedited text reading using staged OCR technique | |
| CN107636514B (en) | Head-mounted display device and visual assistance method using the same | |
| JP4612806B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| KR101765838B1 (en) | Wearable device for visual handicap person | |
| KR20120127790A (en) | Eye tracking system and method the same | |
| JP6139277B2 (en) | Person information registration apparatus and program | |
| CN114281236B (en) | Text processing method, apparatus, device, medium, and program product | |
| CN111832567B (en) | Blind person friendly book character reading detection interaction method | |
| Huynh et al. | Assistive Reading Device for Blind Individuals | |
| CN116473501B (en) | Automatic recording method, device and system for inserting-sheet type subjective refraction result | |
| Avhad | Visionary Glass | |
| WO2016047886A1 (en) | Portable image magnifying device having pen type camera | |
| CN110866970A (en) | System and method for realizing reconstruction lens matching through face key point identification | |
| US20140272815A1 (en) | Apparatus and method for performing actions based on captured image data | |
| KR20200081952A (en) | Character recognition processing system for blind people | |
| KR101582890B1 (en) | Smart glasses with character recognition fuction and character recognition using the smart glasses | |
| CN111209804A (en) | Visual impairment auxiliary enhancement system | |
| Keefer | A User Centered Design and Prototype of a Mobile Reading Device for the Visually Impaired |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |