KR101230341B1

KR101230341B1 - Vision Assistant System And Method thereof

Info

Publication number: KR101230341B1
Application number: KR1020100120952A
Authority: KR
Inventors: 김봉석; 정일균; 황정훈; 선화동
Original assignee: 전자부품연구원
Priority date: 2010-11-30
Filing date: 2010-11-30
Publication date: 2013-02-06
Also published as: KR20120059281A

Abstract

본 발명은 시각 지원 보조 시스템 및 방법에 관한 것으로, 이러한 본 발명은 안경형 구조물, 스테레오 영상 센서, 데이터 처리 장치, 출력 장치를 포함하는 시각 지원 보조 시스템의 구성을 개시한다. 안경형 구조물은 일반 투명 렌즈들, 반사형 렌즈들, 선글라스 렌즈들 중 적어도 하나, 렌즈들이 배치되는 안경테, 안경테의 일측으로부터 일정 방향으로 신장되는 안경대, 안경대의 끝단에 마련되어 착용자의 귀에 걸리는 안경 고리를 포함한다. 그리고 스테레오 영상 센서는 렌즈들의 내측면의 정중앙, 정중앙을 중심으로 상측부, 안경테의 모서리 양측 끝단 중 적어도 한 곳에 배치될 수 있으며, 데이터 처리 장치는 스테레오 영상 센서와 연결되어 수집된 영상에 대한 스테레오 영상 매칭을 기반으로 영상에 포함된 적어도 하나의 객체와 착용자와의 거리, 방향, 모양 중 적어도 하나의 정보를 분석한다. 그리고 출력 장치는 데이터 처리 장치가 분석한 분석 정보에 해당하는 가이드 정보를 청각 정보 및 시각 정보 중 적어도 하나로 출력할 수 있다.The present invention relates to a vision aid system and method, which discloses the configuration of a vision aid system including an eyeglass structure, a stereo image sensor, a data processing device, and an output device. The spectacle structure includes at least one of general transparent lenses, reflective lenses, and sunglasses lenses, a spectacle frame in which the lenses are disposed, a spectacle frame extending in a direction from one side of the spectacle frame, and a spectacle ring provided on the end of the spectacle frame to be worn by the wearer's ear. Include. In addition, the stereo image sensor may be disposed at at least one of the upper center of the inner surface of the lenses, the upper part centered on the center of the lens, and both ends of the corners of the spectacle frame, and the data processing device is connected to the stereo image sensor and the stereo image of the collected image. Based on the matching, at least one of the distance, direction, and shape of the at least one object included in the image and the wearer is analyzed. The output device may output guide information corresponding to the analysis information analyzed by the data processing device as at least one of auditory information and visual information.

Description

Vision Assistant System And Method

본 발명은 시각 지원 보조에 관한 것으로, 더욱 상세하게는 시각 장애를 가지고 있거나 시각 보조가 필요한 인원들에게 전방 이미지 정보를 시청각 정보 중 적어도 하나로 변환하여 제공할 수 있도록 지원하는 시각 지원 보조 시스템 및 방법에 관한 것이다.The present invention relates to visual aid, and more particularly, to a visual aid system and method for assisting a person with visual impairment or need for visual assistance to convert front image information into at least one of audiovisual information. It is about.

일반적으로 시각장애인은 시력이 사물을 구분할 수 없는 시력을 가지고 있어 보행이나 물체 확인 등의 어려움이 있었다. 이를 보완하기 위하여 시각장애인들은 시각장애인용 지팡이를 사용하여 장애물 통과 및 계단 확인 등을 할 수 있었으며, 보행자 통로 중 일정 부분에 위치한 점자안내문이나 시각장애인용 보도블록을 이용하여 보행할 수 있었다. 상기 시각장애인용 지팡이는 소모되는 비용이 적어서, 모르는 길을 찾아갈 때에 보행에 있어서 발에 걸리는 장애물의 유무를 확인하거나, 계단 등 보행도로의 변형유무를 확인할 수 있는 장치로서 널리 사용되고 있다. 그러나 이러한 지팡이 이용 방법은 지팡이에 걸리거나 또는 타인에게 불쾌감을 조성할 수 있는 등, 상기 지팡이에 의해 오히려 더욱 시각장애인들이 위험해질 수 있는 단점이 있었다. 그리고 종래 지팡이 이용 방법은 1m 이상 떨어져 있는 물체에 대하여 감지하기가 어렵고 근접한 물체라도 접촉에 의하여서만 감지가 가능한 실정이다. 또한 지팡이에 의해서는 머리에 걸릴 수 있는 상부에 위치한 장애물을 감지할 수 없어, 상기 상부에 위치한 장애물에 의해 부상당할 위험이 있었다.In general, people with visual impairment have difficulty in walking or checking objects because they have vision that cannot distinguish things. To compensate for this, the visually impaired people were able to pass obstacles and check stairs using the cane for the visually impaired, and could walk using braille guides or sidewalk blocks for the visually impaired. The cane for the visually impaired has a low cost, and is widely used as a device capable of checking the presence or absence of obstacles on the foot when walking along an unknown road, or checking the deformation of a walking road such as stairs. However, the method of using the cane has a disadvantage that the cane is more dangerous to the visually impaired by the cane, such as being caught by the cane or creating discomfort to others. In addition, the conventional method of using a cane is difficult to detect an object that is 1 m or more away, and even a close object can be detected only by contact. In addition, the cane could not detect the obstacle located in the upper part that could be caught on the head, there was a risk of being injured by the obstacle located in the upper part.

이러한 지팡이 이용 방법을 보완하기 위하여 종래에는 특별훈련을 수행한 맹도견(盲導犬)의 도움을 받는 방법이 제시된 바 있다. 그러나 맹도견은 시각장애인들의 길안내를 위한 필수적 도우미로 인식되지 않고, 일반적인 애완견으로 취급받아 출입이 허용되지 않는 공간이 많으며, 높은 비용에 의해 널리 사용되지 못하는 단점이 있었다.In order to supplement the method of using the cane, a method of assisting a guide dog who has performed a special training has been proposed. However, guide dogs are not recognized as essential helpers for the visually impaired, there are a lot of spaces that are not allowed because they are treated as general dogs and are not widely used due to high cost.

상기와 같은 시각장애인들의 안전보행을 위한 장치 또는 방법들을 대치하기 위하여, 시각정보를 인지할 수 없는 시각장애인들이 보행 또는 활동할 때에 전방에 장애물이 존재할 경우, 상기 장애물에 대하여 인지할 수 있도록 보조하는 장치들이 개발되고 있다. 그러나 종래 제안되는 장치들은 물체와의 거리를 주파수를 통해 나타냄으로써, 물체와의 거리를 인지할 수 있도록 한 장점이 있으나, 사용자 전방에 있는 물체의 한 점만을 인지하기 때문에, 전방의 상태를 전체적으로 인식할 수 없는 단점이 있었다. 따라서 시각장애인들에게 보다 다양한 데이터를 제공함으로써 시각장애인들의 생활 활동을 보다 유연하게 할 수 있도록 하는 장치의 개발이 요구되고 있다. In order to replace the devices or methods for the safe walking of the blind people, a device that assists the blind people who can not recognize the visual information to recognize the obstacle when there is an obstacle in front of the walking or activity Are being developed. However, the conventionally proposed devices have an advantage that the distance to the object can be recognized by indicating the distance to the object through a frequency, but since only one point of the object in front of the user is recognized, the overall state of the front is recognized. There was a disadvantage that can not. Therefore, there is a demand for the development of a device that enables more flexible life activities of the blind by providing more diverse data to the blind.

따라서 본 발명의 목적은 상술한 문제를 해결하기 위한 것으로, 실생활에서 주로 사용되는 착용 가능한 형태의 시각장치를 통해 얻어진 정보를 시각장애인의 시각 상실 정도에 따라 청각 정보, 단순화된 시각정보 및 시청각 복합정보 중 적어도 하나로 전달하여 시각장애인의 주변 환경에 대한 인식을 높일 수 있는 시각 지원 보조 시스템 및 방법을 제공함에 있다.Accordingly, an object of the present invention is to solve the above-described problems, and the information obtained through the wearable visual device mainly used in real life is based on the degree of visual loss of the visually impaired. The present invention provides a visual aiding system and a method for delivering a visually impaired person's awareness of the surrounding environment.

또한 본 발명의 목적은 마이크로폰을 기반으로 착용자의 음성을 음성인식하고, 음성인식된 정보를 통해 시각장애인이 주변 환경 정보를 능동적으로 탐색할 수 있도록 지원하는 시각 지원 보조 시스템 및 방법을 제공함에 있다.It is also an object of the present invention to provide a visual aiding system and method for supporting a visually impaired person to actively search for surrounding environment information through voice recognition of a wearer's voice based on a microphone.

또한 본 발명의 목적은 주변 환경 정보를 획득하는 스테레오 기구를 최소화하고 이를 일반 안경형 구조에 내장함으로써 일반인의 경우도 착용 시 시각의 방해를 받지 않고 보조적 정보를 받을 수 있는 시각 지원 보조 시스템 및 방법을 제공함에 있다.In addition, an object of the present invention is to provide a visual aid system and method that can receive auxiliary information without wearing a visual disturbance even when the general people by minimizing the stereo mechanism to obtain the surrounding environment information and built it in a general eyeglass structure. Is in.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 시각 지원 보조 시스템은 안경형 구조물, 스테레오 영상 센서, 데이터 처리 장치, 출력 장치를 포함할 수 있다. 상기 안경형 구조물은 일반 투명 렌즈들, 반사형 렌즈들, 선글라스 렌즈들 중 적어도 하나, 상기 렌즈들이 배치되는 안경테, 상기 안경테의 일측으로부터 일정 방향으로 신장되는 안경대, 상기 안경대의 끝단에 마련되어 착용자의 귀에 걸리는 안경 고리를 포함한다. 그리고 상기 스테레오 영상 센서는 상기 렌즈들의 내측면의 정중앙, 정중앙을 중심으로 상측부, 상기 안경테의 모서리 양측 끝단 중 적어도 한 곳에 배치될 수 있으며, 상기 데이터 처리 장치는 상기 스테레오 영상 센서와 연결되어 수집된 영상에 대한 스테레오 영상 매칭을 기반으로 영상에 포함된 적어도 하나의 객체와 착용자와의 거리, 방향, 모양 중 적어도 하나의 정보를 분석한다. 그리고 상기 출력 장치는 상기 데이터 처리 장치가 분석한 분석 정보에 해당하는 가이드 정보를 청각 정보 및 시각 정보 중 적어도 하나로 출력할 수 있다.According to an exemplary embodiment of the present invention, a visual aiding system may include an eyeglass structure, a stereo image sensor, a data processing device, and an output device. The spectacle structure may include at least one of general transparent lenses, reflective lenses, and sunglasses lenses, a spectacle frame in which the lenses are disposed, an spectacle frame extending in a direction from one side of the spectacle frame, and provided at an end of the spectacle frame to a wearer's ear. It includes a hanging eyeglass ring. The stereo image sensor may be disposed at at least one of an upper portion of the inner surface of the lenses, an upper portion centered on the center of the lens, and both ends of the corners of the spectacle frame, and the data processing device is connected to the stereo image sensor and collected. Based on stereo image matching with respect to the image, at least one of the distance, direction, and shape of the at least one object included in the image and the wearer is analyzed. The output device may output guide information corresponding to the analysis information analyzed by the data processing device as at least one of auditory information and visual information.

또한 본 발명의 시각 지원 보조 시스템은 착용자의 음성을 수집하는 마이크를 더 포함할 수 있으며, 상기 데이터 처리 장치는 상기 마이크가 수집한 음성을 음성 인식하기 위한 음성 인식부, 상기 스테레오 영상을 분석하기 위한 영상 분석부, 상기 영상 분석부가 분석한 분석 정보에 대응하는 가이드 정보를 출력하는 정보 출력부를 포함할 수 있다. 이때 상기 영상 분석부는 상기 음성 인식된 정보에 대응하는 객체를 현재 수집된 영상 내에서 추적하고, 추적된 객체에 관한 가이드 정보를 상기 정보 출력부에 전달할 수 있다.In addition, the visual assistance system of the present invention may further include a microphone for collecting the wearer's voice, the data processing device is a voice recognition unit for voice recognition of the voice collected by the microphone, for analyzing the stereo image The image analyzer may include an image output unit configured to output guide information corresponding to the analysis information analyzed by the image analyzer. In this case, the image analyzer may track an object corresponding to the voice recognized information in the currently collected image, and transmit guide information about the tracked object to the information output unit.

한편 본 발명의 시각 지원 보조 시스템은 상기 데이터 처리 장치에 연결되며 상기 안경 고리 인접 영역에 배치되어 상기 청각 정보를 출력하는 이어폰 및 상기 렌즈들의 내측면에 배치되어 상기 데이터 처리 장치의 제어에 따라 상기 가이드 정보를 사전 정의된 명암 구분, 색상 구분, 점멸 구분, 빛의 강도 구분, 선형 또는 2차원 분포 상의 빛의 위치 및 빛의 크기 중 적어도 하나의 시각 정보로 출력하는 표시부 중 적어도 하나를 더 포함할 수 있다.On the other hand, the visual aid system of the present invention is connected to the data processing device and is disposed in the area adjacent to the eyeglasses ring to output the auditory information and is disposed on the inner surface of the lens and the guide under the control of the data processing device The display apparatus may further include at least one of a display unit for outputting information as at least one of a predetermined contrast, a color, a blink, a light intensity, a position of light on a linear or two-dimensional distribution, and the size of light. have.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 시각 지원 보조 방법은 일반 투명 렌즈들, 반사형 렌즈들, 선글라스 렌즈들 중 적어도 하나, 상기 렌즈들이 배치되는 안경테, 상기 안경테의 일측으로부터 일정 방향으로 신장되는 안경대, 상기 안경대의 끝단에 마련되어 착용자의 귀에 걸리는 안경 고리를 포함하는 안경형 구조물과, 상기 렌즈들의 내측면의 정중앙, 정중앙을 중심으로 상측부, 상기 안경테의 모서리 양측 끝단 중 적어도 한 곳에 배치되는 스테레오 영상 센서를 기반으로 스테레오 영상을 수집하는 단계, 상기 수집된 영상을 분석하는 단계, 상기 분석된 영상에 포함된 각 객체들 중 적어도 하나의 객체와 상기 안경형 구조물을 착용한 착용자와의 거리, 방향, 객체의 모양 중 적어도 하나와 관련된 가이드 정보를 청각 정보로서 출력하는 단계를 포함하는 시각 지원 보조 방법의 구성을 개시한다.In accordance with an aspect of the present invention, there is provided a method for assisting vision according to an exemplary embodiment of the present invention. At least one of general transparent lenses, reflective lenses, and sunglasses lenses, an eyeglass frame in which the lenses are disposed, and one side of the eyeglass frame Spectacle frame extending in a direction from the spectacle structure, the spectacle structure provided on the end of the spectacle frame and the eyeglass ring to the wearer's ear, the center of the inner surface of the lens, the upper portion centered on the center, the edge of the edge of the spectacle frame Collecting a stereo image based on a stereo image sensor disposed in at least one place, analyzing the collected image, at least one of the objects included in the analyzed image and the wearer wearing the spectacle structure Guide information related to at least one of distance, direction, and shape of the object Disclosed is a configuration of a visual aiding method comprising the step of outputting as audio information.

상기 방법은 상기 착용자의 음성을 수집하는 단계, 상기 수집된 음성을 음성 인식하는 단계, 상기 음성 인식된 정보가 지시하는 특정 객체를 상기 분석 영상에서 추적하는 단계, 상기 추적된 분성 영상에 대한 가이드 정보를 청각 정보로서 출력하는 단계를 더 포함할 수 있으며, 또한 상기 가이드 정보를 사전 정의된 명암 구분, 색상 구분, 점멸 구분, 빛의 강도 구분, 선형 또는 2차원 분포 상의 빛의 위치 및 빛의 크기 중 적어도 하나를 포함하는 시각 정보로 출력하는 단계를 더 포함할 수 있다.The method may include collecting voices of the wearer, recognizing the collected voices, tracking a specific object indicated by the voice recognized information in the analysis image, and guide information about the tracked partial image. It may further include the step of outputting as auditory information, and further comprising the guide information of the predetermined contrast contrast, color classification, blinking classification, light intensity classification, the position of the light on the linear or two-dimensional distribution and the size of the light The method may further include outputting visual information including at least one.

본 발명의 실시 예에 따른 시각 지원 보조 시스템 및 방법에 따르면, 본 발명은 기존 안경형 디자인에 스테레오 비전을 내장하여 시각장애인이 부담 없이 착용 가능하며, 청각 정보와 단순화된 시각정보를 복합적으로 활용하여 즉각적인 정보 전달 및 다양한 상황 전개에 따른 풍부한 정보 전달을 지원할 수 있다.According to the visual assistance system and method according to an embodiment of the present invention, the present invention can be worn by the visually impaired casually by incorporating stereo vision into the existing spectacle design, and immediately by using a combination of auditory information and simplified visual information It can support information delivery and rich information delivery according to various situations.

또한 본 발명은 단순한 정보의 시청각화가 아닌 사용자가 획득하고자 하는 정보를 선별적으로 제공함으로써 사용자가 주변 환경과 능동적으로 상호작용할 수 있도록 지원하며, 경박단소한 형태로 설계하여 시각장애인 뿐만 아니라 일반인도 착용하여 시각에 방해를 받지 않고 환경정보를 시청각으로 전달받을 수 있어 환경정보의 보조적 인식기능이 필요한 모든 사람들에게 용이하게 사용될 수 있다. In addition, the present invention supports the user to actively interact with the surrounding environment by selectively providing the information that the user wants to acquire, rather than simply visualizing the information, and designed in a light and simple form, worn by the general public as well as the visually impaired. Therefore, it is possible to receive environmental information visually and visually without being disturbed, so it can be easily used for all those who need the auxiliary recognition function of environmental information.

도 1은 본 발명의 실시 예에 따른 시각 지원 보조 시스템의 구성을 개략적으로 나타낸 블록도.
도 2는 본 발명의 실시 예에 따른 안경형 시각 지원 보조 시스템의 외관을 개략적으로 나타낸 도면.
도 3은 본 발명의 실시 예에 따른 목걸이 타입의 데이터 처리 장치를 가지는 안경형 시각 지원 보조 시스템의 외관을 개략적으로 나타낸 도면.
도 4는 본 발명의 실시 예에 따른 데이터 처리장치가 안경대에 배치되는 형태를 설명하기 위한 도면.
도 5는 본 발명의 안경형 시각 지원 보조 시스템에 마이크가 장착된 형태를 나타낸 도면.
도 6은 본 발명의 안경형 시각 지원 보조 시스템의 렌즈들을 반사형 또는 선글라스 렌즈들로 구성한 것을 나타낸 도면.
도 7은 본 발명의 안경형 시각 지원 보조 시스템의 스테레오 영상 센서를 안경테의 양측 모서리에 장착한 형태를 나타낸 도면.
도 8은 본 발명의 안경형 시각 지원 보조 시스템에서 스테레오 영상 센서의 렌즈 상 위치를 설명하기 위한 도면.
도 9는 본 발명의 안경형 시각 지원 보조 시스템이 선글라스 렌즈 및 초소형 스테레오 영상 센서를 포함하는 구조를 나타낸 도면.
도 10은 본 발명의 안경형 시각 지원 보조 시스템에 표시부 구성이 추가된 형태를 나타낸 도면.
도 11은 본 발명의 안경형 시각 지원 보조 시스템에 표시부 구성이 추가된 다른 형태를 나타낸 도면.
도 12는 본 발명의 안경형 시각 지원 보조 시스템이 실제 적용된 형태를 촬영한 도면.
도 13은 본 발명의 실시 예에 따른 시각 지원 보조 방법을 설명하기 위한 순서도.1 is a block diagram schematically showing the configuration of a visual assistance system according to an embodiment of the present invention.
2 is a view schematically showing the appearance of the spectacle vision aid system according to an embodiment of the present invention.
3 is a view schematically showing the appearance of a spectacle vision aid system having a necklace type data processing apparatus according to an embodiment of the present invention.
4 is a view for explaining a form in which a data processing apparatus according to an embodiment of the present invention is disposed on an eyeglass frame.
5 is a view showing a form in which a microphone is mounted on the eyeglass vision aid system of the present invention.
6 is a view showing the configuration of the lenses of the spectacle vision aid system of the present invention with reflective or sunglasses lenses.
7 is a view showing a form in which the stereo image sensor of the spectacle visual assistance system of the present invention mounted on both edges of the spectacle frame.
8 is a view for explaining the position on the lens of the stereo image sensor in the eyeglass vision aid system of the present invention.
9 is a view showing a structure in which the eyeglass visual aid system of the present invention includes a sunglasses lens and a micro stereo image sensor.
10 is a view showing a configuration in which the display unit configuration is added to the spectacle vision aid system of the present invention.
11 is a view showing another form in which the display unit configuration is added to the spectacle vision aid system of the present invention.
12 is a view of the actual application of the spectacle vision aid system of the present invention.
13 is a flowchart illustrating a visual assistance assistant method according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the embodiment of the present invention will be described, and the description of other parts will be omitted so as not to disturb the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configuration shown in the drawings are only the most preferred embodiments of the present invention, and do not represent all of the technical idea of the present invention, and various equivalents may be substituted for them at the time of the present application. It should be understood that there may be water and variations.

도 1은 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)의 구성을 개략적으로 나타낸 블록도이다.1 is a block diagram schematically illustrating a configuration of a visual assistance system 10 according to an exemplary embodiment of the present invention.

상기 도 1을 참조하면, 본 발명의 시각 지원 보조 시스템(10)은 스테레오 영상 센서(210), 이어폰(220), 마이크(230), 표시부(240), 데이터 처리 장치(100)를 포함할 수 있다. 여기서 이어폰(220) 및 표시부(240)는 데이터 처리 장치(100)가 분석한 영상에 대한 가이드 정보 즉 청각 정보 및 시각 정보 중 적어도 하나를 출력하는 출력 장치가 될 수 있다.Referring to FIG. 1, the visual assistance system 10 of the present invention may include a stereo image sensor 210, an earphone 220, a microphone 230, a display unit 240, and a data processing device 100. have. The earphone 220 and the display unit 240 may be an output device that outputs at least one of guide information, that is, auditory information, and visual information about an image analyzed by the data processing apparatus 100.

상기 스테레오 영상 센서(210)는 렌즈가 바라보는 각도에 위치하는 다양한 주변 환경 정보를 수집하고, 수집된 주변 환경 정보를 데이터 처리 장치(100)에 전달하는 구성이다. 이러한 스테레오 영상 센서(210)는 스테레오 카메라가 안경형의 구조물 양측에 일정한 간격을 가지며 배치될 수 있다. 이러한 스테레오 영상 센서(210)는 서로 거리를 두어 장착된 두 개 이상의 카메라에 서로 다르게 영상이 찍히는 양안시차 특성을 이용한다. The stereo image sensor 210 is configured to collect various surrounding environment information located at an angle viewed by the lens and transmit the collected surrounding environment information to the data processing apparatus 100. The stereo image sensor 210 may be disposed at regular intervals on both sides of the spectacle-shaped structure. The stereo image sensor 210 uses a binocular parallax characteristic in which an image is taken differently from two or more cameras mounted at a distance from each other.

상기 이어폰(220)은 상기 데이터 처리 장치(100)에 의하여 분석된 주변 환경 정보에 대한 안내음을 출력하는 구성이다. 이러한 이어폰(220)은 데이터 처리 장치(100)에 연결되어 주변 환경 정보 중 특정 정보들에 대한 가이드 정보를 안내음으로 출력할 수 있으며, 사용자가 인식하기를 원하는 정보에 대한 가이드 정보를 안내음으로 출력할 수 있다.The earphone 220 is configured to output a guide sound for the surrounding environment information analyzed by the data processing apparatus 100. The earphone 220 may be connected to the data processing apparatus 100 to output guide information about specific information of surrounding environment information as guide sounds, and guide information about information that the user wants to recognize as guide sounds. You can print

상기 마이크(230)는 본 발명의 시각 지원 보조 시스템(10)을 착용하는 착용자의 음성을 수집하기 위한 구성이다. 이러한 마이크(230)는 소형 마이크로폰의 형태로 구성되어 안경형으로 제작된 본 발명의 시각 지원 보조 시스템(10)의 일측에 배치될 수 있다. 이때 마이크(230)는 사용자의 음성 수집을 신뢰성 있게 하기 위하여 지향성 마이크로폰의 형태로 제작될 수 도 있다. 상기 마이크(230)가 수집한 음성은 데이터 처리 장치(100)에 전달될 수 있다.The microphone 230 is a component for collecting a voice of a wearer wearing the visual assistance system 10 of the present invention. The microphone 230 may be disposed on one side of the visual assistance system 10 of the present invention, which is configured in the form of a small microphone and manufactured in a spectacles shape. In this case, the microphone 230 may be manufactured in the form of a directional microphone in order to reliably collect a user's voice. The voice collected by the microphone 230 may be transmitted to the data processing apparatus 100.

상기 표시부(240)는 상기 데이터 처리 장치(100)의 제어에 따라 일정한 정보를 출력하는 구성이다. 이러한 표시부(240)는 특정 텍스트나 이미지를 출력하지 않고 시각장애인의 시력 특성에 따라 일정한 색이나 밝기를 가지는 영상을 출력할 수 있다. 즉 상기 표시부(240)는 하얀색 밝은 이미지를 가지는 화면이나 검은색 어두운 이미지를 가지는 화면, 기타 다양한 색상을 가지는 단순한 시각 정보를 출력할 수 있다. 이러한 단순 시각 정보 출력은 본 발명의 시각 지원 보조 시스템(10)을 착용하는 착용자의 시력 특성에 따라 조절될 수 있다. 예를 들면 시각장애인이 명암만을 구분할 수 있을 경우 상기 표시부(240)는 명암만을 구분하는 시각 정보를 출력할 수 있으며, 일정 색상까지 구분할 수 있을 경우 해당 색상을 가지는 시각 정보를 출력할 수 있다. 이때 표시부(240)에 출력되는 각각의 시각 정보들은 주변 환경 정보에 대응하도록 사전 약속된 가이드 정보들이 될 수 있다. 즉 각각의 시각 정보들은 주변 환경 정보를 가이드하는 정보들에 매칭되는 정보들이 될 수 있다. 상기 시각 정보가 출력되는 동안 착용자의 설정에 따라 해당 시각 정보가 어떠한 주변 환경 정보를 나타내는지를 설명하는 안내음이 상기 이어폰(220)을 통하여 함께 출력될 수 도 있다.The display unit 240 is configured to output certain information under the control of the data processing apparatus 100. The display unit 240 may output an image having a predetermined color or brightness according to the visual characteristics of the visually impaired without outputting a specific text or image. That is, the display unit 240 may output a screen having a white bright image, a screen having a black dark image, and simple visual information having various other colors. This simple visual information output can be adjusted according to the vision characteristics of the wearer wearing the visual assistance system 10 of the present invention. For example, when the visually impaired person can distinguish only the contrast, the display unit 240 may output the visual information for distinguishing only the contrast, and if it is possible to distinguish the predetermined color, the visual information having the corresponding color may be output. In this case, each of the visual information output to the display unit 240 may be guide information previously promised to correspond to the surrounding environment information. That is, each of the visual information may be information matching the information that guides the surrounding environment information. While the visual information is output, a guide sound for describing what surrounding environment information the visual information indicates according to a wearer's setting may be output together through the earphone 220.

상기 데이터 처리 장치(100)는 스테레오 영상 센서(210)가 수집하는 스테레오 영상을 분석하여 주변 환경 정보를 수집하고, 수집된 주변 환경 정보에 대한 가이드 정보를 출력하도록 지원하는 장치이다. 이러한 데이터 처리 장치(100)는 시각장애인에게 다양한 주변 환경 정보를 제공하기 위하여 저장부(150), 제어부(160), 전원부(110) 및 입력부(120)의 구성을 포함할 수 있다.The data processing device 100 is a device that collects surrounding environment information by analyzing a stereo image collected by the stereo image sensor 210 and outputs guide information about the collected surrounding environment information. The data processing apparatus 100 may include a configuration of the storage unit 150, the controller 160, the power supply unit 110, and the input unit 120 to provide various environmental information to the visually impaired.

상기 저장부(150)는 본 발명의 시각 지원을 위하여 음성 인식 DB(151), 영상 분석 DB(153), 가이드 정보 DB(155)를 포함할 수 있다. 음성 인식 DB(151)는 본 발명의 시각 지원 보조 시스템(10)을 착용하는 착용자의 음성을 인식하기 위한 데이터를 저장한 구성이다. 착용자가 일정한 음성을 발음하는 경우 데이터 처리 장치(100)는 음성 인식 DB(151)를 이용하여 해당 음성이 어떠한 정보에 해당하는지를 분석할 수 있다. 영상 분석 DB(153)는 본 발명의 스테레오 영상 분석을 위한 스테레오 영상 분석 프로그램을 포함하며, 스테레오 영상 센서(210)가 수집한 영상 중 특정 객체들을 인식하기 위한 데이터를 저장한 구성이다. 예를 들어 스테레오 영상 센서(210)가 특정 인물의 얼굴을 촬영하는 경우 데이터 처리 장치(100)는 영상 분석 DB(153)에 저장된 얼굴 인식 정보를 기반으로 해당 얼굴을 가지는 인물이 사전 저장된 얼굴 인식 정보와 매칭되는 인물인지를 판단할 수 있다. 이와 유사하게 영상 분석 DB(153)는 특정 구조물이나 특정 기기들에 대한 영상 분석 정보를 저장할 수 있다. 그러면 데이터 처리 장치(100)는 특정 구조물이나 특정 기기들에 대한 이미지를 획득하면 해당 이미지가 영상 분석 DB(153)에 사전 저장된 정보와 비교하여 그에 대한 가이드 정보를 출력하도록 제공할 수 있다. 상기 가이드 정보 DB(155)는 영상 분석된 특정 객체들에 대한 정보를 가이드하기 위한 데이터가 저장된 구성이다. 즉 상기 가이드 정보 DB(155)는 영상 분석된 특정 객체들과 본 발명의 시각 지원 보조 시스템(10)을 착용한 착용자와의 거리와 방향 관계 등을 가이드하는 정보를 저장한다.The storage unit 150 may include a voice recognition DB 151, an image analysis DB 153, and guide information DB 155 for visual support of the present invention. The voice recognition DB 151 stores data for recognizing a wearer's voice wearing the visual assistance system 10 of the present invention. When the wearer pronounces a certain voice, the data processing apparatus 100 may analyze what information the voice corresponds to using the voice recognition DB 151. The image analysis DB 153 includes a stereo image analysis program for stereo image analysis of the present invention and stores data for recognizing specific objects among images collected by the stereo image sensor 210. For example, when the stereo image sensor 210 photographs a face of a specific person, the data processing apparatus 100 may use face recognition information in which a person having the face is pre-stored based on face recognition information stored in the image analysis DB 153. It may be determined whether or not the person matching. Similarly, the image analysis DB 153 may store image analysis information about a specific structure or specific devices. Then, when the data processing apparatus 100 acquires an image of a specific structure or specific devices, the data processing apparatus 100 may provide the corresponding image to be outputted with guide information about the image compared with information previously stored in the image analysis DB 153. The guide information DB 155 is a configuration in which data for guiding information about specific objects analyzed by an image is stored. That is, the guide information DB 155 stores information for guiding the distance and direction relationship between the specific objects analyzed by the image and the wearer wearing the visual assistance system 10 of the present invention.

상기 전원부(110)는 상기 스테레오 영상 센서(210), 마이크(230), 표시부(240) 및 데이터 처리 장치(100)들의 운용을 위한 전원을 제공하는 구성이다. 이러한 전원부(110)는 상기 데이터 처리 장치(100)를 감싸는 케이스의 내측에 마련될 수 있으며, 충전형 배터리로 구성될 수 있다. 상기 전원부(110)에 전원이 부족한 경우 상기 데이터 처리 장치(100)는 전원부(110)의 충전 알람을 일정 시점에 이어폰(220)이나 표시부(240)를 통하여 출력하도록 제어할 수 있다.The power supply unit 110 is a component that provides power for the operation of the stereo image sensor 210, the microphone 230, the display unit 240, and the data processing device 100. The power supply unit 110 may be provided inside the case surrounding the data processing apparatus 100 and may be configured as a rechargeable battery. When the power supply unit 110 lacks power, the data processing device 100 may control to output the charging alarm of the power supply unit 110 through the earphone 220 or the display unit 240 at a predetermined time.

상기 입력부(120)는 본 발명의 시각 지원 보조 시스템(10)의 전원을 턴-온 및 턴-오프하기 위한 입력 신호 및 다양한 모드 선택을 위한 입력 신호 등을 사용자 제어에 따라 생성할 수 있다. 예를 들면, 상기 입력부(120)는 표시부(240)에 다양한 시각 정보를 출력하는 모드 예를 들면 명암 구분만을 위한 시각 정보 출력 모드, 색상 지원 시각 정보 출력 모드 등을 설정하는 모드 선택 입력 신호를 사용자 선택에 따라 생성할 수 있다. 또한 상기 입력부(120)는 상기 스테레오 영상 센서(210)를 통하여 수집된 영상의 분석 정도를 결정하는 신호를 사용자 제어에 따라 생성할 수 있다. 즉 상기 입력부(120)는 수집 영상을 심층 분석하는 심층 분석 모드, 간단한 정보만을 분석하는 간편 분석 모드 등을 선택하는 입력 신호를 생성할 수 있다. 심층 분석 모드의 경우 스테레오 영상 센서(210)가 수집하는 모든 영상들에 포함된 각 객체들에 대한 거리와 배치에 대한 정보 분석을 수행하는 모드가 될 수 있다. 그리고 간편 분석 모드는 착용자가 수집된 영상들 중 일부 영상들 또는 영상들 중 일부 객체들에 대한 착용자와의 거리나 배치 및 방향 관계 등을 분석하는 모드가 될 수 있다. The input unit 120 may generate an input signal for turning on and off the power of the visual assistance system 10 of the present invention and an input signal for selecting various modes according to user control. For example, the input unit 120 may use a mode selection input signal for setting a mode for outputting various visual information to the display unit 240, for example, a visual information output mode for distinguishing contrast and a color assist visual information output mode. Can be created according to your choice. In addition, the input unit 120 may generate a signal for determining an analysis degree of an image collected through the stereo image sensor 210 according to a user control. That is, the input unit 120 may generate an input signal for selecting an in-depth analysis mode for in-depth analysis of the collected image and a simple analysis mode for analyzing only simple information. In the case of the deep analysis mode, the stereo image sensor 210 may be a mode for performing information analysis on the distance and the arrangement of each object included in all the images collected. In addition, the simple analysis mode may be a mode in which the wearer analyzes a distance, an arrangement, and a direction relationship with the wearer with respect to some images of the collected images or some objects among the images.

상기 제어부(160)는 입력부(120)에 의하여 전원이 공급되면 본 발명의 시각 지원 보조 시스템(10)의 각 구성들의 초기화를 수행하고, 초기화 과정이 완료되면 스테레오 영상 센서(210)가 수집하는 영상에 대한 분석을 수행하도록 제어한다. 그리고 상기 제어부(160)는 음성 인식부(161)로부터 입력되는 음성에 대한 음성 인식을 수행하고, 이를 기반으로 착용자가 요구하는 특정 객체 추적 등을 제어할 수 있다. 이를 위하여 상기 제어부(160)는 음성 인식부(161), 영상 분석부(163) 및 정보 출력부(165)의 구성을 포함할 수 있다.The controller 160 initializes the components of the visual assistance system 10 of the present invention when the power is supplied by the input unit 120, and collects the images collected by the stereo image sensor 210 when the initialization process is completed. Control to perform analysis on. The controller 160 may perform voice recognition on a voice input from the voice recognition unit 161, and control a specific object tracking required by the wearer based on the voice recognition. To this end, the controller 160 may include a configuration of the voice recognition unit 161, the image analyzer 163, and the information output unit 165.

상기 음성 인식부(161)는 입력부(120)에 의하여 마이크(230)가 활성화를 위한 입력 신호가 발생하면 동시에 활성화되어 마이크(230)로부터 수집되는 음성에 대한 음성 인식을 수행하는 구성이다. 이를 위하여 음성 인식부(161)는 마이크(230)로부터 음성이 수집되면 저장부(150)에 저장된 음성 인식 DB(151)를 참조하여 해당 음성이 어떠한 문자 정보를 의미하는지를 분석할 수 있다. 그리고 음성 인식부(161)는 음성 인식된 텍스트 정보를 영상 분석부(163)에 전달할 수 있다. 이때 음성 인식부(161)는 음성 인식 DB(151)를 기반으로 수집된 음성에 대하여 음소 단위, 음절 단위, 단어나 어구 단위 및 문장 단위 등으로 구분하여 각각 음성 인식을 수행한 뒤 전체적인 음성 인식 결과를 비교 분석함으로써 신뢰도 높은 음성 인식 기능을 지원할 수 있다.The voice recognition unit 161 is configured to simultaneously perform voice recognition for voice collected from the microphone 230 when the input signal for activation of the microphone 230 is generated by the input unit 120. To this end, when a voice is collected from the microphone 230, the voice recognition unit 161 may analyze what text information the voice refers to by referring to the voice recognition DB 151 stored in the storage unit 150. The voice recognition unit 161 may transfer the voice recognized text information to the image analyzer 163. At this time, the speech recognition unit 161 performs speech recognition by dividing the speech collected based on the speech recognition DB 151 into phoneme units, syllable units, words or phrase units, sentence units, and the like. Comparative analysis can support reliable speech recognition.

상기 영상 분석부(163)는 스테레오 영상 센서(210)가 수집하는 영상을 분석하고 설정에 따라 영상에 포함된 다양한 객체들에 대한 심층 분석 또는 간편 분석을 수행하는 구성이다. 이러한 상기 영상 분석부(163)는 스테레오 영상 센서(210)가 전달하는 영상에 대하여 스테레오 매칭을 수행할 수 있다. 스테레오 매칭(Stereo Matching)은 좌측 및 우측에 설치된 두 대의 카메라에서 입력되는 두 개의 영상으로부터 입체 영상 정보를 추출하는 기법을 의미한다. 이러한 스테레오 매칭은 사람의 두 눈이 특정 사물 또는 영상 패턴까지의 거리 정보를 획득하는 방법과 마찬가지로, 한쪽 영상 내의 특정 위치에 있는 패턴이 다른 쪽 영상에서는 어느 위치에 있는지 검출하여 두 위치의 차이 즉 양안차(disparity)를 추출함으로써, 카메라에서 그 패턴의 실제 위치까지의 거리값을 직접 계산하는 것이다. 이를 통하여 영상 분석부(163)는 화면 내의 모든 객체에 대한 거리 정보를 획득할 수 있다. 한편, 영상 분석부(163)의 스테레오 영상 처리 과정은 좌측 및 우측 카메라를 통해 좌측 및 우측 영상이 입력되면, 좌측 및 우측 영상에 대한 밝기 및 에피폴라 라인(epipolar line)을 일치시키는 스테레오 영상 입력에 대한 전처리 과정을 수행하고, 동일한 물체로 판단되는 좌측 및 우측 영상의 픽셀간 양안차(disparity)를 생성하는 스테레오 매칭을 수행한다. 그리고 영상 분석부(163)는 양안차의 결과에서 노이즈 성분을 제거한 후에 그 스테레오 영상의 거리 정보에 대한 프로젝션(projection), 세그멘테이션(segmentation), 필터링(filtering) 등의 후처리 과정을 수행하여 스테레오 영상 정보를 획득함으로써, 이러한 스테레오 영상 정보를 통해 특정 물체와 배경을 포함하는 객체와의 거리, 모양, 방향 등의 정보를 분석할 수 있다. 특히 영상 분석부(163)는 거리를 추정하는 경우, 좌우 영상 촬영 장치로 구성된 스테레오 영상 센서(210)로부터 촬영된 영상을 이용하여 대응점을 찾아 깊이 맵(depth map)을 생성한다. 그리고 영상 분석부(163)는 상기 깊이 맵과 좌우 영상을 이용하여 객체를 검출하고, 상기 검출된 객체의 시차를 구한다. 상기 영상 분석부(163)는 상기 구해진 시차를 이용하여 객체의 거리를 추정할 수 있다. 상술한 영상 분석부(163)의 객체 정보 분석은 앞서 설명한 바와 같이 사용자의 모드 설정에 따라 심층 분석 또는 간편 분석을 선택적으로 운용할 수 있다.The image analyzer 163 analyzes an image collected by the stereo image sensor 210 and performs in-depth analysis or simple analysis on various objects included in the image according to a setting. The image analyzer 163 may perform stereo matching on the image transmitted by the stereo image sensor 210. Stereo Matching refers to a technique of extracting stereoscopic image information from two images input from two cameras installed at left and right sides. This stereo matching is similar to a method in which two eyes of a person acquire distance information of a specific object or an image pattern. The stereo matching detects a position of a pattern in one image in a position of the other image and detects a difference between two positions, that is, binocular vision. By extracting the disparity, the distance value from the camera to the actual position of the pattern is calculated directly. Through this, the image analyzer 163 may obtain distance information of all objects in the screen. Meanwhile, when the left and right images are input through the left and right cameras, the stereo image processing process of the image analyzer 163 may be applied to the stereo image inputs matching the brightness and the epipolar line of the left and right images. The preprocessing is performed, and stereo matching is performed to generate a disparity between pixels of the left and right images determined to be the same object. The image analyzer 163 removes the noise component from the result of the binocular difference, and then performs a post-processing process such as projection, segmentation, filtering, etc. on the distance information of the stereo image, thereby performing a stereo image. By acquiring the information, information such as a distance, a shape, and a direction between the specific object and the object including the background may be analyzed through the stereo image information. In particular, when estimating the distance, the image analyzer 163 generates a depth map by finding a corresponding point using the image captured by the stereo image sensor 210 configured as the left and right image capturing apparatus. The image analyzer 163 detects an object by using the depth map and left and right images, and obtains parallax of the detected object. The image analyzer 163 may estimate a distance of an object by using the obtained parallax. As described above, the object information analysis of the image analyzer 163 may selectively operate the deep analysis or the simple analysis according to the user's mode setting.

또한 상기 영상 분석부(163)는 앞서 언급한 바와 같이 수집된 객체들에 대하여 영상 분석 DB(153)와의 비교를 통하여 검색하고자 하는 특정한 객체에 관한 정보를 비교 분석할 수 있다. 그리고 영상 분석부(163)는 특정한 객체 예를 들면 특정 인물이나 특정 물체 등에 해당하는 경우 해당 특정 객체 정보를 정보 출력부(165)에 전달할 수 있다.In addition, the image analyzer 163 may compare and analyze the information about the specific object to be searched through comparison with the image analysis DB 153 with respect to the collected objects as described above. If the image analyzer 163 corresponds to a specific object, for example, a specific person or a specific object, the image analyzer 163 may transmit the specific object information to the information output unit 165.

한편 상기 영상 분석부(163)는 음성 인식부(161)가 전달한 텍스트 정보에 대응하는 특정 객체 추적 기능을 지원할 수 있다. 이를 보다 상세히 설명하면, 착용자가 찾고자 하는 특정 객체에 대하여 발음하면 마이크(230)가 해당 발음을 수집하여 음성 인식부(161)에 전달할 수 있다. 그러면 음성 인식부(161)는 수집된 음성을 인식하여 그에 대응하는 텍스트 정보로 변환한 뒤 영상 분석부(163)에 전달한다. 영상 분석부(163)는 해당 텍스트 정보에 대응하는 객체가 현재 수집된 영상에 포함되어 있는지를 확인할 수 있다. 예를 들면 착용자가 "횡단보도"를 발음하여 음성 인식부(161)가 그에 대한 음성 인식을 수행하는 경우, 영상 분석부(163)는 "횡단보도"에 대응하는 객체 정보를 영상 분석 DB(153)에서 확인할 수 있다. 그리고 영상 분석부(163)는 현재 수집되는 영상에 대하여 "횡단보도" 객체에 대응하는 이미지가 포함되어 있는지를 분석할 수 있다. 이후 영상 분석부(163)는 "횡단보도" 객체에 대응하는 이미지가 영상에 포함된 경우, 해당 이미지에 포함된 "횡단보도" 객체에 대하여 착용자와의 거리와 방향 등에 대한 정보를 정보 출력부(165)에 전달할 수 있다. 이와 같은 방식으로 영상 분석부(163)는 착용자가 발음한 특정 객체에 대하여 현재 수집되는 영상들에서 어떠한 위치나 방향에 있는지를 추적할 수 있는 기능을 지원할 수 있다. 한편 영상 분석부(163)는 객체 추적을 위한 연산량을 고려하여 일정 시간 동안 해당 객체 추적을 지원하고 일정 시간이 경과하면 해당 객체 추적 실패에 대한 정보를 정보 출력부(165)에 전달할 수 있다. 그리고 영상 분석부(163)는 객체 추적을 다시 할 것인지를 묻는 정보를 정보 출력부(165)에 전달하고, 마이크(230) 또는 입력부(120)로부터 객체 추적 재개를 위한 입력 신호를 수신하면 이전 음성 인식된 텍스트 정보에 대응하는 객체 추적을 재수행할 수 있다.The image analyzer 163 may support a specific object tracking function corresponding to the text information transmitted by the voice recognition unit 161. In more detail, when the wearer pronounces a specific object to be found, the microphone 230 may collect the pronunciation and transmit it to the voice recognition unit 161. Then, the voice recognizer 161 recognizes the collected voice, converts the collected voice into text information corresponding thereto, and transmits the converted voice information to the image analyzer 163. The image analyzer 163 may determine whether an object corresponding to the text information is included in the currently collected image. For example, when the wearer pronounces "crosswalk" and the voice recognition unit 161 performs voice recognition on the same, the image analyzer 163 may display object information corresponding to "crosswalk" in the image analysis DB 153. ). The image analyzer 163 may analyze whether an image corresponding to the "crosswalk" object is included in the currently collected image. Afterwards, when the image corresponding to the "crosswalk" object is included in the image, the image analyzer 163 may provide information about the distance and direction with respect to the wearer with respect to the "crosswalk" object included in the image. 165). In this manner, the image analyzer 163 may support a function of tracking a position or a direction in images currently collected for a specific object pronounced by the wearer. On the other hand, the image analysis unit 163 may support the tracking of the object for a predetermined time in consideration of the amount of calculation for tracking the object, and may transmit information about the object tracking failure to the information output unit 165 after a predetermined time elapses. In addition, the image analyzer 163 transmits information to the information output unit 165 asking whether to re-track the object, and receives a previous voice when the input signal for resuming object tracking is received from the microphone 230 or the input unit 120. Object tracking corresponding to the recognized text information can be redone.

상기 정보 출력부(165)는 영상 분석부(163)가 인식한 정보를 표시부(240)와 이어폰(220) 등을 통하여 출력하도록 지원하는 구성이다. 즉 정보 출력부(165)는 영상 분석부(163)가 인식한 정보를 시각 정보로 변환하고, 변환된 시각 정보를 표시부(240)를 통하여 출력하도록 제어할 수 있다. 또한 정보 출력부(165)는 영상 분석부(163)가 인식한 정보를 음성 정보로 변환하고, 변환된 음성을 이어폰(220)을 통하여 출력하도록 제어할 수 있다. 이 과정에서 상기 정보 출력부(165)는 영상 분석부(163)로부터 특정 객체 정보가 전달되면, 해당 객체 정보에 대한 정보를 가이드 정보 DB(155)로부터 확인하고, 객체 정보에 관한 안내음을 이어폰(220)이나 표시부(240) 등을 통하여 출력하도록 제어할 수 있다. 그러면 본 발명의 시각 지원 보조 시스템(10)을 착용한 착용자는 주변에 촬영된 영상이 어떠한 특정 객체들의 정보를 가지고 있는지 시청각 정보를 통하여 손쉽게 파악할 수 있다.The information output unit 165 is configured to output information recognized by the image analyzer 163 through the display unit 240 and the earphone 220. That is, the information output unit 165 may convert the information recognized by the image analyzer 163 into visual information and control the output visual information through the display unit 240. In addition, the information output unit 165 may control to convert the information recognized by the image analyzer 163 into voice information, and output the converted voice through the earphone 220. In this process, when the specific object information is transmitted from the image analyzer 163, the information output unit 165 checks the information on the object information from the guide information DB 155, and the guide sound regarding the object information. The control unit 220 may control the output through the 220 or the display unit 240. Then, the wearer who wears the visual assistance system 10 of the present invention can easily grasp through the audiovisual information which specific objects have the information of the images photographed in the vicinity.

상술한 바와 같이 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)은 스테레오 영상 센서(210)를 통하여 수집된 영상에 대하여 객체 분석을 수행하여 영상에 포함된 객체들에 대한 다양한 주변 환경 정보들을 수집하고, 해당 정보들에 대응하는 다양한 안내음을 출력하도록 지원할 수 있다. 특히 본 발명의 시각 지원 보조 시스템(10)은 수집된 영상에 대하여 깊이 맵과 시차값을 적용함으로써 영상에 포함된 다양한 객체들에 대한 거리와 방향 등을 계산하고, 계산된 값에 대응하는 정보를 음성으로 사용자에게 알려줄 수 있다. 또한 본 발명의 시각 지원 보조 시스템(10)은 착용자의 빠른 길안내 등을 위하여 영상 분석을 다양한 모드로 운용할 수 있도록 함으로써, 보다 빠른 영상 분석을 수행하도록 지원하거나, 찾고자 하는 객체에 대한 정밀 분석을 수행하도록 지원할 수 있다.As described above, the visual assistance assisting system 10 according to an embodiment of the present invention performs object analysis on an image collected through the stereo image sensor 210 to obtain various surrounding information on objects included in the image. And collect and output various guide sounds corresponding to the corresponding information. In particular, the visual aiding system 10 of the present invention calculates the distance and direction of various objects included in the image by applying the depth map and the parallax value to the collected image, and provides information corresponding to the calculated value. Voice can inform the user. In addition, the visual aid assistance system 10 of the present invention enables the user to operate the image analysis in various modes for quick way guidance of the wearer, thereby supporting faster image analysis or performing a precise analysis of the object to be searched. Can support

이상에서는 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)의 각 구성들의 기능과 역할에 대하여 설명하였다. 이하에서는 상술한 시각 지원 보조 시스템(10)이 적용되는 구조물에 대하여 다양한 도면들을 참조하여 설명하기로 한다. 한편 이하에서 설명하는 시각 지원 보조 시스템(10)이 적용된 구조물은 앞서 설명한 시각 지원 보조 시스템(10)의 각 구성들 중 일부 구성이 제외된 형태로 설명될 수 있다. 따라서 본 발명의 시각 지원 보조 시스템(10)은 상술한 구성들을 모두 포함하는 구성들이 아닌 설계자의 의도나 착용자의 상황에 맞도록 일부 구성이 변경 및 제거될 수 있는 구조로서 이해하여야 할 것이다.In the above, the functions and roles of the components of the visual assistance system 10 according to an embodiment of the present invention have been described. Hereinafter, a structure to which the above-described visual aid assistance system 10 is applied will be described with reference to various drawings. Meanwhile, the structure to which the visual aiding system 10 described below is applied may be described in a form in which some components of the visual aiding system 10 described above are excluded. Therefore, the visual assistance system 10 of the present invention should be understood as a structure in which some components can be changed and removed according to the intention of the designer or the wearer, rather than the configurations including all of the above-described configurations.

도 2 내지 도 12는 본 발명의 실시 예에 따른 다양한 형태의 안경형 시각 지원 보조 시스템(10)의 외관을 개략적으로 나타낸 도면이다.2 to 12 are schematic views showing the appearance of various types of eyeglasses visual aid system 10 according to an embodiment of the present invention.

먼저 상기 도 2를 참조하면, 본 발명의 실시 예에 따른 안경형 시각 지원 보조 시스템(10)은 렌즈들(303), 상기 렌즈들(303)이 고정되는 안경테(301) 상기 안경테(301)로부터 일정 방향으로 신장되는 안경대(305), 상기 안경대(305)의 끝단에서 착용자의 귀에 걸리는 안경 고리(307)를 포함하는 안경형 구조물과, 스테레오 영상 센서(210), 이어폰(220), 데이터 처리 장치(100), 견착 구조물(400)을 포함할 수 있다. 여기서 스테레오 영상 센서(210)는 렌즈들(303)의 내측에 배치될 수 있으며, 렌즈들(303)은 안경테(301)에 의하여 고정될 수 있다. 그리고 렌즈들(303) 내측면에 배치되는 스테레오 영상 센서(210) 각각과 연결되는 신호 라인들이 마련될 수 있으며, 각 신호 라인들은 안경대(305)를 따라 배치되어 안경 고리(307)에 인접한 영역에서 노출되어 데이터 처리 장치(100)까지 배치될 수 있다. 한편 안경 고리(307) 일측에는 데이터 처리 장치(100)와 연결되는 이어폰(220)이 배치될 수 있다. First, referring to FIG. 2, the spectacle-type visual assistance system 10 according to an embodiment of the present invention is fixed from lenses 303 and spectacle frames 301 to which the lenses 303 are fixed. A spectacle structure including a spectacle frame 305 extending in a direction, and a spectacle ring 307 caught on a wearer's ear at the end of the spectacle frame 305, a stereo image sensor 210, an earphone 220, and a data processing device. 100, the adhesive structure 400 may be included. The stereo image sensor 210 may be disposed inside the lenses 303, and the lenses 303 may be fixed by the spectacle frame 301. In addition, signal lines connected to each of the stereo image sensors 210 disposed on the inner surfaces of the lenses 303 may be provided, and each signal line may be disposed along the eyeglass frame 305 to be adjacent to the glasses ring 307. The data processing apparatus 100 may be disposed to be exposed from the data processing apparatus 100. Meanwhile, the earphone 220 connected to the data processing device 100 may be disposed at one side of the eyeglass ring 307.

상기 견착 구조물(400)은 데이터 처리 장치(100)를 착용자의 일정 부위 예를 들면 주머니, 허리, 팔, 팔목, 상박 등에 견착시킬 수 있는 구조물로서 도시된 바와 같이 고정 고리와 고정 고리에 삽입될 수 있는 견착홀을 포함하는 띠 형상으로 구성될 수 있다. 그러나 본 발명의 견착 구조물(400)이 도시된 형태로 한정되는 것은 아니며, 착용자의 다양한 부위에 데이터 처리 장치(100)를 견착시킬 수 있는 형태라면 어떠한 형태라도 적용 가능할 것이다.The fastening structure 400 may be inserted into a fastening ring and a fastening ring as shown as a structure capable of attaching the data processing apparatus 100 to a part of a wearer, for example, a pocket, a waist, an arm, a cuff, an upper arm, or the like. It may be configured in the form of a band including the adhesive hole. However, the attachment structure 400 of the present invention is not limited to the illustrated form, and any form may be applied as long as the attachment structure 400 may be attached to various parts of the wearer.

상술한 바와 같은 구조를 가지는 본 발명의 안경형 시각 지원 보조 시스템(10)은 착용자가 안경을 착용하듯이 착용함으로써, 시각 지원 보조 시스템(10)의 착용을 용이하게 함은 물론 착용자 이외의 타인에게 불편함이나 어색함을 제공하지 않을 수 있다. 또한 본 발명의 안경형 시각 지원 보조 시스템(10)은 스테레오 영상 센서(210)가 안경의 렌즈들(303)의 내측면에 배치되어 착용자가 바라보고자 하는 시각 방향과 일치하는 방향의 주변 환경 정보를 수집할 수 있다. 또한 본 발명의 안경형 시각 지원 보조 시스템(10)은 안경 고리(307)에 인접한 지점에 이어폰(220)의 헤드 부분이 배치됨으로써 안경 구조물 착용과 함께 이어폰(220) 착용을 용이하게 할 수 있다. 그리고 안경 고리(307) 영역에서 스테레오 영상 센서(210)와 연결된 신호 라인을 노출함과 아울러 이어폰(220)과 연결되는 신호 라인을 노출함으로써 신호 라인 배치가 착용자의 운동 범위를 제한하는 것을 최소화할 수 있다.Eyeglass-type visual aid system 10 of the present invention having the structure as described above is worn as the wearer wears glasses, thereby facilitating the wearing of the visual aid system 10 as well as inconvenience to others other than the wearer. It may not provide clutter or awkwardness. In addition, the spectacle vision aid system 10 of the present invention is a stereo image sensor 210 is disposed on the inner surface of the lens 303 of the spectacles to collect the surrounding environment information in the direction that matches the visual direction that the wearer is looking can do. In addition, the glasses-type visual aid system 10 of the present invention can facilitate the wearing of the earphone 220 with the wearing of the eyeglass structure by disposing the head portion of the earphone 220 at a point adjacent to the eyeglass ring 307. In addition, by exposing the signal line connected to the stereo image sensor 210 in the eyeglass ring 307 area and the signal line connected to the earphone 220, the signal line arrangement may minimize the limit of the movement range of the wearer. have.

한편, 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 3에 도시된 바와 같이 데이터 처리 장치(100)를 소형화한 후, 데이터 처리 장치(100)를 목걸이 타입으로 휴대할 수 있도록 지원할 수 있다. 실질적으로 이러한 목걸이 타입의 데이터 처리 장치(100)는 도 2에 도시된 허리 착용 타입의 데이터 처리 장치(100)에 비하여 상대적으로 소형의 소자들을 이용하여 하드웨어를 구성하여야 할 것이다. 따라서 본 발명의 시각 지원 보조 시스템(10)은 동일한 기술 조건에서 데이터 처리 장치(100)를 도 3의 형태로 구성하는 경우 도 2의 형태에 비하여 상대적으로 데이터 처리 속도가 감소되는 형태로 구성될 수 있다. 따라서 도 3의 목걸이 타입의 데이터 처리 장치는 영상 분석에 있어서 간편 분석을 수행하는 용도를 마련하고, 도 2의 허리 착용 타입의 데이터 처리 장치는 심층 분석 및 간편 분석을 선택적으로 수행할 수 있는 용도로 마련할 수 도 있을 것이다. 그러나 본 발명이 이에 한정되는 것은 아니며, 다양한 소자들을 이용하여 심층 분석 및 간편 분석을 모두 지원할 수 있는 목걸이 타입의 데이터 처리 장치 구성도 가능하다.On the other hand, the spectacle vision aid system 10 of the present invention, as shown in FIG. 3, after miniaturizing the data processing apparatus 100, may support to carry the data processing apparatus 100 as a necklace type. Substantially, such a necklace-type data processing apparatus 100 may be configured using hardware that is relatively small compared to the waist-wear type data processing apparatus 100 illustrated in FIG. 2. Therefore, when the data processing apparatus 100 is configured in the form of FIG. 3 under the same technical condition, the visual assistance assistance system 10 of the present invention may be configured in a form in which the data processing speed is reduced compared to that of FIG. 2. have. Therefore, the necklace-type data processing apparatus of FIG. 3 provides a use for performing simple analysis in image analysis, and the waist-wearing data processing apparatus of FIG. 2 is used for selectively performing in-depth analysis and simple analysis. It may be possible. However, the present invention is not limited thereto, and it is also possible to configure a necklace type data processing device capable of supporting both in-depth analysis and simple analysis using various devices.

또한 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 4에 도시된 바와 같이 데이터 처리 장치(100)가 안경대(305)의 일측에 마련되는 형태로 구성될 수 도 있다. 이 경우 제어부(160)와 저장부(150) 및 입력부(120) 등의 구성이 일측에 마련되는 경우, 전원부(110)는 타측에 마련될 수 있을 것이다. 이때 얼굴에 착용하는 형태로 구성되어야 함으로 데이터 처리 장치(100)는 일정한 넓이와 길이를 가지는 형태로 제작되어 착용 시 안경대(305) 일측에서 아랫방향으로 배치되는 것이 바람직할 수 있다. 한편 도 4에 도시된 바와 같이 안경대(305)에 데이터 처리 장치(100)를 마련하는 경우 스테레오 영상 센서(210)와 이어폰(220)을 데이터 처리 장치(100)까지 연결하는 신호 라인의 길이가 비약적으로 짧아질 수 있다. 이에 따라 착용자는 특수한 형태의 안경을 착용함으로써 기타 구조물에 의한 운동 범위 제한 없이 주변 환경에 대한 정보를 보조 받을 수 있게 된다.In addition, the spectacle vision assistance system 10 of the present invention may be configured such that the data processing apparatus 100 is provided on one side of the spectacle frame 305 as shown in FIG. 4. In this case, when the configuration of the control unit 160, the storage unit 150 and the input unit 120 is provided on one side, the power supply unit 110 may be provided on the other side. In this case, since the data processing apparatus 100 is to be worn on the face, the data processing apparatus 100 may be manufactured to have a predetermined width and length so that the data processing apparatus 100 may be disposed downward from one side of the spectacles 305. Meanwhile, as shown in FIG. 4, when the data processing apparatus 100 is provided on the eyeglass stand 305, the length of the signal line connecting the stereo image sensor 210 and the earphone 220 to the data processing apparatus 100 is increased. It can be dramatically shortened. Accordingly, the wearer can receive information about the surrounding environment without limiting the range of motion by other structures by wearing a special type of glasses.

도 5는 착용자의 음성 인식을 위한 마이크(230)가 추가 배치되는 구조를 나타낸 것이다.5 shows a structure in which the microphone 230 for additionally recognizing the wearer is disposed.

상기 도 5를 참조하면, 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 2 등에서 설명한 바와 같이 안경테(301) 내에 마련된 렌즈들(303)의 내측면에 스테레오 영상 센서(210)를 배치하고, 안경대(305)를 따라 스테레오 영상 센서(210)를 잇는 신호 라인을 배치할 수 있으며, 안경 고리(307) 영역에 이어폰(220)을 배치하는 구조를 가질 수 있다. 특히 도 5에 도시된 본 발명의 안경형 시각 지원 보조 시스템(10)은 안경테(301)의 일측에 일정 크기의 마이크(230)를 배치하는 구조를 채용할 수 있다. 여기서 마이크(230)는 지향성 마이크로폰이 될 수 있으며, 착용자의 구강 방향을 지향하도록 배치될 수 있을 것이다. 한편 마이크(230)가 배치된 안경테(301)의 일측으로 마이크(230)를 연결하는 신호 라인이 배치된 후 마이크 신호 라인은 안경대(305)를 따라 스테레오 영상 센서(210)를 잇는 신호 라인과 동일한 방향으로 배치되어 데이터 처리 장치(100)에 접속될 수 있다. 이에 따라 착용자는 안경형 시각 지원 보조 시스템(10)을 착용하면서 자신이 찾고자 하는 특정 사물이나 인물 또는 장소나 건물 등에 대한 음성 발음을 통하여 해당 검색물에 대한 정보를 시스템으로부터 시각 정보나 청각 정보 형태로 획득할 수 있다.Referring to FIG. 5, the spectacles-type visual assistance system 10 of the present invention arranges the stereo image sensor 210 on the inner surfaces of the lenses 303 provided in the spectacle frame 301, as described in FIG. 2. A signal line connecting the stereo image sensor 210 may be disposed along the eyeglass frame 305, and the earphone 220 may be disposed in the eyeglass ring 307. In particular, the eyeglass visual aid system 10 of the present invention illustrated in FIG. 5 may employ a structure in which a microphone 230 having a predetermined size is disposed on one side of the eyeglass frame 301. Here, the microphone 230 may be a directional microphone, it may be arranged to orient the wearer's mouth. Meanwhile, after a signal line connecting the microphone 230 is disposed to one side of the eyeglass frame 301 in which the microphone 230 is disposed, the microphone signal line is connected to the signal line connecting the stereo image sensor 210 along the eyeglass frame 305. It may be arranged in the same direction and connected to the data processing apparatus 100. Accordingly, the wearer acquires information about the search object in the form of visual information or audio information from the system through voice pronunciation of a specific object, person, place, or building which he / she wants to find while wearing the eyeglass type visual assistance system 10. can do.

한편 본 발명의 안경형 시각 지원 보조 시스템(10)은 안경테(301)에 배치되는 렌즈들을 도 6에 도시된 바와 같이 반사형 렌즈 또는 선글라스 렌즈들(310)로 대체할 수 있다. 이 경우 렌즈들 내측면에 배치되던 스테레오 영상 센서(210)가 외부에서 관측되지 않도록 함으로써, 착용자 이외의 타인이 본 발명의 안경형 시각 지원 보조 시스템(10)에 대한 혐오감이나 어색함을 느끼지 않도록 지원할 수 있다. 이때 선글라스 렌즈들(310) 내측면에 스테레오 영상 센서(210)가 배치되어 선글라스 렌즈들(310)로 인한 조도가 감소될 수 있다. 따라서 데이터 처리 장치(100)는 스테레오 영상 센서(210)로부터 영상 신호를 수신하는 경우, 안경 타입에 따라 수신된 영상에 대한 영상 처리를 전처리할 수 있다. 즉 시각 지원 보조 시스템(10)이 일반 안경 타입인 경우 데이터 처리 장치(100)는 별도의 영상 전처리를 수행하지 않을 수 있으나, 선글라스 렌즈들(310)이 적용된 시각 지원 보조 시스템(10)인 경우 수신된 영상에 대하여 일정 조도를 밝게 처리하는 영상 전처리를 수행할 수 있다.Meanwhile, the spectacle visual assistance system 10 of the present invention may replace the lenses disposed on the spectacle frame 301 with the reflective lens or the sunglasses lenses 310 as shown in FIG. 6. In this case, by preventing the stereo image sensor 210 disposed on the inner surface of the lenses from being observed from the outside, it is possible to support a person other than the wearer so as not to feel disgusted or awkward with respect to the eyeglass visual aid system 10 of the present invention. . In this case, the stereo image sensor 210 may be disposed on the inner surface of the sunglasses lenses 310 to reduce the illuminance caused by the sunglasses lenses 310. Therefore, when the image processing apparatus 100 receives an image signal from the stereo image sensor 210, the data processing apparatus 100 may preprocess the image processing of the received image according to the glasses type. That is, when the visual aid system 10 is a general type of glasses, the data processing apparatus 100 may not perform separate image preprocessing, but when the visual aid system 10 to which the sunglasses lenses 310 are applied is received. Image preprocessing may be performed to brighten a predetermined illuminance of the image.

스테레오 영상 센서(210)가 렌즈들 내측면에 배치되는 구조 이외에 본 발명은 도 7에 도시된 바와 같이 안경테(301) 일측의 일정 위치에 스테레오 영상 센서(210)를 배치하는 시각 지원 보조 시스템(10)을 제공할 수 도 있다. 즉 도시된 바와 같이 본 발명의 스테레오 영상 센서(210)는 초소형으로 제작하여 안경테(301)의 좌우측 모서리 영역에 각각 배치함으로써 안경의 렌즈들이 바라보는 각도를 바라보도록 배치될 수 있다. 이때 스테레오 영상 센서(210)를 연결하는 신호 라인들은 이전 실시 예에서 설명한 바와 같이 안경대(305)를 따라 배치되어 안경 고리(307) 영역에서 데이터 처리 장치(100)와 연결되도록 배치될 수 있을 것이다. 여기서 본 발명의 시각 지원 보조 시스템(10)은 일반 투명 렌즈들 대신에 도시된 바와 같이 선글라스 렌즈들(310)을 적용할 수 도 있다.In addition to the structure in which the stereo image sensor 210 is disposed on the inner surfaces of the lenses, the present invention provides a visual aiding system for disposing the stereo image sensor 210 at a predetermined position on one side of the eyeglass frame 301 as shown in FIG. 7. ) May be provided. That is, as shown, the stereo image sensor 210 of the present invention may be manufactured to be microminiature and disposed in the left and right corner regions of the spectacle frame 301 so as to face the angles of the lenses of the spectacle. In this case, the signal lines connecting the stereo image sensor 210 may be arranged along the eyeglass frame 305 to be connected to the data processing apparatus 100 in the eyeglass ring 307 region as described in the previous embodiment. . Here, the vision aid system 10 of the present invention may apply sunglasses lenses 310 as shown instead of ordinary transparent lenses.

또한 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 8에 도시된 바와 같이 스테레오 영상 센서(210)를 렌즈들(303)의 정중앙뿐만 아니라 안경테(301)에 고정된 렌즈들(303)의 정중앙의 상측부에 장착할 수 있다. 이 경우 본 발명의 시각 지원 보조 시스템(10)은 시각 장애에 관계없이 정상인도 스테레오 영상 센서(210)의 배치에 관계없이 전방을 주시할 수 있으며, 이와 함께 스테레오 영상 센서(210)가 촬영한 영상을 분석한 정보를 획득할 수 있다. 이때 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 9에 도시된 바와 같이 스테레오 영상 센서(210)를 초소형으로 제작하여 도 7과 같이 안경테(301)의 모서리 양측에 각각 배치하는 형태로 제작할 수 도 있다.In addition, the eyeglass visual aid system 10 of the present invention, as shown in FIG. 8, the stereo image sensor 210 is not only the center of the lenses 303 but also the center of the lenses 303 fixed to the frames 301. It can be mounted on the upper side of the. In this case, the visual aiding system 10 of the present invention can look forward without regard to the disposition of the normal human stereo image sensor 210 regardless of visual impairment, and the image captured by the stereo image sensor 210 is taken together. It is possible to obtain information analyzed. In this case, the eyeglass visual aid system 10 of the present invention may be manufactured in a form in which the stereo image sensor 210 is made very small as shown in FIG. 9 and arranged on both sides of the edge of the eyeglass frame 301 as shown in FIG. 7. There is also.

도 10 및 도 11은 본 발명의 실시 예에 따른 안경형 시각 지원 보조 시스템(10)에 표시부(240)를 채용한 형태를 나타낸 것이다.10 and 11 illustrate a form in which the display unit 240 is employed in the spectacle visual assistance system 10 according to an embodiment of the present invention.

상기 도 10을 참조하면, 본 발명의 안경형 시각 지원 보조 시스템(10)은 안경테(301)에 선글라스 렌즈들(310)을 마련하고, 선글라스 렌즈들(310) 내측면에 스테레오 영상 센서(210)를 마련하는 구조를 가진다. 이때 스테레오 영상 센서(210) 뒷면에는 표시부(240)가 마련될 수 있다. 여기서 상기 표시부(240)는 OLED나 LCD 등의 평판 표시 소자의 형태로 마련될 수 있으며, 표시부(240) 이미지 출력을 위한 신호 라인들을 스테레오 영상 센서(210)의 신호 라인들과 함께 안경대(305)를 따라 배치되어 안경 고리(307) 영역에서 데이터 처리 장치(100)와 연결되도록 배치될 수 있다.Referring to FIG. 10, the spectacles-type visual assistance system 10 of the present invention provides sunglasses lenses 310 on the frames 301 and a stereo image sensor 210 on the inner surface of the sunglasses lenses 310. It has a structure to prepare. In this case, the display unit 240 may be provided on the rear surface of the stereo image sensor 210. Here, the display unit 240 may be provided in the form of a flat panel display device such as an OLED or LCD, and the optical line 305 together with the signal lines of the stereo image sensor 210 with signal lines for outputting the image of the display unit 240. ) May be arranged to be connected to the data processing apparatus 100 in the eyeglass ring 307 region.

또한 본 발명의 안경형 시각 지원 보조 시스템(10)은 도 11에 도시된 바와 같이 스테레오 영상 센서(210)를 안경테(301)의 모서리 영역에 각각 배치하고, 표시부(240)가 부착된 구조물을 안경테(301)에 고정되는 선글라스 렌즈들(310)의 내측면에 배치될 수 있다. 이때 선글라스 렌즈들(310) 일측 및 안경대(305)에는 상기 표시부(240)에 신호 전달을 위한 신호 라인들이 배치될 수 있으며, 이 신호 라인들은 안경대(305)를 따라 배치된 후 안경 고리(307)에 인접한 영역에서 데이터 처리 장치(100)와 연결되도록 배치될 수 있다.In addition, as shown in FIG. 11, the spectacle visual assistance system 10 of the present invention arranges the stereo image sensor 210 in the corner region of the spectacle frame 301, and attaches the structure to which the display unit 240 is attached. It may be disposed on the inner surface of the sunglasses lenses 310 fixed to the 301. In this case, signal lines for signal transmission to the display unit 240 may be disposed on one side of the sunglasses lenses 310 and the eyeglass frame 305, and the signal lines may be arranged along the eyeglass frame 305, and then the eyeglass ring ( It may be arranged to be connected to the data processing apparatus 100 in an area adjacent to the 307.

도 12는 본 발명의 실시 예에 따른 다양한 형태의 안경형 시각 지원 보조 시스템(10)을 실제 적용한 형태의 일예를 나타낸 사진이다. 도 12에 도시된 바와 같이 본 발명의 안경형 시각 지원 보조 시스템(10)은 스테레오 영상 센서(210)를 선글라스 렌즈들(310) 내측면에 배치하고, 스테레오 영상 센서(210)가 수집한 영상을 분석한 뒤, 이어폰(220)을 통하여 사용자에게 제공할 수 있다. 이에 따라 착용자는 시각에 장애가 있다 하더라도 이어폰(220)을 통하여 전달되는 주변 환경 정보 분석 가이드 정보를 청각 정보로 획득하여 자신이 원하는 목표물 확인 및 이동을 달성할 수 있다. 또한 본 발명의 시각 지원 보조 시스템(10)은 마이크(230)를 제공하여 사용자가 찾고자 하는 목표물에 대한 정보를 수집한 뒤, 스테레오 영상 센서(210)가 수집한 영상으로부터 목표물을 검출함으로써 객체 추적을 지원할 수 있다.FIG. 12 is a photograph illustrating an example in which various types of eyeglasses visual aid system 10 according to an embodiment of the present invention are actually applied. As shown in FIG. 12, the spectacles visual assistance system 10 of the present invention places the stereo image sensor 210 on the inner surface of the sunglasses lenses 310 and analyzes the image collected by the stereo image sensor 210. Then, it can be provided to the user through the earphone 220. Accordingly, even if the wearer has a visual impairment, the user may obtain the surrounding environment information analysis guide information transmitted through the earphone 220 as auditory information, thereby achieving the desired target confirmation and movement. In addition, the visual aiding system 10 of the present invention provides a microphone 230 to collect information on the target to be searched by the user, and then detects the target from the image collected by the stereo image sensor 210 to track the object. Can support

이상에서는 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)의 각 구성과 적용 형태들에 대하여 설명하였다. 이하에서는 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)의 운용 방법에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.In the above, each configuration and application forms of the visual assistance system 10 according to an embodiment of the present invention have been described. Hereinafter, a method of operating the visual assistance assistant system 10 according to an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 13은 본 발명의 실시 예에 따른 시각 지원 보조 시스템(10)의 운용 방법을 설명하기 위한 순서도이다.FIG. 13 is a flowchart for describing a method of operating the visual assistance assistance system 10 according to an exemplary embodiment.

상기 도 13을 참조하면, 본 발명의 시각 지원 보조 시스템 운용 방법은 S101 단계에서 전원부(110)의 전원을 턴-온 시켜 시각 지원 보조 시스템(10)에 전원을 공급한다. 이후 초기화 과정이 완료되면 스테레오 영상 센서(210)를 활성화하고, S103 단계에서 활성화된 스테레오 영상 센서(210)를 이용하여 영상을 수집한다.Referring to FIG. 13, in operation S101, the method of operating the visual assistance assistant system turns on the power of the power supply unit 110 to supply power to the visual assistance assistant system 10. After the initialization process is completed, the stereo image sensor 210 is activated, and the image is collected using the stereo image sensor 210 activated in step S103.

다음으로 시각 지원 보조 시스템(10)은 S105 단계에서 수집된 영상에 대한 영상 분석을 수행한다. 그리고 시각 지원 보조 시스템(10)은 S107 단계에서 분석 영상에 따른 청각 정보 출력 및 단순화된 시각 정보 출력 중 적어도 하나를 수행할 수 있다.Next, the visual assistance assistance system 10 performs image analysis on the image collected in step S105. In operation S107, the visual assistance assistance system 10 may perform at least one of outputting auditory information according to the analysis image and outputting simplified visual information.

이후 시각 지원 보조 시스템(10)은 S109 단계에서 음성 수집 여부를 확인할 수 있다. 이 과정에서 음성 수집을 위한 입력 신호가 발생하는 경우, 시각 지원 보조 시스템(10)은 마이크(230)를 활성화하여 착용자의 음성을 수집하고 S111 단계에서 수집된 음성을 음성 인식하도록 제어할 수 있다. 다음으로 상기 시각 지원 보조 시스템(10)은 S113 단계에서 음성 인식 정보에 대응하는 영상 분석 정보 검색을 수행할 수 있다.Thereafter, the visual assistance assistance system 10 may check whether the voice is collected in step S109. In this process, when an input signal for voice collection is generated, the visual assistance assistant system 10 may activate the microphone 230 to collect the wearer's voice and control the voice to be recognized in step S111. Next, the visual assistance assistance system 10 may search for image analysis information corresponding to voice recognition information in step S113.

이후 상기 시각 지원 보조 시스템(10)은 S115 단계에서 검색 결과에 따른 청각 정보 출력 및 단순화된 시각 정보 출력 중 적어도 하나의 기능을 수행하도록 제어할 수 있다.Thereafter, the visual assistance assistance system 10 may control to perform at least one function of outputting auditory information and outputting simplified visual information according to a search result in operation S115.

한편 S109 단계에서 음성 수집을 위한 별도의 입력 신호 발생이 없는 경우 상기 시각 지원 보조 시스템(10)은 S117 단계로 분기하여 시각 지원 보조 시스템(10)의 종료 여부를 확인할 수 있다. 여기서 종료를 위한 입력 신호 발생이 없는 경우 상기 시각 지원 보조 시스템(10)은 S101 단계 이전으로 분기하여 이하 과정을 반복적으로 수행하도록 제어할 수 있다.On the other hand, if there is no separate input signal generation for voice collection in step S109, the time aid assistance system 10 may branch to step S117 to check whether the time aid assistance system 10 is terminated. In this case, when there is no input signal generated for termination, the visual assistance assistance system 10 may branch to step S101 to perform the following process repeatedly.

상술한 바와 같이 본 발명의 시각 지원 보조 시스템은 스테레오 영상센서를 통하여 획득한 영상을 처리하여 시야방향에서 장애물의 거리와 방향, 통로의 거리와 방향, 사용자가 알고 있는 사람의 이름 및 거리와 방향, 사용자가 찾고 있는 목적지로의 경로에 해당하는 지점의 거리와 방향, 사용자가 찾고 있는 대상의 거리와 방향 등을 검색할 수 있다. As described above, the visual aiding system of the present invention processes an image acquired through a stereo image sensor, so that the distance and direction of the obstacle in the viewing direction, the distance and direction of the passage, the name and distance and direction of a person known to the user, The distance and direction of the point corresponding to the route to the destination that the user is looking for, and the distance and direction of the object that the user is looking for may be searched.

그리고 본 발명의 시각 지원 보조 시스템은 검색된 정보들에 대한 가이드 정보를 이어폰이나 표시부 등을 통하여 출력할 수 있다. 즉 본 발명의 시각 지원 보조 시스템은 렌즈 뒤에 장착된 스테레오 센서의 뒷면 또는 렌즈 뒤에 별도로 장착되는 장치를 통해 빛을 감지 할 수 있는 시각장애인에게 단순화된 시각정보를 전달할 수 있다. 예를 들어 본 발명의 시각 지원 보조 시스템은 사전 정의된 불빛의 색상, 강도, 점멸, 명암 등을 이용하여 장애물 등의 사용자 관심 대상물과의 거리 등을 표현할 수 있으며, 이때 대상물의 방향은 사용자의 머리 회전에 따라 결정될 수 있다. 또한 본 발명의 시각 지원 보조 시스템은 발광장치를 좌우방향의 선형 분포 또는 상하좌우의 2차원적 분포로 배치하여 대상물과의 거리를 발광의 크기 등으로, 대상물의 방향을 불빛의 위치 등으로 표현가능하며, 색상을 이용하여 대상물의 속성 등을 나타낼 수 있다.In addition, the visual assistance system of the present invention may output guide information on the retrieved information through an earphone or a display unit. That is, the visual assistance system of the present invention can deliver simplified visual information to a visually impaired person who can sense light through the rear of the stereo sensor mounted behind the lens or a device mounted separately behind the lens. For example, the visual assistance system of the present invention may express the distance to the user's object of interest such as an obstacle using a predefined color, intensity, blink, contrast, etc., wherein the direction of the object is the head of the user. It can be determined according to the rotation. In addition, the visual aiding system of the present invention can arrange the light emitting device in a linear distribution in left and right directions or two-dimensional distribution in up, down, left and right directions to express the distance from the object to the size of light emission and the direction of the object to the position of the light. The color may be used to indicate the property of the object.

이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those of ordinary skill in the art that various changes and modifications may be made without departing from the spirit of the invention and the scope of the appended claims.

10 : 시각 지원 보조 시스템 100 : 데이터 처리 장치
110 : 전원부 120 : 입력부
150 : 저장부 160 : 제어부
161 : 음성 인식부 163 : 영상 분석부
165 : 정보 출력부 210 : 스테레오 영상 센서
220 : 이어폰 230 : 마이크
240 : 표시부 301 : 안경테
303 : 렌즈들 305 : 안경대
307 : 안경 고리 310 : 선글라스 렌즈들
400 : 견착 구조물10: visual aid system 100: data processing device
110: power supply unit 120: input unit
150: storage unit 160: control unit
161: speech recognition unit 163: image analysis unit
165: information output unit 210: stereo image sensor
220: earphone 230: microphone
240: display unit 301: glasses frame
303: Lenses 305: Glasses stand
307: glasses ring 310: sunglasses lenses
400: adherent structure

Claims

At least one of ordinary transparent lenses, reflective lenses, sunglasses lenses, the spectacle frame in which the lenses are disposed, the spectacle frame extending in a direction from one side of the spectacle frame, and the spectacle ring provided at the end of the spectacle frame to be worn by the wearer's ear An eyeglass structure comprising;
A stereo image sensor disposed on at least one of an upper portion of the inner surface of the inner surfaces of the lenses, an upper portion of the inner surface of the lenses, and both ends of the corners of the eyeglass frame;
A data processing device analyzing at least one of distance, direction, and shape of at least one object included in the image and a wearer based on stereo image matching with respect to the collected image connected to the stereo image sensor;
An output device for outputting guide information corresponding to the analysis information analyzed by the data processing device as at least one of auditory information and visual information;
A microphone for collecting a wearer's voice;
Including,
The data processing device
A speech recognition unit for recognizing speech collected by the microphone;
An image analyzer for analyzing the stereo image;
An information output unit configured to output guide information corresponding to the analysis information analyzed by the image analyzer;
Including;
The image analyzing unit
And tracking the object corresponding to the voice recognized information in the currently collected image, and delivering guide information on the tracked object to the information output unit.

delete

The method of claim 1,
An earphone connected to the data processing device and disposed in an area adjacent to the eyeglass ring to output the auditory information;
The visual assistance system further comprises.

The method of claim 1,
Arranged on the inner surface of the lens to guide the guide information in accordance with the control of the data processing device predefined contrast, color classification, flashing classification, light intensity classification, the position of light on the linear or two-dimensional distribution and the size of light A display unit for outputting at least one piece of visual information;
The visual assistance system further comprises.

At least one of ordinary transparent lenses, reflective lenses, sunglasses lenses, the spectacle frame in which the lenses are disposed, the spectacle frame extending in a direction from one side of the spectacle frame, and the spectacle ring provided at the end of the spectacle frame to be worn by the wearer's ear Collecting a stereo image based on a spectacle-shaped structure and a stereo image sensor disposed at at least one of an upper portion of the inner surface of the inner surface of the lenses, an upper portion centered on the center of the lens, and both ends of corners of the spectacle frame;
Analyzing the collected images;
Outputting, as auditory information, guide information related to at least one of a distance, a direction, and a shape of an object between at least one of the objects included in the analyzed image and a wearer wearing the spectacles-like structure;
Including,
Collecting the wearer's voice;
Voice recognition of the collected voice;
Tracking a specific object indicated by the speech recognized information in the analysis image;
Outputting guide information on the tracked analysis image as auditory information;
Visual aiding method further comprising a.

delete

The method according to claim 6,
Outputting the guide information as visual information including at least one of a predetermined contrast, a color, a blink, a light intensity, a position of light on a linear or two-dimensional distribution, and a size of light;
Visual aiding method further comprising a.