KR102259332B1 - Object detection and guidance system for people with visual impairment - Google Patents

Object detection and guidance system for people with visual impairment Download PDF

Info

Publication number
KR102259332B1
KR102259332B1 KR1020190110536A KR20190110536A KR102259332B1 KR 102259332 B1 KR102259332 B1 KR 102259332B1 KR 1020190110536 A KR1020190110536 A KR 1020190110536A KR 20190110536 A KR20190110536 A KR 20190110536A KR 102259332 B1 KR102259332 B1 KR 102259332B1
Authority
KR
South Korea
Prior art keywords
visually impaired
information
guidance system
voice data
object detection
Prior art date
Application number
KR1020190110536A
Other languages
Korean (ko)
Other versions
KR20210029388A (en
Inventor
이보원
김태용
김상홍
최준희
이영선
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020190110536A priority Critical patent/KR102259332B1/en
Publication of KR20210029388A publication Critical patent/KR20210029388A/en
Application granted granted Critical
Publication of KR102259332B1 publication Critical patent/KR102259332B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled

Abstract

물건 탐지 및 안내를 위한 시스템이 개시된다. 일 실시예에 따른 물건 탐지 및 안내 시스템은, 영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식하는 객체 인식부; 상기 객체에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단하는 판단부; 상기 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별하는 식별부; 및 상기 식별된 객체의 위치 정보를 포함하는 객체 정보를 안내하는 안내부를 포함할 수 있다. A system for object detection and guidance is disclosed. An object detection and guidance system according to an embodiment includes: an object recognition unit for recognizing at least one or more objects in response to acquiring image data photographed from an imaging device; a determination unit that determines intention information queried through voice data of the visually impaired from a model configured to answer a question about the object; an identification unit for identifying location information of the recognized object in relation to the determined intention information; and a guide for guiding object information including location information of the identified object.

Description

시각 장애인을 위한 물건 탐지 및 안내를 위한 시스템{OBJECT DETECTION AND GUIDANCE SYSTEM FOR PEOPLE WITH　VISUAL IMPAIRMENT} OBJECT DETECTION AND GUIDANCE SYSTEM FOR PEOPLE WITH　VISUAL IMPAIRMENT}

아래의 설명은 물건 탐지 및 안내 기술에 관한 것이다. The description below relates to object detection and guidance technology.

시각 장애인을 위한 길안내 시스템 등 다양한 발명이 이루어지고 있지만, 시각 장애인이 일상생활에서 물건을 찾거나 이를 안내해주는 시스템은 부재하다. 시각 장애인들은 물건의 위치를 기억하고 정해진 위치에 놓는 방식으로 물건의 위치 정보를 기억하지만, 새로운 상황에 놓여있을 때나 위치가 바뀌어 버리면 원하는 물건을 찾기가 매우 힘든 점이 있다. 시각 장애인 뿐 아니라 고령자, 영유아 및 복잡한 업무를 동시에 진행하는 일반 사용자들에게도 물건을 찾거나 안내해주는 시스템이 유용하게 사용될 수 있다. Although various inventions, such as a navigation system for the visually impaired, have been made, there is no system for the visually impaired to find or guide them in their daily life. Visually impaired people remember the location of objects by memorizing the location and placing them in a fixed location, but when placed in a new situation or when the location is changed, it is very difficult to find the desired object. A system that finds or guides objects can be useful not only for the visually impaired, but also for the elderly, infants, and general users who perform complex tasks at the same time.

이러한 문제를 해결하기 위해, 사용자의 음성을 이해하고 물건의 위치 정보를 알아내는 기술을 이용하여 시각 장애인을 포함한 사용자들이 용이하게 사용할 수 있는 기술이 필요하다. In order to solve this problem, there is a need for a technology that can be easily used by users, including the visually impaired, by using a technology for understanding a user's voice and finding out location information of an object.

한편, 한국등록특허 시각 장애인용 지팡이 및 이를 이용한 물건 탐지 시스템(등록번호: 1018567000000(2018.05.03))은 시각 장애인이 안전하게 보행을 하는 것을 돕기 위하여, 지팡이를 통한 전방 장애물을 인지하고 및 경고하는 것이 개시된바 있다. On the other hand, the Korean patented cane for the visually impaired and an object detection system using the same (registration number: 1018567000000 (2018.05.03)) are to recognize and warn of obstacles ahead through the cane in order to help the visually impaired walk safely. has been disclosed

사용자의 음성 데이터를 인식함에 따라 파악된 사용자의 의도와 영상 장치로부터 획득된 영상 데이터를 이용하여 물건의 위치 정보를 안내하는 방법 및 시스템을 제공할 수 있다.A method and system for guiding location information of an object by using the user's intention recognized by recognizing the user's voice data and image data obtained from an imaging device may be provided.

물건 탐지 및 안내 시스템은, 영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식하는 객체 인식부; 상기 객체에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단하는 판단부; 상기 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별하는 식별부; 및 상기 식별된 객체의 위치 정보에 기초하여 객체 정보를 안내하는 안내부를 포함할 수 있다. The object detection and guidance system includes: an object recognition unit for recognizing at least one or more objects as image data photographed from an imaging device is acquired; a determination unit that determines intention information queried through voice data of the visually impaired from a model configured to answer a question about the object; an identification unit for identifying location information of the recognized object in relation to the determined intention information; and a guide unit for guiding object information based on the identified location information of the object.

상기 판단부는, 상기 객체에 대한 질의 응답을 위하여 기계학습 기반의 모델을 구성하고, 상기 구성된 모델을 통하여 상기 영상 데이터로부터 객체를 감지한 식별 정보를 획득하고, 상기 시각 장애인의 음성 데이터로부터 요청된 질의에 대한 객체의 식별 정보를 인식할 수 있다. The determination unit configures a machine learning-based model to answer a question about the object, obtains identification information for detecting an object from the image data through the configured model, and performs a query requested from the voice data of the visually impaired. It is possible to recognize the identification information of the object for

상기 판단부는, 상기 시각 장애인의 음성 데이터를 인식하기 위한 시각 장애인의 목소리를 저장하고, 상기 음성 데이터가 상기 저장된 시각 장애인의 목소리를 통하여 음성 데이터가 발화됨에 따라 인식 알고리즘에 기반하여 음성 데이터를 최적화할 수 있다. The determination unit stores the voice of the visually impaired for recognizing the voice data of the visually impaired, and optimizes the voice data based on a recognition algorithm as the voice data is uttered through the stored voice of the visually impaired. can

상기 판단부는, 상기 시각 장애인으로부터 상기 객체의 위치 정보를 포함하는 객체 정보와 관련된 질의로서 음성 데이터가 발화됨을 수신하고, 상기 수신된 음성 데이터에 기초하여 상기 시각 장애인의 질의에 대한 의도 정보를 판단할 수 있다. The determination unit may receive from the visually impaired that voice data is uttered as a query related to object information including the location information of the object, and determine intention information for the query of the visually impaired based on the received voice data. can

상기 판단부는, 복수 개의 유저 인터페이스를 구성하고, 상기 구성된 복수 개의 유저 인터페이스 중 하나의 유저 인터페이스가 선택됨에 따라 상기 시각 장애인과 기 설정된 거리 이내에 존재하는 객체를 판단하고, 판단된 객체와 관련된 객체 정보를 생성하고, 상기 복수 개의 유저 인터페이스 중 다른 유저 인터페이스가 선택됨에 따라 상기 시각 장애인으로부터 음성 데이터를 통하여 질의되고, 상기 질의된 음성 데이터에 포함된 특정 객체 정보가 상기 시각 장애인을 기준으로 기 설정된 범위 내에 존재하는지 판단할 수 있다. The determination unit configures a plurality of user interfaces, and when one user interface among the configured plurality of user interfaces is selected, determines an object existing within a preset distance from the visually impaired, and obtains object information related to the determined object. generated, and as another user interface is selected from among the plurality of user interfaces, a query is made from the visually impaired through voice data, and specific object information included in the queried voice data is within a preset range based on the visually impaired. can determine whether

상기 식별부는, 상기 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보를 식별하는 것을 포함하고, 상기 안내부는, 상기 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보 중 하나 또는 하나 이상을 포함하는 안내 정보를 상기 시각 장애인에게 음성 메시지로 통보할 수 있다. The identification unit includes identifying location information of the object including the type of the object, the shape of the object, the location of the object or the direction of the object, and the guide unit, the type of the object, the shape of the object, the location of the object Alternatively, guide information including one or more of location information of the object including the direction of the object may be notified to the visually impaired through a voice message.

상기 안내부는, 상기 시각 장애인으로부터 질의된 객체 정보가 탐색되지 않는 경우, 상기 객체가 탐지될 때까지 상기 시각 장애인이 위치 및 방향을 이동시키도록 안내할 수 있다. The guide unit may guide the visually impaired to move the location and direction until the object is detected, when the object information queried by the visually impaired is not searched.

상기 안내부는, 상기 식별된 객체의 위치 정보를 포함하는 객체 정보를 음성 장치에 입력하여 음성 합성을 진행한 후, 상기 합성된 음성 데이터를 통하여 상기 객체 정보를 포함하는 안내 정보를 골전도를 사용하여 음성 데이터로 전달할 수 있다. The guide unit inputs the object information including the location information of the identified object into a voice device to perform voice synthesis, and then uses bone conduction to generate the guide information including the object information through the synthesized voice data. It can be transmitted as voice data.

물건 탐지 및 안내 시스템에 의해 수행되는 방법은, 영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식하는 단계; 상기 객체에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단하는 단계; 상기 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별하는 단계; 및 상기 식별된 객체의 위치 정보에 기초하여 객체 정보를 안내하는 단계를 포함할 수 있다. The method performed by the object detection and guidance system includes: recognizing at least one or more objects according to acquiring image data photographed from an imaging device; determining the intention information queried through the voice data of the visually impaired from the model constructed to answer the question on the object; identifying location information of the recognized object in relation to the determined intention information; and guiding object information based on location information of the identified object.

일 실시예에 따른 물건 탐지 및 안내 시스템은 시각 장애인으로부터 요청된 물건에 대하여 영상 인식을 통하여 물건의 위치 정보를 파악한 후, 파악된 물건의 위치 정보를 안내할 수 있다. The object detection and guidance system according to an embodiment may determine the location information of the object through image recognition for the object requested by the visually impaired, and then guide the location information of the identified object.

일 실시예에 따른 물건 탐지 및 안내 시스템은 시각 장애인이 용이하게 착용 및 사용할 수 있는 형태로 제작하여 주변의 물건을 인지하고 안내하기 때문에, 어디서든 휴대가 간편하고 사용법이 간단하여 시각 장애인들이 편리하게 장치를 이용할 수 있다. Since the object detection and guidance system according to an embodiment is manufactured in a form that can be easily worn and used by the visually impaired to recognize and guide surrounding objects, it is convenient to carry anywhere and simple to use, making it convenient for the visually impaired. device is available.

일 실시예에 따른 물건 탐지 및 안내 시스템은 위험한 물건이 있다면 이를 인식하여 피해를 미연에 방지할 수 있기 때문에, 시각 장애인이 직면할 수 있는 위험한 상황을 안전하게 회피할 수 있다.Since the object detection and guidance system according to an embodiment recognizes a dangerous object and prevents damage in advance, it is possible to safely avoid dangerous situations that the visually impaired may face.

일 실시예에 따른 물건 탐지 및 안내 시스템은 시각 장애인이 일상 생활에서 피치 못하게 주변의 물건을 잘못 건드려서 파손시키는 금전적 손실을 방지 할 수 있다. The object detection and guidance system according to an embodiment may prevent a financial loss caused by a visually impaired person accidentally touching a surrounding object and damaging it in daily life.

도 1은 일 실시예에 따른 물건 탐지 및 안내 시스템의 개괄적인 동작을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 물건 탐지 및 안내 시스템의 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 물건 탐지 및 안내 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 일 실시예에 따른 물건 탐지 및 안내 시스템에서 유저 인터페이스를 장착하는 부분과 카메라를 고정하는 부분을 설명하기 위한 예이다.
도 6은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 유저 인터페이스의 예이다.
도 7은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 유저 인터페이스의 선택에 따라 동작되는 것을 설명하기 위한 예이다.
도 8은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 제1 유저 인터페이스를 통하여 주위에 객체가 존재하는지 여부를 판단하는 동작을 설명하기 위한 흐름도이다.
도 9는 일 실시예에 따른 물건 탐지 및 안내 시스템에서 제2 유저 인터페이스를 통하여 찾고자 하는 객체가 존재하는지 여부를 판단하는 동작을 설명하기 위한 흐름도이다. 1 is a view for explaining the general operation of the object detection and guidance system according to an embodiment.
2 is a block diagram illustrating the configuration of an object detection and guidance system according to an embodiment.
3 is a flowchart illustrating an object detection and guidance method in the object detection and guidance system according to an embodiment.
4 and 5 are examples for explaining a part for mounting a user interface and a part for fixing a camera in the object detection and guidance system according to an embodiment.
6 is an example of a user interface in the object detection and guidance system according to an embodiment.
7 is an example for explaining an operation according to selection of a user interface in the object detection and guidance system according to an embodiment.
8 is a flowchart illustrating an operation of determining whether an object exists around an object detection and guidance system through a first user interface according to an embodiment.
9 is a flowchart illustrating an operation of determining whether an object to be found exists through a second user interface in the object detection and guidance system according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

실시예에서는 시각 장애인의 주변에 물건이 어디에 있는지 찾는 어려움을 해결하기 위하여 시각 장애인의 편의성을 향상시킬 수 있는 시각 장애인용 물건 탐지 및 안내 시스템을 설명하기로 한다. 시각 장애인이 주로 안내견이나 지팡이를 들고 다니고 한쪽에는 물건을 들고 있는 경우가 많기 때문에, 시각 장애인이 용이하게 착용 및 사용할 수 있도록 상기 시스템 또는 시스템의 카메라가 사용자의 신체의 일부 예를 들면, 목 혹은 가슴에 부착할 수 있는 착용 가능한 형태로 구성되어 있다고 가정하기로 한다. In the embodiment, an object detection and guidance system for the visually impaired that can improve the convenience of the visually impaired in order to solve the difficulty of finding where an object is located in the vicinity of the visually impaired will be described. Since the visually impaired often carry a guide dog or cane and hold an object on one side, the system or the camera of the system can be used to easily wear and use a part of the user's body, for example, the neck or chest. It is assumed that it is composed of a wearable form that can be attached to the

도 1은 일 실시예에 따른 물건 탐지 및 안내 시스템의 개괄적인 동작을 설명하기 위한 도면이다.1 is a view for explaining the general operation of the object detection and guidance system according to an embodiment.

물건 탐지 및 안내 시스템은 객체(object)를 인식할 수 있다. 물건 탐지 및 안내 시스템은 영상 데이터로부터 적어도 하나 이상의 객체를 인식할 수 있다. 예를 들면, 물건 탐지 및 안내 시스템은 영상 장치(예를 들면, 카메라)가 내장되어 카메라로부터 촬영된 영상 데이터를 획득할 수 있으며, 외부에 존재하는 영상 장치(예를 들면, 카메라)와 연동되어 카메라로부터 촬영된 영상 데이터를 수신할 수도 있다. 이때, 물건 탐지 및 안내 시스템은 카메라로부터 촬영되는 영상 데이터에 의하여 캡쳐된 이미지로부터 적어도 하나 이상의 객체를 인식할 수 있다. 일례로, 카메라를 시각 장애인의 가슴 높이에서 촬영함에 따라 획득된 이미지에 존재하는 적어도 하나 이상의 객체를 인식할 수 있다. 물건 탐지 및 안내 시스템은 임베디드 시스템의 형태일 수 있으며, 예를 들면, 라이베리파이가 적용될 수 있다. 예를 들면, 물건 탐지 및 안내 시스템은 다중 객체를 인식하기 위하여 Google Coral USB Accelerator와 함께 Raspberry Pi 3에 설치된 MobileNetV2 모델이 사용될 수 있다. The object detection and guidance system may recognize an object. The object detection and guidance system may recognize at least one object from the image data. For example, the object detection and guidance system has a built-in imaging device (eg, a camera) to acquire captured image data from the camera, and works with an external imaging device (eg, a camera) to It is also possible to receive image data captured from the camera. In this case, the object detection and guidance system may recognize at least one object from an image captured by image data captured by the camera. For example, at least one object present in an image obtained by photographing the camera at the height of the chest of the visually impaired may be recognized. The object detection and guidance system may be in the form of an embedded system, for example, Liberia Pi may be applied. For example, the object detection and guidance system can use the MobileNetV2 model installed on Raspberry Pi 3 with Google Coral USB Accelerator to recognize multiple objects.

물건 탐지 및 안내 시스템은 객체 정보에 대한 질의 응답을 위하여 모델을 구성할 수 있다. 이때, 물건 탐지 및 안내 시스템은 기계학습 기반의 모델을 구성할 수 있다. 예를 들면, 기계학습 기반의 모델은 심층 신경망(예를 들면, DNN, CNN 등)을 사용한 컴퓨터 비전이 적용될 수 있다. The object detection and guidance system may configure a model to answer questions about object information. In this case, the object detection and guidance system may constitute a machine learning-based model. For example, computer vision using a deep neural network (eg, DNN, CNN, etc.) may be applied to a machine learning-based model.

이와 같이 구성된 모델을 통하여 음성 기반의 질의 응답이 수행될 수 있다. 물건 탐지 및 안내 시스템은 영상 데이터를 통하여 감지된 객체의 식별 정보(예를 들면, 객체명)를 나열할 수 있다. 예를 들면, 시각 장애인이 인식된 객체의 이름을 열거하는 음성 데이터를 듣고, 원하는 객체의 위치를 시각 장애인의 음성 데이터를 통하여 질의할 수 있다. Voice-based question and answer can be performed through the model constructed as described above. The object detection and guidance system may list identification information (eg, object name) of objects detected through image data. For example, the visually impaired may listen to voice data listing the names of recognized objects, and may query the location of a desired object through the voice data of the visually impaired.

또한, 시각 장애인은 감지되고 있는 객체가 무엇인지 들을 수 있고, 특정 객체의 위치를 요청할 수 있다. 물건 탐지 및 안내 시스템은 시각 장애인으로부터 음성 데이터를 통하여 객체와 관련하여 질의됨을 수신할 수 있고, 질의된 객체와 관련된 객체 식별 정보를 식별할 수 있다. 일례로, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 발화되는 음성 데이터로부터 키워드를 추출할 수 있고, 추출된 키워드가 영상 데이터 내에 존재하는지 감지할 수 있다. 또는, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 발화되는 음성 데이터로부터 키워드를 추출할 수 있고, 추출된 키워드와 영상 데이터로부터 인식된 적어도 하나 이상의 객체를 비교하여 키워드와 일치하는 객체가 존재하는지 감지할 수 있다. 또한, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 음성 데이터를 통하여 객체와 관련하여 질의된 의도 정보를 판단할 수 있다. 일례로, 물건 탐지 및 안내 시스템은 제1 유저 인터페이스 또는 제2 유저 인터페이스에 따라 시각 장애인의 의도 정보를 다르게 수신할 수 있다. 물건 탐지 및 안내 시스템은 제1 유저 인터페이스가 선택됨에 따라 현재 주위에 존재하는 객체를 알려달라는 의도 정보를 판단할 수 있고, 제2 유저 인터페이스가 선택됨에 따라 찾고 싶은 객체와, 찾고 싶은 객체의 정보를 알려달라는 의도 정보를 판단할 수 있다. 다른 예로서, 물건 탐지 및 안내 시스템은 시각 장애인이 객체의 위치 정보를 질의하더라도 객체에 도달하기 위하여 객체가 존재하는 위치를 질의한 것인지, 객체를 피하기 위하여 객체가 존재하는 위치를 질의한 것인지 판단할 수 있다. In addition, the visually impaired can hear what object is being sensed, and can request the location of a specific object. The object detection and guidance system may receive a query related to an object from a visually impaired person through voice data, and may identify object identification information related to the queried object. For example, the object detection and guidance system may extract a keyword from voice data uttered by a visually impaired person, and may detect whether the extracted keyword exists in the image data. Alternatively, the object detection and guidance system may extract a keyword from voice data uttered by the visually impaired, and detect whether an object matching the keyword exists by comparing the extracted keyword with at least one or more objects recognized from the image data. have. Also, the object detection and guidance system may determine intention information queried in relation to the object through voice data from the visually impaired. For example, the object detection and guidance system may differently receive intention information of the visually impaired according to the first user interface or the second user interface. The object detection and guidance system may determine intention information to inform about objects that currently exist in the vicinity as the first user interface is selected, and as the second user interface is selected, the object to be found and information on the object to be found It is possible to determine the intended information to be disclosed. As another example, the object detection and guidance system may determine whether a visually impaired person queries the location of the object in order to reach the object or the location of the object in order to avoid the object, even if the visually impaired person queries the location information of the object. can

물건 탐지 및 안내 시스템은 시각 장애인의 질의와 관련하여 객체를 인식하고, 인식된 객체의 위치 정보를 포함하는 객체 정보를 음성 데이터를 통하여 질의에 대한 응답으로 답변할 수 있다. 물건 탐지 및 안내 시스템은 카메라가 촬영되는 범위 내에서 객체가 존재하는 위치 정보를 안내할 수 있다. 이때, 물건 탐지 및 안내 시스템은 객체를 감지할 때까지 시각 장애인에게 위치를 이동할 것을 제안할 수 있다. The object detection and guidance system may recognize an object in relation to a query of a visually impaired person, and may answer object information including location information of the recognized object as a response to the query through voice data. The object detection and guidance system may guide location information where an object exists within a range in which a camera is photographed. In this case, the object detection and guidance system may suggest to the visually impaired to move a location until the object is detected.

물건 탐지 및 안내 시스템은 시각 장애인으로부터 요청된 객체의 존재 여부를 판단할 수 있다. 물건 탐지 및 안내 시스템은 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보 중 하나 또는 하나 이상을 포함하는 안내 정보를 시각 장애인에게 음성 메시지로 통보할 수 있다. 물건 탐지 및 안내 시스템은 시각 장애인으로부터 요청된 객체가 존재하는 것으로 탐지함에 따라 객체의 상대적인 위치를 통보하여 시각 장애인이 객체로 이동할 수 있도록 안내할 수 있다. 예를 들면, 물건 탐지 및 안내 시스템은 사용자로부터 요청된 객체가 '크루아상'일 경우, "오른쪽 하단에 있습니다"라고 음성 메시지로 안내할 수 있다. 또는, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 요청된 객체가 존재하지 않는 것으로 탐지함에 따라 객체가 존재하지 않음을 통보하고, 방향을 이동하도록 요청할 수 있다. The object detection and guidance system may determine the existence of an object requested by the visually impaired. The object detection and guidance system may notify the visually impaired of guidance information including one or more of the type of object, the shape of the object, the location of the object, or the location information of the object including the direction of the object through a voice message. The object detection and guidance system may guide the visually impaired to move to the object by notifying the relative position of the object as it detects that the object requested by the visually impaired exists. For example, when the object requested by the user is 'croissant', the object detection and guidance system may guide the user with a voice message saying "it is in the lower right corner". Alternatively, as the object detection and guidance system detects that the object requested by the blind person does not exist, it may notify that the object does not exist and request to move the direction.

도 2는 일 실시예에 따른 물건 탐지 및 안내 시스템의 구성을 설명하기 위한 블록도이고, 도 3은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 물건 탐지 및 안내 방법을 설명하기 위한 흐름도이다. 2 is a block diagram illustrating the configuration of an object detection and guidance system according to an embodiment, and FIG. 3 is a flowchart illustrating an object detection and guidance method in the object detection and guidance system according to an embodiment.

물건 탐지 및 안내 시스템(100)의 프로세서는 객체 인식부(210), 판단부(220), 식별부(230) 및 안내부(240)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 물건 탐지 및 안내 시스템(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 3의 물건 탐지 및 안내 방법이 포함하는 단계들(310 내지 340)을 수행하도록 물건 탐지 및 안내 시스템(100)을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. The processor of the object detection and guidance system 100 may include an object recognition unit 210 , a determination unit 220 , an identification unit 230 , and a guide unit 240 . The components of the processor may be representations of different functions performed by the processor according to a control instruction provided by the program code stored in the object detection and guidance system 100 . The processor and components of the processor may control the object detection and guidance system 100 to perform steps 310 to 340 included in the object detection and guidance method of FIG. 3 . In this case, the processor and components of the processor may be implemented to execute instructions according to the code of the operating system and the code of at least one program included in the memory.

프로세서는 물건 탐지 및 안내 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 물건 탐지 및 안내 시스템(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 물건 탐지 및 안내 시스템(100)을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 객체 인식부(210), 판단부(220), 식별부(230) 및 안내부(240) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(310 내지 340)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다. The processor may load the program code stored in the file of the program for the object detection and guidance method into the memory. For example, when a program is executed in the object detection and guidance system 100 , the processor may control the object detection and guidance system 100 to load a program code from a program file into a memory according to the control of the operating system. At this time, each of the processor and the object recognition unit 210 , the determination unit 220 , the identification unit 230 , and the guide unit 240 included in the processor executes a command of a corresponding part of the program code loaded in the memory, and then may be different functional representations of a processor for executing steps 310 - 340 .

단계(310)에서 객체 인식부(210)는 영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식할 수 있다. In operation 310 , the object recognizer 210 may recognize at least one object as image data captured from the imaging device is acquired.

단계(320)에서 판단부(220)는 객체 정보에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단할 수 있다. 판단부(220)는 객체 정보에 대한 질의 응답을 위하여 기계학습 기반의 모델을 구성하고 구성된 모델을 통하여 상기 영상 데이터로부터 객체를 감지한 식별 정보를 획득하고, 시각 장애인의 음성 데이터로부터 요청된 질의에 대한 객체의 식별 정보를 인식할 수 있다. 판단부(220)는 시각 장애인의 음성 데이터를 인식하기 위한 시각 장애인의 목소리를 저장하고, 음성 데이터가 저장된 시각 장애인의 목소리를 통하여 음성 데이터가 발화됨에 따라 인식 알고리즘에 기반하여 음성 데이터를 최적화할 수 있다. 판단부(220)는 시각 장애인으로부터 객체의 위치 정보를 포함하는 객체 정보와 관련된 질의로서 음성 데이터가 발화됨을 수신하고, 수신된 음성 데이터에 기초하여 시각 장애인의 질의에 대한 의도 정보를 판단할 수 있다. 판단부(220)는 복수 개의 유저 인터페이스를 구성하고, 구성된 복수 개의 유저 인터페이스 중 하나의 유저 인터페이스가 선택됨에 따라 시각 장애인과 기 설정된 거리 이내에 객체가 존재하는 객체를 판단하고, 판단된 객체와 관련된 객체 정보를 생성하고, 복수 개의 유저 인터페이스 중 다른 유저 인터페이스가 선택됨에 따라 시각 장애인으로부터 음성 데이터를 통하여 질의되고, 질의된 음성 데이터에 포함된 특정 객체 정보가 시각 장애인을 기준으로 기 설정된 범위 내에 존재하는지 판단할 수 있다.In step 320 , the determination unit 220 may determine the intention information queried through the voice data of the visually impaired from the model configured to answer a question about object information. The determination unit 220 constructs a machine learning-based model in order to answer a question about object information, obtains identification information for detecting an object from the image data through the configured model, and responds to a query requested from the voice data of the visually impaired. It is possible to recognize the identification information of the object. The determination unit 220 stores the voice of the visually impaired for recognizing the voice data of the visually impaired, and optimizes the voice data based on the recognition algorithm as the voice data is uttered through the voice of the visually impaired in which the voice data is stored. have. The determination unit 220 may receive from the visually impaired that voice data is uttered as a query related to object information including location information of the object, and may determine intention information for the query of the visually impaired based on the received voice data. . The determination unit 220 configures a plurality of user interfaces, and when one user interface is selected from among the plurality of configured user interfaces, determines an object in which an object exists within a preset distance from the visually impaired, and an object related to the determined object Information is generated, and as another user interface is selected among a plurality of user interfaces, a query is made from the visually impaired through voice data, and it is determined whether specific object information included in the queried voice data exists within a preset range based on the visually impaired. can do.

단계(330)에서 식별부(230)는 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별할 수 있다. 식별부(230)는 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보를 식별할 수 있다. In step 330 , the identification unit 230 may identify location information of the recognized object in relation to the determined intention information. The identification unit 230 may identify object location information including the type of object, the shape of the object, the location of the object, or the direction of the object.

단계(340)에서 안내부(240)는 식별된 객체의 위치 정보를 포함하는 객체 정보를 안내할 수 있다. 안내부(240)는 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보 중 하나 또는 하나 이상을 포함하는 안내 정보를 생성하고, 생성된 안내 정보를 시각 장애인에게 음성 메시지로 통보할 수 있다. In step 340 , the guide 240 may guide object information including location information of the identified object. The guide unit 240 generates guide information including one or more of the type of object, the shape of the object, the location of the object, or the location information of the object including the direction of the object, and provides the generated guide information to the visually impaired. You can notify by voice message.

도 4 및 도 5는 일 실시예에 따른 물건 탐지 및 안내 시스템에서 유저 인터페이스를 장착하는 부분과 카메라를 고정하는 부분을 설명하기 위한 예이다. 4 and 5 are examples for explaining a part for mounting a user interface and a part for fixing a camera in the object detection and guidance system according to an embodiment.

도 4를 참고하면, 물건 탐지 및 안내 시스템을 장착하는 부분을 나타낸 예이고, 도 5를 참고하면, 물건 탐지 및 안내 시스템에서 카메라를 고정하는 부분을 나타낸 것이다. 시각 장애인의 활동에 있어 피해를 주지 않도록 도 4로 구성된 고정 장치를 통하여 물건 탐지 및 안내 시스템을 장착할 수 있고, 도 5로 구성된 고정 장치를 통하여 카메라를 고정할 수 있다. Referring to FIG. 4 , it is an example showing a part for mounting an object detection and guidance system, and referring to FIG. 5 , a part for fixing a camera in the object detection and guidance system is shown. The object detection and guidance system may be mounted through the fixing device of FIG. 4 so as not to cause damage to the activities of the visually impaired, and the camera may be fixed through the fixing device of FIG. 5 .

핸즈프리 작동을 위해 영상 장치(예를 들면, 카메라)는 가슴 레벨에 배치되어 순차적 이미지를 캡처할 수 있다. 3D 인쇄 마운트에 Google Coral USB Accelerator가 설치된 Raspberry Pi 3 Model B +가 카메라의 순차적 이미지와 시각 장애인의 음성 입력을 위해 허리에 부착될 수 있다. For hands-free operation, an imaging device (eg, a camera) may be placed at chest level to capture sequential images. A Raspberry Pi 3 Model B+ with Google Coral USB Accelerator installed on a 3D printed mount can be attached to the waist for sequential images from the camera and voice input for the visually impaired.

웨어러블 디바이스에서 기계학습 기반의 모델(예를 들면, DNN)을 사용하여 엔드 투 엔드 애플리케이션을 설계하기 위하여 임베디드 보드가 선택될 수 있다. An embedded board may be selected for designing end-to-end applications using a machine learning-based model (eg, DNN) in a wearable device.

도 6은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 유저 인터페이스의 예이다.6 is an example of a user interface in the object detection and guidance system according to an embodiment.

물건 탐지 및 안내 시스템에서 유저 인터페이스는 복수 개로 구성될 수 있다. 이때, 물건 탐지 및 안내 시스템은 사용자의 음성 데이터 이외의 잡음을 인식하지 않도록 트리거 역할을 수행할 수 있다. 예를 들면, 유저 인터페이스는 다양한 형태로 존재할 수 있으며, 사용자의 입력(예를 들면, 터치)을 수신할 수 있는 형태로 구성될 수 있다. 실시예에서는 버튼 형태의 유저 인터페이스를 예를 들어 설명하기로 한다. 이하, 복수 개의 유저 인터페이스를 버튼 1, 버튼 2라고 기재하기로 한다. In the object detection and guidance system, a plurality of user interfaces may be configured. In this case, the object detection and guidance system may serve as a trigger so as not to recognize noise other than the user's voice data. For example, the user interface may exist in various forms, and may be configured in a form capable of receiving a user's input (eg, a touch). In the embodiment, a button-type user interface will be described as an example. Hereinafter, a plurality of user interfaces will be referred to as button 1 and button 2 .

도 7을 참고하면, 유저 인터페이스의 선택에 따라 동작되는 것을 설명하기 위한 예이다. 버튼 1의 역할과 버튼 2의 역할은 다음과 같다.Referring to FIG. 7 , it is an example for explaining the operation according to the selection of the user interface. The role of button 1 and the role of button 2 are as follows.

버튼 1은 시각 장애인 주변에 존재하는 객체를 알 수 있도록 제공하기 위한 유저 인터페이스이다.Button 1 is a user interface for providing information about objects that exist around the visually impaired.

버튼 2는 시각 장애인에게 원하는 객체를 질의하고, 시각 장애인에게 객체의 위치를 알려주기 위한 유저 인터페이스이다. Button 2 is a user interface for querying the visually impaired for a desired object and notifying the visually impaired of the location of the object.

버튼 1이 선택될 경우, 물건 감지 및 안내 시스템은 시각 장애인에게 "현재 주위의 객체를 알려주겠다"는 음성 데이터로 된 설명을 제공할 수 있다. 물건 감지 및 안내 시스템은 시각 장애인에게 가까이에 존재하는 객체를 안내할 수 있다. 이때, 동일한 버튼인 버튼 1이 다시 선택됨에 따라 물건 감지 및 안내 시스템은 영상 장치를 통하여 촬영되는 현재 영상을 전달받고, 전달받은 현재 영상을 YOLO-v2, MobileNet-v2 등의 객체 인식 알고리즘을 통해 객체의 종류 및 위치 정보를 포함하는 객체 정보를 식별할 수 있고, 식별된 객체 정보를 음성 장치(예를 들면, 마이크)에 입력하여 음성 합성을 진행한 후, 합성된 음성 데이터를 통하여 식별된 객체 정보를 시각 장애인에게 안내할 수 있다. 만약 버튼 1이 다시 선택되지 않고, 버튼 2가 선택될 경우, 초기 상태로 돌아갈 수 있다.When button 1 is selected, the object detection and guidance system may provide a description in voice data to the visually impaired: “I will inform you of the objects around you now.” The object detection and guidance system may guide the visually impaired to an object that exists nearby. At this time, as the same button, Button 1, is selected again, the object detection and guidance system receives the current image captured through the imaging device, and converts the received current image into an object through object recognition algorithms such as YOLO-v2, MobileNet-v2, etc. object information including the type and location information of , input the identified object information into a voice device (eg, a microphone) to perform voice synthesis, and then object information identified through the synthesized voice data can be provided to the visually impaired. If button 1 is not selected again and button 2 is selected, the initial state may be returned.

버튼 2가 선택될 경우, 물건 감지 및 안내 시스템은 시각 장애인에게 "찾고 싶은 물체가 무엇인지 알려달라"는 음성 데이터로 된 설명을 제공할 수 있다. 다시 말해서, 물건 감지 및 안내 시스템은 시각 장애인으로부터 시각 장애인이 찾고 있는 객체를 요청하고, 객체의 이름을 획득하기 위하여 시각 장애인의 음성 데이터를 인식할 수 있다. 이때, 시각 장애인으로부터 알고자 하는 객체를 음성 데이터로 발화할 수 있다. 이때, 동일한 버튼인 버튼 2가 다시 선택됨에 따라 물건 감지 및 안내 시스템은 음성 장치에 사용자의 음성 데이터를 녹음 및 인식하는 명령을 전달할 수 있다. 물건 감지 및 안내 시스템은 사용자의 음성 데이터를 인식함에 따라 영상 장치를 통하여 획득된 사용자 주위의 영상 데이터를 YOLO-v2, MobileNet-v2 등의 객체 인식 알고리즘을 통해 탐색하고자 하는 객체가 사용자의 주위에 존재하는지 여부를 판단할 수 있다. 물건 감지 및 안내 시스템은 탐색하고자 하는 객체가 감지되었을 경우, 객체의 종류 및 위치 정보를 포함하는 객체 정보를 식별하고, 식별된 객체 정보를 음성 장치(예를 들면, 마이크)에 입력하여 음성 합성을 진행한 후, 합성된 음성 데이터를 통하여 식별된 객체 정보를 시각 장애인에게 안내할 수 있다. 또는, 물건 감지 및 안내 시스템은 탐색하고자 하는 객체가 존재하지 않을 경우, 시각 장애인에게 객체가 탐색되지 않음을 안내하고, 다른 객체의 이름을 말하거나 객체의 이름을 바꾸어 다른 용어로 발화하도록 요청할 수 있다. 만약 버튼 2가 다시 선택되지 않고, 버튼 1이 선택될 경우, 초기상태로 돌아갈 수 있다. When button 2 is selected, the object detection and guidance system may provide an explanation in voice data to the visually impaired to "tell me what object you want to find". In other words, the object detection and guidance system may recognize the voice data of the blind person in order to request the object the visually impaired person is looking for from the blind person and obtain the name of the object. In this case, the object to be known by the visually impaired may be uttered as voice data. In this case, as the same button, button 2, is selected again, the object detection and guidance system may transmit a command for recording and recognizing the user's voice data to the voice device. As the object detection and guidance system recognizes the user's voice data, the object to be searched for through the object recognition algorithm such as YOLO-v2 and MobileNet-v2 exists around the user by using the image data around the user acquired through the video device. You can decide whether to do it or not. When an object to be searched is detected, the object detection and guidance system identifies object information including type and location information of the object, and inputs the identified object information into a voice device (eg, a microphone) to perform voice synthesis After the process, object information identified through the synthesized voice data may be guided to the visually impaired. Alternatively, when the object to be searched does not exist, the object detection and guidance system informs the visually impaired that the object is not searched, and may request to speak the name of another object or change the name of the object to utter another term. . If button 2 is not selected again and button 1 is selected, it may return to the initial state.

도 8은 일 실시예에 따른 물건 탐지 및 안내 시스템에서 제1 유저 인터페이스를 통하여 주위에 객체가 존재하는지 여부를 판단하는 동작을 설명하기 위한 흐름도이다. 8 is a flowchart illustrating an operation of determining whether an object exists around an object detection and guidance system through a first user interface according to an embodiment.

도 8에서는 제1 유저 인터페이스를 버튼 A라고 기재하기로 한다. In FIG. 8 , the first user interface will be referred to as button A.

물건 탐지 및 안내 시스템은 버튼 A 에 대한 명령이 입력됨을 수신할 수 있다(801). 예를 들면, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 버튼 A가 선택될 수 있다. 물건 탐지 및 안내 시스템은 버튼 A에 대한 명령이 입력됨에 따라 보이는 객체(물체)의 정보를 알려주는 프로그램 시작 안내 음성 메시지를 재생할 수 있다(802). 물건 탐지 및 안내 시스템은 다시 버튼 A에 대한 명령이 입력됨을 수신할 수 있다(803). 예를 들면, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 다시 버튼 A가 선택될 수 있다. 물건 탐지 및 안내 시스템은 버튼 A가 다시 입력됨에 따라 영상 장치를 통하여 촬영되는 영상들을 캡쳐할 수 있다(804). 물건 탐지 및 안내 시스템은 캡쳐된 영상들에 존재하는 객체들을 인식할 수 있다(805). 물건 탐지 및 안내 시스템은 캡쳐된 영상들에 존재하는 객체들을 인식함에 따라 객체들의 존재 여부를 인식할 수 있다(806). 이때, 물건 탐지 및 안내 시스템은 객체들이 인식되지 않을 경우, 재인식을 위한 프로세스를 시작할 수 있다. 물건 탐지 및 안내 시스템은 인식된 객체들의 정보 및 위치 정보에 대한 텍스트들을 생성할 수 있다(807). 물건 탐지 및 안내 시스템은 텍스트들로부터 음성 데이터를 합성할 수 있다(808). 물건 탐지 및 안내 시스템은 합성된 음성 데이터를 재생시킬 수 있다(809).The object detection and guidance system may receive that a command for button A is input ( 801 ). For example, the object detection and guidance system may select button A from a blind person. The object detection and guidance system may reproduce a program start guide voice message informing information of a visible object (object) as a command for button A is input ( 802 ). The object detection and guidance system may receive that a command for button A is input again (803). For example, the object detection and guidance system may select button A again from the visually impaired. The object detection and guidance system may capture images captured through the imaging device as the button A is input again ( 804 ). The object detection and guidance system may recognize objects present in the captured images ( 805 ). The object detection and guidance system may recognize the existence of objects by recognizing objects existing in the captured images ( 806 ). In this case, the object detection and guidance system may start a process for re-recognition when objects are not recognized. The object detection and guidance system may generate texts for information and location information of recognized objects ( 807 ). The object detection and guidance system may synthesize voice data from the texts (808). The object detection and guidance system may reproduce the synthesized voice data (809).

도 9는 일 실시예에 따른 물건 탐지 및 안내 시스템에서 제2 유저 인터페이스를 통하여 찾고자 하는 객체가 존재하는지 여부를 판단하는 동작을 설명하기 위한 흐름도이다. 9 is a flowchart illustrating an operation of determining whether an object to be found exists through a second user interface in the object detection and guidance system according to an embodiment.

도 9에서는 제2 유저 인터페이스를 버튼 B라고 기재하기로 한다. In FIG. 9 , the second user interface will be referred to as button B.

물건 탐지 및 안내 시스템은 버튼 B 에 대한 명령이 입력됨을 수신할 수 있다(901). 예를 들면, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 버튼 A가 선택될 수 있다. 물건 탐지 및 안내 시스템은 버튼 B에 대한 명령이 입력됨에 따라 찾고자 하는 객체(물체)가 있는지 알려주는 프로그램 시작 안내 음성 메시지를 재생할 수 있다(902). 물건 탐지 및 안내 시스템은 다시 버튼 B에 대한 명령이 입력됨을 수신할 수 있다(903). 예를 들면, 물건 탐지 및 안내 시스템은 시각 장애인으로부터 다시 버튼 B가 선택될 수 있다. 물건 탐지 및 안내 시스템은 시각 장애인으로부터 찾고자 하는 객체의 이름을 음성 데이터로 인식할 수 있다(904). The object detection and guidance system may receive that a command for button B is input (901). For example, the object detection and guidance system may select button A from a blind person. The object detection and guidance system may reproduce a program start guidance voice message indicating whether there is an object (object) to be found as a command for button B is input ( 902 ). The object detection and guidance system may receive that a command for button B is input again (903). For example, in the object detection and guidance system, button B may be selected again by the visually impaired. The object detection and guidance system may recognize the name of an object to be found by the visually impaired as voice data ( 904 ).

물건 탐지 및 안내 시스템은 영상 장치를 통하여 촬영되는 영상들을 캡쳐할 수 있다(905). 물건 탐지 및 안내 시스템은 캡쳐된 영상들에 존재하는 객체들을 인식할 수 있다(906). 물건 탐지 및 안내 시스템은 캡쳐된 영상들에 존재하는 객체들을 인식함에 따라 객체들의 존재 여부를 인식할 수 있다(907). 예를 들면, 문건 탐지 및 안내 시스템은 시각 장애인이 찾고자 하는 객체가 존재하는지 여부를 인식할 수 있다. 이때, 물건 탐지 및 안내 시스템은 객체가 인식되지 않을 경우, 인식된 객체가 존재하지 않는다는 음성 데이터를 재생할 수 있다(908). The object detection and guidance system may capture images captured through an imaging device ( 905 ). The object detection and guidance system may recognize objects present in the captured images ( 906 ). The object detection and guidance system may recognize the existence of objects by recognizing objects present in the captured images ( 907 ). For example, the document detection and guidance system may recognize whether an object to be found by a visually impaired person exists. In this case, when the object is not recognized, the object detection and guidance system may reproduce voice data indicating that the recognized object does not exist ( S908 ).

물건 탐지 및 안내 시스템은 객체가 인식됨에 따라 인식된 객체의 정보 및 위치 정보에 대한 텍스트들을 생성할 수 있다(909). 물건 탐지 및 안내 시스템은 텍스트들로부터 음성 데이터를 합성할 수 있다(910). 물건 탐지 및 안내 시스템은 합성된 음성 데이터를 재생시킬 수 있다(911). 또한, 물건 탐지 및 안내 시스템은 사용자가 버튼 A(완료 버튼)을 선택할 때까지 지속적으로 객체의 위치를 안내할 수 있다(912). The object detection and guidance system may generate texts for information and location information of the recognized object as the object is recognized ( 909 ). The object detection and guidance system may synthesize voice data from the texts ( 910 ). The object detection and guidance system may reproduce the synthesized voice data (911). In addition, the object detection and guidance system may continuously guide the location of the object until the user selects button A (done button) (912).

일 실시예에 따른 물건 탐지 및 안내 시스템은 시각 장애인이 주변 인근 물체가 어느 정도의 거리 및 방향에 있는지 직관적으로 판단할 수 있고 그에 따라 물건을 집거나 위험한 물체를 인식하여 피해를 미연에 방지할 수 있다. The object detection and guidance system according to an embodiment allows the visually impaired to intuitively determine how far and in what distance and direction nearby nearby objects are, and accordingly, can pick up objects or recognize dangerous objects to prevent damage in advance. have.

일 실시예에 따른 물건 탐지 및 안내 시스템은 시각 장애인 뿐 아니라 고령인, 어린이, 혹은 복잡한 업무를 수행중인 일반 사용자가 일상생활에서 용이하게 사용할 수 있도록 제공할 수 있다. The object detection and guidance system according to an embodiment may be provided so that not only the visually impaired but also the elderly, children, or general users performing complex tasks can easily use them in their daily lives.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component. For example, the devices and components described in the embodiments are, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, such as one or more general purpose computers or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications executed on the operating system. Further, the processing device may access, store, manipulate, process, and generate data in response to the execution of software. For the convenience of understanding, although it is sometimes described that one processing device is used, one of ordinary skill in the art, the processing device is a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it may include. For example, the processing device may include a plurality of processors or one processor and one controller. In addition, other processing configurations are possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to operate as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or, to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. Can be embodyed. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and drawings as described above, various modifications and variations can be made from the above description to those of ordinary skill in the art. For example, the described techniques are performed in a different order from the described method, and/or components such as systems, structures, devices, circuits, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and those equivalent to the claims also fall within the scope of the claims to be described later.

Claims (9)

물건 탐지 및 안내 시스템에 있어서,
영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식하는 객체 인식부;
상기 객체에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단하는 판단부;
상기 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별하는 식별부; 및
상기 식별된 객체의 위치 정보를 포함하는 객체 정보를 안내하는 안내부
를 포함하고,
상기 판단부는,
상기 시각 장애인으로부터 상기 객체의 위치 정보를 포함하는 객체 정보와 관련된 질의로서 음성 데이터가 발화됨을 수신하고, 상기 수신된 음성 데이터에 기초하여 상기 시각 장애인의 질의에 대한 의도 정보를 판단하는
물건 탐지 및 안내 시스템. In the object detection and guidance system,
an object recognition unit for recognizing at least one object as image data photographed from an imaging device is acquired;
a determination unit that determines intention information queried through voice data of the visually impaired from a model configured to answer a question about the object;
an identification unit for identifying location information of the recognized object in relation to the determined intention information; and
Guide unit for guiding object information including location information of the identified object
Including,
The determination unit,
Receiving voice data uttered as a query related to object information including location information of the object from the visually impaired, and determining intention information for the query of the visually impaired based on the received voice data
Object detection and guidance system. 제1항에 있어서,
상기 판단부는,
상기 객체에 대한 질의 응답을 위하여 기계학습 기반의 모델을 구성하고, 상기 구성된 모델을 통하여 상기 영상 데이터로부터 객체를 감지한 식별 정보를 획득하고, 상기 시각 장애인의 음성 데이터로부터 요청된 질의에 대한 객체의 식별 정보를 인식하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 1,
The determination unit,
A machine learning-based model is constructed to answer a question about the object, and identification information for detecting an object is obtained from the image data through the configured model, and the object for a query requested from the voice data of the visually impaired is obtained. recognizing identification information
Object detection and guidance system, characterized in that. 제1항에 있어서,
상기 판단부는,
상기 시각 장애인의 음성 데이터를 인식하기 위한 시각 장애인의 목소리를 저장하고, 상기 음성 데이터가 상기 저장된 시각 장애인의 목소리를 통하여 음성 데이터가 발화됨에 따라 인식 알고리즘에 기반하여 음성 데이터를 최적화하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 1,
The determination unit,
Storing the voice of the visually impaired for recognizing the voice data of the visually impaired, and optimizing the voice data based on a recognition algorithm as the voice data is uttered through the stored voice of the visually impaired
Object detection and guidance system, characterized in that. 삭제delete 제1항에 있어서,
상기 판단부는,
복수 개의 유저 인터페이스를 구성하고, 상기 구성된 복수 개의 유저 인터페이스 중 하나의 유저 인터페이스가 선택됨에 따라 상기 시각 장애인과 기 설정된 거리 이내에 객체가 존재하는 객체를 판단하고, 판단된 객체와 관련된 객체 정보를 생성하고, 상기 복수 개의 유저 인터페이스 중 다른 유저 인터페이스가 선택됨에 따라 상기 시각 장애인으로부터 음성 데이터를 통하여 질의되고, 상기 질의된 음성 데이터에 포함된 특정 객체 정보가 상기 시각 장애인을 기준으로 기 설정된 범위 내에 존재하는지 판단하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 1,
The determination unit,
A plurality of user interfaces are configured, and when one user interface is selected from among the plurality of configured user interfaces, it is determined that an object exists within a preset distance from the visually impaired, and object information related to the determined object is generated, , as another user interface is selected among the plurality of user interfaces, a query is made from the visually impaired through voice data, and it is determined whether specific object information included in the queried voice data exists within a preset range based on the visually impaired. doing
Object detection and guidance system, characterized in that. 제1항에 있어서,
상기 식별부는,
상기 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보를 식별하는 것을 포함하고,
상기 안내부는,
상기 객체의 종류, 객체의 형태, 객체의 위치 또는 객체의 방향을 포함하는 객체의 위치 정보 중 하나 또는 하나 이상을 포함하는 안내 정보를 상기 시각 장애인에게 음성 메시지로 통보하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 1,
The identification unit,
Including identifying the object's location information including the type of the object, the shape of the object, the location of the object or the direction of the object,
The guide is
Informing the visually impaired of guidance information including one or more of the type of object, the shape of the object, the location of the object, or the location information of the object including the direction of the object through a voice message
Object detection and guidance system, characterized in that. 제5항에 있어서,
상기 안내부는,
상기 시각 장애인으로부터 질의된 객체 정보가 탐색되지 않는 경우, 상기 객체가 탐지될 때까지 상기 시각 장애인이 위치 및 방향을 이동시키도록 안내하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 5,
The guide is
If the object information queried by the visually impaired is not searched, guide the visually impaired to move the location and direction until the object is detected
Object detection and guidance system, characterized in that. 제6항에 있어서,
상기 안내부는,
상기 식별된 객체의 위치 정보에 기초하여 객체 정보를 음성 장치에 입력하여 음성 합성을 진행한 후, 상기 합성된 음성 데이터를 통하여 상기 객체 정보를 포함하는 안내 정보를 골전도를 사용하여 음성 데이터로 전달하는
것을 특징으로 하는 물건 탐지 및 안내 시스템.The method of claim 6,
The guide is
After performing voice synthesis by inputting object information into a voice device based on the location information of the identified object, guide information including the object information is transmitted as voice data using bone conduction through the synthesized voice data doing
Object detection and guidance system, characterized in that. 물건 탐지 및 안내 시스템에 의해 수행되는 방법에 있어서,
영상 장치로부터 촬영되는 영상 데이터를 획득함에 따라 적어도 하나 이상의 객체를 인식하는 단계;
상기 객체에 대한 질의 응답을 위하여 구성된 모델로부터 시각 장애인의 음성 데이터를 통하여 질의된 의도 정보를 판단하는 단계;
상기 판단된 의도 정보와 관련하여 상기 인식된 객체의 위치 정보를 식별하는 단계; 및
상기 식별된 객체의 위치 정보를 포함하는 객체 정보를 안내하는 단계
를 포함하고,
상기 판단하는 단계는,
상기 시각 장애인으로부터 상기 객체의 위치 정보를 포함하는 객체 정보와 관련된 질의로서 음성 데이터가 발화됨을 수신하고, 상기 수신된 음성 데이터에 기초하여 상기 시각 장애인의 질의에 대한 의도 정보를 판단하는 단계
를 포함하는 방법.A method performed by an object detection and guidance system, comprising:
recognizing at least one object by acquiring image data captured from an imaging device;
determining the intention information queried through the voice data of the visually impaired from the model constructed to answer the question on the object;
identifying location information of the recognized object in relation to the determined intention information; and
Guiding object information including location information of the identified object
Including,
The determining step,
Receiving voice data uttered as a query related to object information including location information of the object from the visually impaired, and determining intention information for the query of the visually impaired based on the received voice data
How to include.
KR1020190110536A 2019-09-06 2019-09-06 Object detection and guidance system for people with visual impairment KR102259332B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190110536A KR102259332B1 (en) 2019-09-06 2019-09-06 Object detection and guidance system for people with visual impairment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190110536A KR102259332B1 (en) 2019-09-06 2019-09-06 Object detection and guidance system for people with visual impairment

Publications (2)

Publication Number Publication Date
KR20210029388A KR20210029388A (en) 2021-03-16
KR102259332B1 true KR102259332B1 (en) 2021-06-01

Family

ID=75224169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190110536A KR102259332B1 (en) 2019-09-06 2019-09-06 Object detection and guidance system for people with visual impairment

Country Status (1)

Country Link
KR (1) KR102259332B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102520704B1 (en) * 2021-09-29 2023-04-10 동서대학교 산학협력단 Meal Assistance System for The Visually Impaired and Its Control Method
KR102593866B1 (en) * 2021-12-02 2023-10-26 한국과학기술원 METHOD AND DEVICE FOR Task-oriented Sounding Guide with Object Detection to Guide Visually Impaired People During Smart Device Usage

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178231A (en) * 2004-12-22 2006-07-06 Nishiyodo Seisakusho:Kk Visually handicapped person supporting system and visually handicapped person supporting method
JP6500139B1 (en) * 2018-03-01 2019-04-10 和夫 金子 Visual support device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62275538A (en) * 1986-05-22 1987-11-30 Kajima Corp Blind shaped reinforcement manufacturing device
GB201103200D0 (en) * 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
US20140176689A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co. Ltd. Apparatus and method for assisting the visually impaired in object recognition

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006178231A (en) * 2004-12-22 2006-07-06 Nishiyodo Seisakusho:Kk Visually handicapped person supporting system and visually handicapped person supporting method
JP6500139B1 (en) * 2018-03-01 2019-04-10 和夫 金子 Visual support device

Also Published As

Publication number Publication date
KR20210029388A (en) 2021-03-16

Similar Documents

Publication Publication Date Title
CN111989537B (en) System and method for detecting human gaze and gestures in an unconstrained environment
US10205883B2 (en) Display control method, terminal device, and storage medium
WO2019179442A1 (en) Interaction target determination method and apparatus for intelligent device
US10616475B2 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
US9436273B2 (en) Information processing device, method and computer-readable non-transitory recording medium
EP1186162B1 (en) Multi-modal video target acquisition and re-direction system and method
KR101330810B1 (en) User device for recognizing gesture and method thereof
WO2019179441A1 (en) Focus tracking method and device of smart apparatus, smart apparatus, and storage medium
US6246779B1 (en) Gaze position detection apparatus and method
KR102092931B1 (en) Method for eye-tracking and user terminal for executing the same
US20140062862A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
KR102259332B1 (en) Object detection and guidance system for people with visual impairment
US20150077329A1 (en) Eye tracking-based user interface method and apparatus
CN104956292A (en) Interaction of multiple perceptual sensing inputs
KR20120080070A (en) Electronic device controled by a motion, and control method thereof
CN109086729B (en) Communication behavior detection method, device, equipment and storage medium
Garcia et al. Wearable computing for image-based indoor navigation of the visually impaired
KR20150034257A (en) Input device, apparatus, input method, and recording medium
US20110064313A1 (en) Method and apparatus for face determination
JP2007272534A (en) Apparatus, method and program for complementing ellipsis of word
KR20200076170A (en) Assistance system and method for a person who is visually impaired using smart glasses
US10299982B2 (en) Systems and methods for blind and visually impaired person environment navigation assistance
KR20190048630A (en) Electric terminal and method for controlling the same
KR20120132337A (en) Apparatus and Method for Controlling User Interface Using Sound Recognition
US10733448B2 (en) Machine learning of context data for social and contextual scene inferences

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant