WO2020116674A1 - 교통 약자를 위한 지능형 시각정보 증강방법 및 장치 - Google Patents

교통 약자를 위한 지능형 시각정보 증강방법 및 장치 Download PDF

Info

Publication number
WO2020116674A1
WO2020116674A1 PCT/KR2018/015323 KR2018015323W WO2020116674A1 WO 2020116674 A1 WO2020116674 A1 WO 2020116674A1 KR 2018015323 W KR2018015323 W KR 2018015323W WO 2020116674 A1 WO2020116674 A1 WO 2020116674A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
terminal
video
intelligent
monitor agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/015323
Other languages
English (en)
French (fr)
Inventor
김영민
홍지수
강훈종
홍성희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2020116674A1 publication Critical patent/WO2020116674A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/002—Writing aids for blind persons
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a visual assistance tool, and more particularly, to a method and apparatus for augmenting visual information for a weak person in traffic.
  • the existing audio-visual information enhancement device was mainly used as a device for the disabled (visually impaired and visually impaired).
  • an information augmentation device similar to a smart glasses is mainly used, and the desired information is provided to a visually impaired person through the camera 112 in an appropriate form (mainly a reduced form of an image or macroscopic information such as a direction). Convert and provide.
  • the smart glasses include a gyroscope 138 that can measure a direction, and thus serve to provide location information in a situation that is difficult to provide as an image.
  • the existing audio-visual information enhancement device for the traffic weak using smart glasses uses a camera sensor to identify letters, numbers, and symbols, and informs them by voice, or provides information using a rather frivolous device such as an LED array. Stopped.
  • identifying letters/numbers/symbols it can be considered that the accuracy of the image is very poor because there was a limitation with the amount of existing information.
  • an ICT linking technology for the hearing impaired a device capable of making a telephone call or information indication similar to that of a normal person has been developed using bone hearing without using an external aid such as a hearing aid using bone vibration.
  • the present invention has been devised to solve the problems as described above, and the object of the present invention is to occur when using refined information by utilizing existing technology (sensors or imaging devices) that were pointed out as limitations in the audio-visual information enhancement device.
  • An object of the present invention is to provide a method of removing errors and improving the utilization and accuracy of the audio-visual information enhancement device by transmitting the transmitted information as it is.
  • the intelligent information augmentation system generates a video and transmits it to a monitor agent terminal, a traffic weak terminal that augments the guide information received from the monitor agent terminal; And a monitor agent terminal transmitting the guide information generated by monitoring the video received from the traffic weak terminal to the traffic weak terminal.
  • the guide information may include at least one of geographic guide information, road guide information, vehicle access guide information, and traffic signal guide information.
  • the traffic weak terminal and the monitor agent terminal may be matched one-to-one.
  • the traffic weak terminal may output guide information as auditory information.
  • the traffic weak terminal may output guide information in Braille.
  • the traffic weak terminal may generate a video using a 360 camera or a wide viewing angle camera.
  • the video generated by the traffic weak terminal and the guide information generated by the monitor agent terminal may be stored in the cloud and used to train an AI model for service provision.
  • the traffic weak terminal generating a video and transmitting it to the monitor agent terminal;
  • a monitor agent terminal transmitting the guide information generated by monitoring the video received from the traffic weak terminal to the traffic weak terminal; It includes; the step of the traffic weak terminal, augmenting the guide information received from the monitor terminal.
  • FIG. 1 is a view showing a conventional smart glasses
  • Figure 2 is a conceptual diagram of an intelligent visual information augmentation service for the disabled according to an embodiment of the present invention
  • FIG. 3 is a flow chart of an intelligent visual information augmentation service for the disabled according to an embodiment of the present invention
  • 4 and 5 are diagrams illustrating a haptic device using a braille modulator and braille output using the same
  • FIG. 6 is a diagram showing an intelligent information augmentation system for a weak person according to an embodiment of the present invention.
  • FIG. 7 is a detailed block diagram of the intelligent information augmentation device shown in FIG. 6,
  • FIG. 8 is a detailed block diagram of the monitor agent terminal illustrated in FIG. 6.
  • FIG. 2 is a conceptual diagram of an intelligent visual information augmentation service for a weak person according to an embodiment of the present invention.
  • FIG. 2 in a state in which a so-called traffic vulnerable person such as a blind person, a hearing impaired person, an elderly person, an infant, etc. is equipped with an image acquisition device for real-time monitoring, surrounding environment, motion, voice information, etc. Get information.
  • a so-called traffic vulnerable person such as a blind person, a hearing impaired person, an elderly person, an infant, etc.
  • an image acquisition device for real-time monitoring, surrounding environment, motion, voice information, etc. Get information.
  • the acquired information delivers the necessary information by using a high-speed network for real-time feedback monitoring.
  • the real-time feedback monitoring is provided by the person directly.
  • a method for properly analyzing surrounding information, motion, and voice information and providing necessary information is provided by a selected person through a certain level of education, and the proposed system also provides real-time monitoring and battery performance of the image acquisition device. It becomes an essential device to operate.
  • FIG. 3 is a flow chart of an intelligent visual information augmentation service for the disabled in accordance with an embodiment of the present invention.
  • a weak handicapped person acquires the surrounding environment, motion, and voice information using an image acquisition device capable of real-time monitoring (eg, a 360 camera capable of recognizing the surrounding environment, a wide viewing angle camera, etc.), It is delivered in real time through a high-speed network.
  • an image acquisition device capable of real-time monitoring (eg, a 360 camera capable of recognizing the surrounding environment, a wide viewing angle camera, etc.)
  • It is delivered in real time through a high-speed network.
  • the delivered information delivers the selected information to the traffic weak by trained and trained people.
  • the selected information is specific to geographic guidance, road guidance, vehicle access information, traffic signal change guidance, etc. It will mainly convey non-detailed information.
  • specific information is mainly delivered to the visually-impaired person using a wearable information-enhancing device (e.g., smart glasses, haptic devices, headsets, etc.).
  • a wearable information-enhancing device e.g., smart glasses, haptic devices, headsets, etc.
  • a haptic device or a smartphone using a braille modulator is used. Deliver specific information.
  • FIG. 4 is a view showing a haptic device using a braille modulator.
  • FIG. 5 shows a state in which the haptic device displays guide information for guiding in the left direction in Braille.
  • the information obtained from the image acquisition device can be stored in a real-time feedback monitoring service and a cloud platform for driving large-capacity video/audio information, and the stored information is AI-based environment recognition and speech conversion technology to utilize video/audio data for each situation. It is easy to utilize accumulated data applied to.
  • FIG. 6 is a diagram illustrating an intelligent information augmentation system for a weak person in accordance with an embodiment of the present invention.
  • Intelligent information augmentation system according to an embodiment of the present invention, as shown in Figure 6, intelligent information augmentation devices (100-1, 100-2, ..., 100-n) and the monitor agent terminals 200 -1, 200-2, ..., 200-n) are connected and built to enable mutual communication through a high-speed network.
  • Intelligent information enhancers (100-1, 100-2, ..., 100-n) and monitor agent terminals (200-1, 200-2, ..., 200-n) are matched one-to-one . In other words, one monitor agent is assigned to one weak person.
  • the intelligent information augmentation device (100-1, 100-2, ..., 100-n) monitors the video generated by using the camera agent terminal (200-1, 200-2, ..., 200-n) Transfer to.
  • Monitor agent terminal (200-1, 200-2, ..., 200-n) is generated by analyzing the video received from the intelligent information enhancement device (100-1, 100-2, ..., 100-n) The information is fed back to the intelligent information augmentation devices (100-1, 100-2, ..., 100-n).
  • the intelligent information enhancer (100-1, 100-2, ..., 100-n) by the monitor agent terminal (200-1, 200-2, ..., 200-n)
  • Geographical guidance information, road guidance information, vehicle access guidance information, traffic signal guidance information, and the like may be included.
  • the intelligent information augmentation device (100-1, 100-2, ..., 100-n) auditory information from the monitor agent terminal (200-1, 200-2, ..., 200-n) / Visually output and augment.
  • FIG. 7 is a detailed block diagram of the intelligent information augmentation devices 100-1, 100-2, ..., 100-n shown in FIG. 6.
  • Intelligent information augmentation device (100-1, 100-2, ..., 100-n) is a device worn on the weak, as shown in Figure 7, the camera 110, the communication unit 120, the processor ( 130) and the augmentation unit 140.
  • the camera 110 generates a video by photographing a scene viewed by the traffic weak or around the point where the traffic weak is located. Since it is a video, it contains video and audio.
  • the communication unit 120 transmits the video generated by the camera 110 to the monitor agent terminals 200-1, 200-2, ..., 200-n through a high-speed network, and the monitor agent terminal 200-1 , 200-2, ..., 200-n).
  • the processor 130 augments the guide information received from the monitor agent terminals 200-1, 200-2, ..., 200-n through the communication unit 120 through the auditory information enhancement unit 140.
  • the augmentation unit 140 includes a speaker and a headset for aurally outputting guide information, a display for visually outputting guide information, a haptic device for tactilely outputting guide information, and the like.
  • FIG. 8 is a detailed block diagram of the monitor agent terminals 200-1, 200-2, ..., 200-n shown in FIG.
  • Monitor agent terminal (200-1, 200-2, ..., 200-n), as shown in Figure 8, the communication unit 210, the output unit 220, the processor 230, the input unit 240 and It may be implemented as a computing system including a storage unit 250.
  • the communication unit 210 receives a video from the intelligent information augmentation devices 100-1, 100-2, ..., 100-n through a high-speed network, and receives guide information to be described later by the intelligent information augmentation device 100-1, 100-2, ..., 100-n).
  • the output unit 220 is a display unit for outputting the received video
  • the input unit 240 is an input unit for receiving guidance information from a monitor agent.
  • the processor 230 outputs a video received from the intelligent information enhancement device 100-1, 100-2, ..., 100-n through the communication unit 210 through the output unit 220, and input unit 240 ) And transmits the guide information input through the communication unit 210 to the intelligent information enhancement devices 100-1, 100-2, ..., 100-n.
  • the storage unit 250 provides necessary storage space for the processor 230 to operate and function.
  • a real-time information augmentation service is provided by providing high-quality real-time information augmentation service through real-time monitoring and feedback of a user's surrounding environment and motion, and voice information, and data accumulated through contextual video/audio data storage and management is AI-based
  • a system that can be used as an environment recognition and speech conversion technology was proposed.
  • Information enhancement service that delivers various information (e.g., directions to hospitals, vehicle access warnings, traffic signal change guides, etc.) in real time in high quality, targeting socially vulnerable groups or people with limited audiovisual traffic. It is possible to provide.
  • the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and stores data.
  • the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like.
  • computer-readable codes or programs stored in a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)
  • Operations Research (AREA)

Abstract

시청각 정보 증강장치에서 한계점으로 지적되던 기존의 기술(센서나 영상장치)을 활용하여 정제된 정보를 사용할 경우에 생기는 오차를 없애고, 전달되는 정보를 있는 그대로 전달함으로써 시청각 정보증강장치의 활용도와 정확도를 높이는 방법이 제공된다. 본 발명의 실시예에 따른 지능형 정보 증강 시스템은 동영상을 생성하여 모니터 요원 단말로 전송하며, 모니터 요원 단말로부터 수신한 안내 정보를 증강하는 교통 약자 단말; 및 교통 약자 단말로부터 수신한 동영상을 모니터링하여 생성한 안내 정보를 교통 약자 단말에 전송하는 모니터 요원 단말;을 포함한다. 이에 의해, 사회적 취약계층 혹은 시청각 교통 약자 등을 대상으로 여러 가지 상황에 대응할 수 있는 다양한 정보(예. 병원가는 길 안내, 차량 접근 경고, 교통 신호 변경 안내 등)를 고품질 실시간으로 전달하는 정보 증강 서비스를 제공이 가능해진다.

Description

교통 약자를 위한 지능형 시각정보 증강방법 및 장치
본 발명은 시각 보조 도구에 관한 것으로, 더욱 상세하게는 교통 약자를 위한 시각정보 증강방법 및 장치에 관한 것이다.
기존의 시청각 정보 증강장치는 주로 교통 약자(시각 장애인 및 시력 약자 등)를 위한 장치로 활용되었다. 도 1과 같이 스마트 안경과 비슷한 형태의 정보 증강 장치가 주로 활용되는데, 카메라(112)를 통해 시각 장애인들에게 원하는 정보를 적당한 형태(주로 영상의 축소 형태이거나 방향 등의 거시적인 정보를 제공)로 변환하여 제공한다. 이러한 스마트 안경에는 방향을 가늠할 수 있는 자이로스코프(138) 등이 포함되어 있어 영상으로 제공하기 어려운 상황에서 위치 정보를 제공하는 역할을 한다.
이러한 기존의 스마트 안경을 이용한 교통 약자를 위한 시청각 정보 증강 기기는 카메라 센서 등을 이용하여 문자, 숫자 및 기호 등을 식별하고 이를 음성으로 알려주거나 LED 어레이 등 다소 투박한 장치를 사용하여 정보를 제공하는 것에 그쳤다. 또한, 문자/숫자/기호를 식별하는데 있어, 기존의 정보량을 가지고는 한계가 있었기 때문에 영상의 정확도도 매우 떨어진다고 볼 수 있다.
또한, 청각 장애인을 위한 ICT 연계기술로써 골도 진동자를 활용하여 보청기와 같은 외부의 보조기를 사용하지 않고 골도 청각을 이용하여 정상인과 유사한 전화통화나 정보 지시등이 가능한 장치는 개발된 바 있다.
그러나 이러한 모든 장치는 시청각 자극을 어떤 기기나 센서를 통해 정제된 정보를 시청각 약자에게 전달해주는 장치로써, 센서나 장치 자체의 한계보다는 그로부터 얻어진 정보를 필요한 사람에게 전달해줄 때 오차나 문제가 발생하는 경우가 대다수를 차지한다. 일례로 현재는 인공지능 기술이 크게 발전이 되어, 어느 정도의 영상이나 음성 인식이 가능해졌지만, 기존의 기술을 활용하여 정제된 정보를 사용하는 경우에는 상당한 오차가 발생할 수 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 시청각 정보 증강장치에서 한계점으로 지적되던 기존의 기술(센서나 영상장치)을 활용하여 정제된 정보를 사용할 경우에 생기는 오차를 없애고, 전달되는 정보를 있는 그대로 전달함으로써 시청각 정보증강장치의 활용도와 정확도를 높이는 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 지능형 정보 증강 시스템은 동영상을 생성하여 모니터 요원 단말로 전송하며, 모니터 요원 단말로부터 수신한 안내 정보를 증강하는 교통 약자 단말; 및 교통 약자 단말로부터 수신한 동영상을 모니터링하여 생성한 안내 정보를 교통 약자 단말에 전송하는 모니터 요원 단말;을 포함한다.
안내 정보는, 지리 안내 정보, 길 안내 정보, 차량 접근 안내 정보, 교통 신호 안내 정보 중 적어도 하나를 포함할 수 있다.
교통 약자 단말과 모니터 요원 단말은, 일 대 일로 매칭되어 있을 수 있다.
교통 약자 단말은, 안내 정보를 청각 정보로 출력할 수 있다.
교통 약자 단말은, 안내 정보를 점자로 출력할 수 있다.
교통 약자 단말은, 360 카메라나 또는 광시야각 카메라를 이용하여, 동영상을 생성할 수 있다.
교통 약자 단말에 의해 생성된 동영상과 모니터 요원 단말에 의해 생성된 안내 정보는, 클라우드에 저장되어, 서비스 제공을 위한 AI 모델의 학습에 이용될 수 있다.
본 발명의 다른 측면에 따르면, 교통 약자 단말이, 동영상을 생성하여 모니터 요원 단말로 전송하는 단계; 모니터 요원 단말이, 교통 약자 단말로부터 수신한 동영상을 모니터링하여 생성한 안내 정보를 교통 약자 단말에 전송하는 단계; 교통 약자 단말이, 모니터 요원 단말로부터 수신한 안내 정보를 증강하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사회적 취약계층 혹은 시청각 교통 약자 등을 대상으로 여러 가지 상황에 대응할 수 있는 다양한 정보(예. 병원가는 길 안내, 차량 접근 경고, 교통 신호 변경 안내 등)를 고품질 실시간으로 전달하는 정보 증강 서비스를 제공이 가능해진다.
도 1은 기존의 스마트 안경을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 시각정보 증강 서비스의 개념도,
도 3은 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 시각정보 증강 서비스의 진행 흐름도,
도 4 및 도 5는, 점자 모듈레이터를 햅틱 장치 및 이를 이용한 점자 출력을 예시한 도면들,
도 6은 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 정보 증강 시스템을 도시한 도면,
도 7은, 도 6에 도시된 지능형 정보 증강장치의 상세 블럭도,
도 8은, 도 6에 도시된 모니터 요원 단말의 상세 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 시각정보 증강 서비스의 개념도이다.
본 발명의 실시예에서는, 도 2에 도시된 바와 같이, 시각 장애인이나 청각 장애인, 노인, 유아 등 소위 교통 약자들이 실시간 모니터링을 위한 영상 취득 장치를 거치한 상태에서 주변 환경이나 동작, 음성 정보 등의 정보를 입수한다.
입수된 정보는 실시간 피드백 모니터링을 위해 고속 네트워크를 활용하여 필요한 정보를 전달하며, 이 때 실시간 피드백 모니터링은 1:1로 사람이 직접 제공한다.
따라서, 주변 정보나 동작, 음성 정보 등을 적절하게 분석하고 필요한 정보를 제공하는 방법 등은 일정 수준의 교육을 통해 선별된 자가 제공하게 되며, 실시간 모니터링과 영상 취득 장치의 배터리 성능 등도 제안된 시스템을 운영하기 위한 필수 장치가 된다.
도 3은 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 시각정보 증강 서비스의 진행 흐름도이다.
도 3에 도시된 바와 같이, 교통 약자들이 실시간 모니터링이 가능한 영상 취득장치(예. 주변 환경을 인식할 수 있는 360 카메라나 광시야각 카메라 등)을 이용하여 주변 환경이나 동작, 음성 정보를 취득하면, 이는 고속 네트워크망을 통해 실시간으로 전달된다.
전달된 정보는 일정 수준의 교육을 받은 숙련된 사람에 의해 교통 약자에게 선별된 정보를 전달하는데, 이 때 선별된 정보라 함은 지리 안내, 길 안내, 차량 접근 정보, 교통 신호 변경 안내 등 구체적이지만 자세하지 않은 정보 등을 주로 전달하게 된다.
전달할 때에는 시각 약자에게는 주로 착용형 정보 증강 디바이스(예. 스마트 글래스, 햅틱 장치, 헤드셋 등)를 이용하여 구체적인 정보를 전달하게 되며, 청각 약자에게는 점자 모듈레이터 등을 이용한 햅틱 장치나 스마트폰 등을 이용하여 구체적인 정보를 전달한다.
이 경우에 사용할 수 있는 햅틱 장치를 도 4에 예시하였다. 도 4는 점자 모듈레이터를 이용한 햅틱 장치를 도시한 도면이다. 그리고, 도 5에는 햅틱 장치가 좌측 방향으로 인도하기 위한 안내 정보를 점자로 표시한 상태를 도시하였다.
영상 취득 장치로부터 얻어진 정보는 실시간 피드백 모니터링 서비스 및 대용량 영상/음성 정보 구동을 위한 클라우드 플랫폼 등에 저장될 수 있는데 이렇게 저장된 정보는 상황별 영상/음성 데이터를 활용하기 위해 AI 기반 주변 환경 인식 및 음성 변환 기술에 적용되어 누적된 데이터를 활용하기 용이하다.
도 6은 본 발명의 일 실시예에 따른 교통 약자를 위한 지능형 정보 증강 시스템을 도시한 도면이다.
본 발명의 실시예에 따른 지능형 정보 증강 시스템은, 도 6에 도시된 바와 같이, 지능형 정보 증강장치들(100-1, 100-2, ... , 100-n)과 모니터 요원 단말들(200-1, 200-2, ... , 200-n)이 고속 네트워크를 통해 상호 통신 가능하도록 연결되어 구축된다.
지능형 정보 증강장치들(100-1, 100-2, ... , 100-n)과 모니터 요원 단말들(200-1, 200-2, ... , 200-n)은 일 대 일로 매칭된다. 즉, 교통 약자 1명에 모니터 요원 1명이 배정된다.
지능형 정보 증강장치(100-1, 100-2, ... , 100-n)는 카메라를 이용하여 생성한 동영상을 모니터 요원 단말(200-1, 200-2, ... , 200-n)로 전송한다.
모니터 요원 단말(200-1, 200-2, ... , 200-n)은 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)로부터 수신한 동영상을 분석하여 생성한 안내 정보를 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)에 피드백한다.
모니터 요원 단말(200-1, 200-2, ... , 200-n)에 의해 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)로 피드백 되는 안내 정보에는, 지리 안내 정보, 길 안내 정보, 차량 접근 안내 정보, 교통 신호 안내 정보 등이 포함될 수 있다.
그러면, 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)는 모니터 요원 단말(200-1, 200-2, ... , 200-n)로부터 안내 정보를 청각적/시각적으로 출력하여 증강한다.
도 7은, 도 6에 도시된 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)의 상세 블럭도이다.
지능형 정보 증강장치(100-1, 100-2, ... , 100-n)는 교통 약자에 착용되는 장치로, 도 7에 도시된 바와 같이, 카메라(110), 통신부(120), 프로세서(130) 및 증강부(140)를 포함하여 구성된다.
카메라(110)는 교통 약자가 바라보는 장면 또는 교통 약자가 위치한 지점의 주변을 촬영하여 동영상을 생성한다. 동영상이므로 비디오 영상과 음성이 포함되어 있다.
통신부(120)는 카메라(110)에 의해 생성된 동영상을 고속 네트워크를 통해 모니터 요원 단말(200-1, 200-2, ... , 200-n)로 전송하고, 모니터 요원 단말(200-1, 200-2, ... , 200-n)로부터 안내 정보를 수신한다.
프로세서(130)는 통신부(120)를 통해 모니터 요원 단말(200-1, 200-2, ... , 200-n)로부터 수신한 안내 정보를 청각정보 증강부(140)를 통해 증강한다.
증강부(140)는 안내 정보를 청각적으로 출력하기 위한 스피커와 헤드셋, 안내 정보를 시각적으로 출력하기 위한 디스플레이, 안내 정보를 촉각적으로 출력하기 위한 햅틱 장치 등을 포함한다.
도 8은, 도 6에 도시된 모니터 요원 단말(200-1, 200-2, ... , 200-n)의 상세 블럭도이다.
모니터 요원 단말(200-1, 200-2, ... , 200-n)은 도 8에 도시된 바와 같이, 통신부(210), 출력부(220), 프로세서(230), 입력부(240) 및 저장부(250)를 포함하는 컴퓨팅 시스템으로 구현할 수 있다.
통신부(210)는 고속 네트워크를 통해지능형 정보 증강장치(100-1, 100-2, ... , 100-n)로부터 동영상을 수신하고, 후술할 안내 정보를 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)에 전달한다.
출력부(220)는 수신된 동영상을 출력하기 위한 디스플레이 수단이고, 입력부(240)는 모니터 요원으로부터 안내 정보를 입력받기 위한 입력 수단이다.
프로세서(230)는 통신부(210)를 통해 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)로부터 수신한 동영상을 출력부(220)를 통해 출력하고, 입력부(240)를 통해 입력된 안내 정보를 통신부(210)를 통해 지능형 정보 증강장치(100-1, 100-2, ... , 100-n)에 전달한다.
저장부(250)는 프로세서(230)가 동작하고 기능함에 있어 필요한 저장공간을 제공한다.
지금까지, 교통 약자를 위한 지능형 시각정보 증강방법 및 장치에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 사용자의 주변 환경 및 동작, 음성 정보 등을 실시간 모니터링하여 피드백함으로써 고품질의 실시간 정보 증강 서비스를 제공하며, 상황별 영상/음성 데이터 저장 및 관리를 통해 축적된 데이터는 AI 기반 주변 환경 인식 및 음성 변환 기술로 활용될 수 있는 시스템을 제시하였다.
에에 의해, 사회적 취약계층 혹은 시청각 교통 약자 등을 대상으로 여러 가지 상황에 대응할 수 있는 다양한 정보(예. 병원가는 길 안내, 차량 접근 경고, 교통 신호 변경 안내 등)를 고품질 실시간으로 전달하는 정보 증강 서비스를 제공할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 동영상을 생성하여 모니터 요원 단말로 전송하며, 모니터 요원 단말로부터 수신한 안내 정보를 증강하는 교통 약자 단말; 및
    교통 약자 단말로부터 수신한 동영상을 모니터링하여 생성한 안내 정보를 교통 약자 단말에 전송하는 모니터 요원 단말;을 포함하는 것을 특징으로 하는 지능형 정보 증강 시스템.
  2. 청구항 1에 있어서,
    안내 정보는,
    지리 안내 정보, 길 안내 정보, 차량 접근 안내 정보, 교통 신호 안내 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 지능형 정보 증강 시스템.
  3. 청구항 1에 있어서,
    교통 약자 단말과 모니터 요원 단말은,
    일 대 일로 매칭되어 있는 것을 특징으로 하는 지능형 정보 증강 시스템.
  4. 청구항 1에 있어서,
    교통 약자 단말은,
    안내 정보를 청각 정보로 출력하는 것을 특징으로 하는 지능형 정보 증강 시스템.
  5. 청구항 1에 있어서,
    교통 약자 단말은,
    안내 정보를 점자로 출력하는 것을 특징으로 하는 지능형 정보 증강 시스템.
  6. 청구항 1에 있어서,
    교통 약자 단말은,
    360 카메라나 또는 광시야각 카메라를 이용하여, 동영상을 생성하는 것을 특징으로 하는 지능형 정보 증강 시스템.
  7. 청구항 1에 있어서,
    교통 약자 단말에 의해 생성된 동영상과 모니터 요원 단말에 의해 생성된 안내 정보는,
    클라우드에 저장되어, 서비스 제공을 위한 AI 모델의 학습에 이용되는 것을 특징으로 하는 지능형 정보 증강 시스템.
  8. 교통 약자 단말이, 동영상을 생성하여 모니터 요원 단말로 전송하는 단계;
    모니터 요원 단말이, 교통 약자 단말로부터 수신한 동영상을 모니터링하여 생성한 안내 정보를 교통 약자 단말에 전송하는 단계;
    교통 약자 단말이, 모니터 요원 단말로부터 수신한 안내 정보를 증강하는 단계;를 포함하는 것을 특징으로 하는 지능형 정보 증강 방법.
PCT/KR2018/015323 2018-12-05 2018-12-05 교통 약자를 위한 지능형 시각정보 증강방법 및 장치 Ceased WO2020116674A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180155221A KR20200068349A (ko) 2018-12-05 2018-12-05 교통 약자를 위한 지능형 시각정보 증강방법 및 장치
KR10-2018-0155221 2018-12-05

Publications (1)

Publication Number Publication Date
WO2020116674A1 true WO2020116674A1 (ko) 2020-06-11

Family

ID=70974336

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/015323 Ceased WO2020116674A1 (ko) 2018-12-05 2018-12-05 교통 약자를 위한 지능형 시각정보 증강방법 및 장치

Country Status (2)

Country Link
KR (1) KR20200068349A (ko)
WO (1) WO2020116674A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116348931A (zh) * 2020-10-23 2023-06-27 株式会社电装 电波图生成装置、电波图提供装置、电波图获取利用装置以及探测信息发送装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102694177B1 (ko) * 2021-10-27 2024-08-12 한국자동차연구원 시각장애인용 차량정보 제공 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020074764A (ko) * 2001-03-21 2002-10-04 김재원 시각 또는 청각장애인에게 하차역 인식방법 및 그 장치
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
KR20160063456A (ko) * 2014-11-26 2016-06-07 아바드(주) 시각장애인의 원격 활동보조 서비스 시스템 및 이를 이용한 서비스 방법
KR101695953B1 (ko) * 2016-11-21 2017-01-12 김동우 시각 장애인의 안내를 위한 비콘 스피커 및 그 방법
KR101730266B1 (ko) * 2015-11-30 2017-04-26 한양대학교 산학협력단 장애인을 위한 IoT 기반 길안내 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020074764A (ko) * 2001-03-21 2002-10-04 김재원 시각 또는 청각장애인에게 하차역 인식방법 및 그 장치
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
KR20160063456A (ko) * 2014-11-26 2016-06-07 아바드(주) 시각장애인의 원격 활동보조 서비스 시스템 및 이를 이용한 서비스 방법
KR101730266B1 (ko) * 2015-11-30 2017-04-26 한양대학교 산학협력단 장애인을 위한 IoT 기반 길안내 장치 및 방법
KR101695953B1 (ko) * 2016-11-21 2017-01-12 김동우 시각 장애인의 안내를 위한 비콘 스피커 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116348931A (zh) * 2020-10-23 2023-06-27 株式会社电装 电波图生成装置、电波图提供装置、电波图获取利用装置以及探测信息发送装置
CN116348931B (zh) * 2020-10-23 2026-02-13 株式会社电装 电波图生成装置、电波图提供装置、电波图获取利用装置

Also Published As

Publication number Publication date
KR20200068349A (ko) 2020-06-15

Similar Documents

Publication Publication Date Title
WO2016086440A1 (zh) 针对全盲人群的可穿戴式引导设备
WO2009102116A2 (ko) 사용자 반응형 증강 영상 생성 방법 및 시스템
WO2021187771A1 (ko) 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
WO2021169351A1 (zh) 指代消解的方法、装置及电子设备
WO2018084359A1 (ko) 체험 공유 시스템
WO2020256475A1 (ko) 텍스트를 이용한 발화 동영상 생성 방법 및 장치
KR102236358B1 (ko) 사회적 취약계층 보호 시스템 및 그 방법
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
KR102242681B1 (ko) 스마트 웨어러블 디바이스, 이를 사용한 3차원 얼굴과 공간 정보 인식 방법 및 시스템
WO2021006538A1 (ko) 텍스트 메시지를 브이모지로 표현하는 아바타 비주얼 변환 장치 및 메시지 변환 방법
TW480425B (en) Remote assist system
CN105843395A (zh) 一种实现与电子设备交互的眼镜及交互方法
CN111611812B (zh) 翻译成盲文
CN113438300A (zh) 基于网络实现的听障人士与正常人士无障碍沟通在线交流系统及方法
WO2021107595A1 (ko) 가상콘텐츠 체험 시스템 및 그 제어방법
Salvi et al. Smart glass using IoT and machine learning technologies to aid the blind, dumb and deaf
KR20200068349A (ko) 교통 약자를 위한 지능형 시각정보 증강방법 및 장치
EP2656308A2 (en) Method, device, and system for providing sensory information and sense
WO2013125915A1 (en) Method and apparatus for processing information of image including a face
WO2017073850A1 (ko) 청각 장애인용 알림 서비스 제공 방법 및 이를 실행하는 장치
JP2001344355A (ja) 支援必要者用遠隔支援システム
KR20200062004A (ko) 외국어 자가학습 지원 단말 및 그 방법
CN111081120A (zh) 一种协助听说障碍人士交流的智能穿戴设备
Aashritha et al. Assistive technology for blind and deaf people: a case study
Vítek et al. New possibilities for blind people navigation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942465

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18942465

Country of ref document: EP

Kind code of ref document: A1