KR102429216B1 - 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법 - Google Patents

스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법 Download PDF

Info

Publication number
KR102429216B1
KR102429216B1 KR1020200181236A KR20200181236A KR102429216B1 KR 102429216 B1 KR102429216 B1 KR 102429216B1 KR 1020200181236 A KR1020200181236 A KR 1020200181236A KR 20200181236 A KR20200181236 A KR 20200181236A KR 102429216 B1 KR102429216 B1 KR 102429216B1
Authority
KR
South Korea
Prior art keywords
augmented reality
terminal
support system
server
data
Prior art date
Application number
KR1020200181236A
Other languages
English (en)
Other versions
KR20220090234A (ko
Inventor
정기하
박정남
고성범
Original Assignee
엑스퍼트아이엔씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스퍼트아이엔씨 주식회사 filed Critical 엑스퍼트아이엔씨 주식회사
Priority to KR1020200181236A priority Critical patent/KR102429216B1/ko
Publication of KR20220090234A publication Critical patent/KR20220090234A/ko
Application granted granted Critical
Publication of KR102429216B1 publication Critical patent/KR102429216B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3242—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving keyed hash functions, e.g. message authentication codes [MACs], CBC-MAC or HMAC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시의 일 실시 예에 따르면, 장애인의 원격 지원을 제공하기 위한 서버는, 통신부; 및 상기 통신부와 동작 가능하게 연결된 적어도 하나 이상의 제어부를 포함하며, 상기 적어도 하나 이상의 제어부는, 단말로부터 영상 및 음성 데이터를 수신하고, 상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 전송하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 제공하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 획득하고, 상기 피드백 정보를 상기 단말로 전송하도록 구성되며, 상기 원격 지원 시스템은, 5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며, 상기 증강 현실 컨텐츠는, 단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며, 상기 적어도 하나의 증강 현실화된 데이터는, 적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하는 것을 특징으로 한다.

Description

스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법{Apparatus and method for providing remote assistance service for visually impaired by using smart glasses}
본 개시의 다양한 실시 예들은 시각 장애인의 원격 지원 서비스를 제공하기 위한 기술에 관한 것으로, 예를 들어 5G 또는 LTE와 관련된 무선 통신 기술에 기반하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 또는 방법을 제공한다.
무선 통신 기술이 날로 발전함에 따라, 장애인들을 위한 돌봄 서비스의 질도 향상되고 있다. 시각 장애인을 위한 돌봄 서비스는, 시각 장애인이 현재 위치하는 장소의 정확한 위치 정보, 주변 물체들의 이동 현황 등에 기반하여 위험 요소를 파악하고, 적절한 메시지를 음성으로 전달함으로써 시각 장애인의 이동 편의 뿐 아니라 안전을 도모하기 위한 관점에서 발전하였다. 다만, 시각 장애인에 돌봄 서비스를 제공하기 위한 기존의 시스템은, 실시간으로 제공되는 영상 및 음성 데이터가 네트워크 지연으로 인해 충분히 효율적이지 못하거나, 지원 센터와 시각 장애인 양자 간의 정보 공유에 제한되었는 바, 가족 구성원이나 제3자의 적극적인 돌봄 참여가 어려운 실정이었다. 또한, 시각 장애인에 제공되는 알림 메시지 등이 음성으로 제공된다는 점에서 신속한 정보 전달에 장애가 있었다.
본 개시(disclosure)는, 5G 또는 LTE(long term evolution)과 관련된 무선 통신 기술에 기반하여 시각 장애인의 원격 지원 서비스를 효과적으로 제공하기 위한 장치 및 방법을 제공한다.
본 개시의 일 실시 예에 따르면, 장애인의 원격 지원을 제공하기 위한 서버는, 통신부; 및 상기 통신부와 동작 가능하게 연결된 적어도 하나 이상의 제어부를 포함하며, 상기 적어도 하나 이상의 제어부는, 단말로부터 영상 및 음성 데이터를 수신하고, 상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 전송하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 제공하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 획득하고, 상기 피드백 정보를 상기 단말로 전송하도록 구성되며, 상기 원격 지원 시스템은, 5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며, 상기 증강 현실 컨텐츠는, 단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며, 상기 적어도 하나의 증강 현실화된 데이터는, 적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하는 것을 특징으로 한다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은, 5G 무선 통신 네트워크를 통하여 시각 장애인에 대한 돌봄 서비스를 보다 신속하고 효율적으로 수행하는 효과를 제공한다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 본 개시의 일 실시 예들에 따른 서버의 동작을 도시한 것이다.
도 2는, 본 개시의 일 실시 예에 따른 서버가 포함된, 시각 장애인 돌봄 서비스를 제공하기 위한 시스템을 도시한 것이다.
도 3은, 도 2에 더하여, 복수의 시각 장애인이 본원 발명의 서비스를 이용하는 경우를 도시한 것이다.
도 4는, 본 개시의 일 실시 예들에 따른, 원격 지원 시스템의 플랫폼에 대한 구성도이다.
아래의 상세한 설명에 들어가기 전에, 본 특허 문서 전체에서 사용되는 특정 단어 및 어구들의 정의를 기재하는 것이 본 발명을 이해하는데 도움이 될 수 있다. 용어 "커플(couple)" 및 그 파생어는 두 개 이상의 구성 요소 사이의 어떤 직접 또는 간접 통신을 나타내거나, 이들 요소가 서로 물리적으로 접촉하고 있는지의 여부를 나타낼 수 있다. 용어 "송신(transmit)", "수신(receive)" 그리고 "통신(communicate)"뿐만 아니라 그 파생어 또한, 이들의 직/간접 통신을 포함한다. 용어 "포함한다(include)" 및 "구성한다(comprise)" 뿐만 아니라 그 파생어 또한, 제한 없이 포함을 의미한다. 용어 "또는(or)"은 포괄적 의미로써, '및/또는'을 의미한다. 문구 "~와 관련되다(associated with)" 뿐만 아니라 그 파생어 또한 ~을 포함한다(include), ~에 포함된다(be included within), ~와 결합하다(interconnect with), ~을 함유하다(contain), ~에 함유되어 있다(be contained within), ~에 연결한다(connect to or with), ~와 결합하다(couple to or with), ~ 전달한다(be communicable with), 와 협력하다(cooperate with), ~를 끼우다(interleave), ~을 나란히 놓다(juxtapose), ~에 인접하다(be proximate to), 구속하다/구속되다(be bound to or with), 소유하다(have), 속성을 가지다(have a property of), ~와 관계를 가지다(have a relationship to or with) 등을 의미할 수 있다. 용어 "제어기(controller)"는 적어도 하나의 동작을 제어하는 어떤 장치, 시스템 또는 그 일부를 의미한다. 이러한 제어기는 하드웨어 또는 하드웨어와 소프트웨어의 조합 및/또는 펌웨어로 구현될 수 있다. 특정 제어기와 관련된 기능은 로컬 또는 원격으로 중앙 집중식으로(centralized) 또는 분산(distributed)처리될 수 있다. 문구 "적어도 하나"가 나열된 항목과 사용될 때, 나열된 항목 중 하나 이상의 상이한 조합이 사용될 수 있음을 의미한다. 예를 들어, "A, B, C 중 적어도 하나"는 A, B, C, A와 B, A와 C, B와 C, 그리고 A와 B와 C 결합들을 중 어느 하나를 포함한다.
또한, 이하에서 설명하는 다양한 기능들은 하나 이상의 컴퓨터 프로그램에 의해 구현되거나 지원 될 수 있으며, 각각의 컴퓨터 프로그램은 컴퓨터 판독 가능 프로그램 코드로 형성되고 컴퓨터 판독 가능 매체에 구현된다. "어플리케이션"및 "프로그램"이라는 용어는 적절한 컴퓨터 판독 가능 프로그램에서 구현하기 위해 적응 된 하나 이상의 컴퓨터 프로그램, 소프트웨어 구성 요소, 명령어 세트, 절차, 기능, 객체, 클래스, 인스턴스, 관련 데이터 또는 그 일부를 나타낸다. "컴퓨터 판독 가능 프로그램 코드"라는 문구는 소스 코드, 오브젝트 코드 및 실행 가능 코드를 포함하여 모든 유형의 컴퓨터 코드를 포함한다. "컴퓨터 판독 가능 매체"라는 문구는 판독 전용 메모리 (read only memory, ROM), 랜덤 액세스 메모리(random access memory, RAM), 하드 디스크 드라이브, 컴팩트 디스크(compact disc, CD), 디지털 등의 컴퓨터에 의해 액세스 될 수 있는 임의의 유형의 매체를 포함한다. 비디오 디스크(digital video disc, DVD), 또는 임의의 다른 유형의 메모리 일 수 있다. "일시적이지 않은(non-transitory)"컴퓨터 판독 가능 매체는 일시적인 전기적 또는 다른 신호를 전송하는 유선, 무선, 광학 또는 다른 통신 링크를 배제한다. 비 일시적인 컴퓨터 판독 가능 매체는 데이터가 영구적으로 저장될 수 있는 매체 및 재기록 가능한 광 디스크 또는 소거 가능 메모리 장치와 같이 데이터가 저장되고 나중에 겹쳐 쓰기 될 수 있는 매체를 포함한다.
특정 단어들 및 구문들의 정의가 본 개시 전반에 걸쳐서 제공되고, 통상의 기술자는 대부분의 경우에, 이러한 정의들이 정의된 단어들 및 구문들로 미래뿐 아니라 이전의 사용들에도 적용될 수 있음을 이해하여야 한다.
아래에 논의된 도 1 내지 도 4 및 본 개시의 원리를 설명하기 위해 이용되는 다양한 실시 예들은 단지 예시를 위한 것으로 어떠한 방식으로든 본 개시의 범위를 한정하는 의미로 해석되어서는 안 된다. 통상의 기술자들은 본 개시의 원리가 적절하게 배치된 무선 통신 시스템으로 구현될 수 있음을 이해할 것이다.
도 1은, 본 개시의 일 실시 예들에 따른 서버의 동작을 도시한 것이다.
서버는, 장애인 돌봄 서비스를 제공하기 위한 시스템의 일 구성으로 이해될 수 있다. 보다 구체적으로 장애인 돌봄 서비스는 시각 장애인에 대한 원격 지원을 위한 서비스를 의미할 수 있다.
장애인 돌봄 서비스를 제공하기 위한 시스템은, 시각 장애인이 위치하는 장소의 주변 환경에 대한 시각적인 정보와 청각적인 정보들에 기반하여 위험 상황을 파악하고, 이를 실시간으로 시각 장애인에게 알림으로써, 시각 장애인의 일상 생활에 있어 삶의 질을 향상시키고, 의사 소통을 원활하게 하기 위함이다.
도 1을 참조할 때, 서버는, 적어도 하나 이상의 동작을 수행할 수 있다. 각각의 동작들은, 서버 자체에 의해 수행되거나, 서버에 부설된 장치 또는 서버와 전기적으로 또는 무선 통신을 통해 연결된 외부 장치에 대한 명령 전송의 형식으로 수행될 수 있다.
단계(101s)에서, 서버는 영상 및 음성 데이터를 수신할 수 있다.
서버는, 단말로부터 영상 및 음성 데이터를 수신하거나, 단말로부터 영상 및 음성 데이터 중 적어도 하나 이상을 수신할 수 있다.
단말은, 시각 장애인이 휴대하는 전자 장치를 의미하는 것으로 이해될 수 있다. 단말은 시각 장애인이 위치하는 장소에 대한 데이터를 수집하고, 이를 서버로 송신할 수 있다. 이때, 단말이 수집하는 데이터는, 시각적인 데이터 및 청각적인 데이터 중 적어도 하나 이상을 포함할 수 있다. 단말은, 스마트 글라스일 수 있다. 스마트 글라스는, 사용자가 눈에 착용하는 안경과 유사한 형태로서, 사용자의 음성을 수신, 기록하는 마이크, 사용자의 시야에서 1인칭 화면을 녹화하는 카메라를 포함할 수 있다. 마이크와 카메라를 통해 스마트 글라스로 예시되는 단말은, 시각 장애인이 위치하는 장소에 관한 시각적 또는 청각적 데이터를 수집, 저장할 수 있다. 스마트 글라스로 예시되는 단말은, 내부에 제어부 및/또는 통신부를 포함할 수 있고, 수신된 데이터를 서버 또는 다른 외부 장치로 전송할 수 있다.
보다 구체적으로, 단말에 의해 수집된 음성 및 영상 데이터는, 단말 자체에서 다른 컨텐츠로 변환 또는 처리되어 외부로 전송될 수 있다. 다른 컨텐츠라 함은, 증강 현실 또는 가상 현실 컨텐츠를 의미할 수 있다. 또한, 스마트 글라스로 예시되는 단말은, 사용자에게 음성 메시지를 전달할 수 있는 스피커를 더 포함할 수 있다. 또한 사용자에 의해 제어될 수 있도록, 스마트 글라스에 포함된 제어부와 동작 가능하게 연결된 입력 수단을 더 포함할 수 있다.
단계(103s)에서, 서버는 증강 현실 데이터를 생성할 수 있다.
서버는, 단말로부터 수신한 음성 및 영상 데이터에 기반하여 증강 현실 데이터를 생성할 수 있다. 증강 현실 데이터는 사용자의 시야에서 확인되는 위험 요소들을 원격 지원 시스템에 보고하거나, 사용자 주변의 오브젝트들에 대한 위치 정보에 기반하여 재처리된 음성 및 영상 데이터를 의미할 수 있다.
예를 들어, 서버는, 시각 장애인에게 인지되기 어려운 오브젝트들을 시각 장애인의 시야에서 보다 강조하기 위한 처리작업을 수행할 수 있다. 처리작업을 거친 오브젝트는 사용자의 시야에 다시 반영되어 사용자는 이러한 오브젝트들을 보다 명확하게 파악하고 인지할 수 있다. 보다 구체적으로, 시력이 매우 약한 사용자의 경우, 작거나 어둡거나 매우 빠른 물체를 육안으로 감지하기 어려울 수 있고, 이러한 정보들은 사용자가 착용한 단말에 의해 녹화 또는 녹음되어 서버로 전송될 수 있다. 이때 서버는 사용자가 감지하기 어려운 오브젝트에 대한 재처리 과정을 거친 후, 이를 반영한 증강 현실 데이터를 생성하여 사용자의 단말로 다시 전송함으로써 사용자의 안전과 편의를 도모할 수 있다.
단계(105s)에서, 서버는 증강 현실 데이터를 원격 시스템에 전송할 수 있다.
이때, 원격 시스템에 전송되는 증강 현실 데이터는 재처리 과정을 거친 것이거나 거치지 않은 것일 수 있다. 원격 시스템은, 전송된 증강 현실 데이터에 기반하여, 재처리 과정을 수행할 수 있다. 다른 실시 예들에 의할 때, 서버는 음성 및 영상 데이터 자체를 원격 시스템에 전송하고, 원격 시스템이 증강 현실 데이터를 생성하고, 재처리 과정을 수행하도록 할 수 있다.
원격 시스템은, 사용자, 즉 시각 장애인을 돌보기 위해 구성된 지원 센터, 가족 구성원 또는 승인된 제3자 일 수 있다. 원격 시스템은, 전송받은 사용자의 음성 및 영상 데이터 또는 증강 현실 데이터에 기반하여 사용자가 노출된 위험 요소들을 파악하거나, 사용자의 필요에 맞는 길 안내 또는 메시지를 전달하기 위한 준비 작업을 수행할 수 있다.
단계(107s)에서, 서버는 원격 지원 시스템으로부터 피드백 정보를 수신할 수 있다.
피드백 정보는, 원격 지원 시스템에서 사용자에게 알리고자 하는 메시지를 포함할 수 있다. 구체적으로, 위험 예상 요소에 대한 회피 요청 메시지 또는 길 안내를 위한 방향, 거리, 속도 메시지를 포함할 수 있다. 다른 실시 예들에 따를 때, 원격 지원 시스템이 서버를 통해 사용자 단말로부터 수신한, 음성 및 영상 데이터에 재처리를 수행하여 증강 현실 데이터를 생성하거나, 이를 수정한 경우, 그에 관한 정보 또한 피드백 정보로 이해될 수 있다.
단계(109s)에서, 서버는 원격 지원 시스템으로부터 수신한 피드백 정보를 단말로 송신할 수 있다.
단말은, 이를 통해 원격 지원 시스템으로부터 경고, 알림, 메시지 등을 수신하고 그에 대응하는 동작을 수행하도록 사용자에게 알릴 수 있다.
전술한 서버의 동작은, 5G 무선 통신 네트워크에 기반하여 수행될 수 있으며 보다 구체적으로는, 5G 엣지 클라우드에 기반하여 형성된 시스템을 통해 수행될 수 있다.
또한 원격 지원 시스템은, 플러그인이나 설치 없이 통신의 부하가 없는 웹브라우저에 의해 P2P로 영상과 데이터 통신이 가능한 WebRTC(Web Real Time Communication) 기술 구현으로 양방향 통신이 적용될 수 있다. 특히, 통신 기지국의 5G 네트워크 엣지에 클라우드 기반의 AWS(Amazon Web Service)의 컴퓨팅 및 서버를 활용하여 클라우드 서비스를 원활하게 액세스 하도록 구현될 수 있다.
나아가, 5G 네트워크 엣지에 AWS 서비스를 제공하여 스마트 글라스로 예시되는 단말에서, 단말을 제어하기 위한 어플리케이션에 접근할 때, 발생하는 네트워크 홉 및 지연 시간을 최소화 할 수 있는 AWS wavelength를 적용할 수 있다.
시각 장애인의 가족 구성원 또는 제 3자는, 별도의 로그인이나 플러그인 없이도 웹 브라우저 주소에 접근함으로써, 시각 장애인이 위치하는 장소의 주변 상황과 위험 요소들을 쉽게 파악할 수 있고, 필요한 메시지를 전달하거나, 사용자의 시야에서 증강 현실 컨텐츠로 표시될 수 있는 데이터를 제공할 수 있다.
사용자에게 제공되는 증강 현실 컨텐츠는, 음성 명령어를 통한 단말의 어플리케이션을 제어하기 위한 것일 수 있고, 원격 지원 시스템에서 사용자의 1인칭 시야를 증강 현실화하여 타겟 표시, 물체간 거리 표시, 방향 표시, 위치 및 이동 동신 표시와 관련된 증강 현실 컨텐츠를 표시하기 위한 것일 수 있다.
서버는 원격 지원을 통해 서버가 제공하거나 획득하는 음성이나 영상 데이터를 저장하고 관리할 수 있다. 또한, 서버는, 개인 프라이버스 보호를 위해, 단말로부터 수집되거나 단말로 전송되는 영상, 음성의 자동 전달 여부를 활성화 또는 비활성화 할 수 있고, 이는 미리 저장된 규칙에 따라 이루어질 수 있다. 서버는, 단말로부터 전송되는 음성 및 영상 데이터 뿐 아니라 GPS 정보에 기반하여 단말을 착용한 사용자의 위치를 파악할 수 있고 이는 실시간으로 이루어질 수 있다.
도 2는, 본 개시의 일 실시 예에 따른 서버가 포함된, 시각 장애인 돌봄 서비스를 제공하기 위한 시스템을 도시한 것이다.
도 2를 참조하면, 적어도 하나 이상의 사용자는, 사용자가 착용한 단말을 통해, 원격 지원 음성을 서버로 전달할 수 있다. 이때, 서버는 turn 서버로 지칭될 수 있다. 원격 지원 음성으로 도시되었으나, 단말에 의해 촬영 또는 녹화되는 영상을 포함하는 것으로 이해될 수 있다. 원격 지원 음성의 전달은 실시간 스트리밍으로 이루어질 수 있다. 사용자 단말과 서버는, 지연 시간을 최소화 하도록 5G 엣지 클라우드에 기반하여 연결될 수 있다.
서버는, 사용자 단말로부터 수신한 사용자의 1인칭 시야 또는 음성을 원격지와 공유할 수 있다. 이때 원격지는 원격 지원 시스템을 포함하는 것으로 이해될 수 있다.
구체적으로 원격지는, 돌봄 지원센터, 제3자, 가족 구성원을 포함할 수 있다. 또한, 가족 구성원, 제3 자, 돌봄 지원센터는 웹 브라우저를 통해, 서버에 접근하여, 사용자 단말로부터 전달받은 1인칭 시야 또는 음성을 열람할 수 있다. 이때 웹브라우저에 대한 접근은 컴퓨터 또는 모바일 네트워크를 통해 수행될 수 있다.
또한 서버, 즉 turn 서버의 상위 계층으로, WebRTC 시그널링 서버가 더 존재할 수 있다. WebRTC 시그널링 서버는, 웹 브라우저에 접근할 수 있고, 시각 장애인의 단말과 상호 피어 시그널링(pear signaling)을 수행할 수 있다.
원격지는 시각 장애인에 대한 지원 서비스로서, 음성 메시지를 전달하거나 증강 현실 컨텐츠를 생성하여 이를 전달할 수 있다.
또한, 웹 브라우저를 통해, 서버와 클라이언트(원격 지원 시스템)간에 인터페이스 환경을 구축할 수 있다. 구체적으로, 서버는, 플러그인이 필요 없는 실시간 영상, 음성 및 데이터 통신을 수행할 수 있다. 웹 브라우저는 어플리케이션을 통하여 정강 콘텐츠(그래픽 마커, 텍스트 전송, 파일 전송, 포인터 표시)를 사용자의 단말에 전달하여 표시할 수 있다.
도 3은, 도 2에 더하여, 복수의 시각 장애인이 본원 발명의 서비스를 이용하는 경우를 도시한 것이다.
도 3을 참조할 때, 복수의 시각 장애인은 각자 휴대한 단말을 통해, 자신이 현재 위치하는 장소에 대한 영상 또는 음성 데이터를 다른 시각 장애인의 단말로 전송할 수 있다. 이를 통해, 특정한 시각 장애인과 원격 지원 시스템과의 양방향 통신 뿐 아니라, 서로 다른 시각 장애인들 간의 상대적인 위치와 요청 메시지를 공유할 수 있다. 또한 원격 지원 시스템은, 복수의 시각 장애인에게 공통된 증강 현실 컨텐츠를 전송하고자 하는 경우, 복수의 시각 장애인이 접근 가능한 웹 브라우저를 통해 해당 정보를 전송함으로써, 이를 수행할 수 있다.
도 4는, 본 개시의 일 실시 예들에 따른, 원격 지원 시스템의 플랫폼에 대한 구성도이다.
도 4를 참조할 때, 원격 지원 시스템의 플랫폼은, 사용자와 돌봄 원격 지원자 사이에서 서비스를 제공하고, 시스템을 관리하는 기능을 수행할 수 있다.
구체적으로, 돌봄 원격지원 플랫폼이 제공하는 서비스는, 모바일 서비스 PC 기반 웹브라우저 서비스, 증강 현실 컨텐츠 제공 서비스, 제3자 참여 협업 지원 서비스, 위치 표시 서비스일 수 있다.
모바일 서비스와 PC 기반 웹 브라우저 서비스는, 다른 사용자 또는 돌봄 원격 지원자가 플러그인 방식에 의하지 아니하고, 미리 정해진 웹 브라우저 주소를 입력함으로써, 간단하게 사용자의 환경 정보를 확인하고, 요청 또는 알림 메시지를 전송하는 등의 동작을 수행하도록 할 수 있다.
증강 현실 컨텐츠 제공 서비스는, 사용자에게 전달하고자 하는 정보를 사용자가 착용하고 있는 단말, 보다 구체적으로는 스마트 글라스의 화면에 표시함으로써 증강 현실 컨텐츠를 제공할 수 있도록 하여 사용자에게 보다 효율적으로 위험 상황을 알리고, 길 안내 등의 동작을 수행하기 위한 서비스일 수 있다.
제3 자 참여 협업 지원 서비스는, 미리 정해진 돌봄 원격 지원자가 아닌 제3 자가 일시적으로 서버 또는 웹 브라우저에 접근하여, 사용자에게 도움을 주고자 할 때, 특정한 제3 자에 대한 접근을 허용함으로써, 원격 지원 서비스를 통한 사용자 편의를 향상시키기 위한 것일 수 있다.
위치 표시 서비스는, 사용자의 현재 위치에 대한 영상 또는 음성 데이터에 기반하여 사용자의 위치를 파악하거나, 사용자가 착용한 단말에 포함된 GPS 장치를 통해 사용자의 상대적 또는 절대적인 위치를 확인하고, 이를 돌봄 원격 지원자에게 전달하기 위한 서비스일 수 있다.
돌봄 원격 지원 기능은, 음성 전달, 증강 거리 측정, 증강 방향 각도 측정, 위치 표시, 개인 프라이버시 모드, LED 조명 제어, 증강 포인터 표시, 이동 동선 추적 표시, 녹화 및 저장, 지원이력 관리, 제3자 참여 지원 등을 예시하나, 나열된 기능에 한하지 않고, 돌봄 지원 서비스를 통해 이용되고 있는 공지의 모든 기능들이 적용될 수 있다.
본 개시의 일 실시 예들에 따른 원격 지원 서비스는, 시각 장애인이 휴대한 단말을 통해 일정 범위 내의 오브젝트를 인식하고, 인식된 오브젝트에 관한 정보를 음성으로 제공할 수 있다. 오브젝트를 인식하는 것은, 단말과 오브젝트 간의 거리 정보, 오브젝트의 종류, 수량, 크기, 속도 등과 같은 물리량에 관한 정보를 획득하는 것을 의미할 수 있다. 오브젝트의 인식에 따라 획득되는 정보는 오브젝트에 관한 정보로 지칭될 수 있다. 오브젝트에 관한 정보는, 시각 장애인이 휴대하는 단말을 통해 음성으로 출력되거나, 서버를 통해 시각 장애인의 보호자, 관리자 또는 제 3자에게 음성 또는 시각적인 정보의 형태로 제공될 수 있다.
오브젝트를 인식하고, 그에 관한 정보를 생성 또는 획득하는 과정은 인공지능 기술에 기반하여 수행될 수 있다. 인공지능 기술은 딥 러닝(deep learning) 기반이거나, 본원 발명의 기술분야에서 통상의 기술자가 이용가능한 모든 인공지능 기술을 통칭하는 것일 수 있다. 따라서, 인공지능 기술에 기반하여 본 개시의 일 실시 예들에 따른 서버 또는 단말은, 인식된 오브젝트에 기반하여, 관련 정보를 탐색 및 획득하고, 이를 음성 데이터 또는 시각적인 데이터로 변환하여, 시각 장애인이 휴대한 단말 또는 서버로 제공할 수 있다.
본 개시의 일 실시 예에 따른, 장애인의 원격 지원을 제공하기 위한 서버는, 통신부; 및 상기 통신부와 동작 가능하게 연결된 적어도 하나 이상의 제어부를 포함하며, 상기 적어도 하나 이상의 제어부는, 단말로부터 영상 및 음성 데이터를 수신하고, 상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 전송하고, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 제공하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 획득하고, 상기 피드백 정보를 상기 단말로 전송하도록 구성되며, 상기 원격 지원 시스템은, 5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며, 상기 증강 현실 컨텐츠는, 단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며, 상기 적어도 하나의 증강 현실화된 데이터는, 적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 적어도 하나의 제어부는, 상기 수신한 영상 및 음성 데이터, 상기 생성된 증강 현실 데이터 및 상기 수신한 피드백 정보를 상기 저장부에 저장하고, 상기 저장된 정보 및 데이터를 외부로 전송하도록 더 구성된다.
바람직하게는, 상기 영상 및 음성 데이터는, 상기 단말로부터 실시간 스트리밍을 통해 상기 서버로 전송되며, 상기 적어도 하나 이상의 제어부는, 미리 저장된 규칙에 따라, 상기 영상 및 음성 데이터의 전송을 비활성화 하도록 더 구성된다.
바람직하게는, 상기 미리 저장된 규칙은, 상기 원격 지원 시스템으로부터 수신된 신호에 따라 변경 가능하게 구성되는 것을 특징으로 한다.
바람직하게는, 상기 적어도 하나 이상의 제어부는, 상기 웹 브라우저를 통해 상기 원격 지원 시스템에 접근하는 상기 복수의 사용자 중 적어도 하나이상의 사용자에 대한 접근 권한을 확인하고, 상기 단말로 승인 요청 메시지를 전송하도록 더 구성된다.
바람직하게는, 상기 적어도 하나 이상의 제어부는, 상기 단말로 승인 요청 메시지를 전송하는 것에 대응하여, 상기 단말로부터 승인 메시지를 수신하고, 상기 승인 요청 메시지를 수신하는 것에 대응하여, 상기 복수의 사용자 중 적어도 하나 이상의 사용자에게 원격 지원 시스템에 접근하는 것을 허용하도록 더 구성된다.
본 개시의 일 실시 예에 따른, 장애인의 원격 지원을 제공하기 위한 서버의 동작 방법은, 단말로부터 영상 및 음성 데이터를 수신하는 과정과, 상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하는 과정과, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 송신하는 과정과, 상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 송신하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 수신하는 과정과, 상기 피드백 정보를 상기 단말로 송신하는 과정을 더 포함하며, 상기 원격 지원 시스템은, 5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며, 상기 증강 현실 컨텐츠는, 단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며, 상기 적어도 하나의 증강 현실화된 데이터는, 적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하는 것을 특징으로 한다.
바람직하게는, 상기 수신한 영상 및 음성 데이터, 상기 생성된 증강 현실 데이터 및 상기 수신한 피드백 정보를 저장하는 과정과, 상기 저장된 정보 및 데이터를 외부로 전송하는 과정을 더 포함한다.
바람직하게는, 상기 영상 및 음성 데이터는, 상기 단말로부터 실시간 스트리밍을 통해 상기 서버로 전송되며, 상기 방법은, 미리 저장된 규칙에 따라, 상기 영상 및 음성 데이터의 전송을 비활성화 하는 과정을 더 포함한다.
바람직하게는, 상기 미리 저장된 규칙은, 상기 원격 지원 시스템으로부터 수신된 신호에 따라 변경 가능하게 구성되는 것을 특징으로 한다.
바람직하게는, 상기 웹 브라우저를 통해 상기 원격 지원 시스템에 접근하는 상기 복수의 사용자 중 적어도 하나이상의 사용자에 대한 접근 권한을 확인하는 과정과, 상기 단말로 승인 요청 메시지를 전송하는 과정을 더 포함한다.
바람직하게는, 상기 단말로 승인 요청 메시지를 전송하는 것에 대응하여, 상기 단말로부터 승인 메시지를 수신하는 과정과, 상기 승인 요청 메시지를 수신하는 것에 대응하여, 상기 복수의 사용자 중 적어도 하나 이상의 사용자에게 원격 지원 시스템에 접근하는 것을 허용하는 과정을 더 포함한다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로” 또는 "통신적으로”라는 용어와 함께 또는 이런 용어 없이, "커플드” 또는 "커넥티드”라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 장치(machine)(예: 전자 장치) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 장치(예: 전자 장치의 프로세서(예: 프로세서)는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 장치가 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 장치로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: EM파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 장치로 읽을 수 있는 저장 매체(예: CD-ROM(compact disc read only memory))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 장치로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술된 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 통합 이전에 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (12)

  1. 장애인의 원격 지원을 제공하기 위한 서버에 있어서,
    상기 서버는,
    통신부; 및
    상기 통신부와 동작 가능하게 연결된 적어도 하나 이상의 제어부를 포함하며,
    상기 적어도 하나 이상의 제어부는,
    단말로부터 영상 및 음성 데이터를 수신하고,
    상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하고,
    상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 전송하고,
    상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 제공하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 획득하고,
    상기 피드백 정보를 상기 단말로 전송하도록 구성되며,
    상기 원격 지원 시스템은,
    5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며,
    상기 증강 현실 컨텐츠는,
    단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며,
    상기 적어도 하나의 증강 현실화된 데이터는,
    적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하고
    상기 적어도 하나의 제어부는,
    상기 수신한 영상 및 음성 데이터, 상기 생성된 증강 현실 데이터 및 상기 수신한 피드백 정보를 저장부에 저장하고,
    상기 저장된 정보 및 데이터를 외부로 전송하도록 하고
    상기 영상 및 음성 데이터는, 상기 단말로부터 실시간 스트리밍을 통해 상기 서버로 전송되며,
    상기 적어도 하나 이상의 제어부는,
    미리 저장된 규칙에 따라, 상기 영상 및 음성 데이터의 전송을 비활성화 하도록 하고
    상기 복수의 사용자는
    시각 장애인을 돌보기 위해 구성된 지원 센터, 가족 구성원 또는 승인된 제3자를 포함하고,
    상기 원격 지원 시스템은,
    수신한 사용자의 음성 및 영상 데이터 또는 증강 현실 데이터에 기반하여 사용자가 노출된 위험 요소들을 파악하고,
    특정한 시각 장애인과 원격 지원 시스템과의 양방향 통신 요청 매시지 및 서로 다른 시각 장애인들 간의 상대적인 위치와 요청 메시지를 공유하고, 복수의 시각 장애인에게 공통된 증강 현실 컨텐츠를 전송하고자 하는 경우, 복수의 시각 장애인이 접근 가능한 웹 브라우저를 통해 해당 정보를 전송하는
    것을 특징으로 하는 서버.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 미리 저장된 규칙은, 상기 원격 지원 시스템으로부터 수신된 신호에 따라 변경 가능하게 구성되는 것을 특징으로 하는 서버.
  5. 청구항 1에 있어서,
    상기 적어도 하나 이상의 제어부는,
    상기 웹 브라우저를 통해 상기 원격 지원 시스템에 접근하는 상기 복수의 사용자 중 적어도 하나이상의 사용자에 대한 접근 권한을 확인하고,
    상기 단말로 승인 요청 메시지를 전송하도록 더 구성되는 서버.
  6. 청구항 5에 있어서,
    상기 적어도 하나 이상의 제어부는,
    상기 단말로 승인 요청 메시지를 전송하는 것에 대응하여, 상기 단말로부터 승인 메시지를 수신하고,
    상기 승인 요청 메시지를 수신하는 것에 대응하여, 상기 복수의 사용자 중 적어도 하나 이상의 사용자에게 원격 지원 시스템에 접근하는 것을 허용하도록 더 구성되는 서버.
  7. 장애인의 원격 지원을 제공하기 위한 서버의 동작 방법에 있어서,
    단말로부터 영상 및 음성 데이터를 수신하는 과정과,
    상기 수신한 영상 및 음성 데이터에 기반하여, 증강 현실 컨텐츠를 생성하는 과정과,
    상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 송신하는 과정과,
    상기 생성된 증강 현실 컨텐츠를 원격 지원 시스템에 송신하는 것에 대응하여, 상기 원격 지원 시스템으로부터 피드백 정보를 수신하는 과정과,
    상기 피드백 정보를 상기 단말로 송신하는 과정과
    상기 수신한 영상 및 음성 데이터, 상기 생성된 증강 현실 데이터 및 상기 수신한 피드백 정보를 저장하는 과정과,
    상기 저장된 정보 및 데이터를 외부로 전송하는 과정을 더 포함하며,
    상기 원격 지원 시스템은,
    5G 통신에 기반하여 형성된 클라우드를 통해 상기 서버와 상호 연결되고, 웹 브라우저를 통해 복수의 사용자가 동시에 접근할 수 있는 것을 특징으로 하며,
    상기 증강 현실 컨텐츠는,
    단말을 착용한 장애인의 1인칭 시야에 대한 증강 현실화된 데이터를 포함하며,
    상기 적어도 하나의 증강 현실화된 데이터는,
    적어도 하나의 오브젝트, 오브젝트 상호 간의 거리, 위치, 방향 및 이동 동선을 포함하고
    상기 복수의 사용자는
    시각 장애인을 돌보기 위해 구성된 지원 센터, 가족 구성원 또는 승인된 제3자를 포함하고,
    상기 원격 지원 시스템은,
    수신한 사용자의 음성 및 영상 데이터 또는 증강 현실 데이터에 기반하여 사용자가 노출된 위험 요소들을 파악하고,
    특정한 시각 장애인과 원격 지원 시스템과의 양방향 통신 요청 매시지 및 서로 다른 시각 장애인들 간의 상대적인 위치와 요청 메시지를 공유하고, 복수의 시각 장애인에게 공통된 증강 현실 컨텐츠를 전송하고자 하는 경우, 복수의 시각 장애인이 접근 가능한 웹 브라우저를 통해 해당 정보를 전송하는 것을 특징으로 하는 방법.
  8. 삭제
  9. 청구항 7에 있어서,
    상기 영상 및 음성 데이터는, 상기 단말로부터 실시간 스트리밍을 통해 상기 서버로 전송되며,
    상기 방법은,
    미리 저장된 규칙에 따라, 상기 영상 및 음성 데이터의 전송을 비활성화 하는 과정을 더 포함하는 방법.
  10. 청구항 9에 있어서,
    상기 미리 저장된 규칙은, 상기 원격 지원 시스템으로부터 수신된 신호에 따라 변경 가능하게 구성되는 것을 특징으로 하는 방법.
  11. 청구항 7에 있어서,
    상기 웹 브라우저를 통해 상기 원격 지원 시스템에 접근하는 상기 복수의 사용자 중 적어도 하나이상의 사용자에 대한 접근 권한을 확인하는 과정과,
    상기 단말로 승인 요청 메시지를 전송하는 과정을 더 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 단말로 승인 요청 메시지를 전송하는 것에 대응하여, 상기 단말로부터 승인 메시지를 수신하는 과정과,
    상기 승인 요청 메시지를 수신하는 것에 대응하여, 상기 복수의 사용자 중 적어도 하나 이상의 사용자에게 원격 지원 시스템에 접근하는 것을 허용하는 과정을 더 포함하는 방법.
KR1020200181236A 2020-12-22 2020-12-22 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법 KR102429216B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200181236A KR102429216B1 (ko) 2020-12-22 2020-12-22 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200181236A KR102429216B1 (ko) 2020-12-22 2020-12-22 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220090234A KR20220090234A (ko) 2022-06-29
KR102429216B1 true KR102429216B1 (ko) 2022-08-05

Family

ID=82270478

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181236A KR102429216B1 (ko) 2020-12-22 2020-12-22 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102429216B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906810B (zh) * 2010-02-24 2015-03-18 爱普莱克斯控股公司 支持视觉受损的个体的扩增的现实全景
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
KR20140132080A (ko) * 2013-05-07 2014-11-17 (주) 고운정보통신 시각 장애인을 위한 영상안내시스템 및 영상안내방법
KR102078265B1 (ko) * 2018-01-10 2020-02-19 주식회사 티제이원 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법

Also Published As

Publication number Publication date
KR20220090234A (ko) 2022-06-29

Similar Documents

Publication Publication Date Title
US11689653B2 (en) Systems and methods for automated emergency response
Sobnath et al. Smart cities to improve mobility and quality of life of the visually impaired
US20200059776A1 (en) Systems & methods for intelligently managing multimedia for emergency response
US20170162076A1 (en) Methods, apparatus and systems for providing remote assistance for visually-impaired users
Ahmed et al. Addressing physical safety, security, and privacy for people with visual impairments
US11374895B2 (en) Updating and transmitting action-related data based on user-contributed content to social networking service
US20110227730A1 (en) System and apparatus for locating and surveillance of persons and/or surroundings
US11076271B2 (en) Systems facilitating proximity-based communications between specially programmed computing devices to allow individuals to meet and methods of use thereof
US20170041374A1 (en) Eye contact-based information transfer
US20210037341A1 (en) Personal monitoring apparatus and methods
JP2015002477A (ja) 情報処理装置、情報処理システムおよび情報処理方法
US11310623B2 (en) Network based video surveillance and logistics for multiple users
KR102429216B1 (ko) 스마트 글라스를 이용하여 시각 장애인의 원격 지원 서비스를 제공하기 위한 장치 및 방법
US10943117B2 (en) Translation to braille
CN111344692A (zh) 信息处理装置、信息处理方法和程序
US20140214612A1 (en) Consumer to consumer sales assistance
JP6816909B1 (ja) 避難誘導システム、避難誘導方法、および、眼鏡型ディスプレイ
US20200219412A1 (en) System and method for sensor fusion from a plurality of sensors and determination of a responsive action
KR20200017940A (ko) 딥러닝 기반 실버벨 서비스 시스템 및 방법
KR101740948B1 (ko) 스마트폰을 이용한 유치원생 위치 안내 시스템
JP7321397B1 (ja) 提示制御装置、情報提示システム、提示制御方法、及び提示制御プログラム
KR20200117428A (ko) 로봇을 이용한 대화 도우미 서비스 방법 및 시스템
US20220335810A1 (en) Method and system for locating one or more users in an emergency
Figueroa-Hernandez et al. Haptic Interface for Remote Guidance of People with Visual Disabilities
KR101662796B1 (ko) 시장 유통 재화 기반의 ｓｎｓ 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant