KR102152326B1 - 글로벌 수화 통역 지원 시스템 - Google Patents

글로벌 수화 통역 지원 시스템 Download PDF

Info

Publication number
KR102152326B1
KR102152326B1 KR1020200018546A KR20200018546A KR102152326B1 KR 102152326 B1 KR102152326 B1 KR 102152326B1 KR 1020200018546 A KR1020200018546 A KR 1020200018546A KR 20200018546 A KR20200018546 A KR 20200018546A KR 102152326 B1 KR102152326 B1 KR 102152326B1
Authority
KR
South Korea
Prior art keywords
user
sign language
information
server
interpretation
Prior art date
Application number
KR1020200018546A
Other languages
English (en)
Inventor
백현민
경준환
임진용
장철호
박상범
Original Assignee
주식회사 샘물정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 샘물정보통신 filed Critical 주식회사 샘물정보통신
Priority to KR1020200018546A priority Critical patent/KR102152326B1/ko
Application granted granted Critical
Publication of KR102152326B1 publication Critical patent/KR102152326B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/08—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H04M1/72591—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Signal Processing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 실시 예예 따른 수화 통역 지원 시스템은 사용자 단말 및 서버를 포함하여 구성되며, 상기 사용자 단말은 어플리케이션을 통해 컨텍센터로의 통화 요청 신호와, 사용자의 장애 정보, 사용자의 국적 정보 및 사용자의 현재 위치한 국가 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며, 상기 서버는 상기 사용자 단말로부터3자 통화가 요청되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하되, 사용자의 국적 정보 및 사용자의 현재 위치를 고려하여, 적합 수화 통역사를 매칭할 수 있다.

Description

글로벌 수화 통역 지원 시스템{Global sign language interpretation support system}
본 발명은 글로벌 수화 통역을 지원하는 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 국내 농아인이 타국가에서 외국인과 소통하기 위한 수화 통역 및 외국 농아인이 국내에서 소통하기 위해 요구되는 수화 통역 서비스를 제공하는 시스템에 관한 것이다.
수화는 손의 움직임을 사용하여 표현하는 시각언어로서, 농아인이 사용하는 의사소통 수단이다. 근래에는 농아인과 비장애인 사이의 원활한 의사소통을 위해 일반인을 위한 수화 교육도 활발히 이루어지고 있다.
비장애인들이 수화 사용자들의 편의를 돕고자 하는 노력에도 불구하고, 여전히 많은 수화를 이용하는 농아인들은 많은 불편함에 시달리고 있다. 수화 또한 국가별로 상이하므로 농아인들이 해외에 체류하게 되는 경우, 농아인들의 의사소통을 위해서 해외 수화 통역 시스템이 별도로 요구되고 있다. 그러나 타 국가를 방문한 농아인들을 위한 수화 통역 시스템의 개발은 미비한 실정이다.
한편, 장애인들을 위한 통역 서비스에 관한 종래 기술으로는 공개특허공보 10-2020-0049404호(장애인을 위한 동시통역 서비스 제공 시스템 및 그 방법)이 있다.
본 발명은 농아인이 해외에서 자국의 수화를 사용하더라도 원할한 의사소통을 수행하도록 지원하게 하는 데 목적이 있다.
본 발명은 농아인의 위치에 기반하여, 해당 위치에서 사용자가 요구할만한 공공서비스 리스트를 추출하여 제공하고 이를 사용할 시 자동으로 3자 통화를 통한 수화 통역을 지원하는 데 목적이 있다.
또한 본 발명은 사용자가 사용하는 언어에 맞는 수화통역사를 매칭해주는 기능과, 해당 위치 또는 상황에 맞는 통역사를 매칭해주는 기능을 제공하는 데 목적이 있다.
본 발명의 실시 예예 따른 수화 통역 지원 시스템은 사용자 단말 및 서버를 포함하여 구성되며, 상기 사용자 단말은 어플리케이션을 통해 컨텍센터로의 통화 요청 신호와, 사용자의 장애 정보, 사용자의 국적 정보 및 사용자의 현재 위치한 국가 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며, 상기 서버는 상기 사용자 단말로부터3자 통화가 요청되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하되, 사용자의 국적 정보 및 사용자의 현재 위치를 고려하여, 적합 수화 통역사를 매칭할 수 있다.
본 발명은 농아인이 해외에서 자국의 수화를 사용하더라도 원할한 의사소통을 수행하도록 지원할 수 있다.
본 발명은 농아인의 위치에 기반하여, 해당 위치에서 사용자가 요구할만한 공공서비스 리스트를 추출하여 제공하고 이를 사용할 시 자동으로 3자 통화를 통한 수화 통역을 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 글로벌 수화 통역 지원 시스템의 구성에 대하여 도시한 도면이다.
도 2a 내지 도 2c는 본 발명의 실시 예에 따른 외국 수화의 통역 동작에 대하여 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 사용자 단말의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 보조 통역 지원부의 구성을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 외국 수화의 통역이 수행되는 화면의 예시를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 사용자 기기는 적어도 하나의 프로세서를 포함하는 모든 종류의 개인화 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 사용자 단말은 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 글로벌 수화 통역 지원 시스템의 구성에 대하여 도시한 도면이다.
본 발명의 실시 예에 따른 외국 수화의 통역 지원 시스템은 사용자 단말 100, 서버 200, 컨텍센터 300, 수화 통역센터 400를 포함하여 구성될 수 있다.
상기 서버 200는 사용자 단말 100에 설치되어 사용자 단말 100, 컨텍센터 300 및 수화 통역센터 400 간의 3자 통화를 지원하는 어플리케이션을 지원하는 서버일 수 있다.
먼저 상기 사용자 단말 100은 어플리케이션(예, 장애인 지원 어플리케이션)을 통해 상기 서버 200에 접속할 수 있다. 그리고 상기 사용자 단말 100은 고객 상담, 안내 등의 서비스를 제공받기 위해 상기 어플리케이션에 접속한 이후, 컨텍센터 300측에 통화 연결을 시도할 수 있다. 상기 어플리케이션은 예컨대 사용자가 통화를 연결하고자 하는 전화번호를 입력할 수 있도록 입력창을 표시할 수 있다. 또는 상기 어플리케이션은 사용자의 위치에 대응하여 주변 시설물(예, 병원, 공항 등)의 컨텍센터를 웹으로부터 검색하고 이에 대한 전화번호 정보를 화면에 제공할 수 있다. 이 밖의 다양한 방법에 의해 사용자는 자신이 통화하고자 하는 컨텍센터의 연락처를 확보할 수 있고, 상기 어플리케이션 상에서 컨텍센터로의 통화 연결을 시도할 수 있다.
사용자에 의해 특정 컨텍센터로의 통화 요청 버튼(예, 통화 연결 버튼 선택)이 입력되면, 상기 서버(앱 서버) 200는 그에 대응하여 해당 컨텍센터로 통화 연결 동작을 수행할 수 있다. 그리고 상기 서버 200는 그와 동시에, 수화 통역 센터 400에도 통화 연결을 시도할 수 있다. 이와 같은 방식으로 상기 서버 200는 사용자 단말 100, 컨텍센터 300, 수화 통역센터 400 의 3자가 모두 연결된 3자 통화를 수행하고, 이를 통해 사용자 단말 100측에서 입력되는 수화 영상이 수화 통역센터 400를 통해 음성으로 통역되어 상기 컨텍센터 300측에 전달될 수 있도록 지원하게 된다.
상기 서버 200는 수화 통역센터 400에서 수화 통역사의 통역 음성을 기반으로 STT(Sound To Text)동작을 거쳐 자막으로 함께 표시되도록 할 수 있다. 이에 따라 사용자는 자신이 수화로 입력한 내용이 제대로 전달되고 있는지 여부를 자막을 통해 확인할 수 있다.
상기 외국 수화의 통역 지원 시스템은 이 밖에도 다양한 방법에 의해 수화 이용 장애인(예, 농아인)이 전달하고자 하는 의사가 제대로 컨텍센터 측에 전달되고 있는지를 검증하기 위한 기능을 수행할 수 있다.
도 2a 내지 도 2c는 본 발명의 실시 예에 따른 외국 수화의 통역 동작에 대하여 도시한 도면이다.
본 발명의 실시 예에 따른 외국 수화의 통역 동작은 먼저 도 2a에서 도시되는 바와 같이, 사용자 단말 100의 현재 위치를 등록함으로써 수행될 수 있다. 사용자는 사용자 단말 100에서 감지되는 현재 위치 정보를 등록하고, 어플리케이션의 화면에 표시되는 관련 버튼을 선택하여 수화 통역 서비스를 요청할 수 있다.
이에 따라 도 2a에서 도시되는 바와 같이 사용자 단말 100은 감지된 사용자의 현재 위치 정보 및 수화 통역 서비스 요청에 대응하여, 도 2b에서와 같이 사용자 위치와 관련된 공공 서비스 항목(예, 사용자의 위치가 공항으로 판단됨에 따라 공항 안내서비스 항목을 제시)을 선택메뉴로 제공할 수 있다. 사용자가 도 2b와 같은 화면에서 해당 버튼(예, 수화 통역을 통한 공항 안내서비스 버튼)을 입력함에 따라 상기 본 발명의 시스템은 수화 통역 센터 400의 수화 통역사, 사용자 단말 100측 사용자(수화를 사용하는 언어장애인), 그리고 공공 안내서비스를 담당하는 컨텍센터 300측 상담원을 포함하는 3자 통화 동작을 수행할 수 있다.
상기 3자 통화 동작은 도 2c에서 도시되는 바와 같이, 해외 체류중인 사용자의 단말(국내 체류중인 외국인 사용자 단말 포함)과, 해외의 공공 서비스 센터(예, 공항 안내 센터), 그리고 수화 통역 센터의 수화 통역사를 포함하여 적어도 3명이 수행할 수 있다. 그리고 이 때 상기 수화 통역센터의 수화 통역사는 사용자의 국적 정보(사용 언어 정보) 및 현재 위치 정보를 기반으로 하여 양 국가의 수화 및 언어로의 통역이 가능한 사람으로 매칭될 수 있다.
도 3은 본 발명의 실시 예에 따른 사용자 단말의 구성을 도시한 도면이다.
본 발명의 실시 예에 따른 상기 사용자 단말 100은 도 3에서 도시되는 바와 같이, 통신부 110, 저장부 120, 표시부 130, 센서부 140, 카메라부 150, 오디오 처리부 160 및 제어부 170를 포함하여 구성될 수 있다.
상기 통신부 110는 예를 들면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 및 RF(radio frequency) 모듈를 포함할 수 있다.
셀룰러 모듈은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 프로세서가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 서버 200와의 통신을 수행할 수 있다. 예컨대, 상기 통신부 110는 서버 200로 사용자로부터 입력된 전화번호, 통화 요청 동작 입력 신호 등을 수신할 수 있다. 또한 상기 통신부 110는 서버 200로 사용자의 장애 특성과 관련된 정보(장애 유형, 장애 정도)와 사용자 선호 기능(화면 표시 설정값, 3자 통화 기능 시 자막 표시 여부 등)에 관한 정보를 전달할 수 있다.
또한 상기 통신부 110는 서버 200로부터 3자 통화 관련 데이터를 수신할 수 있다. 예컨대, 상기 통신부 110는 서버 200로부터 수신되는 수화 영상(컨텍센터 상담원의 대화 메시지를 수화로 통역한 영상)을 수신하고 화면에 표시할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 TTS(Text To Sound) 기능 및 STT(Sound To Text) 기능을 수행하기 위한 프로그램 및 명령을 저장할 수 있다. 그 밖에 상기 저장부 120는 어플리케이션에서 3자 통화 기능을 이용하기 위해 요구되는 정보인 사용자의 회원 정보, 장애인 특성 정보 등을 저장할 수 있다.
상기 표시부 130는 패널, 홀로그램 장치, 또는 프로젝터를 포함할 수 있다. 패널은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 표시부는 패널, 홀로그램 장치, 또는 프로젝터를 제어하기 위한 제어 회로를 더 포함할 수 있다.
본 발명의 실시 예에 따른 상기 표시부 130는 상기 서버 200로부터 수신되는 3자 통화 데이터를 기반으로 컨텍센터 및 수화 통역 센터 측에서 전달된 영상 정보를 표시할 수 있다. 또한 상기 표시부 130는 다양한 실시 예에 따라 컨텍센터 측에서 제공되는 음성 내용을 STT 동작에 의해 변환된 결과물인 자막을 표시할 수 있다. 또한 상기 표시부 130는 수화 통역센터에서 컨텍센터로 전달하는 음성 내용을 텍스트화한 자막을 화면의 일측에 표시할 수 있다.
상기 센서부 140 예를 들면, 물리량을 계측하거나 시계의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서부 140는, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서부 140는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서부는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
본 발명의 실시 예에 따른 상기 센서부 140는 본인 인증을 생체 센서를 포함할 수 있다. 예컨대 상기 센서부 140는 지문 센서, 홍채 센서 등을 포함할 수 있으며, 이를 통해 장애인 인증을 위한 본인 인증 동작을 수행할 수 있다. 통상적으로 상담원이 서비스 대상자의 신원을 확인하기 위해 자신의 이름, 생년월일 등의 정보를 육성으로 말하도록 요청하고 있으나, 농아인의 경우 이 같은 요청에 응답할 수 없다. 이와 같은 경우를 대비하여, 본 발명의 일 실시 예는 사용자가 육성을 통해 본인임을 인증하기 어려울 경우, 어플리케이션을 통해 본인인증을 수행하고, 컨텍센터 측에 인증용 정보를 전달할 수 있도록 지원할 수 있다. 그리고 상기 인증 동작을 위해 센서부 140는 사용자의 생체 정보를 센싱하고 인증동작을 수행할 수 있다.
상기 카메라부 150는, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시 (flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
본 발명의 실시 예에 따른 상기 카메라부 150는 사용자가 어플리케이션을 통해 3자 통화를 수행할 시, 사용자가 수화를 하는 모습을 촬영할 수 있도록 지원할 수 있다.
상기 오디오 처리부 160는 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 처리부의 적어도 일부 구성요소는 입출력 인터페이스에 포함될 수 있다. 오디오 처리부는, 예를 들면, 스피커, 리시버, 이어폰, 또는 마이크 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
본 발명의 실시 예에 따른 상기 오디오 처리부 160는 각종 안내 메시지 사운드를 출력하도록 제어할 수 있으며, 또한 사용자의 음성 데이터(비언어적 음성 포함)를 입력받을 수 있다. 상기 오디오 처리부 150는 사용자의 장애 유형 및 정도에 대응하여 사운드 출력 여부 내지 사운드 볼륨값을 제어할 수 있다.
상기 제어부 170는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고 받을 수 있다.
본 발명의 실시 예에 따른 상기 제어부 170는 사용자의 장애 정보, 국적(사용 언어) 정보 및 현재 위치(국가) 정보를 획득하고 이를 기반으로 사용자 단말의 일 기능(3자 통화 요청 기능, 3자 통화 수행 시 화면 표시 기능 등)을 제어할 수 있다.
상기 제어부 170는 장애 정보 관리부 171 및 공공 서비스 정보 관리부 172를 포함하여 구성될 수 있다.
상기 장애 정보 관리부 171는 사용자의 장애 정보를 획득하고 이를 저장 및 관리할 수 있다. 또한 상기 장애 정보 관리부 171는 사용자의 장애 유형 또는 정도에 관한 정보를 획득할 수 있다. 또한 상기 장애 정보 관리부 171는 획득된 사용자의 장애 유형 또는 장애 정도에 관한 정보를 기반으로 해당 사용자의 장애 정도가 악화될 가능성이 있는지 여부를 판단할 수 있다. 상기 장애 정보 관리부 171는 사용자의 장애 정도가 악화될 가능성이 있고, 악화 정도에 대응하여 일 기능의 설정값을 변경해야 할 필요가 있다고 판단되는 경우, 정기적으로 사용자의 장애 정보를 업데이트하도록 알림을 제공하고, 시력 및 청력 검사 기능을 지원할 수 있다.
상기 공공 서비스 정보 관리부 172는 각종 공공서비스를 제공하는 컨텍센터의 연락처, 공공기관의 제공 서비스 분야 등에 관한 정보를 제공할 수 있다. 상기 공공 서비스 정보 관리부 172는 사용자의 위치 정보를 기반으로 해당 위치에서 사용자가 요청 가능한 공공 서비스 정보를 추출하여 리스트 형태로 제공할 수 있다.
또한 상기 공공 서비스 정보 관리부 172는 다양한 실시 예에 따라, 사용자로부터 카테고리 명칭에 해당하는 수화를 사용자로부터 입력받고, 요청된 카테고리에 속한 공공 서비스 정보를 검색하여 제시할 수 있다. 예를 들어, 상기 공공 서비스 정보 관리부 172는 공항의 경우 '길 안내', '분실물', ' 발권' 등의 명칭을 카테고리명으로 설정하고, 이에 속한 안내정보를 제시할 수 있다.
도 4는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
본 발명의 실시 예에 따른 상기 서버 200는 통신부 210, 저장부 220, 회원 관리부 230, 다중 통화 지원부 240, 통역사 매칭부 250, 보조 통역 지원부 260를 포함하여 구성될 수 있다.
상기 서버 200의 구성에 대하여 보다 상세히 설명하면 아래와 같다.
상기 서버 200의 통신부 210는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 상기 통신부 210는 사용자 단말, 컨텍센터 및 기 등록된 수화 통역센터와의 3자 통화를 위한 무선 통신을 수행할 수 있다. 상기 통신부 210는 다양한 실시예에 따라 웹으로부터 다양한 종류의 컨텍센터의 연락처, 위치 정보를 수신하고 이를 사용자 단말 100에 안내할 수 있다.
본 발명의 상기 저장부 220는 회원으로 등록된 사용자 정보(장애 특성 정보 포함)를 저장할 수 있다. 상기 저장부 220는 또한 3자 통화 기능을 수행하는 데 요구되는 부가 프로그램 및 명령을 저장할 수 있다. 또한 상기 저장부 220는 사용자 국적 및 사용자 현재 위치 국가에 대응하는 수화 통역사를 매칭하는 데 요구되는 부가 프로그램 및 명령을 저장할 수 있다. 또한 상기 저장부 220는 장애 유형별로 사용자 단말의 일 기능을 제어하기 위한 명령 신호를 생성하는 데 요구되는 프로그램 및 명령을 저장할 수 있다.
상기 회원 관리부 230는 어플리케이션을 통해 서버 200에 회원으로 등록한 사용자들의 정보를 관리하는 동작을 수행할 수 있다. 구체적으로, 상기 회원 관리부 230는 회원으로 등록된 사용자들의 장애 여부, 장애 정도, 장애 유형 등의 장애 정보와, 사용자의 국적 정보 내지 사용 언어 정보를 획득하여 관리할 수 있다.
일 실시 예에 따라, 상기 회원 관리부 230는 사용자의 주요 통화 발신 요청 이력을 수집하고 관리할 수 있다.
또한 상기 회원 관리부 230는 사용자의 장애 인증 정보를 생성하고 관리할 수 있다. 예컨대, 상기 회원 관리부 230는 사용자가 어플리케이션을 통해 회원으로 등록되기를 요청할 경우, 장애인 인증 절차(예, 공인된 장애인 인증번호의 유효성 확인 등)를 수행할 수 있다. 상기 회원 관리부 230는 최초 장애인 인증 절차가 완료되면, 해당 사용자를 회원으로 등록하기 위한 동작을 수행할 수 있다. 상기 회원 관리부 230는 회원으로 등록된 일 사용자가 어플리케이션을 이용할 시, 해당 사용자가 보유한 장애 정도, 장애 유형, 주요 활용 기능(예, 수화 통역기능, 자막 설정 기능 등)과 관련된 회원 정보를 불러올 수 있다. 이에 대응하여 서버 200의 이하 구성(다중 통화 지원부 240, 통역 지원부 250, 장애 유형별 변환부 260)들은 사용자의 회원 정보에 등록된 사용자 특성 정보에 기반하여 3자 통화 기능, 통역 지원 기능, 장애 유형별 변환 기능을 수행할 수 있다.
상기 다중 통화 지원부 240는 사용자 단말 100로부터 컨텍센터300 로의 통화 연결 요청 신호를 전달받을 수 있다. 예컨대, 사용자는 어플리케이션을 실행한 후 일 화면상에서 호 발신을 수행하고자 하는 전화번호를 입력하고, 통화 연결 요청 버튼을 입력할 수 있다. 이에 대응하여 상기 다중 통화 지원부 240는 사용자가 입력한 전화번호로 통화연결을 수행할 수 있다.
이 때, 상기 다중 통화 지원부 240는 상기 회원 관리부 230에서 관리되는 회원 정보를 전달받고, 이에 대응하여 다중 통화 동작을 수행할 수 있다. 상기 다중 통화 지원부 240는 1차로 사용자의 회원 등록 정보(예, 장애 코드 등)를 확인하고, 사용자가 수화 통역이 요구되는 유형의 회원임을 확인한 경우, 수화 통역센터 400를 추가한 3자 통화를 시도할 수 있다.
상기 다중 통화 지원부 240는 일 실시 예에 따라, 수화 통역센터400에서 배정 가능한 수화통역사가 존재하는지 확인하고, 배정 가능한 통역사가 확보된 것을 확인한 이후 사용자가 요청한 호 발신을 수행할 수도 있다.
또한 다양한 실시 예에 따라 상기 다중 통화 지원부 240는 사용자의 수화 능력치가 미숙할 경우를 대비하여, 감정 표현을 대행하는 이모티콘 내지 문구를 선택하도록 지원할 수 있다.
이 밖에도 상기 다중 통화 지원부 240는 3자 통화에 요구되는 다양한 기타 기능을 수행할 수 있다.
상기 통역사 매칭부 250는 사용자의 계정 정보(국적 정보 및 사용 언어 정보를 포함할 수 있음) 및 사용자의 현재 위치 정보를 기반으로 적합 통역사를 매칭하여 통역 서비스를 제공할 수 있다.
상기 통역사 매칭부 250는 수화 통역센터 400로부터 확보된 수화 통역사들의 계정 정보를 기반으로 수화 통역사들의 국적, 통역 가능 수어 및 언어 등의 정보를 관리할 수 있다.
일 실시 예에 따라 상기 통역사 매칭부 250는 수화 통역센터 400에서 제공한 확보 수화 통역사들을 국적 내지 통역 가능 수어 및 언어에 따라 분류할 수 있다. 그리고 상기 통역사 매칭부 250는 사용자의 국적(사용자의 사용 수어) 및 현재 위치한 국가 정보에 기반하여, 타국가의 수화로 통역이 가능한 수화 통역사를 추가로 매칭할 수 있다. 이에 따라 사용자는 해외의 공항 등에서 컨텍센터를 이용하고자 하는 경우, 외국 수화 활용 능력이 없는 사용자라 하더라도 의사소통이 가능해질 수 있다.
나아가, 상기 통역사 매칭부 250는 다양한 실시 예에 따라 컨텍센터뿐 아니라, 타국적의 장애인 사용자와의 전화 연결 시에도 수화 통역을 지원할 수 있다. 이 경우 상기 통역사 매칭부 250는 사용자에 의해 직접 상대방의 수화 사용 여부 및 국적 종류에 대한 정보를 입력받을 수 있다. 이후 상기 통역사 매칭부 250는 사용자의 수화와 상대방의 장애 여부(수화 사용 여부) 및 국적 종류를 모두 커버 가능한 통역사를 통역사 계정 정보 목록에서 추출하고 적합한 수화 통역사를 매칭할 수 있다.
상기 보조 통역 지원부 260는 외국 수화의 통역 동작에 요구되는 보조 기능을 수행할 수 있다. 상기 보조 통역 지원부 260는 오류를 정정하기 위한 동작을 수행할 수 있으며, 사용자가 관용적으로 사용하는 표현을 화면 일 영역에 제공하여 수화를 수행하지 않고, 선택하는 것만으로도 의사 전달이 수행되도록 지원할 수 있다.
상기 보조 통역 지원부 260는 수화 통역센터를 거치지 않고 자체적으로 보조 통역 동작을 수행할 수 있기 때문에, 보다 간편하고 신속한 의사전달을 가능하게 할 수 있다.
도 5는 본 발명의 실시 예에 따른 보조 통역 지원부의 구성을 도시한 도면이다.
상기 보조 통역 지원부 260는 오류 확인부 261 및 관용 표현 추출부 262를 포함하여 구성될 수 있다.
상기 오류 확인부 261는 통역 결과에 오류가 있는지 여부를 간략히 확인하고, 오류가 확인되는 경우, 통화 참여자들에게 통역결과에 오류가 발생되었음을 알릴 수 있다.
먼저, 상기 서버 200는 오류의 발생을 확인하기 위해, 수화 통역사가 수화를 음성으로 통역한 내용을 텍스트로 변환하여 자막으로 표시할 수 있다. 이 때 사용자가 자막을 확인하고 자신이 의도한 내용이 맞는지 직접 확인할 수 있다. 일 실시 예에 따라, 통역의 오류가 발생되어 사용자가 의도한 의미와 상이한 경우, 사용자는 해당 표현의 통역을 중지하도록 요청하는 중지 요청 사인을 입력할 수 있다. 이를 위해 상기 오류 확인부 261는 중지 요청 사인을 사용자 요청에 따라 설정할 수 있으며, 상기 중지 요청 사인은 예컨대, 중지 요청 버튼, 단축키, 특정 표정, 특정 제스처 등이 해당될 수 있다. 예를 들어 사용자는 자신을 촬영하는 화면에서 통역 중지 요청을 위해 눈을 n회 깜빡이는 동작을 수행할 수 있다. 상기 오류 확인부 261는 사용자의 이와 같은 기 설정된 중지 요청 사인을 영상 인식 등에 기반하여 감지할 수 있으며, 중지 요청 사인이 감지되면, 그에 대응하여 해당 표현에 대한 재확인 동작을 수행할 수 있다.
상기 오류 확인부 261는 오류가 발생한 표현의 재통역을 위해, 사용자의 수화 동작을 다시 입력하도록 요청(재촬영 요청)을 수행할 수 있다. 또는 다양한 실시 예에 따라, 사용자의 수화 영상은 회차별로 구분되어 녹화될 수 있으며, 오류가 발생된 것으로 판단되는 경우, 해당 회차의 녹화 영상을 자동으로 다시 재생시킬 수 있다. 이를 통해 수화 통역센터 400에서는 오류가 발생된 표현에 대하여 손쉽게 재확인이 가능해진다.
상기 관용 표현 추출부 262는 통역 이후 데이터(예, 통역 완료된 자막)를 기반으로 사용자가 자주 사용하는 표현 내지 단어를 확인할 수 있다. 상기 관용 표현 추출부 262는 전체 사용자들에 의해 기 설정된 횟수(또는 비율) 이상 사용되는 관용 표현과, 개별 사용자에 의해 기 설정된 횟수(또는 비율)이상 사용되는 관용 표현을 추출할 수 있다.
상기 관용 표현 추출부 262는 전체 사용자들에 의해 추출된 관용표현 및 개별 사용자의 사용 패턴에 따라 추출된 관용표현을 선택메뉴로 통화 화면의 일측에 제공할 수 있다. 이에 따라 사용자는 통화 화면의 일측에 선택메뉴로 제공된 관용 표현을 선택할 수 있고, 이에 따라 상기 서버 200는 사용자가 선택한 표현을 텍스트 및 음성 형태로 수화 통역센터 400 및 컨텍센터 300에 모두 전달할 수 있다.
나아가, 다양한 실시 예에 따라 상기 관용 표현 추출부 262는 사용자가 위치한 국가 정보를 기반으로, 해당 국가의 수화 이용자들이 주로 사용하는 관용 표현을 불러와 해당 국가의 관용 표현 선택메뉴로 제공할 수 있다. 예를 들어, 상기 관용 표현 추출부 262는 해당 국가의 속담을 국가별 관용표현 항목에 등록할 수 있다. 또한 상기 관용 표현 추출부 262는 국가별로 사용자들을 대상으로 기준 시간 내 기 설정된 횟수(또는 비율) 이상 사용되는 관용 표현을 수집하고 이를 국가별 관용표현으로 등록할 수 있다. 추후 상기 관용 표현 추출부 262는 사용자가 해당 국가에 위치한 것으로 판단되는 경우, 영상 통화화면의 일 영역에 국가별 관용표현의 선택 메뉴를 제공할 수 있다.
도 6은 본 발명의 실시 예에 따른 외국 수화의 통역이 수행되는 화면의 예시를 도시한 도면이다.
도 6에서 도시되는 동작은 해외 공항을 이용하는 내국인 사용자의 경우를 예로 들고 있다.
본 발명의 실시 예에 따른 외국 수화의 통역 과정은 먼저 601화면에서와 같이, 안내 팝업이 표시됨으로 인해 시작될 수 있다. 상기 안내 팝업은 사용자 단말 100의 위치(국가, 기관)에 대응하는 공공 서비스 제공하기 위한 안내 메시지 및 해당 서비스로의 연결 버튼를 포함할 수 있다. 사용자는 연결버튼을 선택하여 사용자 단말 100을 통해 상기 공공 서비스를 제공하는 화면으로 진입할 수 있으며 이 때 상기 공공 서비스를 제공하는 화면은 602와 같이 통역 요청 옵션을 포함할 수 있다. 사용자의 통역 요청에 따라, 사용자 단말 100은 서버 200로 사용자의 국적(또는 사용 수화의 국적) 및 현재 위치 정보를 전송할 수 있으며, 그에 따라 상기 서버 200는 사용자의 국적 및 현재 위치 정보를 기반으로, 사용자의 수화를 통역할 수 있는 적합 통역사를 매칭할 수 있다. 예컨대, 상기 서버 200는 통역사 개개인의 수화 능력치 정보를 확인하고 매칭 동작을 수행할 수 있다. 상기 수화 능력치 정보는 통역사의 국적 또는 사용 가능한 국적의 수화 정보를 의미할 수 있다.
사용자 국적 정보 및 사용자 위치 정보에 따른 적합 통역사를 매칭하고, 매칭된 적합 통역사를 3자 통화에 연결하는 동안 사용자 단말 100의 화면은 603과 같이 표시될 수 있다.
통역사 매칭 동작이 완료되면, 안내 센터(예, 공항 안내 센터)의 음성 메시지는 사용자의 국적 정보에 따른 사용자 자국 언어로 변환되어 604화면과 같이 표시될 수 있고, 사용자가 입력하는 수화 동작은 상기 매칭된 적합 통역사에 의해 통역되어 해당 국가의 언어로 변환되어 안내 센터측에 음성으로 전달될 수 있다.
본 발명은 나아가, 안내 센터측과 통화 연결된 상태에서 입력된 음성뿐 아니라, 안내 방송 내용을 사용자 국적의 언어로 변환하여 텍스트 메시지 형태로 제공할 수 있다. 일 실시 예에 따라, 본 발명의 상기 서버 200는 사용자의 현재 위치가, 장애인인 사용자가 안내 방송 서비스를 제공받을 필요성이 존재하는 곳인지 여부를 판단하고 안내방송 통역 동작을 자동으로 수행할 수도 있다. 상기 서버 200는 안내 방송 서비스 제공의 필요가 있는 장소로 예컨대, 기차역, 기차 객실, 공항, 버스 터미널 등을 포함시킬 수 있다.
다양한 실시 예에 따라 상기 서버 200는 사용자의 위치가 안내 방송 서비스 제공의 필요가 있는 장소에 있다고 판단되는 경우, 안내 방송의 수화 통역 서비스를 사용할 것인지 여부를 사용자에게 묻는 팝업창을 표시할 수 있다. 사용자가 안내 방송의 수화 통역 서비스를 사용하기로 선택하면, 이후 상기 서버 200는 사용자 단말 100의 상태를 음성 입력 대기 상태로 전환하도록 명령할 수 있다. 사용자 단말 100이 음성 입력 대기 상태인 경우, 안내 방송이 입력되면 사용자 단말 100은 입력된 안내 방송의 음성 데이터를 서버 200에 전달하고, 상기 서버 200는 이를 수화 통역센터를 통해 수화 영상으로 통역하고, 통역된 수화 영상을 사용자 단말 100에 전달할 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 사용자 단말
171 : 장애 정보 관리부
172 : 공공 서비스 정보 관리부
200 : 서버
230 : 회원 관리부
240 : 다중 통화 지원부
250 : 통역사 매칭부
260 : 보조 통역 지원부
261 : 오류 확인부
262 : 관용 표현 추출부
300 : 컨텍센터
400 : 수화 통역센터

Claims (7)

  1. 사용자 단말 및 서버를 포함하여 구성되는 시스템에 있어서,
    상기 사용자 단말은
    어플리케이션을 통해 컨텍센터로의 통화 요청 신호와, 사용자의 장애 정보, 사용자의 국적 정보 및 사용자의 현재 위치한 국가 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며,
    상기 서버는
    상기 사용자 단말로부터 3자 통화가 요청되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하되, 사용자의 국적 정보 및 사용자의 현재 위치를 고려하여, 적합 수화 통역사를 매칭하고,
    상기 서버는
    외국 수화를 통역하는 데 요구되는 보조 기능을 수행하는 보조 통역 지원부;를 포함하고,
    상기 보조 통역 지원부는
    통역 결과에 오류가 발생됨에 따라 해당 표현의 통역을 중지하도록 요청하는 중지 요청 사인을 사용자로부터 수신하고, 통화 참여자들에게 통역결과에 오류가 발생되었음을 알리며, 해당 표현의 수화 재촬영 동작을 요청하는 오류 확인부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
  2. 제 1항에 있어서,
    상기 사용자 단말은
    상기 서버로부터 3자 통화 데이터를 수신하는 통신부;
    상기 서버로부터 수신된 3자 통화 데이터에 기반하여 컨텍센터 및 수화 통역센터에서 전달된 영상정보를 표시하는 표시부;
    3자 통화 시 서버로 전송될 사용자의 수화 동작을 촬영하는 카메라부;
    사용자의 장애 정보, 국가 정보 및 현재 위치 정보를 획득하고, 획득된 정보를 기반으로 수화 통역센터의 적합 통역사 매칭 및3자 통화 요청 기능을 수행하는 제어부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
  3. 제 2항에 있어서,
    상기 제어부는
    사용자의 장애 정보를 획득하고 이를 저장 및 관리하되, 획득된 사용자의 장애 유형 또는 장애 정도에 관한 정보를 기반으로 해당 사용자의 장애 정도가 악화될 가능성이 있는지 여부를 판단하여, 악화될 가능성이 있고 악화 정도에 대응하여 일 기능의 설정값을 변경할 필요가 있는 경우, 정기적으로 사용자의 장애 정보를 업데이트하도록 알림을 제공하고, 시력 및 청력 검사 기능을 지원하는 장애 정보 관리부;
    공공서비스를 제공하는 컨텍센터의 연락처, 공공기관의 제공 서비스 분야에 관한 정보를 제공하되, 사용자의 위치 정보를 기반으로, 해당 위치에서 사용자가 요청 가능한 공공 서비스 항목을 추출하여 리스트 형태로 제공하는 공공 서비스 정보 관리부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
  4. 제 1항에 있어서,
    상기 서버는
    어플리케이션을 통해 서버에 회원으로 등록한 사용자들의 정보를 관리하되, 회원으로 등록된 사용자들의 장애 여부, 장애 정도, 장애 유형을 포함하는 장애 정보와, 사용자의 국적 정보 또는 사용 언어 정보 획득하는 회원 관리부;
    사용자 단말로부터 컨텍센터로의 통화 연결 요청 신호를 전달받음에 따라 수화 통역사를 포함한 3자 통화를 시도하며, 사용자의 수화 능력치가 미숙할 경우를 대비하여, 감정 표현을 대행하는 이모티콘 내지 문구를 선택하여 사용하도록 지원하는 다중 통화 지원부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
  5. 제 1항에 있어서,
    상기 서버는
    3자 통화에 연결 가능한 수화 통역사들을 국적, 통역 가능 언어에 따라 분류하고, 3자 통화를 요청한 사용자의 국적 및 현재 위치한 국가 정보에 기반하여, 상기 사용자의 국적의 수화와 현재 위치한 국가의 언어를 상호 통역 가능한 적합 통역사를 매칭하여 3자 통화에 연결하는 통역사 매칭부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
  6. 삭제
  7. 제 1항에 있어서,
    상기 보조 통역 지원부는
    통역 완료된 자막을 기반으로 사용자들에 의해 기 설정된 횟수이상 사용되는 관용 표현을 추출하며, 사용자가 위치한 국가 정보를 기반으로 추출된 해당 국가의 수화 이용자들이 주로 사용하는 관용 표현을 해당 국가의 관용 표현 선택메뉴로 제공하는 관용 표현 추출부;를 포함하는 것을 특징으로 하는 수화 통역 지원 시스템.
KR1020200018546A 2020-02-14 2020-02-14 글로벌 수화 통역 지원 시스템 KR102152326B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200018546A KR102152326B1 (ko) 2020-02-14 2020-02-14 글로벌 수화 통역 지원 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200018546A KR102152326B1 (ko) 2020-02-14 2020-02-14 글로벌 수화 통역 지원 시스템

Publications (1)

Publication Number Publication Date
KR102152326B1 true KR102152326B1 (ko) 2020-09-04

Family

ID=72470926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200018546A KR102152326B1 (ko) 2020-02-14 2020-02-14 글로벌 수화 통역 지원 시스템

Country Status (1)

Country Link
KR (1) KR102152326B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102460553B1 (ko) * 2021-12-16 2022-10-31 주식회사 디블렌트 차량 내 신경망을 이용한 수어 응답 제공 방법, 장치 및 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) * 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JP2002244842A (ja) * 2001-02-21 2002-08-30 Japan Science & Technology Corp 音声通訳システム及び音声通訳プログラム
KR20100050959A (ko) * 2008-11-06 2010-05-14 인제대학교 산학협력단 청각장애인을 위한 의사 소통 시스템
KR20150060348A (ko) * 2013-11-26 2015-06-03 한국전자통신연구원 장애인 사이의 의사소통 장치 및 방법
KR20180072136A (ko) * 2016-12-21 2018-06-29 주식회사 이앤지테크 화자의 감정 유형 표시가 가능한 의사 소통 시스템 및 그 구동방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337631A (ja) * 1993-05-27 1994-12-06 Hitachi Ltd 手話対話における対話制御装置
JP2002244842A (ja) * 2001-02-21 2002-08-30 Japan Science & Technology Corp 音声通訳システム及び音声通訳プログラム
KR20100050959A (ko) * 2008-11-06 2010-05-14 인제대학교 산학협력단 청각장애인을 위한 의사 소통 시스템
KR20150060348A (ko) * 2013-11-26 2015-06-03 한국전자통신연구원 장애인 사이의 의사소통 장치 및 방법
KR20180072136A (ko) * 2016-12-21 2018-06-29 주식회사 이앤지테크 화자의 감정 유형 표시가 가능한 의사 소통 시스템 및 그 구동방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
공개특허공보 제10-2010-0050959호(2010.5.14. 공개) 1부.*
공개특허공보 제10-2015-0060348호(2015.6.3. 공개) 1부.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102460553B1 (ko) * 2021-12-16 2022-10-31 주식회사 디블렌트 차량 내 신경망을 이용한 수어 응답 제공 방법, 장치 및 컴퓨터 프로그램

Similar Documents

Publication Publication Date Title
KR101917648B1 (ko) 단말 및 그 제어 방법
US9007420B1 (en) Verifying presence of authorized persons during an electronic visitation
CN108431764B (zh) 电子设备和用于控制电子设备操作的方法
US20170374196A1 (en) Inbound calls to intelligent controlled-environment facility resident media and/or communications devices
KR102208323B1 (ko) 스마트폰을 이용한 시각 장애인용 키오스크 제어 리모컨 시스템
KR102390713B1 (ko) 전자 장치 및 전자 장치의 통화 서비스 제공 방법
KR20170033641A (ko) 전자 장치 및 전자 장치의 동작 제어 방법
US20160127863A1 (en) Method for providing location based service and electronic device therefor
KR102142033B1 (ko) 수화 통역 검증 시스템
US20220092591A1 (en) Secure wireless audio and speech at a transaction terminal
WO2015178070A1 (ja) 情報処理システム、記憶媒体及び情報処理方法
US20230053110A1 (en) Data control system for a data server and a plurality of cellular phones, a data server for the system, and a cellular phone for the system
KR20160059798A (ko) 텔레메틱스를 이용한 도어폰 통화 서비스 방법 및 시스템
JP2015201187A (ja) 防犯システム
KR102152326B1 (ko) 글로벌 수화 통역 지원 시스템
CN105472109A (zh) 紧急联络人呼叫系统与方法
US20140180668A1 (en) Service server apparatus, service providing method, and service providing program
CN104579665B (zh) 鉴权方法及装置
KR20070023880A (ko) 휴대 단말기를 이용한 사용자 등록 시스템 및 방법
KR102251710B1 (ko) 글라스형 웨어러블 디바이스를 이용한 외부디바이스 내 콘텐츠 관리 시스템, 방법 및 컴퓨터로 독출 가능한 기록매체
US20190074001A1 (en) Associating a user voice query with head direction
US11756573B2 (en) Electronic apparatus and control method thereof
CN115633124A (zh) 求助方法、智能终端及存储介质
CN107862776A (zh) 一种门禁系统
KR102178174B1 (ko) 사용자 단말, 방송 장치, 이를 포함하는 방송 시스템 및 그 제어방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant