KR102142033B1 - 수화 통역 검증 시스템 - Google Patents

수화 통역 검증 시스템 Download PDF

Info

Publication number
KR102142033B1
KR102142033B1 KR1020190171881A KR20190171881A KR102142033B1 KR 102142033 B1 KR102142033 B1 KR 102142033B1 KR 1020190171881 A KR1020190171881 A KR 1020190171881A KR 20190171881 A KR20190171881 A KR 20190171881A KR 102142033 B1 KR102142033 B1 KR 102142033B1
Authority
KR
South Korea
Prior art keywords
user
sign language
call
unit
interpreter
Prior art date
Application number
KR1020190171881A
Other languages
English (en)
Inventor
백현민
정연술
정상연
정순철
송병석
Original Assignee
주식회사 샘물정보통신
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 샘물정보통신 filed Critical 주식회사 샘물정보통신
Application granted granted Critical
Publication of KR102142033B1 publication Critical patent/KR102142033B1/ko

Links

Images

Classifications

    • H04M1/72591—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/04—Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense, e.g. through the touch sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Otolaryngology (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명의 실시 예에 따른 수화 통역 검증 시스템은 사용자 단말 및 서버를 포함하여 구성되고, 상기 사용자 단말은 어플리케이션을 통해 컨텍센터로의 통화 요청 신호와 장애인 회원임을 인증하는 사용자의 회원 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며, 상기 서버는 상기 사용자 단말로부터 컨텍센터로의 통화 요청 신호 및 회원 정보가 수신되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하며, 3자 통화 데이터를 상기 사용자 단말로 전송하여 사용자가 컨텍센터 측의 안내를 수화로 전달받을 수 있도록 지원할 수 있다.

Description

수화 통역 검증 시스템{System for verifying the sign language interpretation}
본 발명은 음성과 수화 간의 통역이 제대로 이루어졌는지 여부를 검증하기 위한 검증 시스템에 관한 것이다. 구체적으로, 본 발명은 장애인 사용자가 상담원과의 통화할 시, 커뮤니케이션을 보조하기 위해 투입된 수화 통역센터가 수화 통역 기능을 제대로 수행하고 있는지 여부를 검증하기 위한 시스템이다.
수화는 손의 움직임을 사용하여 표현하는 시각언어로서, 농아인이 사용하는 의사소통 수단이다. 근래에는 농아인과 비장애인 사이의 원활한 의사소통을 위해 일반인을 위한 수화 교육도 활발히 이루어지고 있다.
그러나 수화 교육을 받지 않은 일반인이 수화의 의미를 이해하고 이를 응대하는 것은 쉽지 않으며, 그에 따라 전문 수화 통역사가 농아인과 비장애인 사이의 의사소통을 보조하는 서비스가 존재한다. 그러나 농아인이 의미하는 바를 명확하게 이해하지 못하였거나, 수화 통역에 오류가 발생될 가능성이 있으나, 이를 바로잡고, 수화 통역 서비스의 품질을 향상시키기 위한 기술개발은 미흡한 실정이다.
본 발명은 수화를 사용하는 장애인 사용자가 콜센터, 상담센터 등의 컨텍센터 서비스를 이용하는 경우 양측간 원활한 의사소통 수행을 지원할 수 있도록 하기 위한 목적이 있다.
또한 본 발명은 수화 통역 결과를 검증하고, 오류 발생 시 이에 대한 피드백을 제공하여 보다 수화 통역 결과에 대한 수준의 향상하기 위한 목적이 있다.
또한 종래에 청각장애인은 컨텍센터의 수화 통역 검증 여부를 확인 할 방법이 없었으나, 본 발명은 음성으로 중계하는 내용을 청각장애인 사용자 기기에 STT 기술을 활용하여 문자로 실시간으로 보여줌으로써 통역오류로 인해 발생되는 문제들을 예방 할 수 있는 검증 시스템(예, 의료진단, 법률 등)을 제공하기 위한 목적이 있다.
본 발명의 실시 예에 따른 수화 통역 검증 시스템은 사용자 단말 및 서버를 포함하여 구성되고, 상기 사용자 단말은 어플리케이션을 통해 컨텍센터로의 통화 요청 신호와 장애인 회원임을 인증하는 사용자의 회원 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며, 상기 서버는 상기 사용자 단말로부터 컨텍센터로의 통화 요청 신호 및 회원 정보가 수신되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하며, 3자 통화 데이터를 상기 사용자 단말로 전송하여 사용자가 컨텍센터 측의 안내를 수화로 전달받을 수 있도록 지원할 수 있다.
본 발명은 수화를 사용하는 장애인 사용자가 콜센터, 상담센터 등의 컨텍센터 서비스를 이용하는 경우, 컨텍센터 측에서 수화를 알지 못한다 하더라도, 수화 통역센터를 포함하여 3자 통화를 지원하므로 장애인-비장애인 간 원활한 의사소통 수행을 지원할 수 있다.
또한 본 발명은 수화 통역 결과를 검증하고, 오류 발생 시 이에 대한 피드백을 제공하여 보다 수화 통역 결과에 대한 수준의 향상을 도모할 수 있다.
도 1은 본 발명의 실시 예에 따른 수화 통역 검증 시스템의 3자 통화 동작의 예시를 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 수화 통역 검증 시스템의 구성에 대하여 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 사용자 단말의 구성을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 통역 지원부의 구성을 도시한 도면이다.
도 6 및 도 7 본 발명의 실시 예에 따른 무인화 기기를 포함하는 3자 통화 동작의 예시를 도시하고 있다.
도 8은 본 발명의 실시 예에 따른 3자 통화 기능의 동작 순서를 도시한 순서도이다.
도 9는 본 발명의 실시 예에 따른 3자 통화 기능의 예시를 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 사용자 기기는 적어도 하나의 프로세서를 포함하는 모든 종류의 개인화 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 사용자 기기는 스마트폰, 태블릿 PC, 웨어러블 디바이스 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 수화 통역 검증 시스템의 3자 통화 동작의 예시를 도시한 도면이다.
본 발명의 실시 예에 따른 수화 통역 검증 시스템은 도 1에서 도시되는 바와 같이, 사용자 단말 100과 고객 상담, 안내 등을 수행하는 컨텍센터 300 그리고 장애인이 표현하는 수화의 통역 서비스를 제공하는 수화 통역센터 400를 포함하여 이루어질 수 있다. 그리고 장애인 사용자가 본인의 스마트 폰 등의 사용자 단말 100을 이용하여, 컨텍센터 300와 통신할 수 있으며, 이 때 사용자 단말 100과 컨텍센터 300는 수화 통역센터 400를 통해 3자 통화를 수행할 수 있다.
본 명세서에서 사용자는 수화를 사용하여야 하는 장애인임을 가정하고 있다. 그에 따라 사용자는 수화 통역 센터 400측에 수화 영상 정보를 제공하는 방식으로 영상통화를 할 수 있다. 그리고 상기 수화 통역센터 400는 사용자의 수화를 음성으로 통역하여 컨텍센터 300에 전달할 수 있다.
상기 컨텍센터 300에서 사용자에게 의사를 전달할 경우에는, 먼저 상기 컨텍센터 300에서 음성 내용을 수화 통역센터 400측에 전달하고, 상기 수화 통역센터 400는 이를 수화로 통역하여 사용자 단말 100측에 전달할 수 있다.
3자 통화가 수행되는 중에는, 통화 화면에 상기 사용자 단말 100의 사용자, 컨텍센터 300의 직원, 수화 통역센터 400의 통역사의 모습이 포함되어 표시될 수 있다. 다양한 실시 예에 따라, 상기 컨텍센터 300 측은 3자 통화 시, 음성 데이터만 송수신할 수도 있다.
도 2는 본 발명의 실시 예에 따른 수화 통역 검증 시스템의 구성에 대하여 도시한 도면이다.
본 발명의 실시 예에 따른 수화 통역 검증 시스템은 사용자 단말 100, 서버 200, 컨텍센터 300, 수화 통역센터 400를 포함하여 구성될 수 있다.
상기 서버 200는 사용자 단말 100에 설치되어 사용자 단말 100, 컨텍센터 300 및 수화 통역센터 400 간의 3자 통화를 지원하는 어플리케이션을 지원하는 서버일 수 있다.
먼저 상기 사용자 단말 100은 어플리케이션(예, 장애인 지원 어플리케이션)을 통해 상기 서버 200에 접속할 수 있다. 그리고 상기 사용자 단말 100은 고객 상담, 안내 등의 서비스를 제공받기 위해 상기 어플리케이션에 접속한 이후, 컨텍센터 300측에 통화 연결을 시도할 수 있다. 상기 어플리케이션은 예컨대 사용자가 통화를 연결하고자 하는 전화번호를 입력할 수 있도록 입력창을 표시할 수 있다. 또는 상기 어플리케이션은 사용자의 위치에 대응하여 주변 시설물(예, 병원, 공항 등)의 컨텍센터를 웹으로부터 검색하고 이에 대한 전화번호 정보를 화면에 제공할 수 있다. 이 밖의 다양한 방법에 의해 사용자는 자신이 통화하고자 하는 컨텍센터의 연락처를 확보할 수 있고, 상기 어플리케이션 상에서 컨텍센터로의 통화 연결을 시도할 수 있다.
사용자에 의해 특정 컨텍센터로의 통화 요청 버튼(예, 통화 연결 버튼 선택)이 입력되면, 상기 서버(앱 서버) 200는 그에 대응하여 해당 컨텍센터로 통화 연결 동작을 수행할 수 있다. 그리고 상기 서버 200는 그와 동시에, 수화 통역 센터 400에도 통화 연결을 시도할 수 있다. 이와 같은 방식으로 상기 서버 200는 사용자 단말 100, 컨텍센터 300, 수화 통역센터 400 의 3자가 모두 연결된 3자 통화를 수행하고, 이를 통해 사용자 단말 100측에서 입력되는 수화 영상이 수화 통역센터 400를 통해 음성으로 통역되어 상기 컨텍센터 300측에 전달될 수 있도록 지원하게 된다.
상기 서버 200는 수화 통역센터 400에서 수화 통역사의 통역 음성을 기반으로 STT(Sound To Text)동작을 거쳐 자막으로 함께 표시되도록 할 수 있다. 이에 따라 사용자는 자신이 수화로 입력한 내용이 제대로 전달되고 있는지 여부를 자막을 통해 확인할 수 있다.
상기 수화 통역 검증 시스템은 이 밖에도 다양한 방법에 의해 수화 이용 장애인(예, 농아인)이 전달하고자 하는 의사가 제대로 컨텍센터 측에 전달되고 있는지를 검증하기 위한 기능을 수행할 수 있다.
도 3은 본 발명의 실시 예에 따른 사용자 단말의 구성을 도시한 도면이다.
본 발명의 실시 예에 따른 상기 사용자 단말 100은 도 3에서 도시되는 바와 같이, 통신부 110, 저장부 120, 표시부 130, 센서부 140, 카메라부 150, 오디오 처리부 160 및 제어부 170를 포함하여 구성될 수 있다.
상기 통신부 110는 예를 들면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈 및 RF(radio frequency) 모듈를 포함할 수 있다.
셀룰러 모듈은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM 카드)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 프로세서가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
본 발명의 실시 예에 따른 상기 통신부 110는 서버 200와의 통신을 수행할 수 있다. 예컨대, 상기 통신부 110는 서버 200로 사용자로부터 입력된 전화번호, 통화 요청 동작 입력 신호 등을 수신할 수 있다. 또한 상기 통신부 110는 서버 200로 사용자의 장애 특성과 관련된 정보(장애 유형, 장애 정도)와 사용자 선호 기능(화면 표시 설정값, 3자 통화 기능 시 자막 표시 여부 등)에 관한 정보를 전달할 수 있다.
또한 상기 통신부 110는 서버 200로부터 3자 통화 관련 데이터를 수신할 수 있다. 예컨대, 상기 통신부 110는 서버 200로부터 수신되는 수화 영상(컨텍센터 상담원의 대화 메시지를 수화로 통역한 영상)을 수신하고 화면에 표시할 수 있다.
상기 저장부 120는 예를 들면, 내장 메모리 또는 외장 메모리를 포함할 수 있다. 내장메모리는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), XD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리는 다양한 인터페이스를 통하여 전자 장치와 기능적으로 및/또는 물리적으로 연결될 수 있다.
본 발명의 실시 예에 따른 상기 저장부 120는 TTS(Text To Sound) 기능 및 STT(Sound To Text) 기능을 수행하기 위한 프로그램 및 명령을 저장할 수 있다. 그 밖에 상기 저장부 120는 어플리케이션에서 3자 통화 기능을 이용하기 위해 요구되는 정보인 사용자의 회원 정보, 장애인 특성 정보 등을 저장할 수 있다.
상기 표시부 130는 패널, 홀로그램 장치, 또는 프로젝터를 포함할 수 있다. 패널은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널은 터치 패널과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 표시부는 패널, 홀로그램 장치, 또는 프로젝터를 제어하기 위한 제어 회로를 더 포함할 수 있다.
본 발명의 실시 예에 따른 상기 표시부 130는 상기 서버 200로부터 수신되는 3자 통화 데이터를 기반으로 컨텍센터 및 수화 통역 센터 측에서 전달된 영상 정보를 표시할 수 있다. 또한 상기 표시부 130는 다양한 실시 예에 따라 컨텍센터 측에서 제공되는 음성 내용을 STT 동작에 의해 변환된 결과물인 자막을 표시할 수 있다. 또한 상기 표시부 130는 수화 통역센터에서 컨텍센터로 전달하는 음성 내용을 텍스트화한 자막을 화면의 일측에 표시할 수 있다.
상기 센서부 140 예를 들면, 물리량을 계측하거나 시계의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서부 140는, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러(color) 센서(예: RGB(red, green, blue) 센서), 생체 센서, 온/습도 센서, 조도 센서, 또는 UV(ultra violet) 센서 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서부 140는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서부는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
본 발명의 실시 예에 따른 상기 센서부 140는 본인 인증을 생체 센서를 포함할 수 있다. 예컨대 상기 센서부 140는 지문 센서, 홍채 센서 등을 포함할 수 있으며, 이를 통해 장애인 인증을 위한 본인 인증 동작을 수행할 수 있다. 통상적으로 상담원이 서비스 대상자의 신원을 확인하기 위해 자신의 이름, 생년월일 등의 정보를 육성으로 말하도록 요청하고 있으나, 농아인의 경우 이 같은 요청에 응답할 수 없다. 이와 같은 경우를 대비하여, 본 발명의 일 실시 예는 사용자가 육성을 통해 본인임을 인증하기 어려울 경우, 어플리케이션을 통해 본인인증을 수행하고, 컨텍센터 측에 인증용 정보를 전달할 수 있도록 지원할 수 있다. 그리고 상기 인증 동작을 위해 센서부 140는 사용자의 생체 정보를 센싱하고 인증동작을 수행할 수 있다.
상기 카메라부 150는, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시 (flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
본 발명의 실시 예에 따른 상기 카메라부 150는 사용자가 어플리케이션을 통해 3자 통화를 수행할 시, 사용자가 수화를 하는 모습을 촬영할 수 있도록 지원할 수 있다.
상기 오디오 처리부 160는 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 처리부의 적어도 일부 구성요소는 입출력 인터페이스에 포함될 수 있다. 오디오 처리부는, 예를 들면, 스피커, 리시버, 이어폰, 또는 마이크 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
본 발명의 실시 예에 따른 상기 오디오 처리부 160는 각종 안내 메시지 사운드를 출력하도록 제어할 수 있으며, 또한 사용자의 음성 데이터(비언어적 음성 포함)를 입력받을 수 있다. 상기 오디오 처리부 150는 사용자의 장애 유형 및 정도에 대응하여 사운드 출력 여부 내지 사운드 볼륨값을 제어할 수 있다.
상기 제어부 170는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 한편, 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 제어부에 의해 구동될 수 있다. 메모리는 상기 사용자 단말 및 서버 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 상기 제어부와 데이터를 주고 받을 수 있다.
본 발명의 실시 예에 따른 상기 제어부 170는 사용자의 장애 정보를 획득하여 이를 기반으로 사용자 단말의 일 기능(3자 통화 요청 기능 및 3자 통화 수행 시 화면 표시 기능 등)을 제어할 수 있다. 본 발명의 실시 예에 따른 상기 제어부 170는 장애 정보 관리부 171 및 표시 설정 제어부 172를 포함하여 구성될 수 있다.
상기 장애 정보 관리부 171는 사용자의 장애 정보를 획득하고 이를 저장 및 관리할 수 있다. 또한 상기 장애 정보 관리부 171는 사용자의 장애 유형 또는 정도에 관한 정보를 획득할 수 있다. 또한 상기 장애 정보 관리부 171는 획득된 사용자의 장애 유형 또는 장애 정도에 관한 정보를 기반으로 해당 사용자의 장애 정도가 악화될 가능성이 있는지 여부를 판단할 수 있다. 상기 장애 정보 관리부 171는 사용자의 장애 정도가 악화될 가능성이 있고, 악화 정도에 대응하여 일 기능의 설정값을 변경해야 할 필요가 있다고 판단되는 경우, 정기적으로 사용자의 장애 정보를 업데이트하도록 알림을 제공하고, 검사 기능을 지원할 수 있다.
상기 표시 설정 제어부 172는 3자 통화 화면의 표시 설정값을 제어할 수 있다. 예를 들어, 상기 표시 설정 제어부 172는 사용자의 수화 영상을 감지하기 위해 사용자의 모습을 촬영한 모습을 화면에 표시할 수 있다. 사용자 촬영 영상은 사용자 단말 100나 컨텍센터 300측 기기 상에는 선택적으로 표시될 수 있으며, 수화 통역센터 400 측 기기 상에는 필수적으로 표시되도록 설정될 수 있다. 이 때 상기 표시 설정 제어부 172는 사용자 측 화면, 컨텍센터 측 화면, 수화 통역센터측 화면 각각의 사이즈 비율, 영상의 해상도, 자막 사이즈 등의 표시 설정값을 상황 및 사용자의 연령, 사용자의 선호도, 사용자의 장애 정도 등의 조건에 대응하여 조절할 수 있다. 예를 들어 사용자가 노안이 있는 고령의 언어 장애인인 경우, 상기 표시 설정 제어부 172는 자막 사이즈를 증가시켜 표시하도록 자동 제어할 수 있다.
또한 상기 표시 설정 제어부 172는 그 밖에도 다양한 종류의 표시 설정값(예, 화면 순서, 화면 사이즈)을 상황(예, 수화 입력중인 대상에 포커싱 등)에 따라 제어할 수 있다.
도 4는 본 발명의 실시 예에 따른 서버의 구성에 대하여 도시한 도면이다.
본 발명의 실시 예에 따른 상기 서버 200는 통신부 210, 저장부 220, 회원 관리부 230, 다중 통화 지원부 240, 통역 지원부 250, 장애 유형별 변환부 260를 포함하여 구성될 수 있다.
그리고 상기 통역 지원부 250는 통역 서비스 제공부 241, 이상 감지부 242, 통역 검증부 243, 통역 개선부 244를 포함하여 구성될 수 있다.
상기 서버 200의 구성에 대하여 보다 상세히 설명하면 아래와 같다.
상기 서버 200의 통신부 210는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망 일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 상기 통신부 210는 사용자 단말, 컨텍센터 및 기 등록된 수화 통역센터와의 3자 통화를 위한 무선 통신을 수행할 수 있다. 상기 통신부 210는 다양한 실시예에 따라 웹으로부터 다양한 종류의 컨텍센터의 연락처, 위치 정보를 수신하고 이를 사용자 단말 100에 안내할 수 있다.
본 발명의 상기 저장부 220는 회원으로 등록된 사용자 정보(장애 특성 정보 포함)를 저장할 수 있다. 상기 저장부 220는 또한 3자 통화 기능을 수행하는 데 요구되는 부가 프로그램 및 명령을 저장할 수 있다. 또한 상기 저장부 220는 통역 검증 동작을 수행하는 데 요구되는 부가 프로그램 및 명령을 저장할 수 있다. 또한 상기 저장부 220는 장애 유형별로 사용자 단말의 일 기능을 제어하기 위한 명령 신호를 생성하는 데 요구되는 프로그램 및 명령을 저장할 수 있다.
상기 회원 관리부 230는 어플리케이션을 통해 서버 200에 회원으로 등록한 사용자들의 정보를 관리하는 동작을 수행할 수 있다. 구체적으로, 상기 회원 관리부 230는 회원으로 등록된 사용자들의 장애 여부, 장애 정도, 장애 유형 등의 정보를 획득하여 관리할 수 있다.
일 실시 예에 따라, 상기 회원 관리부 230는 사용자의 주요 통화 발신 요청 이력을 수집하고 관리할 수 있다.
또한 상기 회원 관리부 230는 사용자의 장애 인증 정보를 생성하고 관리할 수 있다. 예컨대, 상기 회원 관리부 230는 사용자가 어플리케이션을 통해 회원으로 등록되기를 요청할 경우, 장애인 인증 절차(예, 공인된 장애인 인증번호의 유효성 확인 등)를 수행할 수 있다. 상기 회원 관리부 230는 최초 장애인 인증 절차가 완료되면, 해당 사용자를 회원으로 등록하기 위한 동작을 수행할 수 있다. 상기 회원 관리부 230는 회원으로 등록된 일 사용자가 어플리케이션을 이용할 시, 해당 사용자가 보유한 장애 정도, 장애 유형, 주요 활용 기능(예, 수화 통역기능, 자막 설정 기능 등)과 관련된 회원 정보를 불러올 수 있다. 이에 대응하여 서버 200의 이하 구성(다중 통화 지원부 240, 통역 지원부 250, 장애 유형별 변환부 260)들은 사용자의 회원 정보에 등록된 사용자 특성 정보에 기반하여 3자 통화 기능, 통역 지원 기능, 장애 유형별 변환 기능을 수행할 수 있다.
상기 다중 통화 지원부 240는 사용자 단말 100로부터 컨텍센터300 로의 통화 연결 요청 신호를 전달받을 수 있다. 예컨대, 사용자는 어플리케이션을 실행한 후 일 화면상에서 호 발신을 수행하고자 하는 전화번호를 입력하고, 통화 연결 요청 버튼을 입력할 수 있다. 이에 대응하여 상기 다중 통화 지원부 240는 사용자가 입력한 전화번호로 통화연결을 수행할 수 있다.
이 때, 상기 다중 통화 지원부 240는 상기 회원 관리부 230에서 관리되는 회원 정보를 전달받고, 이에 대응하여 다중 통화 동작을 수행할 수 있다. 상기 다중 통화 지원부 240는 1차로 사용자의 회원 등록 정보(예, 장애 코드 등)를 확인하고 이에 대응하여 수화 통역센터 400를 추가한 3자 통화 동작을 수행할 수 있다. 상기 다중 통화 지원부 240는 3자 통화 동작을 수행하기 위해 사용자가 입력한 전화번호 또는 사용자가 선택한 컨텍센터 계정으로 통화 연결을 요청함과 동시에, 상기 수화 통역센터 400의 전화번호 또는 상기 수화 통역센터 400의 계정으로 통화 연결을 요청할 수 있다.
상기 다중 통화 지원부 240는 또한 다양한 실시 예에 따라, 사용자의 수화 능숙도, 수화 동작을 수행하기 어려운 신체 조건 등의 특이 사항이 있는지 여부를 기 등록된 사용자 정보를 기반으로 판단할 수 있다. 그리고 그에 대응하여 추후 사용자 단말 100, 컨텍센터 300 및 수화 통역센터 400로 구성되는 3자 통화에서, 자막 포함 여부 등의 설정값이 변경될 수 있다.
상기 통역 지원부 250는 사용자 단말 100, 컨텍센터 300 및 수화 통역 센터 400로 구성되는 3자 통화에서 수화를 음성으로 통역하는 동작과, 음성을 수화로 통역하는 통역 서비스와, 통역이 제대로 수행되고 있는지 여부를 판단하는 통역 검증 기능을 지원할 수 있다. 상기 통역 지원부 250에 대한 구체적인 설명은 하단의 도 5를 참조하여 설명하기로 한다.
상기 장애 유형별 변환부 260는 사용자의 장애 유형 및 장애 정도에 대응하여 사용자 단말 100의 적어도 일 기능을 변경하도록 하는 맞춤 명령 신호를 생성할 수 있다. 그리고 상기 장애 유형별 변환부 260는 상기 생성된 맞춤 명령 신호를 사용자 단말 100에 제공할 수 있다.
상기 장애 유형별 변환부 260에서 생성하는 맞춤 명령 신호는 표시되는 텍스트 사이즈를 변경하기 위한 신호, 출력되는 통화 음성의 볼륨, 또는 경고음의 볼륨을 변경하기 위한 신호, 텍스트를 사운드로 변환(TTS)하기 위한 명령 신호, 사운드를 텍스트로 변환(STT)하기 위한 명령 신호, 알림 사운드를 램프 점멸 동작 등으로 변환하기 위한 명령 신호 등이 포함될 수 있다.
상기 장애 유형별 변환부 260는 사용자가 보유한 장애의 유형이 수화와 관련되지 않은 것으로 판단되는 경우, 수화 통역센터 400로의 통화 연결을 대신하여 추가의 맞춤형 기능을 수행할 수 있다.
상기 장애 유형별 변환부 260는 일 실시 예에 따라 다음의 표 1과 같이 컨텍센터 200와 통화 연결 시 맞춤형 기능을 수행할 수 있다.
구분 내용
시각 장애인 음성안내기능, 음성의 속도/볼륨/피치 조절기능, 구간 반복기능, 재청취/연속청취기능, 시각장애인에게 TTS를 통해 상황에 따라 문자-음성 출력 제공
저시력자 문자 확대기능, 색반전 기능
청각 장애인 영상수화통역서비스, 음성정보를 텍스트로 변환기능
난청장애인 난청 등급에 따라 Audio processor의 볼륨 또는 음성 대역 등을 자동으로 조절하여 보청 출력 기능 제공
농아인 중계 호출기능 자동 통역서비스 기능으로 3자 중계 서비스 제공
시각 및 청각 장애인 기존 보급된 장애인 보조기기와의 Bluetooth 연결을 통한 무인화 기기 제어
도 5는 본 발명의 실시 예에 따른 통역 지원부의 구성을 도시한 도면이다.
도 5에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 통역 지원부 250는 통역 서비스 제공부 251, 이상 감지부 252, 통역 검증부 253 및 통역 개선부 254를 포함하여 구성될 수 있다.
먼저, 상기 통역 서비스 제공부251는 수화 통역센터 400로부터 전달된 수화 통역사의 수화 영상 데이터를 사용자 단말 100측에 제공할 수 있다. 이를 통해 상기 통역 서비스 제공부 251는 사용자가 컨텍센터 300의 상담원의 음성 메시지가 의미하는 바를 전달받을 수 있다. 또한 상기 통역 서비스 제공부 251는 사용자가 촬영한 수화 영상을 기반으로 수화 통역사가 통역한 결과 음성을 컨텍센터 300측에서 들을 수 있도록 컨텍센터 300측에 수화 통역센터 400측으로부터 입력된 사운드 데이터를 컨텍센터 300측 단말기로 전달할 수 있다. 그리고 이 때 상기 통역 서비스 제공부 251는 수화 통역사를 통해 생성된 통역 데이터(컨텍센터의 음성 데이터를 수화로 통역한 영상 데이터, 수화를 통역한 음성 데이터)를 제공하는 방식을 자동으로 선택 내지 변경(예, 현재 컨텍센터에서 발화중인지 여부를 판단할 수 있도록 하는 화면 효과 등)할 수 있다.
또한 상기 통역 서비스 제공부 251는 수화 영상, 음성 데이터 외에도 컨텍센터에서 입력된 음성 및 수화 통역사가 컨텍센터로 전달하기 위한 음성을 STT동작을 통해 텍스트화한 자막 정보를 추가로 제공할 수 있다. 다양한 실시 예에 따라 상기 자막 정보는 음성 메시지 전체를 텍스트화하여 문장 형태의 자막으로 제시될 수도 있고, 상대방이 대화 내용을 신속하고 간략한 방식으로 파악할 수 있도록 돕기 위해, 키워드가 추출되어 나열되는 방식으로 제공될 수도 있다.
상기 통역 서비스 제공부 251는 이 밖에도 추가의 보조적인 통역 서비스를 제공할 수 있다.
상기 이상 감지부 252는 기 설정된 사용자의 제스처(표정 및 동작을 포함)이 감지되는 경우, 사용자가 통역 결과에 이상을 제기하는 것으로 판단할 수 있다.
구체적으로, 상기 이상 감지부 252는 통역 결과에 이의를 제기하기 위한 목적의 제스처인 이의 제기 이벤트를 사용자 요청에 대응하여 설정할 수 있다. 예를 들어 사용자는 주먹을 쥐었다 펴는 동작을 2회 수행하는 것을 이의 제기 이벤트로 설정할 수 있다. 이에 따라 상기 이상 감지부 252는 사용자 단말 100에서 전송되는 수화 영상으로부터 기 설정된 이의 제기 이벤트가 감지된 경우, 이를 수화 통역센터 400측에 알림을 제공하여 정정을 요청할 수 있다. 또는 상기 이상 감지부 252는 이의 제기 이벤트가 감지된 경우, 사용자 화면에 표시된 자막(수화 통역사가 음성으로 변환한 내용을 기반으로 생성된 텍스트 정보)을 사용자가 직접 수정할 수 있도록 하는 자막 수정용 화면을 제공할 수 있다. 이후 사용자는 오류를 정정하기 위해, 직접 자막 내용 중 일부를 직접 타이핑할 수 있다. 상기 이상 감지부 242는 수정 완료된 자막을 다시 TTS 동작을 통해 음성으로 변환하여 컨텍센터 300측에 제공할 수 있다.
상기 통역 검증부 253는 통역 내용을 검증하기 위한 일련의 동작을 수행할 수 있다. 일 실시 예에 따라 상기 통역 검증부 253는 사용자 및 수화 통역사가 카메라를 통해 입력하는 수화 동작 영상으로부터 다수개의 구분 동작을 생성할 수 있다. 상기 통역 검증부 253는, 상기 구분동작으로 생성된 수화 동작들 중 일부를 추출하여 기 등록된 수화 데이터를 기반으로 오류 판단을 수행하는 샘플링 검사를 수행할 수 있다.
상기 서버 200는 기 샘플링 검사를 수행할 수 있도록, 일부 단어에 대하여 수화 동작과 음성(또는 텍스트)을 매칭한 수화-음성(텍스트) 매칭 정보를 저장하고 있을 수 있다. 이에 따라 상기 통역 검증부 253는 매칭 정보에 기반한 검증 동작을 수행할 수 있다. 예를 들어 상기 통역 검증부 253는 통역 이전 데이터와 통역 이후 데이터를 비교하여, 통역 이전 데이터에는 존재하나 통역 이후 데이터에는 누락된 음성(텍스트) 또는 수화 동작이 존재하는지 여부를 상기 매칭 정보에 기반하여 판단할 수 있다. 그리고 상기 통역 검증부 253는 통역 이후 데이터(예, 사용자의 수화를 통역한 음성(자막 텍스트) 또는 컨텍센터의 음성을 통역한 수화)에 누락 사항이 발견되는 경우, 이를 오류 발생으로 판단할 수 있다.
상기 통역 개선부 244는 오류가 발생된 통역 결과물에 대하여 개선을 수행할 수 있다. 일 실시 예에 따라, 상기 통역 개선부 244는 상기 통역 검증부 243에서 오류 발생이 판단되는 경우, 해당 표현의 통역 이전 데이터와 통역 이후 데이터를 별도로 개선 요청 자료로 수집하고, 관리자 측에 제공하여 일괄적인 개선을 요청할 수 있다.
상기 통역 개선부 244는 상기 수집된 개선 요청 자료를 사용자가 확인할 수 있는 게시판에 게시하고 사용자의 리뷰 작성을 요청할 수 있으며, 사용자가 등록한 리뷰로부터 개선 사항을 획득하고 이를 반영하여 오류 표현을 정정할 수 있다.
도 6 및 도 7 본 발명의 실시 예에 따른 무인화 기기를 포함하는 3자 통화 동작의 예시를 도시하고 있다.
다양한 실시 예에 따라, 본 발명의 실시 예에 따른 수화 통역 검증 시스템은 도 6에서 도시되는 바와 같이, 무인화 기기에서 장애인용 상담원 호출버튼을 선택함에 따라 사용자 단말 100에 장애인 인증 동작을 요청하는 무선 신호 및 상기 무인화 기기의 식별번호가 송신될 수 있다. 이에 따라 상기 사용자 단말 100은 상기 무인화 기기로부터 무선 신호를 송신함에 따라 서버 200에서 장애인 인증을 수행하기 위한 회원 정보를 전송할 수 있다. 이에 따라 상기 서버 200는 사용자 단말 100의 사용자가 장애인인지 여부와 보유한 장애의 유형 정보를 확인할 수 있게 된다. 그리고 상기 서버 200는 사용자가 장애인용 상담원 호출버튼의 입력에 대응하여 컨텍센터(상담원)로의 통신 연결을 지원할 수 있으며, 상기 컨텍센터(상담원)측으로부터 제공되는 상담 내용을, 상기 확인된 사용자의 장애 정보에 대응하여 맞춤 서비스로 제공하도록 요청할 수 있다.
일 실시 예에 따라, 상기 맞춤 서비스는 언어 장애인에 대하여 수화 통역 서비스를 제공하는 것일 수 있다. 다양한 실시 예에 따라 본 발명은 도 7에서 도시되는 바와 같이, 본 발명은 무인화 기기 500(또는 무인화 기기 500의 식별 정보를 보유한 장애인용 호출벨)가 사용자 단말100을 대체하고, 사용자 단말 100에 의한 장애 인증 동작을 생략할 수도 있다.
사용자가 무인화 기기 500의 장애인용 버튼을 입력하여 연계 컨텍센터 300를 호출하면, 상기 무인화 기기 500는 자동으로 수화 통역센터 400를 호출하고 사용자(무인화 기기), 컨텍센터, 수화 통역센터의 3자 통화 동작을 수행할 수 있다. 상기 무인화 기기 500에 설치된 카메라를 통해 사용자가 수화를 입력하면, 수화 통역 센터 400는 이를 통역하여 컨텍센터 300에 전달하고, 컨텍센터 300에서 수신된 음성 메시지는 수화 통역센터 400를 통해 수화로 통역될 수 있고, 통역된 수화 동작 영상은 무인화 기기 500의 일 화면을 통해 제공될 수 있다.
도 8은 본 발명의 실시 예에 따른 3자 통화 기능의 동작 순서를 도시한 순서도이다.
본 발명의 실시 예에 따른 수화 통역 검증 시스템은 사용자 단말 100, 앱 서버 200, 컨텍센터 300, 수화 통역센터 400를 포함하여 구성될 수 있다.
사용자는 일 컨텍센터 및 수화 통역센터를 포함하여 3자 통화를 요청하는 701동작을 수행할 수 있다. 상기 3자 통화를 요청하는 동작은 예컨대, 사용자 단말 100 내에 설치된 어플리케이션을 실행하고, 상기 어플리케이션이 실행중인 상태에서 임의의 컨텍센터(예, 상담센터)로의 발신 요청 동작(예, 전화번호 입력 및 통화 버튼 선택)과 함께 사용자가 장애인 회원임을 인증하는 회원정보를 송신할 수 있다. 이에 따라 상기 앱 서버 200는 사용자 단말 100에서 요청된 3자 통화를 요청한 것으로 판단하고, 그에 대응하여 컨택센터 300에 제 1통화 연결 요청을 수행하는 703동작 및 수화 통역 센터 400에 제 2통화 연결 요청을 수행하는 705동작을 수행할 수 있다. 상기 컨텍센터 300와 수화통역센터 400로부터 통화 연결 요청에 대하여 응답 신호가 수신되는 경우, 상기 앱 서버 200는 사용자 단말 100, 컨텍센터 300 및 수화 통역센터 400를 각 대화참여자로 하는 3자 수화 영상 통화 서비스를 제공하는 707동작을 수행할 수 있다.
도 9는 본 발명의 실시 예에 따른 3자 통화 기능의 예시를 도시한 도면이다.
도 9에서 도시되는 바와 같이, 본 발명의 실시 예에 따른 3자 통화 동작은 총 3개의 구획으로 이루어진 화면을 표시하도록 수행될 수 있다. 상기 3자 통화 기능 수행 시 통화 참여자들의 단말기에 표시되는 화면은 먼저 상기 수화 통역센터 400의 수화 통역사의 카메라 영상이 표시되는 801화면과, 사용자 단말 100을 통해 촬영되는 사용자의 수화 영상이 표시되는 803 화면과 그리고 컨텍센터 300의 상담원의 대화 영상이 표시되는 805화면이 포함될 수 있다. 다양한 실시 예에 따라 본 발명은 3자 통화 동작 당시, 상기 컨텍섹터 300의 상담원은 수화를 수행하는 주체가 아니므로, 상담원을 촬영한 영상은 표시되지 않은 채 상담원의 음성만 출력되도록 지원할 수 있다.
요컨대, 본 발명의 실시 예에 따른 수화 통역 검증 시스템은 사용자 단말 및 서버를 포함하여 구성되며, 상기 사용자 단말은 어플리케이션을 통해 컨텍센터로의 통화 요청 신호와 장애인 회원임을 인증하는 사용자의 회원 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며, 상기 서버는 상기 사용자 단말로부터 컨텍센터로의 통화 요청 신호 및 회원 정보가 수신되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하며, 3자 통화 데이터를 상기 사용자 단말로 전송하여 사용자가 컨텍센터 측의 안내를 수화로 전달받을 수 있도록 지원할 수 있다.
상기 사용자 단말은 상기 서버로부터 3자 통화 데이터를 수신하는 통신부 상기 서버로부터 수신된 3자 통화 데이터에 기반하여 컨텍센터 및 수화 통역센터에서 전달된 영상정보를 표시하는 표시부, 3자 통화 시 서버로 전송될 사용자의 수화 동작을 촬영하는 카메라부, 사용자의 장애 정보를 획득하고, 상기 사용자의 장애 정보를 기반으로 3자 통화 요청 기능 및 3자 통화 수행 시 화면 표시 기능을 제어하는 제어부를 포함할 수 있다.
상기 제어부는 사용자의 장애 유형 또는 장애 정도에 관한 정보를 획득하고, 획득된 정보를 기반으로 해당 사용자의 장애 정도가 악화될 가능성이 있는 것으로 판단되는 경우, 정기적으로 사용자의 장애 정보를 업데이트하도록 알림을 제공하고, 검사 기능을 지원하는 장애 정보 관리부, 3자 통화 화면의 표시 설정값을 제어하되, 화면 각각의 사이즈 비율, 영상의 해상도, 자막 사이즈 등의 표시 설정값을 사용자의 연령, 사용자의 선호도 및 사용자의 장애 정도에 대응하여 조절하는 표시 설정 제어부를 포함할 수 있다.
상기 서버는 상기 사용자 단말, 컨텍센터 및 기 등록된 수화 통역센터와의 3자 통화를 위한 무선 통신을 수행하는 통신부, 통역 검증 동작을 수행하는 데 요구되는 부가 프로그램 및 명령을 저장하는 저장부, 회원으로 등록된 사용자들의 장애 여부, 장애 정도 및 장애 유형을 포함하는 장애 정보를 관리하는 회원 관리부, 3자 통화 동작을 수행하기 위해 사용자가 입력한 전화번호 또는 사용자가 선택한 컨텍센터의 계정으로 통화 연결을 요청함과 동시에, 상기 수화 통역센터의 전화번호 또는 계정으로 통화 연결을 요청하는 다중 통화 지원부를 포함할 수 있다.
상기 서버는3자 통화에서 수화를 음성으로 변환하는 통역 및 음성을 수화로 변환하는 통역이 제대로 수행되고 있는지 여부를 판단하는 통역 검증 기능을 수행하는 통역 지원부를 포함할 수 있고, 상기 통역 지원부는 컨텍센터의 음성 데이터를 수화로 통역한 영상 데이터 및 수화를 통역한 음성 데이터를 제공하되, 컨텍센터에서 발화중인지 여부를 판단할 수 있도록 하는 화면 효과를 부여하는 통역 서비스 제공부, 통역 결과에 이의를 제기하기 위한 목적의 제스처인 이의 제기 이벤트를 사용자 요청에 대응하여 설정하고, 상기 이의 제기 이벤트가 감지된 경우 알림을 제공하여 정정을 요청하는 이상 감지부, 사용자 및 수화 통역사가 카메라를 통해 입력하는 수화 동작 영상으로부터 다수개의 구분 동작을 생성하고, 상기 구분 동작들 중 일부를 추출하고 이를 기 등록된 수화 데이터와 비교하여 오류 판단을 수행하는 통역 검증부, 수화 동작에서 오류가 발생한 것으로 판단되는 경우, 해당 표현의 통역 이전 데이터와 통역 이후 데이터를 개선 요청 자료로 수집하고, 관리자 측에 제공하거나, 사용자 게시판에 게시하고 사용자로부터 입력된 리뷰로부터 개선 사항을 획득하고 이를 반영하여 오류를 정정하는 통역 개선부를 포함할 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 사용자 단말
171 : 장애 정보 관리부
172 : 표시 설정 제어부
200 : 앱 서버
230 : 회원 관리부
240 : 다중 통화 지원부
250 : 통역 지원부
260 : 장애 유형별 변환부
300 : 컨텍센터
400 : 수화 통역센터

Claims (7)

  1. 사용자 단말 및 서버를 포함하여 구성되는 시스템에 있어서,
    상기 사용자 단말은
    어플리케이션을 통해 컨텍센터로의 통화 요청 신호와 장애인 회원임을 인증하는 사용자의 회원 정보를 상기 서버로 전달하는 3자 통화 요청 동작을 수행하며,
    상기 서버는
    상기 사용자 단말로부터 컨텍센터로의 통화 요청 신호 및 회원 정보가 수신되면, 사용자가 수화 통역이 요구되는 장애 사용자인지 여부를 확인하고, 수화 통역이 요구되는 것으로 판단된 경우, 상기 컨텍센터와 기 연계된 수화 통역센터에 통화 연결을 시도하여, 사용자 단말, 컨텍센터 및 수화 통역센터를 포함하는 3자 통화 기능을 수행하며, 3자 통화 데이터를 상기 사용자 단말로 전송하여 사용자가 컨텍센터 측의 안내를 수화로 전달받을 수 있도록 지원하며,
    상기 서버는
    회원으로 등록된 사용자들의 장애 여부, 장애 정도 및 장애 유형을 포함하는 장애 정보를 관리하는 회원 관리부; 및
    3자 통화 동작을 수행하기 위해 사용자가 입력한 전화번호 또는 사용자가 선택한 컨텍센터의 계정으로 통화 연결을 요청함과 동시에, 상기 수화 통역센터의 전화번호 또는 계정으로 통화 연결을 요청하는 다중 통화 지원부;
    3자 통화에서 수화를 음성으로 변환하는 통역 및 음성을 수화로 변환하는 통역이 제대로 수행되고 있는지 여부를 판단하는 통역 검증 기능을 수행하는 통역 지원부;를 포함하고,
    상기 통역 지원부는
    컨텍센터의 음성 데이터를 수화로 통역한 영상 데이터 및 수화를 통역한 음성 데이터를 제공하되, 컨텍센터에서 발화중인지 여부를 판단할 수 있도록 하는 화면 효과를 부여하는 통역 서비스 제공부;
    통역 결과에 이의를 제기하기 위한 목적의 제스처인 이의 제기 이벤트를 사용자 요청에 대응하여 설정하고, 사용자에 의해 상기 이의 제기 이벤트가 감지된 경우 통역사에게 알림을 제공하여 정정을 요청하는 이상 감지부; 및
    사용자 및 수화 통역사가 카메라를 통해 입력하는 수화 동작 영상으로부터 다수개의 구분 동작을 생성하고, 상기 구분 동작들 중 일부를 추출하고 이를 기 등록된 수화 데이터와 비교하여 오류 판단을 수행하는 통역 검증부;를 포함하는 것을 특징으로 하는 수화 통역 검증 시스템.
  2. 제 1항에 있어서,
    상기 사용자 단말은
    상기 서버로부터 3자 통화 데이터를 수신하는 통신부;
    상기 서버로부터 수신된 3자 통화 데이터에 기반하여 컨텍센터 및 수화 통역센터에서 전달된 영상정보를 표시하는 표시부;
    3자 통화 시 서버로 전송될 사용자의 수화 동작을 촬영하는 카메라부;
    사용자의 장애 정보를 획득하고, 상기 사용자의 장애 정보를 기반으로 3자 통화 요청 기능 및 3자 통화 수행 시 화면 표시 기능을 제어하는 제어부;를 포함하는 것을 특징으로 하는 수화 통역 검증 시스템.
  3. 제 2항에 있어서,
    상기 제어부는
    사용자의 장애 유형 또는 장애 정도에 관한 정보를 획득하고, 획득된 정보를 기반으로 해당 사용자의 장애 정도가 악화될 가능성이 있는 것으로 판단되는 경우, 정기적으로 사용자의 장애 정보를 업데이트하도록 알림을 제공하고, 검사 기능을 지원하는 장애 정보 관리부;
    3자 통화 화면의 표시 설정값을 제어하되, 화면 각각의 사이즈 비율, 영상의 해상도 및 자막 사이즈를 포함하는 표시 설정값을 사용자의 연령, 사용자의 선호도 및 사용자의 장애 정도에 대응하여 조절하는 표시 설정 제어부;를 포함하는 것을 특징으로 하는 수화 통역 검증 시스템
  4. 제1항에 있어서,
    상기 서버는
    상기 사용자 단말, 컨텍센터 및 기 등록된 수화 통역센터와의 3자 통화를 위한 무선 통신을 수행하는 통신부; 및
    통역 검증 동작을 수행하는 데 요구되는 부가 프로그램 및 명령을 저장하는 저장부;를 포함하는 것을 특징으로 하는 수화 통역 검증 시스템.
  5. 삭제
  6. 삭제
  7. 제 1항에 있어서,
    상기 통역 지원부는
    수화 동작에서 오류가 발생한 것으로 판단되는 경우, 해당 표현의 통역 이전 데이터와 통역 이후 데이터를 개선 요청 자료로 수집하고, 관리자 측에 제공하거나, 사용자 게시판에 게시하고 사용자로부터 입력된 리뷰로부터 개선 사항을 획득하고 이를 반영하여 오류를 정정하는 통역 개선부;를 포함하는 것을 특징으로 하는 수화 통역 검증 시스템.
KR1020190171881A 2019-06-26 2019-12-20 수화 통역 검증 시스템 KR102142033B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190076674 2019-06-26
KR20190076674 2019-06-26

Publications (1)

Publication Number Publication Date
KR102142033B1 true KR102142033B1 (ko) 2020-08-06

Family

ID=72040116

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190171885A KR102142034B1 (ko) 2019-06-26 2019-12-20 장애인을 고려한 인증 및 보안 시스템
KR1020190171872A KR102152325B1 (ko) 2019-06-26 2019-12-20 장애 인증에 따른 무인화 기기의 맞춤 서비스 지원 시스템
KR1020190171881A KR102142033B1 (ko) 2019-06-26 2019-12-20 수화 통역 검증 시스템

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190171885A KR102142034B1 (ko) 2019-06-26 2019-12-20 장애인을 고려한 인증 및 보안 시스템
KR1020190171872A KR102152325B1 (ko) 2019-06-26 2019-12-20 장애 인증에 따른 무인화 기기의 맞춤 서비스 지원 시스템

Country Status (1)

Country Link
KR (3) KR102142034B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208323B1 (ko) * 2020-08-26 2021-01-27 주식회사 샘물정보통신 스마트폰을 이용한 시각 장애인용 키오스크 제어 리모컨 시스템
KR102429403B1 (ko) * 2020-12-31 2022-08-04 주식회사 닷 사용자 단말 및 정보 단말의 연동을 통한 정보 제공 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050959A (ko) * 2008-11-06 2010-05-14 인제대학교 산학협력단 청각장애인을 위한 의사 소통 시스템
KR20140025928A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 Ｕｉ 제공 장치 및 그의 ｕｉ 제공 방법
KR101542130B1 (ko) * 2014-01-21 2015-08-06 박삼기 청각 장애인용 수화 자동 번역 제공 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982525B1 (ko) * 2017-07-13 2019-05-29 주식회사 세한알에프시스템 비콘 기반의 장애인 서비스 시스템
KR101977263B1 (ko) * 2018-12-18 2019-05-10 주식회사 샘물정보통신 비콘을 이용한 지능형 호출 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100050959A (ko) * 2008-11-06 2010-05-14 인제대학교 산학협력단 청각장애인을 위한 의사 소통 시스템
KR20140025928A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 Ｕｉ 제공 장치 및 그의 ｕｉ 제공 방법
KR101542130B1 (ko) * 2014-01-21 2015-08-06 박삼기 청각 장애인용 수화 자동 번역 제공 시스템

Also Published As

Publication number Publication date
KR102152325B1 (ko) 2020-09-04
KR102142034B1 (ko) 2020-08-06

Similar Documents

Publication Publication Date Title
US9083850B1 (en) Video blurring in a secure environment
KR101917648B1 (ko) 단말 및 그 제어 방법
CN108431764B (zh) 电子设备和用于控制电子设备操作的方法
US10303428B2 (en) Electronic device with a function of smart voice service and method of adjusting output sound
KR20180109618A (ko) 적응적 인증 수행 방법 및 이를 지원하는 전자 장치
US10296784B2 (en) Verifying presence of a person during an electronic visitation
KR20190086868A (ko) 청각 기능 훈련 방법 및 장치
US9007425B1 (en) Software-controlled lighting for video visitation devices
KR102208323B1 (ko) 스마트폰을 이용한 시각 장애인용 키오스크 제어 리모컨 시스템
US10063694B1 (en) System and method for multilingual authentication access to communication system in controlled environment
US10116458B2 (en) Family communications in a controlled-environment facility
KR102142033B1 (ko) 수화 통역 검증 시스템
US20210022603A1 (en) Techniques for providing computer assisted eye examinations
KR20090105531A (ko) 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
US20170293730A1 (en) Remote controlled medical assistance device
KR20210054191A (ko) 치매관리 자동화 방법, 치매관리 자동화 장치 및 치매관리 자동화 시스템
US9110888B2 (en) Service server apparatus, service providing method, and service providing program for providing a service other than a telephone call during the telephone call on a telephone
US20200294042A1 (en) Secure wireless audio and speech at a transaction terminal
KR102152326B1 (ko) 글로벌 수화 통역 지원 시스템
KR20190048593A (ko) 카메라 및 마이크를 이용한 스마트 미러 기반 개인 헬스케어 정보 보호 방법 및 시스템
US9078071B2 (en) Mobile electronic device and control method
US9277051B2 (en) Service server apparatus, service providing method, and service providing program
CN110046867A (zh) 人脸识别点名装置及方法
KR102000282B1 (ko) 청각 기능 보조용 대화 지원 장치
US20230056862A1 (en) Hearing device, and method for adjusting hearing device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant