KR20210007138A - 의료 환경에서 음성을 수어로 통역하기 위한 시스템 - Google Patents

의료 환경에서 음성을 수어로 통역하기 위한 시스템 Download PDF

Info

Publication number
KR20210007138A
KR20210007138A KR1020190083061A KR20190083061A KR20210007138A KR 20210007138 A KR20210007138 A KR 20210007138A KR 1020190083061 A KR1020190083061 A KR 1020190083061A KR 20190083061 A KR20190083061 A KR 20190083061A KR 20210007138 A KR20210007138 A KR 20210007138A
Authority
KR
South Korea
Prior art keywords
voice
sign language
user
voice signal
database
Prior art date
Application number
KR1020190083061A
Other languages
English (en)
Inventor
김미경
오병모
성민용
박원진
김장섭
Original Assignee
대한민국(국립재활원장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(국립재활원장) filed Critical 대한민국(국립재활원장)
Priority to KR1020190083061A priority Critical patent/KR20210007138A/ko
Publication of KR20210007138A publication Critical patent/KR20210007138A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

의료 환경에서 음성을 수어로 통역하기 위한 시스템이 개시된다. 본 발명의 일 실시예에 따른 음성-수어 통역 시스템은 수어통역사를 보조하기 위한 음성-수어 통역 시스템에 있어서, 복수의 사용자 단말기들 각각으로부터 미리 설정된 특정 장소들 각각에서의 상황 문구들에 대한 음성들을 상기 사용자 단말기들 각각의 사용자 음성으로 수집하는 수집부; 상기 상황 문구들에 대해 상기 사용자 단말기들 각각의 사용자 음성으로 수집된 음성들을 이용한 학습을 통해 상기 상황 문구들 각각의 음성 데이터에 따른 수어들을 데이터베이스로 구축하는 구축부; 및 제1 장소에서 통역을 위한 제1 음성 신호가 수신되면 상기 데이터베이스를 이용하여 상기 수신된 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역하는 통역부를 포함한다.

Description

의료 환경에서 음성을 수어로 통역하기 위한 시스템 {SYSTEM FOR TRANSLATING VOICE INTO SIGN LANGUAGE IN MEDICAL ENVIRONMENT}
본 발명은 음성을 수어(sign language)로 통역하는 기술에 관한 것으로서, 보다 구체적으로 병원 등 의료 환경에서 청각장애인에게 타인의 음성을 표준적 수어로 일관되게 통역하고, 이를 통해 수어통역사를 보조하는 기능을 수행할 수 있는 시스템에 관한 것이다.
다양한 난청 유형을 가지는 청각장애인들은 난청으로 인해 음성 신호를 획득하는데 많은 어려움이 있다. 이에, 청각장애인들을 위한 보청기가 개발되었지만, 보청기만으로 음성 신호를 완벽하게 획득하기는 불가능한 문제점이 있다. 특히, 강연장, 교육 기관(예컨대, 초등학교, 중학교, 고등학교, 대학교 및 학원)의 강의실 및 은행 등과 같이 주변 소음이 심한 공공 장소에서는 보청기를 이용한 음성 신호의 인식률이 크게 떨어지는 단점이 있다.
또한, 음성 신호를 청각장애인 대신 획득하는 강연 대필 도우미 또는 속기사에 의해 휴대용 텍스트 타이핑 장치를 통하여 생성된 음성 신호에 대한 텍스트 데이터를 사용자의 단말로 제공하는 기술은 별도의 강연 대필 도우미 또는 속기사를 고용해야 한다는 점에서 비용적인 문제점이 있다.
이에, 청각장애인의 사용자 단말에 설치되는 음성 인식을 지원하는 애플리케이션을 이용하는 기술이 등장하였지만, 애플리케이션을 이용하는 경우, 보청기를 이용하는 것과 마찬가지로, 화자와 청자 사이의 거리가 먼 강연장, 교육기관의 강의실 및 주변 소음이 심한 공공 장소 등에서는 애플리케이션에서 음성 신호의 인식률이 떨어지는 단점이 있다.
본 발명의 실시예들은, 병원 등 의료 환경에서 청각장애인에게 타인의 음성을 표준적 수어로 일관되게 통역하고, 이를 통해 수어통역사를 보조하는 기능을 수행할 수 있는 시스템을 제공한다.
본 발명의 일 실시예에 따른 음성-수어 통역 시스템은 수어통역사를 보조하기 위한 음성-수어 통역 시스템에 있어서, 복수의 사용자 단말기들 각각으로부터 미리 설정된 특정 장소들 각각에서의 상황 문구들에 대한 음성들을 상기 사용자 단말기들 각각의 사용자 음성으로 수집하는 수집부; 상기 상황 문구들에 대해 상기 사용자 단말기들 각각의 사용자 음성으로 수집된 음성들을 이용한 학습을 통해 상기 상황 문구들 각각의 음성 데이터에 따른 수어들을 데이터베이스로 구축하는 구축부; 및 제1 장소에서 통역을 위한 제1 음성 신호가 수신되면 상기 데이터베이스를 이용하여 상기 수신된 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역하는 통역부를 포함한다.
상기 수집부는 상기 사용자 단말기들 각각의 위치 정보를 기반으로 상기 위치 정보에 대응하는 특정 장소에 대한 상황 문구들을 해당 사용자 단말기로 추천함으로써, 상기 상황 문구들에 대한 상기 해당 사용자 단말기의 사용자 음성을 수집할 수 있다.
상기 통역부는 청각장애인 단말기의 위치 정보에 기초하여 상기 제1 장소에서 상기 제1 음성 신호가 수신되면 상기 데이터베이스에 저장된 데이터 중 상기 제1 장소에 대응하는 데이터를 이용하여 상기 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역할 수 있다.
상기 통역부는 청각장애인 단말기의 사용자의 입력에 의해 상기 제1 장소가 선택된 후 상기 제1 음성 신호가 수신되면 상기 데이터베이스에 저장된 데이터 중 상기 제1 장소에 대응하는 데이터를 이용하여 상기 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역할 수 있다.
본 발명의 실시예들에 따르면, 병원 등 의료 환경에서 청각장애인에게 타인의 음성을 수어로 정확하게 통역할 수 있다.
따라서, 본 발명의 실시예들에 따르면, 청각장애인에게 타인의 음성에 대한 정보를 정확하게 수어로 제공함으로써, 청각장애인이 특정 장소에서 원하는 일을 빠르게 처리할 수 있다.
본 발명의 실시예들에 따르면, 의료 환경에서 수어통역사가 이를 활용하여 의사 또는 의료 기관 담당자의 음성을 표준적 수어로 일관되게 통역할 수 있으며, 이를 통해 수어통역사를 보조할 수 있다.
이러한, 본 발명은 의료 환경에서 뿐만 아니라 음성을 수어로 통역할 수 있는 다양한 분야에 적용할 수 있다.
도 1은 네트워크 환경에 대한 일 예시도를 나타낸 것이다.
도 2는 도 1에 도시된 전자 기기 및 서버의 내부 구성을 설명하기 위한 일 실시예의 구성도를 나타낸 것이다.
도 3은 본 발명의 실시예에 따른 음성을 수어로 통역하기 위한 시스템에 대한 구성 블록도를 나타낸 것이다.
도 4는 본 발명의 시스템에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 은행 등 의료 환경에서의 상황 문구들에 대한 음성 데이터를 수집하고, 수집된 음성 데이터를 이용한 인공지능 학습을 통해 각각의 장소에 대한 상황 문구들의 음성 데이터에 따른 수어들을 데이터베이스로 구축함으로써, 청각장애인 단말기로 특정 장소에서 입력되는 음성 신호를 수어로 정확하게 통역하는 것을 그 요지로 한다.
특히, 본 발명은 의료 환경에서 수어통역사가 이를 활용하여 의사 또는 의료 기관 담당자의 타인의 음성을 표준적 수어로 일관되게 통역하고, 이를 통해 수어통역사를 보조할 수 있는 기능을 제공할 수 있다.
도 1은 네트워크 환경에 대한 일 예시도를 나타낸 것이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 이동형 또는 고정형 단말일 수 있다. 따라서, 이하, 전자 기기는 단말을 의미한다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 있다. 일례로 제1 전자 기기(110)는 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 콘텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(160)는 네트워크(170)를 통해 접속한 제1 전자 기기(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 제1 전자 기기(110)는 서버(160)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 제1 전자 기기(110)가 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 콘텐츠를 제공받을 수 있다. 예를 들어, 제1 전자 기기(110)가 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 제1 전자 기기(110)로 전송할 수 있고, 제1 전자 기기(110)는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 콘텐츠를 제공할 수 있다.
도 2는 도 1에 도시된 전자 기기 및 서버의 내부 구성을 설명하기 위한 일 실시예의 구성도를 나타낸 것이다. 도 2에서는 하나의 전자 기기에 대한 예로서 제1 전자 기기(110), 그리고 하나의 서버에 대한 예로서 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140)이나 서버(160) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.
제1 전자 기기(110)와 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 제1 전자 기기(110)에 설치되어 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(160))이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(170)를 통해 제1 전자 기기(110)와 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 제2 전자 기기(120)) 또는 다른 서버(일례로 서버(160))와 통신하기 위한 기능을 제공할 수 있다. 일례로, 제1 전자 기기(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(일례로 검색 요청)이 통신 모듈(213)의 제어에 따라 네트워크(170)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 콘텐츠, 파일 등이 통신 모듈(223)과 네트워크(170)를 거쳐 제1 전자 기기(110)의 통신 모듈(213)을 통해 제1 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 콘텐츠나 파일 등은 제1 전자 기기(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 제2 전자 기기(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 콘텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다. 입출력 인터페이스(224) 또한 마찬가지로 서버(150)의 프로세서(222)가 메모리(221)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어 서버(150)가 제공하는 데이터를 이용하여 구성되는 정보를 출력할 수 있다.
또한, 다른 실시예들에서 제1 전자 기기(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 제1 전자 기기(110)는 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 카메라, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 카메라, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 제1 전자 기기(110)에 더 포함되도록 구현될 수 있음을 알 수 있다.
도 1과 도 2에서의 전자 기기는 본 발명의 시스템에서 제공하는 음성 데이터를 수집하기 위한 제1 어플리케이션이 설치된 전자 기기와 청각장애인에게 음성 신호를 수어로 통역하기 위한 제2 어플리케이션이 설치된 전자 기기를 포함하며, 서버는 제1 어플리케이션이 설치된 복수의 단말기들로부터 각 장소에 대해 미리 설정된 상황 문구들에 대한 음성 데이터를 수집하고, 수집된 음성 데이터를 이용한 인공지능 학습을 통해 음성 데이터를 수어들로 통역하기 위한 데이터베이스를 구축하며, 이렇게 구축된 데이터베이스를 제공함으로써, 제2 어플리케이션이 설치된 단말기 예를 들어, 청각장애인용 단말기에서 특정 장소에서 입력되는 음성 데이터를 미리 구축된 데이터베이스를 이용하여 음성 데이터에 대응하는 수어로 정확하게 통역할 수 있게 한다.
여기서, 서버는 제1 어플리케이션이 설치된 단말기들 각각에서 상황 문구들에 대한 음성 데이터를 수집하기 위한 다양한 기능을 제공할 수 있으며, 제2 어플리케이션이 설치된 단말기에서 제2 어플리케이션을 이용하여 음성 데이터를 수어로 통역하기 위한 다양한 기능을 제공할 수 있다.
예를 들어, 본 발명의 서비스를 제공하는 서버는 제1 어플리케이션이 설치된 단말기의 사용자가 제공되는 장소들 중 어느 하나의 장소를 선택한 후 선택된 상황 문구들에 대한 음성 데이터를 해당 단말기의 사용자 음성으로 수집할 수 있는데, 이러한 상황 문구들에 대한 장소를 사용자의 입력에 의해 선택하는 것으로 한정하지 않으며, 사용자 단말기의 위치 정보에 기초하여 제1 어플리케이션에서 위치 정보에 대응하는 장소를 확인한 후 확인된 장소에 대응하는 상황 문구들을 제공함으로써, 해당 장소의 상황 문구들에 대한 사용자 음성을 수집할 수도 있다.
나아가, 제1 어플리케이션은 단말기의 백그라운드에서 실행되면서 사용자 단말기의 주변 소음 정도를 측정하고, 측정된 주변 소음 정도가 미리 설정된 기준 소음 정도보다 낮은 경우 음성 데이터 수집을 알리는 알림을 사용자 단말기에 제공함으로써, 해당 사용자가 특정 장소의 상황 문구들에 대한 사용자 음성을 입력할 수 있도록 하고, 이를 통해 서버에서 주변 소음이 적은 특정 장소의 상황 문구들에 대한 사용자 음성을 수집할 수 있다.
이 때, 제1 어플리케이션은 특정 장소들 중 어느 하나의 특정 장소에 대한 상황 문구들을 사용자 단말기를 통해 해당 사용자에게 추천함으로써, 어느 하나의 특정 장소에 대한 상황 문구들에 대한 사용자의 음성을 수집할 수 있으며, 상황에 따라 주변 소음 정도와 사용자 단말기의 위치 정보 모두를 고려하여 어느 하나의 특정 장소를 추천할 수도 있다.
서버는 이렇게 수집된 특정 장소별, 상황 문구별 각각에 대한 사용자들의 음성 데이터를 이용한 인공 지능 학습을 통해 음성 데이터에 대한 수어의 학습 모델을 생성할 수 있으며, 이렇게 생성된 학습 모델을 이용하여 음성 데이터에 대한 수어들의 데이터베이스를 구축할 수 있다. 서버는 이렇게 구축된 데이터베이스와 학습 모델을 제2 어플리케이션으로 제공할 수 있으며, 상황에 따라 학습 모델만을 제2 어플리케이션을 통해 제공하고, 데이터베이스에 저장된 데이터의 활용은 서버에서 이루어질 수도 있다.
서버에 구축된 데이터베이스는 일정 주기로 업데이트될 수 있으며, 청각장애인 단말기는 제2 어플리케이션의 사용 빈도에 따라 해당 사용자 즉, 청각장애인이 주로 이용하는 장소에 대한 정보를 획득할 수 있고, 이러한 맞춤형 정보에 기초하여 수어로 통역하기 위한 장소에 대한 정보를 추천할 수도 있다. 물론, 청각장애인 단말기의 위치 정보를 고려하여 이러한 장소에 대한 정보를 추천할 수도 있다.
나아가, 제2 어플리케이션이 설치된 단말기는 입력된 음성 데이터에 대한 수어 통역에 오류가 발생될 수도 있기 때문에 이러한 통역에 오류가 발생하고 이러한 오류 발생을 청각장애인이 수정하는 경우 수정된 정보를 해당 단말기의 데이터베이스에 저장할 수 있으며, 이렇게 수정된 정보를 서버로 제공함으로써, 데이터베이스의 데이터를 업데이트할 수도 있다.
이러한 본 발명에 따른 시스템에 대해 도 3과 도 4를 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 실시예에 따른 음성을 수어로 통역하기 위한 시스템에 대한 구성 블록도를 나타낸 것이고, 도 4는 본 발명의 시스템에 대한 일 실시예의 동작 흐름도를 나타낸 것이다.
도 3과 도 4를 참조하면, 본 발명의 실시예에 따른 시스템(300)은 수집부(310), 구축부(320), 통역부(330) 및 데이터베이스(DB)(340)를 포함하며, 수집부(310), 구축부(320) 및 DB(340)는 서버에 구성될 수 있고, 통역부(330)는 단말기에 구성될 수 있지만, 이에 한정하지 않으며 모든 구성 수단이 서버에 구성되어 단말기와의 통신을 통해 통역 서비스를 제공할 수도 있고, 통역부(330)와 DB(340)가 단말기에 구성되어 단말기에서 통역 서비스를 제공하며 일정 시간 주기로 서버와의 통신을 통해 이러한 정보를 업데이트할 수도 있다.
이러한 본 발명에 따른 시스템의 동작에 대해 구체적으로 설명하면, 수집부(310)에서 복수의 사용자 단말기들 즉, 제1 어플리케이션이 설치된 사용자 단말기들 각각으로부터 미리 설정된 특정 장소들 각각에서의 상황 문구들에 대한 음성들을 사용자 단말기들 각각의 사용자 음성으로 수집한다(S410).
여기서, 수집부(310)는 사용자 단말기들 각각의 위치 정보를 기반으로 위치 정보에 대응하는 특정 장소에 대한 상황 문구들을 해당 사용자 단말기로 추천함으로써, 상황 문구들에 대한 해당 사용자 단말기의 사용자 음성을 수집할 수 있다. 예를 들어, 수집부(310)는 사용자 단말기들 각각의 위치 정보를 수집하고, 수집된 위치 정보에 기초하여 특정 장소들 중 어느 하나의 장소 즉 특정 장소에 대응하는 위치에 있는 사용자 단말기로 해당 특정 장소에 대한 상황 문구들의 음성 수집을 요청하는 알림을 제공함으로써, 해당 특정 장소의 상황 문구들에 대한 사용자 단말기의 사용자 음성을 수집할 수 있다. 물론, 이러한 알림은 서버에서 제1 어플리케이션을 통해 제공할 수도 있고, 제1 어플리케이션에서 해당 사용자 단말기의 위치 정보에 기초하여 제공할 수도 있다.
나아가, 수집부(310)는 사용자 단말기들 각각에서 주변 소음 정도를 측정하고, 측정된 주변 소음 정도가 미리 설정된 기준 소음 정도보다 낮은 경우 특정 장소들 중 적어도 하나의 특정 장소에 대한 상황 문구들을 해당 사용자 단말기로 추천함으로써, 상황 문구들에 대한 해당 사용자 단말기의 사용자 음성을 수집할 수도 있다.
더 나아가, 수집부(310)는 상술한 사용자 단말기의 위치 정보와 소음 정도 모두를 고려하여 특정 장소에 따른 상황 문구들의 사용자 음성을 수집하도록 알림을 제공할 수도 있다.
수집부(310)에 의해 특정 장소들 각각의 상황 문구들에 대한 사용자들의 음성 데이터가 수집되면, 구축부(320)에서 상황 문구들에 대해 사용자 단말기들 각각의 사용자 음성으로 수집된 음성들을 이용한 인공지능 학습 예를 들어, 딥 신경만의 학습을 통해 특정 장소의 상황 문구들 각각의 음성 데이터를 수어들로 통역하기 위한 학습 모델을 생성하고, 생성된 학습 모델을 이용하여 음성 데이터에 따른 수어들을 데이터베이스(DB)(340)로 구축한다(S420).
여기서, 구축부(320)에 의해 구축된 데이터베이스(340)는 음성 데이터에 따른 수어들의 데이터만 저장하는 것이 아니라, 본 발명과 관련된 다양한 정보 예를 들어, 제1 어플리케이션을 설치한 단말기 정보(또는 사용자 정보), 제2 어플리케이션을 설치한 청각장애인 단말기 정보 등 본 발명과 관련된 모든 정보를 저장할 수 있다.
상황에 따라, 구축부(320)는 형태소 기반으로 음성 데이터를 수어들로 통역하기 위한 학습 모델을 생성할 수도 있다.
구축부(320)에 의해 구축된 통역을 위한 데이터베이스는 일정 시간 주기로 업데이트될 수 있으며, 상황에 따라 제2 어플리케이션을 통해 통역 오류를 수정하는 신호가 수신되는 경우 통역 오류를 수정하는 방향으로 업데이트될 수도 있다.
구축부(320)에 의해 데이터베이스가 구축된 후, 통역부(330)에서 제1 장소에서 통역을 위한 제1 음성 신호가 수신되면 구축부(320)에 의해 구축된 데이터베이스를 이용하여 수신된 제1 음성 신호를 제1 음성 신호에 대응하는 수어로 통역한다(S430).
이 때, 통역부(330)는 청각장애인 단말기의 위치 정보에 기초하여 제1 장소에서 제1 음성 신호가 수신되면 데이터베이스에 저장된 데이터 중 제1 장소에 대응하는 데이터를 이용하여 제1 음성 신호를 제1 음성 신호에 대응하는 수어로 통역할 수 있다.
나아가, 통역부(330)는 청각장애인 단말기의 사용자의 입력에 의해 제1 장소가 선택된 후 제1 음성 신호가 수신되면 데이터베이스에 저장된 데이터 중 제1 장소에 대응하는 데이터를 이용하여 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역할 수도 있다.
물론, 통역부(330)는 청각장애인 단말기의 위치 정보에 기초하여 제1 장소에 대한 후보 장소를 추천한 후 청각장애인의 입력에 기초하여 제1 장소가 선택될 수도 있으며, 후보 장소가 하나의 장소가 아닌 복수의 장소인 경우 청각장애인의 선택에 의해 제1 장소가 결정될 수도 있다.
이와 같이, 본 발명의 실시예에 따른 시스템은 은행 등 의료 환경에서 청각장애인에게 타인의 음성을 표준적 수어로 일관되게 통역할 수 있고, 청각장애인에게 타인의 음성에 대한 정보를 정확하게 수어로 제공함으로써, 청각장애인이 위치한 장소에서 청각장애인과 다른 일반 사람 간에 원활한 소통을 제공할 수 있다.
물론, 본 발명의 시스템은 청각장애인 단말기에 수어가 입력되는 경우 입력된 수어에 대한 음성 기능을 제공할 수 있으며, 이러한 음성 기능은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 수송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (4)

  1. 수어통역사를 보조하기 위한 음성-수어 통역 시스템에 있어서,
    복수의 사용자 단말기들 각각으로부터 미리 설정된 특정 장소들 각각에서의 상황 문구들에 대한 음성들을 상기 사용자 단말기들 각각의 사용자 음성으로 수집하는 수집부;
    상기 상황 문구들에 대해 상기 사용자 단말기들 각각의 사용자 음성으로 수집된 음성들을 이용한 학습을 통해 상기 상황 문구들 각각의 음성 데이터에 따른 수어들을 데이터베이스로 구축하는 구축부; 및
    제1 장소에서 통역을 위한 제1 음성 신호가 수신되면 상기 데이터베이스를 이용하여 상기 수신된 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역하는 통역부
    를 포함하는 음성-수어 통역 시스템.
  2. 제1항에 있어서,
    상기 수집부는
    상기 사용자 단말기들 각각의 위치 정보를 기반으로 상기 위치 정보에 대응하는 특정 장소에 대한 상황 문구들을 해당 사용자 단말기로 추천함으로써, 상기 상황 문구들에 대한 상기 해당 사용자 단말기의 사용자 음성을 수집하는 것을 특징으로 하는 음성-수어 통역 시스템.
  3. 제1항에 있어서,
    상기 통역부는
    청각장애인 단말기의 위치 정보에 기초하여 상기 제1 장소에서 상기 제1 음성 신호가 수신되면 상기 데이터베이스에 저장된 데이터 중 상기 제1 장소에 대응하는 데이터를 이용하여 상기 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역하는 것을 특징으로 하는 음성-수어 통역 시스템.
  4. 제1항에 있어서,
    상기 통역부는
    청각장애인 단말기의 사용자의 입력에 의해 상기 제1 장소가 선택된 후 상기 제1 음성 신호가 수신되면 상기 데이터베이스에 저장된 데이터 중 상기 제1 장소에 대응하는 데이터를 이용하여 상기 제1 음성 신호를 상기 제1 음성 신호에 대응하는 수어로 통역하는 것을 특징으로 하는 음성-수어 통역 시스템.
KR1020190083061A 2019-07-10 2019-07-10 의료 환경에서 음성을 수어로 통역하기 위한 시스템 KR20210007138A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190083061A KR20210007138A (ko) 2019-07-10 2019-07-10 의료 환경에서 음성을 수어로 통역하기 위한 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190083061A KR20210007138A (ko) 2019-07-10 2019-07-10 의료 환경에서 음성을 수어로 통역하기 위한 시스템

Publications (1)

Publication Number Publication Date
KR20210007138A true KR20210007138A (ko) 2021-01-20

Family

ID=74305010

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190083061A KR20210007138A (ko) 2019-07-10 2019-07-10 의료 환경에서 음성을 수어로 통역하기 위한 시스템

Country Status (1)

Country Link
KR (1) KR20210007138A (ko)

Similar Documents

Publication Publication Date Title
CN104718569B (zh) 改进语音发音
US8321226B2 (en) Generating speech-enabled user interfaces
US10860289B2 (en) Flexible voice-based information retrieval system for virtual assistant
US20220351721A1 (en) Speech interaction method, apparatus, device and computer storage medium
EP3627498B1 (en) Method and system, for generating speech recognition training data
WO2013074381A1 (en) Interactive speech recognition
CN111985240A (zh) 命名实体识别模型的训练方法、命名实体识别方法及装置
CN102124460B (zh) 用于网站地图的标准模式和用户界面
Bogdan et al. A practical experience on the Amazon Alexa integration in smart offices
CN111416756B (zh) 协议测试方法、装置、计算机设备及存储介质
US11216245B2 (en) Electronic device and multitasking supporting method thereof
CN114787814A (zh) 指代解析
US20220138422A1 (en) Determining lexical difficulty in textual content
CN110765280B (zh) 地址识别方法和装置
CN109634579A (zh) 代码生成方法、装置、计算机装置及存储介质
CN106202087A (zh) 一种信息推荐方法及装置
KR20200092446A (ko) 어체 변환이 가능한 기계 번역 방법 및 시스템
Sheppard et al. Development of voice commands in digital signage for improved indoor navigation using google assistant SDK
CN110088750B (zh) 在静态网页中提供场境功能的方法和系统
KR20210007138A (ko) 의료 환경에서 음성을 수어로 통역하기 위한 시스템
US11416686B2 (en) Natural language processing based on user context
CN116416018A (zh) 内容输出方法、装置、计算机可读介质及电子设备
Resurreccion et al. Lab 2–International Assistant Product Specification
KR20220168534A (ko) 인공지능 캐릭터의 대화 엔진 학습 방법 및 그 시스템
WO2019208211A1 (ja) サーバ装置

Legal Events

Date Code Title Description
E601 Decision to refuse application