KR20140081100A

KR20140081100A - 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법

Info

Publication number: KR20140081100A
Application number: KR1020120150472A
Authority: KR
Inventors: 예상국; 정해덕; 현우석; 임지영; 유일선; 송희경
Original assignee: 한국성서대학교 산학협력단
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2014-07-01
Also published as: KR101480038B1

Abstract

본 발명은 모바일장치와 서버 및 PC서버로서 이루어지고, 상기 모바일장치에는 음성/문자인식이 가능한 앱이 구현되어 명령의 음성/문자입력시 서버의 TTS, STT를 통하여 입력되는 음성을 문자로 입력되는 문자를 음성으로 각각 변환시켜 모바일장치에 전송토록 하여 확인토록 하며, 확인된 명령을 PC서버로 전송하여 PC서버에서 분석하고, 분석된 명령 중 서버로 전송할 명령과 실행정보를 구분하며, 서버전송 명령을 서버로 전송하여 해당값을 PC서버에 되돌리고, PC서버에 전송된 서버의 데이터를 모바일장치에 전송하여 음성/문자로 출력하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법에 관한 것이다.

Description

모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법{A Remote Control Method of Computer Systems Using Speech Recognition Technologies for Mobile Devices and Wireless Communication Techniques}

본 발명은 모바일기기와 서버 및 PC서버가 서로 연동되는 구성으로 이루어지고, 상기 모바일기기에는 음성인식이 가능한 앱이 구현되어 명령의 음성입력시 서버의 TTS(Text To Speech), STT(Speech To Text)를 통하여 입력되는 음성을 문자로 변환시킨 후 모바일기기에 전송토록 하여 확인토록 하며, 확인된 명령을 PC서버로 전송하여 PC서버에서 분석하고, 분석된 명령 중 서버로 전송할 명령과 실행정보를 구분하며, 서버전송 명령을 서버로 전송하여 해당 값을 서버에서 PC서버에 되돌리고, PC서버에 전송된 서버의 데이터를 모바일장치에 전송하여 음성 출력토록 설치되는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법에 관한 것이다.

현재, 이동 통신 단말기에는 피씨와 연동되어 주소록 등 데이터 백업, 저장, 콘텐츠 송, 수신을 할 수 있는 PCsync 기능이 제공되고 있다.

또한, PC와 이동통신 단말기 간에는 문자(SMS) 메시지 송수신, MMS 송수신, VoIP를 이용한 인터넷 전화, 화상 전화 등의 서비스를 수행하기 위하여 서로 연동되는 경우가 많다.

최근, 다양한 모바일용 컨텐츠가 제공되고, PC에서 작성되거나 생성되는 문서 또는 이미지를 휴대폰으로 전송하거나 휴대폰의 화면에 디스플레이 되도록 하며, MP3 플레이 기능, 카메라 기능을 겸한 휴대폰이 많이 보급되어 있어서, 상기 휴대폰에 저장된 사진 또는 동영상과 같은 이미지를 PC에 저장하고 PC에서 처리하거나 MP3 파일을 다운로드 받거나 전송하기 위하여 상기 PCsync 작업을 하는 경우가 많이 있다.

또한, 이동 통신 단말기를 이용하여 의사소통을 보조하는 기술도 개발되고 있다.

예를 들어, 문자 메시지를 음성으로 전환하여 상대방에게 전달하도록 하거나, 음성 메시지를 문자 메시지로 전환하여 사용자에게 전달하여 의사소통을 보조하도록 한다.

그러나, 이러한 단말기와 PC의 연동시스텀 및 이동통신 단말기를 이용한 이사소통 장치는, 시작장애인이나 지체 장애인들이 컴퓨터를 사용함에 있어 불편함이 따르게 되고, 작성된 문자를 다시 읽어주는 기능은 없어 문자나 문서의 확인이 불가능하게 되는 등의 단점이 있는 것이다.

상기와 같은 종래의 문제점들을 개선하기 위한 본 발명의 목적은, 시각장애인이나 지체장애인 등이 모바일 기기를 활용하여 컴퓨터를 쉽게 활용할 수 있으며, 음성에 의해 컴퓨터를 원거리에서 용이하게 제어할 수 있도록 하고, 원하는 기능을 음성인식에 의해 컴퓨터에서 수행할 수 있도록 하며, 문자나 자료등의 확인이 가능토록 되어 정확한 정보의 전달이 이루어지도록 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법을 제공하는데 있다.

본 발명은 상기 목적을 달성하기 위하여, 모바일기기와 서버 및 PC서버로서 이루어지고, 상기 모바일기기에는 음성인식이 가능한 앱이 구현되어 명령의 음성입력시 서버의 TTS, STT를 통하여 입력되는 음성을 문자로 변환시킨 후 모바일기기에 전송토록 하여 확인토록 하며, 확인된 명령을 PC서버로 전송하여 PC서버에서 분석하고, 분석된 명령 중 서버로 전송할 명령과 실행정보를 구분하며, 서버전송 명령을 서버로 전송하여 해당 값을 서버에서 PC서버에 되돌리고, PC서버에 전송된 서버의 데이터를 모바일장치에 전송하여 음성 출력토록 설치되는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법을 제공한다.

그리고, 본 발명은 모바일기기의 화면을 터치하여 PC서버의 마우스를 제어토록 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법을 제공한다.

더하여, 본 발명은 음성명령의 수행시 모든 음성내용을 글자로 입력시키거나 음성내용을 인식하여 해당 서비스를 실행토록 설치되는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법을 제공한다.

또한, 본 발명은 수신자의 입력 및 확인이 가능토록 되고, 수신자의 확인시 데이터의 첨부확인이 가능토록 되는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법을 제공한다.

이상과 같이 본 발명에 의하면, 시각장애인이나 지체장애인 등이 모바일 기기를 활용하여 컴퓨터를 쉽게 활용하며, 음성에 의해 컴퓨터를 원거리에서 용이하게 제어하고, 원하는 기능을 음성인식에 의해 컴퓨터에서 수행하며, 문자나 자료등의 확인이 가능하여 정확하게 정보가 전달되는 효과가 있는 것이다.

도1은 본 발명에 의한 모바일 기기를 이용한 컴퓨터 원격조정 상태도이다.
도2는 본 발명에 따른 컴퓨터 원격조정시 모바일기기의 화면사진이다.
도3은 본 발명의 모바일기기를 통한 컴퓨터 마우스의 제어상태도 이다.
도4는 본 발명의 모바일기기를 통한 컴퓨터 키보드의 제어상태도 이다.
도5는 본 발명에 따른 모바일기기에서의 음성명령수행 및 기능수행상태를 나타난 사진이다.
도6은 본 발명에 의한 모바일 기기를 이용한 컴퓨터 원격조정 상태를 도시한 흐름도이다.
도7 내지 도11은 각각 모바일 기기를 이용한 음식인식, 키보드제어, 마우스제어, 간편모드, 문자전송을 위한 순서도이다.
도12는 본 발명에 의한 모바일 기기를 이용한 컴퓨터 원격조정상태를 도시한 흐름도이다.
도13은 본 발명에 의한 모바일 기기에서 음성명령의 입력상태를 도시한 순서도이다.

이하, 첨부된 도면에 의거하여 본 발명의 실시예를 상세하게 설명하면 다음과 같다.

도2는 본 발명에 따른 컴퓨터 원격조정시 모바일기기의 화면사진이고, 도3은 본 발명의 모바일기기를 통한 컴퓨터 마우스의 제어상태도 이며, 도4는 본 발명의 모바일기기를 통한 컴퓨터 키보드의 제어상태도 이고, 도5는 본 발명에 따른 모바일기기에서의 음성명령수행 및 기능수행상태를 나타난 사진이며, 도6은 본 발명에 의한 모바일 기기를 이용한 컴퓨터 원격조정 상태를 도시한 흐름도이고, 도7 내지 도11은 각각 모바일 기기를 이용한 음식인식, 키보드제어, 마우스제어, 간편모드, 문자전송을 위한 순서도이며, 도12는 본 발명에 의한 모바일 기기를 이용한 컴퓨터 원격조정상태를 도시한 흐름도이고, 도13은 본 발명에 의한 모바일 기기에서 음성명령의 입력상태를 도시한 순서도이다.

본 발명의 컴퓨터 스템은, 모바일기기(100)와 구글등의 서버(200) 및 개인용 컴퓨터인 PC서버(300)가 서로 연결되는 구성으로 이루어진다.

이때, 상기 모바일기기(100)와 서버(200) 및 모바일기기(100)와 PC서버(300)는 무선통신으로 각각 연결되고, 상기 서버(200)와 PC서버(300)는 인터넷을 통하여 연결된다.

즉, 상기 통신 방법에 사용되는 무선통신은, 3G,WIFI,Bluetooth등을 사용토록 한다.

그리고, 상기 개인용 PC서버(300)는, 각 PC서버가 클라우드처럼 존재하여 사용자가 PC서버가 있는 내부나 PC서버와 떨어져 있는 외부에서도 접속이 가능하토록 설치된다.

또한, 자신의 PC서버(300)에서 모바일기기의 음성명령을 통하여 자료를 언제든지 불러서 자신의 PC서버의 자료를 내려받을 수 있다.

더하여, 상기 모바일기기(100)와 PC서버(300)가 동일한 실내에 위치할 경우 PC서버(300)의 사운드장치를 이용하여 처리결과를 음성출력토록 설치되고, 모바일기기(100)와 PC서버(300)가 서로 떨어져 있을 경우 모바일기기(100)의 사운드장치를 이용하여 처리결과를 음성출력 토록 설치된다.

그리고, 상기 모바일기기(100)는, 음성인식 또는 문자인식을 이용하여 원격으로 PC서버(300)를 제어토록 설치된다.

즉, 상기 모바일기기(100)는, 서버(200)에 설치된 음성인식 또는 문자인식 프로그램을 사용하거나 서버(200)로 부터 문자인식(TTS:Text To Speech) 및 음성인식(STT:Speech to text)을 위한 응용프로그램을 다운받아 사용한다.

더하여, 상기 모바일기기(100)는, 모바일기기 터치패드의 키보드 입력 또는 드래그동작에 의해 PC서버(300)의 키보드 또는 마우스를 제어토록 설치된다.

또한, 상기 모바일기기(100)는, 간편모드 기능이 구비되어 한번의 동작에 의해 명령의 수행이 가능토록 되면서 음성에 의한 문자 및 메시지의 전달이 가능토록 설치된다.

상기와 같은 구성으로 이루어진 본 발명의 동작을 설명한다.

도2 내지 도13에서 도시한 바와같이 본 발명은, 모바일기기(100)의 음성인식(STT)을 이용하여 원격지에서 개인용 컴퓨터인 PC서버(300)를 제어한다.

즉, PC서버(300)의 사용이 불편한 시각장애인이나 지체 장애인들이 각자 휴대하고 있는 모바일기기(100)의 음성인식을 통하여 음성으로 PC서버(300)의 모든 기능을 제어한다.

더하여, 상기 PC서버를 통하여 원하는 정보들 예를들어 E-Mail 작성, 문서작성, 계산, 날씨정보, 일정관리 등 사용자가 원하는 기능을 음성으로 PC서버(300)에 전달하고, PC서버에서 이를 실행한 후 사용자의 모바일기기(100)를 통하여 음성으로 결과물을 출력토록 한다.

이때, 사용자는 모바일기기(100)의 음성입력은 물론 모바일기기(100) 자체를 통하여 PC서버(300)를 제어토록 한다.

그리고, 시각장애인일 경우 PC서버(300)에 저장되어 있는 읽고 싶은 문서를 서버(200)의 TTS를 통하여 음성으로 변환시켜 문서의 내용을 읽어준다.

이때, 상기 모바일기기(100)와 PC서버(300)의 통신은 무선통신을 이용(3G,WIFI,<Bluetooth(내부접속)>)하면서 각 개인의 PC서버(300)는 모바일기기(100)와 연결될 경우 클라우드처럼 존재하게 된다.

계속하여, 상기 모바일기기(100)와 PC서버(300)는, 사용자가 PC서버(300)가 있는 내부나 PC서버(300)와 떨어져 있는 외부에서도 접속이 가능하여, 자신의 PC서버(300)에서 자신의 자료를 언제든지 음성명령으로 불러서 자신의 PC서버 자료를 내려 받을 수 있게 된다.

이때, 상기 모바일기기와 PC서버가 동일한 실내에 위치할 경우 PC서버의 사운드장치를 이용하여 처리결과를 음성 출력토록 하고, 상기 모바일기기와 PC서버가 서로 떨어져 있을 경우 모바일기기의 사운드장치를 이용하여 처리결과를 음성출력 토록 한다.

본 발명에 따른 동작을 구체적으로 설명하면 도1, 도6 및 도12에서와 같이, 사용자가 모바일기기(100)의 음성인식 응용 프로그램을 이용하여 명령을 내리면 서버(200)를 통하여 STT를 실행하고, 상기 구글등의 서버(200)에서 STT된 결과값을 모바일기기(100)로 전송한다.

이때, 상기 모바일기기(100)에선, STT된 문자를 TTS에 의해 음성으로 출력하여 사용자의 음성명령이 정확하게 문자로 변환되었는지를 확인 한 후 STT로 받은 결과 값을 PC서버(300)로 전송한다.

그리고, 상기 PC서버(300)는 해당 명령을 분석하여 서버(200)로 보낼 정보와 PC서버(300)의 실행정보를 구분하고, 해당 명령중 서버(200)를 이용할 정보가 있을 경우 서버(200)로 명령을 전송한다.

더하여, 상기 서버(200)는 해당되는 서비스를 분석하여 해당되는 결과 값을 PC서버(300)에 되돌려주고, 상기 서버(200)에서 PC서버(300)에 전송되는 결과 값은 사용자에게 모바일기기(100)의 사운드를 통하여 음성으로 출력토록 한다.

즉, 상기 모바일기기(100)의 음성인식을 이용하여 PC서버(300)로 명령을 전송함으로써 자신이 원하는 작업을 실행하는 것이다.

이를 통하여, 시각장애인이 음성만으로 문자메시지를 작성할 수 있음은 물론 작성된 문자를 TTS로 다시금 들려주어 확인이 가능토록 되어 정확인 명령의 전달이 가능토록 된다.

상기와 같이 모바일기기(100)와 PC서버(300) 및 서버(200)는, 도2와 같이 자신의 IP를 확인한 후 간단한 클릭으로 실행가능 토록 되고, 지체 장애인의 경우 시작 프로그램에 등록시 자동으로 실행토록 하는 것이 바람직하다.

즉, 사용자가 서버에 표시되는 IP를 입력하거나, 자주 사용하는 주소를 데이터베이스에 등록하여 간단한 클릭으로 접속한다.

또한, 상기 모바일기기(100)의 시행시 저장된 데이터베이스에서 해당 정보를 찾아와 사용토록 한다.

더하여, 도2 및 도9에서와 같이 모바일기기(100)의 화면을 터치하여 컴퓨터의 마우스를 제어하고, 화면에 표시된 더블클릭, 좌클릭, 우클릭 버튼을 사용토록 함으로써 PC서버(300)의 마우스 제어가 가능하게 된다.

그리고, 도3 및 도8에서와 같이, 모바일기기(100)를 터치한 상태에서 이동된 x 또는 y방향으로 이동하면 PC서버(300)의 x 또는 y방향으로 커버가 이동하여 원격지에서 모바일기기로 마우스의 기능을 수행하게 된다.

또한, 도4에서와 같이 모바일기기(100)의 화면을 터치하여 출력되는 버튼이 PC서버(300)의 키보드와 동일한 기능을 수행하여 원격지에서 PC서버(300)의 키보드조작이 가능토록 된다.

계속하여, 모바일기기(100)의 음성명령 입력에 의한 동작은 도5 및 도7에서와 같이, 모바일기기(100)의 화면을 터치 한 후 수행할 명령을 음성으로 실행시킨다.

즉, 화면의 상단을 터치하여 음성명령 실행시 모든 음성 내용을 PC서버에서 글자로 타이핑 시켜주고, 화면의 하단을 터치하여 음성명령 실행시 모든 음성 내용을 인식하여 해당 서비스를 실행시켜 준다.

예를들어, ‘오늘의 날씨를 알려 줘!’ 명령을 내리면 ‘오늘은 20도이고, 날씨는 맑음’이라고 음성 안내를 해준다.

또한, 사용자가 외부에서 ‘문서 폴더의 회의자료 보내줘’ 라고 하면 해당 폴더의 자료를 찾아서 사용자의 모바일기기(100) 또는, 사용자가 원하는 PC서버(300)로 자료를 전송시켜준다.

더하여, 상기 모바일기기(100)를 통하여‘메모장 실행’이라고 말하면 메모장을 실행시켜주며, 그 상태에서 상단 터치 후 ‘안녕하세요’라고 말하게 되면, 메모장에 ‘안녕하세요’를 문자로 입력시켜 준다.

이때, 도13과 같이 음성 입력의 방식은 STT로 전송되어온 값을, 자소를 분리하여 해당 값 한 개씩 타이핑 시킨다.

그리고, 도5 및 도11에서와 같이, 모바일기기(100) 화면의 윗부분을 터치할 경우 음성인식 메시지 보내기가 처음부터 실행토록 설치되고, 화면의 하단 부분을 터치할 경우 음성인식이 실행되지 않았거나, 중간에 인식에 실패한 경우 수동으로 음성인식을 실행시킬 수 있도록 한다.

100...모바일기기
200...서버
300...개인용컴퓨터

Claims

모바일기기의 음성인식을 이용하여 문자를 작성하고, 작성된 문자를 모바일기기의 음성문자로 출력하여 확인하며, 확인된 문자를 PC서버에 전송하여 PC서버를 제어토록 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 컴퓨터 시스템 원격조절방법은, 모바일기기와 서버 및 PC서버로서 이루어지고, 상기 모바일기기에는 음성인식이 가능한 앱이 구현되어 명령의 음성입력시 서버의 STT를 통하여 입력되는 음성을 문자로 변환시킨 후 모바일기기에 전송 TTS에 의해 음성으로 출력하여 확인토록 하며, 확인된 명령을 PC서버로 전송하여 PC서버에서 분석하고, 분석된 명령 중 서버로 전송할 명령과 실행정보를 구분하며, 서버전송 명령을 서버로 전송하여 해당 값을 서버에서 PC서버에 되돌리고, PC서버에 전송된 서버의 데이터를 모바일기기에 전송하여 음성 출력토록 설치되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기의 화면을 터치하여 PC서버의 마우스 또는 키보드를 제어토록 하는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기는, 음성명령의 수행시 모든 음성내용을 글자로 입력시키거나 음성내용을 인식하여 해당 서비스를 실행토록 설치되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기는, 음성명령에 의한 수신자의 입력 및 확인이 가능토록 되고, 수신자의 확인시 데이터의 첨부확인이 가능토록 되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제2항에 있어서, 상기 모바일기기와 PC서버는, 3G,WIFI,Bluetooth중에서 선택되는 어느 하나를 사용하여 연결되며,
상기 모바일기기와 PC서버가 동일한 실내에 위치할 경우 PC서버의 사운드장치를 이용하여 처리결과를 음성출력토록 설치되고,
상기 모바일기기와 PC서버가 서로 떨어져 있을 경우 모바일기기의 사운드장치를 이용하여 처리결과를 음성출력 토록 설치되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기는, 문자로 입력되는 명령을 통하여 원격으로 PC서버를 제어토록 설치되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기는, 간편모드 기능이 구비되어 한번의 동작에 의해 명령의 수행이 가능토록 설치되는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.
제1항에 있어서, 상기 모바일기기의 음성 입력의 방식은 STT로 전송되어온 값을, 자소를 분리하여 해당 값 한 개씩 타이핑 시키도록 하는 것을 특징으로 하는 모바일 기기 음성기술과 무선통신 방법을 이용한 컴퓨터 시스템 원격 조정방법.