KR100702789B1 - 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법 - Google Patents

멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법 Download PDF

Info

Publication number
KR100702789B1
KR100702789B1 KR1020050017334A KR20050017334A KR100702789B1 KR 100702789 B1 KR100702789 B1 KR 100702789B1 KR 1020050017334 A KR1020050017334 A KR 1020050017334A KR 20050017334 A KR20050017334 A KR 20050017334A KR 100702789 B1 KR100702789 B1 KR 100702789B1
Authority
KR
South Korea
Prior art keywords
voice
modal
communication terminal
mobile
mobile communication
Prior art date
Application number
KR1020050017334A
Other languages
English (en)
Other versions
KR20060096654A (ko
Inventor
김경민
채상호
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020050017334A priority Critical patent/KR100702789B1/ko
Publication of KR20060096654A publication Critical patent/KR20060096654A/ko
Application granted granted Critical
Publication of KR100702789B1 publication Critical patent/KR100702789B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J1/00—Containers specially adapted for medical or pharmaceutical purposes
    • A61J1/14—Details; Accessories therefor
    • A61J1/20—Arrangements for transferring or mixing fluids, e.g. from vial to syringe
    • A61J1/22—Arrangements for transferring or mixing fluids, e.g. from vial to syringe with means for metering the amount of fluid
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0015—Devices specially adapted for taking medicines
    • A61J7/0053—Syringes, pipettes or oral dispensers

Abstract

본 발명은 특정 특정 모바일 커뮤니티 서비스에 적용하여 음성 및 문자정보를 융합하여 제공할 수 있는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법이 개시되어 있다. 상기 시스템은, 왑/웹 브라우저를 통해 인터넷에 접속하고, 음성 데이터와 현재 URL(Uniform Resource Locator)을 전송하는 이동통신 단말; 상기 이동통신 단말에서 전송된 현재 URL을 이용하여 음성인식 문법을 매핑하고 이동할 새로운 페이지의 타겟 URL을 생성하는 멀티모달 플랫폼; 상기 멀티모달 플랫폼로부터 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하는 ASR(Automatic Speech Recognition) 서버; 가입자의 음성 요청에 따라 상기 멀티모달 플랫폼에 의해 왑 이나 멀티모달 커뮤니티 어플리케이션의 컨텐츠를 등록하고 그에 따른 결과를 수신하여 상기이동통신 단말로 전달하는 모바일 커뮤니티 서버; 및 상기 모바일 커뮤니티 서버로부터 가입자의 음성에 따른 음성 컨텐츠 등록요청을 수신하고, 그 결과를 리턴하는 웹서버로 구성되어 있다.
멀티모달, 싸이월드, 커뮤니티, 모바일, 음성인식

Description

멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법{Mobile Service System Using Multi-Modal Platform And Method Thereof}
본 명세서에서 첨부되는 다음의 도면 들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명에 따른 멀티모달 플랫폼을 이용한 모바일 서비스 시스템의 개략적인 구성도이다.
도 2는 이동통신 단말의 구성을 나타낸 블록도이다.
도 3은 도 2의 음성인식을 위한 서버의 구성을 나타낸 블록도이다.
도 4는 본 발명에 따른 멀티모달 플랫폼을 이용한 모바일 서비스 방법을 설명하기 위한 동작 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 모바일 서비스 방법을 설명하기 위한 동작 흐름도이다.
< 도면의 주요 부분에 대한 부호 설명>
10: 이동통신 단말기 11: 마이크
12: EVRC 엔코더 13: 멀티모달 모듈
14: 왑/웹 브라우저 15: 무선모듈
20: 교환기 30: 멀티모달 플랫폼
31: 네트웍 연결부 32: 음성 데이터 변환부
33: 음성인식 문법 매핑부 34: 전역 문법 매핑부
35: 타겟 URL 생성부 36: 데이터 베이스
40: ASR(Automatic Speech Recognition) 서버
50: 모바일 커뮤니티 서버 60: 웹서버
본 발명은 멀티모달 플랫폼을 이용한 무선 왑 서비스에 관한 것으로서, 보다 상세하게는 멀티모달 기술을 특정 모바일 커뮤니티 서비스에 적용하여 음성 및 문자정보를 융합하여 제공할 수 있는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법에 관한 것이다.
이동통신 단말기가 보급되면서 이동통신 단말기에서도 인터넷상의 정보를 이용하고자 하는 필요성이 증가하고 있으며, 이러한 이동통신 단말기는 하드웨어의 성능, 통신망의 속도, 화면의 크기, 입력장치 등이 PC와 비교하여 그
성능과 제약조건이 현저한 차이가 있어서 종래의 PC와 유선 인터넷 망을 대상으로 하는 인 터넷 브라우저와 콘텐츠를 그대로 이용하기에는 문제점이 많이 있었다. 그러나 이러한 문제점은 WAP 등과 같이 새로운 콘텐츠 형식과 입력방식(예를 들면 숫자 버튼을 이용한 네비게이션)을 통해 해결되었으나, 이동통신 단말기의 작은 화면에서 동시에 많은 메뉴와 링크를 보여주는데 한계가 있으며, 콘텐츠는 여러 단계로 이루어진 트리(Tree)형식의 계층으로 구성되어 초기에 설정된 웹 페이지의 메뉴에서 사용자가 원하는 자료를 구비한 웹 페이지로 이동하기 위해서는 연결된 링크들을 따라 특정키를 연속해서 입력해야 최종 콘텐츠에 도달할 수 있다. 따라서, URL 등의 문자의 입력과 트리를 따라 연속적으로 선택하기 위하여 특수 기능키를 클릭해야하므로 접속에 필요한 시간이 늘어나는 문제점이 있다.
따라서, 음성 인식기가 내장된 이동통신 단말기를 통해 상기한 바와 같은 접속에 따른 불편함을 해결하는 시도가 있었다.
그러나 음성인식이 가능한 이동통신 단말기는 별도의 음성인식 모듈을 구비해야 하며, 이러한 음성인식이 가능한 이동통신 단말기는 내장된 메모리의 음성 명령어와 동일한 음성 데이터만을 처리할 수 있으므로, 상기 이동통신 단말기의 저장수단의 자원을 소비하고 별도의 모듈을 구비해야 하기 때문에 이동통신 단말기 내부의 공간을 소비하게 되는 문제점이 있다. 그러므로 Voice XML 과 음성인식 기술을 사용하여 이동통신 단말기의 좁은 화면과 한정된 키 입력의 제약으로부터 벗어나 명령어나 음성을 통해 서비스를 제공하고 있다.
한편, 유선에서 활성화되어 있는 1 인 미디어 및 커뮤니티 서비스(예를 들면, 네이트의 싸이월드, 네이버의 블로그 등)가 모바일에 적용되고 있다. 따라서, 가입자는 모바일의 왑을 이용해 자신의 미니홈피를 열람하고 포스팅할 수 있으며, 타인의 미니홈피도 조회할 수 있다. 모바일에 적용된 이러한 커뮤니티 서비스는 WAP 기반의 서비스와 휴대폰 애플리케이션 형태의 서비스가 있을 수 있다.
상기 모바일 기반 커뮤니티 서비스에 멀티모달 기술을 적용하여 음성과 문자정보를 융합할 수 있는 서비스에 대한 연구가 진행중이다.
따라서, 상기한 종래 기술의 제반 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 멀티모달 기술을 특정 모바일 커뮤니티 서비스에 적용하여 음성 및 문자정보를 융합하여 제공함으로써, 자판을 통해 불편하게 정보를 포스팅하지 않고, 간단하게 음성으로 포스팅할 수 있어 불편한 입력 제한을 뛰어넘을 수 있는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 제 1 관점에 따른 본 발명의 멀티모달 플랫폼을 이용한 모바일 서비스 시스템은, 왑/웹 브라우저를 통해 인터넷에 접속하고, 음성 데이터와 현재 URL(Uniform Resource Locator)을 전송하는 이동통신 단말; 상기 이동통신 단말에서 전송된 현재 URL을 이용하여 음성인식 문법을 매핑하고 이동할 새로운 페이지의 타겟 URL을 생성하는 멀티모달 플랫폼; 상기 멀티모달 플랫폼로부터 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하는 ASR(Automatic Speech Recognition) 서버; 가입자의 음성 요청에 따라 상기 멀티모달 플랫폼에 의해 왑 이나 멀티모달 커뮤니티 애플리케이션의 컨텐츠를 등록하고 그에 따른 결과를 수신하여 상기이동통신 단말로 전달하는 모바일 커뮤니티 서버; 및 상기 모바일 커뮤니티 서버로부터 가입자의 음성에 따른 음성 컨텐츠 등록요청을 수신하고, 그 결과를 리턴하는 웹서버를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 제 2 관점에 따른 본 발명의 멀티모달 플랫폼을 이용한 모바일 서비스 시스템은, 무선 네트워크를 통해 인터넷에 접속하는 브라우저, 마이크로 입력되는 음성 데이터를 변환하는 엔코더, 및 상기 브라우저로부터 현재 접속중인 사이트의 URL 정보와, 상기 엔코더에서 변환된 음성 데이터와, 이동통신 단말기의 정보를 멀티모달 서버로 전송하는 멀티모달 모듈을 구비한 이동통신 단말; 상기 이동통신 단말에서 전송된 현재의 URL 정보로부터 음성인식에 필요한 문법을 결정하고, 상기 음성인식 문법을 상기 음성 데이터와 함께 ASR 서버로 전송하며, 상기 음성인식 서버에서 인식된 결과를 통해 접속할 타겟 URL을 생성하여 상기 이동통신 단말로 전송하는 멀티모달 플랫폼; 상기 멀티모달 플랫폼에서 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하고, 인식된 결과를 상기 멀티모달 플랫폼으로 전송하는 ASR 서버; 및 상기 멀티모달 플랫폼으로부터 전송된 타겟 URL을 이용하여 상기 이동통신 단말이 접속하는 웹 서버를 포함한다.
또한, 본 발명에 따른 멀티모달 플랫폼을 이용한 모바일 서비스 방법은, A) 이동통신 단말의 제어부가, 특정키에 의한 왑/웹 브라우저가 실행되었는지를 판단하고, 상기 왑/웹 브라우저가 실행된 경우, 단말의 마이크로 입력되는 음성을 엔코더에서 변환하여 저장하고, 상기 저장된 정보를 초기 설정된 페이지의 URL과 함께 전송하는 단계; B) 상기 멀티모달 플랫폼이, 상기 이동통신 단말로부터 전송된 현재 페이지의 URL을 이용하여 음성인식에 필요한 음성인식 문법을 생성하고, 생성된 음성인식 문법을 음성 데이터와 함께 ASR 서버로 전송하는 단계; C) 상기 음성인식 서버가, 상기 전송된 음성 데이터와 음성인식 문법을 이용하여 전송된 음성을 인식하고, 인식된 결과를 상기 멀티모달 플랫폼으로 전송하는 단계; D) 상기 모바일 커뮤니티 서버가, 상기 멀티모달 플랫폼으로부터 가입자의 녹음된 음성 메지시 저장 요청 메시지를 수신한 후, 상기 요청 메시지에 따른 컨텐츠 등록요청을 웹서버로 전달하는 단계; 및 E) 상기 웹서버가, 상기 컨텐츠 등록요청에 따른 응답 메시지를 상기 모바일 커뮤니티 서버 및 상기 멀티모달 플랫폼을 통해 상기 이동통신 단말로 전송하는 단계를 포함한다.
따라서, 본 발명에 의하면, 멀티모달 기술을 특정 모바일 커뮤니티 서비스에 적용하여 음성 및 문자정보를 융합하여 제공함으로써, 음성인식을 기반으로 한 타인의 미니홈피 이동이나, 음성 커맨드 등을 활용하여 편리하게 어플리케이션을 사용할 수 있게 해준다.
상기 첨부 도면의 구성요소 들에 참조부호를 부가함에 있어서는 동일한 구성요소들에 한해서 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의하여야 한다. 또한, 하기 설명 및 첨부 도면에서 구체적인 처리 흐름과 같은 많은 특정 상세 들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세 들 없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명은 모바일 기반 커뮤니티 애플리케이션에 멀티모달 기술을 적용하고자 하는 것으로서, 멀티모달 기술을 적용하게 되면 자판을 통해 불편하게 정보를 포스팅하지 않고 간단하게 음성으로 포스팅할 수 있어 불편한 입력 제한을 뛰어넘을 수 있고, 음성인식을 기반으로 한 타인의 미니홈피 이동이나 음성 명령 등을 활용하여 편리하게 어플리케이션을 사용할 수 있게 해준다.
이하, 첨부된 도 1 및 도 5에 의거하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하면 다음과 같다.
도 1은 본 발명에 따른 멀티모달 플랫폼을 이용한 모바일 서비스 시스템의 구성을 보인 도이다.
이에 도시된 바와 같이, 상기 시스템은, 왑/웹 브라우저(14)를 통해 인터넷에 접속하고, 음성 데이터와 현재 URL(Uniform Resource Locator)을 전송하는 이동통신 단말(10)과, 교환기(20)와, 상기 이동통신 단말(10)에서 전송된 현재 URL을 이용하여 음성인식 문법을 매핑하고 이동할 새로운 페이지의 타겟 URL을 생성하는 멀티모달 플랫폼(30)과, 상기 멀티모달 플랫폼(30)로부터 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하는 ASR(Automatic Speech Recognition) 서버(40)와, 가입자의 음성 요청에 따라 상기 멀티모달 플랫폼(30)에 의해 왑 이나 멀티모달 커뮤니티 애플리케이션의 컨텐츠를 후술할 웹서버(60)에 등록하고 그에 따른 결과를 수신하여 상기 이동통신 단말(10)로 전달하는 모바일 커뮤니티 서버(50)와, 그리고 상기 모바일 커뮤니티 서버(50)로부터 가입자의 음성에 따른 음성 컨텐츠 등록요청을 수신하고, 그 결과를 리턴하는 웹서버(60)로 구성되어 있다.
도 2는 이동통신 단말의 구성을 나타낸 블록도로서, 상기 이동통신 단말(10) 은 통화부(미도시), 마이크(11), EVRC 엔코더(12), 멀티모달 모듈(13), 왑/웹 브라우저(14), 및 무선모듈(15)로 구성된다.
상기 이동통신 단말(10)은 멀티모달 어플리케이션을 내장하며, 가입자의 미니홈피 조회 및 음성/문자 포스팅, 음성/문자 보기 기능 등을 제공하게 된다.
상기 엔코더(12)는 상기 마이크(11)를 통해 입력된 음성을 압축 변환하며, 상기 엔코더(12)는 8 Kbps EVRC 또는 13Kbps QCELP 이고, 이동통신 단말기의 종류에 따라 다른 종류의 엔코더를 사용할 수 있으며, 바람직하게 상기 엔코더(120)는 8 Kbps EVRC 엔코더이다.
상기 멀티모달 모듈(13)은 상기 엔코더(12)에서 압축 변환된 음성 데이터와, 상기 브라우저(14)로부터 검출한 현재 페이지의 URL 정보와, 단말기 정보(예를 들면, 브라우저의 종류, 이동통신 전화번호 등)를 무선모듈(15)을 통해 음성인식 시스템(미도시)으로 전송한다.
도 3은 도 2의 음성인식을 위한 서버의 구성을 나타낸 블록도이다.
음성인식을 위한 서버는, 음성인식을 위하여 고유의 음성인식 문법과 인식결과에 따라 새로 이동할 타겟 URL을 생성하는 멀티모달 플랫폼(30)과 상기 멀티모달 플랫폼(30)으로부터 전송된 음성 데이터와, 음성인식 문법을 이용하여 음성을 인식하고, 인식결과를 상기 멀티모달 플랫폼(30)으로 전송하는 ASR(Automatic Speech Recognition) 서버(40)로 구성된다.
상기 멀티모달 플랫폼(30)은 네트웍 연결부(31)와, 음성 데이터 변환부(32)와, 음성인식 문법 매핑부(33)와, 전역 문법 매핑부(34)와, 타겟 URL 생성부(35) 와, 데이터 베이스(36)로 구성된다.
상기 네트웍 연결부(31)는 이동통신 단말(미도시)과 접속하여 데이터를 송수신하며, 바람직하게 TCP/IP 프로토콜을 이용하여 접속한다.
상기 음성 데이터 변환부(32)는 상기 네트웍 연결부(31)와 연결되며, 상기 네트웍 연결부(31)에서 전송된 음성 데이터를 음성인식 엔진이 처리할 수 있도록 변환하며, 바람직하게 PCM 형식으로 변환되고, 음성인식 엔진이 이동통신 단말에서 전송한 압축 포맷(예를 들면, EVRC 포맷)을 직접 처리할 수 있는 경우 상기 변환과정은 생략이 가능하다.
상기 음성인식 문법 매핑부(33)는 상기 네트웍 연결부(31)에서 전송된 URL로부터 그 페이지에 유효한 고유 음성인식 문법을 검출하여 상기 전송된 URL과 매핑하는 것으로서, 소정의 음성명령에 대하여 현재 페이지에 관련하여 발
생 되어야 할 조건을 매핑한다. 즉, 음성인식 문법은 소정의 URL에 대하여 발생 되어야 할 소정의 음성명령을 명시하며, 상기 URL에서 입력 가능한 음성명령 리스트가 음성인식 문법이 된다. 예를 들면, 1 인 미디어 및 커뮤니티 서비스를 출력하는 페이지에서 회사의 이름(예를 들면, 네이트, 네이버 등)을 음성 입력하면, 상기 서비스와 관련된 회사이름의 리스트가 음성인식 문법이 되어, 상기 음성인식 문법과 입력된 URL(예를들면, 싸이월드(http://cyworld.nate.com), 블로그(http://blog.naver.com) 등)이 매핑된다.
상기 전역문법 매핑부(34)는 상기 음성인식 매핑부(33)에서 결정된 고유한 음성인식 문법과, 브라우저(미도시)의 현재 페이지에 관계없이 공통적으로 유효한 음성 명령(예를 들면, 도움말, 북마크 등)을 나타내는 음성인식 문법과 매핑한다.
상기 타겟 URL 생성부(35)는 상기 네트웍 연결부(31)와 상기 ASR 서버(40)와 연결되며 전송된 단말기 정보와 음성인식 결과에 따른 명령어를 이용하여 상기 명령어가 지정하는 URL을 이동할 타겟 URL로 생성하여 상기 네트웍 연결부(31)로 전송한다. 예를 들면, '싸이월드' 사이트에서의 '음성 포스팅' 또는 '타인이 남긴 문자 및 음성 메시지 리스트의 선택'을 음성 인식한 경우 상기 싸이월드 사이트의 하위 사이트 중에서 그에 상응하는 페이지를 볼 수 있는 URL을 타겟 URL로 설정한다.
상기 ASR(Automatic Speech Recognition) 서버(40)는 상기 멀티모달 플랫폼(30)와 연결되며, 상기 멀티모달 플랫폼(30)에서 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하며, 본 발명에서는 공지된 음성인식 시스템을 사용한다.
또한, 상기 ASR(Automatic Speech Recognition) 서버(40)는, 현재 표시되는 메뉴항목을 읽는 단순 음성명령과 여러 단계의 메뉴 트리를 가로지르는 단축 음성명령으로 구분하여 음성을 인식하게 되는데, 단순 음성명령의 경우에는, 사용자가 화면의 메뉴항목을 읽음으로써 이루어지며, 복합단어로 구성된 메뉴항목의 경우 여러 가지 대체 레이블(Alias)를 고려해야 한다. 예를 들어 "타인이 남긴 음성 메시지 확인"와 같은 메뉴는 사용자가 "타인의 음성 메시지"와 같이 줄여서 한 단어로 말할 수도 있기 때문에, 사용자의 편의를 위한 여러 가지 대체 레이블(Alias)이 문법(Grammar)에 추가된다.
한편, 단축 음성명령의 경우에는, 단말의 애플리케이션을 사용하는 사용자의 발성패턴(Corpus)을 수집하여 메뉴단계를 거치지 않고, 한번에 명령을 내리는 기능이다. 예를들어 "타인이 남긴 음성 메시지 리스트의 선택"과 같은 발성에 대해서 "음성 메시지" 선택과 더불어 "리스트 선택"이라는 구체적인 문구까지 설정 해주어 사용자의 편의를 제공한다. 상기 단축 음성명령을 지원하기 위해서는 상기 ASR(Automatic Speech Recognition) 서버(40)가 연속어 인식이 가능해야 하며, 문법(Grammar)이 ABNF(Augmented Backus-Naur Form) 형식이나 이와 동등한 형식의 문법구조를 수용할 수 있도록 구현된다.
도 4는 도 2는 본 발명에 따른 멀티모달 플랫폼을 이용한 모바일 서비스 방법을 설명하기 위한 동작 흐름도로서, 가입자의 음성 포스팅 과정을 설명하기 위한 것이다.
이하의 실시예에서는, 가입자가 단말의 왑/웹 브라우저(14)를 이용하여 음성 명령을 수행함으로써, 1 인 미디어 및 커뮤니티 서비스를 출력하는 페이지의URL(예를들면, 싸이월드(http://cyworld.nate.com), 블로그(http://blog.naver.com) 등)로 이동하고, 그 URL에서 '자신의 음성 포스팅' 또는 '타인이 남긴 문자 및 음성 메시지 리스트의 선택을 통하여 확인하기'를 수행하는 과정에 대하여 설명한다.
먼저, 상기 이동통신 단말(10)의 제어부(미도시)는 특정키에 의한 왑/웹 브라우저(14)가 실행되었는지를 판단하고(S40), 상기 왑/웹 브라우저(14)가 실행되지 않은 경우, 이동통신 단말기의 일반적인 기능을 수행하고(S41), 상기 왑/웹 브라우저(14)가 실행된 경우, 단말의 마이크로 입력되는 음성을 엔코더에서 변환하여 저장하고, 상기 저장된 정보를 초기 설정된 페이지의 URL(예를들면, 싸이월드(http://cyworld.nate.com), 블로그(http://blog.naver.com))과 함께 멀티모달 플랫폼(30)으로 전송한다(S42).
상기 단계(S42)에서, 상기 왑/웹 브라우저(14)가 실행된 경우, 상기 이동통신 단말(10)로 입력되는 가입자에 의한 음성 데이터와, 현재 페이지의 URL 정보와, 상기 이동통신 단말(10)의 정보를 상기 멀티모달 플랫폼(30)으로 전송하게 된다.
상기의 경우, 단말의 마이크(11)로부터 입력이 발생하였는지를 판단하고, 음성입력이 발생하지 않은 경우 일반적인 웹 서핑이 수행되며, 음성입력이 발생한 경우 상기 마이크(11)로부터 입력되는 음성을 상기 엔코더(12)에서 변환하여 상기 멀티모달 모듈(13)에 전송하고, 상기 변환된 음성 데이터가 전송되면 상기 멀티모달 모듈(13)은 현재 실행중인 왑/웹 브라우저(14)로부터 브라우저 정보와 현재 페이지의 URL 정보를 요청하고, 상기 변환된 음성 데이터와 상기 획득한 현재 페이지의 URL 정보와 이동통신 단말 정보(예를 들면, 브라우저 종류, 이동통신 전화번호 등)를 무선모듈(15)을 통해 상기 멀티모달 플랫폼(30)으로 전송하게 된다. 그러나 이는 이미 해당 기술분야의 기술자에게 공지된 기술이므로 더 이상의 설명은 생략하기로 한다.
이후, 상기 멀티모달 플랫폼(30)은 상기 이동통신 단말(10)에서 전송된 현재 페이지의 URL을 이용하여 음성인식에 필요한 음성인식 문법을 생성하고, 생성된 음성인식 문법을 음성 데이터와 함께 ASR 서버(40)로 전송한다(S43). 이때, 가입자는 상기 URL의 특정 페이지에서 음성 포스팅을 하기 위하여 녹음하기 메뉴를 선택한 후 음성녹음을 하게 된다.
또한, 상기 단계(S43)에서, 상기 멀티모달 플랫폼(30)은 음성인식을 요청하는 상기 이동통신 단말(10)과 접속하여 상기 이동통신 단말(10)로부터 전송되는 음성 데이터를 음성인식 엔진에서 처리할 수 있도록 PCM 변환함과 동시에 단말로부터 현재의 URL과 단말기 정보를 수신하고, 상기 수신된 현재의 URL 정보로부터 각 URL에 대응하는 고유 음성인식 문법과 매핑하며, 상기 매핑된 고유 음성인식 문법과 어느 페이지에서나 유효한 전역 음성인식 문법을 결합하게 된다.
이후, 상기 음성인식 서버(40)는 상기 전송된 음성 데이터와 음성인식 문법을 이용하여 전송된 음성을 인식하고, 인식된 결과를 상기 멀티모달 플랫폼(30)으로 전송한다(S44). 이때, 상기 음성인식 방법은 이미 공지된 음성인식 방법을 사용할 수도 있으며, 바람직하게는 화자독립 음성인식 방법을 이용하게 된다.
이후, 상기 모바일 커뮤니티 서버(50)는 상기 멀티모달 플랫폼(30)으로부터 음성인식된 결과 즉, 가입자의 음성 메지시(포스팅을 위해 녹음된 가입자의 음성) 저장 요청 메시지를 수신한 후(S45), 상기 요청 메시지에 따른 컨텐츠 등록요청을 상기 웹서버(60)로 전달하게 된다(S46).
이후, 상기 웹서버(60)는 상기 컨텐츠 등록요청에 따른 응답 메시지를 상기 모바일 커뮤니티 서버(50) 및 상기 멀티모달 플랫폼(30)을 통해 상기 이동통신 단말(10)로 전송한다(S47). 따라서, 상기의 과정을 통하여, 가입자는 자신의 음성 메시지가 포스팅 되었음을 인지하게 된다.
도 5는 본 발명의 다른 실시예에 따른 모바일 서비스 방법을 설명하기 위한 동작 흐름도이며, 상대방의 음성 포스팅 과정을 설명하기 위한 것이다.
먼저, 상기 이동통신 단말(10)의 제어부(미도시)는 특정키에 의해 상기 왑/웹 브라우저(14)를 실행한 후, 초기 설정된 페이지의 URL(예를들면, 싸이월드(http://cyworld.nate.com), 블로그(http://blog.naver.com))에서, 상대방에 의해 녹음된 음성 메시지 청취 요청 메시지를 상기 멀티모달 플랫폼(30)으로 전송한다(S51).
이후, 상기 멀티모달 플랫폼(30)은 상기 음성 메시지 청취 요청 메시지를 수신한 후 상기 모바일 커뮤니티 서버(50)로 전송한 함으로써, 음성 메시지 패치(Fetch)를 요청하게 된다(S52). 이후, 상기 모바일 커뮤니티 서버(50)는 상기 요청에 대한 응답으로 상대방에 의해 녹음된 음성 메시지가 있는 타겟 URL을 생성하여 전송함과 동시에 상기 음성 데이터 변환부(32)에 의해 변환된 상대방의 음성(예를 들면, EVRC 포맷)을 상기 이동통신 단말(10)로 전송한다(S53).
이후, 상기 이동통신 단말(10)은 상기 디스플레이 장치 및 스피커를 통해 상기 수신한 URL 페이지를 디스플레이 함과 동시에 가입자에게 상대방의 녹음된 음성을 출력한다(S54). 물론, 상대방의 녹음된 음성은 리스트화 되어 있으며, 가입자가 이들 중 취사선택하여 청휘할 수도 있다.
따라서, 가입자는 시공의 제약없이 자신 만의 미니홈프에 저장된 상대방이 녹음한 음성 및 문자 메시지를 시청할 수 있게 된다.
이상에서는 본 발명을 특정의 바람직한 실시예로서 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구 든지 다양한 변형이 가능할 것이다.
따라서, 본 발명에 의하면, 모바일을 통한 커뮤니티 서비스가 질적으로 향상되게 된다.
또한, 본 발명은 모바일 기기 입력의 불편함을 음성을 통해 간편화시키게 되며, 음성과 디스플레이를 동시에 제공함으로써 가입자에게 정보가 전달되는 정도가 크게 향상된다.

Claims (22)

  1. 왑/웹 브라우저를 통해 인터넷에 접속하고, 음성 데이터와 현재 URL(Uniform Resource Locator)을 전송하는 이동통신 단말;
    상기 이동통신 단말에서 전송된 현재 URL을 이용하여 음성인식 문법을 매핑하고 이동할 새로운 페이지의 타겟 URL을 생성하는 멀티모달 플랫폼;
    상기 멀티모달 플랫폼로부터 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하는 ASR(Automatic Speech Recognition) 서버;
    가입자의 음성 요청에 따라 상기 멀티모달 플랫폼에 의해 왑 이나 멀티모달 커뮤니티 애플리케이션의 컨텐츠를 등록하고 그에 따른 결과를 수신하여 상기이동통신 단말로 전달하는 모바일 커뮤니티 서버; 및
    상기 모바일 커뮤니티 서버로부터 가입자의 음성에 따른 음성 컨텐츠 등록요청을 수신하고, 그 결과를 리턴하는 웹서버를 포함하고,
    상기 ASR(Automatic Speech Recognition) 서버는,
    가입자로부터 수집된 음성을, 현재 표시되는 메뉴항목을 읽는 단순 음성명령과 여러 단계의 메뉴 트리를 가로지르는 단축 음성명령으로 구분하여 인식하며,
    상기 가입자로부터 입력되는 음성이 단순 음성명령인 경우, 사용자가 화면의 메뉴항목을 읽음으로써 이루어지는데, 사용자의 편의를 위한 여러 가지 대체 레이블(Alias)이 문법(Grammar)에 추가되고,
    상기 가입자로부터 입력되는 음성이 단축 음성명령의 경우, 연속어 인식을 구현하며, ABNF(Augmented Backus-Naur Form) 형식이 문법(Grammar)에 추가되는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  2. 제 1 항에 있어서, 이동통신 단말은,
    멀티모달 어플리케이션을 내장하며, 가입자의 미니홈피 조회 및 음성/문자 포스팅, 음성/문자 보기 기능을 제공하기 위하여,
    마이크를 통해 입력된 음성을 압축 변환하여 출력하는 엔코더;
    상기 엔코더로부터 압축 변환된 음성 데이터, 왑/웹 브라우저로부터 검출된 현재 페이지의 URL 정보 및 단말의 정보를 출력하는 멀티모달 모듈; 및
    상기 멀티모달로부터 상기 음성 데이터 및 상기 각 정보들을 입력받아 무선으로 음성인식 시스템으로 전송하는 무선모듈을 포함하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템
  3. 제 2 항에 있어서, 상기 엔코더는,
    8 Kbps EVRC 또는 13Kbps QCELP 이고, 이동통신 단말의 종류에 따라 다른 종류를 사용하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  4. 제 2 항에 있어서, 상기 단말의 정보는,
    왑/웹 브라우저의 종류, 이동통신 전화번호 중 어느 하나인 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  5. 제 1 항에 있어서, 상기 이동통신 단말 및 상기 멀티모달 플랫폼은,
    가입자의 음성 및 그 음성인식된 결과를 TCP 연결을 통해 상호간에 송수신하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 무선 네트워크를 통해 인터넷에 접속하는 왑/웹 브라우저, 마이크로 입력되는 음성 데이터를 변환하는 엔코더 및 상기 왑/웹 브라우저로부터 현재 접속중인 사이트의 URL 정보, 상기 엔코더에서 변환된 음성 데이터와 단말의 정보를 전송하는 멀티모달 모듈을 구비한 이동통신 단말;
    상기 이동통신 단말로부터 전송된 현재의 URL 정보로부터 음성인식에 필요한 문법을 결정하고, 음성인식 문법을 상기 음성 데이터와 함께 전송하며, 상기 음성인식 서버에서 인식된 결과를 통해 접속할 타겟 URL을 생성하여 상기 이동통신 단말로 전송하는 멀티모달 플랫폼;
    상기 멀티모달 플랫폼으로부터 전송된 음성 데이터와 음성인식 문법을 이용하여 음성을 인식하고, 인식된 결과를 상기 멀티모달 플랫폼으로 전송하는 ASR 서버;
    가입자의 음성 요청에 따라 상기 멀티모달 플랫폼에 의해 왑 이나 멀티모달 커뮤니티 어플리케이션의 컨텐츠를 등록하고 그에 따른 결과를 수신하여 상기이동통신 단말로 전달하는 모바일 커뮤니티 서버; 및
    상기 모바일 커뮤니티 서버로부터 가입자의 음성에 따른 음성 컨텐츠 등록요청을 수신하고, 그 결과를 리턴하는 웹서버를 포함하고,
    상기 ASR(Automatic Speech Recognition) 서버는,
    가입자로부터 수집된 음성을, 현재 표시되는 메뉴항목을 읽는 단순 음성명령과 여러 단계의 메뉴 트리를 가로지르는 단축 음성명령으로 구분하여 인식하며,
    상기 가입자로부터 입력되는 음성이 단순 음성명령인 경우, 사용자가 화면의 메뉴항목을 읽음으로써 이루어지는데, 사용자의 편의를 위한 여러 가지 대체 레이블(Alias)이 문법(Grammar)에 추가되고,
    상기 가입자로부터 입력되는 음성이 단축 음성명령의 경우, 연속어 인식을 구현하며, ABNF(Augmented Backus-Naur Form) 형식이 문법(Grammar)에 추가되는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  10. 제 9 항에 있어서, 상기 엔코더는,
    8 Kbps EVRC 또는 13Kbps QCELP 이고, 이동통신 단말의 종류에 따라 다른종류를 사용는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  11. 제 9 항에 있어서, 상기 단말의 정보는,
    왑/웹 브라우저의 종류, 이동통신 전화번호 중 어느 하나인 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  12. 제 9 항에 있어서, 상기 이동통신 단말 및 상기 멀디모달 플랫폼은,
    상기 가입자의 음성 및 그 음성 인식된 결과를 TCP 연결을 통해 상호 간에 송수신하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. A) 이동통신 단말의 제어부가, 특정키에 의한 왑/웹 브라우저가 실행 되었는지를 판단하고, 상기 왑/웹 브라우저가 실행된 경우, 단말의 마이크로 입력되는 음성을 엔코더에서 변환하여 저장하고, 상기 저장된 정보를 초기 설정된 페이지의 URL과 함께 전송하는 단계;
    B) 상기 멀티모달 플랫폼이, 상기 이동통신 단말로부터 전송된 현재 페이지의 URL을 이용하여 음성인식에 필요한 음성인식 문법을 생성하고, 생성된 음성인식 문법을 음성 데이터와 함께 ASR 서버로 전송하는 단계;
    C) 상기 음성인식 서버가, 상기 전송된 음성 데이터와 음성인식 문법을 이용하여 전송된 음성을 인식하고, 인식된 결과를 상기 멀티모달 플랫폼으로 전송하는 단계;
    D) 상기 모바일 커뮤니티 서버가, 상기 멀티모달 플랫폼으로부터 가입자의 녹음된 음성 메지시 저장 요청 메시지를 수신한 후, 상기 요청 메시지에 따른 컨텐츠 등록요청을 웹서버로 전달하는 단계; 및
    E) 상기 웹서버가, 상기 컨텐츠 등록요청에 따른 응답 메시지를 상기 모바일 커뮤니티 서버 및 상기 멀티모달 플랫폼을 통해 상기 이동통신 단말로 전송하는 단계를 포함하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  17. 제 16 항에 있어서, 상기 단계(A)의 음성은,
    단순 음성명령과 여러 단계의 메뉴 트리를 가로지르는 단축 음성명령으로 구분되는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  18. 제 16 항에 있어서, 상기 단계(A)는,
    A-1) 상기 이동통신 단말로 입력되는 가입자에 의한 음성 데이터와, 현재 페이지의 URL 정보와, 상기 이동통신 단말의 정보를 상기 멀티모달 플랫폼으로 전송하는 단계를 포함하는 것을 특징으로 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  19. 제 18 항에 있어서, 상기 단계(A-1)는,
    단말의 마이크로부터 입력이 발생 하였는지를 판단하고, 음성입력이 발생하지 않은 경우 일반적인 웹 서핑이 수행되며, 음성입력이 발생한 경우 상기 마이크로부터 입력되는 음성을 상기 엔코더에서 변환하여 멀티모달 모듈에 전송하고, 상기 변환된 음성 데이터가 전송되면 상기 멀티모달 모듈은 현재 실행중인 왑/웹 브라우저로부터 브라우저 정보와 현재 페이지의 URL 정보를 요청하고, 상기 변환된 음성 데이터와 상기 획득한 현재 페이지의 URL 정보와 이동통신 단말 정보를 무선모듈을 통해 상기 멀티모달 플랫폼으로 전송하는 것을 특징으로 하는멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  20. 제 16 항에 있어서, 상기 단계(A)는,
    상기 왑/웹 브라우저가 실행되지 않은 경우, 이동통신 단말기의 일반적인기능을 수행하는 단계를 더 포함하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  21. 제 16 항에 있어서, 상기 단계(B)는,
    가입자가, 상기 URL의 특정 페이지에서 음성 포스팅을 위한 녹음메뉴를 선택한 후 음성녹음을 함으로써 이루어지는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
  22. 제 16 항에 있어서, 상기 단계(B)에서,
    상기 멀티모달 플랫폼은, 음성인식을 요청하는 상기 이동통신 단말과 접속하여 상기 이동통신 단말로부터 전송되는 음성 데이터를 음성인식 처리할 수 있도록 PCM 변환함과 동시에 단말로부터 현재의 URL과 단말기 정보를 수신하고, 상기 수신된 현재의 URL 정보로부터 각 URL에 대응하는 고유 음성인식 문법과 매핑하며, 상기 매핑된 고유 음성인식 문법과 어느 페이지에서나 유효한 전역 음성인식 문법을 결합하는 것을 특징으로 하는 멀티모달 플랫폼을 이용한 모바일 서비스 방법.
KR1020050017334A 2005-03-02 2005-03-02 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법 KR100702789B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050017334A KR100702789B1 (ko) 2005-03-02 2005-03-02 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050017334A KR100702789B1 (ko) 2005-03-02 2005-03-02 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20060096654A KR20060096654A (ko) 2006-09-13
KR100702789B1 true KR100702789B1 (ko) 2007-04-03

Family

ID=37624144

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050017334A KR100702789B1 (ko) 2005-03-02 2005-03-02 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100702789B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100888340B1 (ko) * 2006-09-25 2009-03-10 에스케이 텔레콤주식회사 단말 브라우저 기반의 멀티모달 플러그인을 이용한 음성메시지 전송 시스템 및 그 방법
CN103631389A (zh) * 2013-11-29 2014-03-12 乐视致新电子科技（天津）有限公司 一种语音输入方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000049417A (ko) * 2000-02-29 2000-08-05 이만균 음성 인터넷 명령어 처리방법 및 시스템
KR20010076464A (ko) * 2000-01-26 2001-08-16 오기호 음성을 통한 인터넷 서비스 시스템
KR20030081895A (ko) * 2002-04-15 2003-10-22 최수용 음성 인식을 이용한 인터넷 게시판 중개 서비스 방법
KR20040032523A (ko) * 2002-10-10 2004-04-17 와이더덴닷컴 주식회사 음성인식을 이용한 이동통신 단말기의 인터넷 사이트접속장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010076464A (ko) * 2000-01-26 2001-08-16 오기호 음성을 통한 인터넷 서비스 시스템
KR20000049417A (ko) * 2000-02-29 2000-08-05 이만균 음성 인터넷 명령어 처리방법 및 시스템
KR20030081895A (ko) * 2002-04-15 2003-10-22 최수용 음성 인식을 이용한 인터넷 게시판 중개 서비스 방법
KR20040032523A (ko) * 2002-10-10 2004-04-17 와이더덴닷컴 주식회사 음성인식을 이용한 이동통신 단말기의 인터넷 사이트접속장치 및 방법

Also Published As

Publication number Publication date
KR20060096654A (ko) 2006-09-13

Similar Documents

Publication Publication Date Title
US9177551B2 (en) System and method of providing speech processing in user interface
US7818178B2 (en) Method and apparatus for providing network support for voice-activated mobile web browsing for audio data streams
US7822610B2 (en) Use of multiple speech recognition software instances
KR100588623B1 (ko) 숫자 및 문자열의 동시 입력을 통한 선택 서비스 제공방법 및 시스템
US20090030687A1 (en) Adapting an unstructured language model speech recognition system based on usage
CN100576171C (zh) 步进式标记语言与面向对象开发工具组合使用的系统和方法
US7881705B2 (en) Mobile communication terminal and information acquisition method for position specification information
US20080312934A1 (en) Using results of unstructured language model based speech recognition to perform an action on a mobile communications facility
US20120244846A1 (en) System and Method for Providing Multi-Modal Bookmarks
IL142366A (en) Voice overlay and hands-free systems
EP1215656A2 (en) Idiom handling in voice service systems
KR100363656B1 (ko) 음성을 통한 인터넷 서비스 시스템
KR100920442B1 (ko) 휴대 단말기에서 정보 검색 방법
KR100702789B1 (ko) 멀티모달 플랫폼을 이용한 모바일 서비스 시스템 및 그 방법
JP3649681B2 (ja) ユーザ認証方法、通信システム及びサーバ
JP2002373311A (ja) バーコードリーダ
JP3714159B2 (ja) ブラウザ搭載装置
JP4809010B2 (ja) 情報検索システム
KR100486030B1 (ko) 음성인식을 이용한 이동통신 단말기의 인터넷 사이트접속장치 및 방법
JP2001350682A (ja) 音声ドメインによるインターネット接続媒介システムと媒介装置及びその媒介方法、並びに音声ドメインのデータベース生成方法
US20080091799A1 (en) Access to Internet Content Via Telephone
KR100381605B1 (ko) Ａｒｓ 음성 웹 호스팅 서비스 시스템 및 그 방법
JP2003316803A (ja) 携帯端末装置およびサービス提供システム
KR20020072637A (ko) 무선단말기를 이용한 음성정보의 문자 변환 장치 및 방법
KR100679394B1 (ko) 멀티모달 플랫폼을 이용한 정보검색 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140224

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee