KR101268436B1 - 개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템 - Google Patents

개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템 Download PDF

Info

Publication number
KR101268436B1
KR101268436B1 KR1020110062235A KR20110062235A KR101268436B1 KR 101268436 B1 KR101268436 B1 KR 101268436B1 KR 1020110062235 A KR1020110062235 A KR 1020110062235A KR 20110062235 A KR20110062235 A KR 20110062235A KR 101268436 B1 KR101268436 B1 KR 101268436B1
Authority
KR
South Korea
Prior art keywords
terminal
keyword
server
message
word
Prior art date
Application number
KR1020110062235A
Other languages
English (en)
Other versions
KR20120088493A (ko
Inventor
이길수
윤정준
Original Assignee
(주)티아이스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티아이스퀘어 filed Critical (주)티아이스퀘어
Publication of KR20120088493A publication Critical patent/KR20120088493A/ko
Application granted granted Critical
Publication of KR101268436B1 publication Critical patent/KR101268436B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

스마트폰이나 태블릿 퍼스널컴퓨터에서 음성 인식을 이용하여 메신저 채팅 내용과 함께 영상 합성 내용을 함께 보여줄 수 있는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템이 제공된다. 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법은, 메시징 서비스를 포함한 커뮤니케이션 서비스를 제공하는 서비스 제공 시스템을 통해 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하는 방법으로, 사용자 단말로부터 획득한 음성 메시지에서 음성을 추출하는 제1 단계, 추출된 음성으로부터 단어를 분리하는 제2 단계, 분리된 단어를 미리 설정된 키워드 목록 내의 키워드와 비교하여 단어와 일치하는 키워드를 검색하는 제3 단계, 키워드에 대응하는 이미지 또는 동영상 형태의 멀티미디어 콘텐츠 데이터를 추출하는 제4 단계, 및 음성 메시지를 출력하고 멀티미디어 콘텐츠 데이터를 재생하는 제5 단계를 포함한다.

Description

개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT OVERLAY IMAGE CHATTING SERVICE USING VOICE RECOGNITION OF PERSONAL COMMUNICATION TERMINAL}
본 발명은 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템에 관한 것으로서, 보다 상세하게는 스마트폰이나 태블릿(Tablet) 퍼스널 컴퓨터와 같은 개인 휴대 단말에서 음성인식을 이용하여 멀티미디어 콘텐츠 합성 내용을 영상 채팅 내용과 함께 사용자 단말에 제공할 수 있는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템에 관한 것이다.
최근 이동통신 기술의 발전에 힘입어 개인 휴대 단말을 이용한 다양한 커뮤니케이션 서비스가 연구 개발되고 있다. 커뮤니케이션 서비스로는 서로의 얼굴 영상을 보면서 통화하는 영상 통화 서비스, 영상 통화 중에 문자 메시지를 송수신할 수 있는 영상 채팅 서비스 등이 있다.
영상 채팅 서비스는 통상 3세대(3G) 패킷교환망(PS: Packet Switched network) 또는 와이파이(WiFi)와 같은 데이터 통신망을 통하여 개인 휴대 단말 상에서 상대방과 인스턴트 메시지를 송수신하는 방식으로 수행된다. 이러한 영상 채팅 서비스는 주로 사용자의 얼굴 영상을 전송하면서 별도로 제공되는 채팅창을 통해 문자 메시지를 전송하는 것에 불과하므로 영상 채팅 서비스 화면이 단조롭고 때로는 음성 통화나 영상 통화만을 수행할 때보다 어색하고 불편하다는 문제점이 있다.
또한, 최근에는 채팅 서비스로서 사용자의 입력 음성 그대로를 전달하는 음성 메시지 전송 기능을 제공할 계획들이 발표되어 있으나 그러한 음성 메시지 전송 기능은 단순히 메시지 전달 기능이어서 역동적인(Dynamic) 재미를 느낄 수 없다.
본 발명은 사용자의 입력 음성 메시지 내용에 따라 실시간으로 추가적인 정지영상이나 동영상을 다이내믹하게 보여줌으로써 사용자에게 재미있는 화면을 제공할 수 있는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 방법 및 이러한 방법을 이용하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 시스템을 제공하는 데 그 주된 목적이 있다.
상기 기술적 과제를 해결하기 위하여 본 발명의 일 측면에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법은, 네트워크를 통해 서비스 지원 서버에 연결되는 발신측 개인 휴대 단말과 착신측 개인 휴대 단말 간에 자체 탑재된 메시지 어플리케이션을 활용하여 채팅을 수행하도록 서비스하는 과정을 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법으로서, 서비스 지원 서버에 구비된 SIP(Session Initiation Protocol) Registrar/Proxy 서버에서 발신측 및 착신측 개인 휴대 단말들에 대한 위치 등록 절차를 수행하는 단계; 발신측 개인 휴대 단말의 채팅 연결 요청에 따라 착신측 개인 휴대 단말과 채팅 연결 호를 중계 설정하는 단계; 및 서비스 지원 서버에 구비된 MSRP(Message Session Relay Protocol) Relay 서버에서 발신측 개인 휴대 단말에서 받은 메시지를 착신측 개인 휴대 단말로 전송하고, 착신측 개인 휴대 단말에서 받은 메시지를 발신측 개인 휴대 단말로 전송하는 단계를 포함한다. 여기에서, 발신측 또는 착신측 개인 휴대 단말은 메시지 어플리케이션의 구비된 음성인식엔진에 의해 메시지 내의 음성에서 적어도 하나의 단어에 상응하는 정지영상 또는 동영상을 메시징 신호와 합성하여 출력하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템은 네트워크에 연결되어 발신측 개인 휴대 단말과 착신측 개인 휴대 단말 간에 자체 탑재된 메시지 어플리케이션을 활용하여 채팅을 수행하도록 서비스하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템으로서, 발신측 및 착신측 개인 휴대 단말들에 대한 위치 등록 절차를 수행하고, 발신측 개인 휴대 단말의 채팅 연결 요청에 따라 착신측 개인 휴대 단말과 채팅 연결 호를 중계 설정하는 SIP(Session Initiation Protocol) Registrar/Proxy 서버; 및 발신측 개인 휴대 단말에서 받은 메시지를 착신측 개인 휴대 단말로 전송하고, 착신측 개인 휴대 단말에서 받은 메시지를 발신측 개인 휴대 단말로 전송하는 MSRP(Message Session Relay Protocol) Relay 서버를 포함한다. 여기에서, 발신측 또는 착신측 개인 휴대 단말은 메시지 어플리케이션의 구비된 음성인식엔진에 의해 메시지 내의 음성에서 적어도 하나의 단어를 추출하고 추출한 단어에 상응하는 정지영상 또는 동영상을 메시징 신호와 합성하여 출력하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법은, 메시징 서비스를 포함한 커뮤니케이션 서비스를 제공하는 서비스 제공 시스템을 통해 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하는 방법에 있어서, 사용자 단말로부터 획득한 음성 메시지에서 음성을 추출하는 제1 단계; 추출된 음성으로부터 단어를 분리하는 제2 단계; 분리된 단어를 미리 설정된 키워드 목록 내의 키워드와 비교하여 단어와 일치하는 키워드를 검색하는 제3 단계; 키워드에 대응하는 이미지 또는 동영상 형태의 멀티미디어 콘텐츠 데이터를 추출하는 제4 단계; 및 음성 메시지를 출력하고 멀티미디어 콘텐츠 데이터를 재생하는 제5 단계를 포함한다.
바람직하게, 제3 단계는 서비스 제공 시스템의 콘텐츠 관리 서버로부터 키워드 목록 및 키워드 목록에 대응하는 보유 콘텐츠 정보 목록을 받는 단계를 포함할 수 있다.
일 실시예에서, 사용자 단말은 서비스 제공 시스템의 SIP(Session Initiation Protocol) Registrar/Proxy 서버와 연결되며 SIP 메시지를 생성하고 송수신하는 SIP Registrar/Proxy 서버 연동부; 서비스 제공 시스템의 MSRP(Message Session Relay Protocol) Relay 서버를 통해 인스턴트 메시지를 송수신하는 MSRP Relay 서버 연동부; 콘텐츠 관리 서버와 연결되는 콘텐츠 관리 서버 연동부; 및 MSRP Relay 서버 연동부에 연결되며 음성 메시지 내의 단어 또는 키워드를 인식하는 음성 인식 처리부를 구비한다.
일 실시예에서, 음성 인식 처리부는, 음성 메시지를 실시간으로 음성 인식 엔진에 전달하는 음성 추출부; 음성 추출부에서 받은 음성 메시지를 인식하여 분석 데이터를 생성하는 음성 인식 엔진; 음성 인식 엔진에서 받은 분석 데이터로부터 문장을 생성하는 문장 단어 처리부; 문장 단어 처리부로부터 받은 문장으로부터 단어 또는 키워드를 검출하는 키워드 단어 검출부; 및 키워드 단어 검출부로부터 받은 단어 또는 키워드에 상응하는 멀티미디어 콘텐츠를 검색하는 단어 이미지 검색부를 구비한다.
일 실시예에서, 제4 단계는 콘텐츠 관리 서버 연동부에 연결된 다운로드 처리부가 콘텐츠 관리 서버로부터 멀티미디어 콘텐츠 데이터를 받는 단계를 포함한다.
일 실시예에서, 콘텐츠 관리 서버는 콘텐츠 관리 서버 연동부와 연결되는 콘텐츠 클라이언트 연동부; 콘텐츠 클라이언트 연동부에 연결되어 사용자 단말로 콘텐츠를 전송하는 콘텐츠 업로드 처리부; 및 단어 또는 키워드에 상응하는 멀티미디어 콘텐츠를 저장 및 관리하는 콘텐츠 데이터베이스를 구비한다.
일 실시예에서, 사용자 단말은 SIP Registrar/Proxy 서버 연동부에 연결되며, 사용자 단말의 위치가 변경될 때, SIP Registrar/Proxy 서버와 연동하여 사용자 단말의 로밍을 처리하는 채팅 연결 및 위치 등록 처리부를 구비한다.
일 실시예에서, 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법은, 제1 단계 이전, 제1 또는 제2 단말의 요청에 따라 MSRP Relay 서버에서 제1 단말 및 상기 제2 단말 간의 채팅 연결을 설정하는 단계를 더 포함한다.
일 실시예에서, 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법은, 제5 단계 이후, 사용자 단말의 채팅창에 입력되는 문자 메시지로부터 단어 또는 키워드를 분리하고 분리한 단어 또는 키워드에 상응하는 이미지 또는 플래시 파일을 검색하여 문자 메시지와 함께 사용자 단말의 화면에 재생하는 단계를 더 포함한다.
본 발명의 또 다른 측면에 의하면, 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템은, 메시징 서비스를 포함한 커뮤니케이션 서비스를 제1 단말과 제2 단말에 제공하면서 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하는 시스템에 있어서, 제1 단말 및 제2 단말 사이에서 SIP(Session Initiation Protocol) 메시지를 라우팅하는 신호 처리 서버; 제1 단말 및 제2 단말 간의 채팅 연결 또는 메시지 세션을 설정하는 MSRP(Message Session Relay Protocol) Relay 서버; 및 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말의 요청에 따라 특정 키워드에 상응하는 멀티미디어 콘텐츠 데이터를 사용자 단말로 전송하는 콘텐츠 관리 서버를 포함한다. 여기에서, 사용자 단말은 마이크를 통해 입력되거나 네트워크를 통해 수신되고 상기 키워드가 포함된 음성 메시지를 출력하면서 이미지 또는 동영상 형태의 상기 멀티미디어 콘텐츠 데이터를 재생하는 것을 특징으로 한다.
일 실시예에서, 콘텐츠 관리 서버는 사용자 단말의 요청에 따라 키워드에 대한 키워드 목록 및 키워드 목록의 각 키워드에 대응하는 보유 콘텐츠 정보 목록을 사용자 단말로 전송한다.
일 실시예에서, 콘텐츠 관리 서버는 사용자 단말의 콘텐츠 관리 서버 연동부와 연결되는 콘텐츠 클라이언트 연동부; 콘텐츠 클라이언트 연동부에 연결되어 사용자 단말로 콘텐츠를 전송하는 콘텐츠 업로드 처리부; 및 키워드에 상응하는 멀티미디어 콘텐츠를 저장 및 관리하는 콘텐츠 데이터베이스를 구비한다.
일 실시예에서, 신호 처리 서버는 SIP(Session Initiation Protocol) Registrar 서버 및 SIP Registrar 서버에 연결되는 SIP Proxy 서버를 포함한다. 여기에서, SIP Proxy 서버는 사용자 단말의 위치가 변경될 때 사용자 단말의 채팅 연결 및 위치 등록 처리부와 연동하여 사용자 단말의 로밍을 처리한다.
일 실시예에서, 사용자 단말은, 채팅창으로 입력되거나 네트워크를 통해 수신되는 문자 메시지로부터 단어 또는 키워드를 분리하고 분리한 단어 또는 키워드에 상응하는 이미지 또는 플래시 파일을 검색하여 음성 메시지 및 문자 메시지와 함께 사용자 단말의 화면에 재생한다.
본 발명에 의하면, 와이파이(WiFi)를 포함한 인터넷이나 3G 패킷교환(PS) 망에서 스마트폰이나 태블릿 PC와 같은 개인 휴대 단말에 입력되거나 수신된 음성 메시지로부터 특정 단어 또는 키워드를 검출하고 검출한 키워드에 관련된 플래시 혹은 이미지를 영상 채팅 신호와 함께 실시간으로 자신의 단말 및/또는 상대방의 단말에서 출력할 수 있도록 함으로써 영상 채팅 사용자는 재미있는 채팅을 할 수 있다. 아울러, 서비스 제공자는 스마트폰 또는 태블릿 PC의 음성 인식 엔진을 이용하여 채팅 중에 사용자가 입력한 음성 내용의 적어도 일부를 실시간으로 관련 이미지 또는 동영상과 합성하여 보거나 들을 수 있도록 함으로써 사용자들이 재미있는 영상 채팅 서비스를 제공할 수 있다.
또한, 본 서비스를 제공받기 위해 사용자는 별도의 콘텐츠를 미리 설정하는 불편함이나 상대방에게 정지영상이나 동영상을 보여주기 위해 DTMF(Dual Tone Multi-Frequency) 입력과 같은 별도의 키 조작을 수행할 필요가 없다. 즉, 사용자는 편리성이 향상된 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공받을 수 있다.
그리고, 채팅 도중 사용자 선택에 따라 음성 입력 모드와 함께 기존의 문자 입력 모드를 함께 이용하면, 음성 메시지와 문자 메시지에 각각 포함된 특정 단어나 키워드에 상응하는 멀티미디어 콘텐츠를 영상 채팅 화면에 함께 표시할 수 있다. 따라서, 사용자는 음성 및 문자 메시지를 자유로이 사용하면서 본 서비스를 이용할 수 있는 이점이 있다. 또한, 사용자는 채팅 상대방에게 전달하고자 하는 내용을 강조할 수 있고 보다 입체감 있는 채팅을 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템(이하, 간략히 서비스 제공 시스템이라 함)의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법의 개략적인 흐름도이다.
도 3은 본 발명의 또 다른 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법(이하, 간략히 서비스 제공 방법이라 함)의 개략적인 흐름도이다.
도 4는 도 2 또는 도 3의 본 발명의 서비스 제공 방법에 채용가능한 사용자 단말의 메신저 어플리케이션에 대한 개략적인 구성도이다.
도 5는 도 4의 메신저 어플리케이션의 음성 인식 처리부에 대한 개략적인 구성도이다.
도 6은 도 1의 사용자 단말의 위치 등록 절차를 설명하기 위한 흐름도이다.
도 7은 도 1의 사용자 단말들 간의 채팅 연결 절차를 설명하기 위한 흐름도이다.
도 8은 도 1의 사용자 단말들 간의 멀티미디어 콘텐츠를 송수신하는 절차를 설명하기 위한 흐름도이다.
도 9는 도 1의 사용자 단말들 간의 채팅 연결 종료 절차를 설명하기 위한 흐름도이다.
도 10은 도 1의 서비스 제공 시스템에 채용가능한 콘텐츠 자동 업데이트 기능을 설명하기 위한 개략적인 블록도이다.
도 11은 도 1의 사용자 단말에 채용가능한 메시지 어플리케이션에서의 사용자 인터페이스 화면을 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템(이하, 간략히 서비스 제공 시스템이라 함)의 개략적인 구성도이다.
도 1을 참조하면, 본 실시예에 따른 서비스 제공 시스템(100)은 WiFi 등의 무선랜을 포함한 인터넷이나 3G 패킷교환 PS(Packet Switched) 망에서 스마트폰, 태블릿 퍼스널컴퓨터와 같은 사용자 단말들(10, 20) 간에 메시징 서비스를 제공하면서 입력된 음성 메시지의 음성을 분석하고 분석에 의해 인식된 단어에 해당하는 멀티미디어 콘텐츠를 메시지 신호와 합성하여 실시간으로 채팅 참여자들에게 보여주는 서비스를 제공한다.
인식된 단어에 해당하는 멀티미디어 콘텐츠는 이미지나 플래시와 같은 정지영상 또는 동영상을 포함하며, 이러한 멀티미디어 콘텐츠는 인터넷 프로토콜(IP: Internet Protocol) 기반의 네트워크를 통해 전송가능한 모든 이미지 데이터 또는 동영상 데이터를 포함하고, 미리 설정된 단어 또는 키워드에 상응하는 이미지 또는 느낌을 표현하기 위한 것이다.
서비스 제공 시스템(100)은 사용자 단말들(10, 20)에 연결되는 서비스 지원 장치로서 SIP Registrar/Proxy 서버(110), MSRP Relay 서버(120), 및 콘텐츠 관리 서버(Content Management Server, 130)를 포함한다.
SIP Registrar/Proxy 서버(110)는 네트워크를 통하여 영상 채팅 서비스를 이용하고자 하는 사용자에게 멀티미디어 콘텐츠 합성 영상 채팅 서비스의 가입자인지를 식별하고 사용자 단말에서의 서비스 요청 신호에 따라 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하기 위한 시나리오를 수행한다. 예를 들면, 신호 처리 서버(110)는 사용자 단말로부터 멀티미디어 콘텐츠 합성 영상 채팅에 대한 호 접속 요청 신호를 수신하고 그 신호에 따라 해당 단말들 사이에 영상 통화를 위한 세션을 형성할 수 있다.
이러한 SIP Registrar/Proxy 서버(110)는 IMS(Internet Protocol Multimedia Subsystem) 네트워크 기반의 SIP 시그널링(Session Initiation Protocol Signaling)을 처리하며, 외부 망에 대한 SIP 세션 요청을 제어하는 S-Proxy(SIP Proxy) 기능을 수행한다. 또한, SIP Registrar/Proxy 서버(110)는 IMS 네트워크로부터 라우팅(Routing)되는 SIP 호에 대한 관리, 통계, CDR(Call Detail Record)을 처리한다. 여기에서, IMS 네트워크는 IP 멀티미디어 서비스를 제공하기 위한 노드들의 집합 또는 기반 구조(Architectural Framework)을 지칭하며, 호 세션 제어부(CSCF: Call Session Control Function), 홈 가입자 서버(HSS: Home Subscriber Server), 및 어플리케이션 서버를 포함할 수 있고, 소정의 IP 멀티미디어 서비스가 설정되어 있는 사용자 단말에 대한 정보를 본 서비스 제공 시스템으로 전달해 준다. 또한, SIP Registrar/Proxy 서버(110)는 등록 서버(Registration Server)와 연동하여 가입자 인증을 처리할 수 있다. 등록 서버는 가입자의 전화 번호부 리스트 관리, 가입자 상태 관리, 가입자 인증 관리를 담당하며, SIP 프로토콜 기반으로 IMS 네트워크와 연동한다.
MSRP(Message Session Relay Protocol) Relay 서버(120)는 인스턴트 메시지(Instant Message)의 전송을 담당하고, 음악, 이미지, 동영상 등에 대한 바이너리(Binary) 파일의 전송 세션 관리와 신뢰성 있는 파일 전송을 담당한다.
콘텐츠 관리 서버(Content Managemnet Server, 130)는 미리 설정된 단어나 키워드에 상응하는 이미지 또는 동영상 형태의 다양한 멀티미디어 콘텐츠를 저장 및 관리한다. 콘텐츠 관리 서버(130)는 외부의 콘텐츠 제공자(CP: Contents Provider) 등으로부터 멀티미디어 콘텐츠를 제공받을 수 있도록 외부 망의 포털사이트(Portal Sites), 모바일 앱 스토어 등의 오픈 마켓(Open Market), 및 유클라우드(ucloud) 서버를 위한 플랫폼(Platform)을 제공하고, 이들과의 연동 기능을 수행할 수 있다. 여기에서, 포털사이트는 다음(www.daum.net), 네이버(www.naver.com) 등을 포함하고, 모바일 앱 스토어는 SK 텔레콤사의 T-스토어, 애플사의 아이폰 앱스토어(iPhone App Store), 노키아사의 오비 스토어(Nokia Ovi Store), 안드로이드 마켓(Android Market), 블랙베리 앱 월드(Blackberry App World) 등을 포함하고, 유클라우드 서버는 본 발명의 서비스 제공 시스템이나 포털사이트, 또는 오픈 마켓 등에서 제공하는 것으로, 사용자 단말의 요청에 따라 서버에 저장된 이미지 또는 동영상 형태의 멀티미디어 콘텐츠를 사용자 단말에 적합한 형태로 변환하여 사용자 단말로 전송하는 수단 또는 그러한 기능을 수행하는 구성부를 지칭한다.
이하의 상세한 설명에 있어서, SIP Registrar/Proxy 서버(110)는 SIP(Session Initial Protocol) 기반의 신호를 처리하는 서버의 대표적인 일례이므로 신호 처리 서버(110)라 하고, MSRP Relay 서버(120)는 인스턴트 메시지의 송수신을 처리하는 서버의 대표적인 일례이므로 메시지 처리 서버(120)라 하고, 콘텐츠 관리 서버(130)는 간략히 CMS(130)이라 한다.
서비스 제공 시스템(100)이 본 실시예의 서비스를 제공하는 서버로서 동작할 때, 사용자 단말(10, 20)은 서비스 제공 시스템(100)과 연동하는 클라이언트 단말로 동작할 수 있다. 또한, 발신측 또는 착신측 사용자 단말은 서버 및 클라이언트 중 적어도 어느 하나의 입장에서 상대방 사용자 단말과 연결될 수 있다.
본 실시예에 의하면, 사용자 단말들(10, 20)은 기탑재된 채팅 또는 메신저 어플리케이션을 통해 서비스 제공 시스템(100)과 연동하며 영상 채팅 중 음성 메시지에 포함된 특정 단어나 키워드에 상응하는 멀티미디어 콘텐츠를 음성 메시지를 포함한 영상 채팅 신호와 함께 화면에 표시하면서 스피커로 출력할 수 있다. 다시 말해서, 서비스 제공 시스템(100)은 스마트폰 또는 태블릿 PC와 같은 사용자 단말들(10, 20) 간에 음성 인식 영상 합성 채팅 서비스를 제공하기 위해 설치되는 음성 인식 엔진을 포함한 메신저 어플리케이션을 사용자 단말에 제공하고, 사용자 단말들(10, 20)의 현재 위치와 채팅 연결 제어를 위한 신호 처리 서버(110)와, 사용자 단말들(10, 20) 사이에서 송수신되는 음성 메시지 및 멀티미디어 콘텐츠 콘텐츠 데이터를 전달(Relay)하기 위한 메시지 처리 서버(120), 그리고 채팅 연결된 사용자 단말들 사이에서 업데이트된 인식 단어 목록(이하, 키워드 목록이라고도 함)과 관련 멀티미디어 콘텐츠 보유 목록(이하, 보유 콘텐츠 정보 목록이라고도 함)을 전송하는 CMS(130)를 구비하고, 이들 간의 다이내믹한 상호 작용에 의해 사용자 단말들(10, 20) 간의 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공한다.
본 실시예에 있어서, 어플리케이션은 모바일 어플리케이션을 지칭하며, 이러한 모바일 어플리케이션은 사용자 단말이나 네트워크의 아키텍처 측면에서 볼 때 가장 최상위에 위치하는 어플리케이션 레이어에서 동작하는 모듈이다. 즉, 모바일 어플리케이션은 사용자 측면에서 사용자가 직접 사용자 단말에서 활성/비활성(Activate/Deactivate)을 통제하고 통화, 정보습득, 엔터테인먼트 등의 기능을 제공하는 모듈이며, 사업자 측면에서 해당 어플리케이션에 따라 사용자 단말에 특정 서비스 예컨대, 본 실시예의 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하거나 사용자 단말에 과금을 매길 수 있는 개체로서 기능할 수 있다. 이러한 어플리케이션은 네트워크를 통해 서비스 제공 시스템과 연동하며 서비스 제공 시스템에서 제공하는 서비스를 사용자가 손쉽게 이용할 수 있도록 하기 위한 것으로, 사용자 단말의 종류나 형태, 사용자 단말에 탑재되는 운영 시스템(Operating System)의 종류나 버전, 개발 언어의 종류 등에 의해 다양한 형태와 구성이 구현가능하다.
도 2는 본 발명의 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법의 개략적인 흐름도이다.
도 2를 참조하면, 사용자 단말들(10, 20)이 서비스 제공 시스템(100)의 메시지 처리 서버(120)를 통하여 영상 채팅을 위한 음성 메시지를 송수신하는 도중(도 1 참조), 적어도 하나의 사용자 단말은 기탑재된 어플리케이션(이하, 앱이라 함)을 통하여 음성 메시지가 입력되었는지를 판단한다(S210).
상기 단계(S210)의 판단 결과, 음성 메시지의 입력이면, 사용자 단말은 앱에 구비된 음성 분석 엔진을 통하여 음성 메시지로부터 음성을 추출하고(S212), 추출한 음성으로부터 문장을 생성하고(S214), 생성한 문장으로부터 단어를 분리한다(S216).
사용자 단말은 음성 인식에 의해 분리된 단어를 미리 설정된 멀티미디어 콘텐츠 데이터에 대응하는 키워드들과 비교한다(S220).
단계(S220)에서의 비교 결과, 단어가 특정 키워드와 일치하지 않으면(S222), 문장의 다음 단어를 읽어온다(S224). 그리고, 상기 단계(S220)로 되돌아가서 새롭게 독출한 단어를 키워드들과 비교한다.
한편, 단계(S220)에서의 비교 결과, 단어가 특정 키워드와 일치하면(S222), 특정 키워드에 상응하는 멀티미디어 콘텐츠 데이터를 추출하고(S226), 음성 메시지를 출력하는 사용자 단말의 채팅 화면상에 앞서 추출한 멀티미디어 콘텐츠 데이터를 합성 또는 오버레이(Overlay)하여 재생한다(S230).
도 3은 본 발명의 또 다른 일 실시예에 따른 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법의 개략적인 흐름도이다.
도 3을 참조하면, 사용자 단말들(10, 20)이 서비스 제공 시스템(100)의 메시지 처리 서버(120)를 통하여 영상 채팅을 위한 음성 메시지를 송수신하는 도중(도 1 참조), 적어도 하나의 사용자 단말은 기탑재된 어플리케이션(이하, 앱이라 함)을 통하여 음성 메시지가 입력되었는지를 판단한다(S310).
상기 단계(S310)의 판단 결과, 음성 메시지의 입력이면, 사용자 단말은 앱에 구비된 음성 분석 엔진을 통하여 음성 메시지로부터 음성을 추출하고(S312), 추출한 음성으로부터 문장을 생성하고(S314), 생성한 문장으로부터 단어를 분리한다(S316).
사용자 단말은 음성 인식에 의해 분리된 단어를 미리 설정된 멀티미디어 콘텐츠의 키워드 목록 내의 키워드들과 비교한다(S320). 이러한 키워드는 상기 단계(S320) 전에 서비스 제공 시스템의 콘텐츠 관리 서버에 요청하여 다운로드 받은 키워드 목록에 포함된 것일 수 있다. 여기에서, 사용자 단말은 키워드 목록과 함께 키워드 목록 내의 각 키워드에 상응하는 콘텐츠 정보를 포함한 보유 콘텐츠 정보 목록을 서비스 제공 시스템으로부터 다운로드 받을 수 있다(S318). 이 단계(S318)는 음성 메시지인지를 판단하는 단계(S310) 이전에 수행될 수도 있다.
단계(S320)에서의 비교 결과, 단어가 특정 키워드와 일치하지 않으면(S322), 문장의 다음 단어를 읽어온다(S324). 그리고, 상기 단계(S320)로 되돌아가서 새롭게 독출한 단어를 키워드들과 비교한다.
한편, 상기 단계(S320)에서의 비교 결과, 단어가 특정 키워드와 일치하면(S322), 특정 키워드에 상응하는 멀티미디어 콘텐츠 데이터를 서버 즉 서비스 제공 시스템에 요청하고(S326), 서버로부터 받은 해당 콘텐츠를 수신한 후(S328), 음성 메시지를 출력하는 사용자 단말의 채팅 화면상에 서버로부터 수신한 멀티미디어 콘텐츠 데이터를 합성 또는 중첩하여 재생한다(S330).
도 4는 도 2 또는 도 3의 본 발명의 서비스 제공 방법에 채용가능한 사용자 단말의 메신저 어플리케이션에 대한 개략적인 구성도이다.
도 4를 참조하면, 본 실시예의 사용자 단말에 설치되는 메신저 어플리케이션(12)은 음성 인식 엔진을 포함한다. 메신저 어플리케이션(12)은 SIP Registrar/Proxy 서버 연동부(410), 채팅 연결 및 위치 등록 처리부(412), Content 관리 서버 연동부(420), 다운로드 처리부(422), 메모리(424), MSRP Relay 서버 연동부(430), MSRP 메시지 송신 처리부(432), 음성 인식 처리부(434), 음성 입력 처리부(436), MSRP 메시지 수신 처리부(442), 및 출력부(444)를 구비한다.
여기에서, SIP Registrar/Proxy 서버 연동부(410)는 서비스 제공 시스템의 SIP Registrar/Proxy 서버와 연동하여 SIP 메시지를 송수신한다. 채팅 연결 및 위치 등록 처리부(412)는 사용자 단말 자신의 현재 위치를 등록하거나 채팅 연결한 상대방 사용자 단말의 위치를 조회하여 채팅 연결 및 채팅 연결 유지 기능을 수행한다.
Content 관리 서버 연동부(420)는 서비스 제공 시스템의 콘텐츠 관리 서버와 연동하여 인식 단어에 대한 업데이트된 키워드 목록, 키워드 목록에 상응하는 콘텐츠 정보를 포함한 보유 콘텐츠 정보 목록, 이미지나 플래시 파일 형태의 멀티미디어 콘텐츠 데이터를 수신한다. 다운로드 처리부(422)는 콘텐츠 관리 서버로부터 수신한 키워드 목록, 보유 콘텐츠 정보 목록, 및 멀티미디어 콘텐츠 데이터 등을 사용자 단말의 메모리 등에 저장한다.
MSRP Relay 서버 연동부(430)는 서비스 제공 시스템의 MSRP Relay 서버와 연동하여 MSRP 메시지를 송수신한다. MSRP 메시지 수신 처리부(442)는 MSRP Relay 서버 연동부(430)로부터 수신한 MSRP 메시지를 분석하여 영상 채팅용 오디오 신호, 영상 채팅용 비디오 신호, 영상 채팅 신호에 합성할 이미지 또는 플래시인지를 구별하여 각각의 데이터를 추출하고 출력부(444)로 데이터를 전송한다. 출력부(444)는 음성 메시지를 스피커를 통해 출력하고 문자와 이미지, 플래시 데이터를 채팅 진행 화면에 출력한다.
음성 입력 처리부(436)는 채팅 진행시 사용자가 입력한 음성을 입력받아 음성 인식 처리부(434)로 전송한다. 음성 인식 처리부(434)는 음성 인식 엔진과 메모리에 저장되어 있는 키워드 목록을 사용하여 합성할 이미지 또는 플래시를 조회하여 출력부(444)를 통해 화면에 합성 이미지 또는 플래시를 출력하고 MSRP 메시지 송신 처리부(432)에 음성 메시지와 합성할 이미지 또는 플래시 데이터를 전송한다. MSRP 메시지 송신 처리부(432)는 영상 채팅용 오디오 신호, 영상 채팅용 비디오 신호, 영상 채팅용 비디오 신호에 합성할 이미지 또는 플래시를 MSRP 메시지로 변환하여 MSRP Relay 서버 연동부로 전송한다(430).
도 5는 도 4의 메신저 어플리케이션에 채용가능한 음성 인식 처리부에 대한 개략적인 구성도이다.
도 5를 참조하면, 음성 인식 처리부(434)는 음성 추출부(510), 음성 인식 엔진(520), 문장 단어 처리부(530), 키워드 단어 검출부(540), 및 단어 이미지 검색부(550)를 구비할 수 있다.
음성 추출부(510)는 수신한 음성 메시지 데이터에서 음성을 추출한다.
음성 인식 엔진(520)은 추출한 음성 메시지를 문장으로 변경한다. 음성 인식 엔진(520)은 음성 추출부(510)로부터 실시간으로 입력되는 음성 데이터를 음성 스트리밍 데이터 수신 프로세스(522)에 따라 수신하고, 소정의 음성 분석 프로세스(524)를 수행하는 엔진을 활용하여 데이터베이스의 음성 분석 정보(526)를 토대로 해당 음성을 분석하고, 분석된 음성으로부터 획득한 문장을 음성 분석 데이터 전송 프로세스(528)를 통하여 실시간으로 문장 단어 처리부(530)로 전송한다.
문장 단어 처리부(530)는 문장을 개별 단어로 분리하는 역할을 수행한다.
키워드 단어 검출부(540)는 문장에서 등록된 키워드를 찾기 위해 개별 단어로 분리하는 역할을 수행한다.
단어 이미지 검색부(550)는 개별 단어에 대해 메모리에 등록되어 있는 키워드 목록을 사용하여 관련 이미지 또는 플래시를 검색하는 역할을 수행한다. 단어 이미지 검색부(550)는 사용자 단말 내의 저장부에서 또는 서비스 제공 시스템의 콘텐츠 관리 서버에 요청하여 해당 콘텐츠를 검색할 수 있다.
도 6은 도 1의 사용자 단말의 위치 등록 절차를 설명하기 위한 흐름도이다.
도 6에 도시한 바와 같이, 제1 사용자 단말인 제1 단말(10)과 제2 사용자 단말인 제2 단말(20)의 위치 등록 절차는 각 사용자 단말(10, 20)과 SIP Rgegistrar/Proxy 서버(110; 이하, 간략히 SIP Proxy 서버라고 함) 간에 SIP 프로토콜을 사용하여 수행되며 그 연동 절차는 다음과 같다.
먼저, SIP Proxy 서버(110)는 제1 단말(10)로부터 REGISTER 메시지를 수신하고, REGISTER 메시지 수신에 따라 해당 등록 절차를 시작한다(S610).
SIP Proxy 서버(110)는 서버에서 생성한 임시키(Nonce Key)와 인증 알고리즘을 포함한 401 Unauthorized 응답 메시지를 제1 단말(10)에 전송하여 인증을 요구한다(S612). 제1 단말(10)은 사용자 암호를 사용하여 인증키 값을 생성하고 인증(Authorization)을 포함한 REGISTER 메시지를 SIP Proxy 서버(110)로 전송한다(S614).
SIP Proxy 서버(110)는 제1 단말(10)로부터 인증을 포함한 REGISTER 메시지를 받고 인증키 값을 검증하여 인증을 수행한 후 인증이 정상적으로 이루어지면 제1 단말(10)의 위치 정보를 등록하고 200 OK 메시지를 제1 단말(10)로 전송한다.
위의 단계들(S610 ~ S616)과 유사하게, SIP Proxy 서버(110)는 제1 사용자 단말인 제2 단말(20)로부터 REGISTER 메시지를 수신하고, 제2 사용자 단말(20)에 대한 등록 절차를 시작한다(S620).
SIP Proxy 서버(110)는 서버에서 생성한 임시 키와 인증 알고리즘을 포함한 401 Unauthorized 응답 메시지를 제2 단말(20)로 전송하여 인증을 요구한다(S622). 제2 단말(20)은 사용자 암호를 사용하여 인증키 값을 생성하고 인증을 포함한 REGISTER 메시지를 SIP Proxy 서버(110)로 전송한다(S624).
SIP Proxy 서버(110)는 제2 단말(20)로부터 인증을 포함한 REGISTER 메시지를 받고 인증키 값을 검증하여 인증을 수행한 후 인증이 정상적으로 이루어지면 제2 단말(20)의 위치 정보를 등록하고 200 OK 메시지를 제2 단말(20)로 전송한다.
도 7은 도 1의 사용자 단말들 간의 채팅 연결 절차를 설명하기 위한 흐름도이다.
도 7에 도시한 바와 같이, 제1 단말(10)은 우선 메시지 전송을 위한 MSRP Relay 서버의 MSRP URI(Uniform Resource Identifier)를 얻기 위해 MSRP AUTH 메시지를 MSRP Relay 서버(120)로 전송한다(S711).
MSRP Relay 서버(120)는 인증이 필요함을 알리기 위해 MSRP 401 무인증(Unauthorized) 응답 메시지를 제1 단말(10)로 전송한다(S713). 제1 단말(10)은 인증 키를 포함한 인증(Authorization) 헤더 필드를 MSRP AUTH 메시지에 실어 MSRP Relay 서버에 전송한다(S715).
MSRP Relay 서버(120)는 Authorization 헤더 필드 값들을 체크하여 인증을 수행하고 인증이 성공하면 제1 단말(10)이 메시지를 전송할 때 사용할 MSRP URI를 MSRP 200 OK 응답 메시지에 실어 제1 단말(10)로 전송한다(S717). 제1 단말(10)은 자신의 MSRP URI를 SDP(Session Description Procotol)에 실은 INVITE 메시지를 채팅 서비스에 의해 연결하고자 하는 제2 단말(20)로 SIP Proxy 서버(110)를 경유하여 전송한다(S719).
SIP Proxy 서버(110)는 등록 서버 등을 통해 제2 단말(20)의 위치를 조회하고 제1 단말(10)로 호 연결 시도 중임을 알리기 위해 100 Trying 메시지를 전송한다(S721). SIP Proxy 서버(110)는 제1 단말(10)로부터 수신한 INVITE 메시지를 앞서 조회한 위치 정보에 따라 제2 단말(20)의 실제 위치로 전송한다(S723).
제2 단말(20)은 제1 단말(10) 측으로부터의 INVITE 메시지를 받으면 제1 단말(10)의 MSRP URI를 저장하고 메시지 전송을 위한 MSRP Relay 서버의 MSRP URI를 얻기 위해 MSRP Relay 서버(120)로 MSRP AUTH 메시지를 전송한다(S725).
MSRP Relay 서버(120)는 인증이 필요함을 알리기 위해 제2 단말(20)로 MSRP 401 Unauthorized 응답 메시지를 전송한다(S727). 제2 단말(20)은 인증 키를 포함한 인증(Authorization) 헤더 필드를 MSRP AUTH 메시지에 실어 MSRP Relay 서버(120)로 전송한다(S729). MSRP Relay 서버(120)는 Authorization 헤더 필드 값들을 체크하여 인증을 수행하고 인증이 성공하면 제2 단말(20)이 메시지를 전송할 때 사용할 MSRP URI를 MSRP 200 OK 응답 메시지에 실어 제2 단말(20)로 전송한다(S731).
제2 단말(20)은 180 Ringing 메시지를 SIP Proxy 서버(110)로 전송하고 제2 단말(20)의 사용자에게 채팅 연결 요청이 왔음을 알린다(S733).
SIP Proxy 서버(120)는 180 Ringing 메시지를 제1 단말(10)로 전송하여 제2 단말(20)이 응답 대기 중임을 알린다(S735). 제2 단말(20)의 사용자가 참여를 선택하여 채팅에 참가하면, 제2 단말(20)은 MSRP URI를 SDP에 실은 200 OK 메시지를 SIP Proxy 서버(110)로 전송한다(S737). SIP Proxy 서버(110)는 200 OK 메시지를 제1 단말(10)로 전송하여 제2 단말(20)이 채팅에 참여하였음을 알린다(S739). 이때, 제1 단말(10)은 200 OK 메시지 내 SDP로부터 제2 단말(20)의 MSRP URI를 얻는다.
제1 단말(10)은 ACK 메시지를 SIP Proxy 서버(110)로 전송하여 채팅 연결이 완료되었음을 알린다(S741). SIP Proxy 서버(110)는 제2 단말(20)로 ACK 메시지를 전달한다(S743). 전술한 과정이 완료되면, 제1 단말(10)과 제2 단말(20)은 MSRP Relay 서버(120)와 연결이 되고 상대방의 MSRP URI를 사용하여 메시지를 전송할 수 있게 된다. MSRP Relay 서버(120)와의 연결은 SIP BYE 메시지를 전송하거나 수신하기 전까지는 유지된다.
도 8은 도 1의 사용자 단말들 간의 메시지를 송수신하는 절차를 설명하기 위한 흐름도이다.
도 8에 도시한 바와 같이, 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 이용하여 제1 단말(10) 및 제2 단말(20) 간의 메시지 송수신 절차는 다음과 같다. 여기에서, 메시지는 음성 메시지, 영상 채팅 신호에 합성될 이미지 또는 플래시와 같은 멀티미디어 콘텐츠 데이터를 포함한다. 아래의 일부 절차들 S810 ~ S816은 제1 단말(10)에서 제2 단말(20)로 메시지를 전송하는 과정을, 또다른 일부 절차들 S820 ~ S826은 제2 단말(20)에서 제1 단말(10)로 메시지를 전송하는 과정을 나타낸다.
우선, 제1 단말(10)은 MSRP SEND 메시지에 제2 단말(20)로 전달할 메시지를 실어 MSRP Relay 서버(120)로 전송한다(S810). MSRP Relay 서버(120)는 수신된 MSRP SEND 메시지의 목적지 MSRP URI를 사용하여 제2 단말(20)로 SEND 메시지를 전달한다(S812).
제2 단말(20)은 SEND 메시지를 수신하였음을 알리기 위해 MSRP Relay 서버(120)로 200 OK 메시지를 전송하고(S814) 수신한 SEND 메시지를 분석하여 음성, 합성될 이미지, 플래시 데이터를 추출하여 처리한다. 제2 단말(20)에는 음성 메시지에서 획득한 단어에 상응하는 멀티미디어 콘텐츠가 음성 메시지와 함께 출력될 수 있다. MSRP Relay 서버(120)는 제2 단말(20)에서 메시지를 수신하였음을 알리기 위해 제1 단말(10)로 200 OK 메시지를 전달한다(S816).
다음으로, 제2 단말(20)은 MSRP SEND 메시지에 제1 단말(10)로 전달할 메시지를 실어 MSRP Relay 서버(120)로 전송한다(S820). MSRP Relay 서버(120)는 수신된 MSRP SEND 메시지의 목적지 MSRP URI를 사용하여 제1 단말(10)로 SEND 메시지를 전달한다(S822).
제1 단말(10)은 제2 단말(20)의 SEND 메시지를 수신하였음을 알리기 위해 MSRP Relay 서버(120)로 200 OK 메시지를 전송하고(S824) 수신한 SEND 메시지를 분석하여 음성, 합성될 이미지, 플래시 데이터를 추출하여 처리한다. 제1 단말(10)에는 제2 단말(20) 측으로부터의 음성 메시지에서 획득한 단어에 상응하는 멀티미디어 콘텐츠가 음성 메시지와 함께 출력될 수 있다. MSRP Relay 서버(120)는 제1 단말(10)에서 메시지를 수신하였음을 알리기 위해 제2 단말(20)로 200 OK 메시지를 전달한다(S826).
도 9는 도 1의 사용자 단말들 간의 채팅 연결 종료 절차를 설명하기 위한 흐름도이다.
도 9에 도시한 바와 같이, 제1 단말(10) 및 제2 단말(20) 간의 채팅 연결 종료 절차에 있어서, 채팅 종료 시작은 제1 단말(10) 또는 제2 단말(20)에 관계없이 어느 쪽에서라도 먼저 시작할 수 있다. 제1 단말(10)에서 채팅 종료를 수행하는 절차는 다음과 같다.
제1 단말(10)은 채팅 종료를 위해 SIP Proxy 서버(110)로 SIP BYE 메시지를 전송한다(S910). SIP Proxy 서버(110)는 제2 단말(20)로 BYE 메시지를 전달한다(S912).
제2 단말(20)은 MSRP Relay 서버(120)와의 연결을 종료하고 채팅 연결에 필요한 자원을 모두 해제하고 200 OK 메시지를 SIP Proxy 서버(110)로 전송한다(S914). SIP Proxy 서버(110)는 200 OK 메시지를 제1 단말(10)로 전송한다(S916). 200 OK 메시지를 수신한 제1 단말(10)은 MSRP Relay 서버(120)와의 연결을 종료하고 모든 자원들을 해제하여 채팅을 종료한다.
도 10은 도 1의 서비스 제공 시스템에 채용가능한 콘텐츠 자동 업데이트 기능을 설명하기 위한 개략적인 블록도이다.
도 10에 도시한 바와 같이, 본 실시예의 서비스 제공 시스템(100)은 키워드 목록과 키워드 목록 내의 각 키워드에 관련 이미지 또는 플래시 형태의 콘텐츠 정보를 포함한 보유 콘텐츠 정보 목록과 해당 콘텐츠들이 사용자 단말(10)과의 연동으로 자동으로 사용자 단말(10)에 업데이트될 수 있도록 한다.
사용자 단말(10)에서 음성 인식 엔진을 포함한 메신저 어플리케이션(12)이 구동되면, 사용자 단말(10)의 다운로드 처리부(420)는 메모리(424)로부터 사용자 단말(10)에 저장되어 있는 콘텐츠 목록을 콘텐츠 관리 서버 연동부(420)를 통해 서비스 제공 시스템(100)의 콘텐츠 관리 서버(130)로 전송한다.
콘텐츠 관리 서버(130) 내의 콘텐츠 업로드 처리부(134)는 콘텐츠 클라이언트 연동부(132)를 통해 사용자 단말(10)의 콘텐츠 목록을 수신하고 콘텐츠 데이터베이스(Database)(136)로부터 업데이트할 콘텐츠가 존재하는지를 조회한다. 업데이트할 콘텐츠가 있으면, 콘텐츠 업로드 처리부(134)는 콘텐츠 클라이언트 연동부(132)를 거쳐 업데이트 콘텐츠의 내용을 사용자 단말(10)로 전송한다. 사용자 단말(10) 내 다운로드 처리부(422)는 콘텐츠 관리 서버 연동부(420)로부터 수신한 업데이트 콘텐츠 내용을 메모리에 저장하고 최종 콘텐츠 정보를 갱신한다. 이후 사용자가 채팅 서비스를 수행 도중 서비스 제공 시스템의 콘텐츠가 업데이트되면 콘텐츠 업로드 처리부(134)는 콘텐츠 클라이언트 연동부(132)를 거쳐 업데이트된 콘텐츠 내용을 사용자 단말(10)로 전송하고 사용자 단말(10)은 다운로드 처리부(422)를 통해 메모리(424)에 업데이트된 콘텐츠 내용을 저장하고 갱신한다.
전술한 본 실시예에 의하면, 3G/4G PS 망이나 WiFi 망에서 스마트폰 또는 태블릿 퍼스널컴퓨터와 같은 사용자 단말을 이용하여 실시간으로 사용자가 입력한 음성과 그에 대응하는 추가적인 이미지 혹은 영상을 채팅 신호와 함께 재생하여 보여주는 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공할 수 있다.
도 11은 도 1의 사용자 단말에 채용가능한 메신저 어플리케이션에서의 사용자 인터페이스 화면을 나타낸 도면이다.
도 11에 도시한 바와 같이, 사용자가 음성 인식 엔진을 포함한 메신저 어플리케이션을 사용자 단말에서 실행하면 메신저 어플리케이션은 사용자가 등록한 친구 목록을 사용자 단말의 화면에 나열한다(1110).
사용자는 친구 목록 우측의 "채팅 버튼"을 눌러 원하는 사용자와 영상 채팅을 시작할 수 있다. 화면 상단에 표시가능한 사용자 메뉴로는 "친구 관리", "콘텐츠 관리", "설정" 등이 있으며, 그러한 경우, "친구 관리" 메뉴를 이용하여 친구 목록 내의 연락처를 추가, 수정, 또는 삭제할 수 있고, "콘텐츠 관리" 메뉴를 이용하여 사용자 단말에 등록되어 있는 인식 단어 또는 키워드 목록, 및 그와 관련된 플래시 또는 이미지의 목록을 확인할 수 있고 서비스 제공 시스템에 접속하여 추가적인 인식 단어 또는 키워드 목록과 그와 관련된 멀티미디어 콘텐츠 데이터를 다운로드 할 수 있다. 사용자는 "설정" 메뉴를 이용하여 자신의 사진이나 채팅 문자의 색상, 음성 입력 모드 등과 같은 서비스 옵션을 설정할 수 있다.
발신측 사용자 단말과 착신측 사용자 단말의 영상 통화 중(1121, 1122)에 발신측 사용자가 음성으로 “커피 마시러 갈래?”라는 말을 하면, 사용자 단말에 탑재된 음성 인식 엔진은 음성 메시지에서 “커피”라는 단어 또는 키워드를 인식한다. 음성 인식 엔진의 인식 결과에 따라 발신측 사용자 단말의 제1 앱은 키워드와 관련된 플래시 또는 이미지를 자신의 단말의 콘텐츠 데이터베이스(1133)에서 검색한 후 해당 콘텐츠를 화면에 출력한다(1131).
발신측 사용자 단말의 콘텐츠 목록으로부터 사용자 인터페이스상에 출력할 플래시 또는 이미지가 결정되면, 해당 플래시 또는 이미지는 화면에 합성 또는 오버레이되어 표시된다. 그리고, 입력된 음성 메시지는 상대방에게 전달된다.
착신측 사용자 단말에 탑재된 제2 앱은 발신측 사용자 단말로부터 음성 메시지를 받고, 음성 메시지에서 "커피"라는 키워드를 인식하고, 키워드에 상응하는 멀티미디어 콘텐츠를 콘텐츠 데이터베이스(1134)에서 검색한 후 화면에 영상 통화 또는 영상 채팅 신호와 합성 또는 오버레이하여 출력한다. 이때, 수신한 음성 메시지는 스피커를 통해 출력된다(1132).
음성 인식은 주위 소음의 영향으로 인하여 오차가 발생할 수 있기 때문에 제1 앱 및 제2 앱은 유사 키워드와 유사 키워드와 관련된 플래시 또는 이미지들도 같이 검색하고 검색된 콘텐츠 목록을 출력하여 사용자가 정확한 플래시 또는 이미지를 선택할 수 있도록 동작할 수 있다.
전술한 실시예에 적용가능한 변형예로서, 소정 메뉴를 선택하여 플러스 음성 모드를 활성화함으로써, 음성 메시지 내의 단어 인식에 더하여 메시저 어플리케이션 내의 문자 인식 엔진을 통해 채팅창으로 입력된 문자 메시지 내의 특정 단어를 인식하고 그에 상응하여 추가적인 멀티미디어 콘텐츠를 검색하여 영상 채팅 신호와 함께 사용자 단말에 표시해 줄 수 있다. 그러한 경우, 음성 메시지와 문자 메시지 모두에 기초하여 멀티미디어 콘텐츠를 합성한 영상 채팅 서비스를 이용할 수 있으므로, 사용자는 영상 채팅의 내용을 쉽게 강조할 수 있고 보다 입체감 있는 채팅을 할 수 있다.
이상에서, 바람직한 실시예들을 참조하여 본 발명을 설명하였으나, 본 발명은 상기의 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명은 첨부한 특허청구범위 및 도면 등의 전체적인 기재를 참조하여 해석되어야 할 것이며, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (14)

  1. 인터넷 또는 패킷 교환망을 통해 제1 단말 및 제2 단말과 결합하여 제1 단말 및 제2 단말 사이에서 메시징 서비스를 포함한 커뮤니케이션 서비스를 제공하는 서비스 제공 시스템을 통해 제1 단말과 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말에서 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하는 방법에 있어서,
    상기 서비스 제공 시스템은,
    상기 제1 단말 및 상기 제2 단말 사이에서 SIP(Session Initiation Protocol) 메시지를 라우팅하는 신호 처리 서버; 상기 제1 단말 및 상기 제2 단말 간의 채팅 연결 또는 메시지 세션을 설정하는 MSRP(Message Session Relay Protocol) Relay 서버; 및 상기 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말의 요청에 따라 특정 키워드에 상응하는 멀티미디어 콘텐츠 데이터를 상기 사용자 단말로 전송하는 콘텐츠 관리 서버를 포함하고,
    상기 신호 처리 서버는, SIP(Session Initiation Protocol) Registrar 서버 및 상기 SIP Registrar 서버에 연결되는 SIP Proxy 서버를 포함하고, 상기 SIP Proxy 서버는, 상기 커뮤니케이션 서비스를 수행하는 제1 단말 및 제2 단말의 채팅 연결 및 위치 등록 처리부와 연동하여 상기 제1 단말 및 제2 단말의 위치가 변경될 때 상기 제1 단말 및 제2 단말의 로밍을 처리하고,
    상기 제1 단말 및 제2 단말이 상기 신호 처리 서버 및 상기 MSRP Relay 서버를 통해 커뮤니케이션 서비스를 수행하는 도중 상기 제1 단말 및 제2 단말 중 어느 하나의 사용자 단말이 상대방 단말로부터 상기 신호 처리 서버 및 상기 MSRP Relay 서버를 통해 전송되어 오는 특정 키워드를 포함하는 음성 메시지를 수신하고 상기 수신된 음성 메시지에서 음성을 추출하는 제1 단계;
    상기 사용자 단말에서 추출된 음성으로부터 단어를 분리하는 제2 단계;
    상기 사용자 단말에서 분리된 단어를 미리 설정된 키워드 목록 내의 키워드와 비교하여 상기 단어와 일치하는 키워드를 검색하는 제3 단계;
    상기 사용자 단말에서 키워드에 대응하는 이미지 또는 동영상 형태의 멀티미디어 콘텐츠 데이터를 추출하는 제4 단계; 및
    상기 사용자 단말에서 상기 수신된 키워드를 포함하는 음성 메시지를 출력하면서 상기 추출된 상기 이미지 또는 동영상 형태의 상기 멀티미디어 콘텐츠 데이터를 재생하는 제5 단계
    를 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 제3 단계는 서비스 제공 시스템의 콘텐츠 관리 서버로부터 상기 키워드 목록 및 상기 키워드 목록에 대응하는 보유 콘텐츠 정보 목록을 받는 단계를 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 사용자 단말은 서비스 제공 시스템의 SIP(Session Initiation Protocol) Registrar/Proxy 서버와 연결되며 SIP 메시지를 생성하고 송수신하는 SIP Registrar/Proxy 서버 연동부; 서비스 제공 시스템의 MSRP(Message Session Relay Protocol) Relay 서버를 통해 인스턴트 메시지를 송수신하는 MSRP Relay 서버 연동부; 상기 콘텐츠 관리 서버와 연결되는 콘텐츠 관리 서버 연동부; 및 상기 MSRP Relay 서버 연동부에 연결되며 음성 메시지 내의 단어 또는 키워드를 인식하는 음성 인식 처리부를 구비하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 음성 인식 처리부는,
    음성 메시지를 실시간으로 음성 인식 엔진에 전달하는 음성 추출부;
    상기 음성 추출부에서 받은 음성 메시지를 인식하여 분석 데이터를 생성하는 음성 인식 엔진;
    상기 음성 인식 엔진에서 받은 분석 데이터로부터 문장을 생성하는 문장 단어 처리부;
    상기 문장 단어 처리부로부터 받은 문장으로부터 단어 또는 키워드를 검출하는 키워드 단어 검출부; 및
    상기 키워드 단어 검출부로부터 받은 단어 또는 키워드에 상응하는 멀티미디어 콘텐츠를 검색하는 단어 이미지 검색부
    를 구비하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 제4 단계는 상기 콘텐츠 관리 서버 연동부에 연결된 다운로드 처리부가 상기 콘텐츠 관리 서버로부터 상기 멀티미디어 콘텐츠 데이터를 받는 단계를 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  6. 제5항에 있어서,
    상기 콘텐츠 관리 서버는 상기 콘텐츠 관리 서버 연동부와 연결되는 콘텐츠 클라이언트 연동부; 상기 콘텐츠 클라이언트 연동부에 연결되어 사용자 단말로 콘텐츠를 전송하는 콘텐츠 업로드 처리부; 및 상기 단어 또는 키워드에 상응하는 멀티미디어 콘텐츠를 저장 및 관리하는 콘텐츠 데이터베이스를 구비하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  7. 제3항에 있어서,
    상기 사용자 단말은 SIP Registrar/Proxy 서버 연동부에 연결되며, 사용자 단말의 위치가 변경될 때, 상기 SIP Registrar/Proxy 서버와 연동하여 상기 사용자 단말의 로밍을 처리하는 채팅 연결 및 위치 등록 처리부를 구비하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  8. 제7항에 있어서,
    상기 제1 단계 이전, 상기 제1 또는 제2 단말의 요청에 따라 상기 MSRP Relay 서버에서 상기 제1 단말 및 상기 제2 단말 간의 채팅 연결을 설정하는 단계를 더 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  9. 제1항에 있어서,
    상기 제5 단계 이후, 상기 사용자 단말의 채팅창에 입력되는 문자 메시지로부터 단어 또는 키워드를 분리하고 분리한 단어 또는 키워드에 상응하는 이미지 또는 플래시 파일을 검색하여 상기 문자 메시지와 함께 상기 사용자 단말의 화면에 재생하는 단계를 더 포함하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법.
  10. 인터넷 또는 패킷 교환망을 통해 제1 단말 및 제2 단말과 결합하여 제1 단말 및 제2 단말 사이에서 메시징 서비스를 포함한 커뮤니케이션 서비스를 제공하며, 제1 단말과 제2 단말의 커뮤니케이션 서비스 수행 도중 제1 단말 및 제2 단말 중 적어도 어느 하나에 멀티미디어 콘텐츠 합성 영상 채팅 서비스를 제공하는 시스템에 있어서,
    상기 제1 단말 및 상기 제2 단말 사이에서 SIP(Session Initiation Protocol) 메시지를 라우팅하는 신호 처리 서버;
    상기 제1 단말 및 상기 제2 단말 간의 채팅 연결 또는 메시지 세션을 설정하는 MSRP(Message Session Relay Protocol) Relay 서버; 및
    상기 제1 단말 및 제2 단말 중 적어도 어느 하나의 사용자 단말의 요청에 따라 특정 키워드에 상응하는 멀티미디어 콘텐츠 데이터를 상기 사용자 단말로 전송하는 콘텐츠 관리 서버
    를 포함하고,
    상기 신호 처리 서버는, SIP(Session Initiation Protocol) Registrar 서버 및 상기 SIP Registrar 서버에 연결되는 SIP Proxy 서버를 포함하고, 상기 SIP Proxy 서버는, 상기 커뮤니케이션 서비스를 수행하는 제1 단말 및 제2 단말의 채팅 연결 및 위치 등록 처리부와 연동하여 상기 제1 단말 및 제2 단말의 위치가 변경될 때 상기 제1 단말 및 제2 단말의 로밍을 처리하고,
    상기 제1 단말 및 제2 단말은, 상기 신호 처리 서버 및 상기 MSRP Relay 서버를 통해 상대방 단말과 커뮤니케이션 서비스를 수행하며,
    상기 제1 단말 및 제2 단말 중 어느 하나의 사용자 단말은,
    상기 커뮤니케이션 서비스를 수행하는 도중 상대방 단말로부터 상기 신호 처리 서버 및 상기 MSRP Relay 서버를 통해 전송되어 오는 특정 키워드를 포함하는 음성 메시지를 수신하고, 상기 음성 메시지에서 음성을 추출하고, 상기 추출된 음성으로부터 단어를 분리하고, 상기 분리된 단어를 미리 설정된 키워드 목록 내의 키워드와 비교하여 상기 단어와 일치하는 키워드를 검색한 후, 상기 키워드에 대응하는 이미지 또는 동영상 형태의 멀티미디어 콘텐츠 데이터를 추출하고, 상기 수신된 키워드를 포함하는 음성 메시지를 출력하면서 상기 추출된 상기 이미지 또는 동영상 형태의 멀티미디어 콘텐츠 데이터를 재생하는 것을 특징으로 하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템.
  11. 제10항에 있어서,
    상기 콘텐츠 관리 서버는 상기 사용자 단말의 요청에 따라 상기 키워드에 대한 키워드 목록 및 상기 키워드 목록의 각 키워드에 대응하는 보유 콘텐츠 정보 목록을 상기 사용자 단말로 전송하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템.
  12. 제10항에 있어서,
    상기 콘텐츠 관리 서버는 사용자 단말의 콘텐츠 관리 서버 연동부와 연결되는 콘텐츠 클라이언트 연동부; 상기 콘텐츠 클라이언트 연동부에 연결되어 사용자 단말로 콘텐츠를 전송하는 콘텐츠 업로드 처리부; 및 상기 키워드에 상응하는 멀티미디어 콘텐츠를 저장 및 관리하는 콘텐츠 데이터베이스를 구비하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템.
  13. 삭제
  14. 제10항에 있어서,
    상기 사용자 단말은, 채팅창으로 입력되거나 네트워크를 통해 수신되는 문자 메시지로부터 단어 또는 키워드를 분리하고 분리한 단어 또는 키워드에 상응하는 이미지 또는 플래시 파일을 검색하여 상기 문자 메시지와 함께 상기 사용자 단말의 화면에 재생하는 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 시스템.
KR1020110062235A 2011-01-31 2011-06-27 개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템 KR101268436B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110009396 2011-01-31
KR1020110009396 2011-01-31

Publications (2)

Publication Number Publication Date
KR20120088493A KR20120088493A (ko) 2012-08-08
KR101268436B1 true KR101268436B1 (ko) 2013-06-05

Family

ID=46873763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110062235A KR101268436B1 (ko) 2011-01-31 2011-06-27 개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101268436B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101400258B1 (ko) * 2013-06-20 2014-05-28 주식회사 금영 음성 인식을 이용한 이미지 표시 방법
KR101582816B1 (ko) * 2013-08-20 2016-01-07 함돈경 개인식별정보를 이용하여 불특정 다수의 사용자가 통화 및 메시징을 수행하는 단말기 및 통화시스템
KR102340251B1 (ko) 2014-06-27 2021-12-16 삼성전자주식회사 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
KR20160139771A (ko) * 2015-05-28 2016-12-07 삼성전자주식회사 전자 장치, 정보 제공 시스템 및 그 정보 제공 방법
CN112235180A (zh) * 2020-08-29 2021-01-15 上海量明科技发展有限公司 语音消息处理方法、设备及即时通信客户端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080083553A (ko) * 2007-03-12 2008-09-18 (주)티아이스퀘어 음성 인식을 이용한 영상 합성 통화 서비스 방법 및 장치
KR20090054609A (ko) * 2007-11-27 2009-06-01 (주)씨앤에스 테크놀로지 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법
KR20090087279A (ko) * 2008-02-12 2009-08-17 에스케이 텔레콤주식회사 음성인식 기반의 영상통화 서비스 구현 방법 및 이에적용되는 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080083553A (ko) * 2007-03-12 2008-09-18 (주)티아이스퀘어 음성 인식을 이용한 영상 합성 통화 서비스 방법 및 장치
KR20090054609A (ko) * 2007-11-27 2009-06-01 (주)씨앤에스 테크놀로지 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법
KR20090087279A (ko) * 2008-02-12 2009-08-17 에스케이 텔레콤주식회사 음성인식 기반의 영상통화 서비스 구현 방법 및 이에적용되는 장치

Also Published As

Publication number Publication date
KR20120088493A (ko) 2012-08-08

Similar Documents

Publication Publication Date Title
US10585554B2 (en) Apparatus and method for managing interactive television and voice communication services
KR101226560B1 (ko) 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 공유 서비스 제공 방법 및 시스템
US20140333713A1 (en) Video Calling and Conferencing Addressing
US10341610B2 (en) Method and apparatus using an integrated femtocell and residential gateway device
JP6051782B2 (ja) 通信システムおよびプログラム
US8510398B2 (en) Apparatus and method for managing message communication
CN112738559B (zh) 投屏实现方法、装置及系统
US20090232129A1 (en) Method and apparatus for video services
US20070180135A1 (en) Multimedia content exchange architecture and services
JP6201299B2 (ja) 通信システム、通信方法およびプログラム
US10764107B2 (en) Session initiation method and device
CN105933555B (zh) 一种与呼叫中心的通信方法、系统及相关装置
KR101268436B1 (ko) 개인 휴대 단말에서의 음성 인식을 이용한 멀티미디어 콘텐츠 합성 영상 채팅 서비스 제공 방법 및 시스템
WO2008098247A2 (en) Method and apparatus for a multimedia value added service delivery system
KR20120018708A (ko) 커뮤니케이션 서비스 수행 도중 멀티미디어 콘텐츠 제공 방법 및 시스템
JP5983792B2 (ja) 伝送システム、及び伝送方法
CN116636199A (zh) 一种呼叫处理方法、呼叫处理装置及相关设备
CN105282621A (zh) 一种语音消息可视化服务的实现方法及装置
US20110145868A1 (en) Sharing Media in a Communication Network
WO2016086760A1 (zh) 一种推送业务的实现方法及设备
WO2017193999A1 (zh) 机顶盒主叫、被叫通信方法及机顶盒、核心网装置
KR20150086981A (ko) 복합 ars 서비스 방법 및 장치
KR20150044316A (ko) Ars 서비스 제공 방법 및 장치
KR100887152B1 (ko) 영상메시지 푸시 시스템 및 방법
CN116155868A (zh) 电信通讯方法、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170502

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190503

Year of fee payment: 7