KR102014817B1 - System for providing communication services in device things using id - Google Patents

System for providing communication services in device things using id Download PDF

Info

Publication number
KR102014817B1
KR102014817B1 KR1020180023455A KR20180023455A KR102014817B1 KR 102014817 B1 KR102014817 B1 KR 102014817B1 KR 1020180023455 A KR1020180023455 A KR 1020180023455A KR 20180023455 A KR20180023455 A KR 20180023455A KR 102014817 B1 KR102014817 B1 KR 102014817B1
Authority
KR
South Korea
Prior art keywords
thing
service
user terminal
voice
call
Prior art date
Application number
KR1020180023455A
Other languages
Korean (ko)
Other versions
KR20180099535A (en
Inventor
이길수
Original Assignee
(주)티아이스퀘어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20170026722 priority Critical
Priority to KR1020170026722 priority
Application filed by (주)티아이스퀘어 filed Critical (주)티아이스퀘어
Publication of KR20180099535A publication Critical patent/KR20180099535A/en
Application granted granted Critical
Publication of KR102014817B1 publication Critical patent/KR102014817B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522

Abstract

본 발명은 ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템으로서, 장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 제어 세션을 형성하고, 상기 제어 세션을 통한 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 호 처리 기능을 수행하는 서비스 서버; 및 장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 미디어 세션을 형성하는 미디어 서버를 포함하고, 상기 장치 사물은 설정된 ID를 상기 서비스 서버에 저장된 장치 사물 사용자의 계정의 주소록에 등록하고, 상기 서비스 서버는 상기 장치 사물 사용자의 계정의 주소록을 다른 장치 사물 및 사용자 단말기와 동기화하여 저장하도록 한 상태에서, 장치 사물 및 사용자 단말기는 주소록에 저장된 ID에 기초하여 통화 서비스를 수행할 장치 사물 또는 사용자 단말기를 선택하고, 상기 서비스 서버를 통해 형성된 제어 세션을 통해 제어 신호를 송수신하고 또한 상기 미디어 서버를 통해 형성되는 미디어 세션을 통해 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 음성, 영상 또는 메시지 신호를 상기 선택된 장치 사물 또는 사용자 단말기와 송수신함으로써 통화 서비스를 수행하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템을 제공한다.The present invention provides a system for providing a communication service in a device thing by using an ID, which is connected through a network with the device thing and the user terminal to form a control session between the device thing or the device thing and the user terminal, and the control session A service server for performing a call processing function for a voice or video call service and a message transmission / reception service through a service; And a media server coupled to the device thing and the user terminal through a network to form a media session between the device thing or between the device thing and the user terminal, wherein the device thing has a set ID of the device thing user stored in the service server. Registered in the address book of the account, and the service server is configured to store the address book of the device thing user's account in synchronization with other device things and the user terminal, the device thing and the user terminal is a call service based on the ID stored in the address book Selecting a device thing or a user terminal to perform the operation, and transmits and receives a control signal through a control session formed through the service server, and for a voice or video call service and a message transceiving service through a media session formed through the media server Audio and video Provides the call service provider system in the device object, characterized in that to perform the call service by transmitting and receiving device with the selected object or a user terminal a message signal.

Description

ID를 이용하여 장치 사물에서 통신 서비스를 제공하는 시스템{SYSTEM FOR PROVIDING COMMUNICATION SERVICES IN DEVICE THINGS USING ID}System for providing communication service in device thing using ID {SYSTEM FOR PROVIDING COMMUNICATION SERVICES IN DEVICE THINGS USING ID}
본 발명은 ID를 이용하여 장치 사물에서 통신 서비스를 제공하는 시스템에 관한 것으로서, 보다 상세하게는 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 ID에 기반하여 간편하고 효율적으로 다양한 통신 서비스를 제공할 수 있는 시스템에 관한 것이다.The present invention relates to a system for providing a communication service in a device thing using an ID. More particularly, the present invention can provide various communication services simply and efficiently based on the ID between the device thing or between the device thing and the user terminal. It is about a system.
종래의 전통적인 통신 서비스는, 유무선 통신사 및 케이블사 등에서 구축한 통신망을 중심으로 가정 및 기업 고객이 가입함으로써 전화 통화 등의 통신 서비스를 이용할 수 있었으며 예컨대, 02, 031 및 070 등 유선 전화 번호 방식으로 서비스가 이루어져왔다. 이를 통해 통신사는 가입한 고객으로부터 설치비, 단말가격 및 통신 요금 등의 다양한 BM(Business Model)을 가지고 전통적인 통신 사업을 해오고 있다. Conventional telecommunication services have been able to use telecommunications services such as telephone calls by subscribing home and business customers mainly to telecommunication networks established by wired / wireless telecommunications companies and cable companies. For example, wired telephone numbers such as 02, 031 and 070 are used. Has been made. Through this, telecommunications companies have been doing traditional telecommunications business with various business models (BMs) such as installation fees, terminal prices, and telecommunications fees from subscribed customers.
한편, 최근에는 사물 인터넷(IoT) 기술 보급이 확대됨에 따라 사물 인터넷을 이용한 다양한 디바이스들과 이러한 디바이스를 이용한 다양한 부가 서비스가 제안되고 있다.Meanwhile, as the Internet of Things (IoT) technology has been widely spread, various devices using the Internet of Things and various additional services using such devices have been proposed.
한편, 유선 및 인터넷 기반의 전화의 경우 기존의 전화 번호 기반으로 통화 서비스가 만들어지므로, ID에 기반하여 가정이나 기업에서 통화 서비스를 제공할 수 있는 위한 디바이스는 아직 존재하지 않았으며, 스마트폰 등 모바일과의 연계도 이루어질 수 없었다는 한계가 있다.On the other hand, in the case of wired and Internet-based phones, since the call service is made based on the existing phone number, a device for providing a call service in a home or a business based on ID does not exist yet. There is also a limit that no linkage can be made.
본 발명은 상기한 바와 같은 한계점을 극복하기 위한 것으로서, 다양한 형태의 AI 디바이스와 IoT 디바이스와 같은 장치 사물(Device Things)를 이용하여 ID에 기반하여 통신 서비스를 수행할 수 있도록 하는 시스템을 제공하는 것을 목적으로 한다.The present invention is to overcome the above limitations, to provide a system that can perform a communication service based on the ID by using various types of device things such as AI devices and IoT devices. The purpose.
또한, 본 발명은 스마트폰의 어플리케이션과 AI(Artificial Intelligence) 디바이스 또는 IoT(Internet of Thing) 디바이스간에 ID(Identification)를 이용하여 단방향(Half Duplex) PTT 음성/영상 통화 서비스, 양방향(FullDuplex) 음성/영상 통화 서비스, 메시지 송수신 서비스를 제공하는 것을 목적으로 한다.In addition, the present invention uses a half-duplex PTT voice / video call service, FullDuplex voice / using the ID (Identification) between the application of the smartphone and the AI (Artificial Intelligence) device or Internet of Thing (IoT) device An object of the present invention is to provide a video call service and a message transmission / reception service.
또한, 본 발명은 전화 번호가 없어도 AI 디바이스 및 IoT 디바이스)에 ID를 부여함으로써, 스마트폰과 AI/IoT 디바이스들 간의 다양한 커뮤니케이션을 제공할 수 있는 시스템을 제공하는 것을 또 다른 목적으로 한다.Another object of the present invention is to provide a system capable of providing various communication between a smart phone and AI / IoT devices by providing an ID to an AI device and an IoT device without a phone number.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템으로서, 장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 제어 세션을 형성하고, 상기 제어 세션을 통한 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 호 처리 기능을 수행하는 서비스 서버; 및 장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 미디어 세션을 형성하는 미디어 서버를 포함하고, 상기 장치 사물은 설정된 ID를 상기 서비스 서버에 저장된 장치 사물 사용자의 계정의 주소록에 등록하고, 상기 서비스 서버는 상기 장치 사물 사용자의 계정의 주소록을 다른 장치 사물 및 사용자 단말기와 동기화하여 저장하도록 한 상태에서, 장치 사물 및 사용자 단말기는 주소록에 저장된 ID에 기초하여 통화 서비스를 수행할 장치 사물 또는 사용자 단말기를 선택하고, 상기 서비스 서버를 통해 형성된 제어 세션을 통해 제어 신호를 송수신하고 또한 상기 미디어 서버를 통해 형성되는 미디어 세션을 통해 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 음성, 영상 또는 메시지 신호를 상기 선택된 장치 사물 또는 사용자 단말기와 송수신함으로써 통화 서비스를 수행하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템을 제공한다.In order to solve the above problems, the present invention is a system for providing a communication service in a device thing by using an ID, which is coupled between the device thing and the user terminal through a network between the device thing or between the device thing and the user terminal A service server for establishing a control session in and performing a call processing function for a voice or video call service and a message transceiving service through the control session; And a media server coupled to the device thing and the user terminal through a network to form a media session between the device thing or between the device thing and the user terminal, wherein the device thing has a set ID of the device thing user stored in the service server. Registered in the address book of the account, and the service server is configured to store the address book of the device thing user's account in synchronization with other device things and the user terminal, the device thing and the user terminal is a call service based on the ID stored in the address book Selecting a device thing or a user terminal to perform the operation, and transmits and receives a control signal through a control session formed through the service server, and for a voice or video call service and a message transceiving service through a media session formed through the media server Audio and video Provides the call service provider system in the device object, characterized in that to perform the call service by transmitting and receiving device with the selected object or a user terminal a message signal.
여기에서, 상기 장치 사물 사용자의 계정의 주소록은 미리 설정된 허락된 친구 관계인 다른 장치 사물 및 사용자 단말기들과만 동기화할 수 있다.Here, the address book of the device thing user's account may be synchronized only with other device things and user terminals which are preset allowed friend relationships.
또한, 상기 장치 사물 또는 사용자 단말기는, 서비스 수행 장치를 구동시켜서 음성 또는 영상 통화를 수행할 상대방 장치 사물 또는 사용자 단말기의 ID를 선택하고 선택된 ID를 포함하는 음성 또는 영상 통화 요청 신호를 서비스 서버로 전송할 수 있다.Also, the device thing or the user terminal may select an ID of the counterpart device thing or the user terminal to perform the voice or video call by driving the service performing apparatus and transmit a voice or video call request signal including the selected ID to the service server. Can be.
또한, 상기 서비스 서버는 미디어 서버로 미디어 자원 할당 요청 신호를 전송하고, 미디어 서버는 미디어 자원을 할당하고 자원 할당 응답 신호를 서비스 서버로 전송하고, 상기 서비스 서버는 상기 자원 할당 응답 신호를 음성 또는 영상 통화를 요청한 발신측 장치 사물 또는 사용자 단말기로 전송하고, 발신측 장치 사물 또는 사용자 단말기는 상기 자원 할당 응답 신호에 포함된 미디어 자원 정보에 기초하여 미디어 세션을 미디어 서버와 형성할 수 있다.In addition, the service server transmits a media resource allocation request signal to a media server, the media server allocates a media resource and transmits a resource allocation response signal to a service server, and the service server sends the resource allocation response signal to a voice or video. The calling device may transmit the call to the calling device or the user terminal, and the calling device may establish a media session with the media server based on the media resource information included in the resource allocation response signal.
또한, 상기 서비스 서버는, 착신측 장치 사물 또는 사용자 단말기의 ID를 확인하고 이에 기초하여 해당 장치 사물 또는 사용자 단말기로 통화 요청 신호를 전송하고, 착신측 장치 사물 또는 사용자 단말기가 통화를 수락한 경우 상기 서비스 서버는 미디어 서버로 미디어 자원 할당 요청 신호를 전송하고 미디어 서버는 미디어 자원을 할당하고 자원 할당 응답 신호를 서비스 서버로 전송하고, 상기 서비스 서버는 상기 자원 할당 응답 신호를 착신측 장치 사물 또는 사용자 단말기로 전송하고, 착신측 장치 사물 또는 사용자 단말기는 상기 자원 할당 응답 신호에 포함된 미디어 자원 정보에 기초하여 미디어 세션을 미디어 서버와 형성하고, 발신측 및 착신측 장치 사물 또는 사용자 단말기는 상기 미디어 서버를 통해 형성된 미디어 세션을 통해 음성 또는 영상 통화 서비스를 위한 음성 또는 영상 신호를 송수신함으로써 통화 서비스를 수행할 수 있다.In addition, the service server checks the ID of the called device thing or the user terminal and transmits a call request signal to the corresponding device thing or the user terminal based on the ID of the called device thing or the user terminal, and when the called device thing or the user terminal accepts the call, The service server transmits a media resource allocation request signal to a media server, the media server allocates a media resource and transmits a resource allocation response signal to a service server, and the service server sends the resource allocation response signal to a called party's device thing or user terminal. And the called party device thing or the user terminal establishes a media session with the media server based on the media resource information included in the resource allocation response signal, and the calling party and the called party device thing or the user terminal connect the media server. Voice over a media session formed through A call service may be performed by transmitting and receiving a voice or video signal for a video call service.
또한, 상기 음성 또는 영상 통화 서비스는 PTT(Push To Talk) 서비스를 포함할 수 있다.In addition, the voice or video call service may include a push to talk (PTT) service.
또한, 상기 장치 사물 또는 사용자 단말기는, 서비스 수행 장치를 구동시켜서 메시지 송신 서비스를 수행할 상대방 장치 사물 또는 사용자 단말기의 ID를 선택하고 선택된 ID를 포함하는 메시지 송신 서비스 신호를 서비스 서버로 전송할 수 있다.In addition, the device thing or the user terminal may select an ID of the counterpart device thing or the user terminal to perform the message transmission service by driving the service performing apparatus and transmit a message transmission service signal including the selected ID to the service server.
또한, 상기 서비스 서버는, 착신측 장치 사물 또는 사용자 단말기로 메시지가 수신되었음을 알리는 신호를 전송하고, 착신측 장치 사물 또는 사용자 단말기는 미리 설정된 출력모드에 따라 수신한 메시지를 음성 신호로 변환하여 출력할 수 있다.The service server may transmit a signal indicating that the message has been received to the called party device thing or the user terminal, and the called device thing or user terminal may convert the received message into a voice signal and output the voice signal according to a preset output mode. Can be.
또한, 상기 장치 사물은, 장치 사물의 사용자로부터 입력되는 음성 명령을 수신하여 음성 인식부를 통해 음성 명령을 해석하여 텍스트 정보로 변환하여 변환된 텍스트 정보를 포함하는 메시지를 서비스 서버로 전송할 수 있다.The device thing may receive a voice command input from a user of the device thing, interpret the voice command through a voice recognition unit, convert the voice command into text information, and transmit a message including the converted text information to the service server.
또한, 스팸 정보 또는 보이스 피싱 정보를 저장하고 있으며 서비스 서버로부터의 스팸 질의 요청 신호를 수신하여 스팸 여부 또는 보이스 피싱 여부를 판단하여 그 결과를 서비스 서버로 전송하는 스팸 차단 시스템을 더 포함할 수 있다.The apparatus may further include a spam blocking system that stores spam information or voice phishing information, determines whether spam or voice phishing is received by receiving a spam query request signal from a service server, and transmits the result to the service server.
또한, 인터넷에 기반하여 어플리케이션에 의해 통신 서비스를 제공하는 기타 통신 시스템을 더 포함하고, 상기 장치 사물은 상기 기타 통신 시스템의 어플리케이션과 연동하여 장치 사물에 대해 설정된 ID를 기타 통신 시스템에 저장된 장치 사물 사용자의 계정의 주소록에 등록함으로써 상기 장치 사물은 기타 통신 시스템의 어플리케이션의 주소록에 동기화될 수 있다.The apparatus may further include another communication system that provides a communication service by an application based on the Internet, wherein the device thing stores an ID set for the device thing in association with an application of the other communication system. By registering in the address book of the account of the device thing can be synchronized to the address book of the application of the other communication system.
본 발명에 의하면, 다양한 형태의 AI 디바이스와 IoT 디바이스와 같은 장치 사물(Device Things)를 이용하여 ID에 기반하여 통신 서비스를 수행할 수 있도록 하는 시스템을 제공할 수 있다.According to the present invention, it is possible to provide a system for performing a communication service based on ID using device things such as various types of AI devices and IoT devices.
또한, 본 발명은 스마트폰의 어플리케이션과 AI(Artificial Intelligence) 디바이스 또는 IoT(Internet of Thing) 디바이스간에 ID(Identification)를 이용하여 단방향(Half Duplex)PTT 음성/영상 통화 서비스, 양방향(FullDuplex) 음성/영상 통화 서비스, 메시지 송수신 서비스를 제공할 수 있다.In addition, the present invention uses a half-duplex (PTT) voice / video call service, full-duplex (FullDuplex) voice / A video call service and a message transmission / reception service may be provided.
또한, 본 발명에 의하면 다음과 같은 장점이 있다.In addition, the present invention has the following advantages.
1) 본 발명은 기존 통신사 및 유선 기반의 케이블 방송사 등에서 제공되는 유료 방식의 인터넷 전화 서비스와 가입비 또는 별도의 통신료없이 사용이 가능한 무료 기반의 유.무선 인터넷 서비스이다. 1) The present invention is a paid Internet telephone service and a free-based wired / wireless Internet service that can be used without a subscription fee or a separate communication fee provided by an existing telecommunication company and a cable-based cable broadcaster.
2) 본 발명은 가정 및 기업내에서 사용하는 AI 및 IoT 장치(Thing)내에 본 발명의 통신 모듈을 탑재하고, 이를 처리하기 위한 본 발명의 시스템을 제공함으로써, 긍극적으로 스마트폰과 AI 또는 IoT 장치(Thing)들과의 다양한 무료 통신 방식을 제공함으로써, 기존의 카카오톡, Line, WeChat, Facebook 메신저 등에서 제공하는 모바일 스마트폰 App간에만 제공하던 무료 통화 방식을 AI 및 IoT 장치(Thing)까지 확장하고, 이들 AI 및 IoT 장치(Thing)까지 가입자로 확산할 수 있다.2) The present invention, by mounting the communication module of the present invention in the AI and IoT devices (Thing) for use in homes and businesses, and providing a system of the present invention for processing this, ultimately smart phones and AI or IoT By providing various free communication methods with devices, it extends the free calling method provided only between mobile smartphone apps provided by KakaoTalk, Line, WeChat, Facebook Messenger, etc. to AI and IoT devices (Thing). And even these AI and IoT devices (Thing) can be spread to subscribers.
3) 기존 통신사 또는 케이블사의 망을 이용하지 않고, 유.무선 인터넷을 통하여 인터넷이 연결될 수 있는 세계 어떤 곳이라도 AI 또는 IoT 장치(Thing)를 설치하게 되면, 스마트폰과 AI 및 IoT 장치(Thing) 연동이 가능하므로 이를 통하여 단방향 서비스인 PTT 서비스, 양방향 음성/영상 통화 서비스 및 메시징 서비스에 대한 무료 서비스 제공이 가능하므로, 기존 전세계 통신사, 케이블사 위주의 통신 방식에서 벗어나 새로운 통신 방식으로 PTT, 음성/영상 통화 및 메시징 송/수신 등에 대한 서비스를 제공하는 새로운 통신 패러다임을 창조할 수 있다.3) If AI or IoT device (Thing) is installed anywhere in the world where the Internet can be connected through wired / wireless internet without using existing network of telecommunication company or cable company, smart phone and AI and IoT device (Thing) As it is possible to provide free services for one-way PTT service, two-way voice / video call service, and messaging service, it is possible to interlock with PTT, voice / Create new communication paradigms that provide services for video calling and messaging.
4) 본 발명에 의하면, 가정 및 사업체에서 가지고 있는 AI 또는 IoT(예, Home용 CCTV 등) 장치에 유선 인터넷 전화 번호를 갖고 있지 않더라도, 해당 AI/IoT 장치에 대한 ID를 설정함으로써 현재 많은 고객을 확보하고 있는 SKT의 T전화를 사용하는 고객, Kakao Talk 및 Naver의 Line 메신저 App을 사용하는 고객이 가정에 설치되어 있는 AI 및 IoT 단말기기(장치, Thing)에 유선 전화 번호(예, 070 등)를 갖고 있지 않더라도, 고객과 유.무선 인터넷으로 연결되어 있는 AI/IoT 단말간의 의 다양한 통화(PTT서비스, 음성/영상 통화 서비스) 및 문자 관련 서비스를 제공할 수 있다.4) According to the present invention, even if you do not have a wired Internet phone number in the AI or IoT (eg home CCTV, etc.) devices owned by homes and businesses, many customers are currently set up by setting IDs for the corresponding AI / IoT devices. Customers using SKT's T-phones and customers using Kakao Talk and Naver's Line Messenger App are wired telephone numbers (e.g., 070, etc.) to AI and IoT terminal devices (devices, Things) installed at home. Even if you do not have a, can provide a variety of calls (PTT service, voice / video call service) and text-related services between the customer and the AI / IoT terminal connected to the wired and wireless Internet.
5) 본 발명에 의하면, AI 또는 IoT 장치(Thing)에 착신되는 전화에 대해서 AI 또는 IoT 장치(Thing)내에 저장되어 있는 주소록에 등록되어 있지 않은 수신전화에 대하여, 이를 AI/IoT 단말 고객에게 알려줘서 선택적으로 전화를 수신할 수 있도록 할 수 있다.5) According to the present invention, for an incoming call that is not registered in the address book stored in the AI or IoT device (Thing) for the incoming call to the AI or IoT device (Thing), to inform the AI / IoT terminal customer You can optionally allow the call to be received.
6) 또한 본 발명을 이용하게 되면 기존의 스팸/보이스피싱 차단 시스템과 연동하여 스팸 전화 또는 보이스피싱 관련 전화 번호에 대하여 수신 시에 이를 알려ㅈ줄 수 있는 장점이 있다.6) In addition, the use of the present invention has an advantage in that it can be notified when receiving a spam phone or voice phishing related phone number in conjunction with the existing spam / voice phishing blocking system.
7) 또한 본 발명은 기존의 전화 또는 메신저 서비스 시스템과 연동하여 AI/IoT 장치(Thing)을 연락처 및 친구에 등록할 수 있어, 기존 통화 App(예, T전화) 및 메신저 App(Kakao Talk, Line, Wechat, Facebook Messenger, Google Messenger 등)과 연동하여 음성/영상 PTT, 통화 서비스 및 문자 채팅 서비스를 이용할 수 있다.7) In addition, the present invention can register the AI / IoT device (Thing) to the contacts and friends in conjunction with the existing phone or messenger service system, the existing call App (eg, T-phone) and messenger App (Kakao Talk, Line , Wechat, Facebook Messenger, Google Messenger, etc.), you can use voice / video PTT, call service and text chat service.
도 1은 본 발명에 의한 ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템(100)의 전체 구성을 나타낸 도면이다.
도 2는 시스템(100)의 내부 구성을 나타낸 도면이다.
도 3은 장치 사물(200)과 사용자 단말기(300)에 포함된 서비스 수행 장치(600)의 내부 구성을 나타낸 도면이다.
도 4는 엔진 처리부(620)의 일실시예를 나타낸 도면이다.
도 5는 장치 사물(200)과 시스템(100) 및 사용자 단말기(300) 간의 셋업 절차를 설명하기 위한 도면이다.
도 6은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 사용자 단말기(300)에서 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행하는 경우를 설명하기 위한 도면이다.
도 7은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 사용자 단말기(300)에서 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행할 때 시스템(100)에서의 상세 호 설정 과정을 나타낸 것이다.
도 8은 도 6 및 도 7에서 설명한 바와 같이 사용자 단말기(300)로부터 장치 사물(200)로 음성 호(Incoming Voice Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.
도 9는 도 6 및 도 7에서 설명한 바와 같이 사용자 단말기(300)로부터 장치 사물(200)로 영상 호(Incoming Video Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.
도 10은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 장치 사물(200)에서 사용자 단말기(300) 또는 다른 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행하는 경우를 설명하기 위한 도면이다.
도 11은, 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 장치 사물(200)에서 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성 또는 영상 통화 서비스를 수행할 때 시스템(100)에서의 상세 호 설정 과정을 나타낸 것이다.
도 12는 도 10 및 도 11에서 설명한 바와 같이 장치 사물(200)로부터 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성 호(Incoming Voice Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.
도 13은 도 10 및 도 11에서 설명한 바와 같이 장치 사물(200)로부터 다른 장치 사물(200) 또는 사용자 단말기(300)로 영상 호(Incoming Video Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.
도 14는 사용자 단말기(300)에서 장치 사물(200)로 음성/영상 PTT(Push To Talk) 서비스를 수행하는 경우를 설명하기 위한 도면이다.
도 15는 장치 사물(200)에서 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성/영상 PTT(Push To Talk) 서비스를 수행하는 경우를 설명하기 위한 도면이다.
도 16은 사용자 단말기(300)에서 장치 사물(200)로 메시지 송수신 서비스의 하나로서 문자 채팅 서비스 절차를 수행하는 경우를 설명하기 위한 도면이다.
도 17은 장치 사물(200)로 문자가 수신되는 내부 절차를 나타낸 것이다.
도 18은 장치 사물(200)을 이용하여 문자를 발신하는 경우에 대한 내부 절차를 나타낸 것이다.
도 19는 장치 사물(200)에서 사용자 단말기(300) 또는 다른 장치 사물(200)로 메시지 송수신 서비스의 하나로서 문자 채팅을 위한 서비스 절차를 나타낸 것이다.
도 20은 사용자 단말기(300) 또는 장치 사물(200)로부터 착신측 장치 사물(200)로 수신되는 음성/영상 호(Incoming Call)에 대하여 외부 스팸 차단을 하기 위한 서비스 절차를 나타낸 것이다.
도 21은 수신측 장치 사물(200)이 전원 오프(Power Off), 통화중 또는 무응답일 경우 수신된 음성/영상 호 및 메시지에 대한 서비스 절차를 나타낸 것이다.
도 22는 OTT 사업자 또는 통신 사업자가 사용하고 있는 어플리케이션에 적용을 할 경우의 화면 예시를 나타낸 것으로서, 사용자 단말기(스마트폰)에서 장치 사물(200)로 통화를 위한 사용자 인터페이스의 예시를 나타낸 것이다.
도 23은 기존의 메시징 어플리케이션에 본 발명을 적용한 경우를 설명하기 위한 도면으로서, 널리 사용되고 있는 카카오톡 어플리케이션에 본 발명을 적용한 경우이다.
도 24는 통신사에서 제공하고 있는 통화 어플리케이션(예컨대, 에스케이 텔레콤의 T 전화)에 본 발명을 적용한 경우를 나타낸 것이다.
1 is a diagram showing the overall configuration of a system 100 for providing a communication service in a device thing using an ID according to the present invention.
2 is a diagram illustrating an internal configuration of the system 100.
3 is a diagram illustrating an internal configuration of the service performing apparatus 600 included in the device thing 200 and the user terminal 300.
4 is a diagram illustrating an embodiment of an engine processor 620.
FIG. 5 is a diagram for describing a setup procedure between the device thing 200, the system 100, and the user terminal 300.
FIG. 6 is a diagram illustrating a case in which a voice or video call service is performed from the user terminal 300 to the device thing 200 as a communication service performed by the system 100 according to the present invention.
7 illustrates a detailed call setup process in the system 100 when a voice or video call service is performed from the user terminal 300 to the device thing 200 as a communication service performed in the system 100 according to the present invention. will be.
FIG. 8 illustrates the inside of the service performing apparatus 600 of the device thing 200 when an incoming voice call is received from the user terminal 300 to the device thing 200 as described with reference to FIGS. 6 and 7. The interlock procedure is shown.
FIG. 9 illustrates the inside of the service performing apparatus 600 of the device thing 200 when an incoming video call is received from the user terminal 300 to the device thing 200 as described with reference to FIGS. 6 and 7. The interlock procedure is shown.
FIG. 10 is a diagram illustrating a case in which a voice or video call service is performed from the device thing 200 to the user terminal 300 or another device thing 200 as a communication service performed by the system 100 according to the present invention. to be.
11 is a communication service performed by the system 100 according to the present invention, when the system 100 performs a voice or video call service from the device thing 200 to another device thing 200 or the user terminal 300. It shows the detailed call setup process in.
12 illustrates a service of the device thing 200 when an incoming voice call is received from the device thing 200 to another device thing 200 or the user terminal 300 as described with reference to FIGS. 10 and 11. An internal interworking procedure of the performing apparatus 600 is shown.
FIG. 13 illustrates a service of the device thing 200 when an incoming video call is received from the device thing 200 to another device thing 200 or the user terminal 300 as described with reference to FIGS. 10 and 11. An internal interworking procedure of the performing apparatus 600 is shown.
FIG. 14 illustrates a case in which a user terminal 300 performs a voice / video push to talk (PTT) service to a device thing 200.
FIG. 15 is a diagram for describing a case in which a voice / video push to talk (PTT) service is performed from the device thing 200 to another device thing 200 or the user terminal 300.
FIG. 16 is a diagram for describing a case where a text chat service procedure is performed as a message transmission / reception service from the user terminal 300 to the device thing 200.
17 illustrates an internal procedure for receiving text into the device thing 200.
18 illustrates an internal procedure for sending a text using the device thing 200.
19 illustrates a service procedure for text chatting as one of message transmission / reception services from the device thing 200 to the user terminal 300 or another device thing 200.
FIG. 20 illustrates a service procedure for blocking external spam with respect to an incoming call received from the user terminal 300 or the device thing 200 to the called party device 200.
FIG. 21 illustrates a service procedure for a received voice / video call and message when the receiving device 200 is powered off, busy, or unanswered.
FIG. 22 illustrates an example of a screen when an application is used by an OTT operator or a communication operator, and illustrates an example of a user interface for a call from a user terminal (smartphone) to the device thing 200.
FIG. 23 is a diagram illustrating a case where the present invention is applied to an existing messaging application, and is a case where the present invention is applied to a widely used KakaoTalk application.
24 illustrates a case where the present invention is applied to a call application provided by a telecommunication company (eg, T-phone of SK Telecom).
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 의한 ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템(100, 이하 간단히 "통신 서비스 제공 시스템(100)" 또는 "시스템(100)"이라 한다)의 전체 구성을 나타낸 도면이다.FIG. 1 shows the overall configuration of a system 100 (hereinafter referred to simply as "communication service providing system 100" or "system 100") for providing a communication service in a device thing using an ID according to the present invention. Drawing.
도 1을 참조하면, 시스템(100)은, 인터넷 등과 같은 네트워크를 통해 장치 사물(200), 사용자 단말기(300), 기타 통신 시스템(400) 및 스팸 차단 시스템(500)과 연결되어 있으며, 장치 사물(200) 간 또한 장치 사물(200)과 사용자 단말기(300) 간에 ID를 기반으로 음성 통화, 영상 통화, 문자 서비스, 채팅 서비스, PTT 서비스 등과 같은 다양한 통신 서비스를 제공한다.Referring to FIG. 1, the system 100 is connected to a device thing 200, a user terminal 300, another communication system 400, and an anti-spam system 500 through a network such as the Internet. Between the 200 and also between the device thing 200 and the user terminal 300 provides a variety of communication services, such as voice call, video call, text service, chat service, PTT service.
특히, 본 발명은, 후술하는 바와 같이, 장치 사물(200)에 대해 설정된 ID를 시스템(100)에 저장된 장치 사물(200) 사용자의 계정의 주소록에 등록하고, 시스템(100)은 장치 사물(200) 사용자의 계정의 주소록을 다른 장치 사물(2020) 및 사용자 단말기(300)와 동기화하여 저장하도록 한 상태에서, 장치 사물(200) 및 사용자 단말기(200)는 주소록에 저장된 ID에 기초하여 통화 서비스를 수행할 장치 사물(200) 또는 사용자 단말기(300)를 선택하고, 시스템(100)을 통해 형성된 제어 세션 및 미디어 세션을 통해 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 음성, 영상 또는 메시지 신호를 상기 선택된 장치 사물 또는 사용자 단말기와 송수신함으로써 통화 서비스를 수행하는 것을 특징으로 한다.In particular, the present invention, as will be described later, registers the ID set for the device thing 200 in the address book of the account of the user of the device thing 200 stored in the system 100, the system 100 is the device thing 200 In the state in which the address book of the user's account is stored in synchronization with the other device thing 2020 and the user terminal 300, the device thing 200 and the user terminal 200 make a call service based on the ID stored in the address book. Select the device thing 200 or the user terminal 300 to perform, and the voice, video or message signal for the voice or video call service and the message transmission and reception service through the control session and the media session formed through the system 100; And performing a call service by transmitting / receiving with a selected device thing or a user terminal.
여기에서, 장치 사물(Device Things, 200)이라 함은, 통신 기능을 구비하여 네트워크에 연결될 수 있는 모든 종류의 사물(Things)을 의미하며, 이른바 사물 인터넷(Internet of Things, IoT)에서의 사물과 같은 개념이다. 여기에서, 네트워크라 함은 주지된 바와 같이 인터넷, LTE-M, LoRa 등과 같은 IoT 망, LTE와 같은 이동 통신망 등과 같이 종래 알려져 있는 모든 종류를 포함하는 개념이며 장치 사물(200)은 이러한 네트워크에 연결되어 각종 데이터를 송수신할 수 있는 디바이스(Device)를 의미하는 것으로 정의한다. 예컨대, 장치 사물(200)은 IoT(Internet of Things) 디바이스 또는 AI(Artificial Intelligence) 디바이스와 같은 것일 수 있다. Here, the device things (Device Things, 200) refers to all kinds of things (Things) that can be connected to the network with a communication function, so-called things in the Internet of Things (IoT) The same concept. Here, the network is a concept including all kinds of conventionally known as the Internet, IoT network such as LTE-M, LoRa, mobile communication network such as LTE, and the like, and the device thing 200 is connected to such a network. It is defined as meaning a device that can transmit and receive various data. For example, the device thing 200 may be such as an Internet of Things (IoT) device or an Artificial Intelligence (AI) device.
IoT 디바이스(IoT(Internet of Things) Device)는 주지된 바와 같이, IoT(Internet of Things), 즉, 사물 인터넷에 기반하여 데이터를 송수신할 수 있는 디바이스를 의미하며, 본 발명에 있어서의 IoT 디바이스는, 음성 통화, 영상 통화, 문자 서비스, 채팅 서비스, PTT 서비스 등과 같은 본 발명에 의한 다양한 통신 서비스를 위한 데이터를 시스템(100)을 통해 송수신할 수 있는 장치이다. 이러한 IoT 디바이스는, TV, 냉장고, 스피커 등과 같이 별도의 장치로 구현하거나 예컨대 스피커, 확성기, 마이크, 카메라, 디스플레이 등과 같은 장치에 연동시키거나 이러한 장치들에 내장형으로 포함되도록 할 수 있다. 또한, 드론(Drone) 등과 같은 소형 무인 항공기에 부착하거나 내장형으로 포함되도록 할 수도 있다.The IoT device (Internet of Things (IoT Device)), as is well known, means a device capable of transmitting and receiving data based on the Internet of Things (IoT), that is, the Internet of Things, IoT device in the present invention It is a device that can transmit and receive data for various communication services according to the present invention, such as voice call, video call, text service, chat service, PTT service through the system 100. The IoT device may be implemented as a separate device such as a TV, a refrigerator, a speaker, or the like, or may be interlocked with a device such as a speaker, a loudspeaker, a microphone, a camera, a display, or the like, or may be included in such devices. In addition, it can be attached to a small drone, such as a drone (Drone), or to be included as a built-in.
한편, AI 디바이스(AI(Artificial Intelligence) Device)는 인공 지능(AI)에 기반하여 예컨대 음성을 인식하거나 동작을 인식함으로써 사용자의 명령을 실행하거나 정보를 제공할 수 있는 기능을 포함하는 IoT 디바이스를 의미하는 것으로 정의한다. 최근 AI 디바이스로서 인공 지능에 기반하여 음성 인식을 수행하는 스피커가 제안되고 있다. 이러한 AI 디바이스는 디바이스 내에 인공 지능 모듈을 포함하거나 외부의 인공 지능 서버를 통해 인공 지능 기능을 수행한다.Meanwhile, an AI device (AI) device refers to an IoT device including a function of executing a user command or providing information by recognizing a voice or an operation based on artificial intelligence (AI), for example. It is defined as doing. Recently, a speaker for performing speech recognition based on artificial intelligence has been proposed as an AI device. Such an AI device includes artificial intelligence modules within the device or performs artificial intelligence functions through an external artificial intelligence server.
이러한 IoT 디바이스 또는 AI 디바이스 자체는 종래 기술에 의해 알려져 있는 것이므로 이들에 대한 상세 설명은 생략한다.Since the IoT device or the AI device itself is known by the prior art, a detailed description thereof will be omitted.
한편, 사용자 단말기(300)는, 종래 알려져 있는 스마트폰 또는 컴퓨터로서, 사용자 단말기(300)와 장치 사물(200)은 본 발명을 수행하기 위한 서비스 수행 장치(600)를 각각 포함한다. 여기서, 서비스 수행 장치(600)는 어플리케이션(application)의 형태로 구현된다. 서비스 수행 장치(600)는 도 3을 참조하여 아래에서 설명한다.Meanwhile, the user terminal 300 is a conventionally known smart phone or computer, and the user terminal 300 and the device thing 200 each include a service performing apparatus 600 for performing the present invention. Here, the service performing apparatus 600 is implemented in the form of an application. The service performing apparatus 600 will be described below with reference to FIG. 3.
기타 통신 시스템(400)은 기존의 유무선 통신망이 아닌 인터넷에 기반하여 어플리케이션 등에 의해 통신 서비스를 제공하는 시스템을 말한다. 이러한 기타 통신 시스템(400)은 예컨대 카카오톡, 라인, T 전화 시스템 등과 같은 메시징 또는 통화 서비스 어플리케이션을 이용하여 인터넷에 기반한 통신 서비스를 제공한다. 기타 통신 시스템(400)은 인터넷을 통해 시스템(100)과 연결되고, 시스템(100)은 기타 통신 시스템(400)과 연동하여 본 발명에 의한 다양한 통신 서비스를 기타 통신 시스템(400)에서 제공되는 어플리케이션을 이용하여 제공할 수 있다.The other communication system 400 refers to a system that provides a communication service by an application or the like based on the Internet rather than the existing wired or wireless communication network. This other communication system 400 provides a communication service based on the Internet using a messaging or call service application such as, for example, KakaoTalk, Line, T Phone System, and the like. The other communication system 400 is connected to the system 100 through the Internet, and the system 100 interworks with the other communication system 400 to provide various communication services according to the present invention. It can be provided by using.
후술하는 바와 같이, 장치 사물(200)이 새로 등록될 때 기타 통신 시스템(400)의 어플리케이션과 연동하도록 함으로써 장치 사물(200)에 대해 설정된 ID를 기타 통신 시스템(400)에 저장된 장치 사물(200) 사용자의 계정의 주소록에 등록하도록 할 수 있고, 이에 의해 장치 사물(200)은 기타 통신 시스템(400)의 어플리케이션의 사용자의 주소록에 자동으로 동기화될 수 있다.As will be described later, when the device thing 200 is newly registered, the device thing 200 stored in the other communication system 400 is assigned an ID set for the device thing 200 by interworking with an application of the other communication system 400. It is possible to register in the address book of the user's account, whereby the device thing 200 can be automatically synchronized to the user's address book of the application of the other communication system 400.
스팸 차단 시스템(500)은 스팸 정보(또는 보이스 피싱 정보)를 저장하고 있으며 시스템(100)으로부터의 스팸 질의 요청 신호를 수신하여 스팸 여부(또는 보이스 피싱 여부)를 판단하여 그 결과를 시스템(100)으로 전송하는 기능을 수행한다. 여기서, 스팸 정보는 통화 서비스, 문자 서비스가 이루어질 때 발신자의 ID, 이름 등과 같은 정보에 대응하여 기존의 스팸 신고 여부에 따른 데이터를 축적하여 저장해 둔 데이터베이스를 의미하며, 스팸 차단 시스템(500)은 시스템(100)으로부터 스팸 질의 요청 신호에 포함된 정보를 데이터베이스에서 조회하여 스팸 여부를 판단하고 그 결과를 시스템(100)으로 전송하는 기능을 수행한다.The spam blocking system 500 stores spam information (or voice phishing information) and receives a spam query request signal from the system 100 to determine whether it is spam (or voice phishing), and to determine the result. Perform the function of sending to. Here, the spam information refers to a database that accumulates and stores data according to whether or not existing spam reports correspond to information such as caller ID and name when a call service or text service is made, and the spam blocking system 500 is a system. The information contained in the spam query request signal from the 100 is searched in the database to determine whether the spam, and transmits the result to the system 100.
도 2는 시스템(100)의 내부 구성을 나타낸 도면이다.2 is a diagram illustrating an internal configuration of the system 100.
도 2를 참조하면, 시스템(100)은, 서비스 서버(110) 및 미디어 서버(120)를 포함한다. 또한, 시스템(100)은 MGF 서버(130), OAM 서버(140) 및 DB 서버(150)를 포함할 수 있다.Referring to FIG. 2, the system 100 includes a service server 110 and a media server 120. In addition, the system 100 may include an MGF server 130, an OAM server 140, and a DB server 150.
서비스 서버(110)는, 장치 사물(200) 및 사용자 단말기(300)와 네트워크를 통해 결합하여 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서 제어 세션을 형성하고, 제어 세션을 통한 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 각종 제어 신호를 송수신함으로써 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서의 다양한 호 처리 기능을 수행한다.The service server 110 may be connected to the device thing 200 and the user terminal 300 through a network to form a control session between the device thing 200 or between the device thing 200 and the user terminal 300. Various call processing functions are performed between the device thing 200 or between the device thing 200 and the user terminal 300 by transmitting and receiving various control signals for a voice or video call service and a message transceiving service through a control session.
구체적으로, 서비스 서버(110)는, 어플리케이션 서버(AS(Application Server), 111) 및 SCF 서버(Session Control Function Server, 112)를 포함한다.Specifically, the service server 110 includes an application server (AS) 111 and a SCF server 112.
어플리케이션 서버(111)와 SCF 서버(112)는 미디어 서버(120)와 함께 연동하여 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서 제어 세션을 형성하고, 제어 세션을 통해 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 제어 신호를 송수신함으로써 이들간의 다양한 호 처리 기능을 수행하고, 미디어 서버(120)를 통해 미디어 세션이 형성될 수 있도록 하는 기능을 수행한다.The application server 111 and the SCF server 112 work together with the media server 120 to form a control session between the device thing 200 or between the device thing 200 and the user terminal 300, and establish a control session. By performing transmission and reception of control signals for voice or video call service and message transmission / reception service, various call processing functions are performed therebetween, and a media session can be formed through the media server 120.
미디어 서버(120)는 장치 사물(200) 및 사용자 단말기(300)와 네트워크를 통해 결합하여 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서 미디어 세션을 형성하고 미디어 세션을 통해 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 음성, 영상 또는 메시지 신호를 송수신한다.The media server 120 combines with the device thing 200 and the user terminal 300 through a network to form a media session between the device thing 200 or between the device thing 200 and the user terminal 300 and performs a media session. A voice, video or message signal for voice or video call service and message transmission / reception service is transmitted and received between the device thing 200 or between the device thing 200 and the user terminal 300.
MGF 서버(Media Gateway Function Server, 130)는 미디어 세션을 통해 송수신되는 음성, 영상 또는 메시지 신호를 녹음, 녹화하는 기능을 수행한다.The media gateway function server (130) performs a function of recording and recording voice, video or message signals transmitted and received through a media session.
OAM 서버(Operation & Management Server, 140)는 본 발명에 의한 서비스를 전체적으로 운용하고 관리하는 기능을 담당한다.OAM server (Operation & Management Server, 140) is responsible for the overall operation and management of the service according to the present invention.
DB 서버(Database Server, 150)는 본 발명에 의한 서비스를 수행하기 위해 필요한 각종 데이터를 저장하는 수단이다.The DB server 150 is a means for storing various data necessary for performing a service according to the present invention.
도 3은 장치 사물(200)과 사용자 단말기(300)에 포함된 서비스 수행 장치(600)의 내부 구성을 나타낸 도면이다.3 is a diagram illustrating an internal configuration of the service performing apparatus 600 included in the device thing 200 and the user terminal 300.
서비스 수행 장치(600)는 어플리케이션의 형태로 구현되어 장치 사물(200) 및 사용자 단말기(300)에 설치되며, 도 3에 나타낸 바와 같이, 어플리케이션 관리부(610)와 엔진 처리부(620)를 포함한다.The service performing apparatus 600 is implemented in the form of an application and installed in the device thing 200 and the user terminal 300, and as illustrated in FIG. 3, the service performing apparatus 600 includes an application manager 610 and an engine processor 620.
어플리케이션 관리부(610)는 어플리케이션으로 구현된 서비스 수행 장치(600)를 전체적으로 제어하고 관리하는 기능을 수행하며, 이를 위하여 도 3에 나타낸 바와 같이 서비스 제어부(611), TTS/오디오 플레이어(612), 음성인식부(613) 및 데이터 저장부(614)를 포함한다.The application manager 610 controls and manages the service performing apparatus 600 implemented as an application as a whole. For this, the service controller 611, the TTS / audio player 612, and the voice are illustrated in FIG. 3. The recognition unit 613 and the data storage unit 614 is included.
서비스 제어부(611)는 다른 구성 요소들과 연동하여 서비스 수행 장치(600)의 실행을 위한 전체적인 시나리오 및 로직(Logic)을 제어하여 본 발명에 의한 서비스가 장치 사물(200) 및 사용자 단말기(300)에서 수행될 수 있도록 하는 기능을 담당한다.The service controller 611 controls the overall scenario and logic for executing the service performing apparatus 600 in cooperation with other components so that the service according to the present invention may be the device thing 200 and the user terminal 300. It is responsible for the functions that can be performed in.
TTS/오디오 플레이어(612) 텍스트 정보를 음성 신호로 변환하여 출력하는 기능과, 저장되어 있는 음성 파일을 재생하는 기능을 수행한다.The TTS / audio player 612 converts text information into a voice signal and outputs the voice signal, and plays a stored voice file.
음성인식부(613)는 사용자로부터 입력되는 음성을 인식하고 입력된 음성을 텍스트 정보로 변환하는 기능을 수행한다.The voice recognition unit 613 recognizes the voice input from the user and converts the input voice into text information.
데이터 저장부(614)는 음성 녹음 파일, 연락처 및 환경 설정값 등을 저장 및 관리하는 기능을 담당한다.The data storage unit 614 is responsible for storing and managing voice recording files, contacts, environment settings, and the like.
한편, 엔진 처리부(620)는 프로토콜 엔진(621) 및 미디어 엔진(622)를 포함한다.The engine processor 620 may include a protocol engine 621 and a media engine 622.
프로토콜 엔진(621)은 시스템(100) 및 서비스 제어부(611)와 연동하여 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 프로토콜 제어 기능을 수행한다.The protocol engine 621 performs a protocol control function for a voice or video call service and a message transmission / reception service in cooperation with the system 100 and the service control unit 611.
미디어 엔진(622)는 서비스 제어부(611)와 연동하여 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 입출력 장치 제어 및 음성, 영상 또는 메시지 신호의 미디어 세션을 통한 송수신 프로토콜을 제어하는 기능을 수행한다.The media engine 622 works with the service controller 611 to control input / output devices for voice or video call service and message transmission / reception service, and to control a transmission / reception protocol through a media session of voice, video or message signal.
도 4는 엔진 처리부(620)의 일실시예를 나타낸 도면이다.4 is a diagram illustrating an embodiment of an engine processor 620.
도 4를 참조하면, 프로토콜 엔진(621)은, 어플리케이션 인터페이스(Application Interface), 세션 매니저(Session Manager), 챗 파서/생성기(Chat Parser/Generator), 프로토콜 파서/생성기(Protocol Parser/Generator), 연결 매니저(Connection Manager) 및 트랜스포트(Transport(TCP/TLS)) 등으로 구성된다.Referring to FIG. 4, the protocol engine 621 may include an application interface, a session manager, a chat parser / generator, a protocol parser / generator, and a connection. It consists of a manager (Connection Manager) and a transport (Transport (TCP / TLS)).
어플리케이션 인터페이스(Application Interface)는 서비스 제어부(611) 및 세션 매니저(Session manager)와 연동하며, API 제공 및 이벤트를 전달하는 역할을 수행하며, 세션 매니저(Session Manager)는 미디어 세션을 통해 형성되는 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 각각의 세션에 대한 상태를 관리하는 역할을 수행한다.The application interface is connected with the service control unit 611 and the session manager, and serves to provide APIs and deliver events. The session manager is a voice or a session formed through a media session. It manages the state of each session for video call service and message transmission / reception service.
프로토콜 파서/생성기(Protocol Parser/Generator)는 본 발명에 있어서의 장치 사물(200), 사용자 단말기(300)와 시스템(100)간의 단말-서버 시그널링 연동 규격을 준수하는 메시지 생성 및 분석 처리 역할을 수행하며, 챗 파서/생성기(Chat Parser/Generator)는 본 발명에 있어서의 단말-서버 메시지 송수신 서비스 연동 규격을 준수하는 메시지 생성 및 분석 처리를 수행한다.The protocol parser / generator performs message generation and analysis processing that complies with the terminal-server signaling interworking standard between the device thing 200, the user terminal 300, and the system 100 in the present invention. The Chat Parser / Generator performs message generation and analysis processing that complies with the terminal-server message transmission / reception service interworking standard according to the present invention.
연결 매니저(Connection Manager)는 시스템(100)과의 제어 세션의 연결 상태를 관리하는 기능을 수행하고, 트랜스포트(Transport)는 TCP(Transmission Control Protocol)/TLS(Transport Layer Security) 기반 서버 연동 통로 역할을 수행한다.The Connection Manager manages the connection state of the control session with the system 100, and the Transport serves as a server interworking passage based on Transmission Control Protocol (TCP) / Transport Layer Security (TLS). Do this.
한편, 미디어 엔진(622)는 비디오 처리부, 오디오 처리부 및 MBCP(Media BurstControl Protocol) 처리부로 구성되며, 이들 각각에 공통으로 사용되는 RTP/RTCP Source는 RTP/RTCP 수신 컴포넌트이며, RTP/RTCP Sink는 RTP(Realtime Transport Protocol)/RTCP(RTP Control Protocol) 송신 컴포넌트이며, Jitter Buffer는 RTP 수신 Jitter를 보정하는 기능을 수행한다.Meanwhile, the media engine 622 includes a video processor, an audio processor, and a media burst control protocol (MBCP) processor, and an RTP / RTCP source commonly used for each of them is an RTP / RTCP receiving component, and an RTP / RTCP sink is an RTP. (Realtime Transport Protocol) / RTCP (RTP Control Protocol) transmission component, Jitter Buffer performs the function of correcting the RTP receiving Jitter.
비디오 처리부는, 비디오(영상)을 처리하기 위해서 이미지 포맷 변경(미디어엔진 <-> 입출력 포맷) 역할을 수행하는 Color Space Converter, 카메라 영상에 대해 회전 확대 잘라내기 등을 처리하는 Image Process, H.264(또는 VP8)에 대한 Encoding/Decoding을 처리하는 Video Encoder/Decoder, 영상 입력을 처리하는 Camera Source, 영상 출력을 처리하는 Video Sink를 포함한다.The video processing unit is a color space converter that serves as an image format change (media engine <-> input / output format) to process a video (image), an image process that processes rotation enlargement and cropping for a camera image, and H.264. (Or VP8) Video Encoder / Decoder to process Encoding / Decoding, Camera Source to process video input, and Video Sink to process video output.
오디오 처리부는, 오디오를 처리하기 위해서 음성 패킷 유실 및 묵음 상태에 대한 오디오 출력 처리를 수행하는 CNG(Comport Noise Generation) 및 PLC(Packet Loss Concealment), 마이크 에코 제거, 음량 보정, 노이즈 제거 등의 오디오 처리를 하는 AEC(Acoustic Echo Cancellation), AGC(Automaticgain control) 및 VAD(Voice activity detection), 마이크 음성 대신 별도 음원(사이렌 등)을 송출하는 Selector, 음성 Opus/AMR/PCM 등 코덱 암호화/복호화 기능을 수행하는 AudioEncoder/Decoder, 음성 입력장치인 AudioSource, 음성 출력 장치인 AudioSink로 구성되어 진다.Audio processing unit performs audio processing such as CNG (Comport Noise Generation) and PLC (Packet Loss Concealment), microphone echo cancellation, volume correction, noise removal, etc. Acoustic echo cancellation (AEC), It is a voice input device that performs codec encryption / decryption functions such as AGC (Automatic Gain Control), VAD (Voice activity detection), Selector which sends separate sound sources (siren, etc.) instead of microphone voice, Voice Opus / AMR / PCM. It consists of AudioSource, AudioSink, which is a voice output device.
또한 PTT 서비스를 처리하기 위한 기능중 MBCP(Media BurstControl Protocol) 처리부는, 응용 UI Interface를 통하여 이벤트를 수신하여, MBCP 메시지의 송수신 및 상태 제어를 위한 MBCP State Machine 및 RTCP Source/Sink를 포함한다.In addition, the Media BurstControl Protocol (MBCP) processing unit among the functions for processing the PTT service includes an MBCP State Machine and an RTCP Source / Sink for transmitting and receiving an MBCP message and controlling a state through an application UI interface.
다음으로, 도 5 이하를 참조하여, 시스템(100)을 통해 장치 사물(200) 사이 또는 장치 사물(200)과 사용자 단말기(300) 사이에서 이루어지는 통화 서비스의 동작을 상세하게 설명하기로 한다.Next, referring to FIG. 5 or less, the operation of the call service performed between the device thing 200 or between the device thing 200 and the user terminal 300 through the system 100 will be described in detail.
도 5는 장치 사물(200)과 시스템(100) 및 사용자 단말기(300) 간의 셋업 절차를 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a setup procedure between the device thing 200, the system 100, and the user terminal 300.
도 5를 참조하여 설명하면 다음과 같다.A description with reference to FIG. 5 is as follows.
1. 장치 사물(200)의 서비스 수행 장치(600)가 구동되어 유무선 인터넷에 연결되면 장치 사물(200)은 자신의 서비스 제어 접속 정보를 네트워크에 브로드캐스팅을 시작한다.1. When the device 600 performs the service of the device thing 200 and is connected to the wired / wireless internet, the device thing 200 starts broadcasting its service control access information to the network.
2. 장치 사물(200)을 셋업하기 위한 별도의 설정 장치(예컨대, 사용자의 스마트폰)는 장치 사물(200)의 서비스 수행 장치(600)를 구동하여 장치 사물(200)을 검색하고 장치 사물(200)이 브로드캐스팅하는 메시지(서비스 제어 접속 정보)를 수신한 후 장치 사물(200)의 서비스 제어 접속 정보를 확인한다(Discovery 절차). 2. A separate setting device (eg, a user's smart phone) for setting up the device thing 200 drives the service performing device 600 of the device thing 200 to search for the device thing 200 and the device thing ( After receiving the message (service control access information) broadcasted by the 200, the service control access information of the device thing 200 is confirmed (discovery procedure).
3. 서비스 제어 접속 정보를 확인하면, 설정 장치는 장치 사물(200)에 접속하여 장치 사물(200)이 본 발명에 의한 서비스 등록을 위해 필요한 ID 및 암호와 기타 필요한 정보를 설정한다. 기타 필요한 정보로서는 후술하는 허락할 친구 정보와 시스템(100)으로의 접속을 위한 접속 정보를 포함한다.3. After confirming the service control connection information, the setting apparatus connects to the device thing 200 and sets the ID and password and other necessary information for the device thing 200 to register the service according to the present invention. Other necessary information includes friend information to be described later and connection information for connection to the system 100.
4. 장치 사물(200)에 대한 정보 설정이 완료되면, 설정 장치는 장치 사물(200)의 사용자 계정에 장치 사물(200)이 추가되었음을 알리고 장치 사물(200)과의 통신 서비스를 허락할 친구 정보를 저장하기 위해 시스템(100)과 주소록 동기화를 실행한다. 여기에서, 허락할 친구 정보란 장치 사물(200)의 사용자 계정의 주소록에 있는 사람들 중에서 장치 사물(200)과의 본 발명에 의한 통화 서비스를 할 수 있도록 허락하는 사람들을 의미하며 이는 보안 기능을 위한 것이다. 4. When the setting of the information on the device thing 200 is completed, the setting device informs that the device thing 200 has been added to the user account of the device thing 200 and the friend information to permit communication service with the device thing 200. To synchronize the address book with the system 100 to store it. Here, the friend information to be allowed means those who are allowed to make a call service according to the present invention with the device thing 200 among the people in the address book of the user account of the device thing 200, which is for the security function. will be.
5. 한편, 장치 사물(200)은 저장된 접속 정보를 이용하여 시스템(100)에 접속하여 등록 절차를 완료하고 시스템(100)에 저장되어 있는 사용자의 주소록을 시스템(100)과 동기화하여 장치 사물(200)내에 저장한다.5. Meanwhile, the device thing 200 accesses the system 100 using the stored access information, completes the registration process, and synchronizes the address book of the user stored in the system 100 with the system 100 to display the device thing ( 200).
6. 등록된 장치 사물(200) 사용자와 허락된 친구 관계인 다른 장치 사물(200) 또는 사용자 단말기(300)에 대해 자동으로 또는 수동으로 주소록을 동기화하여 장치 사물(200)을 주소록에 추가한다.6. The registered device thing 200 adds the device thing 200 to the address book by automatically or manually synchronizing the address book with respect to another device thing 200 or the user terminal 300 which is an allowed friend relationship with the user.
이러한 과정에 의해 장치 사물(200) 사용자와 허락된 친구 관계인 사용자들(다른 장치 사물(200), 사용자 단말기(300) 등)과 네트워크를 통해 ID를 기반으로 연결될 수 있으며, 이때부터 자동으로 장치 사물(200)과 시스템(100)을 통한 본 발명에 의한 통신 서비스를 제공할 수 있다.Through this process, the user can be connected to the user of the user of the device thing 200 (other device thing 200, the user terminal 300, etc.) through the network based on the ID, and the device thing automatically from this time. Through the 200 and the system 100 may provide a communication service according to the present invention.
도 5에서 시스템(100)에서 수행되는 절차는 서비스 서버(110), OAM 서버(140) 및 DB 서버(150)를 통해 이루어진다.In FIG. 5, the procedure performed by the system 100 is performed through the service server 110, the OAM server 140, and the DB server 150.
도 6은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 사용자 단말기(300)에서 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행하는 경우를 설명하기 위한 도면이다.FIG. 6 is a diagram illustrating a case in which a voice or video call service is performed from the user terminal 300 to the device thing 200 as a communication service performed by the system 100 according to the present invention.
도 6을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 6 is as follows.
1. 우선, 사용자 단말기(300)의 사용자는 사용자 단말기(300)에 저장되어 있는 연락처에서 앞서 설명한 바와 같이 등록되어 있는 장치 사물(200)의 ID를 선택하고 해당 ID에 상응하는 장치 사물(200)과 음성 또는 영상 통화를 수행하기 위해 해당 ID를 포함하는 음성 또는 영상 통화 요청 신호를 시스템(100)으로 전송한다.1. First, a user of the user terminal 300 selects an ID of the device thing 200 registered as described above from a contact stored in the user terminal 300 and the device thing 200 corresponding to the ID. In order to perform a voice call or a video call, a voice or video call request signal including the corresponding ID is transmitted to the system 100.
2. 시스템(100)은 음성 또는 영상 통화 요청 신호를 수신하면, 음성 또는 영상 통화 요청 신호에 포함된 해당 장치 사물(200)의 ID를 확인하고, 해당 장치 사물(200)이 현재 제어 세션을 연결한 상태인지의 여부를 확인하고 제어 세션이 연결된 상태인 경우 통화 요청이 수신되었음을 알리는 메시지를 장치 사물(200)로 전송하고, 제어 세션이 연결되지 않은 상태인 경우 통화 요청이 수신되었음을 알리는 푸쉬 신호(PUSH Notification)을 장치 사물(200)로 전송한다.2. When the system 100 receives the voice or video call request signal, the system 100 checks the ID of the corresponding device thing 200 included in the voice or video call request signal, and the device thing 200 connects the current control session. Whether the call request is received when the control session is connected, and a push signal indicating that the call request is received when the control session is not connected. PUSH Notification) is transmitted to the device thing 200.
3. 장치 사물(200)은 통화 수신 알림을 음성 또는 영상으로 출력하여 사용자에게 통보한 후 응답 모드에 따라, 자동 응답인 경우 즉시 통화를 수락하고(자동 응답), 수동 응답인 경우 사용자의 음성 명령을 대기한 후 통화를 수락한다. 여기에서, 자동 응답 및 수동 응답은 장치 사물(200)에서 설정해 둘 수 있다.3. The device thing 200 outputs a call reception notification as a voice or video and notifies the user, and according to the answer mode, immediately accepts the call in case of an automatic answer (auto answer), and in case of a manual answer, a voice command of the user. Wait for the call and accept the call. Here, the automatic response and the manual response may be set in the device thing 200.
4. 통화가 수락되면, 통화 세션 연결을 위해 장치 사물(200)은 시스템(100)으로 미디어 세션 연결을 실행한다. 만일 제어 세션이 연결되지 않은 경우 제어 세션을 연결한 후 미디어 세션 연결을 실행한다.4. If the call is accepted, the device thing 200 establishes a media session connection to the system 100 for the call session connection. If the control session is not connected, connect the control session and then execute the media session connection.
5. 시스템(100)은 장치 사물(200)과의 미디어 세션 연결 정보를 사용자 단말기(300)로 전송하여 미디어 세션이 연결되었음을 알리고, 사용자 단말기(300)와 장치 사물(200)은 시스템(100)을 통해 형성된 미디어(음성 또는 영상) 세션을 통해 통신 서비스를 수행한다.5. The system 100 notifies that the media session is connected by transmitting the media session connection information with the device thing 200 to the user terminal 300, and the user terminal 300 and the device thing 200 are connected to the system 100. The communication service is performed through a media (voice or video) session formed through the network.
도 7은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 사용자 단말기(300)에서 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행할 때 시스템(100)에서의 상세 호 설정 과정을 나타낸 것이다.7 illustrates a detailed call setup process in the system 100 when a voice or video call service is performed from the user terminal 300 to the device thing 200 as a communication service performed in the system 100 according to the present invention. will be.
도 7을 참조하면, 사용자 단말기(300)의 사용자는 사용자 단말기(300)에 어플리케이션 형태로 구현되어 있는 서비스 수행 장치(600)를 구동시켜서 음성 또는 영상 통화를 수행할 장치 사물(200)의 ID를 선택하고 해당 ID를 포함하는 음성 또는 영상 통화 요청 신호를 시스템(100)으로 전송한다(S100). 이 때, 사용자 단말기(300)와 장치 사물(200)은 모두 시스템(100)과 제어 세션이 미리 연결되어 있는 것으로 가정한다. 만약, 제어 세션이 연력되어 있지 않다면 제어 세션을 먼저 연결한 후 다음 절차를 진행한다.Referring to FIG. 7, the user of the user terminal 300 drives the service performing apparatus 600 implemented in the application form in the user terminal 300 to determine an ID of the device thing 200 to perform a voice or video call. Select and transmit a voice or video call request signal including the ID to the system 100 (S100). In this case, it is assumed that both the user terminal 300 and the device thing 200 are previously connected to the system 100 and the control session. If the control session is not connected, connect the control session first and proceed with the following procedure.
시스템(100)의 어플리케이션 서버(AS,111)는 사용자 단말기(300)로부터의 통화 요청 신호를 수신하여 1:1 통화를 위한 리소스를 할당하고, 통화 ID를 생성하여 사용자 단말기(300)로 응답한다(S101).The application server (AS) 111 of the system 100 receives a call request signal from the user terminal 300, allocates resources for a 1: 1 call, generates a call ID, and responds to the user terminal 300. (S101).
사용자 단말기(300)의 서비스 수행 장치(600)는 통화 ID를 수신하고 SCF 서버(112)로 통화 요청 신호를 전송한다(S102).The service performing apparatus 600 of the user terminal 300 receives the call ID and transmits a call request signal to the SCF server 112 (S102).
SCF 서버(112)는 유효한 서비스 수행 장치(600)로부터의 요청인지를 확인하고, 어플리케이션 서버(111)로 통화 요청 신호를 전달한다(S103).The SCF server 112 checks whether the request is from a valid service performing apparatus 600, and transmits a call request signal to the application server 111 (S103).
어플리케이션 서버(111)는 사용자 단말기(300)와 통신할 자원을 할당하기 위해 자원 할당 요청 신호(SIP/INVITE 메시지)를 미디어 서버(120)로 전송한다(S104).The application server 111 transmits a resource allocation request signal (SIP / INVITE message) to the media server 120 in order to allocate a resource to communicate with the user terminal 300 (S104).
미디어 서버(120)는 자원 할당 요청 신호에 따라 미디어 자원을 할당하고 자원 할당 응답 신호(SIP/200 OK)를 어플리케이션 서버(111)로 전송하고(S105), 어플리케이션 서버(111)는 SIP/INVITE 트랜잭션 완료를 위해 SIP/ACK 메시지를 미디어 서버(120)로 전송한다(S106).The media server 120 allocates a media resource according to the resource allocation request signal and transmits a resource allocation response signal (SIP / 200 OK) to the application server 111 (S105), and the application server 111 performs a SIP / INVITE transaction. In order to complete the SIP / ACK message to the media server 120 (S106).
그리고, 어플리케이션 서버(111)는, 미디어 서버(120)에서 수신한 미디어 자원 정보를 SCF 서버(112)로 전송한다(S107).The application server 111 transmits the media resource information received from the media server 120 to the SCF server 112 (S107).
SCF 서버(112)는 미디어 자원 정보를 수신하고 통화를 요청한 사용자 단말기(300)로 미디어 자원 정보를 포함하는 자원 할당 성공 신호(TCP/OK)를 전달한다(S108).The SCF server 112 receives the media resource information and transmits a resource allocation success signal (TCP / OK) including the media resource information to the user terminal 300 requesting the call (S108).
사용자 단말기(300)의 서비스 수행 장치(600)는 SCF 서버(112)로부터 수신한 미디어 자원 정보에 기초하여 음성/영상 미디어 송수신을 위한 미디어 세션(RTP)을 미디어 서버(120)와 형성한다(S109).The service performing apparatus 600 of the user terminal 300 forms a media session (RTP) for transmitting / receiving voice / video media with the media server 120 based on the media resource information received from the SCF server 112 (S109). ).
한편, 어플리케이션 서버(111)는 사용자 단말기(300)가 통화를 요청한 통화 상대방인 장치 사물(200)의 정보(ID)를 확인하고 장치 사물(200)로 통화 알림 기능을 수행하는데, 이는 다음과 같이 이루어진다.On the other hand, the application server 111 checks the information (ID) of the device thing 200 that is the call counterpart that the user terminal 300 requested the call and performs a call notification function to the device thing 200, as follows. Is done.
어플리케이션 서버(111)는 장치 사물(200)에 통화 알림 메시지를 전달하기 위해 SCF 서버(112)로 통화 요청 메시지(TCP/call notify)를 전송하고(S110), SCF 서버(112)는 장치 사물(200)로 사용자 단말기(300)로부터 통화 요청이 이루어졌음을 알리는 통화 요청 메시지(TCP/call notify)를 전송한다(S111).The application server 111 transmits a call request message (TCP / call notify) to the SCF server 112 in order to deliver the call notification message to the device thing 200 (S110), and the SCF server 112 transmits the device thing ( In step S111, a call request message (TCP / call notify) indicating that a call request has been made is received from the user terminal 300.
장치 사물(200)은 설정에 따라 자동 수락하거나 수동으로 전화 요청을 수락하고(S112), 장치 사물(200)은 SCF 서버(112)로 통화 수락 메시지를 전송한다(S113).The device thing 200 automatically accepts or manually accepts the call request according to the setting (S112), and the device thing 200 transmits a call acceptance message to the SCF server 112 (S113).
SCF 서버(112)는 통화 수락 메시지를 어플리케이션 서버(111)로 전달하고(S114), 어플리케이션 서버(111)는 장치 사물(200)로 미디어 자원을 할당하기 위해 자원 할당 요청 신호(SIP/INVITE 메시지)를 미디어 서버(120)로 전송한다(S115).The SCF server 112 transmits a call acceptance message to the application server 111 (S114), and the application server 111 transmits a resource allocation request signal (SIP / INVITE message) to allocate a media resource to the device thing 200. Is transmitted to the media server 120 (S115).
미디어 서버(120)는 자원 할당 요청 신호에 따라 미디어 자원을 할당하고 자원 할당 응답 신호(SIP/200 OK)를 어플리케이션 서버(111)로 전송하고(S116), 어플리케이션 서버(111)는 SIP/INVITE 트랜잭션 완료를 위해 SIP/ACK 메시지를 미디어 서버(120)로 전송한다(S117).The media server 120 allocates a media resource according to the resource allocation request signal and transmits a resource allocation response signal (SIP / 200 OK) to the application server 111 (S116), and the application server 111 performs a SIP / INVITE transaction. In order to complete the SIP / ACK message to the media server 120 (S117).
그리고, 어플리케이션 서버(111)는, 미디어 서버(120)에서 수신한 미디어 자원 정보를 SCF 서버(112)로 전송한다(S118).The application server 111 transmits the media resource information received from the media server 120 to the SCF server 112 (S118).
SCF 서버(112)는 미디어 자원 정보를 수신하고 통화 상대방인 장치 사물(200)로 미디어 자원 정보를 포함하는 자원 할당 성공 신호(TCP/OK)를 전달한다(S119).The SCF server 112 receives the media resource information and transmits a resource allocation success signal (TCP / OK) including the media resource information to the device thing 200 that is the call counterpart (S119).
장치 사물(200)의 서비스 수행 장치(600)는 SCF 서버(112)로부터 수신한 미디어 자원 정보에 기초하여 음성/영상 미디어 송수신을 위한 미디어 세션(RTP)을 미디어 서버(120)와 형성한다(S120).The apparatus 600 for performing service of the apparatus thing 200 forms a media session (RTP) for transmitting / receiving voice / video media with the media server 120 based on the media resource information received from the SCF server 112 (S120). ).
그리고, 어플리케이션 서버(111)는 장치 사물(200)의 수락 상태를 사용자 단말기(300)로 전달하기 위해 SCF 서버(112)로 알림 이벤트를 전송하고(S121), SCF 서버(112)는 알림 이벤트를 사용자 단말기(300)로 전달한다(S122).In addition, the application server 111 transmits a notification event to the SCF server 112 to transmit the acceptance status of the device thing 200 to the user terminal 300 (S121), and the SCF server 112 sends the notification event. Transfer to the user terminal 300 (S122).
이후, 사용자 단말기(300)와 장치 사물(200)은 시스템(100)을 통해 형성된 미디어 세션을 이용하여 음성 또는 영상 통화 서비스를 위한 음성 또는 영상 신호를 송수신함으로써 통화 서비스를 수행한다(S123).Thereafter, the user terminal 300 and the device thing 200 perform a call service by transmitting and receiving a voice or video signal for a voice or video call service using a media session formed through the system 100 (S123).
도 8은 도 6 및 도 7에서 설명한 바와 같이 사용자 단말기(300)로부터 장치 사물(200)로 음성 호(Incoming Voice Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.FIG. 8 illustrates the inside of the service performing apparatus 600 of the device thing 200 when an incoming voice call is received from the user terminal 300 to the device thing 200 as described with reference to FIGS. 6 and 7. The interlock procedure is shown.
도 8을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 8 is as follows.
1. 사용자 단말기(300)에서 발신하고, 시스템(100)을 통해 전송된 음성 통화 요청은 서비스 수행 장치(600)의 프로토콜 엔진(621)에서 수신되어 미디어 엔진(622)에서 사용할 오디오 자원을 할당한 후 어플리케이션 관리부(610)의 서비스 제어부(611)로 전달된다.1. The voice call request originating from the user terminal 300 and transmitted through the system 100 is received by the protocol engine 621 of the service performing apparatus 600 to allocate an audio resource for use by the media engine 622. After that, it is transferred to the service controller 611 of the application manager 610.
2. 서비스 제어부(611)는 음성 통화가 수신되었음을 사용자에게 알린다.2. The service control unit 611 notifies the user that a voice call has been received.
3. 서비스 제어부(611)는 음성 통화를 위해 미디어 엔진(622)의 오디오 모듈을 설정한다.3. The service control unit 611 sets an audio module of the media engine 622 for the voice call.
4. 서비스 제어부(611)는 음성 통화 연결을 위한 응답 신호를 시스템(100)으로 전송한다.4. The service controller 611 transmits a response signal for the voice call connection to the system 100.
5. 사용자 단말기(300)로부터의 상대방 음성 신호는 오디오 모듈을 통해 수신되어 스피커로 송출되고, 마이크로 인입되는 장치 사물(200) 사용자의 음성은 오디오 모듈을 통해 시스템(100)을 통해 사용자 단말기(300)로 전송한다.5. The other party's voice signal from the user terminal 300 is received through the audio module and transmitted to the speaker, and the voice of the user of the device thing 200 that is retracted into the microphone is transmitted to the user terminal 300 through the system 100 through the audio module. To send).
도 9는 도 6 및 도 7에서 설명한 바와 같이 사용자 단말기(300)로부터 장치 사물(200)로 영상 호(Incoming Video Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.FIG. 9 illustrates the inside of the service performing apparatus 600 of the device thing 200 when an incoming video call is received from the user terminal 300 to the device thing 200 as described with reference to FIGS. 6 and 7. The interlock procedure is shown.
도 9를 참조하여 설명하면 다음과 같다.A description with reference to FIG. 9 is as follows.
1. 사용자 단말기(300)에서 발신하고, 시스템(100)을 통해 전송된 영상 통화 요청은 프로토콜 엔진(621)에서 수신되어 미디어 엔진(622)에서 사용할 오디오/비디오 자원을 할당한 후 어플리케이션 관리부(610)의 서비스 제어부(611)로 전달된다.1. The video call request sent from the user terminal 300 and transmitted through the system 100 is received by the protocol engine 621 to allocate audio / video resources to be used by the media engine 622, and then the application manager 610. ) Is delivered to the service control unit 611 of.
2. 서비스 제어부(611)는영상 통화가 수신되었음을 사용자에게 알린다.2. The service control unit 611 notifies the user that the video call has been received.
3. 서비스 제어부(611)는 영상 통화를 위해 미디어 엔진(622)의 오디오/비디오 모듈을 설정한다. 3. The service control unit 611 sets an audio / video module of the media engine 622 for the video call.
4. 서비스 제어부(611)는 영상 통화 연결을 위한 응답 신호를 시스템(100)으로 전송한다.4. The service controller 611 transmits a response signal for connecting the video call to the system 100.
5. 사용자 단말기(300)로부터의 상대방 음성 신호는 오디오 모듈을 통해 수신되어 스피커로 송출되고, 마이크로 인입되는 장치 사물(200) 사용자의 음성은 오디오 모듈을 통해 시스템(100)을 통해 사용자 단말기(300)로 전송한다. 한편, 사용자 단말기(300)로부터의 상대방 영상 신호는 비디오 모듈을 통해 수신되어 디스플레이부에 표시되고 카메라로 캡쳐되는 장치 사물(200) 사용자의 영상은 비디오 모듈을 통해 시스템(100)을 통해 사용자 단말기(300)로 전송한다.5. The other party's voice signal from the user terminal 300 is received through the audio module and transmitted to the speaker, and the voice of the user of the device thing 200 that is retracted into the microphone is transmitted to the user terminal 300 through the system 100 through the audio module. To send). Meanwhile, the counterpart image signal from the user terminal 300 is received through the video module, displayed on the display unit, and captured by the camera. The image of the user 200 is displayed through the video module. 300).
도 10은 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 장치 사물(200)에서 사용자 단말기(300) 또는 다른 장치 사물(200)로 음성 또는 영상 통화 서비스를 수행하는 경우를 설명하기 위한 도면이다.FIG. 10 is a diagram illustrating a case in which a voice or video call service is performed from the device thing 200 to the user terminal 300 or another device thing 200 as a communication service performed by the system 100 according to the present invention. to be.
도 10을 참조하면, 우선 장치 사물(200)의 사용자는 음성 명령을 통해 장치 사물(200)로 음성/영상 통화 발신을 요청한다.Referring to FIG. 10, first, a user of the device thing 200 requests a voice / video call to the device thing 200 through a voice command.
도 10을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 10 is as follows.
1. 장치 사물(200)의 사용자는 음성 명령을 통해 장치 사물(200)로 음성/영상 통화 발신을 요청한다.1. A user of the device thing 200 requests a voice / video call to the device thing 200 through a voice command.
2. 장치 사물(200)은 사용자의 음성 명령에서 통화 상대방 이름 또는 아이디를 인식하고 이를 포함하는 통화 발신 요청 신호를 시스템(100)으로 전송한다.2. The apparatus thing 200 recognizes the call counterpart name or ID in the user's voice command and transmits a call origination request signal including the same to the system 100.
3. 시스템(100)은 통화 발신 요청 신호를 수신하여, 통화 상대방인 장치 사물(200) 또는 사용자 단말기(200)의 ID를 조회한다.3. The system 100 receives the call origination request signal and inquires of the ID of the device thing 200 or the user terminal 200 which is the call counterpart.
4. 시스템(100)은 조회된 ID의 장치 사물(200) 또는 사용자 단말기(300)의 제어 세션 연결 상태에 따라 통화 요청 알림 PUSH 또는 메시지를 전송한다.4. The system 100 transmits a call request notification PUSH or a message according to the control session connection state of the device thing 200 or the user terminal 300 of the inquired ID.
5. 장치 사물(200) 또는 사용자 단말기(300)는 통화 수신 알림을 사용자에게 통보하고 응답 모드를 수행한 후 통화 세션 연결을 위해 시스템(100)으로 세션 연결을 실행한다. 만일 제어 세션이 연결되지 않은 경우 제어 세션을 연결한 후 세션연결을 실행한다.5. The device thing 200 or the user terminal 300 notifies the user of the call reception notification and performs the response mode, and then performs a session connection to the system 100 for the call session connection. If the control session is not connected, connect the control session and execute the session connection.
6. 시스템(100)에서는 장치 사물(200) 또는 사용자 단말기(200)의 세션 연결 정보를 발신측 장치 사물(200)로 전송하여 세션이 연결되었음을 알린다.6. The system 100 notifies that the session is connected by transmitting session connection information of the device thing 200 or the user terminal 200 to the calling device thing 200.
7. 발신측 장치 사물(200)과 착신 장치 사물(200) 또는 사용자 단말기(300)간에 수립된 통화 세션을 통해 통신을 시작한다.7. The communication is started through a call session established between the calling device 200 and the called device 200 or the user terminal 300.
도 11은, 본 발명에 의한 시스템(100)에서 수행되는 통신 서비스로서 장치 사물(200)에서 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성 또는 영상 통화 서비스를 수행할 때 시스템(100)에서의 상세 호 설정 과정을 나타낸 것이다.11 is a communication service performed by the system 100 according to the present invention, when the system 100 performs a voice or video call service from the device thing 200 to another device thing 200 or the user terminal 300. It shows the detailed call setup process in.
도 11을 참조하면, 장치 사물(200)의 사용자는 장치 사물(200)에 어플리케이션 형태로 구현되어 있는 서비스 수행 장치(600)를 구동시켜서 음성 또는 영상 통화를 수행할 상대방 장치 사물(200) 또는 사용자 단말기(300)의 ID를 선택하고 상기 선택된 ID를 포함하는 음성 또는 영상 통화 요청 신호를 시스템(100)으로 전송한다(S200). 이 때, 사용자 단말기(300)와 장치 사물(200)은 모두 시스템(100)과 제어 세션이 미리 연결되어 있는 것으로 가정한다.Referring to FIG. 11, a user of the device thing 200 may drive a service performing device 600 implemented in an application form on the device thing 200 to perform a voice or video call, or may perform a voice call or a video call. An ID of the terminal 300 is selected and a voice or video call request signal including the selected ID is transmitted to the system 100 (S200). In this case, it is assumed that both the user terminal 300 and the device thing 200 are previously connected to the system 100 and the control session.
시스템(100)의 어플리케이션 서버(AS,111)는 통화 요청 신호를 수신하여 1:1 통화를 위한 리소스를 할당하고, 통화 ID를 생성하여 장치 사물(200)로 응답한다(S101).The application server AS 111 of the system 100 receives a call request signal, allocates a resource for a 1: 1 call, generates a call ID, and responds to the device thing 200 (S101).
장치 사물(200)의 서비스 수행 장치(600)는 통화 ID를 수신하고 SCF 서버(112)로 통화 요청 신호를 전송한다(S202).The service performing apparatus 600 of the device thing 200 receives the call ID and transmits a call request signal to the SCF server 112 (S202).
SCF 서버(112)는 유효한 서비스 수행 장치(600)로부터의 요청인지를 확인하고, 어플리케이션 서버(111)로 통화 요청 신호를 전달한다(S203).The SCF server 112 checks whether the request is from a valid service performing apparatus 600, and transmits a call request signal to the application server 111 (S203).
어플리케이션 서버(111)는 장치 사물(200)과 통신할 자원을 할당하기 위해 자원 할당 요청 신호(SIP/INVITE 메시지)를 미디어 서버(120)로 전송한다(S204).The application server 111 transmits a resource allocation request signal (SIP / INVITE message) to the media server 120 to allocate a resource to communicate with the device thing 200 (S204).
미디어 서버(120)는 자원 할당 요청 신호에 따라 미디어 자원을 할당하고 자원 할당 응답 신호(SIP/200 OK)를 어플리케이션 서버(111)로 전송하고(S205), 어플리케이션 서버(111)는 SIP/INVITE 트랜잭션 완료를 위해 SIP/ACK 메시지를 미디어 서버(120)로 전송한다(S206).The media server 120 allocates a media resource according to the resource allocation request signal and transmits a resource allocation response signal (SIP / 200 OK) to the application server 111 (S205), and the application server 111 performs a SIP / INVITE transaction. In step S206, the SIP / ACK message is transmitted to the media server 120 for completion.
그리고, 어플리케이션 서버(111)는, 미디어 서버(120)에서 수신한 미디어 자원 정보를 SCF 서버(112)로 전송한다(S207).The application server 111 transmits the media resource information received from the media server 120 to the SCF server 112 (S207).
SCF 서버(112)는 미디어 자원 정보를 수신하고 통화를 요청한 장치 사물(200)로 미디어 자원 정보를 포함하는 자원 할당 성공 신호(TCP/OK)를 전달한다(S208).The SCF server 112 receives the media resource information and transmits a resource allocation success signal (TCP / OK) including the media resource information to the apparatus thing 200 requesting the call (S208).
장치 사물(200)의 서비스 수행 장치(600)는 SCF 서버(112)로부터 수신한 미디어 자원 정보에 기초하여 음성/영상 미디어 송수신을 위한 미디어 세션(RTP)을 미디어 서버(120)와 형성한다(S209).The apparatus 600 for performing service of the apparatus thing 200 forms a media session (RTP) for transmitting / receiving voice / video media with the media server 120 based on the media resource information received from the SCF server 112 (S209). ).
한편, 어플리케이션 서버(111)는 장치 사물(200)이 통화를 요청한 통화 상대방인 장치 사물(200) 또는 사용자 단말기(300)의 정보(ID)를 확인하고 해당 장치 사물(200) 또는 사용자 단말기(300)로 통화 알림 기능을 수행하는데, 이는 다음과 같이 이루어진다.On the other hand, the application server 111 checks the information (ID) of the device thing 200 or the user terminal 300 that is the call counterpart from which the device thing 200 requests a call, and the corresponding device thing 200 or the user terminal 300. Call notification function is performed as follows.
어플리케이션 서버(111)는 통화를 수신하는 상대방 장치 사물(200) 또는 사용자 단말기(300)에 통화 알림 메시지를 전달하기 위해 SCF 서버(112)로 통화 요청 메시지(TCP/call notify)를 전송하고(S210), SCF 서버(112)는 장치 사물(200)로부터 통화 요청이 이루어졌음을 알리는 통화 요청 메시지(TCP/call notify)를 착신 장치 사물(200) 또는 사용자 단말기(300)로 전송한다(S211).The application server 111 transmits a call request message (TCP / call notify) to the SCF server 112 to deliver a call notification message to the counterpart device thing 200 or the user terminal 300 receiving the call (S210). ), The SCF server 112 transmits a call request message (TCP / call notify) indicating that a call request has been made from the device thing 200 to the destination device thing 200 or the user terminal 300 (S211).
수신측 장치 사물(200) 또는 사용자 단말기(300)는 설정에 따라 자동 수락하거나 수동으로 전화 요청을 수락하고(S212), SCF 서버(112)로 통화 수락 메시지를 전송한다(S213).The receiving device 200 or the user terminal 300 automatically accepts or manually accepts the call request according to the setting (S212), and transmits a call acceptance message to the SCF server 112 (S213).
SCF 서버(112)는 통화 수락 메시지를 어플리케이션 서버(111)로 전달하고(S214), 어플리케이션 서버(111)는 착신측 장치 사물(200) 또는 사용자 단말기(300)로 미디어 자원을 할당하기 위해 자원 할당 요청 신호(SIP/INVITE 메시지)를 미디어 서버(120)로 전송한다(S215).The SCF server 112 transmits the call acceptance message to the application server 111 (S214), and the application server 111 allocates resources to allocate media resources to the called party device 200 or the user terminal 300. The request signal (SIP / INVITE message) is transmitted to the media server 120 (S215).
미디어 서버(120)는 자원 할당 요청 신호에 따라 미디어 자원을 할당하고 자원 할당 응답 신호(SIP/200 OK)를 어플리케이션 서버(111)로 전송하고(S216), 어플리케이션 서버(111)는 SIP/INVITE 트랜잭션 완료를 위해 SIP/ACK 메시지를 미디어 서버(120)로 전송한다(S217).The media server 120 allocates a media resource according to the resource allocation request signal and transmits a resource allocation response signal (SIP / 200 OK) to the application server 111 (S216), and the application server 111 performs a SIP / INVITE transaction. In order to complete the SIP / ACK message to the media server 120 (S217).
그리고, 어플리케이션 서버(111)는, 미디어 서버(120)에서 수신한 미디어 자원 정보를 SCF 서버(112)로 전송한다(S218).The application server 111 transmits the media resource information received from the media server 120 to the SCF server 112 (S218).
SCF 서버(112)는 미디어 자원 정보를 수신하고 착신측 장치 사물(200) 또는 사용자 단말기(300)로 미디어 자원 정보를 포함하는 자원 할당 성공 신호(TCP/OK)를 전달한다(S219).The SCF server 112 receives the media resource information and transmits a resource allocation success signal (TCP / OK) including the media resource information to the called party device 200 or the user terminal 300 (S219).
착신측 장치 사물(200) 또는 사용자 단말기(300)의 서비스 수행 장치(600)는 SCF 서버(112)로부터 수신한 미디어 자원 정보에 기초하여 음성/영상 미디어 송수신을 위한 미디어 세션(RTP)을 미디어 서버(120)와 형성한다(S220).The service performing apparatus 600 of the called party apparatus 200 or the user terminal 300 establishes a media session (RTP) for transmitting / receiving audio / video media based on the media resource information received from the SCF server 112. Formed with 120 (S220).
그리고, 어플리케이션 서버(111)는 착신측 장치 사물(200) 또는 사용자 단말기(300)의 수락 상태를 발신측 장치 사물(200)로 전달하기 위해 SCF 서버(112)로 알림 이벤트를 전송하고(S221), SCF 서버(112)는 알림 이벤트를 사용자 단말기(300)로 전달한다(S222).In addition, the application server 111 transmits a notification event to the SCF server 112 to transmit the acceptance status of the called device 200 or the user terminal 300 to the calling device 200 (S221). In operation S222, the SCF server 112 transmits a notification event to the user terminal 300.
이후, 발신측 장치 사물(200)과 착신측 장치 사물(200) 또는 사용자 단말기(300)는 시스템(100)을 통해 형성된 미디어 세션을 이용하여 음성 또는 영상 통화 서비스를 위한 음성 또는 영상 신호를 송수신함으로써 통화 서비스를 수행한다(S223).Thereafter, the calling device 200 and the called device 200 or the user terminal 300 transmit and receive a voice or video signal for a voice or video call service using a media session established through the system 100. Perform the call service (S223).
도 12는 도 10 및 도 11에서 설명한 바와 같이 장치 사물(200)로부터 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성 호(Incoming Voice Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.12 illustrates a service of the device thing 200 when an incoming voice call is received from the device thing 200 to another device thing 200 or the user terminal 300 as described with reference to FIGS. 10 and 11. An internal interworking procedure of the performing apparatus 600 is shown.
도 12를 참조하여 설명하면 다음과 같다.A description with reference to FIG. 12 is as follows.
1. 장치 사물(200) 사용자가 음성 명령을 통해 음성 통화 발신을 요청한다. 1. A user of the device thing 200 requests a voice call through a voice command.
2. 장치 사물(200)의 서비스 수행 장치(600)의 서비스 제어부(Application Logics,611)는 사용자로부터의 음성 명령을 수신하고, 장치 사물(200)의 서비스 수행 장치(600) 내에 있는 음성 인식부(613, SR(Speech Recognition))을 통하여 입력된 음성을 판단한다. 만일 인식이 안된 경우는 외부의 별도 음성 인식 서버에게 명령의 종류를 판단 요청한다.2. The service control unit (Application Logics) 611 of the service performing apparatus 600 of the device thing 200 receives a voice command from the user, and the voice recognition unit within the service performing apparatus 600 of the device thing 200. The voice inputted through 613 (Speech Recognition) is determined. If it is not recognized, the external separate voice recognition server determines the type of command.
3. 서비스 제어부(611)는 음성 인식부(613) 또는 음성 인식 서버로부터의 음성 인식 결과에 의해 프로토콜 엔진(621)의 음성 통화 발신 API를 호출한다.3. The service control unit 611 calls the voice call origination API of the protocol engine 621 by the voice recognition result from the voice recognition unit 613 or the voice recognition server.
4. 프로토콜 엔진(621)은 미디어 엔진(622)에서 사용할 오디오 자원을 할당한 후 시스템(100)으로 발신 요청을 전달한다. 4. The protocol engine 621 allocates an audio resource for use by the media engine 622 and then sends an origination request to the system 100.
5. 시스템(100)에서 전달한 음성통화 응답은 프로토콜 엔진(621)에서 수신되어 서비스 제어부(611)로 전달된다.5. The voice call response transmitted from the system 100 is received by the protocol engine 621 and delivered to the service control unit 611.
6. 서비스 제어부(611)는 음성 통화를 위해 미디어 엔진(622)의 오디오 모듈을 설정한다. 6. The service control unit 611 sets the audio module of the media engine 622 for the voice call.
7. 상대방 음성은 오디오 모듈을 통해 수신되어 스피커로 송출되고 마이크로 인입된 음성은 오디오 모듈을 통해 시스템(100)을 통해 상대방에게 전송한다.7. The other party's voice is received through the audio module and sent to the speaker, and the micro-input voice is transmitted to the other party through the system 100 through the audio module.
도 13은 도 10 및 도 11에서 설명한 바와 같이 장치 사물(200)로부터 다른 장치 사물(200) 또는 사용자 단말기(300)로 영상 호(Incoming Video Call)가 착신되었을 때, 장치 사물(200)의 서비스 수행 장치(600)의 내부 연동 절차를 나타낸 것이다.FIG. 13 illustrates a service of the device thing 200 when an incoming video call is received from the device thing 200 to another device thing 200 or the user terminal 300 as described with reference to FIGS. 10 and 11. An internal interworking procedure of the performing apparatus 600 is shown.
도 13을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 13 is as follows.
1. 장치 사물(200)의 사용자가 음성 명령을 통해 영상 통화 발신을 요청한다.1. A user of the device thing 200 requests a video call through a voice command.
2. 서비스 제어부(611)에서 음성 명령을 수신하여, 장치 사물(200)의 서비스 수행 장치(600) 내에 있는 음성 인식부(SR(Speech Recognition),613)을 통하여 입력된 음성을 판단하고, 만일 음성 인식부(613)에서 인식이 안된 경우는 외부의 별도 음성 인식 서버에게 명령의 종류를 판단 요청한다.2. The service control unit 611 receives a voice command, and determines a voice input through a voice recognition unit (SR) 613 in the service performing apparatus 600 of the device thing 200. If it is not recognized by the voice recognition unit 613, the external separate voice recognition server determines the type of command.
3. 음성 인식부(613)의 인식 결과 또는 음성 인식 서버의 응답에 의해 서비스 제어부(611)는 프로토콜 엔진(621)의 영상 통화 발신 API를 호출한다. 3. The service controller 611 calls the video call origination API of the protocol engine 621 by the recognition result of the voice recognition unit 613 or the response of the voice recognition server.
4. 프로토콜 엔진(621)은 미디어 엔진(622)에서 사용할 오디오/비디오 자원을 할당한 후 시스템(100)으로 영상 통화 발신 요청 신호를 전달한다. 4. The protocol engine 621 allocates an audio / video resource for use by the media engine 622 and then transmits a video call origination request signal to the system 100.
5. 시스템(100)에서 전달한 영상 통화 응답은 프로토콜 엔진(621)에서 수신되어 서비스 제어부(611)로 전달된다.5. The video call response transmitted from the system 100 is received by the protocol engine 621 and forwarded to the service control unit 611.
6. 서비스 제어부(611)는 영성 통화를 위해 미디어 엔진(622)의 오디오/비디오 모듈을 설정한다.6. The service control unit 611 sets the audio / video module of the media engine 622 for the voice call.
7. 상대방 음성은 오디오 모듈을 통해 수신되어 스피커로 송출되고, 마이크로 인입되는 음성은 오디오 모듈을 통해 상대방에게 전송된다. 상대방 영상은 비디오 모듈을 통해 수신되어 화면에 표시되고 카메라로 캡쳐된 영상은 비디오 모듈을 통해 상대방에게 전송한다.7. The other party's voice is received through the audio module and sent to the speaker, and the microphone incoming voice is transmitted to the other through the audio module. The other party's image is received through the video module and displayed on the screen, and the image captured by the camera is transmitted to the other party through the video module.
도 14는 사용자 단말기(300)에서 장치 사물(200)로 음성/영상 PTT(Push To Talk) 서비스를 수행하는 경우를 설명하기 위한 도면이다.FIG. 14 illustrates a case in which a user terminal 300 performs a voice / video push to talk (PTT) service to a device thing 200.
도 14를 참조하여 설명하면 다음과 같다.A description with reference to FIG. 14 is as follows.
1. 사용자 단말기(300)의 사용자가 사용자 단말기(300)의 연락처에서 기 등록되어 있는 장치 사물(200)의 ID를 선택하여 시스템(100)으로 PTT 서비스 요청 신호를 전송한다. PTT 서비스 요청 신호는 선택된 장치 사물(200)의 ID를 포함한다.1. The user of the user terminal 300 selects an ID of the device thing 200 that is already registered from the contact of the user terminal 300 and transmits a PTT service request signal to the system 100. The PTT service request signal includes an ID of the selected device thing 200.
2. 시스템(100)은 PTT 서비스 요청 신호를 수신하고, 착신측 장치 사물(200)이 현재 제어 세션을 연결한 상태인지 확인한 후, 제어 세션이 연결된 상태인 경우 통화 요청이 수신되었음을 알리는 메시지를 전송하고, 만일 제어 세션이 연결되지 않은 상태인 경우 통화 요청이 수신되었음을 알리는 푸쉬 메시지를 전송한다.2. The system 100 receives the PTT service request signal, checks whether the called party device 200 is currently connected to the control session, and if the control session is connected, transmits a message indicating that a call request has been received. If the control session is not connected, a push message indicating that a call request is received is transmitted.
3. 장치 사물(200)은 PTT 서비스를 위한 미디어 세션 연결을 위해 시스템(100)으로 미디어 세션 연결을 실행한다. 만일 제어세션이 연결되지 않은 경우 제어 세션을 연결한 후 미디어 세션 연결을 실행한다.3. The device thing 200 executes the media session connection to the system 100 for the media session connection for the PTT service. If the control session is not connected, the media session is connected after the control session is connected.
4. 시스템(100)에서는 장치 사물(200)의 세션 연결 정보를 발신측 사용자 단말기(300)로 전송하여 PTT 서비스를 위한 미디어 세션이 연결되었음을 알린다.4. The system 100 notifies that the media session for the PTT service is connected by transmitting session connection information of the device thing 200 to the calling user terminal 300.
5. 사용자 단말기(300)는 발언권 획득을 요청한다.5. The user terminal 300 requests to obtain a voice.
6. 시스템(100)은 사용자 단말기(300)가 발언권을 획득했음을 PTT 세션에 참여한 장치 사물(200)로 통지한다.6. The system 100 notifies the device thing 200 participating in the PTT session that the user terminal 300 has obtained the voice.
7. 장치 사물(200)은 상대방이 발언권을 획득했음을 사용자에게 알림음을 통하여 통지한다.7. The device thing 200 notifies the user through the notification sound that the other party has acquired the right to speak.
8. 장치 사물(200)은 발언권 획득 통지 응답을 전송한다.8. The device thing 200 transmits a voice acquisition notification response.
9. 시스템(100)은 사용자 단말기(300)로 발언권이 수락되었음을 통지한다.9. The system 100 notifies the user terminal 300 that the right to speak has been accepted.
10. 사용자 단말기(300)는 발언권 획득을 사용자에게 알림음 등을 통하여 통지한다. 10. The user terminal 300 notifies the user of the right to speak through a notification sound.
11. 사용자 단말기(300)는 사용자로부터 입력되는 음성 또는 영상 신호를 PTT 서비스를 위한 미디어 세션을 통해 시스템(100)으로 전송하고 시스템(100)은 장치 사물(200)들로 이를 전송한다.11. The user terminal 300 transmits an audio or video signal input from the user to the system 100 through a media session for the PTT service, and the system 100 transmits it to the device objects 200.
도 15는 장치 사물(200)에서 다른 장치 사물(200) 또는 사용자 단말기(300)로 음성/영상 PTT(Push To Talk) 서비스를 수행하는 경우를 설명하기 위한 도면이다.FIG. 15 is a diagram for describing a case in which a voice / video push to talk (PTT) service is performed from the device thing 200 to another device thing 200 or the user terminal 300.
도 15를 참조하여 설명하면 다음과 같다.A description with reference to FIG. 15 is as follows.
1. 장치 사물(200) 사용자는 음성 명령을 통해 발신 장치 사물(200)로 음성/영상 PTT 서비스를 요청한다.1. The user of the apparatus thing 200 requests a voice / video PTT service to the calling apparatus thing 200 through a voice command.
2. 발신측 장치 사물(200)은 PTT 서비스의 통화 상대방 이름 또는 ID를 포함하는 PTT 발신 요청 신호를 시스템(100)으로 전송한다.2. The originating device apparatus 200 transmits a PTT origination request signal including the call counterpart name or ID of the PTT service to the system 100.
3. 시스템(100)은 PTT 서비스의 상대방인 착신측 장치 사물(200) 또는 사용자 단말기(300)의 ID를 조회한다.3. The system 100 queries the ID of the called party device 200 or the user terminal 300 which is the other party of the PTT service.
4. 시스템(100)은 조회된 ID에 해당하는 장치 사물(200) 또는 사용자 단말기(300)의 제어 세션 연결 상태에 따라 PTT 서비스 요청 알림 푸쉬 또는 메시지를 전송한다.4. The system 100 transmits a PTT service request notification push or message according to the control session connection state of the device thing 200 or the user terminal 300 corresponding to the inquired ID.
5. 착신측 장치 사물(200) 또는 사용자 단말기(300)는 PTT 세션 연결을 위해 시스템(100)으로 미디어 세션 연결을 실행한다. 만일 제어 세션이 연결되지 않은 경우 제어 세션을 연결한 후 미디어 세션 연결을 실행한다.5. The called party device thing 200 or the user terminal 300 executes a media session connection to the system 100 for a PTT session connection. If the control session is not connected, connect the control session and then execute the media session connection.
6. 시스템(100)에서는 착신측 장치 사물(200) 또는 사용자 단말기(300)의 세션연결 정보를 발신측 장치 사물(200)로 전송하여 PTT 서비스를 위한 미디어 세션이 연결되었음을 알린다.6. The system 100 notifies that the media session for the PTT service is connected by transmitting session connection information of the called party device 200 or the user terminal 300 to the calling device 200.
7. 발신측 장치 사물(200)은 PTT 세션이 연결되었음을 사용자에게 알림음 등을 통하여 통지한다.7. The originating device thing 200 notifies the user that the PTT session is connected through a notification sound or the like.
8. 사용자는 음성 명령을 통해 발언권 획득을 요청한다.8. The user requests to obtain a voice through a voice command.
9. 장치 사물(200)은 시스템(100)으로 발언권 획득을 요청한다.9. The device thing 200 requests the system 100 to obtain a voice.
10. 시스템(100)은 장치 사물(200)이 발언권을 획득했음을 PTT 세션 참여 상대방측 장치 사물(200) 또는 사용자 단말기(300)로 통지한다.10. The system 100 notifies the device thing 200 or the user terminal 300 of the other party participating in the PTT session that the device thing 200 has obtained the voice.
11. 착신측 장치 사물(300) 또는 사용자 단말기(200)는 상대방이 발언권을 획득했음을 사용자에게 일림음 등을 통하여 통지한다.11. The called party's device thing 300 or the user terminal 200 notifies the user that the other party has obtained the right to speak through a ringtone.
12. 장치 사물(200) 또는 사용자 단말기(300)는 발언권 획득 통지 응답을 시스템(100)으로 전송한다.12. The device thing 200 or the user terminal 300 transmits a voice acquisition notification response to the system 100.
13. 시스템(100)은 발신측 장치 사물(200)로 발언권이 수락되었음을 통지한다. 13. The system 100 notifies the originating device thing 200 that the floor has been accepted.
14. 발신측 장치 사물(200)은 발언권 획득을 사용자에게 알림음 등을 통하여 통지한다.14. The originating device thing 200 notifies the user of the voice through the notification sound.
15. 발신측 장치 사물(200)은 발언권 획득 후 음성/영상을 PTT 미디어 세션을 통해 시스템(100)으로 전송하고, 시스템(100)은 이를 착신측 장치 사물(200) 또는 사용자 단말기(300)로 전송한다.15. The calling device 200 transmits the voice / video to the system 100 through the PTT media session after obtaining the voice, and the system 100 transmits the voice / video to the called device 200 or the user terminal 300. send.
도 16은 사용자 단말기(300)에서 장치 사물(200)로 메시지 송수신 서비스의 하나로서 문자 채팅 서비스 절차를 수행하는 경우를 설명하기 위한 도면이다.FIG. 16 is a diagram for describing a case where a text chat service procedure is performed as a message transmission / reception service from the user terminal 300 to the device thing 200.
도 16을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 16 is as follows.
1. 사용자 단말기(300)에서 문자 채팅 대상 장치 사물(200)의 ID로 문자를 전송한다.1. The user terminal 300 transmits a text to the ID of the text chatting target device thing 200.
2. 시스템(100)은 문자 전송 요청(메시지 송신 서비스 신호)을 수신하여, 해당 장치 사물(200)이 현재 제어 세션을 연결한 상태인지 확인한 후, 제어 세션이 연결된 상태인 경우 문자가 수신되었음을 알리는 메시지를 전송하고, 만일 제어 세션이 연결되지 않은 상태인 경우 문자가 수신되었음을 알리는 PUSH를 전송한다.2. The system 100 receives a text transmission request (message transmission service signal), checks whether the device thing 200 is currently connected to a control session, and notifies that text has been received if the control session is connected. Send a message and, if the control session is not connected, send a PUSH indicating that a text has been received.
3. 착신측 장치 사물(200)은 문자 수신 알림을 수신한 후 전송 확인 알림을 전송한다. 만일 제어 세션이 연결되지 않은 경우 제어 세션을 연결한 후 전송확인 알림을 전송한다.3. The called party device 200 transmits a transmission confirmation notification after receiving the text reception notification. If the control session is not connected, the transmission confirmation notification is transmitted after the control session is connected.
4. 착신측 장치 사물(200)은 미리 설정된 출력모드에 따라 자동출력인 경우 즉시 수신한 문자 내용을 TTS를 통하여 음성으로 출력하고, 수동출력인 경우 사용자의 음성명령에 의해 문자 내용을 음성(TTS : Text To speech)으로 출력한다.4. The called party device 200 outputs the text content received immediately through the TTS in the case of automatic output according to the preset output mode, and voices the text content by the user's voice command in the case of the manual output. : Text To speech).
5. 착신측 장치 사물(200)은 문자 내용을 출력한 후 출력 확인 알림을 시스템(100)으로 전송한다.5. The called party device thing 200 outputs the text content and then sends an output confirmation notification to the system 100.
6. 시스템(100)은 문자를 발신한 사용자 단말기(300)의 제어 세션 연결상태에 따라, 제어 세션이 연결된 경우 출력 확인 알림을 전송하고, 제어 세션이 연결되지 않은 경우 출력확인 알림을 데이터베이스에 저장하고 이후 제어세션이 연결되면 저장된 출력확인 알림을 사용자 단말기(300)로 전송한다.6. The system 100 transmits an output acknowledgment notification when the control session is connected, and stores the output acknowledgment notification in the database if the control session is not connected, according to the control session connection state of the user terminal 300 that sent the text. After that, when the control session is connected, the stored output confirmation notification is transmitted to the user terminal 300.
도 17은 장치 사물(200)로 문자가 수신되는 내부 절차를 나타낸 것이다.17 illustrates an internal procedure for receiving text into the device thing 200.
도 17을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 17 is as follows.
1. 시스템(100)에서 전송한 문자는 착신측 장치 사물(200)의 서비스 수행 장치(600)의 프로토콜 엔진(621)에서 수신되어 서비스 제어부(611,Application Logics)로 전달된다.1. The text transmitted from the system 100 is received by the protocol engine 621 of the service performing apparatus 600 of the called party device 200 and transferred to the service control unit 611 (Application Logics).
2. 서비스 제어부(611)는 수신 확인 신호를 시스템(100)으로 전달하기 위해 프로토콜 엔진(621)의 수신 확인 API를 호출한다.2. The service controller 611 calls the acknowledgment API of the protocol engine 621 to transmit the acknowledgment signal to the system 100.
3. 프로토콜 엔진(621)은 시스템(100)으로 문자 수신 확인 신호를 전송한다.3. The protocol engine 621 sends a text acknowledgment signal to the system 100.
4. 서비스 제어부(611)는 오디오 플레이어(612,Audio Player)를 이용하여 문자 착신 음을 출력한다.4. The service control unit 611 outputs the character incoming sound using the audio player 612.
5. 서비스 제어부(611)는 데이터 저장부(614,contacts, Settings)에서 수신 문자 출력모드를 확인한다.5. The service control unit 611 checks the received text output mode in the data storage unit 614 (contacts, Settings).
5`. 출력모드가 수동인 경우 사용자의 음성명령을 대기한다.5`. If the output mode is manual, the user waits for a voice command.
6. 사용자의 음성 명령이 수신되거나 출력 모드가 자동인 경우 서비스 제어부(611)는 음성 녹음 파일 및 TTS를 이용하여 문자 내용을 음성으로 변환한 후 오디오 플레이어(612)를 통해 음성으로 출력한다. 6. When the user's voice command is received or the output mode is automatic, the service controller 611 converts the text content into voice using the voice recording file and the TTS and outputs the voice through the audio player 612.
도 18은 장치 사물(200)을 이용하여 문자를 발신하는 경우에 대한 내부 절차를 나타낸 것이다.18 illustrates an internal procedure for sending a text using the device thing 200.
도 18을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 18 is as follows.
1. 장치 사물(200)의 사용자가 음성 명령을 통해 문자 발신을 요청한다. 1. A user of the device thing 200 requests a text transmission through a voice command.
2. 서비스 제어부(611, Application Logics)는 사용자로부터의 음성 명령을 수신하여, 음성 인식부(613)를 통해 입력된 음성을 판단한다. 만일 음성 인식부(613)에서 음성 인식이 안된 경우는 외부의 별도 음성 인식 서버에게 명령의 종류를 판단 요청한다.2. The service control unit 611, Application Logics receives a voice command from the user, and determines the voice input through the voice recognition unit 613. If the voice recognition unit 613 does not recognize the voice, it requests the external separate voice recognition server to determine the type of command.
3. 음성 인식부 또는 음성 인식 서버의 응답에 의해 서비스 제어부(611)는 사용자로부터 입력된 음성을 문자(텍스토)로 변환한다.3. In response to the voice recognition unit or the voice recognition server, the service control unit 611 converts the voice input from the user into text (text).
4. 서비스 제어부(611)는, 변환된 문자 발신을 위해 프로토콜 엔진(621)의 문자 발신 API를 호출한다.4. The service control unit 611 calls the text origination API of the protocol engine 621 to send the converted text.
5. 프로토콜 엔진(621)은 해당 API에 의해 문자를 발신할 것을 시스템(100)으로 요청한다. 시스템(100)에서 전달한 문자 발신 결과는 프로토콜 엔진(621)에서 수신되어 서비스 제어부(611)로 전달된다.5. The protocol engine 621 requests the system 100 to send a text by the corresponding API. The text transmission result delivered by the system 100 is received by the protocol engine 621 and forwarded to the service control unit 611.
도 19는 장치 사물(200)에서 사용자 단말기(300) 또는 다른 장치 사물(200)로 메시지 송수신 서비스의 하나로서 문자 채팅을 위한 서비스 절차를 나타낸 것이다.19 illustrates a service procedure for text chatting as one of message transmission / reception services from the device thing 200 to the user terminal 300 or another device thing 200.
도 19를 참조하면 다음과 같다.Referring to Figure 19 as follows.
1) 장치 사물(200) 사용자는 음성 명령을 통해 장치 사물(200)로 문자 발신을 요청한다.1) The user of the device thing 200 requests a text transmission to the device thing 200 through a voice command.
2) 발신측 장치 사물(200)의 서비스 수행 장치(600)는 사용자의 음성 입력 내용을 STT(Speech To Text)를 통하여 문자 메시지로 변환한다.2) The service performing apparatus 600 of the originating apparatus 200 may convert a user's voice input into a text message through speech to text (STT).
3) 발신측 장치 사물(200)은 문자 전달을 위하여 착신자 대상 이름 또는 ID를 포함하는 문자 발신 요청 데이터를 시스템(100)으로 전송한다.3) The originating device apparatus 200 transmits the text origination request data including the called party name or ID to the system 100 for text delivery.
4) 시스템(100)에서는 문자 발신 요청을 수신하여, 문자를 전송할 대상인 착신측 장치 사물(200) 또는 사용자 단말기(300)의 ID를 조회한다.4) The system 100 receives the text transmission request and inquires the ID of the called device 200 or the user terminal 300 to which the text is to be transmitted.
5) 시스템(100)은 조회된 ID에 상응하는 장치 사물(200) 또는 사용자 단말기(300)의 제어 세션 연결 상태에 따라 문자 수신 알림 PUSH 또는 메시지를 전송한다.5) The system 100 transmits a text reception notification PUSH or a message according to the control session connection state of the device thing 200 or the user terminal 300 corresponding to the inquired ID.
6) 착신측 장치 사물(200) 또는 사용자 단말기(300)는 문자 수신 알림을 수신한 후 전송 확인 알림을 시스템(100)을 통해 장치 사물(200)로 전송한다. 만일 제어 세션이 연결되지 않은 경우 제어세션을 연결한 후 전송확인 알림을 발신측 장치 사물(200)에게 전송한다.6) The called party device thing 200 or the user terminal 300 receives the text reception notification and transmits a transmission confirmation notification to the device thing 200 through the system 100. If the control session is not connected, the transmission confirmation notification is transmitted to the calling device apparatus 200 after the control session is connected.
7) 착신측 장치 사물(200) 또는 사용자 단말기(300)는 문자 내용을 출력한다. 이때 착신측이 장치 사물(200)인 경우에는 설정된 출력 모드에 따라 음성으로 출력하고, 사용자 단말기(300)인 경우 사용자의 조작에 따라 화면에 출력한다.7) The called party device 200 or the user terminal 300 outputs text content. In this case, when the called party is the device thing 200, the voice is output according to the set output mode, and in the case of the user terminal 300, the called party is output on the screen according to a user's manipulation.
8) 착신측 장치 사물(200) 또는 사용자 단말기(300)는 문자 내용을 출력한 후 출력확인 알림을 발신측 장치 사물(100)로 시스템(100)을 통해 전송한다.8) The called party device thing 200 or the user terminal 300 outputs the text content and transmits an output confirmation notification to the calling device thing 100 through the system 100.
도 20은 사용자 단말기(300) 또는 장치 사물(200)로부터 착신측 장치 사물(200)로 수신되는 음성/영상 호(Incoming Call)에 대하여 외부 스팸 차단을 하기 위한 서비스 절차를 나타낸 것이다.FIG. 20 illustrates a service procedure for blocking external spam with respect to an incoming call received from the user terminal 300 or the device thing 200 to the called party device 200.
도 20을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 20 is as follows.
1) 사용자 단말기(300)의 연락처에서 기 등록된 착신측 장치 사물(200) 의 ID를 선택하여 음성/영상 통화를 요청한다.1) In the contact information of the user terminal 300, selects the ID of the registered destination device 200 to request a voice / video call.
2) 시스템(100)에서는 통화 요청을 수신하여, 착신측 장치 사물(200)이 현재 제어 세션을 연결한 상태인지 확인하고 제어세션이 연결된 상태인 경우 통화 요청이 수신되었음을 알리는 메시지를 전송하고, 그렇지 않을 경우 만일 제어세션이 연결되지 않은 상태인 경우 통화 요청이 수신되었음을 알리는 PUSH Notification을 전송한다. 2) The system 100 receives the call request, checks whether the called party device thing 200 is currently connected to the control session, and if the control session is connected, transmits a message indicating that the call request has been received. Otherwise, if the control session is not connected, PUSH Notification indicating that a call request is received is transmitted.
3) 시스템(100)은 외부의 별도 스팸 차단 시스템(500)과 연동하여 착신측 전화 번호 또는 ID가 스팸 또는 보이스 피싱 정보로 등록되어 있는지 스팸 차단 시스템(500)에 질의하고 그 결과값을 수신한다.3) The system 100 interoperates with an external separate spam blocking system 500 to query the spam blocking system 500 to determine whether the called party's telephone number or ID is registered as spam or voice phishing information and receives the result value. .
4) 시스템(100)은 수신측 장치 사물(200)에게 발신호 정보가 Spam 전화인지 아닌지에 대한 스팸 정보를 전송한다.4) The system 100 transmits spam information about whether the caller information is a spam phone to the receiving apparatus 200.
5) 장치 사물(200)은 발신 호가 스팸 전화일 경우 사용자에게 “스팸전화가 의심되는 전화입니다"라는 음성멘트를 전달하고, 통화 수신알림을 음성 또는 영상으로 출력하여 사용자에게 통보한 후 응답모드에 따라, 자동응답인 경우 즉시 통화를 수락하고(자동 응답), 수동응답인 경우 사용자의 음성명령을 대기한 후 통화를 수락한다. 이 때, 스팸의심전화 수신 거부로 설정되어 있으면, 수신호와의 통화 연결을 종료할 수 있다. 만일 그렇지 않을 경우 자동 응답 및 수동 응답설정에 따라 호 처리가 진행된다.5) When the outgoing call is a spam call, the device thing 200 delivers a voice message to the user, “The call is suspected to be a spam call,” and outputs a call reception notification as voice or video to notify the user and then in response mode. Therefore, in case of an automatic answer, the call is immediately accepted (auto answer), and in the case of a manual answer, the user waits for a voice command and accepts the call. At this time, if it is set to reject spam suspicious call, the call connection with the hand signal can be terminated. If not, call processing proceeds according to automatic response and manual response setting.
6) 통화를 수락하면 통화 세션연결을 위해 시스템(100)으로 미디어 세션 연결을 실행한다. 만일 제어세션이 연결되지 않은 경우 제어세션을 연결한 후 미디어 세션 연결을 실행한다.6) Upon accepting the call, a media session connection is made to the system 100 for a call session connection. If the control session is not connected, the media session is connected after the control session is connected.
7) 시스템(100)에서는 장치 사물(200)의 미디어 세션 연결정보를 발신측인 사용자 단말기(300)로 전송하여 세션이 연결되었음을 알린다.7) The system 100 notifies that the session is connected by transmitting the media session connection information of the device thing 200 to the user terminal 300 which is the calling party.
8) 사용자 단말기(300)와 장치 사물(200)은 미디어 세션을 통해 음성 또는 영상 통화 서비스를 수행한다.8) The user terminal 300 and the device thing 200 perform a voice or video call service through a media session.
도 21은 수신측 장치 사물(200)이 전원 오프(Power Off), 통화중 또는 무응답일 경우 수신된 음성/영상 호 및 메시지에 대한 서비스 절차를 나타낸 것이다.FIG. 21 illustrates a service procedure for a received voice / video call and message when the receiving apparatus 200 is powered off, busy, or unanswered.
도 21을 참조하여 설명하면 다음과 같다.A description with reference to FIG. 21 is as follows.
1) 사용자 단말기(300)의 연락처에서 기 등록된 장치 사물(200)의 ID를 선택하여 음성/영상 통화 또는 메시지 전송을 요청한다.1) Requests for voice / video call or message transmission by selecting an ID of the registered device thing 200 from a contact of the user terminal 300.
2) 시스템(100)에서는 통화/문자 요청을 수신하여, 해당 장치 사물(200)이 현재 제어 세션을 연결한 상태인지 확인하고 제어세션이 연결된 상태인 경우 통화 요청이 수신되었음을 알리는 메시지를 전송하고, 그렇지 않을 경우 만일 제어세션이 연결되지 않은 상태인 경우 통화 요청이 수신되었음을 알리는 PUSH Notification을 전송한다. 2) the system 100 receives the call / text request, checks whether the corresponding device thing 200 is currently connected to the control session, and if the control session is connected, transmits a message indicating that the call request has been received. Otherwise, if the control session is not connected, PUSH Notification indicating that a call request is received is transmitted.
만일 수신 장치 사물(200)이 전원 오프(Power Off) 상태일 경우, 문자 메시지일 경우는 시스템(100)에 저장하고, 만일 음성/영상 전화(또는 PTT)일 경우 6)으로 이동하여 발신자에게 음성/영상 메시지를 녹음/녹화할 수 있도록 한다.If the receiving apparatus 200 is in a power off state, the text message is stored in the system 100 in case of a text message, and in case of a voice / video call (or PTT), the voice is transmitted to the caller. Allows you to record video messages.
3) 장치 사물(200)은 사용자에게 인입호 또는 메시지가 수신되었음을 알린다. 이때 수신측 장치 사물(200)이 통화중이거나, 수신 명령 대기 시간이 미리 ㅅ설정해 둔 T/O(Time out)인지를 판단한다(장치 사물(200)이 외출 모드로 설정 또는 통화중 상태)3) The device thing 200 notifies the user that an incoming call or a message has been received. At this time, it is determined whether the receiving device 200 is in a call or the reception command waiting time is T / O (Time out) which has been set in advance (the device 200 is set to go out mode or busy).
4) 장치 사물(200)은 시스템(100)으로 착신 상태가 무응답 또는 통화중임을 알린다.4) Device Thing 200 notifies system 100 that the incoming call is unanswered or busy.
5) 시스템(100)은 음성/영상 호(Call)일 경우에는 발신측에 음성 안내멘트를 재생하여 음성/영상 녹음을 할 수 있도록 한다. 만일 문자일 경우에는 나중에 수신자가 수신 문자를 확인할 수 있도록 수신측에 문자가 수신되었음을 알린다. 5) In the case of a voice / video call, the system 100 enables voice / video recording by playing a voice announcement on the calling party. If it is a text, it informs the receiving party of the text so that the receiver can check the received text later.
6) 발신측은 안내멘트에 따라 수신자에게 음성/영상 메시지를 녹음/녹화한다.6) The calling party records and records the voice / video message to the recipient according to the announcement.
7) 시스템(100)은 녹음/녹화가 완료된 후에, 수신 측에 수신 음성/영상 메시지가 있음을 알린다.7) After the recording is completed, the system 100 notifies the receiving side that there is an incoming voice / video message.
8) 수신측 장치 사물(200)은 예컨대 LED 등에 메시지가 수신되었음을 표시하고, 이를 인지한 사용자는 음성 명령 또는 장치 사물(200)을 조작하여 수신 메시지 청취를 요청한다.8) The receiving side device thing 200 indicates that a message has been received, for example, by using an LED and the like, and the user who recognizes the message requests to listen to the received message by manipulating a voice command or the device thing 200.
9) 수신측 장치 사물(200)은 시스템(100)에 수신 저장된 음성/영상/문자 메시지를 수신 요청하고, 장치 사물(200)을 통해 재생한다.9) The receiving device 200 receives a request for receiving a stored voice / video / text message from the system 100 and plays the same through the device 200.
도 22는 OTT 사업자 또는 통신 사업자가 사용하고 있는 어플리케이션에 적용을 할 경우의 화면 예시를 나타낸 것으로서, 사용자 단말기(스마트폰)에서 장치 사물(200)로 통화를 위한 사용자 인터페이스의 예시를 나타낸 것이다.FIG. 22 illustrates an example of a screen when an application is used by an OTT operator or a communication operator, and illustrates an example of a user interface for a call from a user terminal (smartphone) to the device thing 200.
도 22의 좌측을 참조하면, 장치 사물(200)의 ID가 표시되어 있음을 알 수 있고 이를 선택하면 우측에 나타낸 바와 같이 통화 요청 및 통화 중의 상태의 화면으로 변경됨을 알 수 있다.Referring to the left side of FIG. 22, it can be seen that the ID of the device thing 200 is displayed, and when it is selected, it can be seen that the screen is changed to a screen of a call request and a call state as shown on the right side.
도 23은 기존의 메시징 어플리케이션에 본 발명을 적용한 경우를 설명하기 위한 도면으로서, 널리 사용되고 있는 카카오톡 어플리케이션에 본 발명을 적용한 경우이다.FIG. 23 is a diagram illustrating a case where the present invention is applied to an existing messaging application, and is a case where the present invention is applied to a widely used KakaoTalk application.
도 23의 좌측을 참조하면, 장치 사물(200)의 ID가 메시징 어플리케이션의 연락처(친구 목록)에 등록되어 있음을 알 수 있다.Referring to the left side of FIG. 23, it can be seen that the ID of the device thing 200 is registered in a contact (friend list) of a messaging application.
이러한 상태에서, 사용자가 해당 장치 사물(200)의 ID를 터치하면 장치 사물(200)에 대한 정보를 표시해 주고, 통화 버튼을 누르면 해당 장치 사물(200)로 음성 통화를 발신하고 통화가 이루어지는 상태를 확인할 수 있다.In this state, when the user touches the ID of the device thing 200, information about the device thing 200 is displayed, and when a call button is pressed, a voice call is sent to the device thing 200 and a call is made. You can check it.
도 24는 통신사에서 제공하고 있는 통화 어플리케이션(예컨대, 에스케이 텔레콤의 T 전화)에 본 발명을 적용한 경우를 나타낸 것이다.24 illustrates a case where the present invention is applied to a call application provided by a telecommunication company (eg, T-phone of SK Telecom).
도 24에 나타낸 바와 같이, 해당 통화 어플리케이션의 연락처에 장치 사물(200)의 ID가 등록되어 있으며 이를 선택한 경우 통화 발신 화면, 통화중 화면으로 변경된다.As shown in FIG. 24, when the ID of the device thing 200 is registered in the contact of the call application and selected, the call screen is changed to the call origination screen or the call screen.
이상에서, 본 발명의 바람직한 실시예를 참조하여 본 발명을 설명하였으나 본 발명은 상기 실시예에 한정되는 것이 아님을 유의해야 한다.In the above, the present invention has been described with reference to the preferred embodiment of the present invention, it should be noted that the present invention is not limited to the above embodiment.
예컨대, 장치 사물(200)은 IoT 디바이스, AI 디바이스 이외에도 기타 다양한 디바이스를 포함할 수 있음은 물론이다.For example, the device thing 200 may include various other devices in addition to the IoT device and the AI device.
100...ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템
200...장치 사물
300...사용자 단말기
400...기타 통신 시스템
500...스팸 차단 시스템
System that provides communication service in device thing using 100 ... ID
200 ... device objects
300 ... user terminal
400 ... Other Communication Systems
500 ... spam protection system

Claims (11)

  1. ID를 이용하여 장치 사물에서의 통신 서비스를 제공하는 시스템으로서,
    장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 제어 세션을 형성하고, 상기 제어 세션을 통한 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 호 처리 기능을 수행하는 서비스 서버; 및
    장치 사물 및 사용자 단말기와 네트워크를 통해 결합하여 장치 사물 사이 또는 장치 사물과 사용자 단말기 사이에서 미디어 세션을 형성하는 미디어 서버
    를 포함하고,
    상기 장치 사물은 설정된 ID를 상기 서비스 서버에 저장된 장치 사물 사용자의 계정의 주소록에 등록하고, 상기 서비스 서버는 상기 장치 사물 사용자의 계정의 주소록을 다른 장치 사물 및 사용자 단말기와 동기화하여 저장하도록 한 상태에서, 장치 사물 및 사용자 단말기는 주소록에 저장된 ID에 기초하여 통화 서비스를 수행할 장치 사물 또는 사용자 단말기를 선택하고, 상기 서비스 서버를 통해 형성된 제어 세션을 통해 제어 신호를 송수신하고 또한 상기 미디어 서버를 통해 형성되는 미디어 세션을 통해 음성 또는 영상 통화 서비스 및 메시지 송수신 서비스를 위한 음성, 영상 또는 메시지 신호를 상기 선택된 장치 사물 또는 사용자 단말기와 송수신함으로써 통화 서비스를 수행하되,
    상기 장치 사물 사용자의 계정의 주소록은 미리 설정된 허락된 친구 관계인 다른 장치 사물 및 사용자 단말기들과만 동기화하고,
    상기 장치 사물 또는 사용자 단말기는, 서비스 수행 장치를 구동시켜서 음성 또는 영상 통화를 수행할 상대방 장치 사물 또는 사용자 단말기의 ID를 선택하고 선택된 ID를 포함하는 음성 또는 영상 통화 요청 신호를 서비스 서버로 전송하고,
    상기 서비스 서버는 미디어 서버로 미디어 자원 할당 요청 신호를 전송하고, 미디어 서버는 미디어 자원을 할당하고 자원 할당 응답 신호를 서비스 서버로 전송하고,
    상기 서비스 서버는 상기 자원 할당 응답 신호를 음성 또는 영상 통화를 요청한 발신측 장치 사물 또는 사용자 단말기로 전송하고, 발신측 장치 사물 또는 사용자 단말기는 상기 자원 할당 응답 신호에 포함된 미디어 자원 정보에 기초하여 미디어 세션을 미디어 서버와 형성하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    A system for providing a communication service in a device thing using an ID,
    It is connected to the device thing and the user terminal through a network to form a control session between the device thing or between the device thing and the user terminal, and performs a call processing function for voice or video call service and message transmission and reception service through the control session. Service server; And
    A media server that combines with a device thing and a user terminal through a network to form a media session between the device thing or between the device thing and the user terminal.
    Including,
    The device thing registers the set ID in the address book of the account of the device thing user stored in the service server, and the service server is configured to store the address book of the account of the device thing user in synchronization with other device things and the user terminal. The device thing and the user terminal may select a device thing or a user terminal to perform a call service based on the ID stored in the address book, transmit and receive a control signal through a control session formed through the service server, and may be formed through the media server. Performs a call service by transmitting and receiving a voice, video or message signal for a voice or video call service and a message transceiving service with the selected device thing or a user terminal through a media session,
    The address book of the device thing user's account synchronizes only with other device things and user terminals which are preset allowed friend relations,
    The device thing or the user terminal may select the ID of the counterpart device thing or the user terminal to perform the voice or video call by driving the service performing apparatus and transmit a voice or video call request signal including the selected ID to the service server,
    The service server sends a media resource allocation request signal to a media server, the media server allocates a media resource and sends a resource allocation response signal to the service server,
    The service server transmits the resource allocation response signal to an originating device thing or a user terminal requesting a voice or video call, and the originating device thing or user terminal transmits a media based on the media resource information included in the resource allocation response signal. And a session is formed with the media server.
  2. 삭제delete
  3. 삭제delete
  4. 삭제delete
  5. 제1항에 있어서,
    상기 서비스 서버는, 착신측 장치 사물 또는 사용자 단말기의 ID를 확인하고 이에 기초하여 해당 장치 사물 또는 사용자 단말기로 통화 요청 신호를 전송하고, 착신측 장치 사물 또는 사용자 단말기가 통화를 수락한 경우 상기 서비스 서버는 미디어 서버로 미디어 자원 할당 요청 신호를 전송하고 미디어 서버는 미디어 자원을 할당하고 자원 할당 응답 신호를 서비스 서버로 전송하고,
    상기 서비스 서버는 상기 자원 할당 응답 신호를 착신측 장치 사물 또는 사용자 단말기로 전송하고, 착신측 장치 사물 또는 사용자 단말기는 상기 자원 할당 응답 신호에 포함된 미디어 자원 정보에 기초하여 미디어 세션을 미디어 서버와 형성하고,
    발신측 및 착신측 장치 사물 또는 사용자 단말기는 상기 미디어 서버를 통해 형성된 미디어 세션을 통해 음성 또는 영상 통화 서비스를 위한 음성 또는 영상 신호를 송수신함으로써 통화 서비스를 수행하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 1,
    The service server checks the ID of the called party device thing or the user terminal and transmits a call request signal to the corresponding device thing or the user terminal based on the ID of the called party device thing or the user terminal, and when the called party device thing or the user terminal accepts the call Sends a media resource allocation request signal to the media server, the media server allocates the media resource, and sends a resource allocation response signal to the service server,
    The service server transmits the resource allocation response signal to the called party device thing or the user terminal, and the called party device thing or the user terminal forms a media session with the media server based on the media resource information included in the resource allocation response signal. and,
    Calling service in the device thing characterized in that the calling and destination device thing or user terminal performs a call service by transmitting and receiving a voice or video signal for a voice or video call service through the media session formed through the media server Provide system.
  6. 제1항에 있어서,
    상기 음성 또는 영상 통화 서비스는 PTT(Push To Talk) 서비스를 포함하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 1,
    The voice or video call service includes a push to talk (PTT) service.
  7. 제1항에 있어서,
    상기 장치 사물 또는 사용자 단말기는, 서비스 수행 장치를 구동시켜서 메시지 송신 서비스를 수행할 상대방 장치 사물 또는 사용자 단말기의 ID를 선택하고 선택된 ID를 포함하는 메시지 송신 서비스 신호를 서비스 서버로 전송하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 1,
    The apparatus thing or the user terminal selects an ID of the counterpart apparatus thing or the user terminal to perform the message transmission service by driving a service performing apparatus and transmits a message transmission service signal including the selected ID to the service server. Call service providing system in the device thing.
  8. 제7항에 있어서,
    상기 서비스 서버는, 착신측 장치 사물 또는 사용자 단말기로 메시지가 수신되었음을 알리는 신호를 전송하고, 착신측 장치 사물 또는 사용자 단말기는 미리 설정된 출력모드에 따라 수신한 메시지를 음성 신호로 변환하여 출력하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 7, wherein
    The service server transmits a signal indicating that a message has been received to the called party device thing or the user terminal, and the called device thing or user terminal converts the received message into a voice signal according to a preset output mode and outputs the voice signal. Call service providing system in a device thing.
  9. 제7항에 있어서,
    상기 장치 사물은, 장치 사물의 사용자로부터 입력되는 음성 명령을 수신하여 음성 인식부를 통해 음성 명령을 해석하여 텍스트 정보로 변환하여 변환된 텍스트 정보를 포함하는 메시지를 서비스 서버로 전송하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 7, wherein
    The device may receive a voice command input from a user of the device thing, interpret a voice command through a voice recognition unit, convert the voice command into text information, and transmit a message including the converted text information to a service server. Call service providing system in things.
  10. 제1항에 있어서,
    스팸 정보 또는 보이스 피싱 정보를 저장하고 있으며 서비스 서버로부터의 스팸 질의 요청 신호를 수신하여 스팸 여부 또는 보이스 피싱 여부를 판단하여 그 결과를 서비스 서버로 전송하는 스팸 차단 시스템을 더 포함하는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 1,
    And a spam blocking system that stores spam information or voice phishing information, and determines whether spam or voice phishing is received by receiving a spam query request signal from a service server and transmits the result to a service server. Call service providing system in things.
  11. 제1항에 있어서,
    인터넷에 기반하여 어플리케이션에 의해 통신 서비스를 제공하는 기타 통신 시스템을 더 포함하고,
    상기 장치 사물은 상기 기타 통신 시스템의 어플리케이션과 연동하여 장치 사물에 대해 설정된 ID를 기타 통신 시스템에 저장된 장치 사물 사용자의 계정의 주소록에 등록함으로써 상기 장치 사물은 기타 통신 시스템의 어플리케이션의 주소록에 동기화되는 것을 특징으로 하는 장치 사물에서의 통화 서비스 제공 시스템.
    The method of claim 1,
    It further includes other communication system for providing a communication service by the application based on the Internet,
    The device thing is synchronized with an application of the other communication system by registering an ID set for the device thing in the address book of the account of the device thing user stored in the other communication system, so that the device thing is synchronized with the address book of the application of the other communication system. A call service providing system in a device thing,
KR1020180023455A 2017-02-28 2018-02-27 System for providing communication services in device things using id KR102014817B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20170026722 2017-02-28
KR1020170026722 2017-02-28

Publications (2)

Publication Number Publication Date
KR20180099535A KR20180099535A (en) 2018-09-05
KR102014817B1 true KR102014817B1 (en) 2019-08-27

Family

ID=63594837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180023455A KR102014817B1 (en) 2017-02-28 2018-02-27 System for providing communication services in device things using id

Country Status (1)

Country Link
KR (1) KR102014817B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676432B1 (en) 2015-06-29 2016-11-17 주식회사 두두원 Discovery and Access System of Internet of Things board and Application Server under wireless WiFi Environment and method at the same
KR101690968B1 (en) * 2016-04-18 2016-12-29 (주)케이사인 Method of federating internet of things platforms

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100545901B1 (en) * 2003-06-13 2006-02-09 (주)엠아이유 A wireless system for transmitting and receiving multimedia data free of charge and a method therefor
KR102018657B1 (en) * 2012-11-14 2019-09-05 엘지전자 주식회사 Mobile terminal and Operationg method thereof
US9413827B2 (en) * 2013-02-25 2016-08-09 Qualcomm Incorporated Context aware actions among heterogeneous internet of things (IOT) devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676432B1 (en) 2015-06-29 2016-11-17 주식회사 두두원 Discovery and Access System of Internet of Things board and Application Server under wireless WiFi Environment and method at the same
KR101690968B1 (en) * 2016-04-18 2016-12-29 (주)케이사인 Method of federating internet of things platforms

Also Published As

Publication number Publication date
KR20180099535A (en) 2018-09-05

Similar Documents

Publication Publication Date Title
US7668515B2 (en) Portable telephone for conveying real time walkie-talkie streaming audio-video
US8583729B2 (en) Handling an audio conference related to a text-based message
KR101453640B1 (en) Transitioning between circuit switched calls and video calls
US20130336310A1 (en) Notification of Communication Events
EP1578084A2 (en) Systems and methods for videoconference and/or data collaboration initiation
CN100450222C (en) Method and apparatus for invited user in conversation obtaining group information
EP1968293A1 (en) Speech response method and speech server
WO2004112368A2 (en) Transmission of a data file by notification of a reference to the intended recipient and teleconference establishment using a unique reference
US20060087971A1 (en) Method for reserving of PT system
EP2862343B1 (en) Notification of communication events
CN110012366B (en) Wide-narrow band converged communication system and method used under public and private network IP interconnection
US9025587B2 (en) Auto answer in voice over internet protocol
US20090310762A1 (en) System and method for instant voice-activated communications using advanced telephones and data networks
US9948995B2 (en) Methods and apparatus for supporting sharing of content between mobile communications devices and home based devices
KR101790896B1 (en) Apparatus for message processing and control method thereof
GB2561693A (en) Managing communication sessions with respect to multiple transport media
KR102014817B1 (en) System for providing communication services in device things using id
JP2009218786A (en) Telephone system and receive rejection releasing method
WO2018001229A1 (en) Method, application server and system for realizing call park
US20160044175A1 (en) Preconfigured Sender Communication
TWM395968U (en) Communication system encompassing audio platform
CN101453702B (en) Method, system and equipment for providing inter-session information
US20210320994A1 (en) Selective and network based automated answering of audio/video calls for communication devices
KR101646748B1 (en) Terminal device and recording media for group call, call service apparatus
KR101382133B1 (en) Converssion method, appartus and system for communication pattern to ip-telephony

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant