KR101171849B1 - 영상통화시 영상데이터의 인식 및 변환 시스템, 서버, 방법 - Google Patents

Abstract

본 발명은 영상통화시 영상데이터의 인식 및 변환 시스템, 서버, 방법에 관한 것으로서, 영상통화 중에 영상통화 프레임 내의 문자, 그림, 발신자의 동작을 영상인식변환서버에서 자동으로 인식하여 각각 대응되는 텍스트데이터, 그림데이터, 동작데이터를 추출하고, 추출된 각 데이터를 문자열 코드, 저장된 이미지나 이미지에 해당하는 코드값, 미리 준비된 정지영상데이터나 동영상데이터로 변환하여 영상통화 프레임에 합성하거나 대체하여 착신단말기로 전달함으로써 착신자의 흥미를 유발할 수 있으며, 착신단말기에서 보다 정확하고 분명하게 영상통화 프레임을 확인할 수 있다.

영상통화, 영상데이터, 영상데이터 인식, 영상데이터 변환

Description

영상통화시 영상데이터의 인식 및 변환 시스템, 서버, 방법{System, Server and Method for Recognizing and Converting Image Data in Video Telephony}

본 발명은 영상통화시의 영상인식/변환 기술에 관한 것으로서, 구체적으로는 영상통화 중에 영상통화 프레임 내의 문자나 그림 혹은 발신자의 동작을 영상인식변환서버에서 자동으로 인식하여 문자열 코드, 저장된 이미지나 이미지에 해당하는 코드값, 미리 준비된 정지영상데이터나 동영상데이터로 변환하여 전달하는 시스템과 서버와 방법에 관한 것이다.

이동통신기술이 발전을 거듭하면서 휴대단말기 사용자들은 이제 음성통화뿐만 아니라 영상통화도 즐길 수 있게 되었다.

그런데 기존의 영상통화 기능은 상대방 화면에서 보이는 문자나 그림들을 정확히 인식하기 어려운 경우가 많다. 이는 RF(Radio Frequency) 구간에서의 패킷 손상 때문으로, 상대방측 단말기에서 상대방측 기지국으로 전달되는 RF 경로상의 패킷 손상과 자신측 기지국에서 자신측 단말기로 전달되는 RF 경로상의 패킷 손상이 모두 작용하여 이중으로 패킷들이 손상되기 때문이다. 따라서 통화자 간에 문자나 그림 혹은 동작을 서로 정확히 전달하기 어려운 문제점이 있다.

이와 같이 RF 환경의 영향으로 인해 영상이 정확히 전달되지 때문에, 영상통화를 통해 자신의 동작을 상대방에게 전달하고자 할 때에도 동작이 불분명하게 전달되는 경우들이 발생하고 있다.

이러한 종래의 문제점들을 해결하기 위하여, 본 발명의 목적은 패킷 손상을 최소화하기 위해서 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임에 포함된 문자를 텍스트데이터로 변환하고 텍스트데이터를 착신단말기로 제공 시에 제어채널 및 데이터채널을 이용함으로써 착신단말기에서 보다 명확한 영상통화 프레임을 확인할 수 있는 영상통화시 영상데이터의 인식 및 변환 시스템과 서버 및 방법을 제공하는데 있다.

본 발명의 다른 목적은 패킷 손상을 최소화하기 위해서 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임에 포함된 그림을 그림데이터로 변환하고 그림데이터를 착신단말기로 제공 시에 제어채널 및 데이터채널을 이용함으로써 착신단말기에서 보다 명확한 영상통화 프레임을 확인할 수 있는 영상통화시 영상데이터의 인식 및 변환 시스템과 서버 및 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 패킷 손상을 최소화하기 위해서 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임의 동작을 동작데이터로 변환하여 동작데이터를 착신단말기로 제공 시에 제어채널 및 데이터채널을 이용함으로써 착신자의 흥미를 유발할 수 있으며 착신단말기에서 보다 명확하고 개성있는 영상통화 프레임을 확인할 수 있는 영상통화시 영상데이터의 인식 및 변환 시스템과 서버 및 방법을 제공하는데 있다.

이러한 목적들을 달성하기 위하여, 본 발명에 따른 영상통화시 영상데이터의 인식 및 변환 시스템은 영상통화 수행 중에 영상인식요청신호를 전송하고, 착신단말기와 영상통화세션을 종료한 후, 영상통화세션 종료신호를 전송하는 발신단말기, 상기 발신단말기로부터 영상통화세션 종료신호를 수신하면 상기 발신단말기 및 착신단말기와 각각 영상통화세션을 연결한 후, 상기 발신단말기로부터 수신되는 영상통화 프레임의 동작을 분석하여 기저장된 동작데이터에서 상기 동작과 대응되는 동작데이터를 추출하고 제어채널 및 데이터채널로 전송하는 영상인식변환서버, 상기 영상인식변환서버로부터 전송된 상기 동작데이터를 출력하는 착신단말기를 포함하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 발신단말기로부터 영상인식요청신호를 수신하고 상기 수신된 영상인식요청신호가 일반 영상데이터 인식신호인지 동작데이터 인식신호인지 판단하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자, 그림 및 상기 문자, 그림이 존재하는 좌표값을 인식하고, 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식한 후, 상기 인식된 문자에 대응되는 텍스트데이터, 상기 그림에 대응되는 그림데이터 및 상기 영상통화 프레임의 동작에 대응되는 동작데이터를 추출하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 영상통화 프레임, 상기 텍스트데이터, 상기 그림데이터 및 상기 동작데이터를 저장하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 영상통화 프레임, 상기 영상통화 프레임에 포함된 문자, 그림에 해당하는 좌표값 및 상기 추출된 텍스트데이터, 그림데이터, 동작데이터를 상기 착신단말기로 전송하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 그림데이터 및 동작데이터에 해당하는 코드값이 추출되면 상기 코드값을 상기 착신단말기로 전송하는 것을 특징으로 한다.

또한, 상기 그림데이터는 상기 그림에 대응되는 사진, 마크 및 그림을 포함하는 그림데이터고, 상기 동작데이터는 상기 동작에 대응되는 사용자가 직접 제작한 컨텐츠, 애니메이션을 포함하는 동영상데이터와 사진, 이모티콘, 그림을 포함하는 정지영상데이터인 것을 특징으로 한다.

또한, 상기 착신단말기는 상기 영상인식변환서버로부터 전송된 영상통화 프레임에 상기 텍스트데이터, 그림데이터를 합성하여 출력하거나, 상기 영상통화 프레임을 상기 동작데이터로 합성하여 출력하는 것을 특징으로 한다.

또한, 상기 착신단말기는 상기 코드값이 전송되면 상기 코드값에 해당하는 그림데이터를 추출한 후 상기 영상통화 프레임에 합성하여 출력하고, 상기 코드값에 해당하는 동작데이터를 추출한 후 합성하여 출력하는 것을 특징으로 한다.

아울러, 본 발명에 따른 영상통화시 영상데이터를 인식 및 변환하는 영상인식변환서버는 발신단말기로부터 영상인식요청신호 및 영상통화세션 종료신호를 수신하고, 발신단말기에서 수신되는 영상통화 프레임을 착신단말기로 전송하는 송수신모듈, 상기 영상통화세션 종료신호를 수신하면 상기 발신단말기 및 착신단말기와 각각 영상통화세션을 연결하는 세션처리모듈, 상기 수신된 영상인식요청신호가 일반 영상데이터 인식신호인지 동작데이터 인식신호인지 판단하여 판단결과에 따라 상기 영상통화 프레임을 분석하고 영상통화 프레임에 포함된 문자 및 그림을 인식한 후 상기 문자 및 그림의 좌표값을 인식하거나, 상기 영상통화 프레임을 분석하여 동작을 인식한 후, 인식결과에 대응되는 각각의 데이터를 추출하는 제어모듈을 포함하고, 상기 송수신모듈은 상기 제어모듈의 제어에 따라 제어채널 및 데이터채널로 상기 인식결과 및 추출된 데이터를 상기 착신단말기로 전송하는 것을 특징으로 한다.

또한, 상기 제어모듈은 상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자, 그림 및 상기 문자, 그림이 존재하는 좌표값을 인식하고 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식하는 영상분석부, 상기 영상분석부에서 인식된 상기 문자에 해당하는 텍스트데이터, 상기 그림에 대응되는 그림데이터 및 상기 영상통화 프레임의 동작과 대응되는 동작데이터를 추출하는 영상추출부를 포함하는 것을 특징으로 한다.

또한, 상기 영상통화 프레임을 저장하는 프레임저장부와, 상기 텍스트데이터를 저장하는 텍스트DB, 상기 그림데이터를 저장하는 그림DB 및 상기 동작데이터를 저장하는 동작DB를 포함하는 저장모듈을 더 포함하는 것을 특징으로 한다.

또한, 상기 영상추출부는 상기 그림데이터 및 동작데이터에 해당하는 코드값이 존재하면 상기 코드값을 추출하는 것을 특징으로 한다.

또한, 상기 그림에 대응되는 데이터는 사진, 마크 및 그림을 포함하는 그림데이터고, 상기 동작에 대응되는 데이터는 사용자가 직접 제작한 컨텐츠, 애니메이션을 포함하는 동영상데이터와 사진, 이모티콘, 그림을 포함하는 정지영상데이터인 것을 특징으로 한다.

아울러, 본 발명에 따른 영상통화시 영상데이터를 인식 및 변환하는 방법은 발신단말기와 착신단말기가 영상통화를 수행하는 단계, 상기 영상통화 수행 시 발신단말기가 영상인식요청신호를 전송하면 상기 발신단말기가 상기 착신단말기와의 영상통화세션을 종료하는 단계, 상기 발신단말기가 착신단말기와의 영상통화세션 종료신호를 영상인식변환서버로 전송하면 상기 영상인식변환서버가 상기 발신단말기 및 상기 착신단말기와 각각 영상통화세션을 연결하고 상기 영상인식요청신호를 수신하는 단계, 상기 영상인식변환서버가 상기 발신단말기로부터 영상통화 프레임을 수신하고, 상기 영상인식요청신호에 응답하여 상기 영상통화 프레임의 동작을 인식하 후, 기저장된 동작데이터에서 상기 동작과 대응되는 동작데이터를 추출하는 단계, 상기 영상인식변환서버가 제어채널 및 데이터채널로 상기 추출된 동작데이터를 상기 착신단말기로 전송하는 단계, 상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버는 상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자 및 그림을 인식하고 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식하는 단계, 상기 영상통화 프레임에 포함된 문자가 존재하는 좌표값을 인식하고, 상기 문자에 해당하는 텍스트데이터를 추출하는 단계, 상기 영상통화 프레임에 포함된 그림이 존재하는 좌표값을 인식하고, 기저장된 그림데이터에서 상기 그림과 대응되는 그림데이터를 추출하는 단계, 상기 영상통화 프레임의 동작과 대응되는 동작데이터를 추출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 영상인식변환서버가 상기 추출된 동작데이터를 상기 착신단말기로 전송하는 단계는 상기 텍스트데이터가 추출되면 상기 영상인식변환서버는 상기 텍스트데이터와 상기 좌표값 및 상기 영상통화 프레임을 상기 착신단말기로 전송하는 단계, 상기 그림데이터가 추출되면 상기 영상인식변환서버는 상기 그림데이터 또는 상기 그림데이터의 코드값과 상기 좌표값 및 상기 영상통화 프레임을 상기 착신단말기로 전송하는 단계, 상기 동작데이터가 추출되면 상기 영상인식변환서버는 상기 동작데이터 또는 상기 동작데이터의 코드값을 상기 착신단말기로 전송하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계는 상기 착신단말기가 상기 영상인식변환서버로부터 텍스트데이터와 좌표값 및 상기 영상통화 프레임을 수신하면 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 텍스트데이터를 합성하여 출력하는 단계, 상기 착신단말기가 상기 영상인식변환서버로부터 그림데이터와 좌표값 및 영상통화 프레임을 수신하면 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 그림데이터를 합성하여 출력하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계는 상기 착신단말기가 상기 영상인식변환서버로부터 상기 그림데이터의 코드값과 좌표값 및 상기 영상통화 프레임을 수신하면 상기 코드값에 해당하는 그림데이터를 추출하여 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 그림데이터를 합성하여 출력하는 단계, 상기 착신단말기가 상기 영상인식변환서버로부터 상기 동작데이터의 코드값을 수신하면 상기 코드값에 해당하는 동작데이터를 추출한 후 합성하여 출력하는 단계를 더 포함하는 것을 특징으로 한다.

이와 같이, 본 발명은 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임에 포함된 문자를 텍스트데이터로 변환하고 영상통화 프레임과 텍스트데이터를 착신단말기로 제공할 때 제어채널 및 데이터채널을 이용하여 패킷 손상을 최소화함으로써, 착신단말기에서 보다 명확한 영상통화 프레임을 확인할 수 있는 효과가 있다.

또한, 본 발명은 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임에 포함된 그림을 그림데이터로 변환하고 영상통화 프레임과 그림데이터를 착신단말기로 제공할 때 제어채널 및 데이터채널을 이용하여 패킷 손상을 최소화함으로써, 착신단말기에서 보다 명확한 영상통화 프레임을 확인할 수 있다.

또한, 본 발명은 영상인식변환서버가 발신단말기로부터 전송된 영상통화 프레임의 동작을 동작데이터로 변환하고 동작데이터를 착신단말기로 제공할 때 제어채널 및 데이터채널을 이용하여 패킷 손상을 최소화함으로써 착신자의 흥미를 유발할 수 있으며, 착신단말기에서 보다 명확하고 개성있는 영상통화 프레임을 확인할 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.

본 발명의 실시예에서 사용되는 용어 중에서 영상통화 프레임은 영상통화 시에 착/발신단말기에서 주고받는 영상데이터와 음성데이터가 포함된 영상통화 데이터 중 영상데이터만을 의미한다. 텍스트데이터는 영상통화 프레임에서 인식되는 문자에 대응되는 데이터를 의미한다. 그림데이터는 영상통화 프레임에서 인식되는 그림(예컨대, 캐릭터 등)에 대응되는 사진, 마크 및 그림 등의 데이터를 의미한다. 동작데이터는 영상통화 프레임에서 인식되는 발신자의 동작에 대응되는 데이터로서 사용자가 직접 제작한 컨텐츠(User Created Contents, 이하 UCC), 애니메이션(Animation) 등의 동영상데이터와 사진, 이모티콘, 그림 등의 정지영상데이터를 의미한다. 아울러, 일반 영상데이터는 텍스트데이터와 그림데이터를 통칭하는 용어로 사용되고, 동작데이터는 동영상데이터와 정지영상데이터를 통칭하는 용어로 사용된다.

도 1a 및 도 1b는 본 발명의 실시예에 따른 영상통화시 영상데이터의 인식 및 변환 시스템을 나타낸 구성도이다.

도 1a를 참조하면, 영상통화시 영상데이터의 인식 및 변환 시스템(10)은 발신단말기(11), 이동통신망(100), 착신단말기(21)를 포함하고, 이동통신망(100)은 발신기지국(12), 발신기지국 제어기(13), 발신교환기(14), 착신단말기(21), 착신기지국(22), 착신기지국 제어기(23), 착신교환기(24) 및 영상인식변환서버(30)를 포함할 수 있다.

발신단말기(11)와 착신단말기(21)는 음성통화뿐 아니라, 패킷 업로드 및 다운로드가 가능한 이동통신단말기, PDA(Personal Digital Assistant) 등의 무선 이동통신이 가능한 휴대단말기를 의미한다. 또한, 발신단말기(11) 및 착신단말기(21)는 영상통화가 가능하다.

발신기지국(12)과 착신기지국(22)은 발신단말기(11) 및 착신단말기(21)와 무선 연결되어 발신단말기(11) 및 착신단말기(21)를 제어하고 무선 통화채널을 연결한다. 발신기지국 제어기(13)와 착신기지국 제어기(23)는 하나 이상의 기지국(12, 22)들을 관리하면서 교환기(14, 24)와 연동한다. 즉, 발신기지국(12) 및 발신기지국 제어기(13)는 발신단말기(11)와 발신교환기(14) 사이에, 착신기지국(22) 및 착신기지국 제어기(23)는 착신단말기(21)와 착신교환기(24) 사이에 존재하며, 발신단말기(11)와 착신단말기(21)간의 음성통화, 영상통화 및 패킷 송수신을 가능하게 한다.

발신교환기(14)와 착신교환기(24)는 MCS(Mobile Switching Center)로서 일반적인 이동통신 교환기를 의미하고, 다른 교환기와 사용자 트래픽을 위한 접속점을 구성한다. 발신교환기(14)와 착신교환기(24)는 호 설정, 호 경로 설정 및 표준 통 신 스위치에 의해 제공되는 다수의 기능들을 제어하는 교환기이다.

발신교환기(14)는 착신교환기(24)와의 영상통화세션 연결을 통해 발신단말기(11)와 착신단말기(21)간의 영상통화를 가능하도록 한다. 발신단말기(11)와 착신단말기(21)가 영상통화를 수행하는 도중에 발신교환기(14)가 발신단말기(11)로부터 영상인식요청신호를 수신하면, 발신교환기(14)는 착신교환기(24)와의 영상통화세션을 종료한다.

발신교환기(14)가 영상인식변환서버(30)로 착신교환기(24)와의 영상통화세션이 종료되었음을 알리면, 영상인식변환서버(30)는 발신교환기(14)와 영상통화세션을 연결하고 착신교환기(24)와 영상통화세션을 연결한다.

영상인식변환서버(30)는 발신단말기(11)와 착신단말기(21) 사이에 영상통화가 에러없이 지속적으로 수행되도록 각 단말기(11, 21)간의 영상통화 프레임을 포워딩하여 각 단말기(11, 21)로 전송한다. 이때, 영상인식변환서버(30)는 발신단말기(11)로부터 전송되는 영상통화 프레임을 분석하여 영상통화 프레임에 포함된 문자, 그림 및 발신자의 동작을 인식한다. 영상인식변환서버(30)는 아스키 코드값을 이용하여 문자를 인식하고, 패턴인식을 통해 그림을 인식한다. 아울러, 영상인식변환서버(30)는 발신자의 머리, 어깨, 손동작, 손가락의 움직임 및 표정 등을 통해 동작을 인식한다. 영상인식변환서버(30)는 인식된 문자, 그림 및 발신자의 동작에 대응되는 데이터를 각각 추출하여 착신단말기(21)로 전송한다. 이때, 추출된 각각의 데이터는 영상통화세션의 제어채널 및 데이터채널을 통해 전송됨으로써, RF 구간에서 발생되는 패킷 손상을 방지할 수 있다.

도 1b는 본 발명의 다른 실시예에 따른 영상통화시 영상데이터의 인식 및 변환시스템(10)의 구성도이다. 이때, 도 1b는 IP망에서의 영상통화시 영상데이터의 인식 및 변환시스템을 나타낸다.

도 1b를 참조하면, 영상통화시 영상데이터의 인식 및 변환 시스템(10)은 발신단말기(11), 이동통신망(100), 착신단말기(21)를 포함하고, 이동통신망(100)은 IP망(200), 발신기지국(12), 발신기지국 제어기(13), 착신단말기(21), 착신기지국(22), 착신기지국 제어기(23), 데이터서비스노드(14a, 24a), 위치등록기(15, 25), 호제어기(16, 26) 및 영상인식변환서버(30)를 포함할 수 있다.

도 1b에서 IP망(200)에 포함된 구성요소들을 제외한 구성요소의 기능은 도 1a에서 설명된 구성요소의 기능과 동일하므로 상세한 설명을 생략한다.

IP망(200)은 IP를 중심으로 구성된 통합망을 의미하며, 대용량 데이터 서비스가 가능하고, 끊김이 없는 데이터 서비스 등이 가능하다.

데이터서비스노드(14a, 24a)는 데이터 처리를 수행하는 시스템으로, 패킷 라우팅 및 전송, 이동성관리, 논리적 링크관리, 멀티미디어 세션제어 등의 기능을 갖는다. 본 발명에서 데이터서비스노드(14a, 24b)는 발신단말기(11)로부터 패킷 데이터를 받아 영상인식변환서버(30)로 전달하고, 영상인식변환서버(30)로부터 패킷 데이터를 받아 착신단말기(21)로 전송한다.

위치등록기(15, 25)는 HSS(Home Subscriber Server)로써, 일반적인 HLR(Home Location Register)의 기능에 인증 기능을 덧붙여 수행한다. 위치등록기(15, 25)는 2.5G, 3G에서 존재하는 모든 망에서 가입자 서비스 정보를 관리하는 서버이며, 향 후 개발될 All-IP망에서도 지속적으로 사용될 것이다. 이때, All-IP망은 인터넷 프로토콜을 기반으로 서로 다른 망이 통합된 구조를 갖는 망을 의미한다.

호제어기(16, 26)는 CSCF(Call State Control Function)로써, 호 및 세션처리에 관련된 부분을 담당한다. 호제어기(16, 26)는 인입되는 신호에 대한 게이트웨이로서의 기능과 호제어기능, SPD(Serving Profile Database)기능, 주소처리기능 등을 수행한다.

도 2는 도 1에 도시된 영상인식변환서버의 주요 구성을 나타낸 블록도이다.

도 2를 참조하면, 본 발명의 실시예에 따른 영상인식변환서버(30)는 송수신모듈(31), 세션처리모듈(32), 제어모듈(33) 및 저장모듈(34)을 포함할 수 있다. 이때, 제어모듈(33)은 영상분석부(331)와 영상추출부(332)를 포함하여 구성될 수 있고, 저장모듈(34)은 프레임저장부(341)와 텍스트DB(342), 그림DB(343), 동작DB(344)를 포함하여 구성될 수 있다.

송수신모듈(31)은 발신교환기(14)를 통하여 발신단말기(11)로부터 전송되는 영상통화 프레임을 수신하고, 제어모듈(33)에서 제공되는 텍스트데이터, 그림데이터와 각 데이터에 대한 좌표값 및 영상통화 프레임을 착신교환기(24)를 통해 착신단말기(21)로 전송한다. 아울러, 송수신모듈(31)은 제어모듈(33)에서 제공되는 동작데이터를 착신단말기(21)로 전송한다.

세션처리모듈(32)은 발신교환기(14)로부터 전송된 착신교환기(24)와의 영상통화세션 종료신호를 송수신모듈(31)로부터 수신한다. 세션처리모듈(32)이 발신교환기(14)와 착신교환기(24)의 영상통화세션 종료신호를 수신하면, 세션처리모 듈(32)은 제어모듈(33)의 제어에 의해 발신교환기(14) 및 착신교환기(24)와 영상통화세션을 연결한다.

제어모듈(33)은 발신교환기(14)에서 수신된 영상인식요청신호에 따라 수신된 영상통화 프레임에 포함된 문자 및 그림을 인식한 후 문자 및 그림의 좌표값을 인식한다. 아울러, 제어모듈(33)은 영상통화 프레임을 분석하여 발신자의 동작을 인식한다. 그리고 제어모듈(33)은 인식결과에 대응되는 텍스트데이터, 그림데이터 및 동작데이터를 각각 추출한다. 이를 위해, 제어모듈(33)은 영상분석부(331)와 영상추출부(332)를 포함한다.

발신교환기(14)에서 수신된 영상인식요청신호가 일반 영상데이터 인식신호이면 영상분석부(331)는 영상통화 프레임을 분석하여 영상통화 프레임에 포함된 문자, 그림 및 동작을 인식한다. 영상분석부(331)는 인식된 문자, 그림 및 동작이 영상통화 프레임에서 위치하는 좌표값을 인식한다. 반대로, 영상인식요청신호가 동작데이터 인식신호이면 영상분석부(331)는 영상통화 프레임을 분석하여 영상통화 프레임에 포함된 발신자의 동작을 인식한다.

영상분석부(331)는 인식된 문자, 그림 및 동작을 영상추출부(332)로 제공한다. 영상추출부(332)는 제공된 문자에 해당하는 텍스트데이터를 저장모듈(34)의 텍스트DB(342)에서 추출하거나, 문자에 대응되는 텍스트데이터를 생성한다. 영상추출부(332)는 제공된 그림에 대응되는 그림데이터를 저장모듈(34)의 그림DB(343)에서 추출한다. 아울러, 영상추출부(332)는 제공된 동작에 대응되는 동작데이터를 저장모듈(34)의 동작DB(344)에서 추출한다. 또한, 영상추출부(332)는 그림데이터 및 동 작데이터에 해당하는 코드값을 추출할 수 있다.

제어모듈(33)은 텍스트데이터, 영상통화 프레임, 좌표값을 각각 송수신모듈(31)로 제공한다. 이 경우에 착신단말기(21)는 송수신모듈(31)로부터 수신된 텍스트데이터를 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 합성하여 출력한다.

제어모듈(33)은 그림데이터, 영상통화 프레임, 좌표값을 각각 송수신모듈(31)로 제공할 수 있다. 이 경우에 착신단말기(21)는 송수신모듈(31)로부터 수신된 그림데이터를 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 합성하여 출력한다.

제어모듈(33)은 저장모듈(34)로부터 추출된 동작데이터가 전체적인 몸 동작에 대한 동작데이터이면 영상통화 프레임 대신 추출된 동작데이터를 송수신모듈(31)로 제공한다. 제어모듈(33)은 저장모듈(34)로부터 추출된 동작데이터가 영상통화 프레임의 일부분이면, 동작데이터와 대응되는 동작의 위치에 대한 좌표값, 영상통화 프레임 및 추출된 동작데이터를 송수신모듈(31)로 제공한다. 착신단말기(21)는 동작데이터만 수신된 경우 동작데이터만을 출력하고, 동작데이터와 좌표값 및 영상통화 프레임이 수신된 경우 영상통화 프레임에 동작데이터를 합성하여 출력한다.

이때, 영상추출부(332)에서 그림데이터 및 동작데이터 대신 각 데이터에 해당하는 코드값이 추출되면 제어모듈(33)은 영상통화 프레임과 좌표값 및 그림데이터의 코드값을 각각 송수신모듈(31)로 제공한다. 아울러, 제어모듈(33)은 동작데이 터의 코드값을 송수신모듈(31)로 제공한다.

아울러, 제어모듈(33)은 저장모듈(34)로부터 추출된 각각의 데이터를 영상통화 프레임에 합성하여 송수신모듈(31)로 제공할 수 있다. 이때, 각 데이터는 영상통화 프레임에 존재하던 위치의 좌표값에 해당하는 위치에 합성되는 것이 바람직하다.

저장모듈(34)은 영상통화 프레임을 저장하고, 영상통화 프레임에 존재하는 문자, 그림 및 발신자의 동작에 대응되는 데이터를 저장한다.

프레임저장부(341)는 제어모듈(33)의 제어에 의해 발신단말기(11)로부터 전송되는 영상통화 프레임을 저장한다.

텍스트DB(342)는 영상통화 프레임에 존재하는 문자에 대응되는 텍스트데이터를 저장한다.

그림DB(343)는 영상통화 프레임에 존재하는 그림에 대응되는 그림데이터를 저장한다. 이때, 그림데이터는 사진, 마크 및 그림 등을 포함하는 데이터인 것이 바람직하다.

동작DB(344)는 영상통화 프레임에서 인식되는 발신자의 동작에 대응되는 UCC, 애니메이션 등의 동영상데이터와 사진, 이모티콘, 그림 등의 정지영상데이터를 저장한다.

이때, 텍스트DB(342), 그림DB(343) 및 동작DB(344)에 저장된 각각의 데이터는 발/착신자에 의해 수정, 삭제 및 추가 등이 가능한 것이 바람직하다.

도 3은 본 발명의 실시예에 따른 영상통화시 영상데이터의 인식 및 변환 시 스템에서 수행되는 과정을 나타낸 순서도이다.

도 1 내지 도 3을 참조하면, S301단계에서 발신단말기(11)와 착신단말기(21)가 영상통화를 수행하는 도중에 S302단계에서 발신단말기(11)가 영상인식변환서버(30)로 전송하기 위한 영상인식요청신호를 발신교환기(14)로 전송한다. 영상인식요청신호를 수신한 발신교환기(14)는 S303단계에서 영상통화를 위해 연결된 착신교환기(24)와의 영상통화세션을 종료한다.

이어서, S304단계에서 발신교환기(14)는 착신교환기(24)와의 영상통화세션 종료신호를 영상인식변환서버(30)로 전송한다. 영상인식변환서버(30)는 영상통화세션 종료신호를 발신교환기(14)로부터 수신하면 S305단계 및 S306단계에서 영상인식변환서버(30)는 발신교환기(14) 및 착신교환기(24)와의 영상통화세션을 연결한다. 발신교환기(14)와 영상인식변환서버(30)의 영상통화세션이 연결되면 S307단계에서 발신교환기(14)는 영상인식요청신호를 영상인식변환서버(30)로 전송한다.

이어서, S308단계에서 영상인식변환서버(30)는 발신단말기(11)로부터 영상통화 프레임을 지속적으로 수신하고, S309단계에서 영상인식변환서버(30)는 발신단말기(11)와 착신단말기(21)의 영상통화가 끊김 없이 연속적으로 수행되도록 상호간의 영상통화 프레임을 포워딩하여 각각의 단말기(11, 21)로 전달한다.

이어서, S310단계에서 영상인식변환서버(30)는 S307단계에서 수신된 영상인식요청신호가 일반 영상데이터를 인식하기 위한 신호인지 판단하여, 일반 영상데이터를 인식하기 위한 신호이면 S311단계로 진행하고, 일반 영상데이터를 인식하기 위한 신호가 아니면 S315단계로 진행한다.

S311단계에서 영상인식변환서버(30)는 발신단말기(11)로부터 수신되는 영상통화 프레임을 분석하고, S312단계에서 영상인식변환서버(30)는 영상통화 프레임에 포함된 일반 영상데이터 및 좌표값을 추출한다. 이때, 영상통화 프레임에 포함된 일반 영상데이터는 영상통화 프레임에 포함된 문자에 대응되는 텍스트데이터와 영상통화 프레임에 포함된 그림에 대응되는 그림데이터인 것이 바람직하다. 아울러, 좌표값은 일반 영상데이터가 영상통화 프레임에서 위치한 곳의 좌표값을 의미한다. 이후, S313단계에서 영상인식변환서버(30)는 추출된 일반 영상데이터 및 좌표값을 착신단말기(21)로 전송한다. 이때, 영상인식변환서버(30)는 추출된 각각의 데이터가 포함된 영상통화 프레임도 전송한다. 이어서, S314단계에서 착신단말기(21)는 영상인식변환서버(30)로부터 전송된 일반 영상데이터를 영상통화 프레임에 합성하되, 좌표값에 해당하는 위치에 합성하여 출력한다.

아울러, S312단계에서 영상인식변환서버(30)는 영상통화 프레임에서 인식된 좌표값에 해당하는 위치에 일반 영상데이터를 합성하고, S313단계에서 영상인식변환서버(30)는 합성된 영상통화 프레임을 착신단말기(21)로 전송할 수 있다. 그리고 S314단계에서 착신단말기(21)는 일반 영상데이터가 합성된 상태로 영상인식변환서버(30)로부터 전송된 영상통화 프레임을 출력한다.

이어서, S315단계에서 영상인식변환서버(30)는 발신교환기(14)로부터 수신된 신호가 동작데이터 인식신호인지 판단하여, 동작데이터 인식신호이면 S316단계로 진행하고, 동작데이터 인식신호가 아니면 S310단계로 회귀하여 상기의 과정을 재수행한다. 또한, S315단계에서 영상인식변환서버(30)는 수신된 신호가 일반 영상데이 터 인식신호가 아님을 S310단계에서 판단하였기 때문에 상기 신호가 동작데이터 인식신호인 것으로 인식하여 S316단계로 진행할 수 있다.

S316단계에서 영상인식변환서버(30)는 S308단계에서 계속적으로 수신되는 영상통화 프레임을 임시로 저장한다. 이는 S317단계에서 영상인식변환서버(30)가 발신단말기(11)로부터 영상인식 종료신호를 수신할 때까지 계속된다.

이어서, S317단계에서 영상인식변환서버(30)가 발신교환기(14)를 통하여 발신단말기(11)로부터 영상인식 종료신호를 수신하면, S318단계에서 영상인식변환서버(30)는 영상통화 프레임의 저장을 종료하고 저장된 영상통화 프레임에 포함된 발신자의 동작을 분석한다. S319단계에서 영상인식변환서버(30)는 분석된 동작에 대응되는 동작데이터를 추출한다. 이때, 영상통화 프레임의 동작은 발신자의 머리, 어깨, 손동작, 손가락의 움직임 및 표정 등 영상통화 프레임에 포함된 발신자의 동작을 의미하고, 동작데이터는 발신자의 동작에 대응되는 UCC, 애니메이션 등의 동영상데이터와 사진, 이모티콘, 그림 등의 정지영상데이터를 의미한다. 아울러, 추출된 동작데이터가 영상통화 프레임의 일부분이면, 동작데이터가 위치하는 좌표값도 추출한다.

이어서, S320단계에서 영상인식변환서버(30)는 추출된 동작데이터를 착신단말기(21)로 전송하거나, 추출된 동작데이터, 좌표값 및 영상통화 프레임을 전송한다. S321단계에서 착신단말기(21)는 영상통화 프레임을 영상인식변환서버(30)로부터 전송된 동작데이터로 대체하여 출력하거나, 영상통화 프레임에 동작데이터를 합성하여 출력한다.

도 4는 본 발명의 실시예에 따른 영상통화시 영상데이터를 인식하기 위해 영상인식변환서버에서 수행되는 과정을 나타낸 순서도이다.

도 1 내지 도 4를 참조하면, S401단계에서 세션처리모듈(32)이 송수신모듈(31)로부터 세션종료신호를 수신한다. 이때, 세션종료신호는 영상통화를 위해 연결된 발신교환기(14)와 착신교환기(24)와의 영상통화세션이 종료됨을 알리는 신호이다.

이어서, S402단계에서 세션처리모듈(32)은 발신단말기(11)와 연결된 발신교환기(14)와 영상통화세션을 연결하고, 착신단말기(21)와 연결된 착신교환기(24)와 영상통화세션을 연결한다. 이후, S403단계에서 송수신모듈(31)이 발신교환기(14)로부터 영상인식요청신호를 수신하고, S404단계에서 송수신모듈(31)은 발신교환기(14)로부터 계속적으로 영상통화 프레임을 수신한다.

이어서, S405단계에서 제어모듈(33)은 S401단계에서 수신된 영상인식요청신호가 일반 영상데이터 인식신호인지 판단하여 일반 영상데이터 인식신호이면 S406단계로 진행하고, 일반 영상데이터 인식신호가 아니면 S415단계로 진행한다.

S406단계에서 제어모듈(33)의 영상분석부(331)는 S404단계에서 수신되는 영상통화 프레임을 분석하고 S407단계에서 영상분석부(331)는 분석된 영상통화 프레임에 문자의 존재여부를 판단한다. S407단계의 판단결과, 영상통화 프레임에 문자가 존재하면 영상분석부(331)는 S408단계로 진행하고, 문자가 존재하지 않으면 영상분석부(331)는 S411단계로 진행한다.

이어서, S408단계에서 영상분석부(331)는 영상통화 프레임에 위치하는 문자 와 문자의 좌표값을 인식하고, S409단계에서 영상추출부(332)는 영상분석부(331)에서 인식된 문자에 해당하는 텍스트데이터를 생성한다. 이때, 영상추출부(332)는 저장모듈(34)의 텍스트DB(342)를 검색하여 인식된 문자에 해당하는 텍스트데이터를 텍스트DB(342)에서 추출할 수 있다. S410단계에서 송수신모듈(31)은 영상통화 프레임, 문자의 좌표값, 텍스트데이터를 착신단말기(21)로 전송한다. 이때, 제어모듈(33)은 영상분석부(331)에서 인식된 문자의 좌표값과 영상추출부(332)에서 생성되거나 추출된 문자에 대응되는 텍스트데이터 및 영상통화 프레임을 송수신모듈(31)로 제공한다. 아울러, 송수신모듈(31)은 제어모듈(33)에서 텍스트데이터가 합성된 영상통화 프레임을 착신단말기(21)로 전송할 수 있다. 이때, 제어모듈(33)은 영상분석부(331)에서 인식된 좌표값에 해당하는 영상통화 프레임의 위치에 추출된 텍스트데이터를 합성하여 송수신모듈(31)로 제공한다. 이어서, 제어모듈(33)은 S423단계로 진행한다.

반대로, S407단계의 판단결과, 영상통화 프레임에 문자가 존재하지 않으면, 영상분석부(331)는 영상통화 프레임에 그림이 존재하는 것으로 판단하여 S411단계로 진행한다. S411단계에서 영상분석부(331)는 저장모듈(34)의 그림DB(343)에 기저장된 그림데이터 중에서 영상통화 프레임에 존재하는 그림에 대응되는 그림데이터의 존재유무를 판단한다. 그림DB(343)에 그림에 대응되는 그림데이터가 존재하면, S412단계에서 영상분석부(331)는 그림의 좌표값을 인식하고, S413단계로 진행한다. S413단계에서 영상추출부(332)는 영상분석부(331)에서 인식된 그림에 대응되는 그림데이터 또는 그림데이터에 해당하는 코드값을 그림DB(343)에서 추출하고, S414단 계로 진행한다.

S414단계에서 송수신모듈(31)은 제어모듈(33)로부터 제공된 영상분석부(331)에서 인식된 그림의 좌표값과 영상추출부(332)에서 추출된 그림데이터 또는 코드값 및 영상통화 프레임을 착신단말기(21)로 전송한다. 아울러, 송수신모듈(31)은 제어모듈(33)로부터 제공된 합성된 영상통화 프레임을 착신단말기(21)로 전송할 수 있다. 이때, 합성된 영상통화 프레임은 제어모듈(33)이 영상분석부(331)에서 인식된 좌표값에 해당하는 영상통화 프레임의 위치에 추출된 그림데이터를 합성한 영상통화 프레임을 의미한다. 이어서, 제어모듈(33)은 S423단계로 진행한다.

아울러, S405단계의 판단결과, S401단계에서 수신된 영상인식요청신호가 일반 영상데이터 인식신호가 아니면 제어모듈(33)은 S415단계로 진행하고, S415단계에서 제어모듈(33)은 S401단계에서 수신된 영상인식요청신호가 동작데이터 인식신호인지 판단한다.

S415단계의 판단결과에 따라서 제어모듈(33)은 S405단계로 회귀하여 상기의 단계들을 재수행하거나, S416단계로 진행한다.

이어서, S416단계에서 제어모듈(33)은 S404단계에서 계속적으로 수신되는 영상통화 프레임을 저장모듈(34)의 프레임저장부(341)에 저장한다. 이후, S417단계에서 제어모듈(33)이 동작데이터 인식종료에 대한 신호를 수신하면, 제어모듈(33)은 S418단계로 진행하고, 동작데이터 인식종료에 대한 신호를 수신하지 않으면 제어모듈(33)은 인식종료에 대한 신호가 수신될 때까지 영상통화 프레임을 저장한다.

이어서, S418단계에서 제어모듈(33)은 저장을 수행하던 영상통화 프레임의 저장을 종료하고, S419단계에서 제어모듈(33)의 영상분석부(331)는 영상통화 프레임을 분석한다. S420단계에서 영상분석부(331)는 저장모듈(34)의 동작DB(344)에 S419단계의 분석결과와 대응되는 동작데이터가 존재하는지 판단한다. S420단계의 판단결과, 동작DB(344)에 분석결과와 대응되는 동작데이터가 존재하면, S421단계에서 영상분석부(331)는 동작데이터에 대응되는 동작이 존재하는 위치의 좌표값을 추출한다. 이어서, S422단계에서 영상추출부(332)는 영상통화 프레임에 대응되는 동작데이터 또는 동작데이터에 대한 코드값을 추출한다.

이어서, S423단계에서 송수신모듈(31)은 제어모듈(33)에서 제공되는 동작데이터 또는 동작데이터에 대한 코드값, 좌표값 및 영상통화 프레임을 착신단말기(21)로 전송하고, S424단계로 진행한다. S421단계는 추출된 동작데이터가 영상통화 프레임의 일부분일 때 수행한다.

이어서, S424단계에서 제어모듈(33)은 영상통화 종료에 대한 신호가 수신되면, S425단계에서 제어모듈(33)은 세션처리모듈(32)을 제어하여 발신단말기(11) 및 착신단말기(21)와의 영상통화세션을 종료한다. 반대로, 영상통화 종료에 대한 신호가 수신되지 않으면, 제어모듈(33)은 S405단계로 회귀하여 S404단계에서 계속적으로 수신되는 영상통화 프레임에 대하여 상기와 같은 단계를 재수행한다. 이때, 도시되지는 않았으나, 영상통화 프레임 분석이 종료되어, 착신단말기(21)로 전송하고 난 이후에, 발신교환기(14)로부터 영상인식요청신호를 재수신하면 분석이 종료되어 착신단말기(21)로 전송한 이후에 수신되는 영상통화 프레임에 대한 분석을 수행한다. 반대로, 영상인식요청신호를 수신하지 않으면, 영상인식변환서버(30)는 영상통 화 프레임에 대한 분석을 수행하지 않고 발신단말기(11)로부터 수신되는 영상통화 프레임을 그대로 착신단말기(21)로 전송한다.

도 5a 내지 도 6b는 본 발명의 실시예에 따른 영상통화시 착/발신단말기에 표시되는 화면을 나타낸 화면예시도이다.

도 5a 내지 도 6b를 참조하면, 도 5a는 발신단말기(11)에서 영상인식변환서버(30)로 영상인식요청신호 중 일반 영상데이터 인식신호를 요청한 이후의 화면을 나타낸다. 도 5a는 영상통화 수행 중에 발신단말기(11)에 표시되는 화면을 나타낸다. 이때, 참조번호 501은 발신단말기(11)에 해당하는 발신자를 나타내고, 참조번호 502는 착신단말기(21)에 해당하는 착신자를 나타낸다. 발신단말기(11)는 발신자의 티셔츠에 존재하는 "MONKEY"라고 표시된 문자를 텍스트데이터로 변환하여 착신단말기(21)로 전송하고자 할 때, 영상인식요청신호를 영상인식변환서버(30)로 전송한다. 영상인식변환서버(30)는 수신된 영상인식요청신호에 따라 영상통화 프레임을 분석하여 영상통화 프레임에 존재하는 “MONKEY”라는 문자를 인식한다. 이후, 영상인식변환서버(30)는 “MONKEY”라는 문자의 좌표값의 위치에 “MONKEY”에 대응되는 텍스트데이터를 영상통화 프레임에 합성하여 착신단말기(21)로 전송한다. 아울러, 영상인식변환서버(30)는 “MONKEY”에 대응되는 텍스트데이터와 영상통화 프레임 및 문자의 좌표값을 착신단말기(21)로 전송한다. 착신단말기(21)는 합성된 영상통화 프레임을 출력하거나, 전송된 텍스트데이터를 영상통화 프레임의 좌표값에 해당하는 위치에 합성하여 출력한다. 이는 도 5b와 같이 표시될 수 있다. 아울러, 영상통화 프레임에 포함된 임의의 캐릭터가 포함된 상태일 때도 도 5a 및 도 5b와 유사한 화면이 표시될 수 있다.

아울러, 도 6a는 발신단말기(11)에서 영상인식변환서버(30)로 영상인식요청신호 중 동작데이터 인식신호를 요청한 이후의 화면을 나타낸다. 이때, 참조번호 601은 발신단말기(11)에 해당하는 발신자를 나타내고, 참조번호 602는 착신단말기(21)에 해당하는 착신자를 나타낸다. 발신단말기(11)는 발신자가 손으로 형성한 "♡"모양의 동작을 동작데이터로 착신단말기(21)로 전송하고자 할 때, 영상인식요청신호를 영상인식변환서버(30)로 전송한다. 영상인식변환서버(30)는 수신된 영상인식요청신호에 따라 영상통화 프레임을 분석하여 "♡"모양의 동작을 인식한다. 이후, 영상인식변환서버(30)는 동작의 좌표값의 위치에 "♡"에 대응되는 동작데이터를 영상통화 프레임에 합성하여 착신단말기(21)로 전송한다. 아울러, 영상인식변환서버(30)는 "♡"에 대응되는 동작데이터 또는 동작데이터에 대한 코드값과 영상통화 프레임을 착신단말기(21)로 전송한다. 착신단말기(21)는 합성된 영상통화 프레임을 출력하거나, 전송된 동작데이터 또는 동작데이터에 대한 코드값에 대응되는 동작데이터를 추출하여 영상통화 프레임의 좌표값에 해당하는 위치에 합성하여 출력한다. 이는 도 6b와 같이 표시될 수 있다. 이때, 영상인식변환서버 및 착신단말기는 동작데이터의 투명도를 조절하여 영상통화 프레임에 오버레이(Overlay) 형태로 덮어쓸 수 있다.

이때, 착신단말기(21)는 영상인식변환서버(30)로부터 그림데이터에 대한 코드값 또는 동작데이터에 대한 코드값을 수신하면, 각 코드값에 해당하는 그림데이터 또는 동작데이터가 착신단말기(21)에 저장된 데이터인지 판단한다. 판단결과, 각 데이터가 착신단말기(21)에 저장된 데이터가 아니면, 착신단말기(21)는 영상인식변환서버(30)로 코드값이 아닌 데이터를 전송해 줄 것을 요청한다. 아울러, 착신단말기(21)가 영상인식변환서버(30)로부터 수신된 데이터 및 코드값이 임계치(예컨대, 세 번)이상이면, 착신단말기(21)는 수신된 데이터 및 코드값을 저장할 수 있다.

본 발명의 실시예에서는 CDMA망에 적용되는 기지국, 기지국제어기, 교환기 등을 예를 들어 설명하였다. 그러나, 반드시 CDMA망에만 한정되는 것은 아니며, GSM(Global Systems for Mobile Communication), WCDMA, 와이브로망 등 향후에 서비스될 이동통신망에 모두 적용될 수 있음을 명확히 한다.

지금까지 실시예를 통하여 본 발명에 따른 영상통화시 영상데이터의 인식 및 변환 시스템 및 방법에 대하여 설명하였다. 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

본 발명에 의하면, 영상통화 수행 시에 발신단말기에서 제공되는 영상통화 프레임에 포함된 문자, 그림 및 발신자의 동작을 인식하고, 인식결과를 기저장된 텍스트데이터, 그림데이터 및 동작데이터로 변환 및 대체함으로써 착신자의 흥미를 유발할 수 있으며, 착신단말기에서 보다 명확하고 개성있는 영상통화 프레임을 확인할 수 있게 된다.

도 1a 및 도 1b는 본 발명의 실시예에 따른 영상통화시 영상데이터의 인식 및 변환 시스템을 나타낸 구성도

도 2는 도 1에 도시된 영상인식변환서버의 주요 구성을 나타낸 블록도

도 3은 본 발명의 실시예에 따른 영상통화시 영상데이터의 인식 및 변환 시스템에서 수행되는 과정을 나타낸 순서도

도 4는 본 발명의 실시예에 따른 영상통화시 영상데이터를 인식하기 위해 영상인식변환서버에서 수행되는 과정을 나타낸 순서도

도 5a 내지 도 6b는 본 발명의 실시예에 따른 영상통화시 착/발신단말기에 표시되는 화면을 나타낸 화면예시도

Claims (19)

1. 영상통화 수행 중에 영상인식요청신호를 전송하고, 착신단말기와 영상통화세션을 종료한 후, 영상통화세션 종료신호를 전송하는 발신단말기;

   상기 발신단말기로부터 영상통화세션 종료신호를 수신하면 상기 발신단말기 및 착신단말기와 각각 영상통화세션을 연결한 후, 상기 발신단말기로부터 수신되는 영상통화 프레임의 동작을 분석하여 기저장된 동작데이터에서 상기 동작과 대응되는 동작데이터를 추출하고 제어채널 및 데이터채널로 전송하는 영상인식변환서버;

   상기 영상인식변환서버로부터 전송된 상기 동작데이터를 출력하는 착신단말기;

   를 포함하는 영상통화시 영상데이터의 인식 및 변환 시스템.
2. 제1항에 있어서,

   상기 영상인식변환서버는

   상기 발신단말기로부터 영상인식요청신호를 수신하고 상기 수신된 영상인식요청신호가 일반 영상데이터 인식신호인지 동작데이터 인식신호인지 판단하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
3. 제2항에 있어서,

   상기 영상인식변환서버는

   상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자, 그림 및 상기 문자, 그림이 존재하는 좌표값을 인식하고, 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식한 후, 상기 인식된 문자에 대응되는 텍스트데이터, 상기 그림에 대응되는 그림데이터 및 상기 영상통화 프레임의 동작에 대응되는 동작데이터를 추출하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
4. 제3항에 있어서,

   상기 영상인식변환서버는

   상기 영상통화 프레임, 상기 텍스트데이터, 상기 그림데이터 및 상기 동작데이터를 저장하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
5. 제3항에 있어서,

   상기 영상인식변환서버는

   상기 영상통화 프레임, 상기 영상통화 프레임에 포함된 문자, 그림에 해당하는 좌표값 및 상기 추출된 텍스트데이터, 그림데이터, 동작데이터를 상기 착신단말기로 전송하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
6. 제3항에 있어서,

   상기 영상인식변환서버는

   상기 그림데이터 및 동작데이터에 해당하는 코드값이 추출되면 상기 코드값을 상기 착신단말기로 전송하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
7. 제3항에 있어서,

   상기 그림데이터는 상기 그림에 대응되는 사진, 마크 및 그림을 포함하는 그림데이터고, 상기 동작데이터는 상기 동작에 대응되는 사용자가 직접 제작한 컨텐츠, 애니메이션을 포함하는 동영상데이터와 사진, 이모티콘, 그림을 포함하는 정지영상데이터인 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
8. 제5항에 있어서,

   상기 착신단말기는

   상기 영상인식변환서버로부터 전송된 영상통화 프레임에 상기 텍스트데이터,그림데이터를 합성하여 출력하거나, 상기 영상통화 프레임을 상기 동작데이터로 합성하여 출력하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
9. 제6항에 있어서,

   상기 착신단말기는

   상기 코드값이 전송되면 상기 코드값에 해당하는 그림데이터를 추출한 후 상기 영상통화 프레임에 합성하여 출력하고, 상기 코드값에 해당하는 동작데이터를 추출한 후 합성하여 출력하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 시스템.
10. 발신단말기로부터 영상인식요청신호 및 영상통화세션 종료신호를 수신하고, 발신단말기에서 수신되는 영상통화 프레임을 착신단말기로 전송하는 송수신모듈;

    상기 영상통화세션 종료신호를 수신하면 상기 발신단말기 및 착신단말기와 각각 영상통화세션을 연결하는 세션처리모듈;

    상기 수신된 영상인식요청신호가 일반 영상데이터 인식신호인지 동작데이터 인식신호인지 판단하여 판단결과에 따라 상기 영상통화 프레임을 분석하고 영상통화 프레임에 포함된 문자 및 그림을 인식한 후 상기 문자 및 그림의 좌표값을 인식하거나, 상기 영상통화 프레임을 분석하여 동작을 인식한 후, 인식결과에 대응되는 각각의 데이터를 추출하는 제어모듈;

    을 포함하고, 상기 송수신모듈은 상기 제어모듈의 제어에 따라 제어채널 및데이터채널로 상기 인식결과 및 추출된 데이터를 상기 착신단말기로 전송하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 서버.
11. 제10항에 있어서,

    상기 제어모듈은

    상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자, 그림 및 상기 문자, 그림이 존재하는 좌표값을 인식하고 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식하는 영상분석부;

    상기 영상분석부에서 인식된 상기 문자에 해당하는 텍스트데이터, 상기 그림에 대응되는 그림데이터 및 상기 영상통화 프레임의 동작과 대응되는 동작데이터를 추출하는 영상추출부;

    를 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 서버.
12. 제11항에 있어서,

    상기 영상통화 프레임을 저장하는 프레임저장부와, 상기 텍스트데이터를 저장하는 텍스트DB, 상기 그림데이터를 저장하는 그림DB 및 상기 동작데이터를 저장하는 동작DB를 포함하는 저장모듈;

    을 더 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환서버.
13. 제11항에 있어서,

    상기 영상추출부는

    상기 그림데이터 및 동작데이터에 해당하는 코드값이 존재하면 상기 코드값 을 추출하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 서버.
14. 제10항에 있어서,

    상기 그림에 대응되는 데이터는 사진, 마크 및 그림을 포함하는 그림데이터고, 상기 동작에 대응되는 데이터는 사용자가 직접 제작한 컨텐츠, 애니메이션을 포함하는 동영상데이터와 사진, 이모티콘, 그림을 포함하는 정지영상데이터인 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 서버.
15. 발신단말기와 착신단말기가 영상통화를 수행하는 단계;

    상기 영상통화 수행 시 발신단말기가 영상인식요청신호를 전송하면 상기 발신단말기가 상기 착신단말기와의 영상통화세션을 종료하는 단계;

    상기 발신단말기가 착신단말기와의 영상통화세션 종료신호를 영상인식변환서버로 전송하면 상기 영상인식변환서버가 상기 발신단말기 및 상기 착신단말기와 각각 영상통화세션을 연결하고 상기 영상인식요청신호를 수신하는 단계;

    상기 영상인식변환서버가 상기 발신단말기로부터 영상통화 프레임을 수신하고, 상기 영상인식요청신호에 응답하여 상기 영상통화 프레임의 동작을 인식하 후, 기저장된 동작데이터에서 상기 동작과 대응되는 동작데이터를 추출하는 단계;

    상기 영상인식변환서버가 제어채널 및 데이터채널로 상기 추출된 동작데이터를 상기 착신단말기로 전송하는 단계;

    상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계;

    를 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 방법.
16. 제15항에 있어서,

    상기 영상인식변환서버는 상기 영상인식요청신호가 일반 영상데이터 인식신호이면 상기 영상통화 프레임에 포함된 문자 및 그림을 인식하고 상기 영상인식요청신호가 동작데이터 인식신호이면 상기 영상통화 프레임의 동작을 인식하는 단계;

    상기 영상통화 프레임에 포함된 문자가 존재하는 좌표값을 인식하고, 상기 문자에 해당하는 텍스트데이터를 추출하는 단계;

    상기 영상통화 프레임에 포함된 그림이 존재하는 좌표값을 인식하고, 기저장된 그림데이터에서 상기 그림과 대응되는 그림데이터를 추출하는 단계;

    상기 영상통화 프레임의 동작과 대응되는 동작데이터를 추출하는 단계;

    를 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 방법.
17. 제16항에 있어서,

    상기 영상인식변환서버가 상기 추출된 동작데이터를 상기 착신단말기로 전송하는 단계는

    상기 텍스트데이터가 추출되면 상기 영상인식변환서버는 상기 텍스트데이터와 상기 좌표값 및 상기 영상통화 프레임을 상기 착신단말기로 전송하는 단계;

    상기 그림데이터가 추출되면 상기 영상인식변환서버는 상기 그림데이터 또는 상기 그림데이터의 코드값과 상기 좌표값 및 상기 영상통화 프레임을 상기 착신단말기로 전송하는 단계;

    상기 동작데이터가 추출되면 상기 영상인식변환서버는 상기 동작데이터 또는 상기 동작데이터의 코드값을 상기 착신단말기로 전송하는 단계;

    를 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 방법.
18. 제17항에 있어서,

    상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계는

    상기 착신단말기가 상기 영상인식변환서버로부터 텍스트데이터와 좌표값 및 상기 영상통화 프레임을 수신하면 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 텍스트데이터를 합성하여 출력하는 단계;

    상기 착신단말기가 상기 영상인식변환서버로부터 그림데이터와 좌표값 및 영상통화 프레임을 수신하면 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 그림데이터를 합성하여 출력하는 단계;

    를 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환 방법.
19. 제17항에 있어서,

    상기 착신단말기가 상기 전송된 동작데이터를 출력하는 단계는

    상기 착신단말기가 상기 영상인식변환서버로부터 상기 그림데이터의 코드값과 좌표값 및 상기 영상통화 프레임을 수신하면 상기 코드값에 해당하는 그림데이터를 추출하여 상기 영상통화 프레임에서 상기 좌표값에 해당하는 위치에 상기 그림데이터를 합성하여 출력하는 단계;

    상기 착신단말기가 상기 영상인식변환서버로부터 상기 동작데이터의 코드값을 수신하면 상기 코드값에 해당하는 동작데이터를 추출한 후 합성하여 출력하는 단계;

    를 더 포함하는 것을 특징으로 하는 영상통화시 영상데이터의 인식 및 변환방법.

Images