KR20110023524A - System and method for emotion transmitting during video communication - Google Patents
System and method for emotion transmitting during video communication Download PDFInfo
- Publication number
- KR20110023524A KR20110023524A KR1020090081472A KR20090081472A KR20110023524A KR 20110023524 A KR20110023524 A KR 20110023524A KR 1020090081472 A KR1020090081472 A KR 1020090081472A KR 20090081472 A KR20090081472 A KR 20090081472A KR 20110023524 A KR20110023524 A KR 20110023524A
- Authority
- KR
- South Korea
- Prior art keywords
- icon
- terminal
- facial expression
- user
- video call
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008451 emotion Effects 0.000 title claims abstract description 52
- 238000004891 communication Methods 0.000 title abstract description 13
- 230000014509 gene expression Effects 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims description 209
- 238000012544 monitoring process Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000002996 emotional effect Effects 0.000 claims description 20
- 230000004397 blinking Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 3
- 230000000193 eyeblink Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 영상통화 중 감정 전달 시스템 및 방법에 관한 것이며, 더욱 상세하게는 영상통화 중 단말기 사용자의 특정 얼굴표정에 대응하는 아이콘을 추출하고, 추출한 아이콘을 상대방 단말기에 전송하는 영상통화 중 감정 전달 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for transmitting emotions during a video call, and more particularly, to extracting an icon corresponding to a specific facial expression of a terminal user during a video call, and to transmitting the extracted icon to a counterpart terminal. And to a method.
음성통화 위주의 통화패턴에서 발신 단말기의 보급이 확대되면서 영상통화의 빈도수가 날로 증가되고 있는 추세이다. 발신 단말기는 영상통화 중 상대방의 영상을 화면에 표시하고, 상대방의 음성을 출력하기 때문에 단순히 음성만으로 통화를 하는 것에 비하여 자신의 감정상태를 상대방에게 용이하게 전달할 수 있고 흥미를 유발할 수 있다는 이점이 있다.As the spread of calling terminals in voice call-oriented call patterns is increasing, the frequency of video calls is increasing day by day. Since the calling terminal displays the video of the other party on the screen and outputs the voice of the other party, the calling terminal can easily transmit his or her emotional state to the other party and induce interest rather than simply making a voice call. .
하지만 여전히 영상통화 중 자신의 감정상태를 표정이나 목소리만으로 상대방에게 전달해야 하므로 자신의 다양한 감정상태를 발신 단말기를 통하여 전달하는 데는 한계가 있다.However, there is still a limitation in transmitting his various emotional states through the calling terminal because his or her emotional state must be transmitted to the other party only through facial expression or voice during the video call.
따라서 본 발명은 상술한 문제를 해결하기 위해서 보다 다양하고 흥미로운 방법으로 영상통화 중에 자신의 감정상태를 상대방에서 효과적으로 전달할 수 있는 영상통화 중 감정 전달 시스템 및 방법을 제공하기 위한 것이다.Accordingly, the present invention has been made in an effort to provide a video communication emotion delivery system and method that can effectively communicate its emotional state to a counterpart during a video call in a variety of interesting ways to solve the above problems.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 중 감정 전달 시스템은, 발신 단말기로부터 수신한 영상데이터를 전송하고, 아이콘을 수신하여 착신 단말기로 전송하는 네트워크와, 상기 네트워크를 통해 영상통화 중인 상기 발신 단말기의 사용자를 촬영한 영상데이터를 수신하고, 상기 수신한 영상데이터에 상기 제1 저장부에 저장된 특정 얼굴표정이 포함되는지 모니터링하고, 상기 모니터링 중 상기 영상데이터에 특정 얼굴표정이 포함되면, 상기 특정 얼굴표정에 대응하는 아이콘을 제1 저장부에서 추출하고, 추출한 아이콘을 상기 네트워크를 통해 상기 착신 단말기에 전송하는 아이콘 제공서버를 포함하는 것을 특징으로 한다.In the video call emotional delivery system of the present invention for achieving the above object, a network for transmitting video data received from the calling terminal, receiving the icon and transmitting to the called terminal, and the video call through the network Receiving image data photographing a user of the calling terminal, monitoring whether the received image data includes a specific facial expression stored in the first storage unit; and if the image data includes the specific facial expression during the monitoring, And an icon providing server which extracts an icon corresponding to a specific face expression from the first storage unit and transmits the extracted icon to the called terminal through the network.
본 발명의 영상통화 중 감정 전달 시스템에 있어서, 상기 아이콘 제공서버는 상기 발신 단말기 또는 상기 착신 단말기로부터 아이콘 표현 정보를 수신하여 저장하고, 상기 아이콘 표현정보를 참조하여 상기 아이콘을 추출하는 것을 특징으로 한다.In the video call emotional delivery system of the present invention, the icon providing server receives and stores icon representation information from the calling terminal or the called terminal, and extracts the icon with reference to the icon representation information. .
본 발명의 영상통화 중 감정 전달 시스템에 있어서, 상기 아이콘 제공서버는 상기 발신 단말기 또는 상기 착신 단말기의 MIN(Mobile Identification Number)을 이용하여 상기 아이콘 표현 정보를 참조하는 것을 특징으로 한다.In the video call emotional delivery system of the present invention, the icon providing server is characterized by referring to the icon expression information using the mobile identification number (MIN) of the calling terminal or the called terminal.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 중 감정 전달 시스템의 아이콘 제공서버는, 네트워크를 통해 통신을 수행하는 제1 송수신부와, 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 저장하는 제1 저장부와, 상기 네트워크를 통해 영상통화 중인 발신 단말기의 사용자를 촬영한 영상데이터를 수신하고, 상기 수신한 영상데이터에 상기 제1 저장부에 저장된 특정 얼굴표정이 포함되는지 모니터링하고, 상기 모니터링 중 상기 영상데이터에 특정 얼굴표정이 포함되면, 상기 특정 얼굴표정에 대응하는 아이콘을 제1 저장부에서 추출하고, 추출한 아이콘을 상기 네트워크를 통해 착신 단말기에 전송하는 제1 제어부를 포함하는 것을 특징으로 한다.The icon providing server of the emotion delivery system of the video call of the present invention for achieving the above object, the first transceiver for performing communication over the network, and at least one specific facial expression and corresponding icon for storing Receiving image data photographing a user of a calling terminal in a video call through the network and a first storage unit, and monitoring whether the received image data includes a specific facial expression stored in the first storage unit, the monitoring When the image data includes a specific facial expression, the first control unit for extracting the icon corresponding to the specific facial expression in the first storage unit, characterized in that it comprises a first control unit for transmitting the extracted icon to the destination terminal via the network; do.
본 발명의 영상통화 중 감정 전달 시스템의 아이콘 제공서버에 있어서, 상기 제1 제어부는, 상기 영상데이터에 특정 얼굴표정이 포함되면, 상기 발신 단말기 또는 상기 착신 단말기로부터 수신하여 저장한 아이콘 표현 정보를 참조하여 상기 아이콘을 추출하는 것을 특징으로 한다.In the icon providing server of the emotion transmission system of the video call of the present invention, the first control unit, if the specific face expression is included in the video data, reference the icon expression information received and stored from the calling terminal or the called terminal And extracting the icon.
본 발명의 영상통화 중 감정 전달 시스템의 아이콘 제공서버에 있어서, 상기 제1 제어부는 상기 발신 단말기 또는 상기 착신 단말기의 MIN을 이용하여 상기 아이콘 표현 정보를 참조하는 것을 특징으로 한다.In the icon providing server of the emotion transmission system during a video call of the present invention, the first control unit is characterized by referring to the icon expression information using the MIN of the calling terminal or the called terminal.
본 발명의 영상통화 중 감정 전달 시스템의 아이콘 제공서버에 있어서, 상기 제1 저장부에서 추출한 아이콘은 정지영상, 동영상, 애니메이션, 이미지, 연속이미지 또는 햅틱 컨텐츠 중 적어도 하나인 것을 특징으로 한다.In the icon providing server of the emotion transmission system during the video call of the present invention, the icon extracted from the first storage unit is characterized in that at least one of a still image, video, animation, image, continuous image or haptic content.
본 발명의 영상통화 중 감정 전달 시스템의 아이콘 제공서버에 있어서, 상기 제1 저장부에서 추출한 아이콘은 이모티콘, 플래시콘, 파비콘, 아바타 또는 픽토그램 중 적어도 하나인 것을 특징으로 한다.In the icon providing server of the emotion transmission system of the video call of the present invention, the icon extracted from the first storage unit is characterized in that at least one of the emoticon, flash cone, favicon, avatar or pictogram.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 중 감정 전달 시스템의 단말기는, 상대방 단말기와 네트워크를 통해 통신을 수행하는 제2 송수신부와, 영상통화 시 사용자를 촬영하는 카메라부와, 상기 사용자의 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 저장하는 제2 저장부와, 상기 제2 송수신부를 통한 영상통화 중 상기 사용자가 특정 얼굴표정을 취하는지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 얼굴표정을 취하면, 상기 특정 얼굴표정에 대응하는 상기 아이콘을 상기 제2 저장부에서 추출하고, 상기 추출한 아이콘을 상기 제2 송수신부를 통해 상기 네트워크를 거쳐 상기 상대방 단말기에 전송하는 제2 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a terminal of an emotion delivery system of a video call of the present invention includes a second transceiver for communicating with a counterpart terminal through a network, a camera unit for photographing a user during a video call, and the user. A second storage unit for storing at least one specific facial expression of and an icon corresponding thereto; and monitoring whether the user takes a specific facial expression during a video call through the second transceiver; And a second control unit which extracts the icon corresponding to the specific face expression from the second storage unit and transmits the extracted icon to the counterpart terminal through the network through the second transceiver. It is characterized by.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 저장부는, 상기 사용자로부터 입력받은 상기 사용자의 아이콘 표현 정보를 더 저장하는 것을 특징으로 한다.In the terminal of the emotion transmission system during a video call of the present invention, the second storage unit, characterized in that further stores the icon representation information of the user received from the user.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 제어부는, 상기 사용자가 특정 얼굴표정을 취하면, 상기 아이콘 표현 정보를 참조하여 상기 아이콘을 추출하는 것을 특징으로 한다.In the terminal of the emotion transmission system of the video call of the present invention, the second control unit, if the user takes a specific facial expression, characterized in that the icon is extracted with reference to the icon expression information.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 제어부는, 상기 사용자가 특정 얼굴표정을 취하면, 상기 제2 송수신부를 통해 상기 네 트워크 내에 위치한 상기 발신 단말기 또는 상기 착신 단말기의 상기 아이콘 표현 정보를 저장한 아이콘 제공서버와의 메시지 송수신을 하여 상기 아이콘 표현 정보를 수신한 후 이를 참조하여 상기 아이콘을 추출하는 것을 특징으로 한다.In the terminal of the emotional communication system during a video call of the present invention, the second control unit, when the user takes a specific facial expression, the second terminal of the calling terminal or the called terminal located in the network through the second transceiver; After receiving the icon representation information by sending and receiving a message with the icon providing server storing the icon representation information, it is characterized in that to extract the icon with reference to it.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 제어부는, 상기 발신 단말기 또는 상기 착신 단말기의 MIN을 이용하여 상기 아이콘 표현 정보를 수신하는 것을 특징으로 한다.In the terminal of the emotion transmission system of the video call of the present invention, the second control unit, characterized in that for receiving the icon representation information using the MIN of the calling terminal or the called terminal.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 저장부에서 추출한 아이콘은 정지영상, 동영상, 애니메이션, 이미지, 연속이미지 또는 햅틱 컨텐츠 중 적어도 하나인 것을 특징으로 한다.In the terminal of the emotion transmission system during a video call of the present invention, the icon extracted from the second storage unit is characterized in that at least one of a still image, video, animation, image, continuous image or haptic content.
본 발명의 영상통화 중 감정 전달 시스템의 단말기에 있어서, 상기 제2 저장부에서 추출한 아이콘은 이모티콘, 플래시콘, 파비콘, 아바타 또는 픽토그램 중 적어도 하나인 것을 특징으로 한다.In the terminal of the emotion transmission system of the video call of the present invention, the icon extracted from the second storage unit is characterized in that at least one of the emoticon, flash cone, favicon, avatar or pictogram.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 중 감정 전달 방법은, 아이콘 제공서버가 발신 단말기로부터 영상통화 중인 사용자를 촬영한 영상데이터를 수신하여 상기 수신한 영상데이터에 포함된 사용자의 얼굴표정을 모니터링하는 모니터링 단계와, 상기 모니터링 중 상기 사용자가 특정 얼굴표정을 취하면, 상기 아이콘 제공서버가 상기 특정 얼굴표정에 대응하는 아이콘을 제1 저장부에서 추출하는 추출단계와, 상기 아이콘 제공서버가 상기 추출한 아이콘을 착신 단말기에 전송하는 전송단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the method for transmitting emotions in a video call of the present invention comprises: receiving an image data of a user who is in a video call from an originating terminal, and receiving facial data of the user included in the received image data. And a monitoring step of extracting an icon corresponding to the specific face expression from the first storage unit when the user takes a specific facial expression during the monitoring, and the icon providing server. And a transmitting step of transmitting the extracted icon to the called terminal.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 모니터링 단계 이전 에, 상기 아이콘 제공서버는 상기 사용자가 취한 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 제1 저장부에 저장하는 저장단계를 더 포함하는 것을 특징으로 한다.In the method of transmitting an emotion during a video call of the present invention, before the monitoring step, the icon providing server further includes a storing step of storing at least one specific facial expression taken by the user and an icon corresponding thereto in a first storage unit. It is characterized by including.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 모니터링 단계에서, 상기 아이콘 제공서버는 상기 수신한 영상데이터에 포함된 상기 사용자의 얼굴표정을 인식하는 인식단계와, 상기 아이콘 제공서버는 상기 인식한 사용자의 얼굴표정이 상기 저장된 특정 얼굴표정과 일치하는지 판단하는 판단단계를 포함하는 것을 특징으로 한다.In the emotional communication method of the video call of the present invention, in the monitoring step, the icon providing server recognizes the face expression of the user included in the received image data, and the icon providing server And determining whether the facial expression of the user matches the stored specific facial expression.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 아이콘 제공서버는 상기 추출한 사용자의 얼굴표정과 상기 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 상기 제1 저장부에 저장된 오차 범위 내에서 전체 픽셀이 일치하면 동일한 것으로 판단하는 것을 특징으로 한다.In the method of transmitting an emotion during a video call of the present invention, in the determining step, the icon providing server compares the extracted face expression of the user with all pixels of the stored specific face expression and falls within an error range stored in the first storage unit. If it is determined that all pixels match, it is determined that the same.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 아이콘 제공서버는 상기 촬영한 영상데이터를 상기 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여 상기 특정 얼굴표정이 상기 영상데이터 중에 포함되어 있는지 판단하는 것을 특징으로 한다.In the emotional communication method of a video call of the present invention, in the determining step, the icon providing server matches the photographed image data with the at least one specific facial expression one by one to include the specific facial expression in the image data. It is characterized by determining whether there is.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 아이콘 제공서버는 상기 촬영한 영상데이터에서 상기 얼굴표정을 추출하여 상기 추출한 얼굴표정과 상기 적어도 하나의 특정 얼굴표정을 비교하여, 상기 추출한 얼굴표정과 일치하는 상기 특정 얼굴표정이 있는지 판단하는 것을 특징으로 한다.In the emotional communication method of a video call of the present invention, in the determining step, the icon providing server extracts the facial expressions from the captured image data to compare the extracted facial expressions with the at least one specific facial expressions, The method may determine whether there is the specific facial expression that matches the extracted facial expression.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 제8항 내지 제13항 중에 어느 한 항에 있어서, 상기 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 중에 적어도 하나인 것을 특징으로 한다.According to any one of claims 8 to 13, wherein the specific facial expression is in the blink of an eye including a wink, smiley face, open mouth, closed mouth, specific lip shape. It is characterized by at least one.
상기와 같은 목적을 달성하기 위한 본 발명의 영상통화 중 감정 전달 방법은, 네트워크를 통해 상대방 단말기와 영상통화 중인 단말기가 상기 단말기의 사용자가 특정 얼굴표정을 취하는지를 모니터링하는 모니터링 단계와, 상기 모니터링 중 상기 사용자가 특정 얼굴표정을 취하면, 상기 단말기는 상기 특정 얼굴표정에 대응하는 아이콘을 제2 저장부에서 추출하는 추출단계와, 상기 단말기는 상기 추출한 아이콘을 상기 네트워크를 통해 상기 상대방 단말기에 전송하는 전송단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the video call emotion transmitting method of the present invention includes a monitoring step of monitoring, by a terminal that is in a video call with a counterpart terminal through a network, whether a user of the terminal takes a specific facial expression, and during the monitoring. When the user takes a specific facial expression, the terminal extracts an icon corresponding to the specific facial expression in the second storage unit, and the terminal transmits the extracted icon to the counterpart terminal through the network. It characterized in that it comprises a transmission step.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 모니터링 단계 이전에, 상기 단말기는 상기 사용자가 취한 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 저장부에 저장하는 저장단계를 더 포함하는 것을 특징으로 한다.In the emotional communication method of a video call of the present invention, before the monitoring step, the terminal further comprises a storage step of storing at least one specific facial expression taken by the user and the icon corresponding thereto in a storage unit. It is done.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 모니터링 단계에서, 상기 단말기는 영상통화 중 촬영한 영상데이터에서 상기 사용자의 얼굴표정을 인식하는 인식단계와, 상기 단말기는 인식한 사용자의 얼굴표정이 상기 저장된 특정 얼굴표정과 일치하는지 판단하는 판단단계를 포함하는 것을 특징으로 한다.In the method for transmitting emotion during a video call of the present invention, in the monitoring step, the terminal recognizes the face expression of the user from the image data photographed during the video call, and the terminal recognizes the face expression of the user And determining whether it matches the stored specific facial expression.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 단말기는 상기 추출한 사용자의 얼굴표정과 상기 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 상기 제2 저장부에 저장된 오차 범위 내에서 전체 픽셀이 일치하면 동일한 것으로 판단하는 것을 특징으로 한다.In the emotional communication method of a video call of the present invention, in the determining step, the terminal compares the extracted facial expressions of the user and all the pixels of the stored specific facial expressions to the whole within the error range stored in the second storage unit; If the pixels match, it is determined that they are the same.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 단말기는 상기 촬영한 영상데이터를 상기 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여 상기 특정 얼굴표정이 상기 영상데이터 중에 포함되어 있는지 판단하는 것을 특징으로 한다.In the emotional communication method of a video call of the present invention, in the determining step, the terminal determines whether the specific facial expression is included in the image data by matching the captured image data with the at least one specific facial expression one by one. Characterized in that.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 상기 판단단계에서, 상기 단말기는 상기 촬영한 영상데이터에서 상기 얼굴표정을 추출하여 상기 추출한 얼굴표정과 상기 적어도 하나의 특정 얼굴표정을 비교하여, 상기 추출한 얼굴표정과 일치하는 상기 특정 얼굴표정이 있는지 판단하는 것을 특징으로 한다.In the emotional communication method of the video call of the present invention, in the determining step, the terminal extracts the facial expressions from the captured image data to compare the extracted facial expressions and the at least one specific facial expressions, the extracted The method may determine whether there is the specific facial expression that matches the facial expression.
본 발명의 영상통화 중 감정 전달 방법에 있어서, 제15항 내지 제20항 중에 어느 한 항에 있어서, 상기 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 중에 적어도 하나인 것을 특징으로 한다.21. The method for transmitting emotion during a video call of the present invention, wherein the specific facial expression is selected from among eye blinks including winks, smiley faces, open mouths, closed mouths, and specific lip shapes. It is characterized by at least one.
본 발명에 따른 영상통화 중 감정 전달 시스템 및 방법은 영상통화 중 카메라부가 사용자를 촬영한 영상데이터의 얼굴표정이 기 저장된 특정 얼굴표정과 일치하는지 판단하여, 일치하면 해당 특정 얼굴표정에 대응하는 아이콘을 추출하고, 추출한 아이콘을 상대방 단말기에 전송함으로써 단말기 사용자가 영상 및 음성 외에도 아이콘을 이용하여 자신의 감정을 간편하고 효과적으로 표현할 수 있다.The system and method for transmitting emotions during a video call according to the present invention determine whether the facial expression of the image data photographed by the camera unit during the video call coincides with a previously stored specific facial expression, and if so, selects an icon corresponding to the specific facial expression. By extracting and transmitting the extracted icon to the counterpart terminal, the terminal user can easily and effectively express his or her emotions using the icon in addition to the image and the voice.
또한, 특정 얼굴표정에 대응하는 아이콘을 사용자가 임의로 지정할 수 있으므로 단말기 사용자의 개성을 추구하고 보다 흥미롭게 영상통화를 실행할 수 있는 효과가 있다.In addition, since the user can arbitrarily designate an icon corresponding to a specific facial expression, there is an effect of pursuing the personality of the terminal user and making a video call more interestingly.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.
본 발명의 일 실시예에 의한 영상통화 중 감정 전달 시스템은 도 1을 참조하면 다음과 같다. 도 1은 본 발명의 일 실시예에 의한 영상통화 중 감정 전달 시스템을 대략적으로 보여주는 블록도이다.Referring to FIG. 1, an emotional delivery system during a video call according to an embodiment of the present invention is as follows. 1 is a block diagram schematically illustrating an emotion transmission system during a video call according to an embodiment of the present invention.
본 발명의 일 실시예에 의한 영상통화 중 감정 전달 시스템(100)은 발신 단말기(10), 네트워크(30), 착신 단말기(40) 및 아이콘 제공서버(50)를 포함하여 구성된다.The
발신 단말기(10) 및 착신 단말기(40)는 네트워크(30)를 매개로 통신을 수행하며 영상통화가 가능한 단말기이다. The
네트워크(30)는 데이터 및 메시지 송수신을 위한 통신망을 의미한다. 본 실시예의 네트워크(30)는 발신 단말기(10) 및 착신 단말기(40)를 서로 매개하며, 망 내에 호제어기(31)와 홈위치등록기(33)를 포함하여 구성된다.The
호제어기(31)는 발신 단말기(10)와 착신 단말기(40)의 영상통화를 위해 채널을 할당한다. 즉, 호제어기(31)는 발신 단말기(10)가 전송한 영상 호를 수신하고, 착신 단말기(40)를 페이징하여 착신을 요청하고 호 수락을 입력받으면 영상 호 경로를 설정하고, 영상통화를 실행한다.The
홈위치등록기(33)는 가입자의 단말기 정보, 가입 정보, 위치 정보 및 인증 기능 등을 지닌 이동 가입자 데이터베이스이다. 본 발명에서 홈위치등록기(33)는 발신 단말기(10) 및 착신 단말기(40)의 가입자 정보를 관리한다. The
호제어기(31)는 홈위치등록기(33)의 가입자 정보를 이용하여 착신 단말기(40)로의 라우팅 정보를 획득하고, 착신 단말기(40)에 착신을 요청한다. 이후 착신 단말기(40)가 착신 요청에 대하여 호를 수락하면, 발신 단말기(10), 네트워크(30) 및 착신 단말기(40) 사이에 영상 호 경로가 설정되고 영상통화가 실행된다. The
네트워크(30)는 발신 단말기(10) 또는 아이콘 제공서버(50)로부터 아이콘을 수신하여 착신 단말기(40)에 전송한다. The
아이콘 제공서버(50)는 네트워크(30)를 통해 영상통화 중인 발신 단말기(10)의 사용자를 촬영한 영상데이터를 수신하고 수신한 영상데이터에 기 저장된 특정 얼굴표정이 포함되어 있는지 모니터링한다. 아이콘 제공서버(50)는 모니터링 중 수신한 영상데이터에 특정 얼굴표정이 포함되면 특정 얼굴표정에 대응하는 아이콘을 추출하고, 추출한 아이콘을 네트워크(30)를 거쳐 착신 단말기(40)로 전송한다.The
본 발명에서의 아이콘은 '웃는 얼굴', '화난 얼굴' 및 '슬픈 얼굴'과 같은 인간의 감정에 따른 얼굴표정을 표현할 수 있도록 제작되어 착신 단말기(40)의 화면에 디스플레이되는 이모티콘, 플래시콘, 웹싸이트에 대응되는 파비콘, 아바타, 시각디자인인 픽토그램 등을 의미한다.The icons in the present invention are emoticons, flash cones, webs that are produced to express facial expressions according to human emotions such as 'smiley faces', 'anger faces' and 'sad faces' and are displayed on the screen of the called
본 발명의 아이콘 제공서버(50)는 발신 단말기(10) 또는 착신 단말기(40)로부터 전송받은 아이콘 표현 정보를 저장할 수 있다. 여기에서의 아이콘 표현 정보는 발신 단말기(10) 또는 착신 단말기(40) 사용자가 자신의 기호에 맞는 아이콘의 세트를 선택하고 단말기(10, 40)에 입력하여 아이콘 제공서버(50)로 전송한 특정 종류의 아이콘을 나타내는 코드 등을 의미한다.The
이때, 아이콘 제공서버(50)는 영상데이터에 기 저장된 특정 얼굴표정이 포함되어 있는 경우 기저장한 아이콘 표현 정보를 참조하여 특정 얼굴표정에 대응하는 아이콘을 추출하는데 활용할 수 있다.In this case, the
예를 들어, 발신 단말기(10) 사용자가 스포츠의 일종인 야구를 좋아하는 사람으로서 발신 단말기(10)를 이용하여 본 발명의 부가서비스 등에 가입하여 야구와 관련한 감정 표현을 하도록 아이콘 표현 정보를 입력하여 아이콘 제공서버(50)에 아이콘 표현 정보가 저장되었다고 가정하면, 본 발명에서 아이콘 제공서버(40)는 내부에 저장된 아이콘 표현 정보를 특정 아이콘을 추출하는데 활용할 수 있는 것이다. 이때, 특정 얼굴표정이 웃는 얼굴표정이라면 '홈런'을 나타내는 정지영상, 동영상, 애니메이션, 이미지, 연속이미지, 햅틱 컨텐츠 등의 아이콘을 추출하여 착신 단말기(40)로 전송할 수 있다.For example, the user of the originating
또 다른 예에서 아이콘 제공서버(40)는 착신 단말기(40)로부터 아이콘 표현 정보를 수신하여 저장하고 있다가, 발신 단말기(10)로부터 수신한 영상데이터에 기 저장된 특정 얼굴표정이 포함되어 있으면, 착신 단말기(40)가 전송한 아이콘 표현 정보에 맞는 아이콘을 추출하고 착신 단말기(40)로 전송할 수도 있다.In another example, the
아이콘 제공서버(40)가 아이콘 표현 정보 참조할 때에는, 예를 들어, 발신 단말기(10) 또는 착신 단말기(40)의 MIN(Mobile Identification Number)을 이용하여, 발신 단말기(10) 또는 착신 단말기(40)에 대응되는 아이콘 표현 정보를 검색하 고, 이를 참조하여 아이콘을 추출할 수 있다.When the
본 발명의 일 실시예에 의한 아이콘 제공서버(50)는 도 1 및 도 2를 참조하면 다음과 같다. 도 2는 도 1의 아이콘 제공서버를 보여주는 블록도이다.The
본 발명의 일 실시예에 의한 아이콘 제공서버(50)는 제1 송수신부(51), 제1 저장부(53) 및 제1 제어부(55)를 포함하여 구성된다.
제1 송수신부(51)는 네트워크(30)를 통해 통신을 수행한다.The
제1 저장부(53)는 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 저장한다. 이때, 아이콘은 사용자가 임의로 설정하거나 디폴트로 기 설정되어 있을 수도 있다. 제1 저장부(53)에 저장되는 아이콘은 정지영상, 동영상, 애니메이션, 이미지, 연속이미지, 햅틱 등의 컨텐츠로 이루어진 아이콘일 수 있다. 또한, 본 실시예에서 저장되는 아이콘은 이모티콘, 플래시콘, 웹싸이트에 대응되는 파비콘, 아바타, 시각디자인인 픽토그램 등 감정을 표현할 수 있는 어떠한 컨텐츠의 아이콘 중 적어도 하나가 될 수 있다. 이하, 같다.The
또한 특정 얼굴표정은 발신 단말기(10) 사용자가 카메라부(17)를 통하여 촬영한 영상데이터에서 얼굴표정만 추출한 것으로 제1 저장부(53)에 아이콘에 각각 대응되도록 저장된다. 예컨대, 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 등을 포함할 수 있다.In addition, the specific facial expressions are extracted only from the facial expressions from the image data photographed by the user of the calling
제1 제어부(55)는 네트워크(30)를 통해 영상통화 중인 발신 단말기(10) 사용자를 촬영한 영상데이터를 수신한다. 그리고 제1 제어부(55)는 수신한 영상데이터를 모니터링하여 영상데이터의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정 과 일치하는지 판단한다. 그리고 제1 제어부(55)는 수신한 영상데이터의 얼굴표정이 특정 얼굴표정과 일치하면 특정 얼굴표정에 대응하는 아이콘을 제1 저장부(53)에서 추출하고, 추출한 아이콘을 네트워크(30)를 통해 착신 단말기(40)로 전송한다.The
본 발명의 다른 실시예에서, 제1 저장부(53)는 발신 단말기(10) 또는 착신 단말기(40)의 아이콘 표현 정보를 저장할 수 있다. 이때, 아이콘 표현 정보는 발신 단말기(10) 또는 착신 단말기(40)로부터 사용자의 입력에 따라 수신된 사용자 기호에 따른 아이콘 세트의 코드 등이다.In another embodiment of the present invention, the
이 경우, 영상데이터의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하는 경우, 제1 제어부(55)는 제1 저장부(53)에 저장된 아이콘 표현 정보를 참조하여 아이콘을 추출하는데 활용할 수 있다. 제1 제어부(55)가 아이콘 표현 정보를 참조하는 경우에는, 예를 들어, 발신 단말기(10) 또는 착신 단말기(40)의 MIN 정보를 이용하여 대응되는 아이콘 표현 정보를 제1 저장부(53)에서 검색할 수 있다.In this case, when the facial expression of the image data matches the specific facial expression stored in the
제1 제어부(55)가 영상데이터의 얼굴표정을 모니터링할 때에는, 촬영한 영상데이터에서 사용자의 얼굴표정을 인식하고, 인식한 사용자의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하는지 판단한다.When the
이때 사용자를 촬영한 영상데이터는 사용자의 얼굴 표정 외에도 배경 등이 더 포함될 수 있다. 따라서 제1 제어부(55)는 영상데이터의 얼굴표정과 특정 얼굴표정의 정확한 비교를 위하여 영상데이터 전체와 특정 얼굴표정을 비교하지 않고, 영상데이터의 얼굴표정과 특정 얼굴표정을 비교하는 것이 바람직하다.In this case, the image data photographing the user may further include a background in addition to the facial expression of the user. Accordingly, the
영상데이터의 얼굴표정과 특정 얼굴표정을 비교하여 일치하는 경우 제1 제어부(55)는 특정 얼굴표정에 대응하는 아이콘을 제1 저장부(53)에서 추출하고, 추출한 아이콘을 네트워크(30)를 통해 착신 단말기(40)에 전송한다. 한편, 제1 제어부(21)는 발신 단말기(10)의 사용자를 촬영한 영상데이터의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하지 않는 경우 지속적으로 네트워크(30)를 거쳐 발신 단말기(10)로부터 영상데이터를 수신한다.When the facial expressions of the image data and the specific facial expressions are compared and matched, the
이때 제1 제어부(55)는 수신한 영상데이터의 얼굴표정이 제1 저장부(53)에 기 저장된 특정 얼굴표정과 일치하는지 판단할 때, 100% 정확한 경우에 일치하는 것으로 판단할 수도 있고, 오차범위를 고려하여 일치하는지의 여부를 판단할 수도 있다.In this case, the
예컨대, 오차범위가 전체 픽셀(Pixel)의 10% 이내라고 가정하면 제1 제어부(55)는 영상데이터의 얼굴표정이 특정 얼굴표정에 비하여 전체 픽셀의 10% 이내의 범위로 다른 경우에는 영상데이터의 얼굴표정이 특정 얼굴표정과 일치하는 것으로 판단할 수 있다. 이러한 오차범위는 사용자에 의해 기 저장되거나 디폴트로 설정된 값일 수 있다. For example, assuming that the error range is within 10% of the entire pixel, the
이후, 착신 단말기(40)는 수신한 아이콘을 출력한다.Thereafter, the called terminal 40 outputs the received icon.
본 발명의 일 실시예에 의한 발신 단말기는 도 1 내지 도 3을 참조하면 다음과 같다. 도 3은 도 1의 발신 단말기를 보여주는 블록도이다.Referring to FIGS. 1 to 3, a caller terminal according to an embodiment of the present invention is as follows. 3 is a block diagram illustrating a calling terminal of FIG. 1.
본 발명의 일 실시예에 의한 발신 단말기(10)는 제2 송수신부(11), 카메라 부(17), 제2 저장부(19) 및 제2 제어부(21)를 포함하여 구성되고, 입력부(13) 및 출력부(15)를 더 포함하여 구성된다.An originating
제2 송수신부(11)는 네트워크(30)를 매개로 착신 단말기(40)와 통신을 수행한다. 송수신부(11)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF(Radio Frequency) 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 더 포함할 수 있다.The
입력부(13)는 발신 단말기(10)의 조작을 위한 복수의 키를 제공하며, 발신 단말기(10) 사용자의 키선택에 따른 선택신호를 발생한다. 또한 입력부(13)는 사용자로부터 영상통화를 실행하기 위한 선택신호를 입력받고, 영상통화 중에 아이콘을 전송할 것인지에 대한 선택신호도 입력받는다. 입력부(13)는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린 등의 입력장치가 사용될 수 있다.The
출력부(15)는 영상출력부와 음성출력부를 포함할 수 있다. 영상출력부는 발신 단말기(10)가 착신 단말기(40)와 영상통화를 수행하는 동안 발신 단말기(10) 및 착신 단말기(40)가 촬영한 영상을 출력한다. 음성출력부는 발신 단말기(10)가 착신 단말기(40)와 영상통화를 수행하는 동안 사용자들의 음성을 출력한다. 이때 영상 출력부로는 LCD나 터치스크린이 사용될 수 있고, 음성 출력부로는 스피커가 사용될 수 있다. 터치스크린은 표시장치와 입력장치로서의 역할을 동시에 수행한다.The
카메라부(17)는 적어도 하나의 카메라를 구비하고 발신 단말기(10)에 내장되어 있는 것이 바람직하다. 카메라부(17)는 카메라 렌즈를 포함하며, 카메라 렌즈를 통해 발신 단말기(10) 사용자를 촬영한다. The
제2 저장부(19)는 제2 제어부(21)의 제어에 의해 발신 단말기(10)의 동작 제어시 필요한 어플리케이션 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다. The second storage unit 19 stores an application program necessary for controlling the operation of the calling
제2 제어부(21)는 발신 단말기(10)의 전반적인 동작을 제어한다. 즉 제어부(21)는 입력부(13)를 통하여 영상통화를 선택하는 사용자의 선택신호를 수신하면 착신 단말기(40)에 호 요청을 전송하고, 카메라부(17)를 구동한다. 그리고 제2 제어부(21)는 카메라부(17)가 실시간으로 촬영한 영상데이터를 네트워크(30)를 거쳐 착신 단말기(40)에 전송하여 영상통화를 실행한다. The
이후 제2 제어부(21)는 영상통화 중에 촬영한 영상데이터를 네트워크(30)를 거쳐 아이콘 제공서버(50)에 전송한다.Thereafter, the
본 발명의 일 실시예에 의한 영상통화 중 감정 전달 방법은 도 1 내지 도 4를 참조하면 다음과 같다. 도 4는 본 발명의 일 실시예에 의한 영상통화 중 감정 전달 방법에 따른 흐름도이다.A method of transmitting emotion during a video call according to an embodiment of the present invention is described below with reference to FIGS. 1 to 4. 4 is a flowchart illustrating a method of transmitting emotion during a video call according to an embodiment of the present invention.
먼저 S41과정에서 아이콘 제공서버(50)는 적어도 하나의 특정 얼굴표정에 대응하는 아이콘을 입력받아 저장한다.First, in step S41, the
다음으로 S43과정에서 발신 단말기(10)는 호제어기(31)에 영상 호를 전송한다. 호제어기(31)가 영상 호를 수신하면 호제어기(31)는 홈위치등록기(33)의 발신 단말기(10) 및 착신 단말기(40)의 가입자 정보(위치 정보 및 서비스 정보)를 이용하여 착신 단말기(40)로의 라우팅 정보를 획득한다.Next, in step S43, the calling
다음으로 S45과정에서 호제어기(31)는 착신 단말기(40)를 페이징하여 착신을 요청한다.Next, the
다음으로 S47과정에서 착신 단말기(40)가 호제어기(31)로부터 수신한 착신 요청에 대하여 호를 수락하면, S49과정에서 발신 단말기(10), 호제어기(31) 및 착신 단말기(40) 사이에 영상 호 경로가 설정된다.Next, when the called
이후 S51과정에서 설정된 영상 호 경로를 통하여 발신 단말기(10)와 착신 단말기(40)는 영상통화를 실행하게 된다.Thereafter, the calling
영상통화가 실행되면, 발신 단말기(10)는 카메라부(17)를 구동하여 영상통화 중인 사용자를 촬영한다. 이때, 카메라부(17)는 사용자를 촬영한 영상데이터를 실시간으로 생성한다. 한편, 영상통화가 실행되면 착신 단말기(40)도 카메라부(47)를 구동하여 사용자를 촬영하고, 촬영한 영상데이터를 발신 단말기(10)로 전송한다.When the video call is executed, the calling
다음으로 S53과정에서 발신 단말기(10)는 사용자를 촬영한 영상데이터를 아이콘 제공서버(50)로 전송한다.Next, the calling
다음으로 S55과정에서 아이콘 제공서버(50)는 수신한 영상데이터에 제1 저장부(53)에 저장된 특정 얼굴표정이 포함되어 있는지 모니터링한다. 구체적으로, S55과정에서 아이콘 제공서버(50)는 수신한 영상데이터에 포함된 사용자의 얼굴표정을 인식한다.Next, in operation S55, the
다음으로 S57과정에서 아이콘 제공서버(50)는 인식한 사용자의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하는지 판단한다. Next, in operation S57, the
여기에서 아이콘 제공서버(50)가 영상데이터의 얼굴표정과 특정 얼굴표정이 일치하는지 판단할 때에는 실시간으로 수신되는 영상데이터를 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여, 특정 얼굴표정이 영상데이터에 포함되어 있는지 판단한다. 이때, 영상데이터에 포함되는 얼굴표정 이외의 배경 등은 비교 대상에서 제외되는 것이 바람직하다.In this case, when the
이때 아이콘 제공서버(50)는 촬영한 영상데이터의 얼굴표정과 저장된 특정 얼굴표정이 정확하게 일치하는 경우 동일한 것으로 판단할 수 있다.In this case, the
또한 아이콘 제공서버(50)는 영상데이터의 얼굴표정과 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 전체 픽셀이 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다. 오차범위는 사용자에 의해 기 저장되거나 발신 단말기(10)에 디폴트로 설정된 값일 수 있다. 예컨대, 오차범위가 전체 픽셀(Pixel)의 10% 이내라고 가정하면 아이콘 제공서버(50)는 영상데이터의 얼굴표정이 특정 얼굴표정에 비하여 전체 픽셀의 10% 이내의 범위로 다른 경우에는 영상데이터의 얼굴표정이 특정 얼굴표정과 동일한 것으로 판단할 수 있다. In addition, the
한편, S57과정에서 아이콘 제공서버(50)가 카메라부(17)로 촬영한 영상데이터의 얼굴표정이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하는지 판단 할 때에는, 영상데이터에서 얼굴표정을 추출하고, 추출한 얼굴표정을 특정 얼굴표정과 비교하여 판단할 수도 있다. 이때에도, 아이콘 제공서버(50)는 완전히 동일하지 않더라도 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다.On the other hand, when the
다음으로 S57단계에서의 판단 결과 영상데이터의 얼굴표정과 일치하는 특정 얼굴표정이 있으면, S59단계에서 해당 특정 얼굴표정에 대응하는 아이콘을 제1 저장부(53)에서 추출한다.In operation S57, if there is a specific facial expression that matches the facial expression of the image data, in operation S59, the icon corresponding to the specific facial expression is extracted from the
S59단계에서 아이콘을 추출할 때에는 아이콘 제공서버(50) 내부에 저장된 발신 단말기(10) 또는 착신 단말기(40)에 대응되는 아이콘 표현 정보를 참조하여, 그에 따른 아이콘을 선택하고 추출할 수 있다.When the icon is extracted in step S59, the icon may be selected and extracted according to the icon representation information corresponding to the calling
한편, S57과정에서 판단 결과 영상데이터의 얼굴표정과 일치하는 특정 얼굴표정이 없으면 아이콘 제공서버(50)는 지속적으로 발신 단말기(10)로부터 영상데이터를 수신한다.On the other hand, if there is no specific facial expression that matches the facial expression of the image data as a result of the determination in step S57 the
다음으로 S61과정에서 아이콘 제공서버(50)는 추출한 아이콘을 호제어기(31)로 전송하고, S63과정에서 호제어기(31)는 수신한 아이콘을 착신 단말기(40)로 전송한다.Next, the
다음으로 S65과정에서 착신 단말기(40)는 수신된 아이콘을 출력한다.Next, the receiving
본 발명의 일 실시예에 의한 영상통화 중 감정 전달 방법은 도 1 내지 도 5를 참조하면 다음과 같다. 도 5의 (a) 및 (b)는 본 발명의 실시예에 의한 발신 단말기 및 착신 단말기의 화면 예시도이다.A method of transmitting emotion during a video call according to an embodiment of the present invention is described below with reference to FIGS. 1 to 5. 5A and 5B are exemplary views of screens of a calling terminal and a called terminal according to an embodiment of the present invention.
도 5의 (a) 및 (b)를 참조하면, 발신 단말기(10)는 착신 단말기(40)와 영상통화를 실행한다. 영상통화가 실행되면 발신 단말기(10)의 출력부(15)는 영화통화를 하는 대상인 착신 단말기(40)에서 촬영한 영상데이터를 출력하고, '영상통화 중'이라는 메시지가 출력되어 사용자에게 영상통화 중임을 안내할 수 있다.Referring to FIGS. 5A and 5B, the calling
한편, 도 5의 (a)에 도시되지는 않았으나 발신 단말기(10)는 착신 단말기(10)에서 촬영한 영상데이터를 출력하면서, 발신 단말기(10)에서 촬영한 영상데이터를 동시에 출력할 수도 있다. 이때, 발신 및 착신 단말기(10, 30)에서 촬영한 영상데이터가 출력되는 크기는 사용자 또는 디폴트 값으로 미리 설정되는 것이 바람직하다.Meanwhile, although not shown in FIG. 5A, the calling
도 5의 (a)와 같이 발신 단말기(10)의 카메라부(17)를 통하여 '웃는 표정'이 포함된 영상데이터가 촬영되면, 도 5의 (b)에 도시된 바와 같이 착신 단말기(40) 에는 '웃는 표정'에 대응되는 아이콘(60)이 출력된다.When image data including a 'smiley face' is photographed through the
이때, '웃는 표정'에 대응되는 아이콘(60)이 착신 단말기(40)에 출력되는 과정은 다음과 같다.At this time, the process of outputting the
발신 단말기(10)가 영상통화 중에 카메라부(17)로 사용자를 지속적으로 촬영한 영상데이터를 호제어기(31)를 거쳐 아이콘 제공서버(50)로 전송한다.The
아이콘 제공서버(50)는 수신한 영상데이터를 모니터링하여 '웃는 표정'이 제1 저장부(53)에 저장된 특정 얼굴표정과 일치하는지 판단한다. The
아이콘 제공서버(50)는 영상데이터의 '웃는 표정'에 대한 얼굴표정이 특정 얼굴표정과 일치하면 해당 특정 얼굴표정에 대응하는 아이콘(60)을 제1 저장부(53)에서 추출하여 호제어기(31)를 통해 착신 단말기(40)에 전송한다.The
본 발명의 다른 일 실시예에 의한 단말기는 도 1, 도 3 및 도 6을 참조하면 다음과 같다. 도 3은 본 발명의 다른 일 실시예에 의한 발신 단말기를 보여주는 블록도이다. 도 6은 본 발명의 다른 일 실시예에 의한 영상통화 중 감정 전달 방법에 따른 흐름도이다.Terminal according to another embodiment of the present invention with reference to Figures 1, 3 and 6 as follows. 3 is a block diagram showing a calling terminal according to another embodiment of the present invention. 6 is a flowchart illustrating a method of transmitting emotion during a video call according to another embodiment of the present invention.
본 발명의 다른 일 실시예에 의한 발신 단말기(10)는 제2 송수신부(11), 카메라부(17), 제2 저장부(19) 및 제2 제어부(21)를 포함하여 구성되고, 입력부(13) 및 출력부(15)를 더 포함하여 구성된다.The originating
본 발명의 발신 단말기(10)의 제2 송수신부(11), 입력부(13), 출력부(15) 및 카메라부(17)의 구성은 일 실시예에 의한 발신 단말기(10)와 동일하므로 상세한 설명은 생략한다.Since the configuration of the
제2 저장부(19)는 적어도 하나의 특정 얼굴표정 및 그에 대응하는 아이콘을 저장한다. 이때, 아이콘은 발신 단말기(10)의 제2 저장부(19)에 기 저장되어 있거나, 사용자가 인터넷 등을 이용하여 다운로드 받을 수 있다.The second storage unit 19 stores at least one specific facial expression and an icon corresponding thereto. In this case, the icon may be pre-stored in the second storage unit 19 of the calling
여기에서 특정 얼굴표정은 발신 단말기(10) 사용자가 카메라부(17)를 통하여 촬영한 영상데이터에서 얼굴표정만 추출한 것으로 제2 저장부(19)에 저장된 적어도 하나의 아이콘에 각각 대응되도록 저장된다. 이때, 제2 저장부(19)에 저장되는 아이콘은 정지영상, 동영상, 애니메이션, 이미지, 연속이미지, 햅틱 컨텐츠 또는 기타 감정을 표현하기에 적합한 어떠한 컨텐츠의 아이콘일 수 있다. 또한, 제2 저장부(19)에 저장되는 아이콘은, 예를 들어, 이모티콘, 플래시콘, 웹싸이트의 아이콘인 파비콘, 아바타, 픽토그램과 같은 시각디자인 등 감정을 표현하기에 적합한 어떠한 컨텐츠로 중 적어도 하나로 이루어질 수 있다. 그리고, 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 등을 포함할 수 있다.In this case, the specific face expression is extracted only from the image data photographed by the user of the calling
제2 제어부(21)는 제2 송수신부(11)를 통한 영상통화 중 사용자가 특정 얼굴표정을 취하는지를 모니터링한다. 그리고 제2 제어부(21)는 모니터링 중 사용자가 특정 얼굴표정을 취하면, 특정 얼굴표정에 대응하는 아이콘을 제2 저장부(19)에서 추출한다. 이때, 제2 저장부(19)에는 발신 단말기(10) 사용자가 입력한 아이콘 표현 정보가 저장되어 있을 수 있으며, 이러한 경우 제2 제어부(21)는 기 저장된 아이콘 표현 정보를 참조하여 아이콘을 추출하게 된다.The
제2 제어부(21)는 추출한 아이콘을 제2 송수신부(11)를 통해 호제어기(31)로 전송하고, 호제어기(31)로부터 착신 단말기(40)가 수신하도록 한다.The
이때, 제2 제어부(21)는 본 발명의 일 실시예에 의한 아이콘 제공서버(50)가 영상데이터를 모니터링하여 영상데이터의 얼굴표정이 기 저장된 특정 얼굴표정과 일치하는지 판단하는 방법과 동일한 방법으로 촬영한 영상데이터가 제2 저장부(19)에 저장된 특정 얼굴표정과 일치하는지 판단한다.At this time, the
구체적으로, 본 발명의 다른 일 실시예에 의한 영상통화 중 감정 전달 방법을 살펴보면, 도 6에 도시된 바와 같이, S71과정에서 발신 단말기(10)는 입력부(13)를 통해 수신하는 사용자의 선택신호를 통하여 적어도 하나의 특정 얼굴표정에 대응하는 아이콘을 입력받아 저장한다.Specifically, referring to the emotion transmission method during a video call according to another embodiment of the present invention, as shown in FIG. 6, in step S71, the calling
다음으로 S73과정에서 발신 단말기(10)는 호제어기(31)에 영상 호를 전송한다. 호제어기(31)가 영상 호를 수신하면 호제어기(31)는 홈위치등록기(33)의 발신 단말기(10) 및 착신 단말기(40)의 가입자 정보(위치 정보 및 부가 서비스 정보)를 이용하여 착신 단말기(40)로의 라우팅 정보를 획득한다.Next, in step S73, the calling
다음으로 S75과정에서 호제어기(31)는 착신 단말기(40)를 페이징하여 착신을 요청한다.Next, the
다음으로 S77과정에서 착신 단말기(40)가 호제어기(31)로부터 수신한 착신 요청에 대하여 호를 수락하면, S79과정에서 발신 단말기(10), 호제어기(31) 및 착신 단말기(40) 사이에 영상 호 경로가 설정된다.Next, when the called
이후 S81과정에서 설정된 영상 호 경로를 통하여 발신 단말기(10)와 착신 단말기(40)는 영상통화를 실행하게 된다.Thereafter, the calling
영상통화가 실행되면, 발신 단말기(10)는 카메라부(17)를 구동하여 영상통화 중인 사용자를 촬영한다. 이때, 카메라부(17)는 사용자를 촬영한 영상데이터를 실시간으로 생성한다. 한편, 영상통화가 실행되면 착신 단말기(40)도 카메라부(47)를 구동하여 사용자를 촬영하고, 촬영한 영상데이터를 발신 단말기(10)로 전송한다.When the video call is executed, the calling
다음으로 발신 단말기(10)는 발신 단말기(10)의 사용자가 특정 얼굴표정을 취하는지를 모니터링한다. 구체적으로, S83과정에서 발신 단말기(10)는 영상통화 중인 사용자를 카메라부(17)로 촬영한 영상데이터에 포함된 사용자의 얼굴표정을 인식한다.Next, the calling
다음으로 S85과정에서 발신 단말기(10)는 인식한 사용자의 얼굴표정이 저장부(19)에 저장된 특정 얼굴표정과 일치하는지 판단한다. Next, in step S85, the calling
여기에서 발신 단말기(10)가 영상데이터의 얼굴표정과 특정 얼굴표정이 일치하는지 판단할 때에는 실시간으로 생성되는 영상데이터를 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여, 특정 얼굴표정이 영상데이터에 포함되어 있는지 판단한다. 이때, 영상데이터에 포함되는 얼굴표정 이외의 배경 등은 비교 대상에서 제외되는 것이 바람직하다.In this case, when the calling
이때 발신 단말기(10)는 촬영한 영상데이터의 얼굴표정과 저장된 특정 얼굴 표정이 정확하게 일치하는 경우 동일한 것으로 판단할 수 있다.In this case, the calling
또한 발신 단말기(10)는 영상데이터의 얼굴표정과 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 전체 픽셀이 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다. 오차범위는 사용자에 의해 기 저장되거나 발신 단말기(10)에 디폴트로 설정된 값일 수 있다. 예컨대, 오차범위가 전체 픽셀(Pixel)의 10% 이내라고 가정하면 발신 단말기(10)는 영상데이터의 얼굴표정이 특정 얼굴표정에 비하여 전체 픽셀의 10% 이내의 범위로 다른 경우에는 영상데이터의 얼굴표정이 특정 얼굴표정과 동일한 것으로 판단할 수 있다. In addition, the calling
한편, S85과정에서 발신 단말기(10)는 카메라부(17)로 촬영한 영상데이터의 얼굴표정이 저장부(19)에 저장된 특정 얼굴표정과 일치하는지 판단 할 때에는, 영상데이터에서 얼굴표정을 추출하고, 추출한 얼굴표정을 특정 얼굴표정과 비교하여 판단할 수도 있다. 이때에도, 발신 단말기(10)는 완전히 동일하지 않더라도 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다.On the other hand, in step S85, when the calling
그리고 S87단계에서 해당 특정 얼굴표정에 대응하는 아이콘을 저장부(19)에서 추출한다. 이때, 발신 단말기(10) 내부에 저장된 아이콘 표현 정보를 참조하여 아이콘을 추출할 수 있음은 상기한 바와 같다.In operation S87, the icon corresponding to the specific facial expression is extracted from the storage unit 19. In this case, as described above, the icon may be extracted by referring to the icon expression information stored in the calling
한편, S85과정에서 판단 결과 영상데이터의 얼굴표정과 일치하는 특정 얼굴표정이 없으면 발신 단말기(10)의 카메라부(17)는 지속적으로 사용자를 촬영한다.On the other hand, when there is no specific facial expression that matches the facial expression of the image data as a result of the determination in S85 process, the
다음으로 S89과정에서 발신 단말기(10)는 추출한 아이콘을 호제어기(31)를 통해 착신 단말기(40)로 전송한다.Next, in step S89, the calling
이때, 도시되지는 않았으나 S89과정에서 추출한 아이콘을 전송하기 전에 발신 단말기(10)는 추출한 아이콘이 착신 단말기(40)에 출력되는 위치 및 크기를 지정하는 메시지를 생성할 수 있다. 이후 S89과정에서 발신 단말기(10)는 추출한 아이콘과 생성된 메시지를 함께 착신 단말기(40)에 전송할 수 있다. At this time, although not shown, before transmitting the icon extracted in step S89, the calling
다음으로 S91과정에서 착신 단말기(40)는 수신된 아이콘을 출력한다. 이때, 착신 단말기(40)에 출력되는 아이콘은 발신 단말기(10)로부터 수신한 메시지에 지정된 위치에 수신한 메시지에 지정된 크기로 출력되거나, 착신 단말기(40)가 설정한 위치 및 크기로 출력될 수도 있다. Next, the
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is apparent to those skilled in the art that other modifications based on the technical idea of the present invention may be implemented.
본 발명은 영상통화 중 감정 전달 시스템 및 방법에 관한 것으로, 사용자가 영상통화를 실행하던 중 발신 단말기의 사용자를 촬영한 얼굴표정에 대응하는 아이콘을 착신 단말기에 전송하여 출력하도록 함으로써 영상통화를 실행중인 사용자의 감정 표현을 뚜렷하게 할 수 있어 발신 단말기를 사용하는 사용자의 편이를 증대한다. 또한 영상통화 서비스를 제공하는 서비스 사업자는 영상통화 서비스를 제공받는 사용자의 감정 표현을 명확히 할 수 있는 서비스를 사용자에게 제공함으로써 서 비스의 질을 향상시킬 수 있다.The present invention relates to a system and method for transmitting emotions during a video call, wherein the user is executing a video call by transmitting an icon corresponding to a facial expression photographing the user of the calling terminal to the called terminal and outputting the same. The expression of the user's emotion can be made clear, thereby increasing the convenience of the user using the calling terminal. In addition, the service provider providing the video call service can improve the quality of service by providing the user with a service that can clarify the emotional expression of the user receiving the video call service.
도 1은 본 발명의 일 실시예에 의한 영상통화 중 감정 전달 시스템을 대략적으로 보여주는 블록도이다.1 is a block diagram schematically illustrating an emotion transmission system during a video call according to an embodiment of the present invention.
도 2는 도 1의 아이콘 제공서버를 보여주는 블록도이다.FIG. 2 is a block diagram illustrating an icon providing server of FIG. 1.
도 3은 도 1의 발신 단말기를 보여주는 블록도이다.3 is a block diagram illustrating a calling terminal of FIG. 1.
도 4는 본 발명의 일 실시예에 의한 영상통화 중 감정 전달 방법에 따른 흐름도이다.4 is a flowchart illustrating a method of transmitting emotion during a video call according to an embodiment of the present invention.
도 5의 (a) 및 (b)는 본 발명의 실시예에 의한 발신 단말기 및 착신 단말기의 화면 예시도이다.5A and 5B are exemplary views of screens of a calling terminal and a called terminal according to an embodiment of the present invention.
도 6은 본 발명의 다른 일 실시예에 의한 영상통화 중 감정 전달 방법에 따른 흐름도이다.6 is a flowchart illustrating a method of transmitting emotion during a video call according to another embodiment of the present invention.
* 도면의 주요 부분에 대한 부호의 설명 * Explanation of symbols on the main parts of the drawings
10 : 발신 단말기 11 : 제2 송수신부10: caller terminal 11: the second transceiver
13 : 입력부 15, 45 : 출력부13
17, 47 : 카메라부 19 : 제2 저장부17, 47: camera unit 19: second storage unit
21 :제2 제어부 30 : 네트워크21: second control unit 30: network
31 : 호제어기 33 : 홈위치등록기31: call controller 33: home location register
40 : 착신 단말기 50 : 아이콘 제공서버40: incoming terminal 50: icon providing server
51 : 제1 송수신부 53 : 제1 저장부51: first transmission and reception unit 53: first storage unit
55 : 제1 제어부55: first control unit
100 : 영상통화 중 감정 전달 시스템100: emotional delivery system during video call
Claims (29)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090081472A KR101274471B1 (en) | 2009-08-31 | 2009-08-31 | System and method for emotion transmitting during video communication |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090081472A KR101274471B1 (en) | 2009-08-31 | 2009-08-31 | System and method for emotion transmitting during video communication |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110023524A true KR20110023524A (en) | 2011-03-08 |
| KR101274471B1 KR101274471B1 (en) | 2013-06-13 |
Family
ID=43931629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090081472A KR101274471B1 (en) | 2009-08-31 | 2009-08-31 | System and method for emotion transmitting during video communication |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101274471B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101502016B1 (en) * | 2014-09-18 | 2015-03-12 | (주)아바엔터테인먼트 | Method for providing application program representing status information and mobile apparatus system using the same |
| EP3506626A1 (en) * | 2017-12-28 | 2019-07-03 | Hyperconnect, Inc. | Video call with added icon corressponding to facial expression of the user |
| US10387717B2 (en) | 2014-07-02 | 2019-08-20 | Huawei Technologies Co., Ltd. | Information transmission method and transmission apparatus |
| KR102211204B1 (en) * | 2019-08-05 | 2021-02-02 | 임광철 | Non-facing, non contact preference survey system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170082349A (en) | 2016-01-06 | 2017-07-14 | 삼성전자주식회사 | Display apparatus and control methods thereof |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100681900B1 (en) * | 2005-02-24 | 2007-02-12 | 에스케이 텔레콤주식회사 | Service System and Method of Emotion Expressing Using Animation for Video Call and Mobile Communication Terminal therefor |
| KR100940088B1 (en) * | 2007-04-23 | 2010-02-02 | 주식회사 케이티 | Method and device for displaying emotion of telephonee in video communication |
| KR101326651B1 (en) * | 2006-12-19 | 2013-11-08 | 엘지전자 주식회사 | Apparatus and method for image communication inserting emoticon |
| KR100941598B1 (en) * | 2007-11-27 | 2010-02-11 | (주)씨앤에스 테크놀로지 | telephone communication system and method for providing users with telephone communication service comprising emotional contents effect |
-
2009
- 2009-08-31 KR KR1020090081472A patent/KR101274471B1/en active IP Right Grant
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10387717B2 (en) | 2014-07-02 | 2019-08-20 | Huawei Technologies Co., Ltd. | Information transmission method and transmission apparatus |
| KR101502016B1 (en) * | 2014-09-18 | 2015-03-12 | (주)아바엔터테인먼트 | Method for providing application program representing status information and mobile apparatus system using the same |
| EP3506626A1 (en) * | 2017-12-28 | 2019-07-03 | Hyperconnect, Inc. | Video call with added icon corressponding to facial expression of the user |
| JP2019122034A (en) * | 2017-12-28 | 2019-07-22 | ハイパーコネクト インコーポレイテッド | Terminal providing video call service |
| US10560659B2 (en) | 2017-12-28 | 2020-02-11 | Hyperconnect, Inc. | Terminal for providing video call service |
| US10939071B2 (en) | 2017-12-28 | 2021-03-02 | Hyperconnect, Inc. | Terminal for providing video call service |
| KR102211204B1 (en) * | 2019-08-05 | 2021-02-02 | 임광철 | Non-facing, non contact preference survey system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101274471B1 (en) | 2013-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110662083B (en) | Data processing method and device, electronic equipment and storage medium | |
| CN104159255B (en) | Terminal room shares the method and device of network | |
| US10701315B2 (en) | Video communication device and video communication method | |
| US10142588B2 (en) | Information-processing device, communication system, storage medium, and communication method | |
| CN106453052B (en) | Message interaction method and device | |
| CN107409162A (en) | Communication system and the method using the communication system | |
| KR101274471B1 (en) | System and method for emotion transmitting during video communication | |
| CN106714244B (en) | Wireless access method and device of terminal and terminal | |
| CN105915521B (en) | Multi-party call management method, device and terminal | |
| CN107959757B (en) | User information processing method and device, APP server and terminal equipment | |
| CN104899501A (en) | Dialog list display method and device and terminal | |
| KR101376292B1 (en) | Method and apparatus for providing emotion analysis service during telephone conversation | |
| KR20160048703A (en) | Method and device for transferring message and electronic equipment | |
| KR20110041065A (en) | System, server, terminal and method for delivering haptic contents during video call | |
| CN105187154B (en) | The method and device of response bag reception delay | |
| KR20110125548A (en) | Camera controlling apparatus and method thereof | |
| CN111541922B (en) | Method, device and storage medium for displaying interface input information | |
| CN106506808B (en) | Method and device for prompting communication message | |
| CN108377302A (en) | Shield the method and device of harassing call | |
| KR20110026137A (en) | System and method for emotion transmitting during video communication | |
| CN115314728A (en) | Information display method, system, device, electronic equipment and storage medium | |
| KR101677622B1 (en) | Image display method and apparatus thereof | |
| CN110913055B (en) | Terminal device searching method and device and electronic device | |
| KR101189052B1 (en) | System and method for delivering feeling during video call | |
| KR20110138094A (en) | Video conference system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160602 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170209 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180403 Year of fee payment: 6 |