KR101312771B1 - Apparatus and method for video chatting using avatar - Google Patents

Apparatus and method for video chatting using avatar Download PDF

Info

Publication number
KR101312771B1
KR101312771B1 KR1020110134728A KR20110134728A KR101312771B1 KR 101312771 B1 KR101312771 B1 KR 101312771B1 KR 1020110134728 A KR1020110134728 A KR 1020110134728A KR 20110134728 A KR20110134728 A KR 20110134728A KR 101312771 B1 KR101312771 B1 KR 101312771B1
Authority
KR
South Korea
Prior art keywords
user
information
avatar
users
emotion
Prior art date
Application number
KR1020110134728A
Other languages
Korean (ko)
Other versions
KR20130082693A (en
Inventor
김두현
윤경로
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020110134728A priority Critical patent/KR101312771B1/en
Publication of KR20130082693A publication Critical patent/KR20130082693A/en
Application granted granted Critical
Publication of KR101312771B1 publication Critical patent/KR101312771B1/en

Links

Images

Classifications

    • G06Q50/50—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

본 발명은 아바타를 사용하여 영상 채팅 하는 장치 및 방법이 개시된다.
영상 채팅 장치는 가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성하는 아바타 생성부; 사용자들의 단말기로부터 사용자들의 동작 정보와 대화 정보를 수신하는 정보 수신부; 및 사용자들의 동작 정보에 따라 사용자들의 아바타의 동작을 제어하는 아바타 제어부를 포함할 수 있다.The present invention discloses an apparatus and method for video chatting using avatars.
The video chat device includes an avatar generator configured to generate avatars of users who have participated in a video chat in a virtual space; An information receiver configured to receive operation information and conversation information of the users from the terminals of the users; And an avatar controller for controlling the operation of the avatars of the users according to the operation information of the users.

Description

아바타를 사용한 영상 채팅 장치 및 방법{APPARATUS AND METHOD FOR VIDEO CHATTING USING AVATAR}Video chat device and method using avatar {APPARATUS AND METHOD FOR VIDEO CHATTING USING AVATAR}

본 발명은 영상 채팅 장치 및 방법에 관한 것으로, 보다 상세하게는 채팅 중에 사용자들의 얼굴을 공개하지 않고도 아바타를 사용하여 사용자들의 감정을 다른 사용자들에게 실시간으로 알릴 수 있는 영상 채팅 장치 및 방법에 관한 것이다. The present invention relates to a video chat device and method, and more particularly, to a video chat device and method that can notify users of emotions in real time by using an avatar without revealing their faces during a chat. .

최근 들어 영상 통화 중에 채팅 기능을 추가함으로써, 채팅 하는 상대방의 얼굴을 보면서 채팅을 수행할 수 있는 영상 채팅 방법이 개발되고 있다.Recently, by adding a chat function during a video call, a video chat method capable of chatting while looking at a face of a chatting party has been developed.

한국공개특허 제10-2010-0020726호(공개일 2010년 02월 23일)에는 영상 통화에 키워드를 인식하여 영상에 컨텐츠를 합성함으로써, 사용자간 영상 채팅을 제공하는 기술이 개시되어 있다. 그러나, 종래의 기술은 채팅 하는 상대방의 얼굴을 보고 있으므로, 상대방의 감정 변화를 감지할 수는 있으나, 낯을 가리는 사람은 다른 사람의 얼굴을 보면서 대화나 채팅 하는 것에 부담을 가질 수 있었다. Korean Patent Publication No. 10-2010-0020726 (published February 23, 2010) discloses a technology for providing a video chat between users by recognizing a keyword in a video call and synthesizing the content into a video. However, the conventional technology is to look at the face of the other party to chat, it is possible to detect a change in the other party's feelings, but the stranger may have a burden to talk or chat while looking at the other person's face.

따라서, 상대방의 얼굴을 보지 않고도 상대방의 감정 변화를 감지할 수 있는 채팅 방법이 요청되고 있다.Accordingly, there is a demand for a chat method capable of detecting a change in the emotion of the other party without looking at the other party's face.

본 발명은 채팅 중에 사용자들의 얼굴을 공개하지 않고도 사용자들의 감정을 다른 사용자들에게 실시간으로 알릴 수 있는 장치 및 방법을 제공한다. The present invention provides an apparatus and method for informing other users of their emotions in real time without revealing their faces during a chat.

본 발명의 일실시예에 따른 영상 채팅 장치는 가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성하는 아바타 생성부; 사용자들의 단말기로부터 사용자들의 동작 정보와 대화 정보를 수신하는 정보 수신부; 및 사용자들의 동작 정보에 따라 사용자들의 아바타의 동작을 제어하는 아바타 제어부를 포함할 수 있다.In accordance with another aspect of the present invention, a video chat device includes: an avatar generator configured to generate avatars of users participating in a video chat in a virtual space; An information receiver configured to receive operation information and conversation information of the users from the terminals of the users; And an avatar controller for controlling the operation of the avatars of the users according to the operation information of the users.

본 발명의 일실시예에 따른 영상 채팅 장치의 아바타 제어부는 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 아바타의 동작을 제어할 수 있다.The avatar controller of the video chat device according to an embodiment of the present invention may determine the emotions of the users by using the motion information of the users, and control the operation of the avatar to display the determined emotions of the users.

본 발명의 일실시예에 따른 사용자 단말기는 제1 사용자를 촬영하여 실시간 영상을 생성하는 촬영부; 실시간 영상에 포함된 제1 사용자의 동작을 식별하여 사용자의 동작 정보를 생성하는 동작 정보 생성부; 동작 정보와 제1 사용자로부터 수신한 대화 정보를 영상 채팅 장치로 전송하는 정보 전송부를 포함할 수 있다.A user terminal according to an embodiment of the present invention includes a photographing unit for photographing the first user to generate a real-time image; A motion information generator for identifying a motion of the first user included in the real-time video and generating motion information of the user; It may include an information transmitter for transmitting the operation information and the conversation information received from the first user to the video chat device.

본 발명의 일실시예에 따른 영상 채팅 방법은 가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성하는 단계; 사용자들의 단말기로부터 상기 사용자들의 동작 정보와 대화 정보를 수신하는 단계; 및 상기 사용자들의 동작 정보에 따라 사용자들의 아바타의 동작을 제어하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a video chat method includes: generating avatars of users who participated in a video chat in a virtual space; Receiving operation information and conversation information of the users from terminals of users; And controlling the operation of avatars of the users according to the operation information of the users.

본 발명의 일실시예에 의하면, 사용자들에게 가상 공간에 아바타를 사용한 채팅을 제공하면서, 사용자의 감정에 따라 아바타가 감정 표현을 하도록 함으로써, 채팅 중에 사용자들의 얼굴을 공개하지 않고도 사용자들의 실제 감정을 다른 사용자들에게 실시간으로 알릴 수 있다.According to an embodiment of the present invention, while providing a chat using the avatar in the virtual space to the user, the avatar to express the emotion according to the user's emotion, thereby realizing the user's actual emotion without having to reveal the user's face during the chat You can notify other users in real time.

도 1은 본 발명의 일실시예에 따른 영상 채팅 장치와 다른 장치 간의 관계를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 채팅 장치를 도시한 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 사용자 단말기를 도시한 블록 다이어그램이다.
도 4는 본 발명의 일실시예에 따른 영상 채팅 방법을 도시한 플로우차트이다.1 is a view showing a relationship between a video chat device and another device according to an embodiment of the present invention.
2 is a block diagram illustrating a video chat device according to an embodiment of the present invention.
3 is a block diagram illustrating a user terminal according to an embodiment of the present invention.
4 is a flowchart illustrating a video chat method according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 영상 채팅 방법은 영상 채팅 장치에 의해 수행될 수 있다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The video chat method according to an embodiment of the present invention may be performed by a video chat device.

도 1은 본 발명의 일실시예에 따른 영상 채팅 장치와 다른 장치 간의 관계를 나타내는 도면이다. 1 is a view showing a relationship between a video chat device and another device according to an embodiment of the present invention.

본 발명의 일실시예에 따른 영상 채팅 장치(100)는 제1 사용자 단말기(110)와 제2 사용자 단말기(120) 간에 영상 채팅을 제공할 수 있다.The video chat device 100 according to an embodiment of the present invention may provide a video chat between the first user terminal 110 and the second user terminal 120.

이때, 영상 채팅 장치(100)는 도 1에 도시된 바와 같이 가상 공간(130)을 생성하고, 가상 공간(130)에 각각 제1 사용자(111)의 제1 아바타(112)와 제2 사용자(121)의 제2 아바타(122)를 생성함으로써, 제1 사용자(111)와 제2 사용자(121)가 아바타를 사용한 영상 채팅을 하도록 할 수 있다.In this case, the video chat device 100 generates a virtual space 130 as shown in FIG. 1, and the first avatar 112 and the second user (the first user 111) of the first user 111 are respectively located in the virtual space 130. By generating the second avatar 122 of 121, the first user 111 and the second user 121 may have a video chat using the avatar.

이때, 영상 채팅 장치(100)는 제1 사용자 단말기(110)와 제2 사용자 단말기(120)를 사용하여 제1 사용자(111)와 제2 사용자(121)의 표정이나 움직임을 판단하고, 판단 결과에 따라 제1 아바타(112)와 제2 아바타(122)의 동작을 제어할 수 있다.  At this time, the video chat device 100 determines the expression or movement of the first user 111 and the second user 121 by using the first user terminal 110 and the second user terminal 120, and determines the result. The operation of the first avatar 112 and the second avatar 122 may be controlled according to the present invention.

예를 들어 제1 사용자(111)가 웃는 경우, 영상 채팅 장치(100)는 제1 사용자의 표정이나 손 움직임, 상체 움직임과 같은 동작 정보를 기초로 사용자가 웃고 있다는 것을 판단하고, 제1 아바타(112)가 웃는 동작을 취하도록 제어할 수 있다. 이때, 제1 아바타(112)의 웃는 동작을 본 제2 사용자(121)는 제1 사용자(111)가 웃고 있다는 것을 인식할 수 있다.For example, when the first user 111 smiles, the video chat device 100 determines that the user is laughing based on motion information such as the expression, hand movement, and upper body movement of the first user. 112 may be controlled to take a smile gesture. In this case, the second user 121 who has seen the smiling operation of the first avatar 112 may recognize that the first user 111 is laughing.

또한, 제2 사용자(121)가 화를 내는 경우, 영상 채팅 장치(100)는 제2 사용자의 표정이나 손 움직임, 상체 움직임과 같은 동작 정보를 기초로 사용자가 화를 내고 있다는 것을 판단하고, 제2 아바타(122)가 화를 내는 동작을 취하도록 제어할 수 있다. 이때, 제2 아바타(122)의 화를 내는 동작을 본 제1 사용자(111)는 제2 사용자(121)가 화를 내고 있다는 것을 인식할 수 있다.In addition, when the second user 121 is angry, the video chat device 100 determines that the user is angry based on motion information such as facial expressions, hand movements, and upper body movements of the second user. 2 Avatar 122 can be controlled to take an angry action. In this case, the first user 111 who has seen an angry operation of the second avatar 122 may recognize that the second user 121 is angry.

즉, 영상 채팅 장치(100)는 사용자들에게 가상 공간(130)에 아바타를 사용한 채팅을 제공하면서, 사용자의 감정에 따라 아바타가 감정 표현을 하도록 함으로써, 채팅 중에 사용자들의 얼굴을 공개하지 않고도 사용자들의 실제 감정을 다른 사용자들에게 실시간으로 알릴 수 있다.That is, the video chat device 100 provides the user with a chat using the avatar in the virtual space 130, and allows the avatar to express emotions according to the user's emotions, thereby not revealing the user's faces during the chat. Real feelings can be notified to other users in real time.

또한, 도 1은 제1 사용자(111)와 제2 사용자(121) 간의 1 대 1 영상 채팅을 하는 경우의 구성이지만, 영상 채팅 장치(100)는 복수의 사용자들의 아바타들을 동일한 가상 공간(130)에 생성함으로써, 다 대다 영상 채팅을 수행할 수도 있다.In addition, although FIG. 1 illustrates a case where one-to-one video chat is performed between the first user 111 and the second user 121, the video chat apparatus 100 may display avatars of a plurality of users in the same virtual space 130. You can also create video chats on your phone.

도 2는 본 발명의 일실시예에 따른 영상 채팅 장치(100)를 도시한 블록 다이어그램이다. 2 is a block diagram illustrating a video chat device 100 according to an embodiment of the present invention.

도 2을 참고하면, 본 발명의 일실시예에 따른 영상 채팅 장치(100)는 아바타 생성부(210)와 정보 수신부(220), 아바타 제어부(230) 및 대화 표시부(240)를 포함할 수 있다. Referring to FIG. 2, the video chat device 100 according to an embodiment of the present invention may include an avatar generator 210, an information receiver 220, an avatar controller 230, and a conversation display unit 240. .

아바타 생성부(210)는 사용자들이 영상 채팅을 요청하는 경우, 가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성할 수 있다. 이때, 아바타 생성부(210)는 영상 채팅을 요청한 사용자의 설정에 따라 가상 공간을 생성할 수 있다. 또한, 아바타 생성부(210)는 사용자가 전에 아바타를 생성한 경우, 기 생성된 사용자의 아바타를 가상 세계에 배치할 수 있다.When the users request a video chat, the avatar generator 210 may generate avatars of users who participated in the video chat in the virtual space. In this case, the avatar generator 210 may generate a virtual space according to a setting of the user who requested the video chat. In addition, when the user has previously created an avatar, the avatar generator 210 may place the avatar of the user, which has been previously created, in the virtual world.

정보 수신부(220)는 사용자들의 단말기로부터 영상 채팅을 요청한 사용자들의 동작 정보와 대화 정보를 수신할 수 있다.The information receiver 220 may receive operation information and conversation information of users who have requested a video chat from their terminals.

이때, 사용자들의 동작 정보는, 사용자들의 단말기가 사용자를 촬영한 실시간 영상으로 사용자들의 동작을 식별하여 생성한 정보일 수 있다. 예를 들어 상기 사용자들의 동작 정보는 사용자의 표정 정보와, 사용자의 손 움직임 정보, 사용자의 상체 움직임 정보 및 사용자의 전신 움직임 정보 중 적어도 하나를 포함할 수 있다.In this case, the motion information of the users may be information generated by identifying the motions of the users by real-time images of the terminals of the users. For example, the motion information of the users may include at least one of facial expression information of the user, hand motion information of the user, upper body motion information of the user, and full body motion information of the user.

아바타 제어부(230)는 정보 수신부(220)가 수신한 사용자들의 동작 정보에 따라 아바타 생성부(210)가 생성한 사용자들의 아바타의 동작을 제어할 수 있다.The avatar controller 230 may control operations of the avatars of the users generated by the avatar generator 210 according to the operation information of the users received by the information receiver 220.

이때, 아바타 제어부(230)는 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 아바타의 동작을 제어할 수 있다. 이때, 아바타 제어부(230)는 사용자의 표정이나 동작에 따른 사용자의 감정에 대한 정보를 사용하여 사용자의 감정을 판단할 수 있다. 예를 들어, 사용자의 감정에 대한 정보는 웃는 얼굴은 웃음이라는 감정과 매칭되고, 흥분한 얼굴이나 주변 물체를 때리는 행동은 화남이라는 감정과 매칭된 정보일 수 있다.In this case, the avatar controller 230 may determine the emotions of the users by using the motion information of the users, and may control the operation of the avatar to display the determined emotions of the users. In this case, the avatar controller 230 may determine the emotion of the user by using information on the emotion of the user according to the expression or operation of the user. For example, the information about the emotion of the user may be matched with a feeling that a smile is a smile, and an action of hitting an excited face or an object may be information matched with an emotion of anger.

이때, 사용자의 감정 표현은 사용자마다 다를 수 있으므로, 아바타 제어부(230)는 사용자 별로 사용자의 감정에 대한 정보를 생성할 수 있다. 이때, 아바타 제어부(230)는 사용자 단말기를 사용하여 사용자를 식별하고, 식별 결과에 따른 사용자의 감정에 대한 정보를 사용하여 사용자의 감정을 판단할 수 있다.In this case, since the emotion expression of the user may be different for each user, the avatar controller 230 may generate information about the emotion of the user for each user. In this case, the avatar controller 230 may identify the user by using the user terminal and determine the emotion of the user by using information on the emotion of the user according to the identification result.

대화 표시부(240)는 사용자들로부터 수신한 대화 정보를 사용자들의 아바타와 연계하여 표시할 수 있다.The conversation display unit 240 may display the conversation information received from the users in association with the avatars of the users.

예를 들어 대화 표시부(240)는 사용자로부터 수신한 대화 정보를 사용자의 아바타에 말 풍선 형태로 표시함으로써, 어떤 사용자가 어떤 대화를 한 것인지 모든 사용자들이 확인하기 쉽도록 할 수 있다.For example, the conversation display unit 240 may display conversation information received from the user in the form of a speech bubble on the user's avatar, so that all users may easily identify which conversation has been made.

도 3은 본 발명의 일실시예에 따른 사용자 단말기(300)를 도시한 블록 다이어그램이다. 3 is a block diagram illustrating a user terminal 300 according to an embodiment of the present invention.

본 발명의 일실시예에 따른 사용자 단말기(300)는 도 1에 도시된 제1 사용자 단말기(110)나 제2 사용자 단말기(120)일 수 있고, 영상 채팅 장치(100)에 접속한 다른 사용자의 사용자 단말기일 수 있다.The user terminal 300 according to an embodiment of the present invention may be the first user terminal 110 or the second user terminal 120 illustrated in FIG. 1, and may be connected to the video chat device 100. It may be a user terminal.

또한, 도 3을 참고하면, 본 발명의 일실시예에 따른 사용자 단말기(300)는 촬영부(310), 동작 정보 생성부(320), 정보 전송부(330), 및 영상 채팅부(340)를 포함할 수 있다. In addition, referring to FIG. 3, the user terminal 300 according to an exemplary embodiment of the present invention includes a photographing unit 310, an operation information generating unit 320, an information transmitting unit 330, and a video chatting unit 340. It may include.

촬영부(310)는 사용자가 영상 채팅을 요청하는 경우, 사용자를 촬영하여 실시간 영상을 생성할 수 있다.When the user requests a video chat, the photographing unit 310 may photograph the user and generate a real time image.

동작 정보 생성부(320)는 촬영부(310)가 생성한 실시간 영상에 포함된 사용자의 동작을 식별하여 사용자의 동작 정보를 생성할 수 있다.The motion information generator 320 may generate motion information of the user by identifying the motion of the user included in the real-time image generated by the photographing unit 310.

이때, 동작 정보 생성부(320)는 실시간 영상에 색상 모형을 사용하여 피부색을 가진 사용자의 신체를 식별하고, 시간의 경과에 따른 사용자의 신체 변화에 따라 사용자의 동작을 식별할 수도 있다. In this case, the motion information generator 320 may identify a user's body having a skin color by using a color model on a real-time image, and may identify the user's motion according to a change in the user's body over time.

구체적으로, 동작 정보 생성부(320)는 사용자의 신체에서 머리 부분을 식별하고, 머리 부분의 음영과 색상에 따라 코와 같은 사용자 얼굴의 윤곽을 식별할 수 있다. 다음으로, 동장 정보 생성부(320)는 사용자 얼굴의 윤곽 변화의 형태에 따라 사용자의 얼굴 표정을 식별하여 동작 정보 중 표정 정보를 생성할 수 있다. 예를 들어, 동작 정보 생성부(320)는 사용자의 얼굴에서 입이 좌우로 늘어나면서 입꼬리가 위로 움직이거나, 눈끝이 밑으로 쳐지는 경우, 사용자가 웃는 표정이라는 표정 정보를 생성할 수 있다. 다른 예로, 동작 정보 생성부(320)는 사용자의 눈 끝에서 액체가 흘러내리는 것을 감지한 경우, 사용자가 우는 표정이라는 표정 정보를 생성할 수 있다. 그리고, 동작 정보 생성부(320)는 사용자의 눈썹이 찌푸려지는 것을 감지한 경우, 사용자가 화난 얼굴이라는 표정 정보를 생성할 수 있다.In detail, the motion information generator 320 may identify the head of the user's body and identify the contour of the user's face such as the nose according to the shadow and color of the head. Next, the copper field information generation unit 320 may identify the facial expression of the user according to the shape of the contour change of the user's face to generate facial expression information among the operation information. For example, the motion information generator 320 may generate facial expression information indicating that the user smiles when the mouth tail is moved upward or the eye tip is struck while the mouth extends from side to side in the user's face. As another example, when the motion information generation unit 320 detects that the liquid flows down from the end of the user's eye, the motion information generator 320 may generate facial expression information indicating that the user is crying. When the user's eyebrows are frowned, the motion information generator 320 may generate facial expression information indicating that the user is an angry face.

또한, 동작 정보 생성부(320)는 실시간 영상 중 1프레임에서 사용자의 신체 중 일부가 위쪽을 향하고 있고, 2프레임에서 사용자의 신체 중 위쪽을 향하던 부위가 식별되지 않은 경우, 사용자가 해당 부위를 아래로 내린 것으로 판단할 수 있다. 이때, 동작 정보 생성부(320)는 해당 부위가 손가락인지 팔인지, 다리인지에 따라 사용자가 신체의 일부를 위에서 아래로 이동하였다는 사용자의 손 움직임 정보, 사용자의 상체 움직임 정보 및 사용자의 전신 움직임 정보 중 하나를 생성할 수 있다. In addition, if a part of the user's body is facing upward in one frame of the real-time image, and the part facing the upper part of the user's body is not identified in the second frame, the motion information generator 320 may be located below the corresponding part. It can be judged to have fallen. At this time, the motion information generation unit 320 is the user's hand movement information, the user's upper body movement information and the user's full body movement that the user moved a part of the body from top to bottom according to whether the corresponding area is a finger, an arm, a leg One of the information can be generated.

정보 전송부(330)는 동작 정보 생성부(320)가 생성한 동작 정보와 사용자로부터 수신한 대화 정보를 영상 채팅 장치(100)로 전송할 수 있다.The information transmitter 330 may transmit the motion information generated by the motion information generator 320 and the conversation information received from the user to the video chat device 100.

이때, 정보 전송부(330)는 영상 채팅 장치(100)로부터 영상 채팅이 수행되는 가상 공간 정보와 채팅에 참가한 다른 사용자의 아바타 정보 및 다른 사용자가 입력한 대화 정보를 수신할 수 있다. 이때, 다른 사용자의 아바타 정보는 다른 사용자의 아바타 외형 정보와, 다른 사용자의 동작 정보에 따른 아바타의 동작 정보를 포함할 수 있다.In this case, the information transmitter 330 may receive the virtual space information where the video chat is performed, the avatar information of another user participating in the chat, and the conversation information input by the other user from the video chatting device 100. In this case, the avatar information of another user may include avatar appearance information of another user and motion information of the avatar according to the motion information of the other user.

영상 채팅부(340)는 가상 공간 정보에 따른 가상 공간과 아바타 정보에 따른 아바타를 표시하고, 사용자로부터 수신한 대화 정보와 다른 사용자가 입력한 대화 정보를 사용하여 영상 채팅을 수행할 수 있다.The video chat unit 340 may display the virtual space according to the virtual space information and the avatar based on the avatar information, and perform a video chat using the conversation information received from the user and the conversation information input by another user.

즉, 본 발명에 따른 사용자 단말기(300)는 사용자를 실시간으로 촬영하여 사용자의 동작을 식별하고, 식별한 사용자의 동작에 대한 정보를 영상 채팅 장치(100)로 전송함으로써, 영상 채팅 장치(100)가 사용자의 감정을 판단하도록 할 수 있다. 또한, 영상 채팅 장치(100)로부터 수신한 정보를 사용하여 다른 사용자의 아바타들을 표시함으로써, 사용자가 다른 사용자들의 감정을 느끼도록 할 수 있다. That is, the user terminal 300 according to the present invention photographs the user in real time to identify the user's motion, and transmits the information on the identified user's motion to the video chat device 100, thereby the video chat device 100. May determine the emotion of the user. In addition, by displaying the avatars of other users using the information received from the video chat device 100, the user may feel the emotions of other users.

도 4는 본 발명의 일실시예에 따른 영상 채팅 방법을 도시한 플로우차트이다.4 is a flowchart illustrating a video chat method according to an embodiment of the present invention.

단계(S410)에서 사용자 단말기(300)의 정보 전송부(330)는 영상 채팅 장치(100)에 영상 채팅 요청 신호를 전송할 수 있다.In operation S410, the information transmitter 330 of the user terminal 300 may transmit a video chat request signal to the video chat device 100.

단계(S420)에서 영상 채팅 장치(100)의 아바타 생성부(210)는 단계(S410)에서 수신한 영상 채팅 요청 신호에 따라 채팅을 위한 가상 공간을 생성하고, 생성한 가상 공간에 영상 채팅 요청 신호를 전송한 사용자의 아바타를 생성할 수 있다. In operation S420, the avatar generator 210 of the video chatting apparatus 100 generates a virtual space for chatting according to the video chat request signal received in operation S410, and generates a video chat request signal in the generated virtual space. An avatar of the user who transmits the data may be generated.

단계(S430)에서 사용자 단말기(300)의 촬영부(310)는 사용자를 촬영하여 실시간 영상을 생성할 수 있다. 이때, 단계(S430)는 단계(S420)과 순서 상관 없이 별도로 수행될 수 있다.In operation S430, the photographing unit 310 of the user terminal 300 may photograph the user and generate a real-time image. In this case, step S430 may be separately performed regardless of the order of step S420.

단계(S440)에서 사용자 단말기(300)의 동작 정보 생성부(320)는 단계(S430)에서 생성한 실시간 영상에 포함된 사용자의 동작을 식별하여 사용자의 동작 정보를 생성할 수 있다.In operation S440, the operation information generation unit 320 of the user terminal 300 may generate the operation information of the user by identifying the operation of the user included in the real-time image generated in operation S430.

단계(S450)에서 사용자 단말기(300)의 정보 전송부(330)는 단계(S440)에서 생성한 동작 정보와 사용자로부터 수신한 대화 정보를 영상 채팅 장치(100)로 전송할 수 있다. 이때, 단계(S430) 내지 단계(S450)는 영상 채팅이 수행되는 동안 실시간으로 반복 수행될 수 있다.In operation S450, the information transmitter 330 of the user terminal 300 may transmit the operation information generated in operation S440 and the conversation information received from the user to the video chatting device 100. In this case, steps S430 to S450 may be repeatedly performed in real time while the video chat is performed.

단계(S460)에서 영상 채팅 장치(100)의 정보 수신부(220)는 단계(S450)에서 전송한 사용자들의 동작 정보와 대화 정보를 수신하고, 영상 채팅 장치(100)의 아바타 제어부(230)는 정보 수신부(220)가 수신한 사용자들의 동작 정보에 따라 아바타 생성부(210)가 생성한 사용자들의 아바타의 동작을 제어할 수 있다.In operation S460, the information receiver 220 of the video chatting apparatus 100 receives operation information and conversation information of the users transmitted in operation S450, and the avatar controller 230 of the video chatting apparatus 100 receives the information. The avatar generator 210 may control operations of the avatars of the users generated by the receiver 220 according to the operation information of the users.

이때, 아바타 제어부(230)는 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 아바타의 동작을 제어할 수 있다. In this case, the avatar controller 230 may determine the emotions of the users by using the motion information of the users, and may control the operation of the avatar to display the determined emotions of the users.

단계(S470)에서 영상 채팅 장치(100)의 대화 표시부(240)는 단계(S460)에서 수신한 대화 정보를 사용자들의 아바타와 연계하여 표시할 수 있다.In operation S470, the conversation display unit 240 of the video chatting apparatus 100 may display the conversation information received in operation S460 in association with the avatars of the users.

단계(S480)에서 영상 채팅 장치(100)의 정보 수신부(220)는 단계(S420)에서 생성한 가상 공간에 대한 가상 공간 정보와 아바타에 대한 아바타 정보와 단계(S460)에서 제어된 아바타의 동작 정보 및 단계(S470)에서 표시된 대화 정보를 사용자 단말기(300)로 전송할 수 있다. In operation S 480, the information receiver 220 of the video chatting apparatus 100 may perform virtual space information on the virtual space created in operation S 420, avatar information about an avatar, and operation information of the avatar controlled in operation S 460. And the conversation information displayed in operation S470 may be transmitted to the user terminal 300.

단계(S490)에서 사용자 단말기(300)의 영상 채팅부(340)는 단계(S480)에서 수신한 정보에 따라 가상 공간과 아바타를 표시하고, 사용자로부터 수신한 대화 정보와 다른 사용자가 입력한 대화 정보를 사용하여 영상 채팅을 수행할 수 있다.In operation S490, the video chat unit 340 of the user terminal 300 displays the virtual space and the avatar according to the information received in operation S480, and the conversation information received from the user and the conversation information input by another user. You can perform a video chat using.

본 발명은 사용자들에게 가상 공간에 아바타를 사용한 채팅을 제공하면서, 사용자의 감정에 따라 아바타가 감정 표현을 하도록 함으로써, 채팅 중에 사용자들의 얼굴을 공개하지 않고도 사용자들의 실제 감정을 다른 사용자들에게 실시간으로 알릴 수 있다.The present invention provides the users with a chat using the avatar in a virtual space, while allowing the avatar to express emotions according to the user's emotions, thereby realizing the user's actual emotions to other users in real time without revealing their faces during the chat. You can inform.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 영상 채팅 장치
110: 제1 사용자 단말기
111: 제1 사용자
112: 제1 사용자 아바타
120: 제2 사용자 단말기
121: 제2 사용자
122: 제2 사용자 아바타100: video chat device
110: first user terminal
111: first user
112: first user avatar
120: second user terminal
121: second user
122: second user avatar

Claims (17)

가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성하는 아바타 생성부;
사용자들의 단말기로부터 사용자들의 동작 정보와 대화 정보를 수신하는 정보 수신부;
사용자들의 동작 정보에 따라 사용자들의 아바타의 동작을 제어하는 아바타 제어부; 및
상기 사용자들의 대화 정보를 사용자들의 아바타와 연계하여 말풍선의 형태로 표시하는 대화 표시부
를 포함하고,
상기 아바타 제어부는
사용자 별로 사용자의 감정에 대한 정보를 생성하며, 상기 사용자의 감정에 대한 정보와 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 아바타의 동작을 제어하며,
상기 사용자의 감정에 대한 정보는,
특정 감정을 느낀 사용자가 감정을 표현하는 동작과 관련된 정보인 것을 특징으로 하는 영상 채팅 장치.An avatar generator configured to generate avatars of users who have participated in a video chat in a virtual space;
An information receiver configured to receive operation information and conversation information of the users from the terminals of the users;
An avatar control unit controlling an operation of the avatars of the users according to the operation information of the users; And
A conversation display unit for displaying the conversation information of the users in the form of speech bubbles in association with the avatars of the users.
Lt; / RTI >
The avatar controller
It generates information on the emotion of the user for each user, by using the information on the user's emotions and the user's motion information to determine the user's emotions, and controls the operation of the avatar to display the determined user's emotions,
Information about the emotion of the user,
The video chat device, characterized in that the information related to the operation of expressing the emotions of the user feeling a certain emotion. 제1항에 있어서,
상기 사용자들의 동작 정보는,
사용자들의 단말기가 사용자를 촬영한 실시간 영상으로 사용자들의 동작을 식별하여 생성한 정보인 것을 특징으로 하는 영상 채팅 장치.The method of claim 1,
The operation information of the users,
The video chatting device, characterized in that the information generated by identifying the user's motion in the real-time video photographed by the user terminal. 제1항에 있어서,
상기 사용자들의 동작 정보는,
사용자의 표정 정보와, 사용자의 손 움직임 정보, 사용자의 상체 움직임 정보 및 사용자의 전신 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 채팅 장치.The method of claim 1,
The operation information of the users,
And at least one of facial expression information of the user, hand motion information of the user, upper body motion information of the user, and full body motion information of the user. 삭제delete 삭제delete 제1 사용자를 촬영하여 실시간 영상을 생성하는 촬영부;
실시간 영상에 포함된 제1 사용자의 동작을 식별하여 사용자의 동작 정보를 생성하는 동작 정보 생성부;
동작 정보와 제1 사용자로부터 수신한 대화 정보를 영상 채팅 장치로 전송하고, 상기 영상 채팅 장치로부터 채팅에 참가한 제2 사용자의 아바타 외형 정보와, 제2 사용자의 동작 정보에 따른 아바타의 동작 정보 및 제2 사용자가 입력한 대화 정보를 수신하는 정보 전송부; 및
제2 사용자의 아바타 외형 정보에 따른 아바타를 표시하고, 상기 아바타의 동작 정보에 따라 표시한 아바타의 동작을 제어하며, 제1 사용자로부터 수신한 대화 정보와 제2 사용자가 입력한 대화 정보를 사용하여 영상 채팅을 수행하는 영상 채팅부
를 포함하고,
상기 영상 채팅부는,
제1 사용자로부터 수신한 대화 정보를 제1 사용자의 아바타와 연계하여 말풍선의 형태로 표시하며,
상기 영상 채팅 장치는,
사용자 별로 사용자의 감정에 대한 정보를 생성하며, 상기 사용자의 감정에 대한 정보와 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 상기 아바타의 동작 정보를 생성하며,
상기 사용자의 감정에 대한 정보는,
특정 감정을 느낀 사용자가 감정을 표현하는 동작과 관련된 정보인 것을 특징으로 하는 사용자 단말기.A photographing unit which photographs the first user and generates a real-time image;
A motion information generator for identifying a motion of the first user included in the real-time video and generating motion information of the user;
Transmits the motion information and the conversation information received from the first user to the video chat device, the avatar appearance information of the second user who participated in the chat from the video chat device, the motion information and the avatar motion information according to the motion information of the second user; An information transmitter configured to receive conversation information input by the user; And
Displaying the avatar according to the avatar appearance information of the second user, controlling the operation of the displayed avatar according to the operation information of the avatar, and using the conversation information received from the first user and the conversation information input by the second user. Video chat unit that performs a video chat
Lt; / RTI >
The video chat unit,
The conversation information received from the first user is displayed in the form of a speech bubble in association with the avatar of the first user.
The video chat device,
The user generates information on the emotion of the user for each user, and determines the emotion of the user by using the information on the emotion of the user and the motion information of the user, and generates motion information of the avatar to display the determined emotion of the user. ,
Information about the emotion of the user,
The user terminal, characterized in that the information related to the operation of expressing the emotion of the user feeling a certain emotion. 삭제delete 삭제delete 삭제delete 사용자 별로 사용자의 감정에 대한 정보를 생성하는 단계
가상 공간에 영상 채팅에 참가한 사용자들의 아바타를 생성하는 단계;
사용자들의 단말기로부터 상기 사용자들의 동작 정보와 대화 정보를 수신하는 단계;
상기 사용자의 감정에 대한 정보와 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하는 단계;
판단한 사용자의 감정을 표시할 수 있도록 아바타의 동작을 제어하는 단계; 및
상기 사용자들의 대화 정보를 사용자들의 아바타와 연계하여 말풍선의 형태로 표시하는 단계
를 포함하고,
상기 사용자의 감정에 대한 정보는,
특정 감정을 느낀 사용자가 감정을 표현하는 동작과 관련된 정보인 것을 특징으로 하는 영상 채팅 방법.Generating information about the emotion of the user for each user
Generating avatars of users participating in the video chat in the virtual space;
Receiving operation information and conversation information of the users from terminals of users;
Determining the emotions of the users using the information on the emotions of the user and the motion information of the users;
Controlling an operation of the avatar to display the determined emotion of the user; And
Displaying the conversation information of the users in the form of speech bubbles in association with the avatars of the users
Lt; / RTI >
Information about the emotion of the user,
The video chat method, characterized in that the information related to the operation of expressing the emotions of the user feeling a certain emotion. 제10항에 있어서,
상기 사용자들의 동작 정보는,
상기 사용자들의 단말기가 사용자를 촬영한 실시간 영상으로 사용자들의 동작을 식별하여 생성한 정보인 것을 특징으로 하는 영상 채팅 방법.The method of claim 10,
The operation information of the users,
The video chat method, characterized in that the terminal of the user is generated by identifying the user's motion in the real-time video photographing the user. 제10항에 있어서,
상기 사용자들의 동작 정보는,
사용자의 표정 정보와, 사용자의 손 움직임 정보, 사용자의 상체 움직임 정보 및 사용자의 전신 움직임 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 채팅 방법.The method of claim 10,
The operation information of the users,
And at least one of facial expression information of the user, hand motion information of the user, upper body motion information of the user, and full body motion information of the user. 삭제delete 삭제delete 사용자를 촬영하여 실시간 영상을 생성하는 단계;
실시간 영상에 포함된 제1 사용자의 동작을 식별하여 사용자의 동작 정보를 생성하는 단계;
동작 정보와 제1 사용자로부터 수신한 대화 정보를 영상 채팅 장치로 전송하는 단계
상기 영상 채팅 장치로부터 채팅에 참가한 제2 사용자의 아바타 외형 정보와, 제2 사용자의 동작 정보에 따른 아바타의 동작 정보 및 제2 사용자가 입력한 대화 정보를 수신하는 단계;
제2 사용자의 아바타 외형 정보에 따른 아바타를 표시하고, 상기 아바타의 동작 정보에 따라 표시한 아바타의 동작을 제어하며, 제1 사용자로부터 수신한 대화 정보와 제2 사용자가 입력한 대화 정보를 사용하여 영상 채팅을 수행하는 단계
를 포함하고,
상기 영상 채팅을 수행하는 단계는,
제1 사용자로부터 수신한 대화 정보를 제1 사용자의 아바타와 연계하여 말풍선의 형태로 표시하며,
상기 영상 채팅 장치는,
사용자 별로 사용자의 감정에 대한 정보를 생성하며, 상기 사용자의 감정에 대한 정보와 사용자들의 동작 정보를 사용하여 사용자들의 감정을 판단하고, 판단한 사용자의 감정을 표시할 수 있도록 상기 아바타의 동작 정보를 생성하며,
상기 사용자의 감정에 대한 정보는,
특정 감정을 느낀 사용자가 감정을 표현하는 동작과 관련된 정보인 것을 특징으로 하는 사용자 단말기 수행 방법.
Photographing the user to generate a real-time image;
Generating motion information of the user by identifying the motion of the first user included in the real-time image;
Transmitting the motion information and the conversation information received from the first user to the video chat device.
Receiving avatar appearance information of a second user who has participated in a chat from the video chat device, operation information of the avatar according to operation information of the second user, and conversation information input by the second user;
Displaying the avatar according to the avatar appearance information of the second user, controlling the operation of the displayed avatar according to the operation information of the avatar, and using the conversation information received from the first user and the conversation information input by the second user. Steps to perform a video chat
Lt; / RTI >
Performing the video chat,
The conversation information received from the first user is displayed in the form of a speech bubble in association with the avatar of the first user.
The video chat device,
The user generates information on the emotion of the user for each user, and determines the emotion of the user by using the information on the emotion of the user and the motion information of the user, and generates motion information of the avatar to display the determined emotion of the user. ,
Information about the emotion of the user,
Method for performing a user terminal, characterized in that the information related to the operation of expressing the emotion by the user feeling a certain emotion.
삭제delete 삭제delete
KR1020110134728A 2011-12-14 2011-12-14 Apparatus and method for video chatting using avatar KR101312771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134728A KR101312771B1 (en) 2011-12-14 2011-12-14 Apparatus and method for video chatting using avatar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134728A KR101312771B1 (en) 2011-12-14 2011-12-14 Apparatus and method for video chatting using avatar

Publications (2)

Publication Number Publication Date
KR20130082693A KR20130082693A (en) 2013-07-22
KR101312771B1 true KR101312771B1 (en) 2013-09-27

Family

ID=48993889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134728A KR101312771B1 (en) 2011-12-14 2011-12-14 Apparatus and method for video chatting using avatar

Country Status (1)

Country Link
KR (1) KR101312771B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101655159B1 (en) * 2015-02-04 2016-09-22 한국기술교육대학교 산학협력단 System and method for realizing 3-dimensional avatar of user
US10284503B2 (en) 2015-09-25 2019-05-07 Lg Electronics Inc. Mobile terminal and control method thereof
KR20200019486A (en) 2018-08-14 2020-02-24 삼성전자주식회사 Electronic apparatus, contorl method thereof and electronic system
KR102101311B1 (en) * 2019-09-11 2020-04-16 이동환 Method and apparatus for providing virtual reality including virtual pet
CN112364971A (en) * 2020-11-06 2021-02-12 联想(北京)有限公司 Session control method and device and electronic equipment
KR102476830B1 (en) * 2022-02-03 2022-12-12 한예은 System for synthesizing of immersive video based metaverse

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012491A (en) * 2009-07-30 2011-02-09 에스케이텔레콤 주식회사 System, management server, terminal and method for transmitting of message using image data and avatar
KR20110018026A (en) * 2009-08-17 2011-02-23 에스케이텔레콤 주식회사 System and method for delivering feeling during video call
KR20110025720A (en) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 Method for video call based on an avatar and system, apparatus thereof
KR20110025718A (en) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 Method for video call and system thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110012491A (en) * 2009-07-30 2011-02-09 에스케이텔레콤 주식회사 System, management server, terminal and method for transmitting of message using image data and avatar
KR20110018026A (en) * 2009-08-17 2011-02-23 에스케이텔레콤 주식회사 System and method for delivering feeling during video call
KR20110025720A (en) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 Method for video call based on an avatar and system, apparatus thereof
KR20110025718A (en) * 2009-09-05 2011-03-11 에스케이텔레콤 주식회사 Method for video call and system thereof

Also Published As

Publication number Publication date
KR20130082693A (en) 2013-07-22

Similar Documents

Publication Publication Date Title
KR101312771B1 (en) Apparatus and method for video chatting using avatar
US11887234B2 (en) Avatar display device, avatar generating device, and program
WO2013027893A1 (en) Apparatus and method for emotional content services on telecommunication devices, apparatus and method for emotion recognition therefor, and apparatus and method for generating and matching the emotional content using same
JP6462059B1 (en) Information processing method, information processing program, information processing system, and information processing apparatus
CN110418095B (en) Virtual scene processing method and device, electronic equipment and storage medium
JP7070435B2 (en) Information processing equipment, information processing methods, and programs
CN110555507B (en) Interaction method and device for virtual robot, electronic equipment and storage medium
CN111580652B (en) Video playing control method and device, augmented reality equipment and storage medium
US20160006772A1 (en) Information-processing device, communication system, storage medium, and communication method
CN111583355B (en) Face image generation method and device, electronic equipment and readable storage medium
JP2022121451A (en) Program, information processing apparatus, information processing system, and information processing method
US20220398816A1 (en) Systems And Methods For Providing Real-Time Composite Video From Multiple Source Devices Featuring Augmented Reality Elements
CN111460785A (en) Interactive object driving method, device, equipment and storage medium
CN109150690B (en) Interactive data processing method and device, computer equipment and storage medium
WO2019155735A1 (en) Information processing device, information processing method, and program
WO2018158852A1 (en) Telephone call system and communication system
JP6563580B1 (en) Communication system and program
CN109039851B (en) Interactive data processing method and device, computer equipment and storage medium
US11212488B2 (en) Conference system
CN107070784A (en) A kind of 3D instant communicating systems based on WebGL and VR technologies
CN110413109A (en) Generation method, device, system, electronic equipment and the storage medium of virtual content
JP2009032056A (en) Communication system
JP2019036239A (en) Information processing method, information processing program, information processing system, and information processing device
JP7041484B2 (en) Programs, information processing devices, information processing systems, and information processing methods
CN113050791A (en) Interaction method, interaction device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180911

Year of fee payment: 6