WO2015170832A1 - 디스플레이 장치 및 그의 화상 통화 수행 방법 - Google Patents

디스플레이 장치 및 그의 화상 통화 수행 방법 Download PDF

Info

Publication number
WO2015170832A1
WO2015170832A1 PCT/KR2015/003437 KR2015003437W WO2015170832A1 WO 2015170832 A1 WO2015170832 A1 WO 2015170832A1 KR 2015003437 W KR2015003437 W KR 2015003437W WO 2015170832 A1 WO2015170832 A1 WO 2015170832A1
Authority
WO
WIPO (PCT)
Prior art keywords
video call
user
gesture
voice
display apparatus
Prior art date
Application number
PCT/KR2015/003437
Other languages
English (en)
French (fr)
Inventor
정성욱
견재기
고창석
장성현
이관민
이상희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP15788986.6A priority Critical patent/EP3142359A4/en
Publication of WO2015170832A1 publication Critical patent/WO2015170832A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Definitions

  • the present invention relates to a display apparatus and a method for performing a video call thereof, and more particularly, to a method for performing a video call with a video call counterpart.
  • a video call can look at the other person's face in the same way as a face-to-face communication, but due to the limitations of the environment where the screen must be viewed and communicated, it can be emotionally different from the actual conversation. Can be.
  • the present invention has been made in accordance with the above-described needs, an object of the present invention, a display device capable of outputting specific feedback according to the gestures and spoken voices of users in order to provide a rich emotional communication experience even during a video call And a video call method thereof.
  • the display device for achieving the above object is a video call performing unit for performing a video call with another display device, gestures of the user and the video call counterpart while the video call is performed; And a controller configured to output corresponding feedback when the spoken voice has a predetermined correlation.
  • the predetermined association may be a gesture in which the gesture has a meaning represented by the spoken voice.
  • the controller may have a preset association relationship between the gesture and the spoken voice of the user and the video call counterpart, and the corresponding feedback is provided when the gesture and the spoken voice of the user have the same meaning as the gesture and the spoken voice of the video call counterpart.
  • the video call execution unit may communicate with a camera photographing the user, a microphone for acquiring a voice spoken by the user, and a server to receive an image of a video call counterpart and a voice spoken by the video call counterpart.
  • the communication unit may include a display configured to display an image photographing the user and an image photographing the video call counterpart, and a speaker configured to output spoken voices of the video call counterpart.
  • the server determines whether there is a predetermined correlation between the gesture of the user and the video call counterpart and the spoken voice, and if the preset association exists, displaying the control command for outputting a corresponding feedback. Can be sent to the device.
  • controller may output corresponding feedback based on the received control command.
  • the controller may determine whether there is a predetermined correlation between the gesture and the spoken voice of the user and the gesture and the spoken voice of the video call counterpart received from the server, and if the preset association exists, the corresponding feedback is determined. You can output
  • the feedback may include at least one of a visual effect and a sound effect corresponding to gestures and spoken voices of the user and the video call counterpart.
  • the controller may output feedback corresponding to a position where the user's gaze stays when the gesture and the spoken voice of the user have a preset relation.
  • the controller may enlarge and output the image displayed at the position where the user's gaze stays.
  • the method of performing a video call of the display device comprises the steps of performing a video call with the other display device, and the gesture and spoken voice of the user and the video call counterpart while the video call is performed Outputting corresponding feedback in case of having an association relationship.
  • the predetermined association may be a gesture in which the gesture has a meaning represented by the spoken voice.
  • the outputting may be performed when the gesture and the spoken voice of the user and the video call counterpart have a preset relationship, and the gesture and the spoken voice of the user have the same meaning as the gesture and the spoken voice of the video call counterpart.
  • the feedback can be output.
  • the display apparatus may be configured to communicate with a camera photographing the user, a microphone for acquiring a voice spoken by the user, and a server to receive an image of a video call counterpart and a voice spoken by the video call counterpart.
  • the apparatus may include a communication unit, a display configured to display an image of the user and an image of the video call counterpart, and a speaker to output spoken voices of the video call counterpart.
  • the server determines whether there is a predetermined correlation between the gesture of the user and the video call counterpart and the spoken voice, and if the preset association exists, displaying the control command for outputting a corresponding feedback. Can be sent to the device.
  • the outputting may output a corresponding feedback based on the received control command.
  • the outputting may include determining whether the user's gesture and the spoken voice and the video call counterpart's gesture and the spoken voice received from the server have a predetermined relationship, and if the predetermined relationship exists, the response is determined.
  • the feedback can be output.
  • the feedback may include at least one of a visual effect and a sound effect corresponding to gestures and spoken voices of the user and the video call counterpart.
  • the outputting may include outputting a feedback corresponding to a position where the user's gaze stays when the gesture and the spoken voice of the user have a preset relation.
  • the outputting may be performed by enlarging and outputting an image displayed at a position where the user's gaze stays.
  • FIG. 1 is a view for explaining a video call system according to an embodiment of the present invention
  • FIG. 2 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a server according to an embodiment of the present invention.
  • FIGS. 4 to 7 are views for explaining a video call method according to various embodiments of the present invention.
  • FIG. 8 is a flowchart illustrating a video call method of the display apparatus according to an exemplary embodiment.
  • the video call system 1000 includes a display apparatus 100, a server 200, and another display apparatus 300.
  • the display apparatus 100 and the other display apparatus 300 may be implemented as a TV, but this is only an example and may be implemented as various types of devices such as a smart phone and a tablet. .
  • the display apparatus 100 may be connected to the server 200 through a network such as the Internet, and perform a video call with another display apparatus 300 connected to the server 200.
  • the display apparatus 100 captures a user performing a video call, obtains a voice spoken by the user, and transmits the video call data to the other display apparatus 300 through the server 200. Can be.
  • the display apparatus 100 receives the video call data transmitted from the other display apparatus 300 from the server 200, and the video call counterpart (ie, the video call counterpart) is received from the other display apparatus 300 based on the received video call data.
  • An image of the user of the other display apparatus 300) and a video call counterpart obtained by the other display apparatus 300 may be output.
  • the other display apparatus 300 may also perform a video call by performing the same function as the display apparatus 100.
  • the server 200 may assign a phone number or the like to the display apparatus 100 and the other display apparatus 300 to transmit and receive video call data between the display apparatus 100 and the other display apparatus 300. .
  • FIG. 1 illustrates that the display apparatus 100 performs a video call with one other display apparatus 300, this is only an example, and a plurality of display apparatuses that perform a video call with the display apparatus 100 may be provided. It may be.
  • the display apparatus 100 and the other display apparatus 300 may provide feedback corresponding thereto. feedback) can be output.
  • FIG. 2 is a block diagram illustrating a configuration of a display apparatus according to an exemplary embodiment.
  • FIG. 2A is a block diagram schematically illustrating a configuration of a display apparatus according to an exemplary embodiment
  • FIG. 2B is a block diagram illustrating a detailed configuration of a display apparatus according to an exemplary embodiment. to be.
  • the display apparatus 100 includes a video call performer 110 and a controller 120.
  • the video call execution unit 110 is a component for performing a video call with another display device 300.
  • the video call execution unit 110 captures a user who performs a video call, obtains a voice spoken by the user, and communicates with the server 200 to capture a video call counterpart on another display device 300. It is possible to receive a voice of the video and the acquired video call counterpart.
  • the video call performing unit 110 may display an image photographing the user and an image photographing the video call counterpart, and output a spoken voice of the video call counterpart.
  • the controller 120 controls the overall operation of the display apparatus 100.
  • the controller 120 may control the video call execution unit 110 to capture a user who performs a video call and acquire a voice spoken by the user.
  • controller 120 may transmit video call data composed of the captured image and the acquired voice to the other display apparatus 300 through the server 200.
  • the controller 120 may output an image of the video call counterpart and the obtained spoken voice on the other display apparatus 300. Can be.
  • the controller 120 may control the user to perform a video call with the user of the other display apparatus 300, that is, the video call counterpart.
  • the controller 120 may control to output corresponding feedback when a gesture and a spoken voice of a user who performs a video call and a video call counterpart during a video call have a predetermined relationship.
  • the preset association is a case where the gesture corresponds to a gesture having a meaning indicated by the spoken voice.
  • the term “high five” refers to an action in which two people raise one hand at the same time and face each other's palms, so the raising hand corresponds to a gesture having a meaning of “high five” spoken voice.
  • the spoken voice of "high five” and the gesture of raising a hand may be regarded as being related to each other.
  • a gesture of rolling a hand to the mouth generally corresponds to a singing gesture, and thus, a gesture of rolling a hand to the mouth corresponds to a gesture having a meaning represented by a singing speech voice. Gestures and rolls of hands in the mouth are related to each other.
  • the term “hello” refers to a greeting of waving a hand when meeting or breaking up. Therefore, a gesture of shaking a hand from side to side corresponds to a gesture having the meaning of a "hello” spoken voice. "The spoken voice and the waving gesture are related to each other.
  • the gesture and the spoken voice may be regarded as having a relationship with each other.
  • the feedback may be at least one of a visual effect and a sound effect corresponding to the gesture and the spoken voice.
  • the controller 120 may output a GUI (Graphic User Interface) in the form of an animated emoticon with palms facing each other as a visual effect, and output a "pair", which is a sound generated when the palms meet, as a sound effect.
  • GUI Graphic User Interface
  • the controller 120 may output a GUI (Graphic User Interface) in the form of a microphone to the user's hand as a visual effect, and output accompaniment for a song as a sound effect.
  • GUI Graphic User Interface
  • the controller 120 determines whether the user's gesture and the spoken voice and the video call counterpart's gesture and the spoken voice received from the server 200 have a predetermined relationship, and if there is a predetermined relationship, the response is determined.
  • the feedback can be output.
  • the display apparatus 100 may store information about a gesture associated with the spoken voice.
  • the display apparatus 100 may map and store information on a gesture having a meaning indicated by the spoken voice for each spoken voice.
  • the display apparatus 100 may store information indicating that a gesture having a meaning of “high five” is a gesture of lifting a hand, and a gesture having a meaning of a singing voice is rolled up. It can store information that corresponds to the gesture to be taken.
  • the controller 120 may determine whether a gesture and a spoken voice of a user of each of the display apparatus 100 and the other display apparatus 300 have a preset correlation using the predetermined information.
  • the controller 120 analyzes each of the image photographed by the display apparatus 100 and the image photographed by the other display apparatus 300 to recognize a specific object (eg, a face, a hand, etc.),
  • the gestures of the user and the video call counterpart may be determined according to the shape, location, and movement.
  • the controller 120 recognizes the user's hand in each image by using the difference in gray values between adjacent pixels, and determines the shape, position, and movement of the hand to determine whether the user raises the hand. , You can determine if you roll your hand and make a gesture.
  • the controller 120 may perform voice recognition for each of the voice acquired by the display apparatus 100 and the voice obtained by the other display apparatus 300.
  • the controller 120 performs voice recognition on a voice acquired by each of the display apparatus 100 and the other display apparatus 300, so that a specific keyword or sentence is included in the spoken voice of the user and the video call counterpart, It may be determined whether the spoken voice corresponds to a song having a certain pitch.
  • the controller 120 may determine that each user is singing.
  • the controller 120 may determine whether a gesture performed by the user and the video call counterpart has a preset correlation with the spoken voice using the pre-stored information.
  • a voice acquired by each of the display apparatus 100 and the other display apparatus 300 corresponds to “high five”, and is based on an image photographed by each of the display apparatus 100 and the other display apparatus 300. Assume that it is determined that the user and the video call counterpart are making a hand gesture.
  • the controller 120 may have a preset association relationship between the gesture taken by the user of the display apparatus 100 and the spoken voice, and the gesture taken by the user of the other display apparatus 300 may have a preset association relationship with the spoken voice. It can be judged that.
  • the controller 120 may determine that a gesture made by the user of the other display apparatus 300 has a preset relation with the spoken voice.
  • control unit 120 has a preset association relationship between the gesture and the spoken voice of the user and the video call counterpart, and the corresponding feedback when the gesture and the spoken voice of the user have the same meaning as the gesture and the spoken voice of the video call counterpart. You can output
  • having the same meaning may mean a case in which the user and the video call counterpart have the same gesture, and their spoken voices contain the same keyword or the same sentence.
  • the gesture and the spoken voice of the user and the video call party have a preset association. It can be seen that they have the same meaning.
  • the controller 120 may output corresponding feedback.
  • the display apparatus 100 may store information on the feedback corresponding to the gesture and the spoken voice that are related.
  • the display apparatus 100 may map and store information on feedback corresponding to the gesture and the spoken voice for each gesture and the spoken voice that are related.
  • the display apparatus 100 maps and stores an animated emoticon in which palms meet each other and a sound when a palm meets with respect to a voice “high five” and a gesture of raising a hand.
  • a roll-to-mouth gesture can map and store a microphone-shaped emoticon and an accompaniment for the song.
  • the controller 120 may output the feedback corresponding to the gesture and the spoken voice related to each other by using previously stored information.
  • a voice uttered by a user of the display apparatus 100 and a gesture taken are a “high five” voice and a hand raising gesture, and a voice uttered by a user of another display apparatus 300 and a gesture taken are also “high”. Assume that the voice of "five" and the gesture of raising a hand.
  • the controller 120 may output feedback mapped to a voice of “high five” and a gesture of raising a hand. That is, the controller 120 may output GUIs of an animated emoticon in which palms meet each other as a visual effect, and output sound generated by palms as a sound effect.
  • the controller 120 may configure and output a video call image PIP screen. That is, the controller 120 may display an image of a video call counterpart on a main screen (a screen of relatively large size) and display an image of the user on a sub screen (a screen of relatively small size).
  • the controller 120 may display the GUI output as a visual effect by overlaying the image on the video call counterpart.
  • the controller 120 may output corresponding feedback as long as the gesture and the spoken voice of the video call counterpart have a predetermined relationship.
  • a user of the other display apparatus 300 performs a gesture of rolling a hand to the mouth while singing a song.
  • the controller 120 may output feedback mapped to a gesture of singing a song and a gesture of rolling a hand to the mouth, regardless of the gesture and the spoken voice of the user of the display apparatus 100. That is, the controller 120 may output a microphone-type GUI as a visual effect in the hand of the video call counterpart displayed on the screen, and output an accompaniment corresponding to the song as a sound effect.
  • the corresponding feedback is output when the gestures and the spoken voices of the users have a predetermined relationship, but this is only an example.
  • the controller 120 may output corresponding feedback when a gesture or a voice is uttered even if the gesture and the spoken voice of the user do not have a predetermined relationship.
  • the controller 120 may output an accompaniment for a song as a sound effect even if the user of the other display apparatus 300 does not take a gesture of rolling a hand to the mouth.
  • the controller 120 may output feedback corresponding to the position where the user's gaze stays.
  • the controller 120 may output the feedback corresponding to the position where the user's gaze stays on the video call image while the video call image is displayed.
  • a gesture pointing to a specific point corresponds to a gesture having a meaning of "speak here” spoken voice, and "here” The speech of "Look” and the gesture pointing to a certain point are related to each other.
  • the controller 120 determines the shape, position, and the like of the user's hand in the image photographing the user of the display apparatus 100, and when the user's hand points to a specific point on the screen, the gesture is “see here”. It can be determined that the voice is related to each other.
  • the display apparatus 100 may store information indicating that a gesture having a meaning indicated by the voice “look here” corresponds to a gesture indicating a specific point.
  • the controller 120 may output a specific type of GUI as a visual effect at a point where the user's gaze is located on the screen.
  • the GUI may be lines, highlights, shapes, and the like.
  • the display apparatus 100 may map and store a specific type of GUI to a voice “look here” and a gesture indicating a specific point.
  • the controller 120 may divide a screen into two areas, display an image of a video call counterpart in one area, and display a content screen in another area.
  • the content is a material that users can use when performing a video call, and may be in the form of text, an image, a video, and the like.
  • the controller 120 may transmit an image and a content screen of the user of the display apparatus 100 to the server 200, and the server 200 may display the display apparatus ( The video and the content screen transmitted by the display apparatus 100 may be transmitted to the other display apparatus 300 of the video call counterpart who performs the video call.
  • the users who perform the video call can simultaneously receive the video and the content screen of the video call counterpart.
  • the controller 120 when the user places a gaze at a specific point of the area where the content screen is displayed among the two divided areas and utters "look here", the controller 120 has a specific shape in the area where the user's gaze is located. Can display the GUI.
  • the controller 120 may transmit the location information on the point where the user's gaze is located on the content screen, that is, the point where the specific type of GUI is displayed to the server 200, and the server 200 transmits the corresponding location information. It may be transmitted to the other display device 300.
  • the other display apparatus 300 may display a specific type of GUI at the same point where the user's gaze of the display apparatus 100 is located on the content screen by using the location information received from the server 200. have.
  • the controller 120 may display a specific type of GUI at the corresponding location on the content screen.
  • the controller 120 may change the layout of the screen on which the video call image is displayed according to the eyes of the user.
  • the controller 120 may enlarge and output the image displayed at the position where the user's gaze stays.
  • the controller 120 enlarges the size of the area where the user's gaze is located and reduces the size of the area where the gaze is not located. You can.
  • the controller 120 may enlarge the size of the area where the video call counterpart is displayed and reduce the size of the area where the content screen is displayed. .
  • the controller 120 may reduce the size of the area where the video call counterpart is displayed and increase the size of the area where the content screen is displayed.
  • the controller 120 may transmit information on the area where the user's gaze is located, that is, whether the user is looking at the video call screen or the content screen to the server 200.
  • the 200 may transmit the corresponding location information to the other display device 300.
  • the other display apparatus 300 may enlarge the size of an area in which the gaze of the user of the display apparatus 100 is located and reduce the size of another area by using the location information received from the server 200. .
  • the controller 120 uses the received location information to determine the area of the user's gaze of the other display device 300.
  • the size can be increased, and the size of other regions can be reduced.
  • the controller 120 may change the layout of the video call screen according to the area where the user's gaze is located.
  • the display apparatus 100 includes a video call performer 110, a controller 120, a storage 130, an audio processor 140, a video processor 150, a remote controller signal receiver 160, and a line of sight. It includes a tracking unit 170.
  • the video call execution unit 110 is configured to perform a video call with another display device 300 and includes a camera 111, a microphone 112, a communication unit 113, a display 114, and a speaker 115. can do.
  • the camera 111 photographs a user who makes a video call. That is, the camera 111 may generate a video for a video call by photographing a user who is located in front of the display apparatus 100 and makes a video call.
  • the camera 111 may be built in the display apparatus 100 or connected externally. Alternatively, the camera 111 may be normally hidden inside the display apparatus 100 and then come out when using a video call.
  • the microphone 112 acquires a voice spoken by a user who performs a video call.
  • the communication unit 113 may communicate with the server 200 to transmit and receive video call data.
  • the communicator 113 transmits the image captured by the camera 111 and the voice acquired by the microphone 110 to the server 200, and the image and image photographing the video call counterpart on another display device 300.
  • the call counterpart may receive a voice spoken by the server 200.
  • the communication unit 113 may communicate with the server 200 according to various communication methods, and may include a chip corresponding to each communication method.
  • the communication unit 130 may access the server 200 through the Internet using a wired / wireless LAN card.
  • the display 114 displays various images for the video call.
  • the display 114 may display an image photographing a user and an image photographing a video call counterpart.
  • the image of the user and the image of the video call counterpart may be displayed in a PIP form, and the visual feedback may be displayed by being overlaid on the image of the video call counterpart.
  • the display 114 may display an image of the video call counterpart and a content screen.
  • the display 114 may divide the screen into two, display an image of a video call counterpart in one region, and display a content screen in the other region.
  • the speaker 115 outputs various audio for video call.
  • the speaker 115 may output a spoken voice and a sound effect of the video call counterpart.
  • the storage unit 130 stores various information.
  • the storage unit 130 may store information about a gesture associated with a spoken voice, information about a feedback corresponding to the gesture and the spoken voice, and the like.
  • the controller 120 may determine whether the gesture and the spoken voice of the user and the video call counterpart have a preset association using this information, and control to output a feedback corresponding to the preset association. Can be.
  • the information about the feedback stored in the storage 130 may be set and changed by the user.
  • the controller 120 acquires and stores a voice spoken by the user through the microphone 112 and applies the stored voice as a sound effect for a specific gesture and a spoken voice having a correlation with each other based on a user command. Can be.
  • the controller 120 may display a list of stored sounds acquired through the microphone 112 and set the selected sounds from the list as sound effects for specific gestures and spoken voices that are related to each other.
  • the audio processor 140 may perform audio processing.
  • the controller 120 controls the audio processor 140 to encode a voice obtained through the microphone 112 in a specific form in order to transmit the voice to the server 200 in a video call, and the server 200 ) May be processed such that decoding, amplification, noise filtering, etc. are performed on the voice obtained by the other display apparatus 300 received from the other display apparatus 300 so as to be output from the speaker 115.
  • the audio processor 140 may process various audio data.
  • the video processor 150 may perform processing on video data.
  • the controller 120 controls the video processor 150 to encode an image captured by the camera 111 in a specific form in order to transmit the image captured by the camera 111 to the server 200, and receives the image from the server 200.
  • Processing such as decoding and noise filtering may be performed on the image photographed by the other display apparatus 300 so as to be outputable on the display 114.
  • the video processor 150 may process various video data.
  • the controller 120 may control the communication unit 130 to transmit the encoded video and audio to the server 200.
  • the remote control signal receiver 160 may receive a user command for controlling the display apparatus 100 from a remote controller (not shown).
  • the user command may include a command for performing a video call.
  • the controller 120 may control to perform the video call.
  • the controller 120 photographs a user who performs a video call by activating the camera 111 and performs a video call by activating the microphone 112.
  • the user may collect voices spoken by the user and transmit video call data to the server 200, and may output an image captured by the other display device 300 received from the server 200 and an acquired voice.
  • the gaze tracking unit 170 may track the eyes of the user.
  • the gaze tracking unit 170 may detect an eye from an image photographing the user, and detect a direction in which the gaze of the user is directed from the detected eye.
  • the gaze tracking unit 170 may determine the direction in which the eyes of the user are directed based on the position of the area where the pupil is located in the eyes of the user. For example, when the pupil is present in the left / right / up / down direction with respect to the center of the eye, the gaze tracking unit 170 may display the left / right / upside of the screen on which the user's gaze is displayed on the display 115. You can judge by looking downwards.
  • the controller 120 may change the layout of the video call screen based on the direction in which the user's gaze is detected by the gaze tracking unit 170.
  • the controller 120 may include a RAM 121, a ROM 122, a main CPU 123, a graphics processor 124, first to n interface 125-1 to 125-n, and a bus 126. do.
  • the RAM 121, the ROM 122, the main CPU 123, the graphics processor 124, and the first to n-interfaces 125-1 to 125-n may be connected to each other through the bus 126.
  • the first to n interfaces 125-1 to 125-n are connected to the various components described above.
  • One of the interfaces may be a network interface connected to an external device via a network.
  • the main CPU 123 accesses the storage unit 130 and performs booting using an operating system stored in the storage unit 130.
  • the main CPU 123 may perform various operations using various application programs, data, and the like stored in the storage 130.
  • the ROM 122 stores a command set for system booting.
  • the main CPU 123 copies the O / S stored in the storage unit 130 to the RAM 121 according to the command stored in the ROM 122 and executes O / S.
  • the main CPU 123 copies various application programs stored in the storage unit 130 to the RAM 121 and executes the application programs copied to the RAM 121 to perform various operations.
  • the graphic processor 124 may generate a screen including various objects such as an icon, an image, text, and the like, and output the screen through the display 114.
  • the server 200 transmits and receives video call data between the display apparatus 100 and the other display apparatus 300, and the display apparatus 100 may be a gesture and a spoken voice of a user and a video call counterpart. It has been described as determining whether there is a set correlation and outputting corresponding feedback according to the determination result.
  • a control command for allowing the server 200 to output feedback may be transmitted to the display apparatus 100.
  • the server 200 includes a communication unit 210, a storage unit 220, and a control unit 230.
  • the communicator 210 communicates with the display apparatus 100 and another display apparatus 300.
  • the communication unit 210 receives the video call data transmitted from the display apparatus 100 and transmits the same to the other display apparatus 300, and receives the video call data transmitted from the other display apparatus 300 to display the display apparatus ( 100).
  • the communication unit 210 may perform communication with the server 200 to communicate with the display apparatus 100 and the other display apparatus 300 according to various communication methods, and may include a chip corresponding to each communication method. Can be.
  • the communication unit 210 may be connected to the display apparatus 100 and the other display apparatus 300 through the Internet using a wired / wireless LAN card.
  • the storage unit 220 stores various information.
  • the storage unit 220 may store information on a gesture associated with the spoken voice, information on feedback corresponding to the gesture and the spoken voice, and the like.
  • the controller 230 may determine whether the gesture and the spoken voice of the user and the video call counterpart have a preset association using this information, and control to output a corresponding feedback in the case of the preset association. have.
  • the controller 230 controls the overall operation of the server 200.
  • the controller 230 may control the communicator 210 to receive video call data from each of the display apparatus 100 and the other display apparatus 300. That is, an image photographing a user of each of the display apparatus 100 and the other display apparatus 300 and a voice uttered by the user may be received.
  • the controller 230 determines whether a gesture and a spoken voice of a user and a video call counterpart received from each of the display apparatus 100 and the other display apparatus 300 have a predetermined correlation, and as a result of the determination, the predetermined relation If there is, a control command for outputting a corresponding feedback may be transmitted to the display apparatus 100.
  • the storage unit 220 may store information about a gesture associated with the spoken voice.
  • the storage unit 220 may map and store information on a gesture having a meaning indicated by the corresponding spoken voice for each spoken voice.
  • the storage unit 220 stores information indicating that a gesture having a meaning of “high five” voice corresponds to a gesture of lifting a hand, and a gesture having a meaning of voice of a singing song rolls up a hand. It can store information that corresponds to the gesture to be taken.
  • the controller 230 determines whether the gesture and the spoken voice of the user and the video call counterpart received from each of the display apparatus 100 and the other display apparatus 300 have a preset correlation using the pre-stored information. can do.
  • the controller 230 recognizes a specific object (eg, a face, a hand, etc.) from an image received from each of the display apparatus 100 and the other display apparatus 300, and recognizes the shape, position, and movement of the recognized object. Accordingly, the gesture of the user may be determined.
  • a specific object eg, a face, a hand, etc.
  • the controller 230 recognizes the user's hand in the image by using the difference in gray values between adjacent pixels, and determines the shape, position, and movement of the hand to make a gesture of raising the hand. You can determine if you are rolling your hand and making a gesture to the mouth.
  • the controller 230 may perform voice recognition on voices received from each of the display apparatus 100 and the other display apparatus 300.
  • the controller 230 performs voice recognition on a voice received from each of the display apparatus 100 and the other display apparatus 300, so that a specific keyword or sentence is included in the voice spoken by the user and the video call counterpart. For example, it is possible to determine whether these voices correspond to songs having a certain height.
  • the keyword “high five” may be used for the corresponding voices. Is included, so that each user can determine that the voice of the "high five”.
  • the controller 230 may determine that the corresponding voices correspond to a specific song.
  • the controller 230 may determine whether the gesture taken by the user has a predetermined relationship with the spoken voice using the pre-stored information.
  • a voice received from each of the display apparatus 100 and the other display apparatus 300 corresponds to “high five”, and based on an image received from each of the display apparatus 100 and the other display apparatus 300.
  • the controller 230 may have a preset association relationship between a gesture taken by a user of the display apparatus 100 and a spoken voice, and a preset association relationship between a gesture taken by a user of the other display apparatus 300 and a spoken voice. It can be judged that.
  • a voice received from each of the display apparatus 100 and the other display apparatus 300 corresponds to a specific song, and the user and the image are based on an image received from each of the display apparatus 100 and the other display apparatus 300.
  • the controller 230 may have a preset association relationship between a gesture taken by a user of the display apparatus 100 and a spoken voice, and a preset association relationship between a gesture taken by a user of the other display apparatus 300 and a spoken voice. It can be judged that.
  • the controller 230 may output a corresponding feedback when the gesture and the spoken voice of the user and the video call counterpart have a predetermined relationship, and the gesture and the spoken voice of the user have the same meaning as the gesture of the video call counterpart.
  • the control command may be transmitted to the display apparatus 100 and the other display apparatus 300.
  • having the same meaning may mean a case in which the user and the video call counterpart are making the same gesture or the spoken voices contain the same keyword or the same sentence.
  • the gesture and the spoken voice of the user and the video call party have a preset association. It can be seen that they have the same meaning.
  • the controller 230 may transmit a control command to the display apparatus 100 and the other display apparatus 300 to output corresponding feedback when the gestures and the spoken voices of each user are related and they have the same meaning. Can transmit a control command to the display apparatus 100 and the other display apparatus 300 to output corresponding feedback when the gestures and the spoken voices of each user are related and they have the same meaning. Can transmit a control command to the display apparatus 100 and the other display apparatus 300 to output corresponding feedback when the gestures and the spoken voices of each user are related and they have the same meaning. Can transmit a control command to the display apparatus 100 and the other display apparatus 300 to output corresponding feedback when the gestures and the spoken voices of each user are related and they have the same meaning. Can transmit
  • the display apparatus 100 may output feedback corresponding to gestures and spoken voices of users who are associated with each other.
  • the controller 120 may output corresponding feedback based on the received control command.
  • the display apparatus 100 may store information on the feedback corresponding to the gesture and the spoken voice that are related.
  • the display apparatus 100 may map and store information on feedback corresponding to the gesture and the spoken voice for each gesture and the spoken voice that are related.
  • the display apparatus 100 maps and stores an animated emoticon in which palms meet each other and a sound when a palm meets with respect to a voice “high five” and a gesture of raising a hand.
  • a roll-to-mouth gesture can map and store a microphone-shaped emoticon and an accompaniment for the song.
  • the controller 120 may output feedback corresponding to the control command among feedbacks mapped for each gesture and spoken voice.
  • control unit 120 may output an animated emoticon in which the palms mapped to the voice “high five” and the hand gesture raise each other as a visual effect, and output the sound generated when the palms meet as a sound effect. have.
  • control unit 230 outputs a feedback corresponding to the gesture and the spoken voice of the video call counterpart only if the gesture and the spoken voice of the video call counterpart have a predetermined correlation even if the gesture and the spoken voice of the user and the video call counterpart have the same meaning. May be transmitted to the display apparatus 100 and the other display apparatus 300.
  • a user of the other display apparatus 300 performs a gesture of rolling a hand to the mouth while singing a song.
  • the controller 230 displays a control command for outputting a feedback mapped to a gesture of singing and a gesture of bringing a hand to the mouth regardless of a gesture and a spoken voice of the user of the display apparatus 100. May transmit to the device 100.
  • the display apparatus 100 may output a GUI in the form of a microphone to the hand of the video call counterpart as a visual effect, and output an accompaniment corresponding to the song as a sound effect.
  • the corresponding feedback is output when the gestures and the spoken voices of the users have a predetermined relationship, but this is only an example.
  • the controller 230 may provide a control command to output a corresponding feedback when a specific gesture or a specific voice is uttered. Transmission to the display apparatus 300 may be performed.
  • the controller 230 transmits a control command to the display apparatus 100 to output an accompaniment for a song as a sound effect even if the user of the other display apparatus 300 does not take a gesture by rolling a hand to the mouth. Can be.
  • the user 10 may perform a video call with a user of another display device 300 through the display apparatus 100.
  • the display apparatus 100 displays an image of a user captured by the display apparatus 100 and an image of a video call counterpart photographed by another display apparatus 300 in a PIP form, and is obtained by the display apparatus 100.
  • the server 200 transmits the spoken voice of a video call counterpart obtained by the other display apparatus 300 transmitted from the other display apparatus 300 to the other display apparatus 300 through the server 200. Can be received from and output.
  • the gestures and spoken voices of the user 10 and the video call counterpart 30 each have a predetermined relationship, and the gestures and the spoken voices have the same meaning.
  • "High Five” may output feedback corresponding to a spoken voice and a gesture of raising a hand.
  • the display apparatus 100 may display a GUI 410 in the form of an animated emoticon in which palms meet each other, and output a “pair” 420 that is a sound generated when the palms meet. .
  • the video call counterpart 30 performs a gesture of rolling a hand to the mouth while singing.
  • the display apparatus 100 may not be able to speak the spoken voice and the hand in that the gesture and the spoken voice of the video call counterpart 30 are related.
  • the user may output feedback corresponding to the gesture of rolling.
  • the display apparatus 100 displays the microphone gui in the form of a microphone in the hand of the video call counterpart 30, and accompanies 520 suitable for a song that the user of another display apparatus 300 sings. ) Can be printed.
  • corresponding feedback may be output when the user's gesture and the spoken voice have a predetermined relation.
  • the display apparatus 100 divides a screen into two areas during a video call, displays an image 610 of a video call counterpart in one area, and displays a content screen 620 in another area. ) Can be displayed.
  • the display apparatus 100 may highlight and display the point indicated by the user as shown in FIG. 6B. .
  • the display apparatus 100 may transmit location information about a point indicated by the user on the content screen to the other display apparatus 300 through the server 200, and the other display apparatus 300 may be transferred from the server 200. Using the received location information, the same location as the highlighted point in the display apparatus 100 may be highlighted and displayed.
  • the display apparatus 100 may enlarge the content screen and reduce the video of the video call counterpart, as shown in FIG. 7A. .
  • the display apparatus 100 may reduce the content screen and enlarge the video of the video call counterpart as shown in FIG. 7B. have.
  • feedback corresponding to the user's eyes may be output.
  • FIG. 8 is a flowchart illustrating a video call method of the display apparatus according to an exemplary embodiment.
  • a video call is made with another display device (S810).
  • the display device includes a camera for photographing a user, a microphone for acquiring a voice spoken by the user, a communication unit for communicating with a server to receive a video photographing a video call counterpart and a voice spoken by the video call counterpart, a user It may include a display for displaying an image of the video and the video call counterpart and a speaker for outputting a spoken voice of the video call counterpart.
  • the predetermined association may be a gesture in which the gesture has a meaning represented by the spoken voice.
  • the feedback may include at least one of a visual effect and a sound effect corresponding to the gesture and the spoken voice of the user and the video call counterpart.
  • the server may determine whether a gesture and a spoken voice of a user and a video call counterpart have a preset correlation, and if a preset association exists, the server may transmit a control command for outputting corresponding feedback to the display device. have.
  • step S820 may output a corresponding feedback based on the received control command.
  • operation S820 it is determined whether the gesture and the spoken voice of the video call counterpart received from the server and the spoken voice of the user have a predetermined correlation, and if the predetermined correlation exists, the corresponding feedback is output. can do.
  • operation S820 when the gesture and the spoken voice of the user have a preset relation, the feedback corresponding to the position where the user's eyes stay may be output. In operation S820, the image displayed at the location where the user's eyes stay may be enlarged and output.
  • a non-transitory computer readable medium may be provided in which a program for sequentially executing a video call method according to the present invention is stored.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • various applications or programs may be stored and provided in a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.
  • the bus is not shown in the above-described block diagram of the display device, communication between each component in the display device may be performed through a bus.
  • the display device may further include a processor such as a CPU, a microprocessor, or the like that performs the above-described various steps.

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 타 디스플레이 장치와 화상 통화를 수행하기 위한 화상 통화 수행부 및, 화상 통화가 수행되는 도중 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력하도록 제어하는 제어부를 포함한다.

Description

디스플레이 장치 및 그의 화상 통화 수행 방법
본 발명은 디스플레이 장치 및 그의 화상 통화 수행 방법에 관한 것으로, 더욱 상세하게는 화상 통화 상대방과 화상 통화를 수행하는 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
이러한 디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 화상 통화 등과 같은 기능을 갖춘 제품들이 속속 등장하고 있다.
한편, 화상 통화는 페이스-투-페이스(Facr-to-Face) 커뮤니케이션과 동일하게 상대방 모습을 바라볼 수 있지만, 화면을 보고 대화를 수행해야 하는 환경의 제약 때문에 실제 대화와는 달리 감성적 이질감이 느껴질 수 있다.
이에 따라, 화상 통화 시에도 좀 더 풍부한 감성을 전달할 수 있는 방안의 모색이 요청된다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은, 화상 통화 시에도 감성적인 커뮤니케이션 경험을 풍부하게 제공하기 위해, 사용자들의 제스처 및 발화 음성에 따라 특정한 피드백을 출력할 수 있는 디스플레이 장치 및 그의 화상 통화 수행 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 타 디스플레이 장치와 화상 통화를 수행하기 위한 화상 통화 수행부 및, 상기 화상 통화가 수행되는 도중 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력하도록 제어하는 제어부를 포함한다.
여기에서, 상기 기설정된 연관 관계는 상기 제스처가 상기 발화 음성이 나타내는 의미를 갖는 제스처일 수 있다.
또한, 상기 제어부는 상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 상기 사용자의 제스처 및 발화 음성이 상기 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력할 수 있다.
그리고, 상기 화상 통화 수행부는 상기 사용자를 촬영하는 카메라, 상기 사용자가 발화한 음성을 획득하는 마이크, 서버와 통신을 수행하여, 화상 통화 상대방을 촬영한 영상 및 상기 화상 통화 상대방이 발화한 음성을 수신하는 통신부, 상기 사용자를 촬영한 영상 및 상기 화상 통화 상대방을 촬영한 영상을 디스플레이하는 디스플레이 및, 상기 화상 통화 상대방의 발화 음성을 출력하는 스피커를 포함할 수 있다.
여기에서, 상기 서버는 상기 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 상기 디스플레이 장치로 전송할 수 있다.
또한, 상기 제어부는 상기 수신된 제어 명령에 기초하여 대응되는 피드백을 출력할 수 있다.
한편, 상기 제어부는 상기 사용자의 제스처와 발화 음성 및 상기 서버로부터 수신된 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력할 수 있다.
또한, 상기 피드백은 상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성에 대응되는 비쥬얼 이펙트(visual effect) 및 사운드 이펙트(sound effect) 중 적어도 하나를 포함할 수 있다.
그리고, 상기 제어부는 상기 사용자의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우, 상기 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력할 수 있다.
여기에서, 상기 제어부는 상기 사용자의 시선이 머무는 위치에 디스플레이된 영상을 확대하여 출력할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 화상 통화 수행 방법은 타 디스플레이 장치와 화상 통화를 수행하는 단계 및, 상기 화상 통화가 수행되는 도중 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력하는 단계를 포함한다.
여기에서, 상기 기설정된 연관 관계는 상기 제스처가 상기 발화 음성이 나타내는 의미를 갖는 제스처일 수 있다.
또한, 상기 출력하는 단계는 상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 상기 사용자의 제스처 및 발화 음성이 상기 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력할 수 있다.
그리고, 상기 디스플레이 장치는 상기 사용자를 촬영하는 카메라, 상기 사용자가 발화한 음성을 획득하는 마이크, 서버와 통신을 수행하여, 화상 통화 상대방을 촬영한 영상 및 상기 화상 통화 상대방이 발화한 음성을 수신하는 통신부, 상기 사용자를 촬영한 영상 및 상기 화상 통화 상대방을 촬영한 영상을 디스플레이하는 디스플레이 및, 상기 화상 통화 상대방의 발화 음성을 출력하는 스피커를 포함할 수 있다.
여기에서, 상기 서버는 상기 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 상기 디스플레이 장치로 전송할 수 있다.
또한, 상기 출력하는 단계는 상기 수신된 제어 명령에 기초하여 대응되는 피드백을 출력할 수 있다.
한편, 상기 출력하는 단계는 상기 사용자의 제스처와 발화 음성 및 상기 서버로부터 수신된 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력할 수 있다.
또한, 상기 피드백은 상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성에 대응되는 비쥬얼 이펙트(visual effect) 및 사운드 이펙트(sound effect) 중 적어도 하나를 포함할 수 있다.
그리고, 상기 출력하는 단계는 상기 사용자의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우, 상기 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력할 수 있다.
여기에서, 상기 출력하는 단계는 상기 사용자의 시선이 머무는 위치에 디스플레이된 영상을 확대하여 출력할 수 있다.
이와 같이, 본 발명의 일 실시 예에 따르면 화상 통화 수행 시 사용자들이 취한 제스처와 발화한 음성에 대응되는 피드백을 함께 출력한다는 점에서 화상 통화에 재미를 부가할 수 있고 감성적인 커뮤니케이션이 수행되도록 할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 화상 통화 시스템을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블록도,
도 4 내지 도 7은 본 발명의 다양한 실시 예에 따른 화상 통화 방법을 설명하기 위한 도면들, 그리고
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치의 화상 통화 방법을 설명하기 위한 흐름도이다.
-
이하에서는 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 화상 통화 시스템을 설명하기 위한 도면이다. 도 1에 따르면, 화상 통화 시스템(1000)은 디스플레이 장치(100), 서버(200) 및 타 디스플레이 장치(300)를 포함한다.
도 1에 도시된 바와 같이, 디스플레이 장치(100) 및 타 디스플레이 장치(300)는 TV로 구현될 수 있으나, 이는 일 예이 뿐이며 스마트 폰, 태블릿 등과 같이 다양한 형태의 장치로 구현될 수 있음은 물론이다.
디스플레이 장치(100)는 인터넷 등과 같은 네트워크 통해 서버(200)에 연결되어, 서버(200)에 연결된 타 디스플레이 장치(300)와 화상 통화를 수행할 수 있다.
구체적으로, 디스플레이 장치(100)는 화상 통화가 수행되면 화상 통화를 수행하는 사용자를 촬영하고 사용자가 발화하는 음성을 획득하여, 화상 통화 데이터를 서버(200)를 통해 타 디스플레이 장치(300)로 전송할 수 있다.
그리고, 디스플레이 장치(100)는 타 디스플레이 장치(300)에서 전송한 화상 통화 데이터를 서버(200)로부터 수신하고, 수신된 화상 통화 데이터에 기초하여 타 디스플레이 장치(300)에서 화상 통화 상대방(즉, 타 디스플레이 장치(300)의 사용자)을 촬영한 영상 및 타 디스플레이 장치(300)에서 획득한 화상 통화 상대방이 발화한 음성을 출력할 수 있다.
한편, 타 디스플레이 장치(300)도 디스플레이 장치(100)와 동일한 기능을 수행하여 화상 통화를 수행할 수 있다.
이를 위해, 서버(200)는 디스플레이 장치(100)와 타 디스플레이 장치(300)에 전화번호 등을 부여하여, 디스플레이 장치(100)와 타 디스플레이 장치(300) 사이에서 화상 통화 데이터를 송수신할 수 있다.
비록, 도 1에서는 디스플레이 장치(100)가 하나의 타 디스플레이 장치(300)와 화상 통화를 수행하는 것으로 설명하였으나 이는 일 예일 뿐이며, 디스플레이 장치(100)와 화상 통화를 수행하는 디스플레이 장치는 복수 개가 될 수도 있다.
한편, 본 발명의 일 실시 예에 따르면, 화상 통화를 수행하는 사용자들이 취한 제스쳐와 발화한 음성이 특정한 연관 관계에 있는 경우, 디스플레이 장치(100)와 타 디스플레이 장치(300)는 그에 대응되는 피드백(feedback)을 출력할 수 있다.
이하에서는 첨부된 도면을 참조하여 제스쳐와 발화 음성이 특정한 연관 관계를 갖는 경우 그에 대응되는 피드백을 출력하는 방법에 대해 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다. 구체적으로, 도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 개략적으로 설명하기 위한 블록도이고, 도 2b는 본 발명의 일 실시 예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도이다.
도 2a에 따르면, 디스플레이 장치(100)는 화상 통화 수행부(110) 및 제어부(120)를 포함한다.
화상 통화 수행부(110)는 타 디스플레이 장치(300)와 화상 통화를 수행하기 위한 구성이다.
구체적으로, 화상 통화 수행부(110)는 화상 통화를 수행하는 사용자를 촬영및 사용자가 발화한 음성을 획득하고, 서버(200)와 통신을 수행하여 타 디스플레이 장치(300)에서 화상 통화 상대방을 촬영한 영상 및 획득한 화상 통화 상대방의 발화 음성을 수신받을 수 있다. 또한, 화상 통화 수행부(110)는 사용자를 촬영한 영상 및 화상 통화 상대방을 촬영한 영상을 디스플레이하고, 화상 통화 상대방의 발화 음성을 출력할 수 있다.
제어부(120)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(120)는 사용자 명령에 따라 화상 통화가 수행되면 화상 통화 수행부(110)를 제어하여 화상 통화를 수행하는 사용자를 촬영하고 사용자가 발화한 음성을 획득할 수 있다.
그리고, 제어부(120)는 촬영된 영상과 획득된 음성으로 구성된 화상 통화 데이터를 서버(200)를 통해 타 디스플레이 장치(300)로 전송할 수 있다.
또한, 제어부(120)는 타 디스플레이 장치(300)에서 생성한 화상 통화 데이터가 서버(200)로부터 수신되면, 타 디스플레이 장치(300)에서 화상 통화 상대방을 촬영한 영상 및 획득한 발화 음성을 출력할 수 있다.
이와 같이, 제어부(120)는 사용자가 타 디스플레이 장치(300)의 사용자 즉, 화상 통화 상대방과 화상 통화를 수행하도록 제어할 수 있다.
한편, 제어부(120)는 화상 통화가 수행되는 도중 화상 통화를 수행하는 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우 대응되는 피드백을 출력하도록 제어할 수 있다.
여기에서, 기설정된 연관 관계는 제스처가 발화 음성이 나타내는 의미를 갖는 제스처에 해당하는 경우이다.
예를 들어, 사용자가 "하이파이브"라고 발화하며 손을 드는 제스처를 취한 경우를 가정한다.
이 경우, "하이파이브"라는 용어는 두 명의 사람이 동시에 한 손을 들어 상대의 손바닥을 마주치는 행위를 의미하므로, 손을 드는 제스처는 "하이파이브"라는 발화 음성이 나타내는 의미를 갖는 제스처에 해당하며, "하이파이브"라는 발화 음성과 손을 드는 제스처는 서로 연관된 관계에 있다고 볼 수 있다.
다른 예로, 사용자가 노래를 부르며 손을 말아 입에 갖다대는 제스처를 취한 경우를 가정한다.
이 경우, 손을 말아 입에 갖다대는 제스처는 일반적으로 노래를 부르는 제스처에 해당하므로, 손을 말아 입에 갖다대는 제스처는 노래를 부르는 발화 음성이 나타내는 의미를 갖는 제스처에 해당하며, 노래를 부르는 발화 음성과 손을 말아 입에 갖다대는 제스처는 서로 연관된 관계에 있다고 볼 수 있다.
한편, 상술한 예에서는 "하이파이브"라는 음성 및 그와 연관 관계를 갖는 제스처, 노래를 부르는 음성 및 그와 연관 관계를 갖는 제스처에 대해 설명하였으나 이는 일 예일 뿐, 음성 및 그와 연관 관계를 갖는 제스처는 다양한 형태가 될 수 있다.
예를 들어, "안녕"이라는 용어는 서로 만나거나 헤어질 때 손을 흔들며 하는 인사말을 의미하므로, 손을 들어 좌우로 흔드는 제스처는 "안녕"이라는 발화 음성이 나타내는 의미를 갖는 제스처에 해당하며, "안녕"이라는 발화 음성과 손을 흔드는 제스처는 서로 연관된 관계에 있다고 볼 수 있다.
이와 같이, 제스처가 발화 음성이 나타내는 의미를 갖는 경우, 해당 제스처와 발화 음성은 서로 연관된 관계를 가지는 것으로 볼 수 있다.
이 경우, 피드백은 제스처 및 발화 음성에 대응되는 비쥬얼 이펙트(visual effect) 및 사운드 이펙트(sound effect) 중 적어도 하나일 수 있다.
예를 들어, 사용자가 "하이파이브"라는 음성을 발화하며 손을 드는 제스처를 취한 경우를 가정한다. 이 경우, 제어부(120)는 손바닥이 서로 마주치는 애니메이션 이모티콘 형태의 GUI(Graphic User Interface)를 비쥬얼 이펙트로 출력하고, 손바닥이 마주쳤을 때 나는 사운드인 "짝"을 사운드 이펙트로 출력할 수 있다.
다른 예로, 사용자가 노래를 부르며 손을 말아 입에 갖다대는 제스처를 취한 경우를 가정한다. 이 경우, 제어부(120)는 사용자의 손에 마이크 형태의 GUI(Graphic User Interface)를 비쥬얼 이펙트로 출력하고, 노래에 맞는 반주를 사운드 이펙트로 출력할 수 있다.
한편, 제어부(120)는 사용자의 제스처와 발화 음성 및 서버(200)로부터 수신된 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 있는 경우 대응되는 피드백을 출력할 수 있다.
이를 위해, 디스플레이 장치(100)는 발화 음성과 연관 관계에 있는 제스처에 대한 정보를 저장하고 있을 수 있다.
구체적으로, 디스플레이 장치(100)는 발화 음성별로 해당 발화 음성이 나타내는 의미를 갖는 제스처에 대한 정보를 맵핑하여 저장하고 있을 수 있다.
예를 들어, 디스플레이 장치(100)는 "하이파이브"라는 음성이 나타내는 의미를 갖는 제스처는 손을 드는 제스처에 해당한다는 정보를 저장하고, 노래를 부르는 음성이 나타내는 의미를 갖는 제스처는 손을 말아 입에 갖다대는 제스처에 해당한다는 정보를 저장할 수 있다.
이에 따라, 제어부(120)는 기저정된 정보를 이용하여, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각의 사용자의 제스처 및 발화 음성이 기설정된 연관 관계가 있는지를 판단할 수 있다.
구체적으로, 제어부(120)는 디스플레이 장치(100)에서 촬영한 영상 및 타 디스플레이 장치(300)에서 촬영한 영상 각각을 분석하여 특정 오브젝트(가령, 얼굴, 손 등)를 인식하고, 인식된 오브젝트의 형태, 위치 및 움직임 등에 따라 사용자 및 화상 통화 상대방이 취하는 제스처를 판단할 수 있다.
예를 들어, 제어부(120)는 인접 화소들 간의 계조값 차이를 이용하여 각 영상에서 사용자의 손을 인식하고, 손의 형태, 위치 및 움직임 등을 판단하여 사용자가 손을 들고 있는 제스처를 취하는지, 손을 말아 입에 갖다대는 제스처를 취하는지 등을 판단할 수 있다.
그리고, 제어부(120)는 디스플레이 장치(100)에서 획득한 음성 및 타 디스플레이 장치(300)에서 획득한 음성 각각에 대한 음성 인식을 수행할 수 있다.
구체적으로, 제어부(120)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각에서 획득한 음성에 음성 인식을 수행하여, 사용자 및 화상 통화 상대방의 발화 음성에 특정 키워드나 문장이 포함되어 있는지, 발화 음성이 일정한 높낮이를 갖는 노래에 해당하는지 등을 판단할 수 있다.
예를 들어, 제어부(120)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각에서 획득한 음성이 "하이파이브" 또는 "하이파이브 하자"인 경우, 해당 음성들에 "하이파이브"라는 키워드가 포함되므로 각 사용자들은 "하이파이브"라는 음성을 발화한 것으로 판단할 수 있다. 다른 예로, 제어부(120)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각에서 획득한 음성이 일정한 높낮이를 갖는 경우, 각 사용자들이 노래를 부르고 있는 것으로 판단할 수 있다.
이에 따라, 제어부(120)는 기저장된 정보를 이용하여, 사용자 및 화상 통화 상대방이 취한 제스처가 발화 음성과 기설정된 연관 관계에 있는지를 판단할 수 있다.
예를 들어, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각에서 획득한 음성이 "하이파이브"에 해당하고, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각에서 촬영된 영상에 기초하여 사용자와 화상 통화 상대방이 손을 들고 있는 제스처를 취하고 있는 것으로 판단된 경우를 가정한다. 이 경우, 제어부(120)는 디스플레이 장치(100)의 사용자가 취한 제스처가 발화 음성과 기설정된 연관 관계가 있고, 타 디스플레이 장치(300)의 사용자가 취한 제스처가 발화 음성과 기설정된 연관 관계에 있는 것으로 판단할 수 있다.
다른 예로, 타 디스플레이 장치(300)에서 획득한 음성이 특정한 노래에 해당하고, 타 디스플레이 장치(300)에서 촬영된 영상에 기초하여 화상 통화 상대방이 손을 말아 입에 갖다대는 제스처를 취하고 있는 것으로 판단된 경우를 가정한다. 이 경우, 제어부(120)는 타 디스플레이 장치(300)의 사용자가 취한 제스처가 발화 음성과 기설정된 연관 관계가 있는 것으로 판단할 수 있다.
이 경우, 제어부(120)는 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 사용자의 제스처 및 발화 음성이 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력할 수 있다.
여기에서, 동일한 의미를 갖는다는 것은 사용자 및 화상 통화 상대방이 서로 동일한 제스처를 취하고 있고, 이들의 발화 음성이 동일하거나 서로 동일한 키워드 또는 문장을 포함하고 있는 경우를 의미할 수 있다.
예를 들어, 사용자 및 화상 통화 상대방이 손을 올리는 제스처를 취하고, 이들이 "하이파이브" 또는 "하이파이브 하자"라고 발화한 경우, 사용자 및 화상 통화 상대방의 제스처 및 발화 음성은 기설정된 연관 관계를 가지며 서로 동일한 의미를 갖는 것으로 볼 수 있다.
이와 같이, 제어부(120)는 각 사용자의 제스처와 발화 음성이 연관 관계가 있으며, 이들의 제스처 및 발화 음성이 서로 동일한 의미를 갖는 경우, 대응되는 피드백을 출력할 수 있다.
이를 위해, 디스플레이 장치(100)는 연관 관계에 있는 제스처와 발화 음성에 대응되는 피드백에 대한 정보를 저장하고 있을 수 있다.
구체적으로, 디스플레이 장치(100)는 연관 관계에 있는 제스처와 발화 음성별로, 해당 제스처와 발화 음성에 대응되는 피드백에 대한 정보를 맵핑시켜 저장하고 있을 수 있다.
예를 들어, 디스플레이 장치(100)는 "하이파이브"라는 음성과 손을 드는 제스처에 대해 손바닥이 서로 마주치는 애니메이션 이모티콘과 손바닥이 마주쳤을 때 나는 사운드를 맵핑시켜 저장하고, 노래 부르는 음성과 손을 말아 입으로 갖다대는 제스처는 마이크 형태의 이모티콘과 해당 노래에 대한 반주를 맵핍시켜 저장할 수 있다.
이에 따라, 제어부(120)는 기저장된 정보를 이용하여, 연관 관계가 있는 제스처와 발화 음성에 대응되는 피드백을 출력할 수 있다.
예를 들어, 디스플레이 장치(100)의 사용자가 발화한 음성과 취한 제스처가 "하이파이브"라는 음성과 손을 드는 제스처이고, 타 디스플레이 장치(300)의 사용자가 발화한 음성과 취한 제스처 역시 "하이파이브"라는 음성과 손을 드는 제스처인 경우를 가정한다.
이 경우, 제어부(120)는 "하이파이브"라는 음성과 손을 드는 제스처에 맵핑된 피드백을 출력할 수 있다. 즉, 제어부(120)는 손바닥이 서로 마주치는 애니메이션 이모티콘 형태의 GUI를 비쥬얼 이펙트로 출력하고 손바닥이 마주쳐서 나는 사운드를 사운드 이펙트로 출력할 수 있다.
한편, 제어부(120)는 화상 통화 영상을 PIP 화면을 구성하여 출력할 수 있다. 즉, 제어부(120)는 화상 통화 상대방을 촬영한 영상을 주 화면(상대적으로 큰 사이즈의 화면)에 디스플레이하고 사용자를 촬영한 영상이 부 화면(상대적으로 작은 사이즈의 화면)에 디스플레이할 수 있다.
이 경우, 제어부(120)는 비쥬얼 이펙트로 출력되는 GUI를 화상 통화 상대방을 촬영한 영상에 오버레이하여 디스플레이할 수 있다.
한편, 상술한 예에서는 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 서로 동일한 의미를 갖는 경우 대응되는 피드백이 출력되는 것으로 설명하였으나 이는 일 예에 불과하다.
즉, 제어부(120)는 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 서로 동일한 의미를 갖지 않아도, 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계가 있기만 하면 대응되는 피드백을 출력할 수도 있다.
예를 들어, 타 디스플레이 장치(300)의 사용자가 노래를 부르며 손을 말아 입에 갖다대는 제스처를 취한 경우를 가정한다.
이 경우, 제어부(120)는 디스플레이 장치(100)의 사용자의 제스처 및 발화 음성과는 무관하게, 노래를 부르는 음성과 손을 말아 입에 갖다대는 제스처에 맵핑된 피드백을 출력할 수 있다. 즉, 제어부(120)는 화면 상에 디스플레이된 화상 통화 상대방의 손에 마이크 형태의 GUI를 비쥬얼 이펙트로 출력하고, 해당 노래에 맞는 반주를 사운드 이펙트로 출력할 수 있다.
또한, 상술한 예에서는 사용자들의 제스처 및 발화 음성이 기설정된 연관 관계를 갖는 경우 대응되는 피드백이 출력되는 것으로 설명하였으나 이는 일 예에 불과한다.
즉, 제어부(120)는 사용자들의 제스처 및 발화 음성이 기설정된 연관 관계를 갖지 않아도, 특정한 제스처를 취하거나 특정한 음성을 발화한 경우 대응되는 피드백을 출력할 수도 있다.
예를 들어, 타 디스플레이 장치(300)의 사용자가 손을 말아 입에 갖다대는 제스처 없이 노래만 부르는 경우를 가정한다.
이 경우, 제어부(120)는 타 디스플레이 장치(300)의 사용자가 손을 말아 입에 갖다대는 제스처를 취하지 않더라도, 노래에 맞는 반주를 사운드 이펙트로 출력할 수 있다.
한편, 제어부(120)는 사용자의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우, 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력할 수도 있다.
즉, 제어부(120)는 화상 통화 영상이 디스플레이된 상태에서, 화상 통화 영상 상에서 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력할 수 있다.
예를 들어, 사용자가 "여기를 보세요"라고 발화하며 화면 상의 특정 지점을 가리키는 제스처를 취한 경우를 가정한다.
이 경우, "여기를 보세요"는 특정 지점을 바라보도록 사용자의 시선을 유도하는 음성이므로, 특정 지점을 가리키는 제스처는 "여기를 보세요"는 발화 음성이 나타내는 의미를 갖는 제스처에 해당하며, "여기를 보세요"라는 발화 음성과 특정 지점을 가리키는 제스처는 서로 연관된 관계에 있다고 볼 수 있다.
따라서, 제어부(120)는 디스플레이 장치(100)의 사용자를 촬영한 영상에서 사용자의 손의 형태, 위치 등을 판단하여 사용자의 손이 화면 상의 특정 지점을 가리키는 경우 해당 제스처는 "여기를 보세요"라는 음성과 서로 연관된 관계에 있다고 판단할 수 있다.
이를 위해, 디스플레이 장치(100)가 "여기를 보세요"라는 음성이 나타내는 의미를 갖는 제스처는 특정 지점을 가리키는 제스처에 해당한다는 정보를 저장하고 있을 수 있다.
이 경우, 제어부(120)는 화면 상에서 사용자의 시선이 위치하는 지점에 특정 형태의 GUI를 비쥬얼 이펙트로 출력할 수 있다. 여기에서, GUI는 선, 하이라이트, 도형 등이 될 수 있다. 이를 위해, 디스플레이 장치(100)는 "여기를 보세요"라는 음성과 특정 지점을 가리키는 제스처에 특정 형태의 GUI를 맵핑시켜 저장하고 있을 수 있다.
예를 들어, 제어부(120)는 화상 통화 시, 화면을 2 개의 영역으로 분할하여 하나의 영역에는 화상 통화 상대방을 촬영한 영상을 디스플레이하고 다른 영역에는 컨텐츠 화면을 디스플레이할 수 있다.
여기에서, 컨텐츠는 사용자들이 화상 통화 수행 시 이용할 수 있는 자료로서, 텍스트, 이미지, 동영상 등의 형태가 될 수 있다.
이와 같이, 화면이 2 개의 영역으로 분할된 경우, 제어부(120)는 디스플레이 장치(100)의 사용자를 촬영한 영상 및 컨텐츠 화면을 서버(200)로 전송할 수 있으며, 서버(200)는 디스플레이 장치(100)와 화상 통화를 수행하는 화상 통화 상대방의 타 디스플레이 장치(300)로 디스플레이 장치(100)가 전송한 영상 및 컨텐츠 화면을 함께 전송할 수 있다.
이에 따라, 화상 통화를 수행하는 사용자들은 화상 통화 상대방을 촬영한 영상 및 컨텐츠 화면을 동시에 제공받을 수 있게 된다.
이 경우, 제어부(120)는 사용자가 2 개로 분할된 영역 중 컨텐츠 화면이 디스플레이된 영역의 특정 지점에 시선을 위치시키고 "여기를 보세요"라고 발화한 경우, 사용자의 시선이 위치하는 영역에 특정 형태의 GUI를 디스플레이할 수 있다.
이때, 제어부(120)는 컨텐츠 화면 상에서 사용자의 시선이 위치하는 지점 즉, 특정 형태의 GUI가 디스플레이된 지점에 대한 위치 정보를 서버(200)로 전송할 수 있으며, 서버(200)는 해당 위치 정보를 타 디스플레이 장치(300)로 전송할 수 있다.
이에 따라, 타 디스플레이 장치(300)는 서버(200)로부터 수신된 위치 정보를 이용하여 컨텐츠 화면 상에서 디스플레이 장치(100)의 사용자의 시선이 위치하는 지점과 동일한 지점에 특정 형태의 GUI를 디스플레이할 수 있다.
이와 반대로, 타 디스플레이 장치(300)에서 전송한 위치 정보가 서버(200)로부터 수신되면, 제어부(120)는 컨텐츠 화면 상에서 해당 위치에 특정 형태의 GUI를 디스플레이할 수도 있다.
한편, 상술한 예에서 사용자의 시선이 머무는 위치에 대응되는 피드백이 출력되는 것으로 설명하였으나 이는 일 예에 불과하다.
즉, 제어부(120)는 사용자의 시선에 따라 화상 통화 영상이 디스플레이되는 화면의 레이아웃을 변경할 수도 있다.
구체적으로, 제어부(120)는 사용자의 시선이 머무는 위치에 디스플레이된 영상을 확대하여 출력할 수 있다.
예를 들어, 제어부(120)는 사용자가 2 개로 분할된 영역 중 하나에 시선을 위치시키고 음성을 발화한 경우, 사용자의 시선이 위치한 영역의 사이즈를 확대시키고 시선이 위치하지 않는 영역의 사이즈를 축소시킬 수 있다.
즉, 제어부(120)는 사용자가 화상 통화 상대방이 디스플레이된 영역을 쳐다보며 음성을 발화한 경우, 화상 통화 상대방이 디스플레이된 영역의 사이즈를 확대시키고 컨텐츠 화면이 디스플레이된 영역의 사이즈를 축소시킬 수 있다. 반면, 제어부(120)는 사용자가 컨텐츠 화면이 디스플레이된 영역을 쳐다보며 음성을 발화한 경우, 화상 통화 상대방이 디스플레이된 영역의 사이즈를 축소시키고 컨텐츠 화면이 디스플레이된 영역의 사이즈를 확대시킬 수 있다.
이 경우, 제어부(120)는 사용자의 시선이 위치하는 영역에 대한 정보 즉, 사용자가 화상 통화 화면을 바라보고 있는지 또는 컨텐츠 화면을 바라보고 있는지에 대한 정보를 서버(200)로 전송할 수 있으며, 서버(200)는 해당 위치 정보를 타 디스플레이 장치(300)로 전송할 수 있다.
이에 따라, 타 디스플레이 장치(300)는 서버(200)로부터 수신된 위치 정보를 이용하여 디스플레이 장치(100)의 사용자의 시선이 위치하는 영역의 사이즈를 확대시키고, 다른 영역의 사이즈를 축소시킬 수 있다.
이와 반대로, 타 디스플레이 장치(300)에서 전송한 위치 정보가 서버(200)로부터 수신되면, 제어부(120)는 수신된 위치 정보를 이용하여 타 디스플레이 장치(300)의 사용자의 시선이 위치하는 영역의 사이즈를 확대시키고, 다른 영역의 사이즈를 축소시킬 수 있다.
이와 같이, 제어부(120)는 사용자의 시선이 위치하는 영역에 따라 화상 통화 화면의 레이아웃을 변경할 수 있다.
한편, 이하에서는 상술한 내용에 기초하여 도 2b에 따른 디스플레이 장치의 세부 구성에 대해 설명하도록 한다.
도 2b에 따르면, 디스플레이 장치(100)는 화상 통화 수행부(110), 제어부(120), 저장부(130), 오디오 처리부(140), 비디오 처리부(150), 리모컨 신호 수신부(160) 및 시선 추적부(170)를 포함한다.
화상 통화 수행부(110)는 타 디스플레이 장치(300)와 화상 통화를 수행하기 위한 구성으로, 카메라(111), 마이크(112), 통신부(113), 디스플레이(114) 및 스피커(115)를 포함할 수 있다.
카메라(111)는 화상 통화를 수행하는 사용자를 촬영한다. 즉, 카메라(111)는 디스플레이 장치(100)의 전면에 위치하여 화상 통화를 수행하는 사용자를 촬영하여, 화상 통화를 위한 영상을 생성할 수 있다.
이 경우, 카메라(111)는 디스플레이 장치(100)에 내장되어 있거나 외장형으로 연결될 수 있다. 또는, 카메라(111)는 평소에 디스플레이 장치(100)의 내부에 숨겨져 있다가 화상 통화를 이용할 때 외부로 나오도록 구현될 수도 있다.
마이크(112)는 화상 통화를 수행하는 사용자가 발화한 음성을 획득한다.
통신부(113)는 서버(200)와 통신을 수행하여, 화상 통화 데이터를 송수신할 수 있다.
구체적으로, 통신부(113)는 카메라(111)에서 촬영된 영상 및 마이크(110)에서 획득한 음성을 서버(200)로 전송하고, 타 디스플레이 장치(300)에서 화상 통화 상대방을 촬영한 영상 및 화상 통화 상대방이 발화한 음성을 서버(200)로부터 수신할 수 있다.
이를 위해, 통신부(113)는 다양한 통신 방식에 따라 서버(200)와 통신을 수행할 수 있으며, 각 통신 방식에 대응되는 칩을 구비할 수 있다. 예를 들어, 통신부(130)는 유/무선 LAN 카드 등을 이용하여 인터넷을 통해 서버(200)에 접속할 수 있다.
디스플레이(114)는 화상 통화를 위한 다양한 영상을 디스플레이한다.
구체적으로, 디스플레이(114)는 사용자를 촬영한 영상 및 화상 통화 상대방을 촬영한 영상을 디스플레이할 수 있다. 이 경우, 사용자를 촬영한 영상 및 화상 통화 상대방을 촬영한 영상은 PIP 형태로 디스플레이될 수 있으며, 비쥬얼 피드백은 화상 통화 상대방을 촬영한 영상에 오버레이되어 디스플레이될 수 있다.
또한, 디스플레이(114)는 화상 통화 상대방을 촬영한 영상과 컨텐츠 화면을 디스플레이할 수도 있다. 이 경우, 디스플레이(114)는 화면을 2 개로 분할하여 하나의 영역에는 화상 통화 상대방을 촬영한 영상을 디스플레이하고 다른 하나의 영역에는 컨텐츠 화면을 디스플레이할 수 있다.
스피커(115)는 화상 통화를 위한 다양한 오디오를 출력한다. 구체적으로, 스피커(115)는 화상 통화 상대방의 발화 음성 및 사운드 이펙트를 출력할 수 있다.
저장부(130)는 다양한 정보를 저장한다. 구체적으로, 저장부(130)는 발화 음성과 연관 관계에 있는 제스처에 대한 정보, 연관 관계에 있는 제스처와 발화 음성에 대응되는 피드백에 대한 정보 등을 저장하고 있을 수 있다.
이 경우, 제어부(120)를 이러한 정보를 이용하여 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계에 있는지를 판단하고, 기설정된 연관 관계에 있는 경우 그에 대응되는 피드백을 출력하도록 제어할 수 있다.
한편, 저장부(130)에 저장된 피드백에 대한 정보는 사용자에 의해 설정 및 변경될 수 있다.
구체적으로, 제어부(120)는 사용자가 발화한 음성을 마이크(112)를 통해 획득하여 저장하고, 사용자 명령에 기초하여 저장된 음성을 서로 연관 관계를 갖는 특정 제스처 및 발화 음성에 대한 사운드 이펙트로 적용할 수 있다.
예를 들어, 제어부(120)는 마이크(112)를 통해 획득하여 저장된 사운드에 대한 리스트를 디스플레이하고, 리스트 중에서 선택된 사운드를 서로 연관 관계를 갖는 특정 제스처 및 발화 음성에 대한 사운드 이펙트로 설정할 수 있다.
오디오 처리부(140)는 오디오에 대한 처리를 수행할 수 있다. 예를 들어, 제어부(120)는 오디오 처리부(140)를 제어하여 화상 통화 시 마이크(112)를 통해 획득한 음성을 서버(200)로 전송하기 위해 특정 형태로 부호화(encode)하고, 서버(200)로부터 수신한 타 디스플레이 장치(300)에서 획득한 음성에 복호화(decode), 증폭, 노이즈 필터링 등과 같은 처리를 수행하여 스피커(115)에서 출력 가능한 형태가 되도록 할 수 있다.
이 밖에도, 오디오 처리부(140)는 다양한 오디오 데이터에 대한 처리를 수행할 수 있다.
비디오 처리부(150)는 비디오 데이터에 대한 처리를 수행할 수 있다. 예를 들어, 제어부(120)는 비디오 처리부(150)를 제어하여 화상 통화 시 카메라(111)에서 촬영한 영상을 서버(200)로 전송하기 위해 특정 형태로 부호화하고, 서버(200)로부터 수신한 타 디스플레이 장치(300)에서 촬영한 영상에 복호화, 노이즈 필터링 등과 같은 처리를 수행하여 디스플레이(114)에서 출력 가능한 형태가 되도록 할 수 있다.
이 밖에도, 비디오 처리부(150)는 다양한 비디오 데이터에 대한 처리를 수행할 수 있다.
이 경우, 제어부(120)는 부호화된 영상 및 음성을 서버(200)로 전송하도록 통신부(130)를 제어할 수 있다.
리모컨 신호 수신부(160)는 디스플레이 장치(100)를 제어하기 위한 사용자 명령을 리모컨(미도시)으로부터 수신할 수 있다. 여기에서, 사용자 명령은 화상 통화를 수행하기 위한 명령을 포함할 수 있다.
이 경우, 제어부(120)는 화상 통화를 수행하기 위한 명령에 대응되는 리모컨 신호가 수신되면, 화상 통화를 수행하도록 제어할 수 있다.
즉, 제어부(120)는 화상 통화를 수행하기 위한 명령에 대응되는 리모컨 신호가 수신되면, 카메라(111)를 활성화하여 화상 통화를 수행하는 사용자를 촬영하고 마이크(112)를 활성화하여 화상 통화를 수행하는 사용자가 발화하는 음성을 수집하고 화상 통화 데이터를 서버(200)로 전송할 수 있으며, 서버(200)로부터 수신된 타 디스플레이 장치(300)에서 촬영한 영상 및 획득한 음성을 출력할 수 있다.
시선 추적부(170)는 사용자의 시선을 추적할 수 있다. 구체적으로, 시선 추적부(170)는 사용자를 촬영한 영상에서 눈을 검출하고, 검출된 눈에서 사용자의 시선이 향하는 방향을 검출할 수 있다.
이 경우, 시선 추적부(170)는 사용자의 눈에서 눈동자가 위치하는 영역의 위치에 기초하여 사용자의 시선이 향하는 방향을 판단할 수 있다. 예를 들어, 시선 추적부(170)는 눈의 중앙을 중심으로 눈동자가 좌/우/상/하 방향에 존재하는 경우, 사용자의 시선이 디스플레이(115)에 디스플레이된 화면의 좌/우/상/하 방향을 바라보는 것으로 판단할 수 있다.
다만, 상술한 방법은 일 실시 예를 설명한 것이며, 사용자의 시선이 향하는 방향은 다양한 방법에 의해 검출될 수 있음은 물론이다.
이 경우, 제어부(120)는 시선 추적부(170)에서 검출된 사용자의 시선이 향하는 방향에 기초하여 화상 통화 화면의 레이아웃을 변경할 수 있다.
한편, 제어부(120)는 RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n), 버스(126)를 포함한다.
RAM(121), ROM(122), 메인 CPU(123), 그래픽 처리부(124), 제1 내지 n 인터페이스(125-1 ~ 125-n) 등은 버스(126)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(125-1 내지 125-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(123)는 저장부(130)에 액세스하여, 저장부(130)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(123)는 저장부(130)에 저장된 각종 어플리케이션 프로그램, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 저장부(130)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 저장부(130)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(124)는 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성하고, 이를 디스플레이(114)를 통해 출력할 수 있다.
한편, 상술한 예에서 서버(200)는 디스플레이 장치(100)와 타 디스플레이 장치(300) 사이에서 화상 통화 데이터를 송수신하고, 디스플레이 장치(100)가 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계가 있는지 여부를 판단하고, 판단 결과에 따라 대응되는 피드백을 출력하는 것으로 설명하였다.
하지만, 이는 일 예일 뿐이며, 서버(200)가 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100)로 전송할 수도 있다.
이하에서는 도 3을 참조하여, 디스플레이 장치(100)에서 출력되는 피드백이 서버(200)에 의해 제어되는 실시 예에 대해 설명하도록 한다.
도 3은 본 발명의 일 실시 예에 따른 서버의 구성을 설명하기 위한 블록도이다. 도 3에 따르면, 서버(200)는 통신부(210), 저장부(220) 및 제어부(230)를 포함한다.
통신부(210)는 디스플레이 장치(100) 및 타 디스플레이 장치(300)와 통신을 수행한다.
구체적으로, 통신부(210)는 디스플레이 장치(100)에서 전송한 화상 통화 데이터를 수신하여 타 디스플레이 장치(300)로 전송하고, 타 디스플레이 장치(300)에서 전송한 화상 통화 데이터를 수신하여 디스플레이 장치(100)로 전송할 수 있다.
이를 위해, 통신부(210)는 다양한 통신 방식에 따라 디스플레이 장치(100) 및 타 디스플레이 장치(300)와 통신을 서버(200)와 통신을 수행할 수 있으며, 각 통신 방식에 대응되는 칩을 구비할 수 있다. 예를 들어, 통신부(210)는 유/무선 LAN 카드 등을 이용하여 인터넷을 통해 디스플레이 장치(100) 및 타 디스플레이 장치(300)와 연결될 수 있다.
저장부(220)는 다양한 정보를 저장한다. 구체적으로, 저장부(220)는 발화 음성과 연관 관계에 있는 제스처에 대한 정보, 연관 관계에 있는 제스처와 발화 음성에 대응되는 피드백에 대한 정보 등을 저장하고 있을 수 있다. 이 경우, 제어부(230)를 이러한 정보를 이용하여 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계에 있는지를 판단하고, 기설정된 연관 관계에 있는 경우 대응되는 피드백을 출력하도록 제어할 수 있다.
제어부(230)는 서버(200)의 전반적인 동작을 제어한다. 구체적으로, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 화상 통화 데이터를 수신하도록 통신부(210)를 제어할 수 있다. 즉, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각의 사용자를 촬영한 영상 및 그들이 발화한 음성을 수신할 수 있다.
그리고, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 있는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 디스플레이 장치(100)로 전송할 수 있다.
이를 위해, 저장부(220)는 발화 음성과 연관 관계에 있는 제스처에 대한 정보를 저장하고 있을 수 있다.
구체적으로, 저장부(220)는 발화 음성별로 해당 발화 음성이 나타내는 의미를 갖는 제스처에 대한 정보를 맵핑하여 저장하고 있을 수 있다.
예를 들어, 저장부(220)는 "하이파이브"라는 음성이 나타내는 의미를 갖는 제스처는 손을 드는 제스처에 해당한다는 정보를 저장하고, 노래를 부르는 음성이 나타내는 의미를 갖는 제스처는 손을 말아 입에 갖다대는 제스처에 해당한다는 정보를 저장할 수 있다.
이에 따라, 제어부(230)는 기저장된 정보를 이용하여, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단할 수 있다.
구체적으로, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 영상에서 특정 오브젝트(가령, 얼굴, 손 등)를 인식하고, 인식된 오브젝트의 형태, 위치 및 움직임 등에 따라 사용자의 제스처를 판단할 수 있다.
예를 들어, 제어부(230)는 인접 화소들 간의 계조 값 차이를 이용하여 영상에서 사용자의 손을 인식하고, 손의 형태, 위치 및 움직임 등을 판단하여 사용자가 손을 들고 있는 제스처를 취하는지, 손을 말아 입에 갖다대는 제스처를 취하는지 등을 판단할 수 있다.
그리고, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성에 대한 음성 인식을 수행할 수 있다.
구체적으로, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성에 음성 인식을 수행하여, 사용자 및 화상 통화 상대방이 발화한 음성에 특정 키워드나 문장이 포함되어 있는지, 이들의 음성이 일정한 높낮이를 갖는 노래에 해당하는지 등을 판단할 수 있다.
예를 들어, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성이 "하이파이브" 또는 "하이파이브 하자"인 경우, 해당 음성들에 "하이파이브"라는 키워드가 포함되므로 각 사용자들은 "하이파이브"라는 음성을 발화한 것으로 판단할 수 있다.
다른 예로, 제어부(230)는 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성이 일정한 높낮이를 갖는 경우, 해당 음성들이 특정한 노래에 해당하는 것으로 판단할 수 있다.
이에 따라, 제어부(230)는 기저장된 정보를 이용하여, 사용자가 취한 제스처가 발화 음성과 기설정된 연관 관계에 있는지를 판단할 수 있다.
예를 들어, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성이 "하이파이브"에 해당하고, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 영상에 기초하여 사용자와 화상 통화 상대방이 손을 들고 있는 제스처를 취하고 있는 것으로 판단된 경우를 가정한다. 이 경우, 제어부(230)는 디스플레이 장치(100)의 사용자가 취한 제스처와 발화 음성이 기설정된 연관 관계가 있고, 타 디스플레이 장치(300)의 사용자가 취한 제스처와 발화 음성이 기설정된 연관 관계에 있는 것으로 판단할 수 있다.
다른 예로, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 음성이 특정한 노래에 해당하고, 디스플레이 장치(100) 및 타 디스플레이 장치(300) 각각으로부터 수신된 영상에 기초하여 사용자와 화상 통화 상대방이 손을 말아 입에 갖다대는 제스처를 취하고 있는 것으로 판단된 경우를 가정한다. 이 경우, 제어부(230)는 디스플레이 장치(100)의 사용자가 취한 제스처와 발화 음성이 기설정된 연관 관계가 있고, 타 디스플레이 장치(300)의 사용자가 취한 제스처와 발화 음성이 기설정된 연관 관계에 있는 것으로 판단할 수 있다.
이 경우, 제어부(230)는 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 사용자의 제스처 및 발화 음성이 화상 통화 상대방의 제스처와 동일한 의미를 갖는 경우 대응되는 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100) 및 타 디스플레이 장치(300)로 전송할 수 있다.
여기에서, 동일한 의미를 갖는다는 것은 사용자 및 화상 통화 상대방이 서로 동일한 제스처를 취하고 있거나, 이들의 발화 음성이 동일하거나 서로 동일한 키워드 또는 문장을 포함하고 있는 경우를 의미할 수 있다.
예를 들어, 사용자 및 화상 통화 상대방이 손을 올리는 제스처를 취하고, 이들이 "하이파이브" 또는 "하이파이브 하자"라고 발화한 경우, 사용자 및 화상 통화 상대방의 제스처 및 발화 음성은 기설정된 연관 관계를 가지며 서로 동일한 의미를 갖는 것으로 볼 수 있다.
이와 같이, 제어부(230)는 각 사용자의 제스처와 발화 음성이 연관 관계가 있으며 이들이 서로 동일한 의미를 갖는 경우 대응되는 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100) 및 타 디스플레이 장치(300)로 전송할 수 있다.
이에 따라, 디스플레이 장치(100)는 서로 연관 관계에 있는 사용자의 제스처 및 발화 음성에 대응되는 피드백을 출력할 수 있다.
즉, 제어부(120)는 수신된 제어 명령에 기초하여 대응되는 피드백을 출력할 수 있다.
이를 위해, 디스플레이 장치(100)는 연관 관계에 있는 제스처와 발화 음성에 대응되는 피드백에 대한 정보를 저장하고 있을 수 있다.
구체적으로, 디스플레이 장치(100)는 연관 관계에 있는 제스처와 발화 음성별로, 해당 제스처와 발화 음성에 대응되는 피드백에 대한 정보를 맵핑시켜 저장하고 있을 수 있다.
예를 들어, 디스플레이 장치(100)는 "하이파이브"라는 음성과 손을 드는 제스처에 대해 손바닥이 서로 마주치는 애니메이션 이모티콘과 손바닥이 마주쳤을 때 나는 사운드를 맵핑시켜 저장하고, 노래 부르는 음성과 손을 말아 입으로 갖다대는 제스처는 마이크 형태의 이모티콘과 해당 노래에 대한 반주를 맵핍시켜 저장할 수 있다.
이에 따라, 제어부(120)는 서버(200)로부터 제어 명령이 수신되면, 연관 관계에 있는 제스처와 발화 음성별로 맵핑된 피드백 중 제어 명령에 대응되는 피드백을 출력할 수 있다.
예를 들어, 서버(200)로부터 "하이파이브"라는 음성과 손을 드는 제스처에 대응되는 피드백을 출력할 것을 나타내는 제어 명령이 수신된 경우를 가정한다. 이 경우, 제어부(120)는 "하이파이브"라는 음성과 손을 드는 제스처에 맵핑된 손바닥이 서로 마주치는 애니메이션 이모티콘을 비쥬얼 이펙트로 출력하고, 손바닥이 마주쳤을 때 나는 사운드를 사운드 이펙트로 출력할 수 있다.
한편, 상술한 예에서는 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 서로 동일한 의미를 갖는 경우 대응되는 피드백이 출력되는 것으로 설명하였으나 이는 일 예에 불과하다.
즉, 제어부(230)는 사용자와 화상 통화 상대방의 제스처 및 발화 음성이 서로 동일한 의미를 갖지 않아도, 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계가 있기만 하면 대응되는 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100) 및 타 디스플레이 장치(300)로 전송할 수 있다.
예를 들어, 타 디스플레이 장치(300)의 사용자가 노래를 부르며 손을 말아 입에 갖다대는 제스처를 취한 경우를 가정한다.
이 경우, 제어부(230)는 디스플레이 장치(100)의 사용자의 제스처 및 발화 음성과는 무관하게, 노래를 부르는 음성과 손을 말아 입에 갖다대는 제스처에 맵핑된 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100)로 전송할 수 있다.
이에 따라, 디스플레이 장치(100)는 화상 통화 상대방의 손에 마이크 형태의 GUI를 비쥬얼 이펙트로 출력하고 해당 노래에 맞는 반주를 사운드 이펙트로 출력할 수 있다.
또한, 상술한 예에서는 사용자들의 제스처 및 발화 음성이 기설정된 연관 관계를 갖는 경우 대응되는 피드백이 출력되는 것으로 설명하였으나 이는 일 예에 불과한다.
즉, 제어부(230)는 사용자들의 제스처 및 발화 음성이 기설정된 연관 관계를 갖지 않아도, 특정한 제스처를 취하거나 특정한 음성을 발화한 경우 대응되는 피드백을 출력하도록 하는 제어 명령을 디스플레이 장치(100) 및 타 디스플레이 장치(300)로 전송할 수 있다.
예를 들어, 타 디스플레이 장치(300)의 사용자가 손을 말아 입에 갖다대는 제스처 없이 노래만 부르는 경우를 가정한다.
이 경우, 제어부(230)는 타 디스플레이 장치(300)의 사용자가 손을 말아 입에 갖다대는 제스처를 취하지 않더라도, 노래에 맞는 반주를 사운드 이펙트로 출력하도록 하는 제어 명령을 디스플레이 장치(100)로 전송할 수 있다.
이하에서는 첨부된 도 4 내지 도 7을 참조하여 본 발명의 다양한 실시 예에 대해 설명하도록 한다.
도 4 내지 도 7과 같이, 사용자(10)는 디스플레이 장치(100)를 통해 타 디스플레이 장치(300)의 사용자와 화상 통화를 수행할 수 있다.
즉, 디스플레이 장치(100)는 디스플레이 장치(100)가 촬영한 사용자에 대한 영상과 타 디스플레이 장치(300)에서 촬영된 화상 통화 상대방에 대한 영상을 PIP 형태로 디스플레이하고, 디스플레이 장치(100)에서 획득한 사용자의 발화 음성을 서버(200)를 통해 타 디스플레이 장치(300)로 전송하고 타 디스플레이 장치(300)에서 전송한 타 디스플레이 장치(300)에서 획득한 화상 통화 상대방의 발화 음성을 서버(200)로부터 수신하여 출력할 수 있다.
먼저, 도 4a에 도시된 바와 같이 사용자(10) 및 화상 통화 상대방(30)이 "하이파이브"라고 발화하며 손을 드는 제스처를 취한 경우를 가정한다.
이 경우, 사용자(10) 및 화상 통화 상대방(30) 각각의 제스처 및 발화 음성이 각각 기설정된 연관 관계를 가지며, 이들의 제스처 및 발화 음성이 동일한 의미를 가진다는 점에서, 디스플레이 장치(100)는 "하이파이브"라고 발화 음성과 손을 드는 제스처에 대응되는 피드백을 출력할 수 있다.
예를 들어, 도 4b와 같이 디스플레이 장치(100)는 손바닥이 서로 마주치는 애니메이션 이모티콘 형태의 GUI(410)을 디스플레이하고, 손바닥이 마주쳤을 때 나는 사운드인 "짝"(420)을 출력할 수 있다.
한편, 도 5a에 도시된 바와 같이, 화상 통화 상대방(30)이 노래를 부르며 손을 말아 입에 갖다대는 제스처를 취한 경우를 가정한다..
이 경우, 사용자(10)의 제스처 및 발화 음성과는 무관하게 화상 통화 상대방(30)이 취한 제스처 및 발화 음성이 연관 관계를 가진다는 점에서, 디스플레이 장치(100)는 노래하는 발화 음성과 손을 말아 입에 갖다대는 제스처에 대응되는 피드백을 출력할 수 있다.
예를 들어, 도 5b와 같이 디스플레이 장치(100)는 화상 통화 상대방(30)의 손에 마이크 형태의 GUI(510)을 디스플레이하고, 타 디스플레이 장치(300)의 사용자가 부르는 노래에 맞는 반주(520)를 출력할 수 있다.
이와 같이, 본 발명의 다양한 실시 예에 따르면 사용자의 제스처와 발화 음성이 기설정된 연관 관계를 갖는 경우 대응되는 피드백이 출력될 수 있다.
한편, 도 6a에 도시된 바와 같이, 디스플레이 장치(100)는 화상 통화 시 화면을 2 개의 영역으로 구분하고, 하나의 영역에는 화상 통화 상대방의 영상(610)을 디스플레이하고 다른 영역에는 컨텐츠 화면(620)을 디스플레이할 수 있다.
여기에서, 사용자(10)가 "여기를 보세요"라는 음성을 발화하며 화면의 특정 지점을 손가락으로 가리키는 제스처를 취한 경우를 가정한다.
이 경우, 디스플레이 장치(100)는 사용자(10)의 제스처 및 발화 음성이 기설정된 연관 관계를 가진다는 점에서, 도 6b에 도시된 바와 같이 사용자가 가리키는 지점을 하이라이트(630)시켜 디스플레이할 수 있다.
이 경우, 디스플레이 장치(100)는 사용자가 컨텐츠 화면 상에서 가리키는 지점에 대한 위치 정보를 서버(200)를 통해 타 디스플레이 장치(300)로 전송할 수 있으며, 타 디스플레이 장치(300)는 서버(200)로부터 수신된 위치 정보를 이용하여 디스플레이 장치(100)에서 하이라이트된 지점과 동일한 위치를 하이라이트시켜 디스플레이할 수 있다.
다만, 이는 일 예일 뿐, 사용자의 시선이 위치하는 영역에 따라 화면의 레이아웃을 변경할 수도 있다.
예를 들어, 사용자가 컨텐츠 화면(710)을 바라보며 "왼쪽 자료를 보시면~"라고 발화한 경우, 디스플레이 장치(100)는 도 7a와 같이 컨텐츠 화면을 확대시키고 화상 통화 상대방의 영상을 축소시킬 수 있다. 반면, 사용자가 화상 통화 영상(720)을 바라보며 "○○씨가 질문한~"이라고 발화한 경우, 디스플레이 장치(100)는 도 7b와 같이 컨텐츠 화면을 축소시키고 화상 통화 상대방의 영상을 확대시킬 수 있다.
이와 같이, 본 발명의 다양한 실시 예에 따르면 사용자의 제스처와 발화 음성이 기설정된 연관 관계를 갖는 경우, 사용자의 시선을 고려하여 그에 대응되는 피드백이 출력될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치의 화상 통화 방법을 설명하기 위한 흐름도이다.
먼저, 타 디스플레이 장치와 화상 통화를 수행한다(S810). 이를 위해, 디스플레이 장치는 사용자를 촬영하는 카메라, 사용자가 발화한 음성을 획득하는 마이크, 서버와 통신을 수행하여, 화상 통화 상대방을 촬영한 영상 및 화상 통화 상대방이 발화한 음성을 수신하는 통신부, 사용자를 촬영한 영상 및 화상 통화 상대방을 촬영한 영상을 디스플레이하는 디스플레이 및 화상 통화 상대방의 발화 음성을 출력하는 스피커를 포함할 수 있다.
한편, 화상 통화가 수행되는 도중 상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력한다(S820).
여기에서, 기설정된 연관 관계는 제스처가 상기 발화 음성이 나타내는 의미를 갖는 제스처일 수 있다. 그리고, 피드백은 사용자 및 화상 통화 상대방의 제스처 및 발화 음성에 대응되는 비쥬얼 이펙트(visual effect) 및 사운드 이펙트(sound effect) 중 적어도 하나를 포함할 수 있다.
구체적으로, 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 사용자의 제스처 및 발화 음성이 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력할 수 있다.
한편, 서버는 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 디스플레이 장치로 전송할 수 있다.
이 경우, S820 단계는 수신된 제어 명령에 기초하여 대응되는 피드백을 출력할 수 있다.
또한, S820 단계는 사용자의 제스처와 발화 음성 및 서버로부터 수신된 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력할 수 있다.
한편, S820 단계는 사용자의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우, 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력할 수 있다. 또한, S820 단계는 사용자의 시선이 머무는 위치에 디스플레이된 영상을 확대하여 출력할 수 있다.
한편, 본 발명에 따른 화상 통화 수행 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 디스플레이 장치에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    타 디스플레이 장치와 화상 통화를 수행하기 위한 화상 통화 수행부; 및,
    상기 화상 통화가 수행되는 도중 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력하도록 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 기설정된 연관 관계는,
    상기 제스처가 상기 발화 음성이 나타내는 의미를 갖는 제스처인 것을 특징으로 하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 상기 사용자의 제스처 및 발화 음성이 상기 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력하는 것을 특징으로 하는 디스플레이 장치.
  4. 제1항에 있어서,
    상기 화상 통화 수행부는,
    상기 사용자를 촬영하는 카메라;
    상기 사용자가 발화한 음성을 획득하는 마이크;
    서버와 통신을 수행하여, 화상 통화 상대방을 촬영한 영상 및 상기 화상 통화 상대방이 발화한 음성을 수신하는 통신부;
    상기 사용자를 촬영한 영상 및 상기 화상 통화 상대방을 촬영한 영상을 디스플레이하는 디스플레이; 및,
    상기 화상 통화 상대방의 발화 음성을 출력하는 스피커;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 서버는,
    상기 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 상기 디스플레이 장치로 전송하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 수신된 제어 명령에 기초하여 대응되는 피드백을 출력하는 것을 특징으로 하는 디스플레이 장치.
  7. 제4항에 있어서,
    상기 제어부는,
    상기 사용자의 제스처와 발화 음성 및 상기 서버로부터 수신된 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하는 것을 특징으로 하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 피드백은,
    상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성에 대응되는 비쥬얼 이펙트(visual effect) 및 사운드 이펙트(sound effect) 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 사용자의 제스처 및 발화 음성이 기설정된 연관 관계에 있는 경우, 상기 사용자의 시선이 머무는 위치에 대응되는 피드백을 출력하는 것을 특징으로 하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 사용자의 시선이 머무는 위치에 디스플레이된 영상을 확대하여 출력하는 것을 특징으로 하는 디스플레이 장치.
  11. 디스플레이 장치의 화상 통화 수행 방법에 있어서,
    타 디스플레이 장치와 화상 통화를 수행하는 단계; 및,
    상기 화상 통화가 수행되는 도중 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지는 경우 대응되는 피드백을 출력하는 단계;를 포함하는 화상 통화 수행 방법.
  12. 제11항에 있어서,
    상기 기설정된 연관 관계는,
    상기 제스처가 상기 발화 음성이 나타내는 의미를 갖는 제스처인 것을 특징으로 하는 화상 통화 수행 방법.
  13. 제11항에 있어서,
    상기 출력하는 단계는,
    상기 사용자 및 화상 통화 상대방의 제스처 및 발화 음성이 기설정된 연관 관계를 가지며, 상기 사용자의 제스처 및 발화 음성이 상기 화상 통화 상대방의 제스처 및 발화 음성과 동일한 의미를 갖는 경우 대응되는 피드백을 출력하는 것을 특징으로 하는 화상 통화 수행 방법.
  14. 제11항에 있어서,
    상기 디스플레이 장치는,
    상기 사용자를 촬영하는 카메라;
    상기 사용자가 발화한 음성을 획득하는 마이크;
    서버와 통신을 수행하여, 화상 통화 상대방을 촬영한 영상 및 상기 화상 통화 상대방이 발화한 음성을 수신하는 통신부;
    상기 사용자를 촬영한 영상 및 상기 화상 통화 상대방을 촬영한 영상을 디스플레이하는 디스플레이; 및,
    상기 화상 통화 상대방의 발화 음성을 출력하는 스피커;를 포함하는 것을 특징으로 하는 화상 통화 수행 방법.
  15. 제14항에 있어서,
    상기 서버는,
    상기 사용자 및 화상 통화 상대방의 제스처와 발화 음성이 기설정된 연관 관계가 있는지를 판단하고, 판단 결과 기설정된 연관 관계가 존재하는 경우 대응되는 피드백을 출력하기 위한 제어 명령을 상기 디스플레이 장치로 전송하는 것을 특징으로 하는 화상 통화 수행 방법.
PCT/KR2015/003437 2014-05-09 2015-04-06 디스플레이 장치 및 그의 화상 통화 수행 방법 WO2015170832A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP15788986.6A EP3142359A4 (en) 2014-05-09 2015-04-06 Display device and video call performing method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140055717A KR102193029B1 (ko) 2014-05-09 2014-05-09 디스플레이 장치 및 그의 화상 통화 수행 방법
KR10-2014-0055717 2014-05-09

Publications (1)

Publication Number Publication Date
WO2015170832A1 true WO2015170832A1 (ko) 2015-11-12

Family

ID=54368951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/003437 WO2015170832A1 (ko) 2014-05-09 2015-04-06 디스플레이 장치 및 그의 화상 통화 수행 방법

Country Status (5)

Country Link
US (1) US9749582B2 (ko)
EP (1) EP3142359A4 (ko)
KR (1) KR102193029B1 (ko)
CN (1) CN105100672B (ko)
WO (1) WO2015170832A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170082349A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106791572B (zh) * 2017-01-17 2018-09-04 维沃移动通信有限公司 一种视频通话方法、装置及系统
CN110546601B (zh) * 2017-04-03 2023-09-26 索尼公司 信息处理装置、信息处理方法和程序
CN107422856A (zh) * 2017-07-10 2017-12-01 上海小蚁科技有限公司 用于机器处理用户命令的方法、装置和存储介质
KR102417524B1 (ko) * 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
CN107995442A (zh) * 2017-12-21 2018-05-04 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN108121963B (zh) * 2017-12-21 2021-08-24 北京奇虎科技有限公司 视频数据的处理方法、装置及计算设备
CN112367562B (zh) * 2020-10-30 2023-04-14 维沃移动通信有限公司 图像处理方法、装置及电子设备
KR20220083960A (ko) 2020-12-12 2022-06-21 임승현 내담자들과 심리상담사를 이어주어, 화상 사이버상담을 하는 사업 ‘마음속말’

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
KR20120126531A (ko) * 2011-05-12 2012-11-21 삼성전자주식회사 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
US20140022184A1 (en) * 2012-07-20 2014-01-23 Microsoft Corporation Speech and gesture recognition enhancement
KR20140050484A (ko) * 2012-10-19 2014-04-29 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20140051651A (ko) * 2012-10-23 2014-05-02 엘지전자 주식회사 휴대 단말기 및 그 제어 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1935397A (en) * 1996-03-15 1997-10-10 Retinal Display Cayman Limited Method of and apparatus for viewing an image
DE19736995B4 (de) * 1997-08-26 2009-05-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zum Bestimmen eines Fixationspunktes
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP2005124160A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 会議支援システム、情報表示装置、プログラム、及び制御方法
US20050080849A1 (en) * 2003-10-09 2005-04-14 Wee Susie J. Management system for rich media environments
US8063929B2 (en) * 2007-05-31 2011-11-22 Eastman Kodak Company Managing scene transitions for video communication
EP2597868B1 (en) * 2007-09-24 2017-09-13 Qualcomm Incorporated Enhanced interface for voice and video communications
US8902280B2 (en) * 2009-04-16 2014-12-02 Hewlett-Packard Development Company, L.P. Communicating visual representations in virtual collaboration systems
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
US8782566B2 (en) * 2011-02-22 2014-07-15 Cisco Technology, Inc. Using gestures to schedule and manage meetings
US8954330B2 (en) * 2011-11-28 2015-02-10 Microsoft Corporation Context-aware interaction system using a semantic model
EP2621165A1 (en) * 2012-01-25 2013-07-31 Alcatel Lucent, S.A. Videoconference method and device
CN102610184B (zh) * 2012-03-20 2015-01-21 华为技术有限公司 调整显示状态的方法和设备
KR101350996B1 (ko) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 아이콘텍이 가능한 3차원 원격회의 장치 및 이를 이용한 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
KR20120126531A (ko) * 2011-05-12 2012-11-21 삼성전자주식회사 화자 표시 방법 및 이를 구현하는 영상 통화 단말기
US20140022184A1 (en) * 2012-07-20 2014-01-23 Microsoft Corporation Speech and gesture recognition enhancement
KR20140050484A (ko) * 2012-10-19 2014-04-29 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20140051651A (ko) * 2012-10-23 2014-05-02 엘지전자 주식회사 휴대 단말기 및 그 제어 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3142359A4 *

Also Published As

Publication number Publication date
EP3142359A1 (en) 2017-03-15
CN105100672B (zh) 2019-06-14
EP3142359A4 (en) 2018-01-24
US9749582B2 (en) 2017-08-29
US20150326822A1 (en) 2015-11-12
KR102193029B1 (ko) 2020-12-18
CN105100672A (zh) 2015-11-25
KR20150128386A (ko) 2015-11-18

Similar Documents

Publication Publication Date Title
WO2015170832A1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
WO2019156314A1 (ko) 챗봇과 대화하기 위한 전자 장치 및 그의 동작 방법
WO2016117836A1 (en) Apparatus and method for editing content
WO2021025350A1 (en) Electronic device managing plurality of intelligent agents and operation method thereof
WO2015083975A1 (en) Method of displaying pointing information and device for performing the method
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2014038828A1 (en) Method and apparatus for executing application in device
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2020091183A1 (ko) 사용자 특화 음성 명령어를 공유하기 위한 전자 장치 및 그 제어 방법
WO2020167006A1 (en) Method of providing speech recognition service and electronic device for same
EP3360322A1 (en) Electronic apparatus and controlling method thereof
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2020091519A1 (en) Electronic apparatus and controlling method thereof
WO2021118225A1 (en) Display device and operating method thereof
WO2019156408A1 (ko) 전자 장치 및 그 동작 방법
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2019190062A1 (en) Electronic device for processing user voice input
WO2022010192A1 (ko) 웨어러블 디바이스 및 그 동작 방법
WO2021075705A1 (ko) 전자 장치 및 그의 제어 방법
WO2020076086A1 (en) System for processing user utterance and operating method thereof
WO2020075960A1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치를 이용한 외부 전자 장치를 제어하는 방법
WO2015142135A1 (ko) 영상을 디스플레이 하는 방법 및 디바이스
WO2022169039A1 (ko) 전자 장치 및 그 제어 방법
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2021075752A1 (en) Method for providing screen using foldable display and electronic device for supporting same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15788986

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015788986

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015788986

Country of ref document: EP