WO2015088213A1 - 이미지 정보 표시 방법 및 장치 - Google Patents

이미지 정보 표시 방법 및 장치 Download PDF

Info

Publication number
WO2015088213A1
WO2015088213A1 PCT/KR2014/012018 KR2014012018W WO2015088213A1 WO 2015088213 A1 WO2015088213 A1 WO 2015088213A1 KR 2014012018 W KR2014012018 W KR 2014012018W WO 2015088213 A1 WO2015088213 A1 WO 2015088213A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
call connection
counterpart
voice
feature data
Prior art date
Application number
PCT/KR2014/012018
Other languages
English (en)
French (fr)
Inventor
전돈교
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201480065840.4A priority Critical patent/CN105793799B/zh
Priority to US15/031,848 priority patent/US20160266857A1/en
Priority to EP14869589.3A priority patent/EP3082015B1/en
Publication of WO2015088213A1 publication Critical patent/WO2015088213A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42025—Calling or Called party identification service
    • H04M3/42034—Calling party identification service
    • H04M3/42042—Notifying the called party of information on the calling party
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Definitions

  • the present invention relates to a method and apparatus for displaying an image associated with a counterpart of a call connection.
  • the call log displays the time, date, telephone number, name of the person registered in the phone book, and the like.
  • the call log may also display a picture registered by the user. In this case, the user can easily know when and with whom the call was made through the call log.
  • a phone number that the user has not saved it is difficult to think about who talked to the other party through the call time, phone number, and date displayed in the call log.
  • An embodiment of the present invention is to provide a method and apparatus for displaying image information capable of generating a counterpart image using feature data extracted by analyzing a call voice.
  • image information may be displayed on a screen of at least one of a call transmission / reception screen, a call log, and a phone book.
  • the image information display method comprises the steps of receiving voice data of the other party of the call connection through the call connection, extracting the feature data of the other party by analyzing the voice data, the feature data Generating an image associated with the counterpart based on the information; storing the image in association with information related to the counterpart; and displaying the image when an event associated with the counterpart occurs.
  • An electronic device is a control unit for extracting feature data of the counterpart by analyzing voice data of the counterpart received through a call connection, and generating an image associated with the counterpart based on the feature data; And a storage unit to store an image associated with the information related to the counterpart, and a display unit to display the image when an event related to the counterpart occurs.
  • the information so that the user can easily find when looking for the caller Can be provided.
  • the user by displaying an image of the time, the weather, and the other party's ambient noise environment, the user can help the user to easily remember the other party.
  • FIG. 1 is a block diagram illustrating an electronic device according to an exemplary embodiment.
  • FIGS. 2A to 2B are diagrams illustrating an example of displaying a call-connected counterpart image according to an exemplary embodiment.
  • 3A to 3B illustrate an example of generating a counterpart image by analyzing counterpart voice data according to an exemplary embodiment.
  • 4A to 4C illustrate examples of displaying a counterpart image when a call connection or a phone book is executed, according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a method of displaying image information according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of displaying image information according to another exemplary embodiment.
  • the image information display apparatus may be included in the electronic device and performed.
  • the electronic device may be a device including a communication function.
  • the electronic device may be a smart phone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, a desktop personal computer, a laptop.
  • HMD head-mounted-device
  • the electronic device may be a smart home appliance having a communication function.
  • Smart home appliances are, for example, electronic devices such as televisions, digital video disk (DVD) players, audio, refrigerators, air conditioners, cleaners, ovens, microwave ovens, washing machines, air purifiers, set-top boxes, TVs. It may include at least one of a box (eg, Samsung HomeSync TM, Apple TV TM, or Google TV TM), game consoles, electronic dictionaries, electronic keys, camcorders, or electronic photo frames.
  • the electronic device may include a variety of medical devices (eg, magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT), imaging device, ultrasound, etc.), navigation device, and GPS receiver. (global positioning system receiver), event data recorder (EDR), flight data recorder (FDR), automotive infotainment devices, marine electronic equipment (e.g. marine navigation systems and gyro compasses), avionics, It may include at least one of a security device, or an industrial or household robot.
  • medical devices eg, magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), computed tomography (CT), imaging device, ultrasound, etc.
  • GPS receiver global positioning system receiver
  • automotive infotainment devices e.g. marine navigation systems and gyro compasses
  • marine electronic equipment e.g. marine navigation systems and gyro compasses
  • avionics It may include at least one
  • an electronic device may be part of a furniture or building / structure that includes a communication function, an electronic board, an electronic signature receiving device, a projector, or various It may include at least one of the measuring device (for example, water, electricity, gas, or radio wave measuring device).
  • the electronic device according to the present disclosure may be one or a combination of the above-described various devices.
  • the electronic device according to the present disclosure is not limited to the above-described devices.
  • FIG. 1 is a block diagram illustrating an electronic device according to an exemplary embodiment.
  • the image display electronic device 100 may include a wireless communication unit 110, an audio processing unit 120, a storage unit 130, a display unit 140, a controller 150, and a user input unit 160. Can be.
  • the image display electronic device 100 may be implemented as having more components than those shown in FIG. 1 or having fewer components.
  • the image display electronic device 100 may include various sensors (eg, an infrared sensor, an illumination sensor, an image sensor, a proximity sensor, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, etc.) and a wireless LAN (WLAN) for supporting the wireless Internet.
  • sensors eg, an infrared sensor, an illumination sensor, an image sensor, a proximity sensor, an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, etc.
  • WLAN wireless LAN
  • a wireless local area network module e.g, a short range communication module for supporting various short range communication technologies (eg, Bluetooth, Bluetooth low energy (BLE), near field communication (NFC), and a broadcast channel)
  • BLE Bluetooth low energy
  • NFC near field communication
  • a broadcast receiving module for receiving a broadcast signal from an external broadcast management server through a satellite broadcast channel, a terrestrial broadcast channel, etc.
  • the wireless communication unit 110 may communicate with the image display electronic device 100.
  • the wireless communication unit 110 may establish a communication channel with a supportable mobile communication network to perform communication such as voice communication, video communication, and data communication.
  • the wireless communication unit 110 may include a radio frequency transmitter for upconverting and amplifying a frequency of a transmitted signal, and a radio frequency receiver for low noise amplifying and downconverting a frequency of a received signal.
  • the wireless communication unit 110 includes a mobile communication module (eg, a 3-generation mobile communication module, a 3.5-generation mobile communication module or a 4-generation mobile communication module, etc.). can do.
  • the audio processor 120 transmits an audio signal input from the controller 150 to a speaker (SPK) and delivers an audio signal such as a voice input from a microphone (MIC, microphone) to the controller 150. Can be done.
  • the audio processor 120 may convert the voice / sound data into an audible sound through a speaker under the control of the controller 150 and output the audible sound.
  • the audio processor 120 may convert an audio signal, such as a voice received from a microphone, into a digital signal and transmit the converted audio signal to the controller 150.
  • the speaker is received from the wireless communication unit 110 in a messenger mode, a call mode, a message mode, a recording (recording) mode, a voice recognition mode, a broadcast receiving mode, and a media content (music file, video file) playback mode, or the storage unit. Audio data stored in the 130 may be output. Speakers are acoustic signals related to functions performed on the user device (e.g. launching a messenger, receiving a conversation, sending a conversation, displaying a content image, executing a content image related function, receiving a call connection, sending a call connection, shooting, playing a media content file, etc.) You can also output
  • the microphone may receive external sound signals in a call mode, a message mode, a recording (recording) mode, and a voice recognition mode to process electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the wireless communication unit 110 and output in the call mode.
  • Various miscellaneous cancellation algorithms may be implemented in the microphone to remove noise generated while receiving an external sound signal.
  • the storage unit 130 stores programs and data necessary for the operation of the image display electronic device 100, and may be divided into a program area and a data area.
  • the program area may store a program for controlling the overall operation of the image display electronic device 100, an operating system (OS) and an application program for booting the electronic device 100, and the like.
  • the data area is an area in which data generated according to the use of the image display electronic device 100 is stored, and may store an image, video audio, and the like.
  • the storage unit 130 may store phone book information.
  • the phone book information may include at least one of a name, a phone number, a picture, and an e-mail address.
  • the storage unit 130 may store reference characteristic values in advance in order to extract feature data associated with at least one of gender, age, voice size, voice frequency, number of participants, and ambient noise.
  • the storage unit 130 may store basic image information for generating an image.
  • the basic image information may include at least one of a plurality of head shapes, a plurality of eye shapes, a plurality of nose shapes, and a plurality of mouth shapes.
  • the storage 130 may store additional information associated with a call connection.
  • the additional information may include at least one information of a location, a time, and a weather associated with a call connection time point, or an image related thereto.
  • an image related to time may be displayed in a bright color when the time of the call connection is low and a dark color when the time of the call connection is night.
  • the image associated with the weather may include an image associated with clouds, rain, snow, sun, and the like.
  • the user input unit 160 may include a touch panel 162, a (digital) pen sensor 164, a key 166, or an ultrasonic input device 168.
  • the touch panel 162 may recognize a touch input by at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 162 may further include a control circuit.
  • the capacitive touch panel 162 may recognize physical contact or proximity.
  • the touch panel 162 may further include a tactile layer. In this case, the touch panel 162 may provide a tactile response to the user.
  • the touch panel 162 may be a touch event (eg, long press, tap, drag, or the like) of a user who contacts or approaches the surface of the image display electronic device 100 (eg, the display unit 140). Sweep, flick, multi-touch, hovering, etc. can be detected.
  • the touch panel 162 detects a user's touch event on the surface of the image display electronic device 100 (eg, the display unit 140)
  • the touch panel 162 detects coordinates where the touch event is generated, and transmits the detected coordinates to the controller 150. I can deliver it.
  • the pen sensor 164 may be implemented using, for example, a method identical or similar to a method of receiving a user's touch input or using a separate recognition sheet.
  • the key 166 may include, for example, a physical button, an optical key or a keypad.
  • the ultrasonic input device 168 is a device capable of checking data by sensing a micro sound wave in the image display electronic device 100 through an input tool for generating an ultrasonic signal, and capable of wireless recognition.
  • the image display electronic device 100 may receive a user input from an external device (for example, a computer or a server) connected thereto using the wireless communication unit 110.
  • the display unit 140 may include a panel 142, a hologram device 144, or a projector 146.
  • the panel 142 may be, for example, a liquid-crystal display (LCD) or an active-matrix organic light-emitting diode (AM-OLED).
  • the panel 142 may be implemented to be, for example, flexible, transparent or wearable.
  • the panel 142 may be configured as a single module together with the touch panel 162.
  • the display unit 140 and at least part of the user input unit 160 may be integrally combined.
  • the display unit 140 may display a screen of the image display electronic device 100.
  • the display unit 140 may visually provide a menu, input data, and various information to a user.
  • the display unit 140 may display a screen (eg, a call log screen, a phone book screen, a call connection screen, etc.) according to the operation of the image display electronic device 100.
  • the display unit 140 may transmit an input signal according to the touch event to the controller 150.
  • the controller 150 may classify the touch event and control the execution of an operation according to the touch event.
  • the controller 150 controls the overall operation of the image display electronic device 100 and the internal components of the electronic device 100 (the wireless communication unit 110, the storage unit 120, the audio unit 130, the display unit 140, The signal flow between the user input unit 160 may be controlled, the data processing may be performed, and the power supply from the battery to the components may be controlled.
  • the controller 150 may detect a call connection (eg, an outgoing call connection or an incoming call connection).
  • the call connection may be an outgoing call connection according to a call origination request by a user, or an incoming call connection according to a call connection request of the other party.
  • the controller 150 may search whether there is an image of the other party requesting the call connection in the storage 130. If there is a counterpart image stored in the storage 130, the controller 150 may display the stored counterpart image on the call connection screen.
  • the controller 150 may extract feature data by analyzing the voice data of the counterpart connected to the call.
  • the controller 150 may receive the other party's voice data connected to the call and analyze the other party's voice data by using the received other party's voice data in a time domain, a frequency domain, or a time and frequency domain. For example, the controller 150 may extract feature data of a frequency domain by analyzing a height, a frequency magnitude, and a width of a frequency related to the counterpart voice data. In addition, the controller 150 may determine the gender, age, voice size, voice frequency, ambient noise, number of participants in the call, etc. by comparing the extracted feature data with reference feature values stored in the storage 130. have.
  • the controller 150 includes a linear prediction coefficient (LPC), a linear prediction cepstral coefficient (LPCC), a mel-frequency cepstral coefficient (MFCC), and a perceptual linear coefficient.
  • LPC linear prediction coefficient
  • LPCC linear prediction cepstral coefficient
  • MFCC mel-frequency cepstral coefficient
  • perceptual linear coefficient The feature data may be extracted from the other party's speech data using at least one feature extraction method of a predictive linear prediction coefficient (PLPC) and RelAtive SpecTrAl (RASTA).
  • PLPC predictive linear prediction coefficient
  • RASTA RelAtive SpecTrAl
  • the controller 150 may include at least one of a voice frequency, a voice pitch, a voice energy, and a voice duration, such as gender, age, voice size, voice frequency, number of participants, and ambient noise of a caller. At least one can be extracted as feature data. For example, since the male and female have different voice frequencies or voice pitches, the controller 150 may determine a gender using the voice frequency or voice pitch. In addition, the controller 150 may detect a voice frequency for whether the other party is a chattering person using voice energy or voice duration. The controller 150 may detect a voice size for whether the other party is a loud voice according to how loud the voice is.
  • the controller 150 may generate the counterpart image based on the extracted feature data.
  • the controller 150 may generate a person image by using the image basic information stored in the storage 130.
  • the controller 150 may generate a background image using the additional information.
  • the controller 150 may generate the counterpart image by combining the person image and the background image.
  • the controller 150 may display the counterpart image.
  • the storage unit 130 may store the extracted characteristic data or the generated counterpart image.
  • the controller 150 may search for the presence of the counterpart image stored in the storage 130. For example, when the controller 150 corresponds to at least one of an outgoing call connection, an incoming call connection, a call log execution, and a phone book execution, the controller 150 may display the counterpart image stored in the storage 130 through the display unit 140. have. Alternatively, the controller 150 may generate a counterpart image by combining the extracted feature data and the feature data stored in the storage unit 130, and display the generated counterpart image through the display unit 140.
  • the image display electronic device 100 may include at least one or more of the above-described components, some of them may be omitted, or further include other additional components.
  • the image display electronic device 100 analyzes the voice data of the other party received through the call connection, extracts feature data of the other party, and generates an image associated with the other party based on the feature data;
  • the storage unit 130 stores the image in association with the information related to the counterpart, and the display unit 140 displaying the image when an event related to the counterpart occurs.
  • the call connection may include an outgoing call connection according to a call origination request by a user, or an incoming call connection according to a call connection request of the other party.
  • the event may include at least one of an outgoing call connection, an incoming call connection, a call log display, or a phone book display.
  • the controller 150 may analyze the voice data using at least one of a time domain, a frequency domain, and a time and frequency domain of the voice data.
  • the controller 150 may use the feature extraction method of at least one of a linear prediction coefficient, a linear prediction cepstrum coefficient, a mel-frequency cepstrum coefficient, a perceptual linear prediction coefficient, and a RASTA, and the voice data.
  • the feature data can be extracted from the.
  • the controller 150 may extract, as the feature data, at least one of the gender, age, voice size, voice frequency, ambient noise, and number of call participants in the call connection from the counterpart. Can be.
  • the controller 150 may generate a person image using at least one of a head shape, a nose shape, an eye shape, a mouth shape, and a wrinkle shape based on the feature data.
  • the storage unit 130 may store the voice data in association with information related to the counterpart.
  • the controller 150 may include an image corresponding to at least one of location information, time information, and weather information associated with the call connection as at least part of the image.
  • the controller 150 generates a person image of the counterpart using the feature data and generates a background image using at least one of location information, time information, and weather information related to the call connection.
  • the image may be generated by combining the person image and the background image.
  • FIGS. 2A to 2B are diagrams illustrating an example of displaying a call-connected counterpart image according to an embodiment.
  • an image display electronic device may receive a call connection request from a counterpart through a communication channel.
  • the incoming call may be connected, if the other party's image requesting the incoming call is stored in the storage unit (eg, 130 of FIG. 1), it may be displayed on the screen, but the other party is not stored in the storage unit 130. Since the image could not be displayed, the user of the image display electronic device 100 could not easily know who the other party requested for the incoming call.
  • the image display electronic device 100 of the present invention may receive the other party's voice data requesting the received call and extract the feature data by analyzing the received other party's voice data.
  • the image display electronic device 100 may generate a counterpart image based on the extracted feature data, and display the counterpart image 201 generated as illustrated in FIG. 2B.
  • the controller (eg, 150 of FIG. 1) of the image display electronic device 100 may analyze the voice data using at least one of a time domain, a frequency domain, and a time and frequency domain of the received counterpart voice data.
  • feature data can be extracted.
  • the controller 150 may include a gender associated with the other party's speech data using at least one feature extraction method of a linear predictive coefficient, a linear prediction cepstrum coefficient, a mel-frequency cepstrum coefficient, a perceptual linear prediction coefficient, and a RASTA.
  • At least one of age, voice size, voice frequency, number of participants and ambient noise may be extracted as the feature data.
  • 3A to 3B illustrate an example of generating a counterpart image by analyzing counterpart voice data according to an exemplary embodiment.
  • the storage unit may store the reference characteristic value in advance in order to extract feature data associated with at least one of the other party's gender, age, voice size, voice frequency, ambient noise, and number of participants.
  • the storage unit 130 may store basic image information including at least one of a plurality of head shapes, a plurality of eye shapes, a plurality of nose shapes, and a plurality of mouth shapes.
  • the controller may use the gender, age, voice size, voice frequency, and periphery of the party to which the call is connected using at least one of voice frequency, voice pitch, voice energy, and voice duration associated with the voice data of the other party. At least one of the environmental noise and the number of participants in the call can be extracted as the feature data.
  • the controller may determine a gender using voice frequencies or voice pitches associated with counterpart voice data.
  • the controller 150 may generate the counterpart image 310 by using a short head shape suitable for the male image in the basic image information and using an eye shape and a mouth shape.
  • the controller 150 may generate a counterpart image by using a long hair shape suitable for a woman image in the basic image information and using an eye shape and a mouth shape.
  • the controller 150 has a long hair shape appropriately for the woman image, includes gray hair in the hair color, and wrinkles around the eyes.
  • the counterpart image 320 may be generated.
  • the controller 150 may detect a voice frequency for whether the counterpart is a chattering person using voice energy or voice duration. If the detected voice frequency is high, the controller 150 may determine that the person is a chattering person and generate the counterpart image 330 using a large mouth shape from the basic image information.
  • Such counterpart images 310 to 330 may correspond to, for example, a "portrait image”.
  • the controller 150 may generate a background image using at least one of a location, a time, and a weather associated with a call-connected time point as additional information. For example, the controller 150 may generate a light or sun when the call connection time is low, and a dark color or moon as the background image when the call connection time is night. Alternatively, the controller 150 may generate a weather image associated with clouds, rain, snow, sun, and the like as a background image. Accordingly, the controller 150 may generate the counterpart image 340 by combining the background image (night, 340b) with the person image ( woman, 340a).
  • the controller may generate the counterpart image 350 by combining a background image (ie, 350b) with a person image (man, 350a).
  • the controller 150 may generate a background image in association with the ambient noise extracted as the feature data.
  • the controller 150 when the ambient noise is high, the controller 150 generates a 'car' image 360b as a background image as an indication that the other party is connected to a call from the outside, and combines the person image ( woman, 360a) with the other party.
  • Image 360 may be generated.
  • the controller 150 may generate an image of at least two persons as the counterpart image 370.
  • the controller 150 may check the frequency of communication with the counterpart and determine that the intimacy is high when the call frequency is high and the intimacy is low when the call frequency is low. When the intimacy is high, the controller 150 may generate a counterpart image to include a smiley face in the person image.
  • 4A to 4C illustrate examples of displaying a counterpart image when a call connection or a phone book is executed, according to an exemplary embodiment.
  • the controller displays a counterpart image stored in a storage unit (eg, 130 of FIG. 1) with respect to the counterpart who requested the incoming call.
  • the display may be displayed on the screen through 140 of FIG. 1.
  • the counterpart image may be displayed as a person image as a 'man' and a background image as a 'night'.
  • the controller 150 may receive the other party's voice data requesting the received call and extract the feature data by analyzing the received other party's voice data. When the call is connected, the controller 150 may extract the feature data at at least one time point after the call is terminated.
  • the controller may generate a new counterpart image using the extracted feature data during the call connection.
  • the controller 150 detects a voice frequency using voice energy or a voice duration, and if the detected voice frequency is high, determines that the person is a chattering person and changes the size of the other party's image displayed in FIG. 4A into a large mouth shape.
  • a new counterpart image may be generated and displayed.
  • the controller 150 may generate a new counterpart image by increasing the weight of the feature data extracted more recently than the weight of the feature data stored in the storage unit (eg, 130 of FIG. 1). That is, the feature data stored in the storage unit 130 is data extracted before the recently extracted feature data, and may increase the weight of the recently extracted feature data.
  • the controller 150 when the call log is executed or the phone book is executed, the controller 150 generates a counterpart image by using the extracted feature data to display the generated counterpart image corresponding to each phone number. Can be. In this case, the controller 150 may generate a new counterpart image by combining the extracted feature data and the feature data stored in the storage 130. In this case, the controller 150 may generate a new counterpart image by increasing the weight of the feature data extracted recently than the weight of the feature data stored in the storage 130.
  • the controller 150 may execute a call log or a phone book at the end of the call connection or at the user's request.
  • the controller 150 may determine whether there is a counterpart image registered in the phone book or new feature data after the call is terminated. If there is a counterpart image registered in the phone book, the controller 150 may display the registered counterpart image on the call log screen.
  • the controller 150 when there is new feature data after the call ends, the controller 150 generates a counterpart image using the new feature data and the feature data registered in the phone book, and displays the counterpart image on the call log screen using the generated counterpart image. Can be.
  • the controller 150 generates a 'personal image' from the feature data registered in the phone book, and combines the background image (eg, night, hatched) with the new feature data to match the counterpart image (portrait image + background image). , 401).
  • the controller 150 generates a 'personal image' from the feature data registered in the phone book, and generates a counterpart image (personal image + background image, 402) by combining the background image (day and year) with the new feature data. can do.
  • the controller 150 may generate a new counterpart image by increasing the weight of the feature data recently extracted from the weight of the feature data stored in the storage 130. That is, the feature data stored in the storage unit 130 is data extracted before the recently extracted feature data, and may increase the weight of the recently extracted feature data.
  • the controller 150 may extract the feature data by analyzing the received counterpart voice data.
  • the controller 150 may generate a counterpart image using the extracted feature data, store the generated counterpart image, and display the counterpart image on the call log screen.
  • FIG. 5 is a flowchart illustrating a method of displaying image information according to an exemplary embodiment.
  • the image information display method according to the present embodiment may be performed by the image display electronic device 100 of FIG. 1.
  • a controller (eg, 150 of FIG. 1) of an image display electronic device may detect whether a call is connected.
  • the call connection may include an outgoing call connection by the user of the image display electronic device 100 and an incoming call connection requested from the other party.
  • the controller 150 may determine whether an image of the other party associated with the call connection is stored in the storage 130.
  • the storage unit 130 may store at least one of a name, an e-mail address, and a counterpart image for each counterpart phone number in phone book information.
  • step 503 the display unit 140 displays the counterpart image stored in the storage unit 130 on the screen.
  • step 504 the controller 150 receives the call-associated other party's voice data.
  • the controller 150 analyzes the other party's voice data to extract feature data.
  • the controller 150 may extract feature data by analyzing the voice data using at least one of a time domain, a frequency domain, and a time and frequency domain of the received counterpart voice data.
  • the controller 150 may include a gender associated with the other party's voice data using at least one feature extraction method of a linear predictive coefficient, a linear prediction cepstrum coefficient, a mel-frequency cepstrum coefficient, a perceptual linear prediction coefficient, and a RASTA. At least one of age, voice size, voice frequency, number of participants and ambient noise may be extracted as the feature data.
  • the storage unit 130 may store reference characteristic values in advance in order to extract feature data associated with at least one of gender, age, voice size, voice frequency, number of participants, and ambient noise.
  • the storage unit 130 may store basic image information including at least one of a plurality of head shapes, a plurality of eye shapes, a plurality of nose shapes, and a plurality of mouth shapes.
  • the controller 150 controls the gender, age, voice size, voice frequency, number of participants and surrounding environment of the other party to which the call is connected using at least one of voice frequency, voice pitch, voice energy, and voice duration associated with the other party's voice data. At least one of the noise may be extracted as the feature data.
  • the controller 150 may generate the counterpart image by using the extracted feature data.
  • the controller 150 may store the generated counterpart image in the storage 130.
  • the controller 150 may return to step 503 to display the counterpart image on the screen provided by the display unit 140.
  • FIG. 6 is a flowchart illustrating a method of displaying image information according to another exemplary embodiment.
  • a controller eg, 150 of FIG. 1 of an image display electronic device (eg, 100 of FIG. 1) may extract feature data by analyzing voice data of the other party.
  • the controller 150 may extract the feature data by analyzing the voice data of the other party after the call connection is terminated during the call connection.
  • the controller 150 may detect call log or phone book execution. For example, the controller 150 may execute a call log or a phone book according to a time point when the call connection is terminated or a user request.
  • the controller 150 may generate the counterpart image using the feature data extracted in operation 601 and the feature data stored in the storage 130. That is, the controller 150 may generate a new counterpart image by combining the previously extracted feature data with the feature data previously stored in the storage 130.
  • the controller 150 may store the generated counterpart image in the storage 130.
  • the controller 150 may display the generated counterpart image on the screen provided by the display unit 140.
  • FIGS. 2A-2B, 3A-3B, 4A-4C, 5, 6) may be performed in a sequential, parallel, repetitive or heuristic manner. Can be executed. In addition, some operations may be executed in a different order, may be omitted, or other operations may be added.
  • the image information display method of the present invention comprises the steps of: receiving voice data of the other party of the call connection through a call connection; extracting feature data of the other party by analyzing the voice data; Generating an associated image, storing the image in association with information related to the counterpart, and displaying the image when an event related to the counterpart occurs.
  • the call connection may include an outgoing call connection according to a call origination request by a user, or an incoming call connection according to a call connection request of the other party.
  • the event may include at least one of an outgoing call connection, an incoming call connection, a call log display, or a phone book display.
  • the extracting may include analyzing the voice data using at least one of a time domain, a frequency domain, and a time and a frequency domain of the voice data.
  • the extracting may be performed using the feature extraction method of at least one of a linear prediction coefficient, a linear prediction cepstrum coefficient, a mel-frequency cepstrum coefficient, a perceptual linear prediction coefficient, and a RASTA. It may include the step of extracting the feature data from.
  • the extracting may include extracting, as the feature data, at least one of the other party's gender, age, voice size, voice frequency, ambient noise, and number of call participants in the call connection from the voice data. Process may be included.
  • the image generating process may include generating a person image using at least one of a head shape, a nose shape, an eye shape, a mouth shape, and a wrinkle shape based on the feature data.
  • the image information displaying method may further include storing the voice data in association with information associated with the counterpart.
  • the generating may include a process of including an image corresponding to at least one of location information, time information, and weather information associated with the call connection as at least part of the image.
  • the generating may include generating a person image of the counterpart using the feature data, a background image using at least one of location information, time information, and weather information associated with the call connection. And generating the image by combining the person image and the background image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 일 실시예에 따른 이미지 정보 표시 방법은 통화 연결을 통해 상기 통화 연결의 상대방의 음성 데이터를 수신하는 과정, 상기 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하는 과정, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 과정, 상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 과정, 및 상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 과정을 포함할 수 있다. 다른 실시예도 가능하다.

Description

이미지 정보 표시 방법 및 장치
본 발명은 통화 연결의 상대방과 관련된 이미지를 표시하는 방법 및 장치에 관한 것이다.
일반적으로 콜 로그에는 사용자가 통화한 시간, 날짜, 전화 번호, 폰 북에 등록한 상대방 이름 등이 표시된다. 또한, 사용자가 폰 북에 상대방 정보를 저장할 때 사진도 같이 등록한 경우 콜 로그에는 사용자가 등록한 사진도 함께 표시될 수 있다. 이 경우 사용자는 콜 로그를 통해 언제, 누구와 통화한 것인지 쉽게 알 수 있다. 하지만 사용자가 저장하지 않은 전화 번호의 경우 콜 로그에 표시된 통화 시간과 전화 번호, 날짜 등을 통해 상대방과 어떤 대화를 했는지 통화를 한 상대방이 어떤 사람인지 생각하기가 힘들다.
대부분의 사용자는 폰 북에 전화 번호는 저장하지만 사진은 저장 하지 않은 경향이 있다. 그리고, 한 두 번 전화하는 경우에는 폰 복에 저장하지 않고 통화를 하는 경우도 많이 있다. 보통의 경우, 사용자는 다음 번 전화를 하고자 할 때 콜 로그를 검색하여 통화를 하는 경우가 많다. 하지만 저장되어 있지 않은 상대방의 경우 콜 로그를 검색하더라도 통화 시간과 날짜, 전화 번호만으로는 검색이 힘들어 상대방을 찾는데 어려움이 있다.
본 발명의 일 실시예는 통화 음성을 분석하여 추출한 특징 데이터를 이용하여 상대방 이미지를 생성할 수 있는 이미지 정보 표시 방법 및 장치를 제공하는데 있다.
본 발명의 일 실시예는 폰 북에 등록되지 않은 상대방 음성 데이터를 분석하여 특징 데이터를 추출하여, 통화 송수신 화면, 콜 로그 및 폰 북 중 적어도 하나의 화면에 상대방 이미지를 표시할 수 있는 이미지 정보 표시 방법 및 장치를 제공하는데 있다.
본 발명의 일 실시예에 따른 이미지 정보 표시 방법은 통화 연결을 통해 상기 통화 연결의 상대방의 음성 데이터를 수신하는 과정, 상기 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하는 과정, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 과정, 상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 과정, 및 상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 과정을 포함한다.
본 발명의 일 실시예에 따른 전자 장치는 통화 연결을 통해 수신되는 상대방의 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하고, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 제어부, 상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 저장부, 및 상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 표시부를 포함한다.
본 발명의 일 실시예에 따르면, 통화 음성을 분석한 정보를 바탕으로 상대방 이미지를 생성하여 표시함으로써 사용자가 통화했던 내용을 기억하는데 도움을 주고, 사용자가 통화했던 사람을 찾을 때 쉽게 찾을 수 있도록 정보를 제공할 수 있다.
본 발명의 일 실시예에 따르면, 사용자가 통화했던 시간, 날씨, 상대방의 주변 소음 환경에 대한 이미지를 표시함으로써, 사용자가 통화 상대방을 쉽게 기억할 수 있도록 도움을 줄 수 있다.
도 1은 일 실시예에 따른 전자 장치를 도시한 블록도이다.
도 2a 내지 도 2b는 일 실시예에 따른 통화 연결된 상대방 이미지를 표시하는 일례를 도시한 도면이다.
도 3a 내지 도 3b는 일 실시예에 따라 상대방 음성 데이터를 분석하여 상대방 이미지를 생성하는 일례를 도시한 도면이다.
도 4a 내지 도 4c는 일 실시예에 따른 통화 연결 또는 폰 북 실행 시 상대방 이미지를 표시하는 일례를 도시한 도면이다.
도 5는 일 실시예에 따른 이미지 정보 표시 방법을 도시한 흐름도이다.
도 6은 다른 실시예에 따른 이미지 정보 표시 방법을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예 중 일부 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
한편, 본 명세서와 도면에 개시된 본 발명의 다양한 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
상세한 설명에 앞서, 본 발명의 다양한 실시예에 따른 이미지 정보 표시 장치는 전자 장치에 포함되어 수행될 수 있다.
어떤 실시예들에 따르면, 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 전자 장치는 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
어떤 실시예들에 따르면, 전자 장치는 통신 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 개시에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 개시에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
도 1은 일 실시예에 따른 전자 장치를 도시한 블록도이다.
도 1을 참조하면, 이미지 표시 전자 장치(100)는 무선통신부(110), 오디오 처리부(120), 저장부(130), 표시부(140), 제어부(150) 및 사용자 입력부(160)를 포함할 수 있다.
이미지 표시 전자 장치(100)는 도 1에 도시된 구성 요소들보다 많은 구성 요소들을 가지거나, 또는 그보다 적은 구성 요소들을 가지는 것으로 구현될 수 있다. 예를 들어, 이미지 표시 전자 장치(100)는 다양한 센서(예컨대, 적외선 센서, 조도 센서, 이미지 센서, 근접 센서, 가속도센서, 각속도 센서, 지자기 센서 등), 무선 인터넷을 지원하기 위한 무선 랜(WLAN, Wireless Local Area Network) 모듈, 다양한 근거리 통신 기술(예컨대, 블루투스(Bluetooth), 블루투스 저에너지(BLE, Bluetooth Low Energy), NFC(Near Field Communication) 등)을 지원하기 위한 근거리 통신 모듈, 그리고 방송 채널(예컨대, 위성 방송 채널, 지상파 방송 채널 등)을 통하여 외부의 방송 관리 서버로부터 방송 신호를 수신하는 방송 수신 모듈 등이 포함되어 구성될 수도 있다.
무선통신부(110)는 이미지 표시 전자 장치(100)의 통신을 수행할 수 있다. 무선통신부(110)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신 등과 같은 통신을 수행할 수 있다. 무선통신부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저 잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한, 무선통신부(110)는 이동 통신 모듈(예컨대, 3 세대(3-Generation) 이동통신모듈, 3.5 세대(3.5-Generation) 이동통신모듈 또는 4 세대(4-Generation) 이동통신모듈 등)을 포함할 수 있다.
오디오 처리부(120)는 제어부(150)로부터 입력 받은 오디오 신호를 스피커 (SPK, speaker)로 전송하고, 마이크(MIC, microphone)로부터 입력 받은 음성 등의 오디오 신호를 제어부(150)로 전달하는 기능을 수행할 수 있다. 오디오 처리부(120)는 음성/음향 데이터를 제어부(150)의 제어에 따라 스피커를 통해 가청음으로 변환하여 출력할 수 있다. 또한, 오디오 처리부(120)는 마이크로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 제어부(150)로 전달할 수 있다.
스피커는 메신저 모드, 통화 모드, 메시지 모드, 녹음(녹화) 모드, 음성인식 모드, 방송수신 모드, 그리고 미디어 컨텐츠(음악파일, 동영상 파일) 재생 모드 등에서 무선 통신부(110)로부터 수신되거나, 또는 저장부(130)에 저장된 오디오 데이터를 출력할 수 있다. 스피커는 사용자 디바이스에서 수행되는 기능(예컨대, 메신저 실행, 대화 수신, 대화 발신, 컨텐츠 이미지 표시, 컨텐츠 이미지 관련 기능 실행, 통화 연결 수신, 통화 연결 발신, 촬영, 미디어 컨텐츠 파일 재생 등)과 관련된 음향 신호를 출력할 수도 있다.
마이크는 통화 모드, 메시지 모드, 녹음(녹화) 모드, 그리고 음성인식 모드 등에서 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 처리된 음성 데이터는 통화모드인 경우 무선통신부(110)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크에는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡은 제거 알고리즘이 구현될 수 있다.
저장부(130)는 이미지 표시 전자 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 상기 프로그램 영역은 이미지 표시 전자 장치(100)의 전반적인 동작을 제어하는 프로그램, 전자 장치(100)를 부팅시키는 운영체제(OS, Operating System) 및 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 이미지 표시 전자 장치(100)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 이미지, 동영상 오디오 등을 저장할 수 있다.
본 발명의 다양한 실시예에서 저장부(130)는 폰 북 정보를 저장할 수 있다. 상기 폰 북 정보는 이름, 전화 번호, 사진, 및 이메일 주소 중 적어도 하나를 포함할 수 있다.
저장부(130)는 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수, 및 주변 환경 소음 중 적어도 하나와 연관된 특징 데이터를 추출하기 위해 사전에 기준 특성 수치를 저장할 수 있다. 또한, 저장부(130)는 이미지 생성을 위한 이미지 기본정보를 저장할 수 있다. 상기 이미지 기본정보는 복수의 머리 모양, 복수의 눈 모양, 복수의 코 모양, 및 복수의 입 모양 중 적어도 하나를 포함할 수 있다.
또한, 저장부(130)는 통화 연결과 연관된 부가정보를 저장할 수 있다. 상기 부가정보는 통화 연결된 시점과 연관된 위치, 시간 및 날씨 중 적어도 하나의 정보 또는, 이와 관련된 이미지를 포함할 수 있다. 예컨대, 시간과 관련된 이미지는 상기 통화 연결된 시점이 낮이면 밝은 색, 상기 통화 연결된 시점이 밤이면 어두운 색으로 표시될 수 있다. 예컨대, 날씨와 관련된 이미지는 구름, 비, 눈, 태양 등과 연관된 이미지를 포함할 수 있다.
사용자 입력부(160)는 터치 패널(touch panel, 162), (디지털) 펜 센서(pen sensor, 164), 키(key, 166) 또는 초음파(ultrasonic) 입력 장치(168)를 포함할 수 있다. 터치 패널(162)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널(162)은 제어 회로를 더 포함할 수도 있다. 정전식 터치패널(162)은 물리적 접촉 또는 근접 인식이 가능하다. 터치 패널(162)은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널(162)은 사용자에게 촉각 반응을 제공할 수 있다.
터치 패널(162)은 이미지 표시 전자 장치(100)(예: 표시부 140)의 표면에 접촉하거나 근접하는 사용자의 터치 이벤트(예컨대, 롱 프레스(long press), 탭(tap), 드래그(drag), 스윕(sweep), 플릭(flick), 멀티터치(multi-touch), 호버링(hovering) 등)를 감지할 수 있다. 터치패널(162)는 이미지 표시 전자 장치(100)(예: 표시부 140)의 표면에 사용자의 터치 이벤트를 감지할 시 상기 터치 이벤트가 발생된 좌표를 검출하고, 검출된 좌표를 제어부(150)에게 전달할 수 있다.
펜 센서(164)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 키(166)는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 초음파 입력 장치(168)는 초음파 신호를 발생하는 입력 도구를 통해, 이미지 표시 전자 장치(100)에서 마이크로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시예에 따르면, 이미지 표시 전자 장치(100)는 무선 통신부(110)를 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
표시부(140)는 패널(142), 홀로그램 장치(144) 또는 프로젝터(146)를 포함할 수 있다. 패널(142)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널(142)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(142)은 터치 패널(162)과 하나의 모듈로 구성될 수도 있다.
어떤 실시예들에 따르면, 표시부(140) 및 사용자 입력부(160)의 적어도 일부(예: 터치 센서(161))는 일체형으로 결합될 수 있다.
표시부(140)는 이미지 표시 전자 장치(100)의 화면을 표시할 수 있다. 예들 들면, 표시부(140)는 메뉴, 입력된 데이터 및 다양한 정보를 사용자에게 시각적으로 제공할 수 있다. 표시부(140)는 이미지 표시 전자 장치(100)의 운용에 따른 화면(예컨대, 콜 로그 화면, 폰 북 화면, 통화 연결 화면 등)을 표시할 수 있다. 표시부(140)는 특정 화면을 표시하는 중에 사용자의 터치 이벤트(touch event)가 입력되면, 상기 터치 이벤트에 따른 입력신호를 제어부(150)에게 전달할 수 있다. 그러면, 제어부(150)는 상기 터치 이벤트를 구분하고, 터치 이벤트에 따른 동작 수행을 제어할 수 있다.
제어부(150)는 이미지 표시 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성요소들(무선통신부(110), 저장부(120), 오디오부(130), 표시부(140), 사용자 입력부(160)) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행하고, 배터리에서 상기 구성요소들로의 전원 공급을 제어할 수 있다.
제어부(150)는 통화 연결(예컨대, 발신 통화 연결 또는 수신 통화 연결)을 감지할 수 있다. 예를 들어, 통화 연결은 사용자에 의한 통화 발신 요청에 따른 발신 통화 연결, 또는 상대방의 통화 연결 요청에 따른 수신 통화 연결이 될 수 있다. 제어부(150)는 통화 연결이 감지되면 저장부(130)에 상기 통화 연결을 요청한 상대방 이미지가 있는지 검색할 수 있다. 제어부(150)는 저장부(130)에 저장된 상대방 이미지가 있는 경우, 저장된 상대방 이미지를 통화 연결 화면에 표시할 수 있다.
그러나, 저장부(130)에 저장된 상대방 이미지가 없는 경우 제어부(150)는 상기 통화 연결된 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다.
즉, 제어부(150)는 상기 통화 연결된 상대방 음성 데이터를 수신하고, 수신된 상대방 음성 데이터를 시간 영역, 주파수 영역 또는 시간과 주파수 영역을 함께 이용하여 상기 상대방 음성 데이터를 분석할 수 있다. 예를 들어, 제어부(150)는 상기 상대방 음성 데이터와 관련된 주파수의 높이, 주파수 크기, 주파수의 폭 등을 분석하여 주파수 영역의 특징 데이터를 추출할 수 있다. 또한, 제어부(150)는 상기 추출된 특징 데이터를 저장부(130)에 저장된 기준 특성 수치와 비교하여 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음, 통화 참여자 수 등을 판단할 수 있다.
제어부(150)는 선형예측계수(Linear Prediction Coefficient: LPC), 선형 예측 켑스트럼 계수(Linear Prediction Cepstral Coefficient: LPCC), 멜-주파수 켑스트럼 계수(Mel-Frequency Cepstral Coefficient: MFCC), 지각 선형 예측 계수(Perceptual Linear Prediction Coefficient: PLPC) 및 RASTA(RelAtive SpecTrAl) 중 적어도 하나의 특징추출방법을 이용하여 상기 상대방 음성 데이터로부터 특징 데이터를 추출할 수 있다.
일례로, 제어부(150)는 음성 주파수, 음성 피치, 음성 에너지, 및 음성 지속 길이 중 적어도 하나를 이용하여 통화 연결한 상대방의 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수 및 주변 환경 소음 중 적어도 하나를 특징 데이터로서 추출할 수 있다. 예컨대, 남성과 여성은 음성 주파수나 음성 피치가 서로 다르기 때문에, 제어부(150)는 음성 주파수나 음성 피치를 이용하여 성별을 판단할 수 있다. 또한, 제어부(150)는 음성 에너지 또는 음성 지속 길이를 이용하여 상대방이 수다스러운 사람인지에 대한 음성빈도를 검출할 수 있다. 제어부(150)는 음성 에너지를 이용하여 얼마나 크게 들리는가에 따라 상대방이 목소리가 큰 사람인지에 대한 음성크기를 검출할 수 있다.
제어부(150)는 추출된 특징 데이터에 기초하여 상대방 이미지를 생성할 수 있다. 실시예로, 제어부(150)는 저장부(130)에 저장된 상기 이미지 기본정보를 이용하여 인물 이미지를 생성할 수 있다. 제어부(150)는 상기 부가정보를 이용하여 배경 이미지를 생성할 수 있다. 제어부(150)는 상기 인물 이미지와 상기 배경 이미지를 조합하여 상기 상대방 이미지를 생성할 수 있다.
제어부(150)는 발신 통화 연결, 수신 통화 연결, 콜 로그 실행, 및 폰 북 실행 중 적어도 하나에 해당하는 경우, 상기 상대방 이미지를 표시할 수 있다.
저장부(130)는 상기 추출된 특성 데이터 또는 상기 생성된 상대방 이미지를 저장할 수 있다.
제어부(150)는 발신 통화 연결, 수신 통화 연결, 콜 로그 실행, 및 폰 북 실행 중 적어도 하나에 해당하는 경우, 저장부(130)에 저장된 상대방 이미지가 있는지 검색할 수 있다. 예컨대, 제어부(150)는 발신 통화 연결, 수신 통화 연결, 콜 로그 실행, 및 폰 북 실행 중 적어도 하나에 해당하는 경우, 저장부(130)에 저장된 상대방 이미지를 표시부(140)를 통해 표시할 수 있다. 또는, 제어부(150)는 상기 추출된 특징 데이터 및 저장부(130)에 저장된 특징 데이터를 조합하여 상대방 이미지를 생성하고, 상기 생성된 상대방 이미지를 표시부(140)를 통해 표시할 수 있다.
본 실시예에 따른 이미지 표시 전자 장치(100)는 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
이미지 표시 전자 장치(100)는 통화 연결을 통해 수신되는 상대방의 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하고, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 제어부(150), 상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 저장부(130), 및 상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 표시부(140)를 포함한다.
어떤 실시예에 따르면, 상기 통화 연결은 사용자에 의한 통화 발신 요청에 따른 발신 통화 연결, 또는 상기 상대방의 통화 연결 요청에 따른 수신 통화 연결을 포함할 수 있다.
어떤 실시예에 따르면, 상기 이벤트는 발신 통화 연결, 착신 통화 연결, 통화 내역 표시, 또는 전화번호부 표시 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 상기 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 선형예측계수, 선형 예측 켑스트럼 계수, 멜-주파수 켑스트럼 계수, 지각 선형 예측 계수, RASTA 중 적어도 하나의 특징추출방법을 이용하여, 상기 음성 데이터로부터 상기 특징 데이터를 추출할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 상기 음성 데이터로부터 상기 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음, 및 상기 통화 연결의 통화 참여자 수 중 적어도 하나를 상기 특징 데이터로서 추출할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 상기 특징 데이터에 기반하여 머리 모양, 코 모양, 눈 모양, 입 모양 및 주름 모양 중 적어도 하나를 이용하여 인물 이미지를 생성할 수 있다.
어떤 실시예에 따르면, 저장부(130)는 상기 음성 데이터를, 상기 상대방과 관련된 정보와 연관되게 저장할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나에 대응되는 이미지를 상기 이미지의 적어도 일부로 포함할 수 있다.
어떤 실시예에 따르면, 제어부(150)는 상기 특징 데이터를 이용하여 상기 상대방의 인물 이미지를 생성하고, 상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나를 이용하여 배경 이미지를 생성하고, 상기 인물 이미지 및 상기 배경 이미지를 조합하여 상기 이미지를 생성할 수 있다.
도 2a 내지 도 2b는 실시예에 따른 통화 연결된 상대방 이미지를 표시하는 일례를 도시한 도면이다.
도 2a를 참고하면, 이미지 표시 전자 장치(예: 도 1의 100)는 통신 채널을 통해 상대방으로부터 수신 통화 연결을 요청받을 수 있다. 종래에는 상기 수신 통화 연결 시, 저장부(예: 도 1의 130)에 상기 수신 통화를 요청한 상대방 이미지가 저장되어 있다면 화면에 표시할 수 있지만, 저장부(130)에 저장되어 있지 않은 경우, 상대방 이미지를 표시할 수 없어 이미지 표시 전자 장치(100)의 사용자는 수신 통화를 요청한 상대방이 누구인지 쉽게 알 수 없었다.
그러나, 본 발명의 이미지 표시 전자 장치(100)는 상기 수신 통화를 요청한 상대방 음성 데이터를 수신하고, 수신된 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다. 이미지 표시 전자 장치(100)는 상기 추출된 특징 데이터에 기초하여 상대방 이미지를 생성하고, 도 2b와 같이 생성된 상대방 이미지(201)를 화면에 표시할 수 있다.
실시예로, 이미지 표시 전자 장치(100)의 제어부(예: 도 1의 150)는 상기 수신된 상대방 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석함으로써, 특징 데이터를 추출할 수 있다. 또는, 제어부(150)는 선형예측계수, 선형 예측 켑스트럼 계수, 멜-주파수 켑스트럼 계수, 지각 선형 예측 계수 및 RASTA 중 적어도 하나의 특징추출방법을 이용하여 상기 상대방 음성 데이터와 연관된 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수 및 주변 환경 소음 중 적어도 하나를 상기 특징 데이터로서 추출할 수도 있다.
도 3a 내지 도 3b는 일 실시예에 따라 상대방 음성 데이터를 분석하여 상대방 이미지를 생성하는 일례를 도시한 도면이다.
저장부(예: 도 1의 130)는 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음 및 통화 참여자 수 중 적어도 하나와 연관된 특징 데이터를 추출하기 위해 사전에 기준 특성 수치를 저장할 수 있다. 또한, 저장부(130)는 복수의 머리 모양, 복수의 눈 모양, 복수의 코 모양 및 복수의 입 모양 중 적어도 하나를 포함하는 이미지 기본정보를 저장할 수 있다.
제어부(예: 도 1의 150)는 상대방 음성 데이터와 연관된 음성 주파수, 음성 피치, 음성 에너지, 및 음성 지속 길이 중 적어도 하나를 이용하여 통화 연결한 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음 및 통화 참여자 수 중 적어도 하나를 특징 데이터로서 추출할 수 있다.
도 3a를 참고하면, 남성과 여성은 음성 주파수나 음성 피치가 서로 다르기 때문에, 제어부(예: 도 1의 150)는 상대방 음성 데이터와 연관된 음성 주파수나 음성 피치를 이용하여 성별을 판단할 수 있다. 판단결과, "남자"인 경우, 제어부(150)는 상기 이미지 기본정보에서 남자 이미지로 적절한 머리모양이 짧고, 눈모양, 입모양을 이용하여 상대방 이미지(310)를 생성할 수 있다.
또는, 판단결과, "여자"인 경우, 제어부(150)는 상기 이미지 기본정보에서 여자 이미지로 적절한 머리모양이 길고, 눈모양, 입모양을 이용하여 상대방 이미지를 생성할 수도 있다. 이때, 제어부(150)는 성별이 여자이고, 나이가 50대 이상으로 판단된 경우, 상기 이미지 기본정보에서 여자 이미지에 적절하게 머리모양이 길고, 머리색에 흰머리를 포함하고, 눈가에 주름을 포함시켜 상대방 이미지(320)를 생성할 수 있다.
다른 실시예로, 제어부(150)는 음성 에너지 또는 음성 지속 길이를 이용하여 상대방이 수다스러운 사람인지에 대한 음성빈도를 검출할 수 있다. 제어부(150)는 상기 검출한 음성빈도가 높다면, 수다스러운 사람이라고 판단하고, 상기 이미지 기본정보에서 큰 입모양을 이용하여 상대방 이미지(330)를 생성할 수 있다.
이러한, 상대방 이미지(310 내지 330)는, 예를 들면, "인물 이미지"에 해당될 수 있다,
또 다른 실시예로, 제어부(150)는 통화 연결된 시점과 연관된 위치, 시간, 날씨 중 적어도 하나의 이미지를 부가정보로 이용하여 배경 이미지를 생성할 수 있다. 예컨대, 제어부(150)는 상기 통화 연결된 시간이 낮이면 밝은색 또는 태양, 상기 통화 연결된 시간이 밤이면 어두운 색 또는 달을 배경 이미지로 생성할 수 있다. 또는, 제어부(150)는 구름, 비, 눈, 태양 등과 연관된 날씨 이미지를 배경 이미지로 생성할 수도 있다. 따라서, 제어부(150)는 인물 이미지(여자, 340a)에 배경 이미지(밤, 340b)를 조합하여 상대방 이미지(340)를 생성할 수 있다.
도 3b를 참고하면, 제어부(예: 도 1의 150)는 인물 이미지(남자, 350a)에 배경 이미지(해, 350b)를 조합하여 상대방 이미지(350)를 생성할 수 있다. 또는, 제어부(150)는 상기 특징 데이터로서 추출된 주변 환경 소음과 연관하여 배경 이미지를 생성할 수도 있다. 예컨대, 제어부(150)는 상기 주변 환경 소음이 높은 경우, 상대방이 외부에서 통화 연결한 것이라는 표시로 '자동차' 이미지(360b)를 배경 이미지로 생성하고, 인물 이미지(여자, 360a)와 조합하여 상대방 이미지(360)를 생성할 수 있다. 또는, 제어부(150)는 상기 특징 데이터로서 추출된 통화 참여자 수와 연관하여 통화 참여자 수가 적어도 두 명 이상인 경우, 인물이 두 명 이상인 이미지를 상대방 이미지(370)로 생성할 수 있다.
또한, 제어부(150)는 상기 상대방과의 통화 빈도를 확인하여 통화빈도가 높은 경우 친밀도가 높고, 통화빈도가 낮은 경우 친밀도가 낮다고 판단할 수 있다. 제어부(150)는 상기 친밀도가 높은 경우 인물 이미지에 웃는 얼굴이 포함될 수 있도록 상대방 이미지를 생성할 수 있다.
도 4a 내지 도 4c는 일 실시예에 따른 통화 연결 또는 폰 북 실행 시 상대방 이미지를 표시하는 일례를 도시한 도면이다.
도 4a를 참고하면, 제어부(예: 도 1의 150)는 상대방으로부터 수신 통화가 요청된 경우 수신 통화를 요청한 상대방과 관련하여 저장부(예: 도 1의 130)에 저장된 상대방 이미지를 표시부(예: 도 1의 140)를 통해 화면에 표시할 수 있다. 이때, 상대방 이미지는 인물 이미지는 '남자'이며, 배경 이미지는 '밤'으로 표시할 수 있다.
이때, 제어부(150)는 상기 수신 통화를 요청한 상대방 음성 데이터를 수신하고, 수신된 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다. 제어부(150)는 통화 연결 시, 통화 연결 중, 통화 연결이 종료된 후 중 적어도 하나의 시점에 상기 특징 데이터를 추출할 수 있다.
도 4b에서는 제어부(예: 도 1의 150)는 상기 통화 연결 중에, 추출된 특징 데이터를 이용하여 새로운 상대방 이미지를 생성할 수 있다. 예컨대, 제어부(150)는 음성 에너지 또는 음성 지속 길이를 이용하여 음성빈도를 검출하고, 검출된 음성빈도가 높다면, 수다스러운 사람이라고 판단하고, 도 4A에서 표시된 상대방 이미지에 큰 입모양으로 변경하여 도 4B와 같이 새로운 상대방 이미지를 생성하여 표시할 수 있다. 이때, 제어부(150)는 저장부(예: 도 1의 130)에 저장된 특징 데이터의 가중치보다 최근 추출된 특징 데이터의 가중치를 높여서 새로운 상대방 이미지를 생성할 수 있다. 즉, 저장부(130)에 저장된 특징 데이터는 최근 추출된 특징 데이터보다 이전에 추출된 데이터로서, 최근에 추출된 특징 데이터의 가중치를 높일 수 있다.
도 4c와 같이, 제어부(150)는 콜 로그가 실행되거나, 폰 북이 실행되는 경우, 상기 추출된 특징 데이터를 이용하여 상대방 이미지를 생성함으로써, 생성된 상대방 이미지를 각 전화번호에 대응하여 표시할 수 있다. 이때, 제어부(150)는 상기 추출된 특징 데이터 및 저장부(130)에 저장된 특징 데이터를 조합하여 새로운 상대방 이미지를 생성할 수도 있다. 이때, 제어부(150)는 저장부(130)에 저장된 특징 데이터의 가중치보다 최근 추출된 특징 데이터의 가중치를 높여서 새로운 상대방 이미지를 생성할 수 있다.
제어부(150)는 통화 연결이 끝나는 시점 또는 사용자 요청에 따라 콜 로그나 폰 북을 실행할 수 있다. 제어부(150)는 콜 로그 화면을 표시할 때 폰 북에 등록된 상대방 이미지 또는 통화 종료 후 새로운 특징 데이터가 있는지를 판단할 수 있다. 제어부(150)는 폰 북에 등록된 상대방 이미지가 있는 경우 등록된 상대방 이미지를 이용하여 콜 로그 화면에 표시할 수 있다. 또한, 제어부(150)는 통화 종료 후 새로운 특징 데이터가 있는 경우, 새로운 특징 데이터 및 폰 북에 등록된 특징 데이터를 이용하여 상대방 이미지를 생성하고, 생성된 상대방 이미지를 이용하여 콜 로그 화면 등에 표시할 수 있다.
예를 들어, 제어부(150)는 폰 북에 등록된 특징 데이터로 '인물 이미지'를 생성하고, 새로운 특징 데이터로 배경 이미지(예: 밤, 빗금표시)를 조합하여 상대방 이미지(인물 이미지+배경 이미지, 401)를 생성할 수 있다. 또는, 제어부(150)는 폰 북에 등록된 특징 데이터로 '인물 이미지'를 생성하고, 새로운 특징 데이터로 배경 이미지(낮, 해)를 조합하여 상대방 이미지(인물 이미지+배경 이미지, 402)를 생성할 수 있다. 또는, 제어부(150)는 저장부(130)에 저장된 특징 데이터의 가중치보다 최근 추출된 특징 데이터의 가중치를 높여서 새로운 상대방 이미지를 생성할 수 있다. 즉, 저장부(130)에 저장된 특징 데이터는 최근 추출된 특징 데이터보다 이전에 추출된 데이터로서, 최근에 추출된 특징 데이터의 가중치를 높일 수 있다.
또는, 제어부(150)는 폰 북에 등록되어 있지 않은 상대방과 통화가 이루어진 경우, 수신된 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다. 제어부(150)는 추출한 특징 데이터를 이용하여 상대방 이미지를 생성하고, 생성된 상대방 이미지를 저장하고, 콜 로그 화면 등에 표시할 수 있다.
도 5는 일 실시예에 따른 이미지 정보 표시 방법을 도시한 흐름도이다. 본 실시예에 따른 이미지 정보 표시 방법은 도 1의 이미지 표시 전자 장치(100)에 의해 수행될 수 있다.
도 5를 참고하면, 단계 501에서, 이미지 표시 전자 장치(예: 도 1의 100)의 제어부(예: 도1 의 150)는 통화 연결되는지 여부를 감지할 수 있다. 통화 연결은 이미지 표시 전자 장치(100)의 사용자에 의한 발신 통화 연결 및 상대방으로부터 요청되는 수신 통화 연결을 포함할 수 있다.
단계502에서, 제어부(150)는 상기 통화 연결과 연관된 상대방 이미지가 저장부(130)에 저장되어 있는지 판단할 수 있다다. 저장부(130)는 상대방 전화번호별 이름, 이메일 주소, 상대방 이미지 중 적어도 하나를 폰 북 정보에 저장할 수 있다.
상대방 이미지가 저장부(130)에 저장되어 있는 경우, 단계503 에서, 표시부(140)는 저장부(130)에 저장된 상대방 이미지를 화면에 표시한다.
상대방 이미지가 저장부(130)에 저장되어 있지 않은 경우, 단계504 에서, 제어부(150)는 상기 통화 연결된 상대방 음성 데이터를 수신한다.
단계505에서, 제어부(150)는 상대방 음성 데이터를 분석하여 특징 데이터를 추출한다. 실시예로, 제어부(150)는 상기 수신된 상대방 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석함으로써, 특징 데이터를 추출할 수 있다. 또는, 제어부(150)는 선형예측계수, 선형 예측 켑스트럼 계수, 멜-주파수 켑스트럼 계수, 지각 선형 예측 계수, RASTA 중 적어도 하나의 특징추출방법을 이용하여 상기 상대방 음성 데이터와 연관된 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수 및 주변 환경 소음 중 적어도 하나를 상기 특징 데이터로서 추출할 수도 있다.
저장부(130)는 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수, 및 주변 환경 소음 중 적어도 하나와 연관된 특징 데이터를 추출하기 위해 사전에 기준 특성 수치를 저장할 수 있다. 또한, 저장부(130)는 복수의 머리 모양, 복수의 눈 모양, 복수의 코 모양 및 복수의 입 모양 중 적어도 하나를 포함하는 이미지 기본정보를 저장할 수 있다.
제어부(150)는 상대방 음성 데이터와 연관된 음성 주파수, 음성 피치, 음성 에너지, 및 음성 지속 길이 중 적어도 하나를 이용하여 통화 연결한 상대방의 성별, 나이, 음성크기, 음성빈도, 통화 참여자 수 및 주변 환경 소음 중 적어도 하나를 특징 데이터로서 추출할 수 있다.
단계506 에서, 제어부(150)는 상기 추출된 특징 데이터를 이용하여 상대방 이미지를 생성할 수 있다. 상대방 이미지 생성이 완료되면, 단계 507에서, 제어부(150)는 생성된 상대방 이미지를 저장부(130)에 저장할 수 있다. 아울러, 제어부(150)는 단계503으로 복귀하여, 상대방 이미지를 표시부(140)에서 제공하는 화면에 표시할 수 있다.
도 6은 다른 실시예에 따른 이미지 정보 표시 방법을 도시한 흐름도이다.
도 6을 참고하면, 단계601에서, 이미지 표시 전자 장치(예: 도 1의 100)의 제어부(예: 도 1의 150)는 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다. 예컨대, 제어부(150)는 통화 연결 중, 통화 연결이 종료된 후, 상대방 음성 데이터를 분석하여 특징 데이터를 추출할 수 있다.
단계602에서, 제어부(150)는 콜 로그나 폰 북 실행을 감지할 수 있다. 예컨대, 제어부(150)는 통화 연결이 종료된 시점 또는 사용자 요청에 따라 콜 로그나 폰 북을 실행할 수 있다.
단계603에서, 제어부(150)는 단계(601)에서 추출된 특징 데이터 및 저장부(130)에 저장된 특징 데이터를 이용하여 상대방 이미지를 생성할 수 있다. 즉, 제어부(150)는 앞서 추출한 특징 데이터에 저장부(130)에 사전에 저장된 특징 데이터를 조합하여 새로운 상대방 이미지를 생성할 수 있다.
단계604에서, 제어부(150)는 상기 생성된 상대방 이미지를 저장부(130)에 저장할 수 있다.
단계605에서, 제어부(150)는 표시부(140)에 의해 제공되는 화면을 통해, 상기 생성된 상대방 이미지를 표시할 수 있다.
전술한 도면들(예: 도 2A 내지 도 2B, 도 3A 내지 도 3B, 도 4A 내지 도 4C, 도 5, 도 6)에서 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 발명의 이미지 정보 표시 방법은 통화 연결을 통해 상기 통화 연결의 상대방의 음성 데이터를 수신하는 과정, 상기 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하는 과정, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 과정, 상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 과정, 및 상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 과정을 포함한다.
어떤 실시예에 따르면, 상기 통화 연결은 사용자에 의한 통화 발신 요청에 따른 발신 통화 연결, 또는 상기 상대방의 통화 연결 요청에 따른 수신 통화 연결을 포함할 수 있다.
어떤 실시예에 따르면, 상기 이벤트는 발신 통화 연결, 착신 통화 연결, 통화 내역 표시, 또는 전화번호부 표시 중 적어도 하나를 포함할 수 있다.
어떤 실시예에 따르면, 상기 추출하는 과정은, 상기 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석하는 과정을 포함할 수 있다.
어떤 실시예에 따르면, 상기 추출하는 과정은 선형예측계수, 선형 예측 켑스트럼 계수, 멜-주파수 켑스트럼 계수, 지각 선형 예측 계수, RASTA 중 적어도 하나의 특징추출방법을 이용하여, 상기 음성 데이터로부터 상기 특징 데이터를 추출하는 과정을 포함할 수 있다.
어떤 실시예에 따르면, 상기 추출하는 과정은 상기 음성 데이터로부터 상기 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음, 및 상기 통화 연결의 통화 참여자 수 중 적어도 하나를 상기 특징 데이터로서 추출하는 과정을 포함할 수 있다.
어떤 실시예에 따르면, 상기 이미지 생성 과정은 상기 특징 데이터에 기반하여 머리 모양, 코 모양, 눈 모양, 입 모양 및 주름 모양 중 적어도 하나를 이용하여 인물 이미지를 생성하는 과정을 포함할 수 있다.
어떤 실시예에 따르면, 상기 이미지 정보 표시 방법은 상기 음성 데이터를, 상기 상대방과 관련된 정보와 연관되게 저장하는 과정을 더 포함할 수 있다.
어떤 실시예에 따르면, 상기 생성하는 과정은 상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나에 대응되는 이미지를 상기 이미지의 적어도 일부로 포함하는 과정을 포함할 수 있다.
어떤 실시예에 따르면, 상기 생성하는 과정은 상기 특징 데이터를 이용하여 상기 상대방의 인물 이미지를 생성하는 과정, 상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나를 이용하여 배경 이미지를 생성하는 과정, 및 상기 인물 이미지 및 상기 배경 이미지를 조합하여 상기 이미지를 생성하는 과정을 포함할 수 있다.
이상에서는 본 발명의 실시예에 따른 이미지 정보 표시 방법 및 장치에 대하여 본 명세서 및 도면을 통해 실시예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시예가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 이미지 정보 표시 방법에 있어서,
    통화 연결을 통해 상기 통화 연결의 상대방의 음성 데이터를 수신하는 과정;
    상기 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하는 과정;
    상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 과정;
    상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 과정; 및
    상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 과정
    을 포함하는 이미지 정보 표시 방법.
  2. 제1항에 있어서,
    상기 통화 연결은,
    사용자에 의한 통화 발신 요청에 따른 발신 통화 연결, 또는 상기 상대방의 통화 연결 요청에 따른 수신 통화 연결을 포함하는 이미지 정보 표시 방법.
  3. 제1항에 있어서, 상기 이벤트는
    발신 통화 연결, 착신 통화 연결, 통화 내역 표시, 또는 전화번호부 표시 중 적어도 하나를 포함하는 이미지 정보 표시 방법.
  4. 제1항에 있어서,
    상기 추출하는 과정은,
    상기 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석하는 과정을 포함하는 이미지 정보 표시 방법.
  5. 제1항에 있어서,
    상기 추출하는 과정은,
    선형예측계수(Linear Prediction Coefficient: LPC), 선형 예측 켑스트럼 계수(Linear Prediction Cepstral Coefficient: LPCC), 멜-주파수 켑스트럼 계수(Mel-Frequency Cepstral Coefficient: MFCC), 지각 선형 예측 계수(Perceptual Linear Prediction Coefficient: PLPC), RASTA(RelAtive SpecTrAl) 중 적어도 하나의 특징추출방법을 이용하여, 상기 음성 데이터로부터 상기 특징 데이터를 추출하는 과정을 포함하는 이미지 정보 표시 방법.
  6. 제1항에 있어서,
    상기 추출하는 과정은,
    상기 음성 데이터로부터 상기 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음, 및 상기 통화 연결의 통화 참여자 수 중 적어도 하나를 상기 특징 데이터로서 추출하는 과정을 포함하는 이미지 정보 표시 방법.
  7. 제1항에 있어서,
    상기 이미지 생성 과정은,
    상기 특징 데이터에 기반하여 머리 모양, 코 모양, 눈 모양, 입 모양 및 주름 모양 중 적어도 하나를 이용하여 인물 이미지를 생성하는 과정을 포함하는 이미지 정보 표시 방법.
  8. 제1항에 있어서,
    상기 음성 데이터를, 상기 상대방과 관련된 정보와 연관되게 저장하는 과정을 더 포함하는 이미지 정보 표시 방법.
  9. 제1항에 있어서, 상기 생성하는 과정은
    상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나에 대응되는 이미지를 상기 이미지의 적어도 일부로 포함하는 과정을 포함하는 이미지 정보 표시 방법.
  10. 제1항에 있어서,
    상기 생성하는 과정은,
    상기 특징 데이터를 이용하여 상기 상대방의 인물 이미지를 생성하는 과정;
    상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나를 이용하여 배경 이미지를 생성하는 과정; 및
    상기 인물 이미지 및 상기 배경 이미지를 조합하여 상기 이미지를 생성하는 과정을 포함하는 이미지 정보 표시 방법.
  11. 통화 연결을 통해 수신되는 상대방의 음성 데이터를 분석하여 상기 상대방의 특징 데이터를 추출하고, 상기 특징 데이터에 기초하여 상기 상대방과 연관된 이미지를 생성하는 제어부;
    상기 이미지를 상기 상대방과 관련된 정보와 연관되게 저장하는 저장부; 및
    상기 상대방과 관련된 이벤트가 발생 시, 상기 이미지를 표시하는 표시부
    를 포함하는 전자 장치.
  12. 제11항에 있어서,
    상기 통화 연결은,
    사용자에 의한 통화 발신 요청에 따른 발신 통화 연결, 또는 상기 상대방의 통화 연결 요청에 따른 수신 통화 연결을 포함하는 전자 장치.
  13. 제11항에 있어서, 상기 이벤트는
    발신 통화 연결, 착신 통화 연결, 통화 내역 표시, 또는 전화번호부 표시 중 적어도 하나를 포함하는 전자 장치.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 음성 데이터의 시간 영역, 주파수 영역 및 시간과 주파수 영역 중 적어도 하나를 이용하여 상기 음성 데이터를 분석하는, 전자 장치.
  15. 제11항에 있어서,
    상기 제어부는,
    선형예측계수, 선형 예측 켑스트럼 계수, 멜-주파수 켑스트럼 계수, 지각 선형 예측 계수, RASTA 중 적어도 하나의 특징추출방법을 이용하여, 상기 음성 데이터로부터 상기 특징 데이터를 추출하는, 전자 장치.
  16. 제11항에 있어서,
    상기 제어부는,
    상기 음성 데이터로부터 상기 상대방의 성별, 나이, 음성크기, 음성빈도, 주변 환경 소음, 및 상기 통화 연결의 통화 참여자 수 중 적어도 하나를 상기 특징 데이터로서 추출하는, 전자 장치.
  17. 제11항에 있어서,
    상기 제어부는,
    상기 특징 데이터에 기반하여 머리 모양, 코 모양, 눈 모양, 입 모양 및 주름 모양 중 적어도 하나를 이용하여 인물 이미지를 생성하는, 전자 장치.
  18. 제11항에 있어서,
    상기 저장부는,
    상기 음성 데이터를, 상기 상대방과 관련된 정보와 연관되게 저장하는, 전자 장치.
  19. 제11항에 있어서,
    상기 제어부는,
    상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나에 대응되는 이미지를 상기 이미지의 적어도 일부로 포함하는, 전자 장치.
  20. 제11항에 있어서,
    상기 제어부는,
    상기 특징 데이터를 이용하여 상기 상대방의 인물 이미지를 생성하고, 상기 통화 연결과 관련된 위치 정보, 시간 정보, 및 날씨 정보 중 적어도 하나를 이용하여 배경 이미지를 생성하고, 상기 인물 이미지 및 상기 배경 이미지를 조합하여 상기 이미지를 생성하는, 전자 장치.
PCT/KR2014/012018 2013-12-12 2014-12-08 이미지 정보 표시 방법 및 장치 WO2015088213A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480065840.4A CN105793799B (zh) 2013-12-12 2014-12-08 图像信息显示方法及装置
US15/031,848 US20160266857A1 (en) 2013-12-12 2014-12-08 Method and apparatus for displaying image information
EP14869589.3A EP3082015B1 (en) 2013-12-12 2014-12-08 Method and apparatus for displaying image information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130154445A KR20150068609A (ko) 2013-12-12 2013-12-12 이미지 정보 표시 방법 및 장치
KR10-2013-0154445 2013-12-12

Publications (1)

Publication Number Publication Date
WO2015088213A1 true WO2015088213A1 (ko) 2015-06-18

Family

ID=53371450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012018 WO2015088213A1 (ko) 2013-12-12 2014-12-08 이미지 정보 표시 방법 및 장치

Country Status (5)

Country Link
US (1) US20160266857A1 (ko)
EP (1) EP3082015B1 (ko)
KR (1) KR20150068609A (ko)
CN (1) CN105793799B (ko)
WO (1) WO2015088213A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190100428A (ko) * 2016-07-19 2019-08-28 게이트박스 가부시키가이샤 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
US11463328B2 (en) * 2020-07-28 2022-10-04 Dell Products L.P. Training a machine learning algorithm to create survey questions
KR102417201B1 (ko) * 2020-10-08 2022-07-06 고려대학교 산학협력단 열화 화소 셀의 실시간 검사 기능을 갖는 표시 패널의 검사 방법 및 표시 패널의 검사 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090687A (ko) * 2003-09-30 2006-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 시청각 콘텐츠 합성을 위한 시스템 및 방법
KR20070002149A (ko) * 2005-06-30 2007-01-05 주식회사 팬택 이동통신 단말기 전화번호로 개인 공개 프로필 정보를획득하는 방법 및 이동통신 시스템
KR20120035100A (ko) * 2010-10-04 2012-04-13 (주)티아이스퀘어 스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치
US20130003948A1 (en) * 2006-04-06 2013-01-03 Microsoft Corporation Providing contextual information with a voicemail message
KR20130062455A (ko) * 2011-11-24 2013-06-13 유영민 어플리케이션을 이용하는 인맥 관리 시스템 및 인맥 관리 방법

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266186B1 (en) * 1994-01-05 2007-09-04 Intellect Wireless Inc. Method and apparatus for improved paging receiver and system
US5907604A (en) * 1997-03-25 1999-05-25 Sony Corporation Image icon associated with caller ID
US6690830B1 (en) * 1998-04-29 2004-02-10 I.Q. Bio Metrix, Inc. Method and apparatus for encoding/decoding image data
US6512856B1 (en) * 1999-07-27 2003-01-28 Hewlett-Packard Company System and method for information stamping a digitized image
EP1314301B1 (en) * 2000-08-22 2007-12-26 Symbian Limited Method of and apparatus for communicating user related information using a wireless information device
US7177627B2 (en) * 2001-07-17 2007-02-13 Comverse, Inc. Method and apparatus for providing images for caller identification over a mobile network
AUPR690701A0 (en) * 2001-08-10 2001-08-30 Redpoint Pty Ltd A system and method for customising call alerts
US7177801B2 (en) * 2001-12-21 2007-02-13 Texas Instruments Incorporated Speech transfer over packet networks using very low digital data bandwidths
EP1574023A1 (en) * 2002-12-12 2005-09-14 Koninklijke Philips Electronics N.V. Avatar database for mobile video communications
US7133535B2 (en) * 2002-12-21 2006-11-07 Microsoft Corp. System and method for real time lip synchronization
US7388590B2 (en) * 2004-02-27 2008-06-17 Microsoft Corporation Method and system for using a color scheme to communicate information related to the integration of hardware and software in a computing device
US7596102B2 (en) * 2004-12-06 2009-09-29 Sony Ericsson Mobile Communications Ab Image exchange for image-based push-to-talk user interface
US7783016B2 (en) * 2004-12-20 2010-08-24 Starhome Gmbh Apparatus and method for pre-call notification
US20060294465A1 (en) * 2005-06-22 2006-12-28 Comverse, Inc. Method and system for creating and distributing mobile avatars
WO2007026320A2 (en) * 2005-08-30 2007-03-08 Yoomba Ltd. Immediate communication system
US8121653B2 (en) * 2005-11-19 2012-02-21 Massachusetts Institute Of Technology Methods and apparatus for autonomously managing communications using an intelligent intermediary
US8295819B1 (en) * 2005-12-19 2012-10-23 Kyocera Corporation Picture caller ID systems, methods and apparatus
WO2007092629A2 (en) * 2006-02-09 2007-08-16 Nms Communications Corporation Smooth morphing between personal video calling avatars
US20070264978A1 (en) * 2006-03-31 2007-11-15 Stoops Daniel S Method of providing customized ring tone service
US20070243904A1 (en) * 2006-04-13 2007-10-18 Chin Frances M Customized wallpaper to called party mobile terminal
US20080151786A1 (en) * 2006-12-21 2008-06-26 Motorola, Inc. Method and apparatus for hybrid audio-visual communication
KR20080064313A (ko) * 2007-01-04 2008-07-09 삼성전자주식회사 발신번호를 표시하기 위한 방법 및 장치, 그리고 그에 따른시스템
US20080192736A1 (en) * 2007-02-09 2008-08-14 Dilithium Holdings, Inc. Method and apparatus for a multimedia value added service delivery system
US7979067B2 (en) * 2007-02-15 2011-07-12 Yahoo! Inc. Context avatar
WO2009073637A2 (en) * 2007-11-29 2009-06-11 Iqzone Systems and methods for personal information management and contact picture synchronization and distribution
JP5159325B2 (ja) * 2008-01-09 2013-03-06 株式会社東芝 音声処理装置及びそのプログラム
US8396514B2 (en) * 2008-05-23 2013-03-12 Research In Motion Limited Systems and methods for presenting an image on a display of a mobile device
US20090300525A1 (en) * 2008-05-27 2009-12-03 Jolliff Maria Elena Romera Method and system for automatically updating avatar to indicate user's status
US8159504B2 (en) * 2008-10-16 2012-04-17 At&T Intellectual Property I, L.P. System and method for presenting an avatar
US8577418B2 (en) * 2008-10-24 2013-11-05 Blackberry Limited Systems and methods for presenting conference call participant indentifier images on a display of a mobile device
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20110014932A1 (en) * 2009-07-17 2011-01-20 Texas Instruments Incorporated Mobile Telephony Combining Voice and Ancillary Information
US20110044474A1 (en) * 2009-08-19 2011-02-24 Avaya Inc. System and Method for Adjusting an Audio Signal Volume Level Based on Whom is Speaking
US8358747B2 (en) * 2009-11-10 2013-01-22 International Business Machines Corporation Real time automatic caller speech profiling
BRPI0904540B1 (pt) * 2009-11-27 2021-01-26 Samsung Eletrônica Da Amazônia Ltda método para animar rostos/cabeças/personagens virtuais via processamento de voz
US8675981B2 (en) * 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US20120058747A1 (en) * 2010-09-08 2012-03-08 James Yiannios Method For Communicating and Displaying Interactive Avatar
US9613450B2 (en) * 2011-05-03 2017-04-04 Microsoft Technology Licensing, Llc Photo-realistic synthesis of three dimensional animation with facial features synchronized with speech
KR20130011284A (ko) * 2011-07-21 2013-01-30 삼성전기주식회사 모터 및 이를 구비하는 기록 디스크 구동장치
US8761365B2 (en) * 2012-02-15 2014-06-24 Blackberry Limited Communication device for providing an automatically initiated outgoing communication as an incoming communication
US9065920B2 (en) * 2012-02-27 2015-06-23 Blackberry Limited Method and apparatus pertaining to presenting incoming-call identifiers
TWI484475B (zh) * 2012-06-05 2015-05-11 Quanta Comp Inc 文字顯示方法與語音轉文字裝置以及電腦程式產品
US8880045B2 (en) * 2012-06-07 2014-11-04 Cellco Partnership Real-time delivery of caller information on 3G and 4G data with incoming voice call
JP5974649B2 (ja) * 2012-06-08 2016-08-23 株式会社リコー 情報処理装置、会議システム、プログラム
KR20140146965A (ko) * 2013-06-18 2014-12-29 삼성전자주식회사 디스플레이 장치, 서버를 포함하는 변환 시스템 및 디스플레이 장치의 제어 방법
CN103488296B (zh) * 2013-09-25 2016-11-23 华为软件技术有限公司 体感交互手势控制方法及装置
CN104714633A (zh) * 2013-12-12 2015-06-17 华为技术有限公司 一种终端配置的方法及终端
US9503845B2 (en) * 2014-04-17 2016-11-22 Paypal, Inc. Image customization to enhance transaction experience
US9256761B1 (en) * 2014-08-18 2016-02-09 Yp Llc Data storage service for personalization system
WO2016178984A1 (en) * 2015-05-01 2016-11-10 Ring-A-Ling, Inc. Methods and systems for management of video and ring tones among mobile devices
CN104992706A (zh) * 2015-05-15 2015-10-21 百度在线网络技术（北京）有限公司 一种基于语音的信息推送方法及装置
US20190095867A1 (en) * 2016-03-09 2019-03-28 Maxell, Ltd. Portable information terminal and information processing method used in the same
JP2017207809A (ja) * 2016-05-16 2017-11-24 オリンパス株式会社 音声記録装置、情報通信システム、音声記録制御方法、およびプログラム
US20180005161A1 (en) * 2016-06-29 2018-01-04 ITY Labs Corp. System and method for determining user metrics
US11321890B2 (en) * 2016-11-09 2022-05-03 Microsoft Technology Licensing, Llc User interface for generating expressive content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060090687A (ko) * 2003-09-30 2006-08-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 시청각 콘텐츠 합성을 위한 시스템 및 방법
KR20070002149A (ko) * 2005-06-30 2007-01-05 주식회사 팬택 이동통신 단말기 전화번호로 개인 공개 프로필 정보를획득하는 방법 및 이동통신 시스템
US20130003948A1 (en) * 2006-04-06 2013-01-03 Microsoft Corporation Providing contextual information with a voicemail message
KR20120035100A (ko) * 2010-10-04 2012-04-13 (주)티아이스퀘어 스마트 단말에서의 영상 통화 중 실시간으로 상대방의 감정 분석을 제공하는 방법 및 장치
KR20130062455A (ko) * 2011-11-24 2013-06-13 유영민 어플리케이션을 이용하는 인맥 관리 시스템 및 인맥 관리 방법

Also Published As

Publication number Publication date
EP3082015A1 (en) 2016-10-19
KR20150068609A (ko) 2015-06-22
EP3082015A4 (en) 2017-08-09
US20160266857A1 (en) 2016-09-15
CN105793799B (zh) 2019-11-15
EP3082015B1 (en) 2020-10-07
CN105793799A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
WO2021098678A1 (zh) 投屏控制方法及电子设备
WO2018135743A1 (ko) 발화 완료 감지 방법 및 이를 구현한 전자 장치
WO2014003329A1 (en) Mobile terminal and method for recognizing voice thereof
WO2020220999A1 (zh) 截屏方法及终端设备
WO2014137074A1 (en) Mobile terminal and method of controlling the mobile terminal
WO2015053541A1 (ko) 전자 장치에서 연관 정보 표시 방법 및 장치
CN107464557A (zh) 通话录音方法、装置、移动终端及存储介质
CN111696532B (zh) 语音识别方法、装置、电子设备以及存储介质
WO2016036143A1 (ko) 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
EP3019966A1 (en) Remote operation of applications using received data
WO2020156123A1 (zh) 信息处理方法及终端设备
WO2015167236A1 (en) Electronic device and method for providing emergency video call service
US20230025276A1 (en) Information display method, electronic device, and storage medium
WO2020211612A1 (zh) 信息显示方法及终端设备
KR20210057790A (ko) 정보 처리 방법 및 단말
WO2021197154A1 (zh) 音频处理方法、服务器、电子设备及计算机可读存储介质
CN108074574A (zh) 音频处理方法、装置及移动终端
WO2015088213A1 (ko) 이미지 정보 표시 방법 및 장치
WO2018131852A1 (ko) 영상 통화를 수행하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록매체
CN110798327B (zh) 消息处理方法、设备及存储介质
WO2019156412A1 (ko) 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
WO2021073468A1 (zh) 一种图片显示方法、电子设备及计算机可读存储介质
WO2021098708A1 (zh) 通话方法及终端设备
WO2015093754A1 (ko) 전자 장치에서 연결 정보를 공유하는 방법 및 장치
WO2018151486A1 (ko) 전자 장치 및 전자 장치의 메시지 데이터 출력 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14869589

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15031848

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014869589

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014869589

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE