WO2024014669A1 - 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법 - Google Patents

스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법 Download PDF

Info

Publication number
WO2024014669A1
WO2024014669A1 PCT/KR2023/005513 KR2023005513W WO2024014669A1 WO 2024014669 A1 WO2024014669 A1 WO 2024014669A1 KR 2023005513 W KR2023005513 W KR 2023005513W WO 2024014669 A1 WO2024014669 A1 WO 2024014669A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
housing
sub
speaker
sound signal
Prior art date
Application number
PCT/KR2023/005513
Other languages
English (en)
French (fr)
Inventor
김태균
권정욱
박태욱
김상헌
임연욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220104234A external-priority patent/KR20240010373A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/141,152 priority Critical patent/US20240021056A1/en
Publication of WO2024014669A1 publication Critical patent/WO2024014669A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions

Definitions

  • This disclosure relates to an electronic device and method for outputting haptic feedback related to a haptic actuator using a speaker.
  • the electronic device may interact with the user by stimulating at least one of the user's five senses.
  • an electronic device may stimulate a user's senses of touch and/or hearing based on vibration.
  • the electronic device may include a haptic actuator that generates the vibration.
  • an electronic device may include a housing, a haptic actuator, a speaker, a sensor, and a processor.
  • the processor may be configured to identify the direction of the electronic device using the sensor.
  • the processor outputs, through the speaker, a sound signal representing the vibration notification for the predetermined event based on identifying the direction corresponding to a reference direction for representing the vibration notification for the predetermined event. It can be configured to do so.
  • the processor based on identifying the direction that is different from the reference direction, refrains from outputting the sound signal through the speaker and vibrates the housing of the electronic device, such that the vibration in response to the predetermined event It may be configured to control the haptic actuator to output a notification.
  • a method of using an electronic device may include identifying the direction of the electronic device using a sensor of the electronic device. The method is based on identifying the direction corresponding to a reference direction for expressing a vibration notification for a predetermined event using a speaker in the electronic device, and, through the speaker, a vibration notification for the predetermined event. It may include an operation of outputting a sound signal representing . The method, based on identifying the direction that does not correspond to the reference direction, refrains from outputting the sound signal through the speaker and vibrates the housing of the electronic device using a haptic actuator of the electronic device. Thus, the operation of outputting the vibration notification for the predetermined event may be included.
  • an electronic device may include a housing, a haptic actuator, a speaker, a sensor, and a processor.
  • the processor may be configured to output a first acoustic signal included in media content at a first volume through the speaker.
  • the processor may be configured to identify the posture of the housing using the sensor based on the occurrence of a predetermined event while the first sound signal is output.
  • the processor based on the posture corresponding to a reference posture, outputs a second sound signal representing a vibration notification for the predetermined event through the speaker at a second volume different from the first volume, It can be configured.
  • the processor may be configured to control the haptic actuator and output the vibration notification while the first sound signal is output as a first volume, based on a posture that does not correspond to the reference posture.
  • a method of an electronic device may include outputting a first sound signal included in media content at a first volume through a speaker of the electronic device.
  • the method may include identifying the posture of the housing of the electronic device using a sensor of the electronic device based on the occurrence of a predetermined event while the first sound signal is output.
  • the method based on identifying the posture corresponding to a reference posture, generates, through the speaker, a second sound signal at a second volume different from the first volume, representing a vibration notification for the predetermined event. It may include an output operation.
  • the method controls a haptic actuator of the electronic device to output the vibration notification while outputting the first sound signal based on the first volume, based on the posture that does not correspond to the reference posture. Can include actions.
  • FIG. 1 is a block diagram of an electronic device, according to one or more embodiments.
  • FIG. 2 illustrates an example of an operation in which an electronic device controls a haptic actuator and/or a speaker to output a signal related to a vibration notification, according to one or more embodiments.
  • FIG. 3 is a block diagram of an electronic device, according to one or more embodiments.
  • FIG 4 illustrates an example block diagram of processes executed by an electronic device, according to one or more embodiments.
  • FIGS. 5A and 5B illustrate an example of an operation of identifying whether an electronic device outputs a sound signal representing a vibration notification through a speaker, according to one or more embodiments.
  • FIGS. 6A to 6C illustrate an example of an operation of identifying whether an electronic device will output a sound signal representing a vibration notification based on the shape of a housing, according to one or more embodiments.
  • FIGS. 7A and 7B illustrate an example of an operation of identifying whether an electronic device will output a sound signal representing a vibration notification based on the shape of a housing, according to one or more embodiments.
  • FIG. 8 shows an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • FIG. 9 illustrates an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • FIG. 10 shows an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • the components are not limited. When a component (e.g., a first) component is said to be “connected (functionally or communicatively)" or “connected” to another (e.g., a second) component, it means that the component is connected to the other component. It may be connected directly to the component or may be connected through another component (e.g., a third component).
  • module used in this disclosure includes a unit comprised of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit, for example.
  • a module may be an integrated part, a minimum unit that performs one or more functions, or a part thereof.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network).
  • electronic device 101 may communicate with electronic device 104 through server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor.
  • at least one of these components e.g., connection terminal 178) may be omitted, or one or more other components may be added to the electronic device 101, as will be understood by those skilled in the art. there is.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or operations can be performed. According to one or more embodiments, as at least part of data processing or computation, processor 120 may store instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory ( 132), the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • processor 120 may store instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory ( 132), the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 may include a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 (e.g., a graphics processing unit, a neural network processing unit) that can operate independently or together with the main processor 121.
  • the device may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • NPU neural processing unit
  • the auxiliary processor 123 may be configured to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • coprocessor 123 e.g., image signal processor or communication processor
  • another functionally related component e.g., camera module 180 or communication module 190. It can be.
  • the coprocessor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks, a combination of two or more of the above, or other neural networks known to those skilled in the art, but is not limited to the examples described above.
  • the artificial intelligence model may, in one or more embodiments, include software architecture.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one or more embodiments, the receiver may be implemented separately from the speaker, or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one or more embodiments, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device ( Sound may be output through an electronic device 102 (e.g., a speaker or headphone).
  • an electronic device 102 e.g., a speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, etc. It may include a sensor, temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (e.g., a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images. According to one or more embodiments, camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication. According to one or more embodiments, communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194.
  • GNSS global navigation satellite system
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a first network 198 e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 has Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane for realizing URLLC.
  • Latency e.g., downlink (DL) and uplink (UL) of 0.5 ms or less each, or round trip of 1 ms or less
  • DL downlink
  • UL uplink
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module is disposed on or adjacent to a printed circuit board, a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band).
  • RFIC and a plurality of antennas (e.g., array antennas) disposed on or adjacent to a second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band.
  • a second side e.g., top or side
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed on the electronic device 101 may be executed on one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • an external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to one or more embodiments of the present disclosure are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.” Where mentioned, it means that any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of the present disclosure may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof configured to perform one or more functions. For example, according to one or more embodiments, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium is a tangible device and does not contain signals (e.g., electromagnetic waves), and the term means that the data is semi-permanently stored in the storage medium. There is no distinction between saved and temporary storage.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or on an application store (e.g. Play Store). ) or directly between two user devices (e.g. smart phones), online, or distributed (e.g. downloaded or uploaded).
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • application store e.g. Play Store
  • two user devices e.g. smart phones
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is. According to various embodiments, one or more of the components or operations described above may be omitted, or one or more other components or operations may be added. In one or more embodiments, multiple components (eg, modules or programs) may be integrated into one component. In this case, the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • FIG. 2 illustrates an example of an operation in which the electronic device 101 controls the haptic actuator 220 and/or the speaker 230 to output a signal related to a vibration notification, according to one or more embodiments.
  • the electronic device 101 of FIG. 2 may include the electronic device 101 of FIG. 1 .
  • the electronic device 101 may be a terminal owned by a user.
  • the terminal includes, for example, personal computers (PCs) such as laptops and desktops, smartphones, smartpads, tablet PCs, smartwatches, and head-mounted devices (HMDs). ) may include smart accessories such as
  • PCs personal computers
  • HMDs head-mounted devices
  • an electronic device 101 may include a display 210 .
  • the electronic device 101 uses the display 210 to output visualized information (e.g., at least one of the screens of FIGS. 2, 5A to 5B, and/or 6A to 6C) to the user. can do.
  • the display 210 may include a flat panel display (FPD) and/or electronic paper.
  • the FPD may include a liquid crystal display (LCD), a plasma display panel (PDP), and/or one or more light emitting diodes (LEDs).
  • the LED may include an organic LED (OLED).
  • the display 210 of the electronic device 101 includes a sensor (e.g., touch sensor panel (TSP)) for detecting an external object (e.g., a user's finger) on the display 210.
  • a sensor e.g., touch sensor panel (TSP)
  • TSP touch sensor panel
  • the electronic device 101 may detect an external object that is in contact with the display 210 or floating on the display 210 .
  • the electronic device 101 executes a function related to a specific visual object corresponding to the location of the external object on the display 210 among the visual objects being displayed in the display 210. You can.
  • the electronic device 101 may include a haptic actuator 220 for generating vibration.
  • the haptic actuator 220 may include an eccentric rotating mass (ERM) and/or a linear resonant actuator (LRA).
  • the haptic actuator 220 moves along a plurality of axes in a coordinate space (e.g., at least two axes of the x-axis, y-axis, or z-axis of FIG. 2). By repeatedly moving along, vibration may occur.
  • the haptic actuator 220 may repeatedly move along a single axis in a coordinate space to generate vibration.
  • the vibration of the housing In a state in which the haptic actuator 220 vibrates the housing of the electronic device 101, the vibration of the housing generates a sound (e.g., friction sound) based on friction between the housing and an external object. )) can be created.
  • a user holding the housing In a state in which the haptic actuator 220 vibrates the housing of the electronic device 101, a user holding the housing may recognize haptic feedback of the electronic device 101 based on the vibration of the housing.
  • the position of the haptic actuator 220 within the electronic device 101 is not limited to the position shown in FIG. 2 .
  • One or more hardware devices and hardware configurations included in the electronic device 101 for controlling the haptic actuator 220 are described with reference to FIG. 3 .
  • the electronic device 101 may include a speaker 230 for outputting an acoustic signal.
  • the electronic device 101 includes two speakers 232 and 234.
  • the speaker 232 may be placed on the first side of the electronic device 101.
  • the first surface may be referred to as the bottom surface.
  • the speaker 234 may be placed on a second side of the electronic device 101 that is opposite to the first side, or may be placed on a third side adjacent to the second side.
  • the second surface may be referred to as a top surface and the third surface may be referred to as a front surface or back surface.
  • a display 210 may be disposed on the third side and/or the front side.
  • speakers 232 and 234 disposed on the first side and the second side facing away from each other, the electronic device 101 outputs different sound signals based on stereo, respectively. can do.
  • the electronic device 101 may associate a designated event with the output of a vibration notification using the haptic actuator 220.
  • the predetermined event may be generated by receiving a signal for call establishment through a communication module (eg, communication module 190 in FIG. 1).
  • the predetermined event may be generated by a request from an application installed in the electronic device 101.
  • the predetermined event may be generated by reception of a push message transmitted from an external electronic device (eg, push server) connected to the electronic device 101.
  • the predetermined event may be generated by a call to a designated application programming interface (API) provided by the operating system (eg, Android) of the electronic device 101.
  • API application programming interface
  • the designated API may be called by at least one of reception of the signal for call establishment, a request from the application, or reception of the push message.
  • the electronic device 101 may display a visual object 240 within at least a portion of the display 210 based on receiving the push message.
  • the electronic device 101 may display the visual object 240 in response to a call to a designated API by the electronic device 101.
  • the visual object 240 may include the name and/or icon of an application related to the visual object 240.
  • the visual object 240 may include text generated based on execution of the application.
  • the electronic device 101 may display a screen provided from an application corresponding to the visual object 240 on the display 210. In response to the input, the electronic device 101 may at least temporarily stop displaying the visual object 240.
  • the electronic device 101 may control the haptic actuator 220 to output a vibration notification in response to identifying a predetermined event.
  • the electronic device 101 may identify whether the state of the electronic device 101 is a designated state in which friction sound is generated by vibration of the haptic actuator 220.
  • the electronic device 101 may identify the state of the electronic device 101 using one or more sensors (eg, sensor module 176).
  • the designated state may include a state in which generation of the friction sound by the electronic device 101 is prevented.
  • the specified state may be related to the housing of the electronic device 101 and the arrangement of the haptic actuator 220 .
  • the specified state may be related to the direction of vibration of the housing of the electronic device 101 by the haptic actuator 220 and the orientation of the electronic device 101 .
  • the specified state may be associated with a grip on the housing.
  • the specified state may be related to the posture of the electronic device 101. Different examples of designated states are described with reference to FIGS. 5A-5B, 6A-6C, and/or 7A-7B.
  • the electronic device 101 controls the speaker 230 within a specified state in which generation of the friction sound generated by the haptic actuator 220 is prevented to produce a friction sound substantially the same as the friction sound.
  • a sound signal may be output, or a sound signal representing a vibration notification based on the haptic actuator 220 may be output.
  • the electronic device 101 may output a sound signal using the speaker 230 and output a vibration notification using the haptic actuator 220.
  • the user can hear the sound signal output by the speaker 230, regardless of recognition of the friction sound generated by the haptic actuator 220. For example, even though the user cannot hear the friction sound, the electronic device 101 can inform the user of a message related to the vibration notification using the sound signal. For example, using a sound signal, the electronic device 101 can enhance recognition of a vibration notification by the user.
  • the electronic device 101 may control the speaker 230 in response to a predetermined event related to the haptic actuator 220. For example, within a specified state where the difficulty of recognition of a vibration notification by the haptic actuator 220 is high, the electronic device 101 may use the speaker 230 to emit the friction sound, and/or the haptic actuator. A sound signal representing the vibration notification by (220) can be output. The electronic device 101 may advantageously compensate for or reduce the difficulty of recognizing the vibration using the sound signal.
  • Figure 3 is a block diagram of an electronic device 101, according to one or more embodiments.
  • the electronic device 101 of FIG. 3 may be an example of the electronic device 101 of FIGS. 1 and 2 .
  • the electronic device 101, haptic actuator 220, and speaker 230 of FIG. 2 may include the electronic device 101, haptic actuator 220, and speaker 230 of FIG. 3, respectively. You can.
  • the electronic device 101 includes at least one of a processor 120, a memory 130, a haptic actuator 220, a speaker 230, and a sensor 310. can do.
  • the processor 120, memory 130, haptic actuator 220, speaker 230, and sensor 310 are electrically connected to each other by an electrical component such as a communication bus 305. and/or may be operably coupled with each other.
  • the hardware is operatively coupled to establish a direct connection, or an indirect connection, wired or wirelessly, between the hardware such that a first one of the hardware is controlled by a second hardware. It can mean that something has happened.
  • the embodiment is not limited thereto, and some of the hardware shown in FIG. 3 (e.g., the processor 120 and at least a portion of the memory 130) is a system on a chip (SoC). It may be included in a single integrated circuit as shown.
  • SoC system on a chip
  • the type and/or number of hardware included in the electronic device 101 is not limited to that shown in FIG. 3 .
  • the electronic device 101 may include only some of the hardware shown in FIG. 3 .
  • the processor 120 of the electronic device 101 may include circuitry for processing data based on one or more instructions.
  • the circuit for processing data may be, for example, an arithmetic and logic unit (ALU), a floating point unit (FPU), a field programmable gate array (FPGA), a central processing unit (CPU), or other circuits known to those skilled in the art. May contain appropriate processor architecture.
  • the number of processors 120 may be one or more.
  • the processor 120 may have the structure of a multi-core processor, such as a dual core, quad core, or hexa core.
  • the processor 120 of FIG. 3 may include the processor 120 of FIG. 1 .
  • the memory 130 of the electronic device 101 may include hardware for storing data and/or instructions that are input and/or output to the processor 120.
  • Memory 130 may include, for example, volatile memory such as random-access memory (RAM), and/or non-volatile memory such as read-only memory (ROM).
  • Volatile memory may include, for example, at least one of dynamic RAM (DRAM), static RAM (SRAM), cache RAM, and pseudo SRAM (PSRAM).
  • Non-volatile memory may include, for example, at least one of programmable ROM (PROM), erasable PROM (EPROM), electrically erasable PROM (EEPROM), flash memory, hard disk, compact disk, and embedded multi media card (eMMC).
  • PROM programmable ROM
  • EPROM erasable PROM
  • EEPROM electrically erasable PROM
  • flash memory hard disk, compact disk, and embedded multi media card
  • eMMC embedded multi media card
  • one or more instructions indicating operations and/or operations to be performed by processor 120 on data may be stored.
  • a set of one or more instructions may be referred to as firmware, operating system, process, library, routine, sub-routine, and/or application.
  • the electronic device 101 and/or the processor 120 executes a set of a plurality of instructions distributed in the form of an operating system, firmware, driver, and/or application. , at least one of the operations of FIGS. 8 to 10 may be performed.
  • the fact that an application is installed in the electronic device 101 means that one or more instructions provided in the form of an application are stored in the memory 130 of the electronic device 101, and the one or more applications are installed in the electronic device 101. This may mean stored in an executable format (eg, a file with an extension specified by the operating system of the electronic device 101) by the processor 120 of the electronic device 101.
  • the electronic device 101 is a circuit configured to output information in a form other than a visualized form, and includes a haptic actuator 220 and/or a speaker 230. can do.
  • the electronic device 101 can output information in aural form.
  • the haptic actuator 220 the electronic device 101 can output information in a tactile form.
  • the haptic actuator 220 and/or the speaker 230 may be controlled by electrical signals transmitted from the processor 120.
  • the processor 120 may output the electrical signal for controlling the haptic actuator 220 and/or the speaker 230 in response to a predetermined event.
  • the haptic actuator 220 may be omitted. there is.
  • the sensor 310 of the electronic device 101 may detect the processor 120 and/or the memory 130 from non-electrical information associated with the electronic device 101. It can generate electrical information that can be processed by.
  • the electrical information generated by sensor 310 may be stored in memory 130, processed by processor 120, and/or transmitted to another electronic device distinct from electronic device 101.
  • the sensors 310 in the electronic device 101 include an inertial measurement unit (IMU) sensor 311, an illumination sensor 312, a proximity sensor 313, and a grip sensor 314. , Hall sensor 315, or a combination thereof, or other suitable sensors known to those skilled in the art.
  • IMU inertial measurement unit
  • the sensor 310 may output information from at least one of the IMU sensor 311, the illuminance sensor 312, the proximity sensor 313, the grip sensor 314, and the Hall sensor 315. It may include an integrated circuit for processing sensor data.
  • the integrated circuit included within the sensor 310 may be referred to as a sensor hub, sensor IC, and/or controller.
  • the sensor 310 in FIG. 3 may be an example of the sensor module 176 in FIG. 1 .
  • the processor 120 of the electronic device 101 uses sensor data output from the sensor 310 to use a haptic actuator ( 220), or at least one of the speakers 230 may be selected and/or identified.
  • the processor 120 may output a vibration notification related to the predetermined event based on at least one of the haptic actuator 220 or the speaker 230 selected and/or identified based on sensor data.
  • the IMU sensor 311 of the electronic device 101 may include an acceleration sensor, a geomagnetic sensor, a gyro sensor, or a combination thereof.
  • An acceleration sensor and a geomagnetic sensor may be included in the electronic device 101 to measure physical movement (eg, translation motion) of the electronic device 101.
  • the acceleration sensor uses a plurality of designated axes (e.g., x-axis, y-axis, z-axis) perpendicular to each other to determine acceleration (e.g., applied to the electronic device 101).
  • Sensor data indicating the direction and/or size of a vector corresponding to gravitational acceleration can be output.
  • a geomagnetic sensor may output sensor data indicating the direction of a magnetic field (eg, N-pole direction) applied to the electronic device 101 using two-dimensional or three-dimensional axes.
  • a gyro sensor may be included in the electronic device 101 to measure the rotation of the electronic device 101.
  • the gyro sensor may output sensor data indicating a parameter (eg, angular speed) indicating rotation of the electronic device 101 based on the axes.
  • the illuminance sensor 312 of the electronic device 101 may include an illuminance sensor that measures the brightness of ambient light or other types of light known to those skilled in the art.
  • the illumination sensor 312 may be at least partially exposed through one side of the housing of the electronic device 101 (eg, the front side where the display 210 of FIG. 2 is disposed).
  • the illuminance sensor 312 may output sensor data indicating the brightness of ambient light measured in at least a portion exposed on the one surface.
  • the proximity sensor 313 of the electronic device 101 may identify an external object spaced less than a specified distance from the electronic device 101.
  • the specified distance may be set by the sensitivity of the proximity sensor 313.
  • the proximity sensor 313 may be disposed on the front of the housing of the electronic device 101 and identify external objects adjacent to the front.
  • the processor 120 of the electronic device 101 uses the proximity sensor 313 to detect a body part (e.g., face) of the user. It can be identified that (one side of) approaches the front side.
  • the proximity sensor 313 may determine the distance between the electronic device 101 and the external object and the presence of the external object ( Sensor data indicating presence can be output.
  • the grip sensor 314 of the electronic device 101 may detect a grip on the housing of the electronic device 101.
  • the grip may correspond to a user's gesture of holding the electronic device 101.
  • the grip sensor 314 can detect the grip based on an electric field formed in a space adjacent to the electronic device 101.
  • the grip sensor 314 may output sensor data indicating the grip of the electronic device 101 or the release of the grip on the electronic device 101.
  • the Hall sensor 315 of the electronic device 101 may include a magnet and a magnetic field sensor that measures changes in a magnetic field formed by the magnet.
  • the magnet and the magnetic field sensor may be placed in different parts of the housing of the electronic device 101. Based on the change in the magnetic field measured by the magnetic field sensor, the Hall sensor 315 can identify the distance between the parts.
  • the electronic device 101 includes a deformable housing (e.g., a foldable housing)
  • the electronic device 101 includes the magnets disposed in different portions of the housing, and the magnetic field.
  • the shape of the housing can be identified using the Hall sensor 315 including a sensor.
  • the Hall sensor 315 may output sensor data indicating the distance and/or the shape of the housing.
  • FIGS. 6A to 6C and/or 7A to 7B An operation performed by the electronic device 101 based on the shape of the housing identified using the Hall sensor 315, according to one or more embodiments, is shown in FIGS. 6A to 6C and/or 7A to 7B. It is explained with
  • sensor 310 may include additional sensors not shown in FIG. 3 .
  • the sensor 310 may further include a global positioning system (GPS) sensor for detecting the geographic location of the electronic device 101.
  • GPS global positioning system
  • the electronic device 101 may control the haptic actuator 220 to output a vibration notification in response to detection or identification of a predetermined event. Activation of the haptic actuator 220 by the electronic device 101 may cause vibration of the housing.
  • the electronic device 101 may determine the state of the electronic device 101 (e.g., the posture, orientation, and/or Based on the shape), it is possible to identify whether to additionally control the speaker 230.
  • the state of the electronic device may be identified or determined based on sensor data from sensor 310.
  • the electronic device 101 may identify whether to control the speaker 230 based on a predetermined event.
  • Embodiments are not limited thereto, and may include, for example, a vibration notification in the haptic actuator 220, based on identifying the speaker 230 as being instructed or currently outputting an audible notification. The output of can be stopped, at least temporarily.
  • the electronic device 101 controls the predetermined event through the speaker 230.
  • a sound signal representing the vibration notification requested by can be output.
  • the sound signal may be output based on audio data in which the friction sound generated by the vibration notification has been previously recorded.
  • the audio data may be stored in the memory 130 of the electronic device 101.
  • the electronic device 101 may output the sound signal representing the vibration notification based on a designated volume associated with a predetermined event.
  • the volume at which the electronic device 101 outputs the sound signal may be different from the volume (eg, media volume) related to the output of media content, or may be adjusted independently.
  • the electronic device 101 may use the speaker 230 to increase the probability that a vibration notification based on the haptic actuator 220 is recognized. For example, depending on the direction in which the housing of the electronic device 101 vibrates by the haptic actuator 220, the size of the friction sound generated by the vibration of the housing may change.
  • the electronic device 101 may output a sound signal representing a vibration notification through the speaker 230.
  • the sound signal may include a virtual friction sound.
  • the virtual fricative sound may be an auditory signal representing the actual fricative sound. Since the electronic device 101 outputs the sound signal, within the specified state, the possibility of drawing a user's attention by the electronic device 101 is advantageously increased. It can be.
  • the electronic device 101 outputting a virtual friction sound using the speaker 230 may be performed based on the execution of instructions stored in the memory 130. Based on the instructions, conditions for outputting the virtual friction sound may be set according to the design of the haptic actuator 220. For example, the direction in which the housing is vibrated by the haptic actuator 220 may depend on the location and/or orientation in which the haptic actuator 220 is installed within the housing.
  • the instructions stored in the memory 130 include one or more instructions set based on whether the haptic actuator 220 is included in the housing of the electronic device 101, the location, and/or orientation of the haptic actuator 220 installed within the housing. Conditions may be included. For example, the electronic device 101 may optimize conditions for outputting the virtual friction sound using the instructions. Because the above conditions are optimized, the electronic device 101 can more accurately identify a state in which the generation of a vibration notification output from the haptic actuator 220 is prevented.
  • FIG. 4 illustrates an example block diagram of processes executed by an electronic device, according to one or more embodiments.
  • the electronic device in FIG. 4 may be an example of the electronic device 101 in FIGS. 1 to 3 .
  • the electronic device 101, haptic actuator 220, speaker 230, and sensor 310 of FIG. 4 are the same as the electronic device 101, haptic actuator 220, speaker 230, and sensor of FIG. 3. It may include (310).
  • processes may be divided into different blocks.
  • the processes may refer to one or more units of operations performed by the processor.
  • the processes may be referred to as instances.
  • functions and/or sub-routines included in one or more processes executed in an electronic device according to one or more embodiments are divided according to information transmitted between functions and/or sub-routines. It is shown.
  • An electronic device according to one or more embodiments may be configured to control a haptic actuator 220 and/or a speaker 230 based on one or more instructions stored in a memory (e.g., memory 130 of FIG. 3).
  • the above processes can be executed.
  • the processes may run in a first state for interaction with a user, or may run in a second state distinct from the first state, such as a background process, and/or daemon. (e.g. a program running as a background process).
  • a processor of an electronic device may support exchange of information between the layers based on API.
  • the application layer 410 may include processes for executing the application 412.
  • the framework layer 420 may include processes (eg, system services) provided by the operating system to support execution of the application 412.
  • the hardware abstraction layer 430 is a hardware abstraction layer (e.g., haptic actuator 220, speaker 230, and/or processes to support control of the sensor 310).
  • the kernel layer 440 is a driver for controlling hardware (e.g., haptic actuator 220, speaker 230, and/or sensor 310) included in the electronic device, and/or by driving the driver. May contain at least one executed process.
  • an electronic device includes system services classified into a framework layer 420, including a vibration management service 422, an audio service 424, a sensor manager 426, and You can run the notification manager (428).
  • Vibration management service 422 may be a system service for controlling the haptic actuator 220, and may be an object and/or class (e.g., vibrator, and/or a vibration manager).
  • the audio service 424 may be a system service for controlling the speaker 230, and may be an object and/or class (e.g., audio manager, media) created by an electronic device running the application 412. It can be controlled by a player (mediaplayer), and/or a soundpool.
  • the notification manager 428 may be a system service for controlling a user interface (UI) (e.g., notification center) provided by the operating system, the application 412, and/or the push It may be controlled by objects and/or classes (eg, notification manager) created based on the execution of the service.
  • UI user interface
  • objects and/or classes e.g., notification manager
  • the electronic device may provide status information collected by the sensor 310 based on the sensor manager 426.
  • the state information may be accessible by the framework layer 420 and/or the application layer 410.
  • Status information provided by the sensor manager 426 may include sensor data received from the sensor 310 of the electronic device.
  • the state information may include sensor data adjusted by the orientation of the electronic device in space (e.g., the orientation of the electronic device measured by the IMU sensor 311 of FIG. 3).
  • the status information may include sensor data related to the shape of the housing of the electronic device (e.g., Hall sensor 315 and/or IMU sensor 311 of FIG. 3).
  • the state information may include sensor data indicative of a grip on the housing, as detected by grip sensor 314 in FIG. 3 .
  • the state information may include sensor data indicating the result of detecting an external object approaching toward the electronic device detected by the illuminance sensor 312 and/or the proximity sensor 313 of FIG. 3 .
  • status information may include sensor data used to identify the posture and/or shape of the electronic device.
  • the electronic device may identify a predetermined event for outputting a vibration notification based on the haptic actuator 220.
  • the predetermined event may be generated based on an application 412 and/or a notification manager 428 executed by the electronic device.
  • the predetermined event may be generated by a notification generated by the notification manager 428 or by execution of a function provided by the application 412.
  • the functionality provided by the application 412 may include, for example, a function provided by a phone application and playing a ringing tone (e.g., playing a ringing tone by receiving an incoming call or message). It can be included.
  • the electronic device may identify a predetermined event based on execution of vibration management service 422.
  • the electronic device may use the vibration management service 422 to identify that a predetermined event has occurred based on an object, such as a vibrator, and/or a class.
  • a predetermined event may be triggered by a call to a specified method, provided by a predefined object, such as a vibrator, and/or a class.
  • the application 412 and/or the notification manager 428 may call the predetermined event based on vibration information indicating at least one of the intensity, frequency, number of repetitions, waveform, or duration of the vibration notification. can do.
  • the vibration information may be stored in a memory (e.g., memory 130 in FIG. 3) based on a predefined data structure corresponding to a vibration effect.
  • the electronic device may obtain status information from the sensor manager 426 based on execution of the vibration management service 422. Obtaining status information from sensor manager 426 based on execution of vibration management service 422 may be performed in response to changes in the posture, shape, and/or state of the electronic device by sensor manager 426. there is. Embodiments are not limited to this, and the electronic device may repeatedly acquire status information at designated periods based on execution of the vibration management service 422. The electronic device may identify the status information in response to a predetermined event.
  • the electronic device may generate a control signal for controlling the haptic actuator 220 based on execution of the vibration management service 422.
  • the control signal may be dependent on vibration information related to a predetermined event.
  • the control signal may include parameters representing at least one of the intensity, frequency, number of repetitions, waveform, or period of vibration generated when the haptic actuator 220 vibrates the housing of the electronic device.
  • the control signal generated based on the vibration management service 422 may be processed by processes in the hardware abstraction layer 430 and kernel layer 440 and transmitted to the haptic actuator 220.
  • a process in the hardware abstraction layer 430 receives the control signal generated based on execution of the vibration management service 422, and a process in the kernel layer 440 (e.g., vibrator driver) ) can be changed to a readable control signal.
  • a process (eg, vibrator driver) within the kernel layer 440 may generate an electrical signal to be transmitted from the processor of the electronic device to the haptic actuator 220 based on the changed control signal.
  • the processor generates the electrical signal based on the process in the kernel layer 440 in response to a call by the application 412, and/or the notification manager 428, to a designated API for generation of vibration, can be initiated.
  • the electronic device may determine whether to control the speaker 230 in response to a predetermined event, based on execution of the vibration management service 422.
  • the electronic device can identify whether to control the speaker 230 based on the status information identified by the sensor manager 426. For example, when the state of the electronic device identified by the state information corresponds to a specified state, the electronic device can control the speaker 230.
  • the designated state in which the electronic device controls the speaker 230 may be related to a situation in which the user's perception of the friction sound generated by the vibration of the haptic actuator 220 is impaired.
  • the designated state is the designated state, as will be described later with reference to FIGS. 5A and 6A to 6C. It may include a state in which the axis and the direction of gravitational acceleration applied to the housing are vertical.
  • the designated state may be included in a state in which the grip on the housing is released, as will be described later with reference to FIGS. 5A-5B.
  • the designated state may include a state in which the space formed inside the housing is expanded due to deformation of the housing, as will be described later with reference to FIGS. 7A and 7B.
  • the electronic device may control the speaker 230 to output a sound signal representing a vibration notification based on vibration information related to a predetermined event.
  • the time section in which the sound signal is output may overlap or coincide with the time section in which the vibration notification is output by the haptic actuator 220.
  • the electronic device may generate parameters for generating a sound signal based on at least one of intensity, frequency, number of repetitions, waveform, or period included in the vibration information.
  • the parameters may be data structures (e.g., objects, and/or classes defined by a media player, and/or a sound pool) generated based on execution of the vibration management service 422 by the electronic device. can be stored within. Accordingly, the sound signal may be varied based on parameters corresponding to the intensity and/or length of the vibration.
  • an electronic device may obtain information for reproducing a sound signal based on vibration information. Since vibration information is generated based on a predetermined event, the information for reproducing a sound signal may include at least one parameter related to the predetermined event. The information for reproducing the sound signal may include the volume of the speaker 230 to output the sound signal. The information for reproducing the sound signal may include a period for which the sound signal is reproduced and/or the number of repetitions. The information for reproducing the sound signal may include the waveform of the sound signal or an identifier of the waveform. For example, the electronic device may obtain the information for reproducing a sound signal from at least one parameter extracted from the vibration information based on a data structure such as a vibration effect. According to one or more embodiments, the electronic device may execute an audio service 424 based on the information obtained based on the vibration management service 422 and for reproducing a sound signal.
  • the electronic device may execute the audio service 424 based on the information obtained based on the vibration management service 422 and initiate control of the speaker 230.
  • the audio service 424 may generate a control signal for controlling the speaker 230 using the information obtained based on the vibration management service 422.
  • the control signal may be sequentially processed by a process within the hardware abstraction layer 430 (eg, audio HAL) and a process within the kernel layer 440 (eg, audio driver). Based on the sequential processing of the control signal, the processor of the electronic device can output an electrical signal for reproducing a sound signal to the speaker 230.
  • the electronic device's output of a sound signal for a predetermined event based on the audio service 424 may be stopped by expiration of a period set by the predetermined event. For example, in response to expiration of a period contained within the vibration information for a predetermined event, the electronic device may stop outputting a vibration notification using the haptic actuator 220, based on execution of the vibration management service 422. You can. Within one or more examples, when the electronic device outputs a sound signal indicative of the vibration notification, the electronic device responds to expiration of the period by using the speaker 230, based on execution of the audio service 424. The output of the sound signal can be stopped.
  • the electronic device based on an application 412 running by the electronic device and/or an API called by the notification manager 418, the electronic device outputs the vibration notification and/or the sound signal. can be stopped.
  • the API may include a method for stopping the output of a vibration notification (e.g., a method provided by an object and/or class such as a vibrator and/or a vibration manager).
  • an electronic device is used to control the haptic actuator 220 in response to the occurrence of a predetermined event for outputting a vibration notification based on the haptic actuator 220.
  • Vibration information can be obtained.
  • the electronic device may acquire the vibration information by executing the vibration management service 422.
  • the electronic device may control the haptic actuator 220 based on the vibration information to vibrate the housing of the electronic device.
  • the electronic device may determine whether to control the speaker 230 using the vibration information based on at least one of the vibration management service 220 or the sensor manager 426. When controlling the speaker 230, the electronic device can use the vibration management service 422 to obtain information readable by the audio service 424 from the vibration information.
  • the electronic device may execute the audio service 424 based on the obtained information and output a sound signal through the speaker 230. Because the electronic device outputs the sound signal along with the output of a vibration notification based on the haptic actuator 220, the electronic device can facilitate interaction between the user and the electronic device. Because the electronic device controls the speaker 230 based on a predetermined event to output a vibration notification, regardless of whether the haptic actuator 220 is included within the electronic device or is in a state to output a vibration notification, the electronic device The device may provide stimulation to the user based on the vibration notification.
  • an electronic device generates a speaker ( The operation of controlling 230) is explained.
  • FIGS. 5A and 5B illustrate an example of an operation of identifying whether the electronic device 101 outputs a sound signal representing a vibration notification through the speaker 230, according to one or more embodiments.
  • the electronic device 101 of FIGS. 5A to 5B may be an example of the electronic device 101 of FIGS. 1 to 3 and/or the electronic device of FIG. 4 .
  • the electronic device 101, display 210, and speaker 230 of FIG. 5A may include the electronic device 101, display 210, and speaker 230 of FIG. 3.
  • a predetermined event may be generated based on whether the current time matches a specific time point input by the user through the alarm application (eg, a triggered alarm).
  • the electronic device 101 may output an alarm in response to identifying that the current time matches a time point set by a user input. Outputting the alarm by the electronic device 101 may include displaying a screen related to the alarm using the display 210.
  • Outputting the alarm by the electronic device 101 may include outputting a vibration notification using a haptic actuator (eg, the haptic actuator 220 of FIGS. 2 to 4). Outputting the alarm by the electronic device 101 may include outputting a sound signal through a speaker (eg, speaker 230 in FIGS. 2 to 4).
  • a haptic actuator eg, the haptic actuator 220 of FIGS. 2 to 4
  • a sound signal through a speaker
  • the electronic device 101 outputting the vibration notification and/or the sound signal in response to a predetermined event may include the state, shape, and/or posture of the electronic device 101. It can be selectively performed based on . For example, when the posture of the electronic device 101 corresponds to the reference posture, the electronic device 101 may output a sound signal representing the vibration notification through the speaker 230 in response to a predetermined event. there is.
  • the reference posture may be related to the posture of the electronic device 101 that reduces the magnitude of friction sound generated by the vibration notification.
  • the volume of the sound signal may be related to the type of the predetermined event (in the example states of FIGS. 5A-5B, alarm volume).
  • the reference posture may be related to the direction of the electronic device 101.
  • the reference posture may be related to the direction in which the housing of the electronic device 101 vibrates by the haptic actuator.
  • FIG. 5A an exemplary case is shown in which the electronic device 101 is disposed on one side parallel to the ground, such as a table 510.
  • the surface parallel to the ground may be planar or substantially planar.
  • the electronic device 101 may identify acceleration (e.g., gravitational acceleration) applied to the electronic device 101 based on an IMU sensor (e.g., IMU sensor 311 of FIG. 3). You can.
  • electronic device 101 identifies acceleration based on three axes (e.g., x-axis, y-axis, and z-axis) shown in FIG. 5A.
  • the x-axis is parallel to the width direction of the front surface of the housing of the electronic device 101
  • the y-axis is parallel to the height direction of the front surface of the housing of the electronic device 101
  • the z-axis is parallel to the width direction of the front surface of the housing of the electronic device 101. It may be parallel to the direction of the front surface (eg, the direction of the normal vector of the front surface).
  • the electronic device 101 is identified by the IMU sensor and, based on the direction of the vector corresponding to the acceleration applied to the electronic device 101, the posture of the electronic device 101 is set to a reference posture. It is possible to identify whether it corresponds to . For example, referring to FIG. 5A, since the force applied to the electronic device 101 is gravity, the electronic device 101 can identify the gravitational acceleration in the -z axis direction based on the IMU sensor. Based on identifying the gravitational acceleration in the -z axis direction, the electronic device 101 may identify the posture (e.g., reference posture) of the electronic device 101 disposed on a plane parallel to the ground. .
  • the posture e.g., reference posture
  • the vibration of the housing of the electronic device 101 by the haptic actuator varies depending on the location of the haptic actuator in the electronic device 101 and/or the design of the housing. It can occur along any direction.
  • FIG. 5A when vibration of the housing caused by the haptic actuator included in the electronic device 101 is generated along the x-axis or y-axis, the table 510 is rubbed by the housing. The first sound may be generated by Referring to FIG. 5A, when vibration of the housing caused by the haptic actuator included in the electronic device 101 is generated along the z-axis, a second sound is generated by the housing knocking on the table 510. It can be.
  • a collision caused along the z-direction by vibration of the housing by a haptic actuator may cause a louder sound than the housing sliding in the x- or y-axis directions on the table. Accordingly, the size of the first sound may be smaller than the size of the second sound.
  • the electronic device 101 when vibration of the housing by the haptic actuator is generated along the x-axis or y-axis, the electronic device 101 changes its posture (e.g., arrangement direction), as shown in FIG. 5A. ) can be determined to correspond to a reference posture placed on a plane parallel to the ground. In response to identifying the posture corresponding to the reference posture, the electronic device 101 may output a sound signal representing a vibration notification using the speaker 230. In one or more embodiments, when vibration of the housing by the haptic actuator is generated along the z-axis, the electronic device 101 may determine that the posture of the electronic device 101 does not correspond to the reference posture. In response to identifying a posture that is different from the reference posture, the electronic device 101 may refrain from outputting the sound signal and output the vibration notification using a haptic actuator.
  • the electronic device 101 when vibration of the housing by the haptic actuator is generated along the z-axis, the electronic device 101 may determine that the posture of the electronic device 101 does not correspond to the reference posture. In response
  • comparing the reference posture of the electronic device 101 and the posture of the electronic device 101 may be performed based on whether a grip on the housing is detected.
  • FIG. 5B an example case in which contact occurs between a user's body part 520 (eg, hand) and the electronic device 101 is shown.
  • the electronic device 101 uses a grip sensor (e.g., grip sensor 314 in FIG. 3) and/or a proximity sensor (e.g., proximity sensor 313 in FIG. 3), Body parts 520 can be detected.
  • the electronic device 101 may detect a grip on the housing of the electronic device 101 by the body part 520 using the grip sensor.
  • the electronic device 101 when the electronic device 101 and the body part 520 are in contact with each other, the electronic device 101 may not compare the reference posture and the posture of the electronic device 101.
  • the electronic device 101 and the body part 520 come into contact with each other (e.g., when a grip on the housing of the electronic device 101 is detected)
  • the electronic device 101 uses the speaker 230 to signal a sound. You can refrain from printing .
  • vibration of the housing of the electronic device 101 by the haptic actuator may cause vibration of the body part 520. there is. For example, vibration of the housing may be directly transmitted to the user.
  • the electronic device 101 controls the haptic actuator or the haptic actuator of the speaker 230 based on identifying the body part 520 in contact with the electronic device 101. , vibration notifications for predetermined events can be output.
  • the electronic device 101 is configured to determine the direction of a vector corresponding to an acceleration applied to the electronic device 101 and/or on the housing of the electronic device 101. Based on the touched body part 520, it may be determined whether to output a sound signal representing a vibration notification through the speaker 230. For example, when the electronic device 101 is in contact with the body part 520, the user is more likely to recognize the vibration notification, and thus outputting a sound signal may be unnecessary. Based on the sound signal, the electronic device 101 can compensate for the change in friction sound according to the direction of vibration of the housing by the haptic actuator, as described above with reference to the exemplary case of FIG. 5A.
  • the reference posture for determining whether to output the sound signal through the speaker 230 is the direction of the electronic device 101 described above with reference to FIGS. 5A and 5B, and/or the electronic device 101, and contact between body parts 520.
  • the reference posture may include a specific shape of the deformable housing of the electronic device 101.
  • FIGS. 6A to 6C an operation of identifying a posture of the electronic device 101 corresponding to the reference posture based on one or more embodiments of the electronic device 101 including a foldable housing. An example is explained.
  • FIGS. 6A to 6C illustrate an example of an operation of identifying whether the electronic device 101 will output a sound signal representing a vibration notification based on the shape of the housing 610, according to one or more embodiments. do.
  • the electronic device 101 of FIGS. 6A to 6C may be an example of the electronic device of FIGS. 3 to 4 .
  • the electronic device 101, display 210, and speaker 230 of FIGS. 6A to 6C include the electronic device 101, display 210, and speaker 230 of FIG. 3, respectively. can do.
  • the electronic device 101 may include a deformable housing 610 .
  • the housing 610 may include a first sub-housing 611, a second sub-housing 612, and a hinge assembly (or hinge assembly) 613.
  • the first sub-housing 611 may be connected to the first edge of the hinge assembly 613.
  • the second sub-housing 612 may be connected to a second edge of the hinge assembly 613, opposite to the first edge.
  • the hinge assembly 613 may be the central axis (pivot) of the first sub-housing 611 and the second sub-housing 612.
  • the first sub-housing 611 and the second sub-housing 612 may be the same size or different sizes.
  • the angle of the housing 610 is a smaller angle (e.g., an interior angle) among the angles formed by the first sub-housing 611, the hinge assembly 613, and the second sub-housing 612. (internal angle)) may be included.
  • the angle of housing 610 ranges from 0 o to 180 o due to an external force exerted on housing 610 (e.g., body part 520 applying external pressure). can be adjusted within.
  • the electronic device 101 may include a first sub-housing 611 and a flexible display 620 disposed across the second sub-housing 612.
  • the flexible display 620 may not be visible to the user, depending on the angle of the housing 610.
  • the display 210 of the electronic device 101 has a side of the first sub-housing 611 opposite to one side of the first sub-housing 611 on which the flexible display 620 is formed. It can be at least partially exposed to the outside through other surfaces.
  • the electronic device 101 may identify the state, posture, and/or shape of the electronic device 101 based on the angle of the housing 610.
  • the electronic device 101 may include IMU sensors (e.g., the IMU sensor 311 of FIG. 3) disposed in each of the first sub-housing 611 and the second sub-housing 612, and/or the hole.
  • IMU sensors e.g., the IMU sensor 311 of FIG. 3
  • a sensor eg, Hall sensor 315 in FIG. 3
  • the electronic device 101 identifies the angle of the housing 610 using the IMU sensors and/or the Hall sensor by using the processor of the electronic device 101 (e.g., processor 120 in FIG. 3).
  • the processor may identify the angle of the housing 610 using both the IMU sensors and the Hall sensor.
  • the processor may receive a signal from either the IMU sensors or the Hall sensor, the housing ( 610) angle can be identified.
  • the electronic device 101 may identify the state of the electronic device 101 based on designated angle ranges formed by dividing the angle of the housing 610.
  • the electronic device 101 based on the execution of a process (e.g., sensor manager 426, and/or window manager) in the framework layer 420 of FIG. 4, among the specified angle ranges, the electronic device ( 101), the above state can be selectively identified.
  • the first specified range may be a range that includes 0 o (e.g., a range greater than or equal to 0 o and less than or equal to 10 o).
  • a second designated range may be formed within an angle that is less than or equal to 90 degrees (e.g., a range greater than or equal to 21 degrees and less than or equal to 90 degrees).
  • a sensor e.g., a sensor 310 such as IMU sensor 311 of FIG. 3 and/or Hall sensor 315) that identifies an angle of housing 610 between a first designated range and a second designated range.
  • Padding can be formed based on the hysteresis (e.g., in the range of 11 o and above and below 20 o).
  • a third designated range that is different from the first designated range to the second designated range may be formed within an angle that is greater than or equal to 90 degrees (e.g., a range greater than or equal to 91 degrees and less than or equal to 130 degrees).
  • the fourth designated range, which is different from the first to third designated ranges may be a range including 180 o (e.g., a range greater than or equal to 131 o and less than or equal to 180 o).
  • the electronic device 101 may identify the state of the electronic device 101 based on one angle range including the angle of the housing 610 among designated angle ranges. there is.
  • the folded state and/or closed state may indicate that the angle of the housing 610 is within a first specified range.
  • a sub-folded state, sub-closed state, tent state, and/or acute angle state is where the angle of the housing 610 is the second specified state. It can indicate that it is included within the range.
  • the sub-unfolded state, sub-opened state, and/or obtuse angle state indicate that the angle of the housing 610 is within a third specified range. You can.
  • the unfolded state, the open state, and/or the straight angle state may indicate that the angle of the housing 610 is within a fourth specified range.
  • FIG. 6A an example of a state of the electronic device 101 in which the angle of the housing 610 is substantially 0 ⁇ (eg, 0 ⁇ to 5 ⁇ ) is shown.
  • the electronic device 101 may identify a state of the electronic device 101 that corresponds to the fold state.
  • 6B to 6C an example of a state of the electronic device 101 where the angle of the housing 610 (e.g., angles 630 and 635) is 60 degrees is shown.
  • the electronic device 101 may identify a state of the electronic device 101 that corresponds to a sub-fold state, and/or a tent state.
  • the electronic device 101 is configured to identify a state of the electronic device 101 when receiving a request for a vibration notification by a haptic actuator (e.g., haptic actuator 220 of FIG. 2). Based on this, at least one of the haptic actuator or the speaker 230 can be selectively controlled.
  • the electronic device 101 selecting and/or identifying at least one of the haptic actuator or the speaker 230 may be related to a state of the electronic device 101 identified by the angle of the housing 610. there is. For example, within the fold state including the state of FIG. 6A, the electronic device 101 experiences acceleration (e.g., gravitational acceleration) applied to the electronic device 101, as described above with reference to FIGS. 5A to 5B.
  • acceleration e.g., gravitational acceleration
  • the electronic device 101 may output a vibration notification using the haptic actuator among the haptic actuator and the speaker 230 based on selection and/or identification of the haptic actuator. Based on the selection and/or identification of the speaker 230, the electronic device 101 generates a sound signal representing the vibration notification using the speaker 230, among the haptic actuator and the speaker 230. Can be printed.
  • the electronic device 101 outputs a vibration notification using the haptic actuator and the sound signal using the speaker 230, based on selection and/or identification of all of the haptic actuator and the speaker 230. can be performed substantially simultaneously.
  • the output of the vibration notification by the haptic actuator may occur prior to the output of the vibration notification by the speaker 230.
  • output of the vibration notification by the speaker 230 may occur prior to output of the vibration notification by the haptic actuator.
  • the state of the electronic device 101 within the sub-fold state is shown.
  • the electronic device 101 may display a screen 640 within the display 210 of the display 210 and the flexible display 620 .
  • Screen 640 may be displayed based on an application (eg, application 412 of FIG. 4) executed by the electronic device 101.
  • the electronic device 101 in response to receiving a signal related to an incoming call, vibrates to indicate receipt of the signal. Notifications can be printed.
  • the electronic device 101 may display a visual object 650 for notifying reception of the signal, overlapping on at least a portion of the screen 640 within the display 210 (e.g., “incoming call”). displaying a message such as ".
  • the visual object 650 may be displayed based on a system service (eg, notification manager 428 in FIG. 4) executed by the electronic device 101.
  • the visual object 650 may include text indicating the phone number and/or name of the counterpart requesting call establishment.
  • the visual object 650 may include an icon (eg, a call button) for establishing a call connection based on the signal.
  • the visual object 650 may include an icon (eg, a reject button) for rejecting the establishment of a call connection based on the signal.
  • Exemplary cases in FIGS. 6B to 6C in which the visual object 650 is displayed may be cases in which a predetermined event occurs.
  • the electronic device 101 is configured to use a device applied to the electronic device 101.
  • Hardware, a haptic actuator, or Speakers 230 may be selected and/or identified. For example, upon detecting a grip on housing 610, electronic device 101 may, in this situation, better identify vibration notifications by the haptic actuator based on the grip on the housing. It is possible to refrain from outputting a sound signal representing a vibration notification using 230 and output a vibration notification using a haptic actuator.
  • the electronic device 101 When the grip on the housing 610 is released, the electronic device 101 outputs a vibration notification by the haptic actuator, the state of the electronic device 101 distinguished by the angle of the housing 610, and/or the above information. Based on the direction of the vector corresponding to the acceleration applied to the electronic device 101, it can be determined whether to output the sound signal. According to one or more embodiments, the electronic device 101 is configured to identify that the posture of the electronic device 101 corresponds to a reference posture based on a specified angle range (e.g., at least one of the specified angle ranges). Thus, the sound signal can be output.
  • a specified angle range e.g., at least one of the specified angle ranges
  • the angle 630 of the housing 610 is 60 o, and the electronic device 101 is tilted by one edge of the first sub-housing 611 and one edge of the second sub-housing 612.
  • An exemplary case set up is shown.
  • the haptic actuator is disposed within the first sub-housing 611, and the direction of vibration of the first sub-housing 611 by the haptic actuator is along the y-axis and/or z-axis of FIG. 6B. When generated, a relatively small sound may be generated due to the vibration of the first sub-housing 611.
  • FIG. 6B the angle 630 of the housing 610 is 60 o, and the electronic device 101 is tilted by one edge of the first sub-housing 611 and one edge of the second sub-housing 612.
  • the 1 A relatively loud sound (eg, collision between one edge of the first sub housing 611 and the ground) may be generated due to the vibration of the sub housing 611.
  • the electronic device 101 may identify the posture of the electronic device 101 based on the direction of the gravitational acceleration 660.
  • the reference posture may include a posture in which the electronic device 101 is erected by one edge of the first sub-housing 611 and one edge of the second sub-housing 612 .
  • the electronic device 101 controls the speaker 230 to vibrate. A sound signal representing a notification can be output.
  • the electronic device 101 even though the vibration generated along the y-axis and/or z-axis of the first sub-housing 611 generates a relatively small sound, the electronic device 101 generates a relatively small sound based on the sound signal, It can be notified that a predetermined event has occurred.
  • FIG. 6C an exemplary case is shown in which the angle 635 of the housing 610 is 60 o and the second sub-housing 612 of the electronic device 101 is disposed toward the ground.
  • the haptic actuator when the haptic actuator is disposed in the first sub-housing 611, and the direction of vibration of the first sub-housing 611 by the haptic actuator corresponds to the y-axis in FIG. 6C, the 1 A relatively small sound may be generated due to the vibration of the sub-housing 611.
  • FIG. 6C when the haptic actuator is disposed in the first sub-housing 611, and the direction of vibration of the first sub-housing 611 by the haptic actuator corresponds to the y-axis in FIG. 6C, the 1 A relatively small sound may be generated due to the vibration of the sub-housing 611.
  • FIG. 6C when the haptic actuator is disposed in the first sub-housing 611, and the direction of vibration of the first sub-hous
  • a relatively loud sound (eg, collision between the second sub-housing 612 and the ground) may be generated due to the vibration of the first sub-housing 611.
  • the electronic device 101 Based on the direction of the vector corresponding to the gravitational acceleration 665, the posture of the electronic device 101 can be identified.
  • the direction of the vector corresponding to the gravitational acceleration 665 may be parallel to the direction of one side of the second sub-housing 612 .
  • the reference posture may include a posture in which the electronic device 101 is erected by one side of the second sub-housing 612 .
  • the electronic device 101 controls the speaker 230 to send a vibration notification, according to one or more embodiments.
  • Expressive sound signals can be output.
  • the electronic device 101 may generate a predetermined event to the user based on the sound signal. It can be reported that has occurred.
  • the electronic device 101 including the foldable housing 610 includes a direction of a vector corresponding to an acceleration (e.g., gravitational accelerations 660, 665) applied to the electronic device 101, and /or the angle of the housing 610 along with the grip on the housing 610 can be identified. Based on the orientation, the grip, and/or the angle, the electronic device 101 may select and/or identify hardware (e.g., a haptic actuator, or speaker 230) to be controlled by a predetermined event. You can. For example, the electronic device 101 may activate the speaker 230 based on determining whether the posture of the electronic device 101 is the reference posture described above with reference to FIGS. 6A to 6C. By playing a sound signal representing a vibration notification using the activated speaker 230, the electronic device 101 can compensate for the size of a small friction sound generated by the vibration of the housing 610 by the haptic actuator. there is.
  • an acceleration e.g., gravitational accelerations 660, 665
  • the electronic device 101 may select
  • FIGS. 7A and 7B an operation of identifying a posture of the electronic device 101 corresponding to the reference posture based on one or more embodiments of the electronic device 101 including a slideable housing. An example is explained.
  • FIGS. 7A and 7B illustrate an example of an operation of identifying whether an electronic device will output a sound signal representing a vibration notification based on the shape of a housing, according to one or more embodiments.
  • the electronic device 101 of FIGS. 7A and 7B may be an example of the electronic device of FIGS. 3 and 4 .
  • the electronic device 101, display 210, and speaker 230 of FIGS. 7A and 7B include the electronic device 101, display 210, and speaker 230 of FIG. 3, respectively. can do.
  • the electronic device 101 may include a deformable housing 710 .
  • the housing 710 may include a first sub-housing 711 and a second sub-housing 712.
  • the first sub-housing 711 of the housing 710 may be slidably coupled to the second sub-housing 712.
  • the electronic device 101 inserts the second sub-housing 712 into the first sub-housing 711 along the x-axis, or inserts the second sub-housing 712 into the first sub-housing 711 along the x-axis.
  • a sliding actuator may be included to extract from the sub-housing 712.
  • the display 210 of the electronic device 101 may be disposed across the first sub-housing 711 and the second sub-housing 712. In one or more embodiments, the electronic device 101 withdraws the first sub-housing 711 from the second sub-housing 712 or moves the first sub-housing 711 into the second housing 712 along the y-axis. It may include a sliding actuator for retraction.
  • the electronic device 101 may adjust the shape of the electronic device 101 based on the insertion or withdrawal of the second sub-housing 712 into the first sub-housing 711. there is.
  • FIGS. 7A and 7B one or more embodiments are shown in which the electronic device 101 is deformed along the x-axis direction (eg, the width direction among the width and height directions of the electronic device 101).
  • the second sub-housing 712 may be inserted into the first sub-housing 711 or pulled out from the first sub-housing 711 along the x-axis direction of FIGS. 7A and 7B.
  • the volume of the housing 710 is shown to be minimized.
  • the distance between the edge 711-1 of the first sub-housing 711 and the edge 712-1 of the second sub-housing 712 is minimized. It can be.
  • the state of the electronic device 101 shown in FIG. 7A in which the distance between the edges 711-1 and 712-1 is minimized is a roll-in state and/or a slide-in state. can be referred to as in state). Referring to FIG.
  • the volume of the housing 710 is maximized.
  • the distance between the edge 711-1 of the first sub-housing 711 and the edge 712-1 of the second sub-housing 712 can be maximized.
  • the state of FIG. 7B in which the distance between edges 711-1 and 712-1 is maximized may be referred to as a roll-out state and/or a slide-out state.
  • a state in which the distance between the edges 711-1 and 712-1 is greater than the first distance in the slide-in state and smaller than the second distance in the slide-out state is a sub-rolled state. , and/or may be referred to as an intermediate state.
  • the size of one side of the display 210 exposed to the outside can be adjusted by inserting or withdrawing the second sub-housing 712 into the first sub-housing 711. there is. At least a portion of the display 210 exposed to the outside may be referred to as a display area. For example, by inserting the second sub housing 712 into the first sub housing 711, at least a portion of the display 210 may be inserted into the first sub housing 711. For example, by pulling out the second sub housing 712 with respect to the first sub housing 711, at least a portion of the display 210 may be pulled out from the first sub housing 711. Within the slide-in state of FIG. 7A, the size and/or area of the display area may be minimized. Within the slide-out state of FIG. 7B, the size and/or area of the display area may be maximized.
  • the volume of the internal space (cavity) formed by the housing 710 is, It may depend on the type of electronic device 101. For example, in the roll-in state, since the second sub-housing 712 is retracted into the first sub-housing 711, the volume of the internal space can be minimized. For example, in a rolled-out state, the volume of the internal space can be maximized by the second sub-housing 712 pulled out from the first sub-housing 711.
  • the electronic device 101 may, in response to the occurrence of a predetermined event to provide a vibration notification, use one of the haptic actuators (e.g., haptic actuator 220 of FIG. 2), and the speaker 230.
  • At least one hardware to be controlled can be selected and/or identified based on the vibration notification.
  • the electronic device 101 selects and/or identifies the at least one hardware by using the second sub-housing 712 relative to the first sub-housing 711. It may depend on the shape of the electronic device 101 and/or the volume of the internal space, identified by the ingress or egress of the electronic device 101 .
  • the vibration generated by the haptic actuator is the vibration of other hardware and/or circuitry disposed in the interior space of the housing 710.
  • the vibration generated by the haptic actuator is the vibration of other hardware and/or circuitry disposed in the interior space of the housing 710.
  • the density of hardware and circuits disposed in the internal space may increase. Increasing the density can promote vibration of the hardware and the circuitry.
  • the magnitude of friction sounds generated by vibration based haptic actuators decreases and therefore becomes less noticeable.
  • the probability that a user will recognize the friction sound may decrease.
  • the probability that a user recognizes the friction sound may decrease.
  • the electronic device 101 may output a sound signal representing a vibration notification using the speaker 230 in a roll-out state such as the state of FIG. 7B.
  • a roll-out state such as the state of FIG. 7B.
  • the electronic device 101 may output the sound signal using the speaker 230.
  • the electronic device 101 outputting a sound signal for a predetermined event using the speaker 230 may be related to the roll-out state and the intermediate state.
  • the electronic device 101 may output the sound signal.
  • outputting a sound signal based on identifying a distance between edges 711-1, 712-1 that exceeds a specified threshold may include an acceleration applied to electronic device 101 (e.g. , can be performed independently of the direction of the vector corresponding to the gravitational acceleration).
  • the electronic device 101 may send a vibration notification in response to a predetermined event, similar to what was described above with reference to FIGS. 5A to 5B, within a roll-in state such as the state of FIG. 7A.
  • the hardware to be output may be selected and/or identified among the haptic actuator or speaker 230. For example, based on identifying the distance between edges 711-1 and 712-1 that is less than a specified threshold, the electronic device 101 determines whether the posture of the electronic device 101 corresponds to the reference posture. can be identified. In one or more embodiments, the electronic device 101, in response to identifying the posture corresponding to the reference posture, outputs a sound signal associated with a vibration notification through the speaker 230 in response to the predetermined event. can do.
  • the electronic device 101 may include contact between the electronic device 101 and an external object (e.g., body part 520 of FIG. 5B), the electronic device 101 Based on at least one of the shape of the electronic device 101 and the posture of the electronic device 101, it may be determined whether to output a sound signal representing a vibration notification. Determining whether the electronic device 101 outputs the sound signal is not limited to the above-described embodiment.
  • the electronic device 101 may include an external electronic device (e.g., wireless earbuds, head mounted display (HMD), and/or smart watch) connected to the electronic device 101, and/or the electronic device ( 101), it is possible to determine whether to output the sound signal based on identifying the earphone connected by wire.
  • an external electronic device e.g., wireless earbuds, head mounted display (HMD), and/or smart watch
  • electronic device 101 may generate a sound signal representing a vibration notification, independent of the generation of vibration based on the haptic actuator. Transmission may be made to earphones, and/or to the wireless earbuds.
  • FIG. 8 shows an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • the electronic device of FIG. 8 may be an example of the electronic device 101 of FIGS. 1 to 4, FIGS. 5A to 5B, 6A to 6C, and/or 7A to 7B.
  • at least one of the operations of FIG. 8 may be performed by the electronic device 101 and/or the processor 120 of FIG. 3 .
  • an electronic device may be installed in a housing (e.g., housing 610 in FIGS. 6A-6C and/or housing in FIGS. 7A-7B
  • the posture of (710) can be identified.
  • the electronic device may identify the posture of the housing based on execution of the sensor manager 426 of FIG. 4 and/or the window manager. Identifying the posture of an electronic device may include identifying the direction of the electronic device based on acceleration applied to the electronic device. Identifying the posture of the electronic device may include the operation of identifying the angle of the housing, as described above with reference to FIGS. 6A to 6C. Identifying the posture of the electronic device may include the operation of identifying the shape of the housing, as described above with reference to FIGS. 7A and 7B.
  • the electronic device may determine whether the identified posture corresponds to the reference posture.
  • the reference posture may include a posture in which vibration generated by a haptic actuator (eg, haptic actuator 220 of FIG. 3) included in the electronic device is unlikely to be recognized by the user.
  • the reference posture may be dependent on the direction of vibration of the housing by the haptic actuator.
  • the electronic device may determine whether the orientation of the electronic device identified based on operation 810 corresponds to a reference orientation for expressing a vibration notification for a predetermined event using a speaker. You can.
  • the electronic device vibrates the housing using a haptic actuator to respond to a predetermined event.
  • a vibration notification can be output.
  • the electronic device may respond to the predetermined event using a haptic actuator or a speaker (eg, speaker 230 of FIGS. 2 to 3).
  • the electronic device refrains from outputting the sound signal through a speaker and vibrates the housing using the haptic actuator.
  • the vibration notification can be output.
  • the electronic device controls the speaker to send a vibration notification for a predetermined event.
  • Expressive sound signals can be output.
  • the electronic device can respond to the predetermined event, for example by controlling all of the haptic actuators and speakers. For example, by controlling a speaker, the electronic device can respond to the predetermined event.
  • the sound signal may be played based on a volume set by a predetermined type of event (eg, other specified events associated with different volumes).
  • the electronic device may stop outputting the sound signal in response to completion of the predetermined event.
  • the electronic device may stop outputting the sound signal. For example, when identifying a direction corresponding to a reference direction, the electronic device may output a sound signal representing a vibration notification for a predetermined event through a speaker.
  • FIG. 9 shows an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • the electronic device of FIG. 9 may be an example of the electronic device of FIGS. 1 to 8 .
  • at least one of the operations of FIG. 9 may be performed by the electronic device 101 and/or the processor 120 of FIG. 3 .
  • At least one of the operations in FIG. 9 may be related to at least one of the operations in FIG. 8 .
  • a predetermined event may occur for output of a vibration notification based on an electronic device according to one or more embodiments.
  • the predetermined event may be generated based on a call to a designated API by the application 412 of FIG. 4 and/or the notification manager 428.
  • the electronic device may identify whether a specified condition for outputting a sound signal related to a vibration notification is satisfied.
  • the designated condition may include a designated state for controlling the speaker (e.g., speaker 230 of FIGS. 2 and 3 ) of the electronic device based on a predetermined event of the operation 910 .
  • the specified condition may be related to the grip on the electronic device, the state, shape, and/or posture of the electronic device.
  • the specified condition may be related to the state, shape, and/or posture of the electronic device such that the probability that a vibration notification output based on the haptic actuator will be recognized by the user is relatively low.
  • the electronic device uses a haptic actuator, among others, a speaker, and a haptic actuator. Vibration notifications can be output.
  • the electronic device may be in a state in which the possibility that a vibration notification output based on the haptic actuator will be recognized by the user is relatively high.
  • the electronic device may vibrate the housing of the electronic device using a haptic actuator and output the vibration notification. The intensity, number of repetitions, and/or duration of the vibration notification may be determined based on the type of predetermined event.
  • the electronic device may adjust the volume of the speaker based on a predetermined event.
  • the volume of the speaker can be adjusted according to the type of predetermined event. For example, the volume of the speaker can be adjusted to be independent of the volume used to play media content. The media content can be played simultaneously with the output of the sound signal.
  • an electronic device may output a sound signal based on a predetermined event.
  • the electronic device may output the sound signal based on the volume adjusted based on the operation 940.
  • the electronic device outputting a sound signal based on the operation 950 may be performed substantially simultaneously with the electronic device outputting a vibration notification based on the haptic actuator.
  • the conditions for operation 920 may be indicated by reference information.
  • the electronic device may obtain information indicating at least one of the direction or posture of the electronic device from a sensor of the electronic device based on a designated event of the operation 910 (e.g., a designated event for outputting a vibration notification).
  • the electronic device can identify whether to control the speaker based on the obtained information and the reference information corresponding to the condition. For example, the electronic device may identify whether to control the speaker based on the obtained information and the reference information related to the size of the friction sound based on control of the haptic actuator. Based on identifying whether to control the speaker, the electronic device may control the speaker to output a sound signal associated with the friction sound while the haptic actuator is controlled based on the vibration notification.
  • FIG. 10 shows an example of a flowchart for explaining the operation of an electronic device, according to one or more embodiments.
  • the electronic device of FIG. 10 may be an example of the electronic device of FIGS. 1 to 9 .
  • at least one of the operations of FIG. 10 may be performed by the electronic device 101 and/or the processor 120 of FIG. 3 .
  • At least one of the operations in Figure 10 may be related to at least one of the operations in Figures 8 and 9.
  • an electronic device may output a first sound signal included in media content through a speaker at a first volume.
  • the electronic device may play one or more media contents based on a first application for playing the one or more media contents.
  • Media content may include video and/or audio.
  • the first volume may be used to adjust the maximum value and/or average value of the amplitude and/or loudness of the first sound signal.
  • an electronic device may determine whether a predetermined event has occurred.
  • the predetermined event may be generated along with information for generating a vibration notification.
  • the predetermined event is executed by the electronic device and may be generated based on a second application that is different from the first application.
  • the electronic device may output a first sound signal based on the operation (1010).
  • the electronic device may determine whether the posture of the electronic device corresponds to the reference posture.
  • the reference posture may be set based on the probability that the vibration generated by the haptic actuator (e.g., the haptic actuator 220 of FIGS. 2 and 3) in the electronic device will be recognized by the user.
  • the predetermined event of operation 1030 may correspond to the predetermined event of operations 830 and 840 of FIG. 8 and operation 910 of FIG. 9 .
  • the posture of the electronic device may be identified based on a sensor included in the electronic device (eg, sensor 310 in FIG. 3).
  • the electronic device has a posture that is a reference posture based on the angle at which the housing is folded. You can determine whether it corresponds to . For example, based on whether the angle is within a specified angle range for the reference posture (e.g., a second specified angle range, described above with reference to FIGS. 7A-7B), the electronic device may: It can be determined whether the posture corresponds to the reference posture.
  • a specified angle range for the reference posture e.g., a second specified angle range, described above with reference to FIGS. 7A-7B
  • the electronic device includes a slideable housing (e.g., housing 710 in FIGS. 7A and 7B)
  • the electronic device includes a first sub-housing of the housing (e.g., housing 710 in FIGS. 7A and 7B).
  • One side of the first sub-housing 711 e.g., one side including the edge 711-1 of FIGS. 7A and 7B
  • a second sub-housing that is slidably coupled to the first sub-housing.
  • the distance between one side (e.g., one side including the edge 712-1 of FIGS. 7a and 7b) of the second sub-housing 712 of FIGS. 7a and 7b may be identified.
  • the electronic device may determine whether the posture of the electronic device corresponds to the reference posture based on whether the identified distance is within a specified distance range corresponding to the reference posture.
  • the designated distance range may be a distance range including the distance between one side of the first housing and one side of the second housing in a rolled-out state.
  • the electronic device controls one of the speakers and the haptic actuator to vibrate. Notifications can be printed.
  • the operation of outputting a vibration notification based on operation 1040 may be performed similarly to operation 930 of FIG. 9 .
  • the electronic device displays a second vibration notification based on the second volume.
  • a sound signal can be output.
  • the second volume may be identified by a parameter related to the predetermined event.
  • the second volume may be set independently of the first volume of operation 1010.
  • the electronic device may at least temporarily stop outputting the first sound signal based on operation 1010. After the output of the second sound signal based on the operation 1050 is completed, the output of the first sound signal based on the operation 1010 may be resumed.
  • the sound signal is reproduced at a second volume, where the second volume is higher than the first volume.
  • the first volume at which the first sound signal is output may be temporarily reduced while the second sound signal is output at the second volume. there is.
  • the electronic device may refrain from outputting the second sound signal using the speaker. The operation of the electronic device outputting the second sound signal based on the operation 1050 may be performed similarly to the operations 940 and 950 of FIG. 9 .
  • the electronic device may activate the speaker based on a condition set based on the probability that vibration generated by the haptic actuator is recognized.
  • the condition may be related to an external object in contact with the electronic device, the posture, shape, and/or state of the electronic device.
  • the electronic device may output a sound signal representing vibration generated by the haptic actuator. Based on the sound signal and independently of the reduction of the probability, the electronic device can inform the user of the occurrence of a predetermined event causing the vibration.
  • a method for causing an electronic device to generate vibration may be required based on whether the user can recognize the vibration generated by the electronic device.
  • an electronic device e.g., electronic device 101 of FIG. 1 includes a haptic actuator (e.g., haptic actuator 220 of FIG. 2) and a speaker. It may include a sensor (e.g., the speaker 230 in FIG. 2), a sensor (e.g., the sensor 310 in FIG. 3), and a processor (e.g., the processor 120 in FIG. 2).
  • the processor may be configured to identify the direction of the electronic device using the sensor.
  • the processor through the speaker, based on identifying the direction corresponding to a reference direction for representing the vibration notification for the predetermined event using the speaker, It may be configured to output a sound signal that represents a notification.
  • the processor based on identifying the direction different from the reference direction, refrains from outputting the sound signal through the speaker and vibrates the housing using the haptic actuator to It may be configured to output the vibration notification for a determined event.
  • the processor may be configured to output the vibration notification using the haptic actuator along with output of the sound signal, based on identifying the direction corresponding to the reference direction.
  • the processor may be configured to output the sound signal based on a volume corresponding to the type of the predetermined event.
  • the processor may be configured to identify whether the direction identified using the sensor corresponds to the reference direction associated with a direction in which the housing of the electronic device vibrates by the haptic actuator. .
  • a hinge assembly e.g., hinge assembly 613 in FIGS. 6A-6C
  • a first sub-housing e.g., first sub-housing 611 in FIGS. 6A-6C
  • a second sub-housing e.g., the second sub-housing 612 of FIGS. 6A-6C
  • the processor determines that the angle between the first sub-housing, the hinge assembly, and the second sub-housing identified using the sensor (e.g., angles 630 and 635 in FIGS. 6B to 6C) is within a specified range. Based on identifying what is contained within, the housing may be configured to identify that the posture of the housing indicated by the angle corresponds to a reference posture.
  • the electronic device includes a first sub-housing (e.g., the first sub-housing 711 in FIGS. 7A and 7B), and a second sub that is slidably coupled to the first sub-housing. It may include a housing including a housing (eg, the second sub-housing 712 of FIGS. 7A and 7B).
  • the processor identifies that the distance between one side of the first sub-housing identified using the sensor and one side of the second sub-housing opposite to the one side of the first sub-housing exceeds a specified distance. Based on this, it may be configured to identify that the posture of the housing indicated by the distance corresponds to a reference posture.
  • the processor outputs the sound signal through the speaker, independently of whether the direction corresponds to the reference direction, within a state in which a grip on the housing of the electronic device is detected based on the sensor. It can be configured to refrain from doing so.
  • the processor may be configured to refrain from providing a vibration notification for the predetermined event through the haptic actuator based on the direction corresponding to the reference direction.
  • a method of an electronic device includes an operation of outputting a first sound signal included in media content through a speaker of the electronic device, based on a first volume (e.g., It may include operation 1010 of FIG. 10).
  • the method may include identifying a posture of a housing of the electronic device in response to identifying the occurrence of a predetermined event while outputting the first sound signal.
  • the method based on identifying the posture corresponding to a reference posture, generates, through the speaker, a second sound expressing a vibration notification for the predetermined event, based on a second volume different from the first volume. It may include an operation of outputting a signal (e.g., operation 1050 of FIG. 10).
  • the method based on identifying the posture that is different from the reference posture, controls a haptic actuator in the electronic device in a state of outputting the first sound signal based on the first volume, and generates the vibration notification. It may include an operation of outputting (e.g., operation 1040 of FIG. 10).
  • the operation of outputting the second sound signal may include controlling the haptic actuator to output the vibration notification.
  • the operation of outputting the second sound signal includes the operation of identifying the angle at which the housing of the electronic device is folded based on information identified from a sensor in the electronic device and indicating the posture. can do.
  • the operation of outputting the second sound signal may include an operation of identifying whether the identified angle is within a specified angle range for the reference posture.
  • the operation of outputting the second sound signal is identified from a sensor in the electronic device, one surface of the first sub-housing of the housing of the electronic device, and slidably coupled to the first sub-housing. It may include an operation of identifying the distance between one side of the second sub-housing.
  • the operation of outputting the second sound signal may include an operation of identifying whether the identified distance is within a specified distance range for the reference posture.
  • the operation of outputting the vibration notification may include the operation of refraining from outputting the second sound signal using the speaker.
  • the operation of outputting the second sound signal may include outputting the second sound signal based on the second volume indicated by the type of the predetermined event.
  • the method may include, independently of identifying the posture corresponding to the reference posture, based on detecting a grip on a housing of the electronic device based on a grip sensor of the electronic device, the second sound. It may include an operation to refrain from outputting a signal.
  • a method of an electronic device may include an operation of identifying the direction of the electronic device using a sensor in the electronic device (e.g., operation 810 of FIG. 8). You can. The method is based on identifying the direction corresponding to a reference direction for expressing a vibration notification for a predetermined event using the speaker, through a speaker in the electronic device, the vibration notification for the predetermined event. It may include an operation of outputting a sound signal representing a notification (e.g., operation 830 of FIG. 8).
  • the method based on identifying the direction that is different from the reference direction, refrains from outputting the sound signal through the speaker, vibrates the housing using a haptic actuator in the electronic device, and An operation of outputting the vibration notification for an event (eg, operation 840 of FIG. 8) may be included.
  • the operation of outputting the sound signal includes outputting the vibration notification using the haptic actuator along with outputting the sound signal based on identifying the direction corresponding to the reference direction. It can be included.
  • the operation of outputting the sound signal may include outputting the sound signal based on the volume corresponding to the type of the predetermined event.
  • the identifying operation includes identifying whether the direction identified using the sensor corresponds to the reference direction related to a direction in which the housing of the electronic device vibrates by the haptic actuator. can do.
  • the act of identifying may include a hinge assembly of a housing of the electronic device identified using the sensor, a first sub-housing connected to a first edge of the hinge assembly, and the first sub-housing opposite the first edge. and identifying that the posture of the housing indicated by the angle corresponds to the reference posture, based on identifying that the angle between the second sub-housing connected to the second edge of the hinge assembly is within a specified range. You can.
  • the method includes refraining from outputting the sound signal, independently of whether the direction corresponds to the reference direction, within a state of detecting a grip on the housing based on the sensor. can do.
  • an electronic device (e.g., electronic device 101 of FIGS. 2 and 3) includes a housing (e.g., housing 610 of FIGS. 6a and 6c). , and/or the housing 710 of FIGS. 7A-7B), a haptic actuator (e.g., haptic actuator 220 of FIG. 2), a speaker (e.g., speaker 230 of FIG. 2), and a sensor (e.g., FIG. 3). sensor 310), and a processor (eg, processor 120 of FIG. 2).
  • the processor may be configured to output a first acoustic signal included in media content through the speaker, based on the first volume.
  • the processor may be configured to identify a posture of the housing using the sensor in response to identifying the occurrence of a predetermined event while outputting the first sound signal.
  • the processor based on identifying the posture corresponding to a reference posture, generates, through the speaker, a second sound representing a vibration notification for the predetermined event based on a second volume different from the first volume. It may be configured to output a signal.
  • the processor based on identifying the posture that is different from the reference posture, controls the haptic actuator in a state of outputting the first sound signal based on the first volume to output the vibration notification. , can be configured.
  • the processor may be configured to control the haptic actuator and output the vibration notification in another state of outputting the second sound signal.
  • the processor may be configured to identify the angle at which the housing is folded based on information identified from the sensor and indicative of the posture.
  • the processor may be configured to identify whether the identified angle is within a specified angle range for the reference posture.
  • the housing includes a first sub-housing (e.g., the first sub-housing 711 in FIGS. 7A and 7B), and a second sub-housing (e.g., the first sub-housing 711 in FIGS. 7A and 7B) that is slidably coupled to the first sub-housing. It may include the second sub-housing 712 of FIGS. 7A to 7B.
  • the processor may be configured to identify, using the sensor, a distance between one side of the first sub-housing and a side of the second sub-housing opposite the one side of the first sub-housing. You can.
  • the processor may be configured to identify whether the identified distance is within a specified distance range for the reference posture.
  • the processor may be configured to output the second sound signal based on the second volume indicated by the type of the predetermined event.
  • the electronic device may further include a grip sensor (eg, grip sensor 314 in FIG. 3) for detecting a grip on the housing.
  • the processor may be configured to refrain from outputting the second sound signal independently of identifying the posture corresponding to the reference posture based on detecting a grip on the housing based on the grip sensor. You can.
  • an electronic device e.g., electronic device 101 in FIGS. 2 and 3 includes a housing (e.g., housing 610 in FIGS. 6A to 6C, and / or housing 710 of FIGS. 7A to 7B), a haptic actuator (e.g., haptic actuator 220 of FIG. 2), a speaker (e.g., speaker 230 of FIG. 2), a sensor (e.g., sensor of FIG. 3) (310)), and a processor (eg, processor 120 of FIG. 2).
  • the processor may be configured to obtain information indicating at least one of the direction or posture of the electronic device from the sensor, based on a designated event for outputting a vibration notification.
  • the processor may be configured to identify whether to control the speaker based on the obtained information and reference information related to the level of friction sound based on control of the haptic actuator.
  • the processor may be configured to control the speaker to output a sound signal associated with the friction sound while the haptic actuator is controlled based on the vibration notification, based on identifying whether to control the speaker. You can.
  • the device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components.
  • the devices and components described in the embodiments include a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), and a programmable logic unit (PLU).
  • ALU arithmetic logic unit
  • FPGA field programmable gate array
  • PLU programmable logic unit
  • It may be implemented using one or more general-purpose or special-purpose computers, such as a logic unit, microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • OS operating system
  • a processing device may access, store, manipulate, process, and generate data in response to the execution of software.
  • a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include.
  • a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
  • Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device.
  • the software and/or data may be embodied in any type of machine, component, physical device, computer storage medium or device for the purpose of being interpreted by or providing instructions or data to the processing device. there is.
  • Software may be distributed over networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the medium may continuously store a computer-executable program, or temporarily store it for execution or download.
  • the medium may be a variety of recording or storage means in the form of a single or several pieces of hardware combined. It is not limited to a medium directly connected to a computer system and may be distributed over a network. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc. Additionally, examples of other media include recording or storage media managed by app stores that distribute applications, sites or servers that supply or distribute various other software, etc.

Abstract

일 실시예에 따른, 전자 장치(electronic device)의 프로세서는, 상기 전자 장치의 센서를 이용하여 상기 전자 장치의 방향을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하기 위한 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 전자 장치의 스피커를 통해, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 상기 프로세서는, 상기 기준 방향과 상이한 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 소리 신호를 출력하는 것을 삼가하고, 상기 전자 장치의 햅틱 액추에이터를 이용하여 상기 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하도록, 구성될 수 있다.

Description

스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법
본 개시는 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법에 관한 것이다.
전자 장치는, 사용자의 오감들(five senses) 중 적어도 하나를 자극하여, 상기 사용자와 상호작용할 수 있다. 예를 들어, 전자 장치는 진동에 기반하여, 사용자의 촉각, 및/또는 청각을 자극할 수 있다. 전자 장치는 상기 진동을 생성하는 햅틱 액추에이터를 포함할 수 있다.
일 실시예(an embodiment)에 따른, 전자 장치(an electronic device)는, 하우징, 햅틱 액추에이터, 스피커, 센서, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 센서를 이용하여 상기 전자 장치의 방향을 식별하도록, 구성될 수 있다. 상기 프로세서는, 미리 결정된 이벤트에 대한 진동 알림을 표현하기 위한 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 표현하는 소리 신호를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 기준 방향과 상이한 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고, 상기 전자 장치의 상기 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하기 위하여 상기 햅틱 액추에이터를 제어하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 센서를 이용하여 상기 전자 장치의 방향을 식별하는 동작을 포함할 수 있다. 상기 방법은, 상기 전자 장치 내 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하기 위한 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 소리 신호를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 기준 방향에 대응하지 않는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고, 상기 전자 장치의 햅틱 액추에이터를 이용하여 상기 전자 장치의 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하는 동작을 포함할 수 있다.
일 실시예에 따른, 전자 장치는, 하우징, 햅틱 액추에이터, 스피커, 센서, 및 프로세서를 포함할 수 있다. 상기 프로세서는, 상기 스피커를 통하여, 제1 볼륨으로, 미디어 콘텐트 내에 포함된 제1 소리 신호(acoustic signal)를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 소리 신호가 출력되는 동안, 미리 결정된 이벤트의 발생에 기반하여, 상기 센서를 이용하여 하우징의 자세를 식별하도록, 구성될 수 있다. 상기 프로세서는, 기준 자세에 대응하는 상기 자세에 기반하여, 상기 스피커를 통하여, 상기 제1 볼륨과 상이한 제2 볼륨으로, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 제2 소리 신호를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 기준 자세에 대응하지 않는 자세에 기반하여, 상기 제1 소리 신호가 제1 볼륨으로 출력되는 동안, 상기 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하도록, 구성될 수 있다.
일 실시예에 따른, 전자 장치의 방법은, 상기 전자 장치의 스피커를 통하여, 제1 볼륨으로, 미디어 콘텐트 내에 포함된 제1 소리 신호를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 소리 신호가 출력되는 동안, 미리 결정된 이벤트의 발생에 기반하여, 상기 전자 장치의 센서를 이용하여 상기 전자 장치의 하우징의 자세를 식별하는 동작을 포함할 수 있다. 상기 방법은, 기준 자세에 대응하는 상기 자세를 식별하는 것에 기반하여, 상기 스피커를 통하여, 상기 제1 볼륨과 상이한 제2 볼륨으로, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 제2 소리 신호를 출력하는 동작을 포함할 수 있다. 상기 방법은, 상기 기준 자세에 대응하지 않는 상기 자세에 기반하여, 상기 제1 볼륨에 기반하여 상기 제1 소리 신호를 출력하는 동안, 상기 전자 장치의 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하는 동작을 포함할 수 있다.
본 개시의 어느 실시예들의 상술된 그리고 다른 측면들, 특징들 그리고 이점들이 첨부된 도면들과 결합된 이후의 설명으로부터 보다 분명해질 것이다:
도 1은, 하나 이상의 실시예들에 따른, 전자 장치의 블록도이다.
도 2는, 하나 이상의 실시예들에 따른, 전자 장치가 햅틱 액추에이터, 및/또는 스피커를 제어하여, 진동 알림과 관련된 신호를 출력하는 동작의 일 예를 도시한다.
도 3은, 하나 이상의 실시예들에 따른, 전자 장치의 블록도이다.
도 4는, 하나 이상의 실시예들에 따른, 전자 장치에 의해 실행되는 프로세스들의 블록도의 일 예를 도시한다.
도 5a 내지 도 5b는, 하나 이상의 실시예들에 따른, 전자 장치가 스피커를 통하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다.
도 6a 내지 도 6c는, 하나 이상의 실시예들에 따른, 전자 장치가 하우징의 형태에 기반하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다.
도 7a 내지 도 7b는, 하나 이상의 실시예들에 따른, 전자 장치가 하우징의 형태에 기반하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다.
도 8은, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 9는, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
도 10은, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다.
이하, 본 개시의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 개시에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 하나 이상의 실시예들에 따르면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나 와 통신할 수 있다. 하나 이상의 실시예들에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 하나 이상의 실시예들에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 통상의 기술자에게 이해되는 바와 같이, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 하나 이상의 실시예들에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 하나 이상의 실시예들에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 구성될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 하나 이상의 실시예들에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 하나 이상의 실시예들에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks), 상기 중 둘 이상의 조합, 또는 통상의 기술자에게 알려진 다른 뉴럴 네트워크 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 하나 이상의 실시예들에서, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 하나 이상의 실시예들에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 하나 이상의 실시예들에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 구성된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 구성된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 하나 이상의 실시예들에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 하나 이상의 실시예들에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 하나 이상의 실시예들에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 하나 이상의 실시예들에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 하나 이상의 실시예들에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 하나 이상의 실시예들에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 하나 이상의 실시예들에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 하나 이상의 실시예들에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 하나 이상의 실시예들에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 하나 이상의 실시예들에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 하나 이상의 실시예들에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 하나 이상의 실시예들에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 하나 이상의 실시예들에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 하나 이상의 실시예들에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
하나 이상의 실시예들에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 하나 이상의 실시예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 하나 이상의 실시예들에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 하나 이상의 실시예들에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 개시의 하나 이상의 실시예들에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 개시의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 개시의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하도록 구성된, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 하나 이상의 실시예들에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이 구성은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 하나 이상의 실시예들에서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미하고, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
하나 이상의 실시예들에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어
Figure PCTKR2023005513-appb-img-000001
)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 하나 이상의 실시예들에서, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는, 하나 이상의 실시예들에 따른, 전자 장치(101)가 햅틱 액추에이터(220), 및/또는 스피커(230)를 제어하여, 진동 알림과 관련된 신호를 출력하는 동작의 일 예를 도시한다. 도 2의 전자 장치(101)는, 도 1의 전자 장치(101)를 포함할 수 있다. 하나 이상의 실시예들에서, 전자 장치(101)는 사용자에 의해 소유되는(be owned by) 단말일 수 있다. 상기 단말은, 예를 들어, 랩톱 및 데스크톱과 같은 개인용 컴퓨터(personal computer, PC), 스마트폰(smartphone), 스마트패드(smartpad), 태블릿 PC, 스마트워치(smartwatch), 및 HMD(head-mounted device)와 같은 스마트액세서리를 포함할 수 있다.
도 2를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)는 디스플레이(210)를 포함할 수 있다. 디스플레이(210)를 이용하여, 전자 장치(101)는 사용자에게 시각화된 정보(예를 들어, 도 2, 도 5a 내지 도 5b, 및/또는 도 6a 내지 도 6c의 화면들 중 적어도 하나)를 출력할 수 있다. 디스플레이(210)는 FPD(flat panel display), 및/또는 전자 종이(electronic paper)를 포함할 수 있다. 상기 FPD는 LCD(liquid crystal display), PDP(plasma display panel), 및/또는 하나 이상의 LED들(light emitting diodes)를 포함할 수 있다. 상기 LED는 OLED(organic LED)를 포함할 수 있다.
하나 이상의 실시예들에 따른 전자 장치(101)의 디스플레이(210)는, 디스플레이(210) 상의 외부 객체(예, 사용자의 손가락)를 탐지하기 위한 센서(예, TSP(touch sensor panel))를 포함할 수 있다. 예를 들어, TSP에 기반하여, 전자 장치(101)는 디스플레이(210)와 접촉하거나, 또는 디스플레이(210) 상을 부유하는(floating) 외부 객체를 탐지할 수 있다. 상기 외부 객체를 탐지하는 것에 응답하여, 전자 장치(101)는 디스플레이(210) 내에 표시되고 있는 시각적 객체들 중에서 상기 외부 객체의 디스플레이(210) 상에서의 위치에 대응하는 특정 시각적 객체와 관련된 기능을 실행할 수 있다.
도 2를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)는 진동을 발생하기 위한 햅틱 액추에이터(220)를 포함할 수 있다. 햅틱 액추에이터(220)는, ERM(eccentric rotating mass), 및/또는 LRA(linear resonant actuator)를 포함할 수 있다. 햅틱 액추에이터(220)가 상기 ERM을 포함하는 하나 이상의 실시예들에서, 햅틱 액추에이터(220)는 좌표 공간 내 복수의 축들(예, 도 2의 x 축, y 축, 또는 z 축 중 적어도 두 축들)을 따라 반복적으로 이동하여, 진동을 발생할 수 있다. 햅틱 액추에이터(220)가 상기 LRA를 포함하는 하나 이상의 실시예들에서, 햅틱 액추에이터(220)는 좌표 공간 내 단일의(single) 축을 따라 반복적으로 이동하여, 진동을 발생할 수 있다. 햅틱 액추에이터(220)가 전자 장치(101)의 하우징을 진동하는 상태 내에서, 상기 하우징의 진동이, 상기 하우징, 및 외부 객체 사이의 마찰(friction)에 기반하는 소리(예, 마찰 음(friction sound))를 생성할 수 있다. 햅틱 액추에이터(220)가 전자 장치(101)의 하우징을 진동하는 상태 내에서, 상기 하우징을 쥔 사용자는 상기 하우징의 진동에 기반하는 전자 장치(101)의 햅틱 피드백을 인식할 수 있다. 전자 장치(101) 내에서 햅틱 액추에이터(220)의 위치는, 도 2에 도시된 위치에 제한되지 않는다. 햅틱 액추에이터(220)를 제어하기 위하여 전자 장치(101) 내에 포함된 하나 이상의 하드웨어 장비들 및 하드웨어 구성들이, 도 3을 참고하여 설명된다.
도 2를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)는 소리 신호(acoustic signal)를 출력하기 위한 스피커(230)를 포함할 수 있다. 도 2를 참고하면, 전자 장치(101)가 두 개의 스피커들(232, 234)을 포함하는 하나 이상의 실시예들이 도시된다. 다만, 통상의 기술자들에게 이해되는 바와 같이, 스피커들의 바람직한 개수들, 및 스피커들의 어느 위치들이 활용될 수 있다. 예를 들어, 스피커(232)는, 전자 장치(101)의 제1 면에 배치될 수 있다. 상기 제1 면은, 하 면(bottom surface)으로 참조될 수 있다. 예를 들어, 스피커(234)는, 전자 장치(101)의 상기 제1 면과 반대인 제2 면에 배치되거나, 또는 상기 제2 면에 인접한 제3 면에 배치될 수 있다. 상기 예시 내에서, 상기 제2 면은, 상 면(top surface)으로, 상기 제3 면은 전 면(front surface) 또는 뒷 면(back surface)로 참조될 수 있다. 도 2를 참고하면, 상기 제3 면, 및/또는 상기 전 면 상에, 디스플레이(210)가 배치될 수 있다. 서로 마주보며 떨어진(faced away from each other) 상기 제1 면, 및 상기 제2 면에 배치된 스피커들(232, 234)을 통하여, 전자 장치(101)는 스테레오에 기반하는 상이한 소리 신호들을 각각 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 지정된 이벤트를 햅틱 액추에이터(220)를 이용한 진동 알림의 출력을 연동(associate)할 수 있다. 상기 미리 결정된 이벤트는, 통신 모듈(예, 도 1의 통신 모듈(190))을 통하여 호 수립(call establishment)을 위한 신호를 수신하는 것에 의해 발생될 수 있다. 상기 미리 결정된 이벤트는, 전자 장치(101) 내에 설치된 어플리케이션의 요청에 의해 발생될 수 있다. 상기 미리 결정된 이벤트는, 전자 장치(101)에 연결된 외부 전자 장치(예, 푸쉬 서버(push server))로부터 송신된, 푸쉬 메시지의 수신에 의해 발생될 수 있다. 상기 미리 결정된 이벤트는, 전자 장치(101)의 운영 체제(예, 안드로이드)에 의해 제공된, 지정된 API(application programming interface)의 호출에 의해 발생될 수 있다. 예를 들어, 상기 지정된 API는, 상기 호 수립을 위한 상기 신호의 수신, 상기 어플리케이션의 요청, 또는 상기 푸쉬 메시지의 수신 중 적어도 하나에 의해 호출될 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)가 상기 지정된 API의 호출에 기반하여 상기 햅틱 액추에이터(220)를 제어하는 동작이, 도 4를 참고하여 설명된다.
도 2를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)가 푸쉬 메시지의 수신을 알리기 위한 시각적 객체(240)를 표시하는 예시적인 상태가 도시된다. 하나 이상의 실시예들에 따른, 전자 장치(101)는 상기 푸쉬 메시지를 수신하는 것에 기반하여, 디스플레이(210)의 적어도 일부분 내에, 시각적 객체(240)를 표시할 수 있다. 예를 들어, 전자 장치(101)는 시각적 객체(240)를, 상기 전자 장치(101)에 의한 지정된 API의 호출에 응답하여, 표시할 수 있다. 시각적 객체(240)는, 상기 시각적 객체(240)와 관련된 어플리케이션의 명칭, 및/또는 아이콘을 포함할 수 있다. 시각적 객체(240)는, 상기 어플리케이션의 실행에 기반하여 생성된, 텍스트를 포함할 수 있다. 시각적 객체(240)를 선택함을 나타내는 입력에 응답하여, 전자 장치(101)는 시각적 객체(240)에 대응하는 어플리케이션으로부터 제공된 화면을, 디스플레이(210) 내에 표시할 수 있다. 상기 입력에 응답하여, 전자 장치(101)는 시각적 객체(240)의 표시를 적어도 일시적으로 중단할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 미리 결정된 이벤트를 식별하는 것에 응답하여, 진동 알림을 출력하기 위하여 햅틱 액추에이터(220)를 제어할 수 있다. 전자 장치(101)는, 전자 장치(101)의 상태가, 마찰 음이 상기 햅틱 액추에이터(220)의 진동에 의해 발생되는 지정된 상태인지 여부를 식별할 수 있다. 전자 장치(101)는 하나 이상의 센서들(예, 센서 모듈(176))을 이용하여, 상기 전자 장치(101)의 상기 상태를 식별할 수 있다. 상기 지정된 상태는, 전자 장치(101)에 의한 상기 마찰 음의 발생이 방지되는(prevented) 상태를 포함할 수 있다. 상기 지정된 상태는, 전자 장치(101)의 하우징, 및 햅틱 액추에이터(220)의 배치(arrangement)와 관련될 수 있다. 상기 지정된 상태는, 햅틱 액추에이터(220)에 의한 전자 장치(101)의 하우징의 진동 방향, 및 상기 전자 장치(101)의 방향(orientation)과 관련될 수 있다. 상기 지정된 상태는, 상기 하우징 상의 그립과 관련될 수 있다. 상기 지정된 상태는, 전자 장치(101)의 자세와 관련될 수 있다. 지정된 상태의 상이한 예시들이, 도 5a 내지 도 5b, 도 6a 내지 도 6c, 및/또는 도 7a 내지 도 7b를 참고하여 설명된다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 햅틱 액추에이터(220)에 의해 발생되는 마찰 음의 발생이 방지되는 지정된 상태 내에서, 스피커(230)를 제어하여 상기 마찰 음과 실질적으로 동일한 소리 신호를 출력하거나, 또는 햅틱 액추에이터(220)에 기반하는 진동 알림을 표현하는(represents) 소리 신호를 출력할 수 있다. 상기 지정된 상태 내에서, 전자 장치(101)는 스피커(230)를 이용하여 소리 신호를 출력하는 것과 함께, 햅틱 액추에이터(220)를 이용하여 진동 알림을 출력할 수 있다. 상기 지정된 상태 내에서, 사용자는 햅틱 액추에이터(220)에 의해 발생되는 마찰 음의 인식과 상관없이(regardless), 스피커(230)에 의해 출력되는 소리 신호를 들을 수 있다. 예를 들어, 사용자가 마찰 음을 듣지 못함에도 불구하고, 전자 장치(101)는 상기 소리 신호를 이용하여 상기 사용자에게 진동 알림과 관련된 메시지를 알릴 수 있다. 예를 들어, 소리 신호를 이용하여, 전자 장치(101)는 사용자에 의한 진동 알림의 인식(recognition)을 강화할 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치(101)는 햅틱 액추에이터(220)와 관련된 미리 결정된 이벤트에 응답하여, 스피커(230)를 제어할 수 있다. 예를 들어, 햅틱 액추에이터(220)에 의한 진동 알림의 인식의 난이도(difficulty)가 높은 지정된 상태 내에서, 전자 장치(101)는 스피커(230)를 이용하여 상기 마찰 음, 및/또는 상기 햅틱 액추에이터(220)에 의한 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 전자 장치(101)는 상기 소리 신호를 이용하여 상기 진동 랄림을 인식하는 상기 난이도를 유리하게(advantageously) 보상하거나, 또는 줄일 수 있다.
도 3을 참고하여, 하나 이상의 실시예들에 따른, 전자 장치(101) 내에 포함된 하나 이상의 하드웨어 장비들 및 하드웨어 구성들이 설명된다.
도 3은, 하나 이상의 실시예들에 따른, 전자 장치(101)의 블록도이다. 도 3의 전자 장치(101)는, 도 1 내지 도 2의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 2의 전자 장치(101), 햅틱 액추에이터(220), 및 스피커(230)는, 도 3의 전자 장치(101), 햅틱 액추에이터(220), 및 스피커(230)를 각각 포함할 수 있다.
도 3을 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)는 프로세서(120), 메모리(130), 햅틱 액추에이터(220), 스피커(230) 또는 센서(310) 중 적어도 하나를 포함할 수 있다. 프로세서(120), 메모리(130), 햅틱 액추에이터(220), 스피커(230) 및 센서(310)는 통신 버스(a communication bus)(305)와 같은 전기 소자(electrical component)에 의해 서로 전기적으로, 및/또는 작동적으로 연결될 수 있다(electronically and/or operably coupled with each other). 하나 이상의 실시예들에서, 하드웨어들이 작동적으로 결합된 것은, 하드웨어들 중 제1 하드웨어가 제2 하드웨어에 의해 제어되도록, 하드웨어들 사이의 직접적인 연결, 또는 간접적인 연결이 유선으로, 또는 무선으로 수립된 것을 의미할 수 있다. 상이한 블록들에 기반하여 도시되었으나, 실시예가 이에 제한되는 것은 아니며, 도 3에 도시된 하드웨어 중 일부분(예, 프로세서(120), 및 메모리(130)의 적어도 일부분)이 SoC(system on a chip)와 같이 단일 집적 회로(single integrated circuit)에 포함될 수 있다. 전자 장치(101)에 포함된 하드웨어의 타입 및/또는 개수는 도 3에 도시된 바에 제한되지 않는다. 예를 들어, 전자 장치(101)는 도 3에 도시된 하드웨어 중 일부만 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 프로세서(120)는, 하나 이상의 인스트럭션들에 기반하여 데이터를 처리하기 위한 회로를 포함할 수 있다. 데이터를 처리하기 위한 상기 회로는, 예를 들어, ALU(arithmetic and logic unit), FPU(floating point unit), FPGA(field programmable gate array), CPU(central processing unit), 또는 통상의 기술자에게 알려진 다른 적절한 프로세서 구조를 포함할 수 있다. 프로세서(120)의 개수는 하나 이상일 수 있다. 예를 들어, 프로세서(120)는 듀얼 코어(dual core), 쿼드 코어(quad core), 또는 헥사 코어(hexa core)와 같은 멀티-코어 프로세서의 구조를 가질 수 있다. 도 3의 프로세서(120)는 도 1의 프로세서(120)를 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 메모리(130)는, 프로세서(120)에 입력 및/또는 출력되는, 데이터 및/또는 인스트럭션을 저장하기 위한 하드웨어를 포함할 수 있다. 메모리(130)는, 예를 들어, RAM(random-access memory)과 같은 휘발성 메모리(volatile memory), 및/또는 ROM(read-only memory)과 같은 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 휘발성 메모리는, 예를 들어, DRAM(dynamic RAM), SRAM(static RAM), Cache RAM, PSRAM (pseudo SRAM) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는, 예를 들어, PROM(programmable ROM), EPROM (erasable PROM), EEPROM (electrically erasable PROM), 플래시 메모리, 하드디스크, 컴팩트 디스크, eMMC(embedded multi media card) 중 적어도 하나를 포함할 수 있다. 도 3의 메모리(130)는 도 1의 메모리(130)를 포함할 수 있다.
메모리(130) 내에서, 프로세서(120)가 데이터에 수행할 연산, 및/또는 동작을 나타내는 하나 이상의 인스트럭션들이 저장될 수 있다. 하나 이상의 인스트럭션들의 집합은, 펌웨어, 운영 체제, 프로세스, 라이브러리, 루틴, 서브-루틴 및/또는 어플리케이션으로 참조될 수 있다. 예를 들어, 전자 장치(101), 및/또는 프로세서(120)는, 운영체제, 펌웨어, 드라이버, 및/또는 어플리케이션의 형태로 배포된 복수의 인스트럭션의 집합(set of a plurality of instructions)이 실행될 시에, 도 8 내지 도 10의 동작들 중 적어도 하나를 수행할 수 있다. 하나 이상의 실시예들에서, 어플리케이션이 전자 장치(101) 내에 설치되었다는 것은, 어플리케이션의 형태로 제공된 하나 이상의 인스트럭션들이 전자 장치(101)의 메모리(130) 내에 저장된 것으로써, 상기 하나 이상의 어플리케이션들이 전자 장치(101)의 프로세서(120)에 의해 실행 가능한(executable) 포맷(예, 전자 장치(101)의 운영 체제에 의해 지정된 확장자를 가지는 파일)으로 저장된 것을 의미할 수 있다.
도 3을 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)는 정보를 시각화한 형태 외에 다른 형태로 출력하도록 구성된 회로로써, 햅틱 액추에이터(220), 및/또는 스피커(230)를 포함할 수 있다. 스피커(230)를 이용하여, 전자 장치(101)는 청각의(aural) 형태로 정보를 출력할 수 있다. 햅틱 액추에이터(220)를 이용하여, 전자 장치(101)는 촉각의 형태로 정보를 출력할 수 있다. 햅틱 액추에이터(220), 및/또는 스피커(230)는 프로세서(120)로부터 송신된 전기 신호에 의해 제어될 수 있다. 예를 들어, 프로세서(120)는 미리 결정된 이벤트에 응답하여, 햅틱 액추에이터(220), 및/또는 스피커(230)를 제어하기 위한 상기 전기 신호를 출력할 수 있다. 비록, 햅틱 액추에이터(220) 및 스피커(230) 전부를 포함하는 하나 이상의 실시예들이 설명되지만, 실시예들이 이에 제한되는 것은 아니며, 하나 이상의 실시예들에 따라, 햅틱 액추에이터(220)가 생략될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 센서(310)는, 전자 장치(101)와 관련된 비-전기적 정보(non-electrical information)로부터 프로세서(120), 및/또는 메모리(130)에 의해 처리될 수 있는 전기적 정보를 생성할 수 있다. 센서(310)에 의하여 생성된 상기 전기적 정보는, 메모리(130) 내에 저장되거나, 프로세서(120)에 의해 처리되거나, 및/또는 전자 장치(101)와 구별되는 다른 전자 장치로 송신될 수 있다. 도 3을 참고하면, 전자 장치(101) 내 센서(310)는, IMU(inertial measurement unit) 센서(311), 조도 센서(312), 근접 센서(proximity sensor)(313), 그립 센서(314), 홀 센서(315), 이들의 조합(or a combination thereof), 또는 통상의 기술자에게 알려진 다른 적절한 센서를 포함할 수 있다. 하나 이상의 실시예들에 따른, 센서(310)는, IMU 센서(311), 조도 센서(312), 근접 센서(313), 그립 센서(314), 또는 홀 센서(315) 중 적어도 하나로부터 출력된 센서 데이터를 처리하기 위한 집적 회로를 포함할 수 있다. 상기 센서(310) 내에 포함된 상기 집적 회로는, 센서 허브, 센서 IC, 및/또는 컨트롤러로 참조될 수 있다. 도 3의 센서(310)는, 도 1의 센서 모듈(176)의 일 예일 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)의 프로세서(120)는 센서(310)로부터 출력된 센서 데이터를 이용하여, 상기 미리 결정된 이벤트의 식별에 응답하여, 알림을 출력하기 위하여 햅틱 액추에이터(220), 또는 스피커(230) 중 적어도 하나를 선택하거나 및/또는 식별할 수 있다. 프로세서(120)는, 센서 데이터에 기반하여 선택되거나 및/또는 식별된 햅틱 액추에이터(220), 또는 스피커(230) 중 적어도 하나에 기반하여, 상기 미리 결정된 이벤트와 관련된 진동 알림을 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 IMU 센서(311)는, 가속도 센서, 지자기 센서, 자이로 센서, 또는 이들의 조합을 포함할 수 있다. 가속도 센서, 및 지자기 센서는, 전자 장치(101)의 물리적인 움직임(예, 병진 운동(translation motion))을 측정하기 위하여, 상기 전자 장치(101) 내에 포함될 수 있다. 예를 들어, 가속도 센서는 서로 수직인(perpendicular to each other) 복수의 지정된 축들(예, x 축, y 축, z 축)을 이용하여, 전자 장치(101)에 적용되는(applied) 가속도(예, 중력 가속도)에 대응하는 벡터의 방향, 및/또는 크기를 나타내는 센서 데이터를 출력할 수 있다. 예를 들어, 지자기 센서는, 이차원 내지 삼차원의 축들을 이용하여, 전자 장치(101)에 적용되는 자계의 방향(예, N 극의 방향)을 나타내는 센서 데이터를 출력할 수 있다. 자이로 센서는 전자 장치(101)의 회전을 측정하기 위하여, 상기 전자 장치(101) 내에 포함될 수 있다. 예를 들어, 자이로 센서는, 상기 축들에 기반하여, 상기 전자 장치(101)의 회전을 나타내는 파라미터(예, 각 속도)를 나타내는 센서 데이터를 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 조도 센서(312)는, 주변광(ambient light) 또는 통상의 기술자에게 알려진 다른 타입의 광의 밝기를 측정하는 조도 센서를 포함할 수 있다. 예를 들어, 조도 센서(312)는, 전자 장치(101)의 하우징의 일 면(예, 도 2의 디스플레이(210)가 배치된 전 면)을 통하여 적어도 부분적으로 노출될 수 있다. 조도 센서(312)는, 상기 일 면 상에서 노출된 적어도 일부분에서 측정된 주변 광의 밝기를 나타내는 센서 데이터를 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 근접 센서(313)는, 전자 장치(101)로부터 지정된 거리 이하로 이격된 외부 객체를 식별할 수 있다. 상기 지정된 거리는, 근접 센서(313)의 감도(sensitivity)에 의해 설정될 수 있다. 예를 들어, 근접 센서(313)는, 전자 장치(101)의 하우징의 전 면에 배치되어, 상기 전 면에 인접하는 외부 객체를 식별할 수 있다. 예를 들어, 사용자가 전자 장치(101)를 이용하여 전화 통화를 수행하는 동안, 전자 장치(101)의 프로세서(120)는 근접 센서(313)를 이용하여, 상기 사용자의 신체 부위(예, 얼굴의 일 면)가 상기 전 면을 향하여 접근함을 식별할 수 있다. 예를 들어, 근접 센서(313)는, 전자 장치(101)로부터 지정된 거리 이하로 이격된 외부 객체를 식별한 상태 내에서, 전자 장치(101), 및 외부 객체 사이의 거리 및 외부 객체의 존재(presence)를 나타내는 센서 데이터를 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 그립 센서(314)는, 전자 장치(101)의 하우징 상의 그립을 탐지할 수 있다. 상기 그립은, 전자 장치(101)를 쥐는 사용자의 제스쳐에 대응할 수 있다. 그립 센서(314)는, 전자 장치(101)에 인접한 공간에 형성된 전계(electric field)에 기반하여, 상기 그립을 탐지할 수 있다. 예를 들어, 그립 센서(314)는, 상기 전자 장치(101)의 상기 그립, 또는 상기 전자 장치(101) 상의 상기 그립의 릴리즈를 나타내는 센서 데이터를 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)의 홀 센서(315)는, 자석, 및 상기 자석에 의해 형성된 자계(magnetic field)의 변화를 측정하는 자계 센서를 포함할 수 있다. 상기 자석, 및 상기 자계 센서는, 전자 장치(101)의 하우징의 상이한 부분들에 배치될 수 있다. 자계 센서에 의해 측정된 상기 자계의 변화에 기반하여, 홀 센서(315)는 상기 부분들 사이의 거리를 식별할 수 있다. 전자 장치(101)가 변형 가능한(deformable) 하우징(예, 폴더블 하우징)을 포함하는 하나 이상의 실시예들에서, 전자 장치(101)는 상기 하우징의 상이한 부분들에 배치된 상기 자석, 및 상기 자계 센서를 포함하는 홀 센서(315)를 이용하여, 상기 하우징의 형태를 식별할 수 있다. 예를 들어, 홀 센서(315)는, 상기 거리, 및/또는 상기 하우징의 형태를 나타내는 센서 데이터를 출력할 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)가 홀 센서(315)를 이용하여 식별된, 상기 하우징의 형태에 기반하여 수행하는 동작이 도 6a 내지 도 6c, 및/또는 도 7a 내지 도 7b를 참고하여 설명된다.
비록, 센서(310) 내에 포함된, IMU 센서(311), 조도 센서(312), 근접 센서(313), 그립 센서(314), 및 홀 센서(315)가 예시적으로 설명되었으나, 실시예들이 이에 제한되는 것은 아니다. 하나 이상의 실시예들에 따라, 도 3에 도시된 센서(310) 중 적어도 하나가 생략될 수 있다. 하나 이상의 실시예들에 따라, 센서(310)는 도 3에 도시되지 않은 추가적인 센서들을 포함할 수 있다. 예를 들어, 예를 들어, 센서(310)는 전자 장치(101)의 지리적 위치(geographic location)를 탐지하기 위한 GPS(global positioning system) 센서를 더 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 미리 결정된 이벤트의 탐지 또는 식별에 응답하여, 진동 알림을 출력하기 위하여 햅틱 액추에이터(220)를 제어할 수 있다. 전자 장치(101)에 의한 햅틱 액추에이터(220)의 활성화는, 하우징의 진동을 야기할 수 있다. 햅틱 액추에이터(220)가 활성화된 상태 내에서, 하나 이상의 실시예들에 따른, 전자 장치(101)는, 전자 장치(101)의 상태(예, 전자 장치(101)의 자세, 방향, 및/또는 형태)에 기반하여, 스피커(230)를 추가적으로 제어할지 여부를 식별할 수 있다. 상기 전자 장치의 상기 상태는 센서(310)에서의 센서 데이터에 기반하여 식별되거나 또는 결정될 수 있다. 예를 들어, 전자 장치(101)는 미리 결정된 이벤트에 기반하여 스피커(230)를 제어할지 여부를 식별할 수 있다. 실시예들이 이에 제한되는 것은 아니며, 예를 들어, 스피커(230)가 청각적인 알림을 출력하기 위해 지시되거나(instructed) 또는 현재 출력함을 식별하는 것에 기반하여, 햅틱 액추에이터(220)에서의 진동 알림의 출력을 적어도 일시적으로 중단할 수 있다.
미리 결정된 이벤트에 기반하여 스피커(230)를 제어함을 식별하는 것에 기반하여(예, 스피커(230)를 통해 출력되는 소리 신호), 전자 장치(101)는 스피커(230)를 통하여, 미리 결정된 이벤트에 의해 요청된 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 예를 들어, 소리 신호는, 상기 진동 알림에 의해 발생되는 마찰 음이 사전에 녹음된, 오디오 데이터에 기반하여 출력될 수 있다. 상기 오디오 데이터는 전자 장치(101)의 메모리(130) 내에 저장될 수 있다. 전자 장치(101)는 미리 결정된 이벤트와 관련된 지정된(designated) 볼륨에 기반하여, 상기 진동 알림을 표현하는 상기 소리 신호를 출력할 수 있다. 예를 들어, 전자 장치(101)가 상기 소리 신호를 출력하는 볼륨은, 미디어 콘텐트의 출력과 관련된 볼륨(에, 미디어 볼륨)과 상이하거나, 또는 독립적으로 조절될 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치(101)는 스피커(230)를 이용하여, 햅틱 액추에이터(220)에 기반하는 진동 알림이 인식될 확률을 증가시킬 수 있다. 예를 들어, 햅틱 액추에이터(220)에 의해 전자 장치(101)의 하우징이 진동하는 방향에 따라, 상기 하우징의 진동에 의해 발생되는, 마찰 음의 크기가 변경될 수 있다. 하나 이상의 실시예들에서, 마찰 음의 크기가 상대적으로 낮은 지정된 상태 내에서, 전자 장치(101)는 스피커(230)를 통하여 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 상기 소리 신호는, 가상의 마찰 음을 포함할 수 있다. 가상의 마찰음은 실제 마찰음을 표현하는 청각적인 신호(auditory signal)일 수 있다. 전자 장치(101)가 상기 소리 신호를 출력하기 때문에, 상기 지정된 상태 내에서, 전자 장치(101)에 의 사용자의 주의를 끌 가능성(possibility of drawing a user's attention by the electronic device 101)이 유리하게 증가될 수 있다.
전자 장치(101)가 스피커(230)를 이용하여 가상의 마찰 음을 출력하는 것은, 메모리(130) 내에 저장된 인스트럭션들의 실행에 기반하여 수행될 수 있다. 상기 인스트럭션들에 기반하여, 상기 가상의 마찰 음을 출력하는 조건이, 햅틱 액추에이터(220)의 설계(design)에 따라 설정(set according to)될 수 있다. 예를 들어, 하우징이 햅틱 액추에이터(220)에 의해 진동하는 방향이, 햅틱 액추에이터(220)가 상기 하우징 내에 설치된 위치, 및/또는 방향에 종속될 수 있다. 메모리(130) 내에 저장된 인스트럭션들은, 햅틱 액추에이터(220)가 전자 장치(101)의 하우징 내에 포함되었는지 여부, 햅틱 액추에이터(220)가 상기 하우징 내에 설치된 위치, 및/또는 방향에 기반하여 설정된, 하나 이상의 조건들을 포함할 수 있다. 예를 들어, 전자 장치(101)는 상기 인스트럭션들을 이용하여, 상기 가상의 마찰 음을 출력하는 조건을 최적화할 수 있다. 상기 조건들이 최적화되기 때문에, 전자 장치(101)는 햅틱 액추에이터(220)로부터 출력되는 진동 알림의 발생이 방지되는 상태를 보다 정확하게 식별할 수 있다.
도 4를 참고하여, 하나 이상의 실시예들에 따른, 전자 장치(101)의 프로세서(120)가, 메모리(130) 내에 저장된 상기 인스트럭션들의 집합에 기반하여 수행하는 동작이 설명된다.
도 4는, 하나 이상의 실시예들에 따른, 전자 장치에 의해 실행되는 프로세스들의 블록도의 일 예를 도시한다. 도 4의 전자 장치는, 도 1 내지 도 3의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 4의 전자 장치(101), 햅틱 액추에이터(220), 스피커(230), 및 센서(310)는, 도 3의 전자 장치, 햅틱 액추에이터(220), 스피커(230), 및 센서(310)를 포함할 수 있다.
도 4를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치의 프로세서(예, 도 3의 프로세서(120))에 의해 실행되는 프로세스들(예, 어플리케이션(412), 진동 관리 서비스(422), 오디오 서비스(424), 센서 매니저(426), 알림 매니저(428))이 상이한 블록들로 구분될 수 있다. 상기 프로세스들은, 상기 프로세서에 의해 수행되는 동작들의 하나 이상의 단위들을 의미할 수 있다. 상기 프로세스들은 인스턴스로 참조될 수 있다. 도 4를 참고하면, 하나 이상의 실시예들에 따른 전자 장치에서 실행되는 하나 이상의 프로세스들에 포함된 기능 및/또는 서브-루틴이, 기능 및/또는 서브-루틴 사이에서 전달되는 정보에 따라 구분되어 도시된다. 하나 이상의 실시예들에 따른 전자 장치는 메모리(예, 도 3의 메모리(130)) 내에 저장된 하나 이상의 인스트럭션들에 기반하여, 햅틱 액추에이터(220), 및/또는 스피커(230)의 제어와 관련된 하나 이상의 프로세스들을 실행할 수 있다. 상기 프로세스들은 사용자와 상호작용하기 위한 제1 상태 내에서 실행되거나, 또는, 백그라운드 프로세스(background process), 및/또는 데몬(daemon) 과 같이, 상기 제1 상태와 구별되는 제2 상태에서 실행될 수 있다(예, 백그라운드 프로세스로써 실행되는 프로그램).
도 4를 참고하면, 전자 장치에 의해 실행되는 프로세스들의 기능, 및/또는 목적에 기반하여 상기 프로세스들을 구분하기 위한 레이어들이 도시된다. 하나 이상의 실시예들에 따른, 전자 장치의 프로세서는, API에 기반하여 상기 레이어들 사이의 정보의 교환을 지원할 수 있다. 예를 들어, 어플리케이션 레이어(410)는, 어플리케이션(412)의 실행을 위한 프로세스들을 포함할 수 있다. 예를 들어, 프레임워크 레이어(420)는, 어플리케이션(412)의 실행을 지원하기 위해 운영 체제에 의해 제공되는 프로세스들(예, 시스템 서비스)을 포함할 수 있다. 하드웨어 추상화 레이어(hardware abstraction layer)(430)는, 어플리케이션 레이어(410), 및/또는 프레임워크 레이어(420)로 분류된 프로세스들에 의한 하드웨어(예, 햅틱 액추에이터(220), 스피커(230), 및/또는 센서(310))의 제어를 지원하기 위한 프로세스들을 포함할 수 있다. 커널 레이어(440)는, 전자 장치 내에 포함된 하드웨어(예, 햅틱 액추에이터(220), 스피커(230), 및/또는 센서(310))의 제어를 위한 드라이버, 및/또는 상기 드라이버의 구동에 의해 실행된 적어도 하나의 프로세스를 포함할 수 있다.
도 4를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치는 프레임워크 레이어(420)로 분류되는 시스템 서비스로, 진동 관리 서비스(422), 오디오 서비스(424), 센서 매니저(426), 및 알림 매니저(428)를 실행할 수 있다. 진동 관리 서비스(422)는, 햅틱 액추에이터(220)를 제어하기 위한 시스템 서비스일 수 있고, 어플리케이션(412)을 실행하는 전자 장치에 의해 생성된 객체, 및/또는 클래스(예, 바이브레이터(vibrator), 및/또는 진동 매니저(vibrator manager))에 의해 제어될 수 있다. 오디오 서비스(424)는, 스피커(230)를 제어하기 위한 시스템 서비스일 수 있고, 어플리케이션(412)을 실행하는 전자 장치에 의해 생성된 객체, 및/또는 클래스(예, 오디오 매니저(audiomanger), 미디어 플레이어(mediaplayer), 및/또는 사운드 풀(soundpool))에 의해 제어될 수 있다. 알림 매니저(428)는, 운영 체제에 의해 제공되는 사용자 인터페이스(user interface, UI)(예, 알림 센터(notification center))를 제어하기 위한 시스템 서비스일 수 있고, 어플리케이션(412), 및/또는 푸쉬 서비스의 실행에 기반하여 생성된 객체, 및/또는 클래스(예, 알림 매니저(notification manager))에 의해 제어될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 센서 매니저(426)에 기반하여 센서(310)에 의하여 수집된 상태를 정보를 제공할 수 있다. 상기 상태 정보는 프레임워크 레이어(420), 및/또는 어플리케이션 레이어(410)에 의해 접근 가능할 수 있다. 센서 매니저(426)에 의해 제공되는 상태 정보는, 전자 장치의 센서(310)로부터 수신된 센서 데이터를 포함할 수 있다. 예를 들어, 상태 정보는, 공간 내에서의 전자 장치의 방향(예, 도 3의 IMU 센서(311)에 의해 측정된 전자 장치의 방향)에 의해 조절되는 센서 데이터를 포함할 수 있다. 상태 정보는, 전자 장치의 하우징의 형태(예, 도 3의 홀 센서(315), 및/또는 IMU 센서(311))와 관련된 센서 데이터를 포함할 수 있다. 상태 정보는, 도 3의 그립 센서(314)에 의해 탐지된, 하우징 상의 그립을 나타내는 센서 데이터를 포함할 수 있다. 상태 정보는, 도 3의 조도 센서(312), 및/또는 근접 센서(313)에 의해 탐지된, 전자 장치를 향하여 접근하는 외부 객체를 탐지한 결과를 나타내는 센서 데이터를 포함할 수 있다. 예를 들어, 상태 정보는, 전자 장치의 자세, 및/또는 형태를 식별하기 위해 이용되는 센서 데이터를 포함할 수 있다.
도 2 내지 도 3을 참고하여 상술한 바와 같이, 전자 장치는 햅틱 액추에이터(220)에 기반하는 진동 알림을 출력하기 위한 미리 결정된 이벤트를 식별할 수 있다. 상기 미리 결정된 이벤트는, 전자 장치에 의해 실행되는 어플리케이션(412), 및/또는 알림 매니저(428)에 기반하여 발생될 수 있다. 예를 들어, 상기 미리 결정된 이벤트는, 알림 매니저(428)에 의해 발생된 알림, 또는 어플리케이션(412)에 의해 제공되는 기능의 실행에 의해 발생될 수 있다. 어플리케이션(412)에 의해 제공되는 기능은, 예를 들어, 전화 어플리케이션에 의해 제공되고, 착신음을 재생하는 기능(예, 수신 전화(incoming call) 또는 메시지를 수신하는 것에 의해 착신음을 재생하는 것)을 포함할 수 있다. 전자 장치는 진동 관리 서비스(422)의 실행에 기반하여, 미리 결정된 이벤트를 식별할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 진동 관리 서비스(422)를 이용하여, 바이브레이터와 같은 객체, 및/또는 클래스에 기반하는 미리 결정된 이벤트가 발생되는 것을 식별할 수 있다. 예를 들어, 미리 결정된 이벤트는, 바이브레이터와 같이 기 정의된 객체, 및/또는 클래스에 의해 제공된, 지정된 메소드의 호출에 의해 발생될 수 있다. 예를 들어, 어플리케이션(412), 및/또는 알림 매니저(428)는, 진동 알림의 세기, 빈도, 반복 횟수, 파형, 또는 기간 중 적어도 하나를 나타내는 진동 정보에 기반하여, 상기 미리 결정된 이벤트를 호출할 수 있다. 상기 진동 정보는, 바이브레이션 이펙트(vibration effect)에 대응하는 기 정의된 데이터 구조에 기반하여, 메모리(에, 도 3의 메모리(130)) 내에 저장될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는, 진동 관리 서비스(422)의 실행에 기반하여, 센서 매니저(426)로부터 상태 정보를 획득할 수 있다. 진동 관리 서비스(422)의 실행에 기반하여 센서 매니저(426)로부터 상태 정보를 획득하는 것은, 센서 매니저(426)에 의한 전자 장치의 자세, 형태, 및/또는 상태의 변경에 응답하여 수행될 수 있다. 실시예들이 이에 제한되는 것은 아니며, 전자 장치는 진동 관리 서비스(422)의 실행에 기반하여 지정된 주기 마다 반복적으로 상태 정보를 획득할 수 있다. 전자 장치는 미리 결정된 이벤트에 응답하여, 상기 상태 정보를 식별할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 진동 관리 서비스(422)의 실행에 기반하여, 햅틱 액추에이터(220)를 제어하기 위한 제어 신호를 생성할 수 있다. 상기 제어 신호는, 미리 결정된 이벤트와 관련된 진동 정보에 종속될 수 있다. 상기 제어 신호는, 햅틱 액추에이터(220)가 전자 장치의 하우징을 진동하여 발생되는, 진동의 세기, 빈도, 반복 횟수, 파형, 또는 기간 중 적어도 하나를 나타내는 파라미터들을 포함할 수 있다. 진동 관리 서비스(422)에 기반하여 생성된 상기 제어 신호는, 하드웨어 추상화 레이어(430), 및 커널 레이어(440) 내 프로세스들에 의해 처리되어, 햅틱 액추에이터(220)로 송신될 수 있다. 예를 들어, 하드웨어 추상화 레이어(430) 내 프로세스(예, 바이브레이터 HAL)는, 진동 관리 서비스(422)의 실행에 기반하여 생성된 상기 제어 신호를, 커널 레이어(440) 내 프로세스(예, 바이브레이터 드라이버)에 의해 판독 가능한(readable) 제어 신호로 변경할 수 있다. 예를 들어, 커널 레이어(440) 내 프로세스(예, 바이브레이터 드라이버)는, 상기 변경된 제어 신호에 기반하여, 전자 장치의 프로세서로부터 햅틱 액추에이터(220)로 송신될 전기 신호를 생성할 수 있다. 프로세서가 커널 레이어(440) 내 상기 프로세스에 기반하여 상기 전기 신호를 생성하는 것은, 어플리케이션(412), 및/또는 알림 매니저(428)에 의한, 진동의 발생을 위한 지정된 API의 호출에 응답하여, 개시될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 진동 관리 서비스(422)의 실행에 기반하여, 미리 결정된 이벤트에 응답하여 스피커(230)를 제어할지 여부를 결정할 수 있다. 전자 장치는, 센서 매니저(426)에 의해 식별된 상태 정보에 기반하여, 스피커(230)를 제어할지 여부를 식별할 수 있다. 예를 들어, 상기 상태 정보에 의해 식별되는 전자 장치의 상태가 지정된 상태에 대응하는 경우, 전자 장치는 스피커(230)를 제어할 수 있다. 전자 장치가 스피커(230)를 제어하는 상기 지정된 상태는, 햅틱 액추에이터(220)의 진동에 의해 발생되는 마찰 음에 대한 사용자의 인식이 저해되는 상황과 관련될 수 있다.
예를 들어, 햅틱 액추에이터(220)에 의한 하우징의 진동이 지정된 축을 따르는 반복적인 움직임에 의해 발생되는 경우, 상기 지정된 상태는, 도 5a, 도 6a 내지 도 6c를 참고하여 후술하는 바와 같이, 상기 지정된 축, 및 상기 하우징에 적용되는 중력 가속도의 방향이 수직인 상태를 포함할 수 있다. 상기 지정된 상태는, 도 5a 내지 도 5b를 참고하여 후술하는 바와 같이, 상기 하우징 상의 그립이 릴리즈된 상태 내에 포함될 수 있다. 상기 지정된 상태는, 도 7a 내지 도 7b를 참고하여 후술하는 바와 같이, 상기 하우징의 변형에 의해 상기 하우징의 내부에 형성된 공간이 확장된(expanded) 상태를 포함할 수 있다.
상기 지정된 상태 내에서, 전자 장치는 스피커(230)를 제어하여, 미리 결정된 이벤트와 관련된 진동 정보에 기반하여 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 지정된 상태 내에서, 상기 소리 신호가 출력되는 시간 구간은, 진동 알림이 햅틱 액추에이터(220)에 의하여 출력되는 시간 구간과 중첩되거나, 또는 일치될 수 있다. 하나 이상의 실시예들에 따른, 전자 장치는 상기 진동 정보 내에 포함된, 세기, 빈도, 반복 횟수, 파형, 또는 기간 중 적어도 하나에 기반하여, 소리 신호를 생성하기 위한 파라미터들을 생성할 수 있다. 예를 들어, 상기 파라미터들은, 전자 장치에 의한 진동 관리 서비스(422)의 실행에 기반하여 생성된, 데이터 구조(예, 미디어 플레이어, 및/또는 사운드 풀에 의해 정의된 객체, 및/또는 클래스) 내에 저장될 수 있다. 따라서, 소리 신호는 진동의 강도 및/또는 길이에 대응하는 파라미터들에 기반하여 달라질(varied) 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 진동 정보에 기반하여, 소리 신호를 재생하기 위한 정보를 획득할 수 있다. 진동 정보가 미리 결정된 이벤트에 기반하여 생성되므로, 소리 신호를 재생하기 위한 상기 정보는, 상기 미리 결정된 이벤트와 관련된 적어도 하나의 파라미터를 포함할 수 있다. 소리 신호를 재생하기 위한 상기 정보는, 상기 소리 신호를 출력할 스피커(230)의 볼륨을 포함할 수 있다. 소리 신호를 재생하기 위한 상기 정보는, 상기 소리 신호가 재생되는 기간, 및/또는 반복 횟수를 포함할 수 있다. 소리 신호를 재생하기 위한 상기 정보는, 상기 소리 신호의 파형, 또는 상기 파형의 식별자를 포함할 수 있다. 예를 들어, 전자 장치는 바이브레이션 이펙트와 같은 데이터 구조에 기반하여 상기 진동 정보로부터 추출된 적어도 하나의 파라미터로부터, 소리 신호를 재생하기 위한 상기 정보를 획득할 수 있다. 하나 이상의 실시예들에 따른, 전자 장치는, 진동 관리 서비스(422)에 기반하여 획득되고, 소리 신호를 재생하기 위한, 상기 정보에 기반하여, 오디오 서비스(424)를 실행할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치는 진동 관리 서비스(422)에 기반하여 획득된 상기 정보에 기반하여 오디오 서비스(424)를 실행하여, 스피커(230)의 제어를 개시할 수 있다. 오디오 서비스(424)는, 진동 관리 서비스(422)에 기반하여 획득된 상기 정보를 이용하여, 스피커(230)를 제어하기 위한 제어 신호를 생성할 수 있다. 상기 제어 신호는, 하드웨어 추상화 레이어(430) 내 프로세스(예, 오디오 HAL), 및 커널 레이어(440) 내 프로세스(예, 오디오 드라이버)에 의해 순차적으로 처리될 수 있다. 상기 제어 신호의 순차적인 처리에 기반하여, 전자 장치의 프로세서는 스피커(230)로 소리 신호를 재생하기 위한 전기 신호를 출력할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치가 오디오 서비스(424)에 기반하여 미리 결정된 이벤트에 대한 소리 신호를 출력하는 것은, 미리 결정된 이벤트에 의해 설정된 기간의 만료에 의해 중단될 수 있다. 예를 들어, 미리 결정된 이벤트에 대한 진동 정보 내에 포함된 기간의 만료에 응답하여, 전자 장치는 진동 관리 서비스(422)의 실행에 기반하여, 햅틱 액추에이터(220)를 이용한 진동 알림의 출력을 중단할 수 있다. 하나 이상의 예시들 내에서, 전자 장치가 상기 진동 알림을 나타내는 소리 신호를 출력하는 경우, 전자 장치는 상기 기간의 만료에 응답하여, 오디오 서비스(424)의 실행에 기반하여, 스피커(230)를 이용한 상기 소리 신호의 출력을 중단할 수 있다. 하나 이상의 실시예들에서, 전자 장치에 의해 실행되는 어플리케이션(412), 및/또는 알림 매니저(418)에 의해 호출된 API에 기반하여, 전자 장치는 상기 진동 알림, 및/또는 상기 소리 신호의 출력을 중단할 수 있다. 상기 API는 진동 알림의 출력을 중단하기 위한 메소드(예, 바이브레이터, 및/또는 진동 매니저와 같은 객체, 및/또는 클래스에 의해 제공되는 메소드)를 포함할 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치는, 햅틱 액추에이터(220)에 기반하는 진동 알림을 출력하기 위한 미리 결정된 이벤트의 발생에 응답하여, 햅틱 액추에이터(220)를 제어하는데 이용되는 진동 정보를 획득할 수 있다. 전자 장치는 진동 관리 서비스(422)를 실행하여 상기 진동 정보를 획득할 수 있다. 전자 장치는 상기 진동 정보에 기반하여 햅틱 액추에이터(220)를 제어하여, 상기 전자 장치의 하우징을 진동할 수 있다. 전자 장치는 진동 관리 서비스(220), 또는 센서 매니저(426) 중 적어도 하나에 기반하여, 상기 진동 정보를 이용하여 스피커(230)를 제어할지 여부를 결정할 수 있다. 스피커(230)를 제어하는 경우, 전자 장치는 진동 관리 서비스(422)를 이용하여, 상기 진동 정보로부터 오디오 서비스(424)에 의해 판독 가능한 정보를 획득할 수 있다. 전자 장치는, 상기 획득된 정보에 기반하여 오디오 서비스(424)를 실행하여, 스피커(230)를 통하여 소리 신호를 출력할 수 있다. 전자 장치가, 햅틱 액추에이터(220)에 기반하는 진동 알림의 출력과 함께, 상기 소리 신호를 출력하기 때문에, 전자 장치는 사용자, 및 전자 장치 사이의 상호작용을 촉진할 수 있다. 전자 장치가 진동 알림을 출력하기 위한 미리 결정된 이벤트에 기반하여 스피커(230)를 제어하기 때문에, 햅틱 액추에이터(220)가 전자 장치 내에 포함되는지 여부 또는 진동 알림을 출력하는 상태 내에 있는 것과 무관하게, 전자 장치는 상기 진동 알림에 기반하여 사용자를 자극하는 것을 제공할 수 있다.
도 5a 내지 도 5b, 도 6a 내지 도 6c, 및/또는 도 7a 내지 도 7b를 참고하여, 하나 이상의 실시예들에 따른, 전자 장치가 햅틱 액추에이터(220)와 관련된 미리 결정된 이벤트에 기반하여 스피커(230)를 제어하는 동작이 설명된다.
도 5a 내지 도 5b는, 하나 이상의 실시예들에 따른, 전자 장치(101)가 스피커(230)를 통하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다. 도 5a 내지 도 5b의 전자 장치(101)는, 도 1 내지 도 3의 전자 장치(101), 및/또는 도 4의 전자 장치의 일 예일 수 있다. 예를 들어, 도 5a의 전자 장치(101), 디스플레이(210), 및 스피커(230)는, 도 3의 전자 장치(101), 디스플레이(210), 및 스피커(230)를 포함할 수 있다.
도 5a 내지 도 5b를 참고하면, 하나 이상의 실시예들에 따른, 전자 장치(101)가 알람 어플리케이션의 실행에 기반하여 진동 알림을 출력하는 상태의 일 예가 도시된다. 예를 들어, 미리 결정된 이벤트는, 현재 시간이 상기 알람 어플리케이션을 통해 사용자로부터 입력되었던 특정 시점과 일치하는지 여부에 기반하여, 발생될 수 있다(예, 촉발된(triggered) 알람). 하나 이상의 실시예들에 따른, 전자 장치(101)는, 현재 시간이 사용자 입력에 의해 설정된 시점과 일치함을 식별하는 것에 응답하여, 알람을 출력할 수 있다. 전자 장치(101)가 상기 알람을 출력하는 것은, 디스플레이(210)를 이용하여 상기 알람과 관련된 화면을 표시하는 동작을 포함할 수 있다. 전자 장치(101)가 상기 알람을 출력하는 것은, 햅틱 액추에이터(예, 도 2 내지 도 4의 햅틱 액추에이터(220))를 이용하여 진동 알림을 출력하는 동작을 포함할 수 있다. 전자 장치(101)가 상기 알람을 출력하는 것은, 스피커(예, 도 2 내지 도 4의 스피커(230))를 통하여 소리 신호를 출력하는 동작을 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)가 미리 결정된 이벤트에 응답하여 상기 진동 알림, 및/또는 상기 소리 신호를 출력하는 것은, 상기 전자 장치(101)의 상태, 형태, 및/또는 자세에 기반하여 선택적으로 수행될 수 있다. 예를 들어, 전자 장치(101)의 자세가 기준 자세에 대응하는 경우, 전자 장치(101)는 미리 결정된 이벤트에 응답하여, 스피커(230)를 통하여 상기 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 상기 기준 자세는, 상기 진동 알림에 의해 발생되는 마찰 음의 크기(magnitude)를 줄이는 전자 장치(101)의 자세와 관련될 수 있다. 상기 소리 신호의 볼륨은, 상기 미리 결정된 이벤트의 타입(도 5a 내지 도 5b의 예시적인 상태 내에서, 알람 볼륨)과 관련될 수 있다.
상기 기준 자세는, 전자 장치(101)의 방향과 관련될 수 있다. 상기 기준 자세는, 전자 장치(101)의 하우징이 햅틱 액추에이터에 의해 진동하는 방향과 관련될 수 있다. 도 5a를 참고하면, 전자 장치(101)가 테이블(510)과 같이 지면과 평행한 일 면에 배치된 예시적인 케이스가 도시된다. 상기 지면과 평행한 상기 일 면은 평면이거나(planar) 또는 실질적으로 평면일 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)는 IMU 센서(예, 도 3의 IMU 센서(311))에 기반하여 상기 전자 장치(101)로 적용되는 가속도(예, 중력 가속도)를 식별할 수 있다. 하나 이상의 실시예들에서, 전자 장치(101)가 도 5a에 도시된 3 개의 축들(예, x 축, y 축, 및 z 축)에 기반하여 가속도를 식별한다. 예를 들어, x 축은, 전자 장치(101)의 하우징의 전 면의 너비 방향과 평행하고, y 축은, 전자 장치(101)의 하우징의 상기 전 면의 상기 높이 방향과 평행하고, z 축은, 상기 전 면의 방향(예, 상기 전 면의 법선 벡터의 방향)과 평행할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 IMU 센서에 의해 식별되고, 전자 장치(101)로 적용되는 가속도에 대응하는 벡터의 방향에 기반하여, 전자 장치(101)의 자세가 기준 자세에 대응하는지 여부를 식별할 수 있다. 예를 들어, 도 5a를 참고하면, 전자 장치(101)로 적용되는 힘은 중력이므로, 전자 장치(101)는 IMU 센서에 기반하여, -z 축 방향의 중력 가속도를 식별할 수 있다. -z 축 방향의 중력 가속도를 식별하는 것에 기반하여, 전자 장치(101)는, 지면과 평행한 일 면 상에 배치된, 전자 장치(101)의 자세(예, 기준 자세)를 식별할 수 있다.
전자 장치(101)가 진동 알림을 출력하는 상태 내에서, 햅틱 액추에이터에 의한 전자 장치(101)의 하우징의 진동은, 전자 장치(101) 내 햅틱 액추에이터의 위치 및/또는 상기 하우징의 설계에 따라 상이한 방향을 따라 발생될 수 있다. 도 5a를 참고하면, 전자 장치(101) 내에 포함된 햅틱 액추에이터에 의한 하우징의 진동이, x 축, 또는 y 축을 따라 발생되는 때에, 상기 하우징에 의하여 테이블(510)을 문지르는(rubbing) 상기 하우징에 의한 제1 소리가 발생될 수 있다. 도 5a를 참고하면, 전자 장치(101) 내에 포함된 햅틱 액추에이터에 의한 하우징의 진동이, z 축을 따라 발생되는 경우, 상기 하우징이 테이블(510)을 두드리는 것(knocking)에 의한 제2 소리가 발생될 수 있다. 예를 들어, 햅틱 액추에이터에 의한 하우징의 진동에 의하여 z 방향을 따라 야기된 충돌이, 상기 테이블 상에서 x 방향 또는 y 축 방향 내에서 미끄러지는 하우징 보다 큰 소리를 야기할 수 있다. 따라서, 상기 제1 소리의 크기가, 상기 제2 소리의 크기 보다 작을 수 있다.
예를 들어, 햅틱 액추에이터에 의한 하우징의 진동이 x 축, 또는 y 축을 따라 발생되는 때에, 전자 장치(101)는 도 5a와 같이, 전자 장치(101)의 자세(예, 배열 방향(arrangement direction))가 지면과 평행한 일 면 상에 배치된 기준 자세에 대응하는 것으로 결정할 수 있다. 기준 자세에 대응하는 상기 자세를 식별하는 것에 응답하여, 전자 장치(101)는 스피커(230)를 이용하여 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 하나 이상의 실시예들에서, 햅틱 액추에이터에 의한 하우징의 진동이, z 축을 따라 발생되는 때에, 전자 장치(101)는, 전자 장치(101)의 자세가 기준 자세에 대응하지 않는 것으로 결정할 수 있다. 기준 자세와 상이한 자세를 식별하는 것에 응답하여, 전자 장치(101)는 상기 소리 신호를 출력하는 것을 삼가하고(refrain from), 햅틱 액추에이터를 이용하여 상기 진동 알림을 출력할 수 있다.
하나 이상의 실시예들에서, 전자 장치(101)가 기준 자세, 및 상기 전자 장치(101)의 자세를 비교하는 것은, 하우징 상의 그립을 탐지하였는지 여부에 기반하여, 수행될 수 있다. 도 5b를 참고하면, 사용자의 신체 부위(520)(예, 손), 및 전자 장치(101) 사이의 접촉이 발생된 예시적인 케이스가 도시된다. 하나 이상의 실시예들에 따른, 전자 장치(101)는 그립 센서(예, 도 3의 그립 센서(314)), 및/또는 근접 센서(예, 도 3의 근접 센서(313))를 이용하여, 신체 부위(520)를 탐지할 수 있다. 예를 들어, 전자 장치(101)는 상기 그립 센서를 이용하여, 신체 부위(520)에 의한 상기 전자 장치(101)의 하우징 상의 그립을 탐지할 수 있다.
하나 이상의 실시예들에서, 전자 장치(101), 및 신체 부위(520)가 서로 접촉된 경우, 전자 장치(101)는 기준 자세, 및 상기 전자 장치(101)의 자세를 비교하지 않을 수 있다. 전자 장치(101), 및 신체 부위(520)가 서로 접촉된 경우(예, 전자 장치(101)의 하우징 상의 그립을 탐지한 경우), 전자 장치(101)는 스피커(230)를 이용하여 소리 신호를 출력하는 것을 삼가할 수 있다. 도 5b를 참고하면, 전자 장치(101), 및 신체 부위(520)가 서로 접촉된 경우, 햅틱 액추에이터에 의한 상기 전자 장치(101)의 하우징의 진동이 신체 부위(520)의 진동을 야기할 수 있다. 예를 들어, 상기 하우징의 진동이 직접적으로 사용자에게 전달될 수 있다. 상기 하우징의 진동이 직접적으로 사용자에게 전달되므로, 스피커(230)에 의해 출력되는 소리 신호와 독립적으로, 상기 사용자는 상기 진동 알림을 인식할 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)는, 상기 전자 장치(101)와 접촉된 신체 부위(520)를 식별하는 것에 기반하여, 햅틱 액추에이터, 또는 스피커(230) 중 햅틱 액추에이터를 제어하여, 미리 결정된 이벤트에 대한 진동 알림을 출력할 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치(101)는, 상기 전자 장치(101)로 적용되는 가속도에 대응하는 벡터의 방향, 및/또는 상기 전자 장치(101)의 하우징 상에 접촉된 신체 부위(520)에 기반하여, 스피커(230)를 통하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 결정할 수 있다. 예를 들어, 전자 장치(101)가 신체 부위(520)와 접촉된 때에, 사용자는 진동 알림을 보다 잘 인식하고, 따라서, 소리 신호를 출력하는 것이 불필요할 수 있다. 상기 소리 신호에 기반하여, 전자 장치(101)는, 도 5a의 예시적인 케이스를 참고하여 상술한 바와 같이, 햅틱 액추에이터에 의한 하우징의 진동 방향에 따른 마찰 음의 변화를 보상할 수 있다.
스피커(230)를 통하여 상기 소리 신호를 출력할지 여부를 결정하기 위한, 상기 기준 자세는, 도 5a 내지 도 5b를 참고하여 상술된 전자 장치(101)의 방향, 및/또는 전자 장치(101), 및 신체 부위(520) 사이의 접촉에 제한되지 않는다. 예를 들어, 상기 기준 자세는, 전자 장치(101)의 변형 가능한 하우징의 특정(specific) 형태를 포함할 수 있다. 도 6a 내지 도 6c를 참고하여, 접힘 가능한(foldable) 하우징을 포함하는 전자 장치(101)의 하나 이상의 실시예들에 기반하여, 전자 장치(101)가 상기 기준 자세에 대응하는 자세를 식별하는 동작의 일 예가 설명된다.
도 6a 내지 도 6c는, 하나 이상의 실시예들에 따른, 전자 장치(101)가 하우징(610)의 형태에 기반하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다. 도 6a 내지 도 6c의 전자 장치(101)는, 도 3 내지 도 4의 전자 장치의 일 예일 수 있다. 예를 들어, 도 6a 내지 도 6c의 전자 장치(101), 디스플레이(210), 및 스피커(230)는, 도 3의 전자 장치(101), 디스플레이(210), 및 스피커(230)를 각각 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 변형 가능한 하우징(610)을 포함할 수 있다. 하우징(610)은, 제1 서브 하우징(611), 제2 서브 하우징(612), 및 힌지 어셈블리(또는 힌지 조립체)(613)를 포함할 수 있다. 제1 서브 하우징(611)은, 힌지 어셈블리(613)의 제1 가장자리에 연결될 수 있다. 제2 서브 하우징(612)은, 상기 제1 가장자리의 반대인(opposite to), 힌지 어셈블리(613)의 제2 가장자리에 연결될 수 있다. 힌지 어셈블리(613)는, 제1 서브 하우징(611), 및 제2 서브 하우징(612)의 중심축(pivot)일 수 있다. 제1 서브 하우징(611) 및 제2 서브 하우징(612)은 같은 사이즈이거나 또는 다른 사이즈일 수 있다. 하나 이상의 실시예들에서, 하우징(610)의 각도는, 제1 서브 하우징(611), 힌지 어셈블리(613), 및 제2 서브 하우징(612)에 의해 형성된 각도들 중에서, 작은 각도(예, 내각(internal angle))를 포함할 수 있다. 하나 이상의 실시예들에서, 하우징(610)의 각도는, 하우징(610)으로 발휘되는(exerted) 외력(예, 외부 압력을 적용하는 신체 부위(520))에 의해 0 º 내지 180 º 사이의 범위 내에서 조절될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 제1 서브 하우징(611), 및 제2 서브 하우징(612)을 가로질러 배치되는, 플렉서블 디스플레이(620)를 포함할 수 있다. 플렉서블 디스플레이(620)는, 하우징(610)의 각도에 따라, 사용자에 의해 시인되지 않을 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)의 디스플레이(210)는, 상기 플렉서블 디스플레이(620)가 형성된 제1 서브 하우징(611)의 일 면과 반대인, 제1 서브 하우징(611)의 다른 면을 통해 적어도 부분적으로 외부로 노출될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 하우징(610)의 각도에 기반하여, 전자 장치(101)의 상태, 자세, 및/또는 형태를 식별할 수 있다. 예를 들어, 전자 장치(101)는 제1 서브 하우징(611), 및 제2 서브 하우징(612) 각각에 배치된 IMU 센서들(예, 도 3의 IMU 센서(311)), 및/또는 홀 센서(예, 도 3의 홀 센서(315))를 이용하여, 상기 하우징(610)의 각도에 기반하는 전자 장치(101)의 자세를 식별할 수 있다. 전자 장치(101)가 상기 IMU 센서들, 및/또는 상기 홀 센서를 이용하여 상기 하우징(610)의 각도를 식별하는 것은, 전자 장치(101)의 프로세서(예, 도 3의 프로세서(120))에 의해 주기적으로 수행될 수 있다. 예를 들어, 활성 상태 내에서, 상기 프로세서는, 상기 IMU 센서들, 및 상기 홀 센서 전부를 이용하여 상기 하우징(610)의 각도를 식별할 수 있다. 상기 활성 상태와 상이한 다른 상태(예, 비활성 상태, 및/또는 AOD(always-on-display) 상태) 내에서, 상기 프로세서는, 상기 IMU 센서들, 또는 상기 홀 센서 중 어느 하나로부터, 상기 하우징(610)의 각도를 식별할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 상기 전자 장치(101)의 상태를, 하우징(610)의 각도를 분할하여 형성된, 지정된 각도 범위들에 기반하여 식별할 수 있다. 전자 장치(101)는, 도 4의 프레임 워크 레이어(420) 내 프로세스(예, 센서 매니저(426), 및/또는 윈도우 매니저)의 실행에 기반하여, 상기 지정된 각도 범위들 중에서, 상기 전자 장치(101)의 상기 상태를 선택적으로 식별할 수 있다. 예를 들어, 제1 지정된 범위는, 0 º를 포함하는 범위(예, 0 º 이상, 10 º 이하의 범위)일 수 있다. 제1 지정된 범위와 상이한, 제2 지정된 범위는 90 º 이하인 각도 내에서 형성될 수 있다(예, 21 º 이상, 90 º 이하의 범위). 제1 지정된 범위, 및 제2 지정된 범위 사이에, 하우징(610)의 각도를 식별하는 센서(예, 도 3의 IMU 센서(311), 및/또는 홀 센서(315)와 같은 센서(310))의 히스테리시스(hysteresis)에 기반하는 패딩(padding)이 형성될 수 있다(예, 11 º 이상, 20 º 미만의 범위). 제1 지정된 범위 내지 제2 지정된 범위와 상이한 제3 지정된 범위는, 90 º 이상인 각도 내에서 형성될 수 있다(예, 91 º 이상, 130 º 이하의 범위). 제1 지정된 범위 내지 제3 지정된 범위와 상이한 제4 지정된 범위는, 180 º를 포함하는 범위(예, 131 º 이상, 180 º 이하의 범위)일 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 상기 전자 장치(101)의 상태를, 지정된 각도 범위들 중에서 상기 하우징(610)의 각도를 포함하는 하나의 각도 범위에 기반하여 식별할 수 있다. 폴드 상태(folded state), 및/또는 닫힘 상태(closed state)는, 하우징(610)의 각도가 제1 지정된 범위 내에 포함됨을 나타낼 수 있다. 서브-폴드 상태(sub-folded state), 서브-닫힘 상태(sub-closed state), 텐트 상태(tent state) 및/또는 예각 상태(acute angle state)는, 하우징(610)의 각도가 제2 지정된 범위 내에 포함됨을 나타낼 수 있다. 서브-언폴드 상태(sub-unfolded state), 서브-열림 상태(sub-opened state), 및/또는 둔각 상태(obtuse angle state)는, 하우징(610)의 각도가 제3 지정된 범위 내에 포함됨을 나타낼 수 있다. 언폴드 상태(unfolded state), 열림 상태(opened state), 및/또는 평각 상태(straight angle state)는, 하우징(610)의 각도가 제4 지정된 범위 내에 포함됨을 나타낼 수 있다.
도 6a를 참고하면, 하우징(610)의 각도가 실질적으로 0 º(예, 0 º 부터 5 º)인 전자 장치(101)의 상태의 일 예가 도시된다. 도 6a의 예시적인 상태 내에서, 전자 장치(101)는 폴드 상태에 대응하는 상기 전자 장치(101)의 상태를 식별할 수 있다. 도 6b 내지 도 6c를 참고하면, 하우징(610)의 각도(예, 각도들(630, 635))가 60 º인 전자 장치(101)의 상태의 일 예가 도시된다. 도 6b 내지 도 6c의 예시적인 상태 내에서, 전자 장치(101)는 서브-폴드 상태, 및/또는 텐트 상태에 대응하는 상기 전자 장치(101)의 상태를 식별할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 햅틱 액추에이터(예, 도 2의 햅틱 액추에이터(220))에 의한 진동 알림의 요청을 수신한 때의 전자 장치(101)의 상태를 식별하는 것에 기반하여, 상기 햅틱 액추에이터, 또는 스피커(230) 중 적어도 하나를 선택적으로 제어할 수 있다. 전자 장치(101)가 상기 햅틱 액추에이터, 또는 상기 스피커(230) 중 적어도 하나를 선택하거나 및/또는 식별하는 것은, 하우징(610)의 각도에 의해 식별되는 전자 장치(101)의 상태와 관련될 수 있다. 예를 들어, 도 6a의 상태를 포함하는 폴드 상태 내에서, 전자 장치(101)는 도 5a 내지 도 5b를 참고하여 상술한 바와 같이, 전자 장치(101)로 적용되는 가속도(예, 중력 가속도), 및/또는 전자 장치(101)의 하우징(610) 상에 접촉된 외부 객체(예, 도 5b의 신체 부위(520))에 기반하여, 상기 햅틱 액추에이터, 또는 상기 스피커(230) 중 적어도 하나를 선택하거나 및/또는 식별할 수 있다. 전자 장치(101)는 상기 햅틱 액추에이터의 선택 및/또는 식별에 기반하여, 상기 햅틱 액추에이터, 및 상기 스피커(230) 중에서, 상기 햅틱 액추에이터를 이용하여 진동 알림을 출력할 수 있다. 전자 장치(101)는 상기 스피커(230)의 선택 및/또는 식별에 기반하여, 상기 햅틱 액추에이터, 및 상기 스피커(230) 중에서, 상기 스피커(230)를 이용하여 상기 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 전자 장치(101)는 상기 햅틱 액추에이터, 및 상기 스피커(230) 전부의 선택 및/또는 식별에 기반하여, 상기 햅틱 액추에이터를 이용한 진동 알림의 출력, 및 상기 스피커(230)를 이용한 상기 소리 신호의 출력을 실질적으로 동시에 수행할 수 있다. 하나 이상의 실시예들에서, 햅틱 액추에이터에 의한 진동 알림의 출력은 스피커(230)에 의한 진동 알림의 출력 보다 앞서 발생(occur prior to)할 수 있다. 하나 이상의 실시예들에서, 스피커(230)에 의한 진동 알림의 출력은 햅틱 액추에이터에 의한 진동 알림의 출력 보다 앞서 발생할 수 있다.
도 6b 내지 도 6c를 참고하면, 서브-폴드 상태 내에서의 전자 장치(101)의 상태가 도시된다. 도 6b 내지 도 6c의 서브-폴드 상태 내에서, 전자 장치(101)는 디스플레이(210), 및 플렉서블 디스플레이(620) 중 디스플레이(210) 내에, 화면(640)을 표시할 수 있다. 화면(640)은, 전자 장치(101)에 의해 실행되는 어플리케이션(예, 도 4의 어플리케이션(412))에 기반하여 표시될 수 있다.
어플리케이션의 실행에 기반하여 화면(640)을 표시하는 도 6b 내지 도 6c의 실시예들에서, 수신 전화와 관련된 신호를 수신하는 것에 응답하여, 전자 장치(101)는 상기 신호의 수신을 알리기 위한 진동 알림을 출력할 수 있다. 전자 장치(101)는 디스플레이(210) 내 화면(640)의 적어도 일부분 상에 중첩으로, 상기 신호의 수신을 알리기 위한 시각적 객체(650)를 표시할 수 있다(예, "수신 전화(incoming call)"와 같은 메시지를 표시하는 것). 시각적 객체(650)는, 전자 장치(101)에 의해 실행되는 시스템 서비스(예, 도 4의 알림 매니저(428))에 기반하여 표시될 수 있다. 시각적 객체(650)는, 상기 호 수립을 요청한 상대방(counterpart)의 전화 번호, 및/또는 이름을 나타내는 텍스트를 포함할 수 있다. 시각적 객체(650)는, 상기 신호에 기반하여 호 연결을 수립하기 위한 아이콘(예, 통화 버튼)을 포함할 수 있다. 시각적 객체(650)는, 상기 신호에 기반하는 호 연결의 수립을 거절하기 위한 아이콘(예, 거절 버튼)을 포함할 수 있다. 시각적 객체(650)가 표시되는 도 6b 내지 도 6c의 예시적인 케이스들은, 미리 결정된 이벤트가 발생된 케이스들일 수 있다.
전자 장치(101)의 상태가 서브-폴드 상태인 도 6b 내지 도 6c의 예시적인 케이스들 내에서, 하나 이상의 실시예들에 따른, 전자 장치(101)는, 상기 전자 장치(101)로 적용되는 가속도(예, 중력 가속도들(660, 665))에 대응하는 벡터의 방향, 또는 하우징(610) 상의 그립을 탐지하였는지 여부에 기반하여, 미리 결정된 이벤트에 응답하여 제어될 하드웨어들을, 햅틱 액추에이터, 또는 스피커(230) 중에서 선택하거나 및/또는 식별할 수 있다. 예를 들어, 하우징(610) 상의 그립을 탐지한 경우, 상기 상황에서, 사용자가 상기 하우징의 상기 그립에 기반하여 상기 햅틱 액추에이터에 의한 진동 알림을 보다 잘 식별하기 때문에, 전자 장치(101)는 스피커(230)를 이용하여 진동 알림을 표현하는 소리 신호를 출력하는 것을 삼가하고, 햅틱 액추에이터를 이용하여 진동 알림을 출력할 수 있다. 하우징(610) 상의 그립이 릴리즈된 경우, 전자 장치(101)는 햅틱 액추에이터에 의한 진동 알림의 출력과 함께, 하우징(610)의 각도에 의해 구분되는 전자 장치(101)의 상태, 및/또는 상기 전자 장치(101)로 적용되는 가속도에 대응하는 벡터의 방향에 기반하여, 상기 소리 신호를 출력할지 여부를 결정할 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)는 지정된 각도 범위(예, 상기 지정된 각도 범위들 중 적어도 하나)에 기반하여, 전자 장치(101)의 자세가 기준 자세에 대응함을 식별하는 것에 기반하여, 상기 소리 신호를 출력할 수 있다.
도 6b를 참고하면, 하우징(610)의 각도(630)가 60 º 이고, 전자 장치(101)가 제1 서브 하우징(611)의 일 가장자리, 및 제2 서브 하우징(612)의 일 가장자리에 의해 세워진 예시적인 케이스가 도시된다. 도 6b의 예시적인 케이스 내에서, 햅틱 액추에이터가 제1 서브 하우징(611) 내에 배치되고, 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동 방향이 도 6b의 y 축, 및/또는 z 축을 따라 발생되는 경우, 상기 제1 서브 하우징(611)의 진동에 의해 상대적으로 작은 소리가 발생될 수 있다. 도 6b의 예시적인 케이스 내에서, 햅틱 액추에이터가 제1 서브 하우징(611) 내에 배치되고, 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동 방향이 도 6b의 x 축을 따라 발생되는 경우, 상기 제1 서브 하우징(611)의 진동에 의해 상대적으로 큰 소리(예, 제1 서브 하우징(611)의 일 가장자리, 및 지면 사이의 충돌)가 발생될 수 있다.
예를 들어, 제1 서브 하우징(611) 내에 배치된 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동이, 제1 서브 하우징(611)의 y 축, 및/또는 z 축을 따라 발생되는 경우, 전자 장치(101)는 중력 가속도(660)의 방향에 기반하여, 전자 장치(101)의 자세를 식별할 수 있다. 하나 이상의 실시예들에서, 기준 자세는, 전자 장치(101)가 제1 서브 하우징(611)의 일 가장자리, 및 제2 서브 하우징(612)의 일 가장자리에 의해 세워진 자세를 포함할 수 있다. 하나 이상의 실시예들에서, 상기 기준 자세에 대응하는 전자 장치(101)의 자세를 식별하는 것에 기반하여, 하나 이상의 실시예들에 따른, 전자 장치(101)는 스피커(230)를 제어하여, 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 상기 예시 내에서, 제1 서브 하우징(611)의 y 축, 및/또는 z 축을 따라 발생되는 진동이 상대적으로 작은 소리를 발생함에도 불구하고, 전자 장치(101)는 상기 소리 신호에 기반하여, 사용자에게 미리 결정된 이벤트가 발생되었음을 알릴 수 있다.
도 6c를 참고하면, 하우징(610)의 각도(635)가 60 º 이고, 전자 장치(101)의 제2 서브 하우징(612)이 지면을 향하여 배치된 예시적인 케이스가 도시된다. 도 6c의 예시적인 케이스 내에서, 햅틱 액추에이터가 제1 서브 하우징(611) 내에 배치되고, 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동 방향이 도 6c의 y 축에 대응하는 경우, 상기 제1 서브 하우징(611)의 진동에 의해 상대적으로 작은 소리가 발생될 수 있다. 도 6c의 예시적인 케이스 내에서, 제1 서브 하우징(611) 내에 배치된 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동 방향이 도 6c의 x 축, 및/또는 z 축에 대응하는 경우, 상기 제1 서브 하우징(611)의 진동에 의해 상대적으로 큰 소리(예, 제2 서브 하우징(612), 및 지면 사이의 충돌)가 발생될 수 있다.
예를 들어, 제1 서브 하우징(611) 내에 배치된 햅틱 액추에이터에 의한 제1 서브 하우징(611)의 진동이, 제1 서브 하우징(611)의 y 축을 따라 발생되는 경우, 전자 장치(101)는 중력 가속도(665)에 대응하는 벡터의 방향에 기반하여, 전자 장치(101)의 자세를 식별할 수 있다. 도 6c의 예시적인 케이스 내에서, 중력 가속도(665)에 대응하는 벡터의 방향은, 제2 서브 하우징(612)의 일 면의 방향과 평행할 수 있다. 하나 이상의 실시예들에서, 기준 자세는, 전자 장치(101)가 제2 서브 하우징(612)의 일 면에 의해 세워진 자세를 포함할 수 있다. 상기 예시 내에서, 상기 기준 자세에 대응하는 전자 장치(101)의 자세를 식별하는 것에 기반하여, 하나 이상의 실시예들에 따른, 전자 장치(101)는 스피커(230)를 제어하여, 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 하나 이상의 실시예들에서, 제1 서브 하우징(611)의 y 축을 따라 발생되는 진동이 상대적으로 작은 소리를 발생함에도 불구하고, 전자 장치(101)는 상기 소리 신호에 기반하여, 사용자에게 미리 결정된 이벤트가 발생되었음을 알릴 수 있다.
상술한 바와 같이, 접힘 가능한 하우징(610)을 포함하는 전자 장치(101)는, 전자 장치(101)로 적용되는 가속도(예, 중력 가속도들(660, 665))에 대응하는 벡터의 방향, 및/또는 하우징(610) 상의 그립과 함께, 하우징(610)의 각도를 식별할 수 있다. 상기 방향, 상기 그립, 및/또는 상기 각도에 기반하여, 전자 장치(101)는 미리 결정된 이벤트에 의해 제어될 하드웨어들(예, 햅틱 액추에이터, 또는 스피커(230))을 선택하거나 및/또는 식별할 수 있다. 예를 들어, 전자 장치(101)는, 전자 장치(101)의 자세가 도 6a 내지 도 6c를 참고하여 상술한 기준 자세인지를 결정하는 것에 기반하여, 스피커(230)를 활성화할 수 있다. 활성화된 스피커(230)를 이용하여 진동 알림을 표현하는 소리 신호를 재생하여, 전자 장치(101)는 햅틱 액추에이터에 의한 하우징(610)의 진동에 의해 발생되는, 작은 마찰 음의 크기를 보상할 수 있다.
도 7a 내지 도 7b를 참고하여, 슬라이드 가능한(slidable) 하우징을 포함하는 전자 장치(101)의 하나 이상의 실시예들에 기반하여, 전자 장치(101)가 상기 기준 자세에 대응하는 자세를 식별하는 동작의 일 예가 설명된다.
도 7a 내지 도 7b는, 하나 이상의 실시예들에 따른, 전자 장치가 하우징의 형태에 기반하여 진동 알림을 표현하는 소리 신호를 출력할지 여부를 식별하는 동작의 일 예를 도시한다. 도 7a 내지 도 7b의 전자 장치(101)는 도 3 내지 도 4의 전자 장치의 일 예일 수 있다. 예를 들어, 도 7a 내지 도 7b의 전자 장치(101), 디스플레이(210), 및 스피커(230)는, 도 3의 전자 장치(101), 디스플레이(210), 및 스피커(230)를 각각 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 변형 가능한 하우징(710)을 포함할 수 있다. 하우징(710)은, 제1 서브 하우징(711), 및 제2 서브 하우징(712)을 포함할 수 있다. 하우징(710)의 제1 서브 하우징(711)은, 제2 서브 하우징(712)과 슬라이드 가능하게 결합(slidably coupled to)될 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)는 x 축을 따라 제1 서브 하우징(711) 안으로 제2 서브 하우징(712)을 인입하거나(insert into), 또는 제1 서브 하우징(711)으로부터 제2 서브 하우징(712)을 인출하기 위한(extract from), 슬라이딩 액추에이터를 포함할 수 있다. 하나 이상의 실시예들에 따른, 전자 장치(101)의 디스플레이(210)는, 제1 서브 하우징(711), 및 제2 서브 하우징(712)을 가로질러 배치될 수 있다. 하나 이상의 실시예들에서, 전자 장치(101)는 y 축을 따라 제1 서브 하우징(711)을 제2 서브 하우징(712)에서 인출하거나 또는 제1 서브 하우징(711)을 제2 하우징(712) 안으로 인입하기 위한 슬라이딩 액추에이터를 포함할 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 제1 서브 하우징(711)에 대한 제2 서브 하우징(712)의 인입, 또는 인출에 기반하여, 상기 전자 장치(101)의 형태를 조절할 수 있다. 도 7a 내지 도 7b를 참고하면, 전자 장치(101)가 x 축 방향을(예, 전자 장치(101)의 너비 방향, 및 높이 방향 중 너비 방향) 따라 변형되는 하나 이상의 실시예들이 도시된다. 예를 들어, 제2 서브 하우징(712)은 도 7a 내지 도 7b의 상기 x 축 방향을 따라 제1 서브 하우징(711) 안으로 인입되거나, 또는 제1 서브 하우징(711)으로부터 인출될 수 있다. 도 7a를 참고하면, 제2 서브 하우징(712)이 제1 서브 하우징(711) 안으로 인입됨에 따라, 하우징(710)의 부피가 최소화된 상태가 도시된다. 도 7a에 도시된 전자 장치(101) 의 상태 내에서, 제1 서브 하우징(711)의 가장자리(711-1), 및 제2 서브 하우징(712)의 가장자리(712-1) 사이의 거리가 최소화될 수 있다. 가장자리들(711-1, 712-1) 사이의 거리가 최소화된 도 7a에 도시된 전자 장치(101)의 상태가, 말림 상태(roll-in state), 및/또는 슬라이드-인 상태(slide-in state)로 참조될 수 있다. 도 7b를 참고하면, 제2 서브 하우징(712)이 제1 서브 하우징(711)으로부터 인출됨에 따라, 하우징(710)의 부피가 최대화된 상태가 도시된다. 도 7b의 상태 내에서, 제1 서브 하우징(711)의 가장자리(711-1), 및 제2 서브 하우징(712)의 가장자리(712-1) 사이의 거리가 최대화될 수 있다. 가장자리들(711-1, 712-1) 사이의 거리가 최대화된 도 7b의 상태가, 펼침 상태(roll-out state), 및/또는 슬라이드-아웃 상태(slide-out state)로 참조될 수 있다. 가장자리들(711-1, 712-1) 사이의 거리가 슬라이드-인 상태 내 제1 거리 보다 크고, 및 슬라이드-아웃 상태 내 제2 거리 보다 작은 상태가, 서브-펼침 상태(sub-rolled state), 및/또는 중간 상태(intermediate state)로 참조될 수 있다.
도 7a 내지 도 7b를 참고하면, 외부로 노출된 디스플레이(210)의 일 면의 크기는, 제1 서브 하우징(711)에 대한 제2 서브 하우징(712)의 인입, 또는 인출에 의해 조절될 수 있다. 외부로 노출된 디스플레이(210)의 적어도 일부분이 표시 영역으로 참조될 수 있다. 예를 들어, 제1 서브 하우징(711)에 대한 제2 서브 하우징(712)의 인입에 의해, 디스플레이(210)의 적어도 일부분이 제1 서브 하우징(711) 안으로 인입될 수 있다. 예를 들어, 제1 서브 하우징(711)에 대한 제2 서브 하우징(712)의 인출에 의해, 디스플레이(210)의 적어도 일부분이 제1 서브 하우징(711)으로부터 인출될 수 있다. 도 7a의 슬라이드-인 상태 내에서, 표시 영역의 크기, 및/또는 면적이 최소화될 수 있다. 도 7b의 슬라이드-아웃 상태 내에서, 표시 영역의 크기, 및/또는 면적이 최대화될 수 있다.
제1 서브 하우징(711)이 제2 서브 하우징(712)과 슬라이드 가능하게 결합된 도 7a 내지 도 7b의 하나 이상의 실시예들에서, 하우징(710)에 의해 형성된 내부 공간(cavity)의 부피는, 전자 장치(101)의 형태에 종속될 수 있다. 예를 들어, 롤-인 상태 내에서, 제2 서브 하우징(712)이 제1 서브 하우징(711) 안으로 인입되기 때문에, 상기 내부 공간의 부피가 최소화될 수 있다. 예를 들어, 롤-아웃 상태 내에서, 제1 서브 하우징(711)으로부터 인출된 제2 서브 하우징(712)에 의하여, 상기 내부 공간의 부피가 최대화될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 진동 알림을 제공하기 위한 미리 결정된 이벤트의 발생에 응답하여, 햅틱 액추에이터(예, 도 2의 햅틱 액추에이터(220)), 및 스피커(230) 중에서, 상기 진동 알림에 기반하여 제어될 적어도 하나의 하드웨어를 선택하거나 및/또는 식별할 수 있다. 도 7a 내지 도 7b의 하나 이상의 실시예들에서, 전자 장치(101)가 상기 적어도 하나의 하드웨어를 선택하거나 및/또는 식별하는 것은, 제1 서브 하우징(711)에 대한 제2 서브 하우징(712)의 인입, 또는 인출에 의해 식별되는, 전자 장치(101)의 형태, 및/또는 내부 공간의 부피에 종속될 수 있다.
햅틱 액추에이터가 하우징(710)의 내부 공간에 배치된 하나 이상의 실시예들에서, 햅틱 액추에이터에 의해 발생된 상기 진동은, 상기 하우징(710)의 내부 공간에 배치된 다른 하드웨어, 및/또는 회로의 진동을 야기할 수 있다. 예를 들어, 상기 내부 공간의 부피가 줄어들수록, 상기 내부 공간에 배치된 하드웨어들, 및 회로의 밀도가 증가될 수 있다. 상기 밀도가 증가되는 것은, 상기 하드웨어들, 및 상기 회로의 진동을 촉진할 수 있다. 예를 들어, 상기 내부 공간의 부피가 커질수록, 햅틱 액추에이터에 기반하는 진동에 의해 발생되는, 마찰 음의 크기가 줄어들고, 따라서, 보다 덜 인지될 수 있다(becomes less noticeable). 마찰 음의 크기가 줄어듦에 따라, 사용자가 상기 마찰 음을 인식할 확률이 줄어들 수 있다. 예를 들어, 상기 내부 공간의 부피가 커질수록, 사용자가 상기 마찰 음을 인식할 확률이 줄어들 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는, 도 7b의 상태와 같은 롤-아웃 상태 내에서, 스피커(230)를 이용하여 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 상술한 바와 같이, 하우징(710)의 내부 공간의 부피가 극대화된 상기 롤-아웃 상태 내에서, 햅틱 액추에이터에 의해 발생된 마찰 음이 사용자에 의해 인식될 확률이 줄어들 수 있다. 햅틱 액추에이터에 의해 발생된 진동이 알려질 상기 줄어든 확률을 보상하기 위하여, 전자 장치(101)는 스피커(230)를 이용하여 상기 소리 신호를 출력할 수 있다. 전자 장치(101)가 스피커(230)를 이용하여 미리 결정된 이벤트에 대한 소리 신호를 출력하는 것은, 상기 롤-아웃 상태, 및 중간 상태와 관련될 수 있다. 예를 들어, 지정된 임계치를 초과하는 가장자리들(711-1, 712-1) 사이의 거리를 식별하는 것에 기반하여, 전자 장치(101)는 상기 소리 신호를 출력할 수 있다. 하나 이상의 실시예들에서, 지정된 임계치를 초과하는 가장자리들(711-1, 712-1) 사이의 거리를 식별하는 것에 기반하여 소리 신호를 출력하는 것은, 전자 장치(101)로 적용되는 가속도(예, 중력 가속도)에 대응하는 벡터의 방향과 독립적으로 수행될 수 있다.
하나 이상의 실시예들에 따른, 전자 장치(101)는 도 7a의 상태와 같은 롤-인 상태 내에서, 도 5a 내지 도 5b를 참고하여 상술한 바와 유사하게, 미리 결정된 이벤트에 응답하여 진동 알림을 출력할 하드웨어를, 햅틱 액추에이터, 또는 스피커(230) 중에서 선택하거나 및/또는 식별할 수 있다. 예를 들어, 지정된 임계치 미만인 가장자리들(711-1, 712-1) 사이의 거리를 식별하는 것에 기반하여, 전자 장치(101)는, 상기 전자 장치(101)의 자세가 기준 자세에 대응하는지 여부를 식별할 수 있다. 하나 이상의 실시예들에서, 전자 장치(101)는, 상기 기준 자세에 대응하는 상기 자세를 식별하는 것에 응답하여, 상기 미리 결정된 이벤트에 응답하여 스피커(230)를 통하여 진동 알림과 관련된 소리 신호를 출력할 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치(101)는, 전자 장치(101), 및 외부 객체(예, 도 5b의 신체 부위(520)) 사이의 접촉, 전자 장치(101)의 형태, 또는 전자 장치(101)의 자세 중 적어도 하나에 기반하여, 진동 알림을 표현하는 소리 신호를 출력할지 여부를 결정할 수 있다. 전자 장치(101)가 상기 소리 신호를 출력할지 여부를 결정하는 것은, 상술한 일 실시예에 제한되지 않는다. 예를 들어, 전자 장치(101)는, 상기 전자 장치(101)와 연결된 외부 전자 장치(예, 무선 이어버드, HMD(head mounted display), 및/또는 스마트 워치), 및/또는 상기 전자 장치(101)와 유선으로 연결된 이어폰을 식별하는 것에 기반하여, 상기 소리 신호를 출력할지 여부를 결정할 수 있다. 예를 들어, 이어폰, 및/또는 무선 이어버드가 전자 장치(101)와 연결된 경우, 전자 장치(101)는 햅틱 액추에이터에 기반하는 진동의 발생과 독립적으로, 진동 알림을 표현하는 소리 신호를, 상기 이어폰, 및/또는 상기 무선 이어버드로 송신할 수 있다.
도 8은, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 8의 전자 장치는 도 1 내지 도 4의 전자 장치, 도 5a 내지 도 5b, 도 6a 내지 도 6c, 및/또는 도 7a 내지 도 7b의 전자 장치(101)의 일 예일 수 있다. 예를 들어, 도 8의 동작들 중 적어도 하나는, 도 3의 전자 장치(101), 및/또는 프로세서(120)에 의해 수행될 수 있다.
도 8을 참고하면, 동작(810) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 하우징(예, 도 6a 내지 도 6c의 하우징(610), 및/또는 도 7a 내지 도 7b의 하우징(710))의 자세를 식별할 수 있다. 전자 장치는, 도 4의 센서 매니저(426), 및/또는 윈도우 매니저에의 실행에 기반하여, 하우징의 자세를 식별할 수 있다. 전자 장치가 자세를 식별하는 것은, 상기 전자 장치로 적용되는 가속도에 기반하여, 상기 전자 장치의 방향을 식별하는 동작을 포함할 수 있다. 전자 장치가 자세를 식별하는 것은, 도 6a 내지 도 6c를 참고하여 상술된, 하우징의 각도를 식별하는 동작을 포함할 수 있다. 전자 장치가 자세를 식별하는 것은, 도 7a 내지 도 7b를 참고하여 상술된, 하우징의 형태를 식별하는 동작을 포함할 수 있다.
도 8을 참고하면, 동작(820) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 식별된 자세가 기준 자세에 대응하는지 여부를 판단할 수 있다. 상기 기준 자세는, 전자 장치 내에 포함된 햅틱 액추에이터(예, 도 3의 햅틱 액추에이터(220))에 의해 발생되는 진동이 사용자에 의해 인식될 가능성이 낮은 자세를 포함할 수 있다. 상기 기준 자세는, 햅틱 액추에이터에 의한 하우징의 진동 방향에 종속될 수 있다. 하나 이상의 실시예들에서, 전자 장치는, 동작(810)에 기반하여 식별된 전자 장치의 방향이, 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하기 위한 기준 방향에 대응하는지 여부를 판단할 수 있다.
기준 자세와 상이한 자세를 식별하는 것에 응답하여(820-아니오), 동작(840) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 햅틱 액추에이터를 이용하여 하우징을 진동하여, 미리 결정된 이벤트에 대한 진동 알림을 출력할 수 있다. 예를 들어, 햅틱 액추에이터, 및 스피커(예, 도 2 내지 도 3의 스피커(230)) 중 햅틱 액추에이터를 이용하여, 전자 장치는 상기 미리 결정된 이벤트에 응답할 수 있다. 하나 이상의 실시예들에서, 기준 방향과 상이한 방향을 동작(810)에 기반하여 식별하는 경우, 전자 장치는 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고, 상기 햅틱 액추에이터를 이용하여 상기 하우징을 진동하여, 상기 진동 알림을 출력할 수 있다.
기준 자세에 대응하는 자세를 식별하는 것에 응답하여(820-예), 동작(830) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 스피커를 제어하여, 미리 결정된 이벤트에 대한 진동 알림을 표현하는 소리 신호를 출력할 수 있다. 예를 들어, 햅틱 액추에이터, 및 스피커 전부를 제어하여, 전자 장치는 상기 미리 결정된 이벤트에 응답할 수 있다. 예를 들어, 스피커를 제어하여, 전자 장치는 상기 미리 결정된 이벤트에 응답할 수 있다. 상기 소리 신호는, 미리 결정된 이벤트의 타입에 의해 설정된 볼륨에 기반하여 재생될 수 있다(예, 다른 볼륨들과 연관된 다른 지정된 이벤트들). 동작(830)에 기반하여 소리 신호를 출력하는 상태 내에서, 전자 장치는 상기 미리 결정된 이벤트의 완료에 응답하여, 상기 소리 신호의 출력을 중단할 수 있다. 동작(830)에 기반하여 소리 신호를 출력하는 상태 내에서, 전자 장치의 자세가 기준 자세와 상이한 다른 자세로 변경됨을 식별하는 것에 기반하여, 전자 장치는 상기 소리 신호의 출력을 중단할 수 있다. 예를 들어, 기준 방향에 대응하는 방향을 식별하는 경우, 전자 장치는 스피커를 통해, 미리 결정된 이벤트에 대한 진동 알림을 표현하는 소리 신호를 출력할 수 있다.
도 9는, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 9의 전자 장치는 도 1 내지 도 8의 전자 장치의 일 예일 수 있다. 예를 들어, 도 9의 동작들 중 적어도 하나는, 도 3의 전자 장치(101), 및/또는 프로세서(120)에 의해 수행될 수 있다. 도 9의 동작들 중 적어도 하나는 도 8의 동작들 중 적어도 하나와 관련될 수 있다.
도 9를 참고하면, 동작(910) 내에서, 하나 이상의 실시예들에 따른 전자 장치에 기반하는 진동 알림의 출력을 위한, 미리 결정된 이벤트가 발생될 수 있다. 상기 미리 결정된 이벤트는, 도 4의 어플리케이션(412), 및/또는 알림 매니저(428)에 의한 지정된 API의 호출에 기반하여 발생될 수 있다.
도 9를 참고하면, 동작(920) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 진동 알림과 관련된 소리 신호를 출력하기 위한 지정된 조건을 만족하는지 여부를 식별할 수 있다. 상기 지정된 조건은, 동작(910)의 미리 결정된 이벤트에 기반하여 전자 장치의 스피커(예, 도 2 내지 도 3의 스피커(230))를 제어하기 위한 지정된 상태를 포함할 수 있다. 상기 지정된 조건은, 전자 장치 상의 그립, 전자 장치의 상태, 형태, 및/또는 자세와 관련될 수 있다. 예를 들어, 상기 지정된 조건은, 햅틱 액추에이터에 기반하여 출력된 진동 알림이 사용자에 의해 인식될 가능성이 상대적으로 낮은, 전자 장치의 상태, 형태, 및/또는 자세와 관련될 수 있다.
상기 지정된 조건이 만족되지 않음을 식별하는 것에 응답하여(920-아니오), 동작(930) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 스피커, 및 햅틱 액추에이터 중에서, 햅틱 액추에이터를 이용하여 진동 알림을 출력할 수 있다. 상기 지정된 조건이 만족되지 않은 때에, 전자 장치는, 햅틱 액추에이터에 기반하여 출력된 진동 알림이 사용자에 의해 인식될 가능성이 상대적으로 높은 상태 내 일 수 있다. 전자 장치는 햅틱 액추에이터를 이용하여 상기 전자 장치의 하우징을 진동하여, 상기 진동 알림을 출력할 수 있다. 진동 알림의 세기, 반복 횟수, 및/또는 기간은, 미리 결정된 이벤트의 타입에 기반하여 결정될 수 있다.
상기 지정된 조건이 만족됨을 식별하는 것에 응답하여(920-예), 동작(940) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 미리 결정된 이벤트에 기반하여, 스피커의 볼륨을 조절할 수 있다. 스피커의 볼륨은, 미리 결정된 이벤트의 타입에 의해 조절될 수 있다. 예를 들어, 스피커의 볼륨은, 미디어 콘텐트를 재생하는데 이용되는 볼륨과 독립적인 볼륨으로 조절될 수 있다. 상기 미디어 콘텐트는 소리 신호의 출력과 동시에 재생될 수 있다.
도 9를 참고하면, 동작(950) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 미리 결정된 이벤트에 기반하는 소리 신호를 출력할 수 있다. 예를 들어, 전자 장치는 동작(940)에 기반하여 조절된 볼륨에 기반하여, 상기 소리 신호를 출력할 수 있다. 전자 장치가 동작(950)에 기반하여 소리 신호를 출력하는 것은, 햅틱 액추에이터에 기반하여 진동 알림을 출력하는 것과 실질적으로 동시에 수행될 수 있다.
하나 이상의 실시예들에서, 동작(920)의 조건은, 기준 정보(reference information)에 의해 지시될 수 있다. 전자 장치는 동작(910)의 지정된 이벤트(예, 진동 알림을 출력하기 위한 지정된 이벤트)에 기반하여, 전자 장치의 센서로부터, 전자 장치의 방향 또는 자세 중 적어도 하나를 나타내는 정보를 획득할 수 있다. 전자 장치는 상기 획득된 정보 및 상기 조건에 대응하는 상기 기준 정보에 기반하여, 상기 스피커를 제어할지 여부를 식별할 수 있다. 예를 들어, 전자 장치는 상기 획득된 정보 및 햅틱 액추에이터의 제어에 기반하는 마찰음의 크기와 관련된 상기 기준 정보에 기반하여, 상기 스피커를 제어할지 여부를 식별할 수 있다. 전자 장치는, 상기 스피커를 제어할지 여부를 식별하는 것에 기반하여, 상기 햅틱 액추에이터가 상기 진동 알림에 기반하여 제어되는 동안, 상기 마찰 음과 관련된 소리 신호를 출력하기 위하여 상기 스피커를 제어할 수 있다.
도 10은, 하나 이상의 실시예들에 따른, 전자 장치의 동작을 설명하기 위한 흐름도의 일 예를 도시한다. 도 10의 전자 장치는 도 1 내지 도 9의 전자 장치의 일 예일 수 있다. 예를 들어, 도 10의 동작들 중 적어도 하나는, 도 3의 전자 장치(101), 및/또는 프로세서(120)에 의해 수행될 수 있다. 도 10의 동작들 중 적어도 하나는 도 8 내지 도 9의 동작들 중 적어도 하나와 관련될 수 있다.
도 10을 참고하면, 동작(1010) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 스피커를 통하여, 제1 볼륨으로, 미디어 콘텐트 내에 포함된 제1 소리 신호를 출력할 수 있다. 예를 들어, 전자 장치는, 하나 이상의 미디어 콘텐트들의 재생을 위한 제1 어플리케이션에 기반하여, 상기 하나 이상의 미디어 콘텐트들을 재생할 수 있다. 미디어 콘텐트는, 비디오, 및/또는 오디오를 포함할 수 있다. 상기 제1 볼륨은, 제1 소리 신호의 진폭, 및/또는 크기의 최대 값, 및/또는 평균 값의 조절을 위해 이용될 수 있다.
도 10을 참고하면, 동작(1020) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 미리 결정된 이벤트가 발생되었는지 여부를 판단할 수 있다. 상기 미리 결정된 이벤트는, 진동 알림의 발생을 위한 정보와 함께 발생될 수 있다. 상기 미리 결정된 이벤트는, 상기 전자 장치에 의해 실행되고, 상기 제1 어플리케이션과 상이한 제2 어플리케이션에 기반하여 발생될 수 있다. 미리 결정된 이벤트가 발생되기 이전에(1020-아니오), 전자 장치는 동작(1010)에 기반하여, 제1 소리 신호를 출력할 수 있다.
미리 결정된 이벤트가 발생된 경우(1020-예), 동작(1030) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 전자 장치의 자세가 기준 자세에 대응하는지 여부를 판단할 수 있다. 상기 기준 자세는, 전자 장치 내 햅틱 액추에이터(예, 도 2 내지 도 3의 햅틱 액추에이터(220))에 의해 발생된 진동이 사용자에 의해 인식될 확률에 기반하여, 설정될 수 있다. 동작(1030)의 미리 결정된 이벤트는, 도 8의 동작들(830, 840), 도 9의 동작(910)의 미리 결정된 이벤트에 대응할 수 있다. 전자 장치의 자세는, 전자 장치 내에 포함된 센서(예, 도 3의 센서(310))에 기반하여 식별될 수 있다.
전자 장치가 폴딩 가능한 하우징(예, 도 6a 내지 도 6c의 하우징(610))을 포함하는 하나 이상의 실시예들에서, 전자 장치는, 상기 하우징이 접힌 각도에 기반하여, 전자 장치의 자세가 기준 자세에 대응하는 지 여부를 판단할 수 있다. 예를 들어, 상기 각도가 상기 기준 자세에 대한 지정된 각도 범위(예, 도 7a 내지 도 7b를 참고하여 상술된, 제2 지정된 각도 범위) 내에 포함되는지 여부에 기반하여, 전자 장치는, 상기 전자 장치의 자세가 기준 자세에 대응하는 지 여부를 판단할 수 있다.
전자 장치가 슬라이드 가능한 하우징(예, 도 7a 내지 도 7b의 하우징(710))을 포함하는 하나 이상의 실시예들에서, 전자 장치는, 상기 하우징의 제1 서브 하우징(예, 도 7a 내지 도 7b의 제1 서브 하우징(711))의 일 면(예, 도 7a 내지 도 7b의 가장자리(711-1)를 포함하는 일 면), 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는 제2 서브 하우징(예, 도 7a 내지 도 7b의 제2 서브 하우징(712))의 일 면(예, 도 7a 내지 도 7b의 가장자리(712-1)를 포함하는 일 면) 사이의 거리를 식별할 수 있다. 전자 장치는, 상기 식별된 거리가 상기 기준 자세에 대응하는 지정된 거리 범위 내에 포함되는지 여부에 기반하여, 전자 장치의 자세가 기준 자세에 대응하는지 여부를 판단할 수 있다. 상기 지정된 거리 범위는, 롤-아웃 상태 내에서의 상기 제1 하우징의 일 면, 및 상기 제2 하우징의 일 면 사이의 거리를 포함하는 거리 범위일 수 있다.
전자 장치의 자세가 기준 자세에 대응하지 않는 경우(1030-아니오), 동작(1040) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 스피커, 및 햅틱 액추에이터 중 햅틱 액추에이터를 제어하여, 진동 알림을 출력할 수 있다. 동작(1040)에 기반하여 진동 알림을 출력하는 동작은, 도 9의 동작(930)과 유사하게 수행될 수 있다.
전자 장치의 자세가 기준 자세에 대응하는 경우(1030-예), 동작(1050) 내에서, 하나 이상의 실시예들에 따른, 전자 장치는, 제2 볼륨에 기반하여, 진동 알림을 표현하는 제2 소리 신호를 출력할 수 있다. 상기 제2 볼륨은, 상기 미리 결정된 이벤트와 관련된 파라미터에 의해 식별될 수 있다. 하나 이상의 실시예들에서, 상기 제2 볼륨은, 동작(1010)의 제1 볼륨과 독립적으로 설정될 수 있다. 동작(1050)에 기반하여 제2 소리 신호를 출력하는 동안, 전자 장치는 동작(1010)에 기반하여, 제1 소리 신호를 출력하는 것을 적어도 일시적으로 중단할 수 있다. 동작(1050)에 기반하는 제2 소리 신호의 출력이 완료된 이후, 동작(1010)에 기반하는 제1 소리 신호의 출력이 재개될 수 있다. 하나 이상의 실시예들에서, 상기 소리 신호는 제2 볼륨으로 재생되고, 상기 제2 볼륨은 상기 제1 볼륨 보다 높다. 하나 이상의 실시예들에서, 제2 소리 신호가 제1 소리 신호와 동시인 때에, 제1 소리 신호가 출력되는 상기 제1 볼륨은, 제2 소리 신호가 제2 볼륨으로 출력되는 동안 일시적으로 줄어들 수 있다. 전자 장치 상의 그립이 탐지된 경우, 전자 장치의 자세가 기준 자세에 대응하는지 여부와 독립적으로, 전자 장치는 스피커를 이용하여 상기 제2 소리 신호를 출력하는 것을 삼가할 수 있다. 전자 장치가 동작(1050)에 기반하여 제2 소리 신호를 출력하는 동작은, 도 9의 동작들(940, 950)과 유사하게 수행될 수 있다.
상술한 바와 같이, 하나 이상의 실시예들에 따른, 전자 장치는, 햅틱 액추에이터에 의해 발생되는 진동이 인식될 확률에 기반하여 설정된 조건에 기반하여, 스피커를 활성화할 수 있다. 상기 조건은, 전자 장치에 접촉된 외부 객체, 전자 장치의 자세, 형태, 및/또는 상태와 관련될 수 있다. 상기 스피커가 상기 조건에 기반하여 활성화된 경우, 전자 장치는 햅틱 액추에이터에 의해 발생되는 진동을 표현하는 소리 신호를 출력할 수 있다. 상기 소리 신호에 기반하여, 상기 확률의 감소와 독립적으로, 전자 장치는 사용자에게, 상기 진동을 야기하는 미리 결정된 이벤트의 발생을 알릴 수 있다.
사용자가 전자 장치로부터 생성된 진동을 인식할 수 있는지 여부에 기반하여, 전자 장치가 진동을 생성하는 방안이 요구될 수 있다.
상술한 바와 같은, 하나 이상의 실시예들에 따른, 전자 장치(an electronic device)(예, 도 1의 전자 장치(101))는, 햅틱 액추에이터(예, 도 2의 햅틱 액추에이터(220)), 스피커(예, 도 2의 스피커(230)), 센서(예, 도 3의 센서(310)), 및 프로세서(예, 도 2의 프로세서(120))를 포함할 수 있다. 상기 프로세서는, 상기 센서를 이용하여 이용하여 상기 전자 장치의 방향을 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하기(representing) 위한 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 표현하는(represents) 소리 신호를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 기준 방향과 상이한 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고(refrain from), 상기 햅틱 액추에이터를 이용하여 상기 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 소리 신호의 출력과 함께, 상기 햅틱 액추에이터를 이용하여 상기 진동 알림을 출력하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미리 결정된 이벤트의 타입에 대응하는 볼륨에 기반하여, 상기 소리 신호를 출력하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 센서를 이용하여 식별된 상기 방향이, 상기 전자 장치의 하우징이 상기 햅틱 액추에이터에 의해 진동하는 방향과 관련된 상기 기준 방향에 대응하는지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 힌지 어셈블리(예, 도 6a 내지 도 6c의 힌지 어셈블리(613)), 상기 힌지 어셈블리의 제1 가장자리에 연결된 제1 서브 하우징(예, 도 6a 내지 도 6c의 제1 서브 하우징(611)), 및 상기 제1 가장자리의 반대인(opposite to) 상기 힌지 어셈블리의 제2 가장자리에 연결된 제2 서브 하우징(예, 도 6a 내지 도 6c의 제2 서브 하우징(612))을 포함하는 하우징을 포함할 수 있다. 상기 프로세서는, 상기 센서를 이용하여 식별된 상기 제1 서브 하우징, 상기 힌지 어셈블리, 및 상기 제2 서브 하우징 사이의 각도(예, 도 6b 내지 도 6c의 각도들(630, 635))가 지정된 범위 내에 포함됨을 식별하는 것에 기반하여, 상기 각도에 의해 나타나는 상기 하우징의 자세가 기준 자세에 대응함을 식별하도록, 구성될 수 있다.
예를 들어, 전자 장치는 제1 서브 하우징(예, 도 7a 내지 도 7b의 제1 서브 하우징(711)), 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는(slidably coupled to) 제2 서브 하우징(예, 도 7a 내지 도 7b의 제2 서브 하우징(712))을 포함하는 하우징을 포함할 수 있다. 상기 프로세서는, 상기 센서를 이용하여 식별된 상기 제1 서브 하우징의 일 면, 및 상기 제1 서브 하우징의 상기 일 면으로부터 반대인 2 서브 하우징의 일 면 사이의 거리가 지정된 거리를 초과함을 식별하는 것에 기반하여, 상기 거리에 의해 나타나는 상기 하우징의 자세가 기준 자세에 대응함을 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 센서에 기반하여 상기 전자 장치의 하우징 상의 그립을 탐지한 상태 내에서, 상기 방향이 상기 기준 방향에 대응하는지 여부와 독립적으로, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 기준 방향에 대응하는 상기 방향에 기반하여, 상기 햅틱 액추에이터를 통해 상기 미리 결정된 이벤트에 대한 진동 알림을 제공하는 것을 삼가하도록, 구성될 수 있다.
상술한 바와 같은, 하나 이상의 실시예들에 따른, 전자 장치의 방법은, 상기 전자 장치의 스피커를 통하여, 제1 볼륨에 기반하여, 미디어 콘텐트 내에 포함된 제1 소리 신호를 출력하는 동작(예, 도 10의 동작(1010))을 포함할 수 있다. 상기 방법은, 상기 제1 소리 신호를 출력하는 동안, 미리 결정된 이벤트의 발생을 식별하는 것에 응답하여, 상기 전자 장치의 하우징의 자세를 식별하는 동작을 포함할 수 있다. 상기 방법은, 기준 자세에 대응하는 상기 자세를 식별하는 것에 기반하여, 상기 스피커를 통하여, 상기 제1 볼륨과 상이한 제2 볼륨에 기반하여, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 제2 소리 신호를 출력하는 동작(예, 도 10의 동작(1050))을 포함할 수 있다. 상기 방법은, 상기 기준 자세와 상이한 상기 자세를 식별하는 것에 기반하여, 상기 제1 볼륨에 기반하여 상기 제1 소리 신호를 출력하는 상태 내에서, 상기 전자 장치 내 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하는 동작(예, 도 10의 동작(1040))을 포함할 수 있다.
예를 들어, 상기 제2 소리 신호를 출력하는 동작은, 상기 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 소리 신호를 출력하는 동작은, 상기 전자 장치 내 센서로부터 식별되고, 상기 자세를 나타내는 정보에 기반하여, 상기 전자 장치의 하우징이 접힌(folded) 각도를 식별하는 동작을 포함할 수 있다. 상기 제2 소리 신호를 출력하는 동작은, 상기 식별된 각도가, 상기 기준 자세에 대한 지정된 각도 범위 내에 포함되는지 여부를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 소리 신호를 출력하는 동작은, 상기 전자 장치 내 센서로부터 식별되고, 상기 전자 장치의 하우징의 제1 서브 하우징의 일 면, 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는 제2 서브 하우징의 일 면 사이의 거리를 식별하는 동작을 포함할 수 있다. 상기 제2 소리 신호를 출력하는 동작은, 상기 식별된 거리가, 상기 기준 자세에 대한 지정된 거리 범위 내에 포함되는지 여부를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 진동 알림을 출력하는 동작은, 상기 스피커를 이용하여 상기 제2 소리 신호를 출력하는 것을 삼가하는 동작을 포함할 수 있다.
예를 들어, 상기 제2 소리 신호를 출력하는 동작은, 상기 미리 결정된 이벤트의 타입에 의해 나타나는 상기 제2 볼륨에 기반하여, 상기 제2 소리 신호를 출력하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 전자 장치의 그립 센서에 기반하여 상기 전자 장치의 하우징 상의 그립을 탐지하는 것에 기반하여, 상기 기준 자세에 대응하는 상기 자세를 식별하는 것과 독립적으로, 상기 제2 소리 신호를 출력하는 것을 삼가하는 동작을 포함할 수 있다.
상술한 바와 같은, 하나 이상의 실시예들에 따른, 전자 장치의 방법은, 상기 전자 장치 내 센서를 이용하여 상기 전자 장치의 방향을 식별하는 동작(예, 도 8의 동작(810))을 포함할 수 있다. 상기 방법은, 상기 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하기 위한 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 전자 장치 내 스피커를 통해, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 표현하는 소리 신호를 출력하는 동작(예, 도 8의 동작(830))을 포함할 수 있다. 상기 방법은, 상기 기준 방향과 상이한 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고, 상기 전자 장치 내 햅틱 액추에이터를 이용하여 상기 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하는 동작(예, 도 8의 동작(840))을 포함할 수 있다.
예를 들어, 상기 소리 신호를 출력하는 동작은, 상기 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 소리 신호의 출력과 함께, 상기 햅틱 액추에이터를 이용하여 상기 진동 알림을 출력하는 동작을 포함할 수 있다.
예를 들어, 상기 소리 신호를 출력하는 동작은, 상기 미리 결정된 이벤트의 타입에 대응하는 볼륨에 기반하여, 상기 소리 신호를 출력하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 센서를 이용하여 식별된 상기 방향이, 상기 전자 장치의 하우징이 상기 햅틱 액추에이터에 의해 진동하는 방향과 관련된 상기 기준 방향에 대응하는지 여부를 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 식별하는 동작은, 상기 센서를 이용하여 식별된, 상기 전자 장치의 하우징의 힌지 어셈블리, 상기 힌지 어셈블리의 제1 가장자리에 연결된 제1 서브 하우징, 및 상기 제1 가장자리의 반대인 상기 힌지 어셈블리의 제2 가장자리에 연결된 제2 서브 하우징 사이의 각도가, 지정된 범위 내에 포함됨을 식별하는 것에 기반하여, 상기 각도에 의해 나타나는 상기 하우징의 자세가 상기 기준 자세에 대응함을 식별하는 동작을 포함할 수 있다.
예를 들어, 상기 방법은, 상기 센서에 기반하여 상기 하우징 상의 그립을 탐지한 상태 내에서, 상기 방향이 상기 기준 방향에 대응하는지 여부와 독립적으로, 상기 소리 신호를 출력하는 것을 삼가하는 동작을 포함할 수 있다.
상술한 바와 같은, 하나 이상의 실시예들에 따른, 전자 장치(electronic device)(예, 도 2 내지 도 3의 전자 장치(101))는, 하우징(예, 도 6a 내지 도 6c의 하우징(610), 및/또는 도 7a 내지 도 7b의 하우징(710)), 햅틱 액추에이터(예, 도 2의 햅틱 액추에이터(220)), 스피커(예, 도 2의 스피커(230)), 센서(예, 도 3의 센서(310)), 및 프로세서(예, 도 2의 프로세서(120))를 포함할 수 있다. 상기 프로세서는, 상기 스피커를 통하여, 제1 볼륨에 기반하여, 미디어 콘텐트 내에 포함된 제1 소리 신호(acoustic signal)를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 제1 소리 신호를 출력하는 동안, 미리 결정된 이벤트의 발생을 식별하는 것에 응답하여, 상기 센서를 이용하여 하우징의 자세를 식별하도록, 구성될 수 있다. 상기 프로세서는, 기준 자세에 대응하는 상기 자세를 식별하는 것에 기반하여, 상기 스피커를 통하여, 상기 제1 볼륨과 상이한 제2 볼륨에 기반하여, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 제2 소리 신호를 출력하도록, 구성될 수 있다. 상기 프로세서는, 상기 기준 자세와 상이한 상기 자세를 식별하는 것에 기반하여, 상기 제1 볼륨에 기반하여 상기 제1 소리 신호를 출력하는 상태 내에서, 상기 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 제2 소리 신호를 출력하는 다른 상태 내에서, 상기 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 센서로부터 식별되고, 상기 자세를 나타내는 정보에 기반하여, 상기 하우징이 접힌 각도를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 각도가, 상기 기준 자세에 대한 지정된 각도 범위 내에 포함되는지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 하우징은, 제1 서브 하우징(예, 도 7a 내지 도 7b의 제1 서브 하우징(711)), 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는 제2 서브 하우징(예, 도 7a 내지 도 7b의 제2 서브 하우징(712))을 포함할 수 있다. 상기 프로세서는, 상기 센서를 이용하여, 상기 제1 서브 하우징의 일 면, 및 상기 제1 서브 하우징의 상기 일 면과 반대인, 상기 제2 서브 하우징의 일 면 사이의 거리를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 식별된 거리가, 상기 기준 자세에 대한 지정된 거리 범위 내에 포함되는지 여부를 식별하도록, 구성될 수 있다.
예를 들어, 상기 프로세서는, 상기 미리 결정된 이벤트의 타입에 의해 나타나는 상기 제2 볼륨에 기반하여, 상기 제2 소리 신호를 출력하도록, 구성될 수 있다.
예를 들어, 상기 전자 장치는, 상기 하우징 상의 그립을 탐지하기 위한 그립 센서(예, 도 3의 그립 센서(314))를 더 포함할 수 있다. 상기 프로세서는, 상기 그립 센서에 기반하여 상기 하우징 상의 그립을 탐지하는 것에 기반하여, 상기 기준 자세에 대응하는 상기 자세를 식별하는 것과 독립적으로, 상기 제2 소리 신호를 출력하는 것을 삼가하도록, 구성될 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(electronic device)(예, 도 2 내지 도 3의 전자 장치(101))는, 하우징(예, 도 6a 내지 도 6c의 하우징(610), 및/또는 도 7a 내지 도 7b의 하우징(710)), 햅틱 액추에이터(예, 도 2의 햅틱 액추에이터(220)), 스피커(예, 도 2의 스피커(230)), 센서(예, 도 3의 센서(310)), 및 프로세서(예, 도 2의 프로세서(120))를 포함할 수 있다. 상기 프로세서는, 진동 알림을 출력하기 위한 지정된 이벤트에 기반하여, 상기 전자 장치의 방향 또는 자세 중 적어도 하나를 나타내는 정보를, 상기 센서로부터 획득하도록, 구성될 수 있다. 상기 프로세서는, 상기 획득된 정보 및 상기 햅틱 액추에이터의 제어에 기반하는 마찰 음의 크기와 관련된 기준 정보(reference information)에 기반하여, 상기 스피커를 제어할지 여부를 식별하도록, 구성될 수 있다. 상기 프로세서는, 상기 스피커를 제어할지 여부를 식별하는 것에 기반하여, 상기 햅틱 액추에이터가 상기 진동 알림에 기반하여 제어되는 동안, 상기 마찰 음과 관련된 소리 신호를 출력하기 위하여 상기 스피커를 제어하도록, 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 어느(certain) 실시예들이 위와 같이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 전자 장치(electronic device)(101)에 있어서,
    하우징;
    햅틱 액추에이터(220);
    스피커(230);
    센서(310); 및
    프로세서(120)를 포함하고;
    상기 프로세서는,
    상기 센서를 이용하여 상기 전자 장치의 방향을 식별하고;
    상기 스피커를 이용하여 미리 결정된 이벤트에 대한 진동 알림을 표현하는(representing) 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 표현하는(represents) 소리 신호를 출력하고; 및
    상기 기준 방향과 대응하지 않는 상기 방향을 식별하는 것에 기반하여, 상기 스피커를 통해 상기 소리 신호를 출력하는 것을 삼가하고(refrain from), 상기 전자 장치의 상기 하우징을 진동하여, 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 출력하기 위하여 상기 햅틱 액추에이터를 제어하도록, 구성된,
    전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 기준 방향에 대응하는 상기 방향을 식별하는 것에 기반하여, 상기 소리 신호가 출력되는 동안, 상기 햅틱 액추에이터를 이용하여 상기 진동 알림을 출력하기 위하여 상기 햅틱 액추에이터를 제어하도록, 더 구성된,
    전자 장치.
  3. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 지정된 이벤트의 타입에 대응하는 볼륨으로, 상기 소리 신호를 상기 스피커를 통해 출력하도록, 더 구성된,
    전자 장치.
  4. 전술한 항들 중 어느 한 항에 있어서, 상기 기준 방향은,
    상기 전자 장치의 하우징이 상기 햅틱 액추에이터에 의해 진동하는 방향과 관련된,
    전자 장치.
  5. 전술한 항들 중 어느 한 항에 있어서,
    힌지 어셈블리(613)를 더 포함하고;
    상기 하우징은, 상기 힌지 어셈블리의 제1 가장자리에 연결된 제1 서브 하우징(611) 및 상기 제1 가장자리의 반대인(opposite to) 상기 힌지 어셈블리의 제2 가장자리에 연결된 제2 서브 하우징(612)을 포함하고, 및
    상기 프로세서는,
    상기 센서를 이용하여 상기 제1 서브 하우징, 상기 힌지 어셈블리, 및 상기 제2 서브 하우징 사이의 각도를 식별하고;
    지정된 범위 내에 포함된 제1 서브 하우징, 상기 힌지 어셈블리, 및 상기 제2 서브 하우징 사이의 상기 각도에 기반하여, 기준 자세에 대응하는 상기 각도에 의해 나타나는 상기 하우징의 자세를 식별하도록, 더 구성된,
    전자 장치.
  6. 전술한 항들 중 어느 한 항에 있어서,
    상기 하우징은 제1 서브 하우징(711), 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는(slidably coupled to) 제2 서브 하우징(712)을 포함하고, 및
    상기 프로세서는,
    상기 제1 서브 하우징의 일 면 및 상기 제1 서브 하우징의 상기 일 면과 반대인 상기 제2 서브 하우징의 일 면 사이의 거리를 식별하고; 및
    임계치 이하인 상기 거리에 기반하여, 상기 거리에 의해 나타나는 상기 하우징의 자세가 기준 자세에 대응함을 식별하도록, 더 구성된,
    전자 장치.
  7. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 센서에 의하여 탐지된 상기 전자 장치의 하우징 상의 그립에 기반하여, 상기 방향이 상기 기준 방향에 대응하는지 여부와 무관하게(regardless), 상기 스피커를 통해 상기 소리 신호를 출력하도록, 더 구성된,
    전자 장치.
  8. 전술한 항들 중 어느 한 항에 있어서, 상기 프로세서는,
    상기 기준 방향에 대응하는 상기 방향에 기반하여, 상기 햅틱 액추에이터를 통해 상기 미리 결정된 이벤트에 대한 상기 진동 알림을 제공하는 것을 삼가하도록, 더 구성된,
    전자 장치.
  9. 전자 장치의 방법에 있어서,
    상기 전자 장치의 스피커를 통하여, 제1 볼륨으로, 미디어 콘텐트 내에 포함된 제1 소리 신호를 출력하는 동작(1010);
    상기 제1 소리 신호를 출력하는 동안, 미리 결정된 이벤트의 발생에 기반하여, 상기 전자 장치의 센서를 이용하여 상기 전자 장치의 하우징의 자세를 식별하는 동작;
    기준 자세에 대응하는 상기 자세에 기반하여, 상기 스피커를 통하여, 상기 제1 볼륨과 상이한 제2 볼륨으로, 상기 미리 결정된 이벤트에 대한 진동 알림을 표현하는 제2 소리 신호를 출력하는 동작(1050); 및
    상기 기준 자세에 대응하지 않는 상기 자세를 식별하는 것에 기반하여, 상기 제1 볼륨에 기반하여 상기 제1 소리 신호를 출력하는 동안, 상기 전자 장치의 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하는 동작(1040)을 포함하는,
    방법.
  10. 제9항에 있어서, 상기 제2 소리 신호를 출력하는 동작은,
    상기 햅틱 액추에이터를 제어하여, 상기 진동 알림을 출력하는 동작을 포함하는,
    방법.
  11. 전술한 항들 중 어느 한 항에 있어서, 상기 제2 소리 신호를 출력하는 동작은,
    상기 전자 장치 내 센서를 이용하여 식별된 상기 자세를 나타내는 정보에 기반하여, 상기 전자 장치의 상기 하우징이 접힌(folded) 각도를 식별하는 동작;
    상기 각도가, 상기 기준 자세에 대한 지정된 각도 범위 내에 포함되는지 여부를 식별하는 동작을 포함하는,
    방법.
  12. 전술한 항들 중 어느 한 항에 있어서, 상기 제2 소리 신호를 출력하는 동작은,
    상기 전자 장치 내 센서를 이용하여 식별되고, 상기 전자 장치의 상기 하우징의 제1 서브 하우징의 일 면, 및 상기 제1 서브 하우징에 대해 슬라이딩 가능하게 결합되는 제2 서브 하우징의 일 면 사이의 거리를 식별하는 동작;
    상기 거리가, 상기 기준 자세에 대한 지정된 거리 범위 내에 포함되는지 여부를 식별하는 동작을 포함하는,
    방법.
  13. 전술한 항들 중 어느 한 항에 있어서, 상기 진동 알림을 출력하는 동작은,
    상기 스피커를 통하여 상기 제2 소리 신호를 출력하는 것을 삼가하는 동작을 포함하는,
    방법.
  14. 전술한 항들 중 어느 한 항에 있어서, 상기 제2 볼륨은 상기 지정된 이벤트의 타입에 대응하는,
    방법.
  15. 전술한 항들 중 어느 한 항에 있어서,
    상기 전자 장치의 그립 센서를 이용하여 탐지된 상기 전자 장치의 상기 하우징 상의 그립에 기반하여, 상기 기준 자세에 대응하는 상기 자세를 식별하는 것과 상관없이, 상기 제2 소리 신호를 출력하는 것을 삼가하는 동작을 더 포함하는,
    방법.
PCT/KR2023/005513 2022-07-15 2023-04-21 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법 WO2024014669A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/141,152 US20240021056A1 (en) 2022-07-15 2023-04-28 Electronic device and method for outputting haptic feedback related to haptic actuator by using speaker

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0087839 2022-07-15
KR20220087839 2022-07-15
KR1020220104234A KR20240010373A (ko) 2022-07-15 2022-08-19 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법
KR10-2022-0104234 2022-08-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/141,152 Continuation US20240021056A1 (en) 2022-07-15 2023-04-28 Electronic device and method for outputting haptic feedback related to haptic actuator by using speaker

Publications (1)

Publication Number Publication Date
WO2024014669A1 true WO2024014669A1 (ko) 2024-01-18

Family

ID=89536847

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005513 WO2024014669A1 (ko) 2022-07-15 2023-04-21 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법

Country Status (1)

Country Link
WO (1) WO2024014669A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100027501A (ko) * 2008-09-02 2010-03-11 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
US20100117975A1 (en) * 2008-11-10 2010-05-13 Lg Electronics Inc. Mobile terminal using flexible display and method of controlling the mobile terminal
KR20120085930A (ko) * 2009-12-23 2012-08-01 모토로라 모빌리티, 인크. 무음 모드 및 무음 모드에 대한 예외에 대하여 구성가능한 방법 및 통신 장치
KR20170061473A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 알림을 제공하기 위한 방법 및 그 전자 장치
KR20210022302A (ko) * 2019-08-20 2021-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 상태에 기반하여 동작 모드 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100027501A (ko) * 2008-09-02 2010-03-11 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
US20100117975A1 (en) * 2008-11-10 2010-05-13 Lg Electronics Inc. Mobile terminal using flexible display and method of controlling the mobile terminal
KR20120085930A (ko) * 2009-12-23 2012-08-01 모토로라 모빌리티, 인크. 무음 모드 및 무음 모드에 대한 예외에 대하여 구성가능한 방법 및 통신 장치
KR20170061473A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 알림을 제공하기 위한 방법 및 그 전자 장치
KR20210022302A (ko) * 2019-08-20 2021-03-03 삼성전자주식회사 전자 장치 및 전자 장치의 상태에 기반하여 동작 모드 제어 방법

Similar Documents

Publication Publication Date Title
WO2022060041A1 (ko) 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2022014988A1 (ko) 전자 장치 및 전력 제어 방법
WO2022019636A1 (ko) 가상 사용자 인터랙션을 수행하기 위한 방법 및 그 장치
WO2022030804A1 (ko) 화면 회전을 제어하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2021261949A1 (ko) 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치
WO2023022567A1 (ko) 폴더블 전자 장치 및 디지털 홀 센서를 이용한 폴더블 전자 장치의 제어 방법
WO2022139302A1 (ko) 안테나 구조 및 이를 포함하는 전자 장치
WO2024014669A1 (ko) 스피커를 이용하여 햅틱 액추에이터와 관련된 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2022098169A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2022031048A1 (ko) 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법
WO2022025444A1 (ko) 화면을 표시하는 방법 및 그 장치
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2022065807A1 (ko) 카메라 모듈의 접점 구조 및 이를 포함하는 전자 장치
WO2023113162A1 (ko) 롤러블 디스플레이의 표시 영역의 변경에 따라 이미지의 표현을 적응적으로 변경하기 위한 전자 장치
WO2022119118A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 화면 제어 방법
WO2023132473A1 (ko) 컨텐츠에 기초한 애플리케이션 실행 방법 및 장치
WO2024090959A1 (ko) 전자 장치 및 전자 장치에서 멀티 윈도우 기반의 알림 정보 표시 방법
WO2024029748A1 (ko) 플렉서블 디스플레이의 형태에 기반하여, 복수의 어플리케이션들에 의한 화면들을 표시하기 위한 전자 장치, 방법 및 컴퓨터 판독 가능 저장 매체
WO2022030800A1 (ko) 사용자 입력을 검출하기 위한 전자 장치 및 그의 동작 방법
WO2022250349A1 (ko) 차폐 부재를 포함하는 전자 장치
WO2022186477A1 (ko) 콘텐츠 재생 방법 및 이를 지원하는 전자 장치
WO2022119147A1 (ko) 멀티 터치에 기반한 슬라이드 구동 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839763

Country of ref document: EP

Kind code of ref document: A1