WO2023172006A1 - 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치 - Google Patents

두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치 Download PDF

Info

Publication number
WO2023172006A1
WO2023172006A1 PCT/KR2023/003041 KR2023003041W WO2023172006A1 WO 2023172006 A1 WO2023172006 A1 WO 2023172006A1 KR 2023003041 W KR2023003041 W KR 2023003041W WO 2023172006 A1 WO2023172006 A1 WO 2023172006A1
Authority
WO
WIPO (PCT)
Prior art keywords
input unit
input
shear stress
contact
sensor
Prior art date
Application number
PCT/KR2023/003041
Other languages
English (en)
French (fr)
Inventor
슬라이우사렌코코스티안틴
자쿠타일로데니스
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023172006A1 publication Critical patent/WO2023172006A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G06F3/04142—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position the force sensing means being located peripherally, e.g. disposed at the corners or at the side of a touch sensing plate
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/005—Measuring force or stress, in general by electrical means and not provided for in G01L1/06 - G01L1/22
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Definitions

  • the present disclosure relates to a method of controlling an electronic device by identifying a shear stress pattern in a region where two input units come into contact, and to the electronic device.
  • Gesture recognition technology is a technology in which a computer autonomously analyzes and recognizes human behavior, and may include touch gesture technology and spatial gesture technology.
  • touch gesture technology is a technology that allows selecting items using an input device such as a touch screen, and its use is increasing with the spread of smart phones.
  • spatial gesture technology is a technology that uses an input device such as a camera to analyze how the motion of a tracking object changes over time and interprets the change in an abstract meaning. A key element of this gesture recognition technology may be to recognize the user's intent more quickly and accurately.
  • touch screens serve as the primary input mechanism for a wide range of interactive devices such as smartphones, tablet PCs, and entertainment systems.
  • touch signals can be input using the user's fingers, such as smartphones or tablet PCs, or using a stylus pen, a type of digitizer pen that can write or draw.
  • a touch signal can be input.
  • Input using a stylus pen allows for more detailed input than input using a finger, and can support functions such as detailed drawing and writing.
  • information input in AR, VR, or MR systems is based on voice recognition technology, technology using separate auxiliary devices, and gesture recognition technology through images.
  • voice recognition technology When voice recognition technology is used as an input method, it may be vulnerable to noise from the external environment and may infringe on the user's privacy.
  • a separate auxiliary device When using a separate auxiliary device as an input means, having to provide a separate device may be inconvenient, and delays may occur in the process of exchanging information between devices.
  • gesture recognition through video as an input method there is a disadvantage that the recognition rate for complex gestures may be low and only relatively simple control signals can be applied.
  • an effective input means that can be conveniently used in AR, VR, or MR systems, has enhanced security, is robust, and has a quick response is required.
  • One embodiment of the present disclosure is an electronic device that can obtain various control signal inputs by identifying a control signal corresponding to the input based on a shear stress pattern in an area where two input units contact each other. and methods may be provided.
  • a control signal input is obtained without additional auxiliary means by identifying a shear stress pattern in the contact area based on an image of the area where two input units contact each other obtained through a camera.
  • a method of obtaining a control signal by identifying a shear stress pattern in an area where two input units are in contact is based on the interaction between the first input unit and the second input unit through a sensor. Obtaining an input, identifying a shear stress pattern in a region where a first input unit and the second input unit contact, and identifying a control signal corresponding to the input based on the identified shear stress pattern. You can.
  • the senor may include at least one of a camera, an infrared camera, a depth sensor, lidar, or UWB radar.
  • the senor may further include a stress sensor.
  • the first input unit may include a display.
  • the stress sensors may be placed along the edge of the display, across the front of the display, or placed in a grid pattern over a portion of the display.
  • the first input unit may include an elastic surface that is elastic and flexible.
  • the elastic surface may include an area where the first input and the second input are in contact.
  • the shear stress pattern may be identified based on the degree of deformation of the elastic surface in the area where the first input unit and the second input unit contact.
  • the degree of deformation of the elastic surface may include at least one of the degree of deformation of the shape of the elastic surface and the degree of deformation of the color.
  • the shear stress pattern may be identified based on at least one of a location where the first input unit and the second input unit contact, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force.
  • the second input unit may include at least one of the user's finger or a stylus pen.
  • the second input unit may include an elastic surface that is elastic and flexible.
  • the elastic surface may include a first input and an area where the second input touches.
  • An electronic device that obtains a control signal by identifying a shear stress pattern in an area where two input units are in contact, receives input according to the interaction between the first input unit and the second input unit. It may include an acquisition sensor, a storage unit that stores a program including at least one instruction, and at least one processor that executes at least one instruction stored in the storage unit. The processor controls the sensor by executing at least one instruction to obtain an input based on the interaction between the first input unit and the second input unit, identify a shear stress pattern in the area where the first input unit and the second input unit are in contact, and , the control signal corresponding to the input can be identified based on the identified shear stress pattern.
  • the senor may include at least one of a camera, an infrared camera, a depth sensor, lidar, or UWB radar.
  • the senor may further include a stress sensor.
  • the first input unit may include a display.
  • the stress sensors may be placed along the edge of the display, across the front of the display, or placed in a grid pattern over a portion of the display.
  • the first input unit may include an elastic surface that is elastic and flexible.
  • the elastic surface may include an area where the first input and the second input are in contact.
  • the processor may identify a shear stress pattern based on the degree of deformation of the elastic surface in the area where the first input unit and the second input unit contact by executing at least one command stored in the storage unit.
  • the degree of deformation of the elastic surface may include at least one of a degree of deformation of the shape of the elastic surface and a degree of deformation of the color of the elastic surface.
  • the processor executes at least one instruction stored in the storage unit to determine at least one of the location where the first input unit and the second input unit are in contact, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force. Based on this, shear stress patterns can be identified.
  • the second input unit may include at least one of the user's finger or a stylus pen.
  • a computer-readable recording medium disclosed as a technical means for achieving the above-described technical problem may store a computer program for executing at least one of the embodiments of the disclosed method on a computer.
  • Figure 1 is a flowchart of a method for obtaining a control signal by identifying a shear stress pattern in a region where two input units contact according to an embodiment of the present disclosure.
  • Figure 2 is a diagram illustrating a shear stress pattern according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram illustrating an operation of identifying a shear stress pattern using a camera according to an embodiment of the present disclosure.
  • Figure 4 is a diagram showing shear stress according to an embodiment of the present disclosure.
  • Figure 5 is a diagram showing shear stress and strain stress according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating an operation of identifying a shear stress pattern using a stress sensor according to an embodiment of the present disclosure.
  • Figure 7 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating a stress sensor according to an embodiment of the present disclosure.
  • the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b and c”, or variations thereof.
  • the expression “configured to” used in this specification may mean, for example, “suitable for,” “having the capacity to,” or “having the capacity to.” It can be used interchangeably with “, “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured (or set to)” may not necessarily mean “specifically designed to” in hardware.
  • the expression “system configured to” may mean that the system is “capable of” in conjunction with other devices or components.
  • the phrase “processor configured (or set) to perform A, B, and C” refers to a processor dedicated to performing the operations (e.g., an embedded processor), or by executing one or more software programs stored in memory. It may refer to a general-purpose processor (e.g., CPU or application processor) that can perform the corresponding operations.
  • the processor may consist of one or multiple processors.
  • one or more processors may be a general-purpose processor such as a CPU, AP, or DSP (Digital Signal Processor), a graphics-specific processor such as a GPU or VPU (Vision Processing Unit), or an artificial intelligence-specific processor such as an NPU.
  • One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory.
  • the artificial intelligence dedicated processors may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • Predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • being created through learning means that the basic artificial intelligence model is learned using a large number of learning data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform the desired characteristics (or purpose). It means burden.
  • This learning may be performed on the device itself that performs the artificial intelligence according to the present disclosure, or may be performed through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • An artificial intelligence model may be composed of multiple neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and neural network calculation is performed through calculation between the calculation result of the previous layer and the plurality of weights.
  • Multiple weights of multiple neural network layers can be optimized by the learning results of the artificial intelligence model. For example, a plurality of weights may be updated so that loss or cost values obtained from the artificial intelligence model are reduced or minimized during the learning process.
  • DNN deep neural networks
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • DBN Deep Belief Network
  • BNN Bidirectional Recurrent Deep Neural Network
  • DNN Deep Q-Networks
  • 'stress' refers to the resistance force generated inside an object when an external force is applied to the object.
  • 'Shear stress' is a stress that acts parallel to the surface of an object, and represents the resistance that tries to return the surface to its original state when an external force is applied to the surface of the object in a direction parallel to the surface of the object. .
  • shear stress When shear stress is applied to an object, deformation may occur on the surface of the object and at a certain depth from the surface.
  • Figure 1 is a flowchart of a method for obtaining a control signal by identifying a shear stress pattern in a region where two input units contact according to an embodiment of the present disclosure.
  • a user may input information with an electronic device.
  • a system including an electronic device may include at least two input units including a first input unit and a second input unit.
  • the first input unit may be included in the electronic device or may be included in an object different from the electronic device.
  • it may be a display panel made of an elastic and flexible material.
  • the first input unit when the first input unit is included in an object other than the electronic device, it may be a part of the user's body such as the user's finger, another object such as a stylus pen, or another electronic device.
  • the second input unit may also be included in the electronic device, or may be included in an object different from the electronic device.
  • the first input unit and the second input unit may each be included in an object different from the electronic device.
  • the first input unit may be a part of the user's body such as the back of the user's hand, and in this case, the second input unit may be another object such as a stylus pen or another electronic device.
  • the first input unit and the second input unit may be included in one object that is different from the electronic device.
  • the first input unit may correspond to the back of the user's hand and the second input unit may correspond to the user's fingers, or the first input unit and the second input unit may each correspond to different fingers of the user.
  • the first input unit may include an elastic surface made of an elastic and flexible material.
  • the second input unit may include the user's finger, a stylus pen, etc.
  • the second input unit may also include an elastic surface having elasticity and flexibility, and in this case, the elastic surface included in the second input unit may include an area where the first input unit and the second input unit are in contact.
  • the first input unit and the second input unit may interact, for example contact, on elastic surfaces included in each.
  • step 110 the electronic device obtains an input based on interaction between the first input unit and the second input unit through a sensor.
  • the interaction between the first input unit and the second input unit may be that the first input unit and the second input unit contact within a contact area.
  • a portion of the surface of the first input unit may be in contact with a portion of the surface of the second input unit within the contact area.
  • Contact between the first input unit and the second input unit may generate shear stress in the contact area, and the interaction between the first input unit and the second input unit may be the basis for input to the electronic device.
  • Input resulting from interaction between the first input unit and the second input unit may be obtained from the electronic device through a sensor.
  • a sensor including a camera may be used in an operation in which an electronic device obtains an input based on interaction between a first input unit and a second input unit.
  • the sensor may include at least one of a camera, an infrared camera, a depth sensor, lidar, or UWB radar.
  • the sensor is a stress sensor that measures the degree of deformation of the surface of the first input unit or the second input unit in the contact area or the shear stress applied to the contact point where the first input unit and the second input unit are in contact. sensor) may be further included.
  • the stress sensor may be embedded in the surface of the first or second input.
  • a stress sensor embedded in the surface of the first input unit may measure a degree of deformation of the surface of the first input unit or a shear stress applied to a contact point on the surface of the first input unit.
  • a stress sensor embedded in the surface of the second input unit may measure a degree of deformation of the surface of the second input unit or a shear stress applied to a contact point on the surface of the second input unit.
  • the stress sensor is arranged along the edge of the display, at regular intervals across the front of the display, or in a grid pattern along the face of the display. can be placed.
  • a stress sensor that measures the degree of deformation of the surface of the first input unit may measure a distance difference between a plurality of feature points on the surface of the first input unit and obtain the degree of deformation of the surface therefrom. For example, the stress sensor compares the stored arrangement information of a plurality of feature points on the surface of the first input unit in the initial state without contact with the arrangement information of the plurality of feature points in the state of contact, thereby A degree of deformation can be obtained.
  • the operation of the stress sensor according to an embodiment of the present disclosure to sense the shear stress that is the basis of the input in the area where the first input unit and the second input unit contact will be described in more detail with reference to FIG. 8 to be described later.
  • the electronic device identifies a shear stress pattern in a contact area where the first input unit and the second input unit are in contact.
  • the electronic device may identify the shear stress pattern in the contact area based on the input obtained from the interaction between the first input unit and the second input unit.
  • a user may touch or press a portion of the surface of the first input unit using the second input unit. At this time, shear stress may be applied to the contact area of the first input unit and the second input unit. The user may change the shape or color of the surface of at least one of the first input unit and the second input unit by touching the first input unit and the second input unit.
  • the electronic device may identify a shear stress pattern from shape transformation information or color transformation information on the surface of at least one of the first input unit and the second input unit in the area where the first input unit and the second input unit contact.
  • the shear stress pattern may be identified based on at least one of the location of a contact point where the first input unit and the second input unit contact, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force. For example, even if the location of the contact point where the first input unit and the second input unit contact and the intensity of the shear stress are the same, if the direction of the shear stress is different, they can be considered to have different shear stress patterns. Likewise, even if the location of the contact point where the second input unit contacts the second input unit and the direction of the shear stress are the same, if the intensity of the shear stress is different, they can be considered to have different shear stress patterns.
  • the first input unit may be a display screen included in the electronic device
  • the second input unit may be a stylus pen.
  • various shear stress patterns can be identified depending on the direction in which the display screen (first input unit) is moved while pressing the stylus pen (second input unit). How hard the user presses the display screen (first input unit) using the stylus pen (second input unit) may be identified based on the degree of deformation of the surface of the display screen (first input unit).
  • the first input unit may be a display screen included in the electronic device
  • the second input unit may be the user's finger.
  • the first input unit may be a display screen included in the electronic device
  • the second input unit may be the user's finger.
  • Various shear stress patterns can be identified depending on the direction in which the display screen (first input unit) is pressed and moved (second input unit).
  • the surface of the user's finger (second input unit) determines how hard the user presses the display screen (first input unit) with his or her finger (second input unit) or in which direction he or she moves while pressing the display screen (first input unit). It can be identified based on the degree of shape deformation and color deformation.
  • the first input unit may be a part of the user's body, such as the back of the hand, and the second input unit may be a body part different from the first input unit, for example, the user's finger.
  • the second input unit may be a body part different from the first input unit, for example, the user's finger.
  • Various shear stress patterns can be identified depending on the direction in which the body part (first input unit) is moved while pressing the (second input unit).
  • the body part (first input unit) may be identified based on the degree of shape deformation and color deformation of the surface.
  • machine learning technology may be applied to the operation of identifying a shear stress pattern based on the obtained input.
  • the input obtained through the sensor may include a camera image, the degree of surface deformation, the degree of color deformation, etc., and based on the obtained input, the location of the contact point, the intensity of the shear stress, the direction of the shear stress, and the vertical
  • a convolution encoder-decoder neural network, etc. may be used to determine a shear stress pattern identified by a combination of drag magnitudes.
  • step 130 the electronic device identifies a control signal corresponding to the sensed input based on the identified shear stress pattern.
  • a specific shear stress pattern may correspond to a specific control signal for controlling an electronic device.
  • various control signals can be input to the electronic device, compared to the case of simply determining whether to apply the control signal based on whether or not there is contact. there is.
  • Figure 2 is a diagram illustrating a shear stress pattern according to an embodiment of the present disclosure.
  • the electronic device may include a first input unit 210 and a stress sensor 215 embedded under the surface of the first input unit 210 .
  • the stress sensor 215 may obtain input according to the interaction between the first input unit 210 and the second input unit 220.
  • the interaction between the first input unit 210 and the second input unit 220 may be that the first input unit 210 and the second input unit 220 contact within a contact area. Contact between the first input unit 210 and the second input unit 220 may generate shear stress in the contact area.
  • the stress sensor 215 embedded in the surface of the first input unit 210 measures the degree of deformation of the surface of the first input unit 210 in the contact area or the shear stress applied to the contact point on the surface of the first input unit 210. It can be measured.
  • the stress sensor 215 may include a plurality of stress sensor units, and the plurality of stress sensor units may be arranged at regular intervals across the entire surface of the first input unit 210.
  • the stress sensor 215 can measure the normal force and shear stress applied to the surface of the first input unit 210.
  • a plurality of stress sensor units included in the stress sensor 215 may measure normal force and shear stress at each disposed point.
  • the normal force applied to the surface of the first input unit 210 may be related to the force with which the second input unit 220 presses the surface of the first input unit 210.
  • the shear stress applied to the surface of the first input unit 210 may be related to the force applied by the second input unit 220 to the surface of the first input unit 210 in a direction parallel to the surface.
  • the electronic device may identify a shear stress pattern according to the contact of the first input unit 210 and the second input unit 220 based on the normal force and shear stress measured through the stress sensor 215.
  • the user may touch or press a portion of the surface of the first input unit 210 using the second input unit 220.
  • normal force and shear stress may be applied to the contact area of the first input unit 210 and the second input unit 220.
  • the user may change the shape or color of the surface of the first input unit 210 by touching the first input unit 210 and the second input unit 220.
  • the electronic device may provide shape transformation information or color transformation information on at least one surface of the first input unit 210 or the second input unit 220 in the area where the first input unit 210 and the second input unit 220 are in contact.
  • the shear stress pattern can be identified from .
  • the shear stress pattern is based on at least one of the location of the contact point where the first input unit 210 and the second input unit 220 contact, the shear stress strength, the direction of the shear stress, and the magnitude of the normal force. can be identified.
  • the first input unit 210 may be a display screen included in an electronic device, and the second input unit 220 may be a stylus pen. At this time, which position on the first input unit 210 the user touches using the second input unit 220, how hard the user presses the first input unit 210 with the second input unit 220, or the second input unit 220.
  • Various shear stress patterns can be identified depending on the direction in which the first input unit 210 is moved while pressing (220). How hard the user presses the first input unit 210 using the second input unit 220 may be identified based on the normal force measured through the stress sensor 215, for example.
  • the first input unit 210 may be a display screen included in an electronic device, and the second input unit 220 may be a user's finger.
  • how hard the user presses the first input unit 210 using the second input unit 220 or in which direction the user moves while pressing the first input unit 210 is determined by measuring the vertical direction measured through the stress sensor 215. It may be identified based on the drag force, the degree of shape deformation of the surface of the second input unit 220, and the degree of color deformation of the surface of the second input unit 220.
  • the user may apply shear stress so that the second input unit 220 does not move relative to the surface of the first input unit 210.
  • the intensity of shear stress is less than the maximum static friction force.
  • the electronic device may correspond to the shear stress pattern to the control signal in a manner similar to a 'joystick'.
  • FIG. 3 is a diagram illustrating an operation of identifying a shear stress pattern using a camera 315 according to an embodiment of the present disclosure.
  • the electronic device may include a camera 315 that acquires a video or image, and the electronic device may obtain an input according to the interaction between the first input unit and the second input unit through the camera 315. You can.
  • the interaction between the first input unit and the second input unit may be the user's two fingers touching within the field of view (FoV) of the camera 315 .
  • Contact between the first input unit (first finger) and the second input unit (second finger) may generate shear stress in the contact area.
  • the 'Field of View (FOV)' of the camera 315 represents the area of the image or video captured through the camera 315.
  • Field of view may also be expressed as a field of view (FOV degree).
  • the electronic device may acquire an image or image of the contact area of the first input unit (first finger) and the second input unit (second finger) through the built-in camera 315.
  • the image or image acquired through the camera 315 may include information related to shape deformation and color deformation of the surfaces of the first input unit and the second input unit in the contact area (ROI).
  • Information related to shape deformation and color deformation of the surfaces of the first input unit and the second input unit may be related to shear stress applied between the first input unit and the second input unit.
  • the electronic device may identify a shear stress pattern according to the contact of the first input unit (first finger) and the second input unit (second finger) based on the image of the contact area (ROI) acquired through the camera 315. You can.
  • a user may contact a first input unit (first finger) and a second input unit (second finger) and apply force between the first input unit and the second input unit. At this time, pressure and shear stress may be applied to the contact area of the first input unit and the second input unit.
  • the user may cause a shape change or color change to the surface of the first input unit and the surface of the second input unit by touching the first input unit and the second input unit.
  • the electronic device may identify a shear stress pattern from shape transformation information or color transformation information on the surface of at least one of the first input unit and the second input unit in the area where the first input unit and the second input unit contact.
  • the shear stress pattern may be identified based on at least one of the location of a contact point where the first input unit and the second input unit contact, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force.
  • the first input unit may be the user's first finger
  • the second input unit may be a second finger different from the first finger.
  • how much force the user applies between the first and second fingers or in what direction the force is applied while touching the first and second fingers is included in the image acquired through the camera 315. It can be identified based on the degree of shape deformation and color deformation of the surfaces of the first and second fingers.
  • machine learning technology may be applied to the operation of identifying a shear stress pattern based on an acquired image.
  • the operation of determining a shear stress pattern identified as a combination of the location of the contact point, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force based on the image acquired through the camera 315 includes convolution.
  • An encoder-decoder (convolution encoder-decoder) neural network, etc. may be used.
  • the electronic device may acquire images 330, 330a, and 330b corresponding to the contact areas (ROIs) of the first and second fingers through the camera 315.
  • image 330 it may be determined that the first and second fingers are only in contact.
  • image 330a a clockwise shear stress pattern (SS1) is applied based on changes in the shape and color of the skin of the first and second fingers in the area (P1) where the first and second fingers are in contact. It can be judged that
  • SS2 a counterclockwise shear stress pattern based on the change in the shape and color of the skin of the first and second fingers in the area (P2) where the first and second fingers are in contact This can be judged to be approved.
  • the electronic device may obtain a control signal corresponding to the identified shear stress pattern.
  • spatial gesture technology or computer vision technology may be applied to the electronic device according to an embodiment of the present disclosure.
  • Computer vision technology refers to implementing human vision through a computer.
  • computer vision can relate to artificial intelligence systems that extract information from images.
  • the operation of extracting information from an image is, for example, a technology that finds three-dimensional spatial information in real time, such as the type, size, direction, and location of objects in the image, and a technology that distinguishes objects and recognizes the motion of each object like a human. It may include technology, or technology for machines to recognize their own location.
  • computer vision combines cameras, edge-based or cloud-based computing, software, and artificial intelligence (AI) to enable systems to see and identify objects.
  • AI artificial intelligence
  • shear stress may be applied even when the first input unit and the second input unit are relatively stationary. Shear stress in this static mode cannot be detected using general gesture recognition methods that track the 'movement' of an object.
  • the shape or color of the finger skin in the contact area may change.
  • the elastic skin surface can change its shape due to the force applied, and the color of the skin at the contact area can change by applying force to the contact point. Therefore, the electronic device according to an embodiment of the present disclosure can obtain an image or image of the degree of skin deformation of the area where the first finger and the second finger contact through the camera 315, and display the image or image in the obtained image or image. Based on this, shear stress patterns can be identified.
  • a control signal is transmitted to the electronic device without additional auxiliary means. You can enter it. Meanwhile, even when a separate additional input auxiliary means exists, the accuracy of identifying the control signal input through the auxiliary means can be increased based on analysis of the image acquired through the camera.
  • Figure 4 is a diagram showing shear stress ( P ) according to an embodiment of the present disclosure.
  • the shear stress ( P ) is a stress that acts parallel to the surface of the object 410, and represents a resistance force that tries to return the surface to its original state when an external force is applied to the surface of the object in a direction parallel to the surface of the object.
  • the shear stress pattern may have a static mode or a dynamic mode.
  • the user may apply a shear stress ( P ) that is less than the maximum static friction force ( R max ) to the elastic surface.
  • the intensity of the user's pulling force (shear stress, P ) and frictional force ( R ) may be the same.
  • the friction force ( R ) can be expressed as the normal force ( N ) multiplied by the friction coefficient (k).
  • the maximum static friction force ( R max ) can be expressed as the normal force ( N ) multiplied by the maximum static friction coefficient (k max ). For example, when the force (shear stress, P ) to move the first input unit 410 in contact with the second input unit 420 is smaller than the maximum static friction force ( R max ), the first input unit 410 and the second input unit 420 2 Relative movement (motion) between the input units 420 is not detected. At this time, the intensity and direction of the normal force ( N ) and shear stress ( P ) can be elements that make up the shear stress pattern.
  • the force (shear stress, P ) to move the first input unit 410 in contact with the second input unit 420 is greater than the maximum static friction force ( R max )
  • the first input unit 410 and the second input unit 420 Relative movement (motion) between the two input units 420 can be detected through a sensor such as a camera.
  • the relative movement between the first input unit 410 and the second input unit 420 may also be an element constituting the shear stress pattern.
  • Figure 5 is a diagram showing shear stress ( P ) and deformation stress (D) according to an embodiment of the present disclosure.
  • a shear stress pattern may be identified based on the intensity and direction of the shear stress ( P ).
  • the user can change the pattern of the shear stress ( P ) and change the control signal input to the electronic device.
  • the degree of deformation of the elastic surface of the first input unit 510 is proportional to the intensity of the shear stress ( P ) applied to the first input unit 510.
  • the elastic surface of the first input unit 510 may be deformed due to the resultant force of the normal force ( N ) and the shear stress ( P ).
  • deformation stress ( D ) occurs.
  • a deformation stress (D1) is generated to avoid the folded surface in the direction of the shear stress ( P ) from the contact point of the first input unit 510 and the second input unit 520, and the first input unit 510
  • a deformation stress (D2) to restore the pulled surface occurs.
  • shear stress ( P ), deformation stress ( D ), and friction force ( R ) can form a force balance.
  • the force surface shear stress ( P ) of the internal system of the first input unit 510 and depth pressure
  • the horizontal force applied to the elastic surface of the first input unit 510 is less than the maximum static friction force
  • another object (second input unit 520) in contact with the first input unit 510 is moved to the first input unit (520) on the elastic surface. 510) and stops relatively.
  • the shear stress pattern can be determined in various ways based on various strengths of applied pressure (which may be associated with a normal force) and various strengths of shear stress.
  • the intensity of pressure and shear stress applied to the contact surfaces of the first input unit 510 and the second input unit 520 may be acquired through a sensor including a camera or a stress sensor.
  • a shear stress pattern can be obtained by calculating the shear stress from the degree of shape deformation and color deformation of the surface of the first input unit 510 or the second input unit 520 identified in an image or image acquired through a camera.
  • a shear stress pattern may be obtained from shear stress measured through a stress sensor.
  • the user's hand may be applied to at least one of the first input unit 510 or the second input unit 520.
  • Pressure applied to the skin of the user's hand can change the skin color of the contact area.
  • the skin of the user's hands may change color due to deformation of blood capillaries. Additionally, when the user's skin is pressed by another object, the skin color may change as the depth changes.
  • the shear stress (P) applied to the skin of the user's hand can change the shape of the contact area and surrounding skin. The degree of deformation of the skin surface may vary depending on the intensity of the applied shear stress (P).
  • FIG. 6 is a diagram illustrating an operation of identifying a shear stress pattern (SS) using a stress sensor according to an embodiment of the present disclosure.
  • a stress sensor may be embedded beneath the surface of the first input.
  • the surface constituting the first input unit may be elastic and flexible.
  • the stress sensor built into the surface of the first input unit measures not only the shear stress applied to the contact point (0) where the second input unit 620 contacts the surface of the first input unit, but also the pressure applied by the second input unit 620 to the surface of the first input unit. can be measured.
  • a normal force occurring at the contact point 0 of the first input unit 620 may be identified based on the pressure applied by the second input unit 620 to the surface of the first input unit.
  • a plurality of stress sensor units included in the stress sensor may be arranged at regular intervals across the entire surface of the display. Stress sensor units can measure applied pressure (normal force) at each deployed point.
  • the shear stress pattern SS is at least one of the location of the contact point 0 where the first input unit and the second input unit 620 contact, the intensity of the shear stress, the direction of the shear stress, and the magnitude of the normal force. It can be identified based on. For example, even if the location of the contact point 0 where the first input unit and the second input unit 620 contact, the intensity of the shear stress, and the direction of the shear stress are the same, if the magnitude of the normal force is different, different shear stress patterns are generated. It can be seen as having (SS).
  • normal force according to the interaction between the first input unit and the second input unit 620 can be obtained through a stress sensor built into the surface of the first input unit. Thereafter, the shear stress pattern (SS) may be identified based on the normal force of each point obtained through the stress sensor.
  • SS shear stress pattern
  • Figure 7 is a block diagram of an electronic device 700 according to an embodiment of the present disclosure.
  • the electronic device 700 may be a device that obtains a control signal by identifying a shear stress pattern in an area where two input units come into contact.
  • the electronic device 700 may perform the method described above with reference to FIG. 1 .
  • the electronic device 700 may include, for example, a smart phone, a tablet personal computer, a mobile phone, a video phone, an e-book reader, or a desktop personal computer. ), laptop personal computer, netbook computer, workstation, server, PDA (personal digital assistant), PMP (portable multimedia player), MP3 player, mobile medical device, camera , it may be comprised of at least one of a wearable device, an augmented reality device, a home appliance, and other mobile or non-mobile computing devices.
  • An augmented reality device is a device that can express augmented reality (AR), and generally includes augmented reality glasses in the shape of glasses worn by the user on the face, and a head-mounted display device worn on the head. It may include a mounted display (HMD), a virtual reality headset (VRH), or an augmented reality helmet.
  • HMD mounted display
  • VRH virtual reality headset
  • a head-mounted device by placing a display in front of the user's eyes, a very large screen can be provided to the user, and the screen moves according to the user's movements, providing a realistic virtual world.
  • the electronic device 700 is not limited to the above-described example, and the electronic device 700 can identify a shear stress pattern in an area where two input units are in contact, and can identify an electronic device corresponding to the identified shear stress pattern. It may include all types of devices that can obtain control signals for controlling the device 700.
  • the electronic device 700 may include a sensor 710, a processor 720, and a storage unit (eg, memory) 730. Not all of the components shown in FIG. 7 are essential components of the electronic device 700.
  • the electronic device 700 may be implemented with more components than those shown in FIG. 7 , or the electronic device 700 may be implemented with fewer components than the components shown in FIG. 7 .
  • the sensor 710 may obtain input according to the interaction between the first input unit and the second input unit.
  • the interaction between the first input unit and the second input unit may be that the first input unit and the second input unit contact within a contact area.
  • a portion of the surface of the first input unit may be in contact with a portion of the surface of the second input unit within the contact area.
  • Contact between the first input unit and the second input unit can generate shear stress in the contact area, and the interaction between the first input unit and the second input unit can be the basis for input to the electronic device 700.
  • sensor 710 may include a camera.
  • a camera can acquire a video, image, or image sequence.
  • the electronic device 700 may obtain input based on interaction between the first input unit and the second input unit through the sensor 710 including a camera.
  • the camera may include a recording unit that acquires a visual image and a recording unit that acquires an auditory sound.
  • the camera may be a single configuration that is not physically separated into a recording unit and a recording unit.
  • the camera may include, for example, at least one of a monocular camera, a binocular camera, an infrared camera, a depth sensor, lidar, or UWB radar.
  • the sensor 710 including a camera may correspond to the sensor 315 of FIG. 3 described above.
  • sensor 710 may further include a stress sensor.
  • the electronic device 700 determines the degree of deformation of the surface of the first input unit or the second input unit in the contact area or the shear stress applied to the contact point where the first input unit and the second input unit are in contact through the sensor 710 including a stress sensor. can be measured.
  • the stress sensor may be embedded in the surface of the first or second input.
  • a stress sensor embedded in the surface of the first input unit may measure a degree of deformation of the surface of the first input unit or a shear stress applied to a contact point on the surface of the first input unit.
  • a stress sensor embedded in the surface of the second input unit may measure a degree of deformation of the surface of the second input unit or a shear stress applied to a contact point on the surface of the second input unit.
  • the sensor 710 including a stress sensor may correspond to the sensor 215 of FIG. 2 described above.
  • FIG. 8 is a diagram illustrating a stress sensor according to an embodiment of the present disclosure.
  • the stress sensor may be arranged along the edge of the display (810) or may be arranged in a grid pattern on a portion of the display (810). 820).
  • the stress sensor may include a plurality of stress sensor units. Stress sensor units may be arranged at regular intervals across the front surface of the display (830).
  • a stress sensor that measures the degree of deformation of the surface of the first input unit may measure a distance difference between a plurality of feature points on the surface of the first input unit and obtain the degree of deformation of the surface therefrom. For example, the stress sensor compares the stored arrangement information of a plurality of feature points on the surface of the first input unit in the initial state without contact with the arrangement information of the plurality of feature points in the state of contact, thereby A degree of deformation can be obtained.
  • the display can display and output visual images to the outside.
  • a display can output an image sequence externally.
  • the display may include a panel.
  • Displays include, for example, liquid crystal displays, digital mirror devices, liquid crystal on silicon, thin film transistor-liquid crystal displays, organic It may be composed of at least one of an organic light-emitting diode, micro LED, flexible display, 3D display, and electrophoretic display.
  • the storage unit 730 may store a program to be executed by a processor 720, which will be described later, to control the operation of the electronic device 700.
  • the storage unit 730 may store a program including at least one instruction for controlling the operation of the electronic device 700. Instructions and program codes that can be read by the processor 720 may be stored in the storage unit 730.
  • the processor 720 may be implemented to execute instructions or codes of a program stored in the storage unit 730.
  • the storage unit 730 may store data input to or output from the electronic device 700.
  • the storage unit 730 may be, for example, a flash memory, hard disk, multimedia card micro type, or card type storage (e.g., SD or XD storage). etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , may include at least one type of storage medium among a magnetic storage unit, a magnetic disk, and an optical disk.
  • Programs stored in the storage unit 730 can be classified into a plurality of modules according to their functions.
  • the processor 720 can control the overall operation of the electronic device 700.
  • the processor 720 may perform operations according to an embodiment of the present disclosure.
  • the processor 720 can generally control the sensor 710 including the camera, the display, and the storage unit 730 by executing programs stored in the storage unit 730.
  • the processor 720 may be comprised of hardware components that perform arithmetic, logic, input/output operations, and signal processing.
  • the processor 720 may include, for example, a Central Processing Unit, a microprocessor, a Graphics Processing Unit, Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), and Digital Signal Processors (DSPDs). It may consist of at least one of Signal Processing Devices (PLDs), Programmable Logic Devices (PLDs), and Field Programmable Gate Arrays (FPGAs), but is not limited thereto.
  • PLDs Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the processor 720 controls the sensor 710 by executing at least one instruction stored in the storage unit 730 to obtain an input according to the interaction between the first input unit and the second input unit, and the first input unit and the second input unit.
  • the shear stress pattern in the area where the input unit contacts can be identified, and the control signal corresponding to the input can be identified based on the identified shear stress pattern.
  • the first input unit may include an elastic surface that is elastic and flexible.
  • the elastic surface may include an area where the first input and the second input are in contact.
  • the second input unit may include at least one of the user's finger or a stylus pen.
  • the second input may also include an elastic surface that is elastic and flexible.
  • the processor 720 executes at least one instruction stored in the storage unit 730 to create a shear stress pattern based on the degree of deformation of the elastic surface in the area where the first input unit and the second input unit contact. can be identified.
  • the degree of deformation of the elastic surface may include at least one of the degree of deformation of the shape of the elastic surface and the degree of deformation of the color.
  • the processor 720 executes at least one instruction stored in the storage unit 730 to determine the location where the first input unit and the second input unit contact, the intensity of the shear stress, the direction of the shear stress, and the normal force.
  • the shear stress pattern can be identified based on at least one of the sizes.
  • a specific shear stress pattern may correspond to a specific control signal for controlling an electronic device.
  • various control signals can be input to the electronic device, compared to the case of simply determining whether to apply the control signal based on whether or not there is contact. there is.
  • control signal by identifying the control signal corresponding to the input based on the shear stress pattern in the area where the two input units contact each other, various control signals are sent to the electronic device. Allow input.
  • the control signal can be input to the electronic device without additional auxiliary means, and a separate auxiliary device can be used. Even when an input auxiliary means exists, the accuracy of identifying the control signal input through the auxiliary means can be further increased.
  • Various embodiments of the present disclosure may be implemented or supported by one or more computer programs, and the computer programs may be formed from computer-readable program code and stored in a computer-readable medium.
  • application and “program” refer to one or more computer programs, software components, instruction sets, procedures, functions, or objects suitable for implementation in computer-readable program code. ), may represent a class, instance, related data, or part thereof.
  • Computer-readable program code may include various types of computer code, including source code, object code, and executable code.
  • Computer-readable media means read only memory (ROM), random access memory (RAM), hard disk drive (HDD), compact disc (CD), digital video disc (DVD), or various types of memory, It may include various types of media that can be accessed by a computer.
  • device-readable storage media may be provided in the form of non-transitory storage media.
  • a ‘non-transitory storage medium’ is a tangible device and may exclude wired, wireless, optical, or other communication links that transmit transient electrical or other signals. Meanwhile, this 'non-transitory storage medium' does not distinguish between cases where data is semi-permanently stored in the storage medium and cases where data is stored temporarily.
  • a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
  • Computer-readable media can be any available media that can be accessed by a computer and can include both volatile and non-volatile media, removable and non-removable media. Computer-readable media includes media on which data can be permanently stored and media on which data can be stored and later overwritten, such as rewritable optical disks or erasable memory devices.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play Store) or between two users. It can be distributed (e.g., downloaded or uploaded) directly between devices (e.g., smartphones) or online.
  • a portion of the computer program product e.g., a downloadable app
  • a device-readable storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be at least temporarily stored or created temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 방법이 제공된다. 방법은, 센서를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 단계, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하는 단계, 및 식별된 전단응력 패턴에 기초하여 입력에 대응되는 제어 신호를 식별하는 단계를 포함할 수 있다.

Description

두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치
본 개시는 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치에 관한 것이다.
인간-컴퓨터 상호 작용(human-computer interaction)을 위해서는 시스템에 데이터를 입력하기 위한 수단이 필요하다. 가상현실(virtual reality, VR), 증강현실(augmented reality, AR), 또는 혼합현실(mixed reality) 등의 시스템에서는 특별한 입력단(input terminal)이 존재하지 않는 경우가 많고, 추가적인 도구나 센서 없이 정보를 전달할 수 있는 방법이 요구된다.
최근 들어, 컴퓨터를 이용한 영상 처리 기술 및 화상 인식 기술의 발달에 따라 이를 이용한 다양한 응용 분야가 발전하고 있다. 이러한 다양한 응용 분야 중 제스처 인식 기술(gesture recognizing technology)은 정보 전달 수단의 하나의 방법으로써, 꾸준한 기술 개발이 진행되고 있다. 제스처 인식 기술은 컴퓨터가 자율적으로 인간의 행동을 분석하고 인지하는 기술로서, 터치 제스처 기술 및 공간 제스처 기술을 포함할 수 있다. 구체적으로, 터치 제스처 기술은 터치 스크린과 같은 입력장치를 이용하여 항목을 선택할 수 있는 기술로서, 스마트 폰의 보급화와 더불어 그 사용이 증가하고 있다. 또한, 공간 제스처 기술은 카메라와 같은 입력 장치를 이용하여 트래킹 대상의 동작이 시간의 경과에 따라 어떻게 변화하는가를 분석하고, 그 변화를 추상적인 의미로 해석하는 기술이다. 이러한 제스처 인식 기술은 사용자의 의도를 보다 신속하고 정확하게 인식하는 것이 핵심적인 요소일 수 있다.
오늘날 터치 스크린(Touch Screen)은 스마트폰(Smartphone), 태블릿(Tablet) PC 및 엔터테인먼트(Entertainment) 시스템과 같은 광범위한 대화형 장치의 기본 입력 매커니즘으로 이용된다. HID(Human Interface Device) 모바일 장치에서는, 스마트폰, 태블릿 PC 등에 사용자의 손가락을 이용해 터치 신호를 입력하거나, 필기 또는 그림 그리기가 가능한 디지타이저 펜(Digitizer Pen)의 일종인 스타일러스 펜(Stylus Pen)을 이용해 터치 신호를 입력할 수 있다. 스타일러스 펜을 통한 입력은 손가락에 의한 입력에 비해 더 세밀한 입력이 가능하고, 세밀한 그림 그리기 및 글씨 쓰기 등의 기능을 지원할 수 있다.
현재 AR, VR, 또는 MR 시스템에서 정보 입력은 음성 인식 기술, 별도의 보조 장치를 이용하는 기술, 및 영상을 통한 제스처 인식 기술 등에 기초하고 있다. 음성 인식 기술을 입력 수단으로 이용하는 경우 외부 환경에 의한 노이즈에 취약할 수 있고, 사용자의 프라이버시 침해가 일어날 수 있다. 별도의 보조 장치를 입력 수단으로 이용하는 경우, 별도의 장치를 구비하여야 하는 것이 번거로울 수 있고, 장치 간에 정보를 교환하는 과정에 있어서 지연이 발생할 수 있다. 영상을 통한 제스처 인식을 입력 수단으로 이용하는 경우, 복잡한 제스처에 대한 인식률이 낮을 수 있고, 비교적 간단한 제어 신호만 인가할 수 있는 단점이 있다.
이에 따라, AR, VR, 또는 MR 시스템에서 편리하게 사용할 수 있고, 보안이 강화되면서도, 견고하고, 빠른 응답을 가지는 효과적인 입력 수단이 요구된다.
본 개시의 일 실시예는, 두 개의 입력부가 상호 접촉하는 영역에서의 전단응력 패턴(shear stress pattern)에 기초하여 입력에 대응되는 제어 신호를 식별함으로써, 다양한 제어 신호 입력을 획득할 수 있는 전자 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예는, 카메라를 통해 획득된 두 개의 입력부가 상호 접촉하는 영역의 이미지에 기초하여 접촉 영역에서의 전단응력 패턴을 식별함으로써, 추가적인 별도의 보조 수단 없이 제어 신호 입력을 획득하거나, 보조 수단을 통해 입력된 제어 신호 식별의 정확도를 높일 수 있는 전자 장치 및 방법을 제공할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 방법은, 센서를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 단계, 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하는 단계, 및 식별된 전단응력 패턴에 기초하여 입력에 대응되는 제어 신호를 식별하는 단계를 포함할 수 있다.
일 실시예에서, 센서는 카메라, 적외선 카메라, 깊이 센서, 라이다(lidar), 또는 UWB 레이더(radar) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 센서는 응력 센서(stress sensor)를 더 포함할 수 있다.
일 실시예에서, 제1 입력부는 디스플레이를 포함할 수 있다. 응력 센서는 디스플레이의 엣지를 따라 배치되거나, 디스플레이의 전면에 걸쳐 배치되거나, 디스플레이의 일부에 격자 무늬로 배치될 수 있다.
일 실시예에서, 제1 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있다. 탄성 표면은 제1 입력부 및 제2 입력부가 접촉하는 영역을 포함할 수 있다.
일 실시예에서, 전단응력 패턴은 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 탄성 표면의 변형 정도에 기초하여 식별될 수 있다.
일 실시예에서, 탄성 표면의 변형 정도는, 탄성 표면의 형태 변형 정도 및 색상 변형 정도 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 전단응력 패턴은, 제1 입력부 및 제2 입력부가 접촉하는 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별될 수 있다.
일 실시예에서, 제2 입력부는 사용자의 손가락 또는 스타일러스 펜(stylus pen) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 제2 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있다. 탄성 표면은 제1 입력부 및 상기 제2 입력부가 접촉하는 영역을 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 전자 장치는, 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 센서, 적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부, 및 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 센서를 제어하여 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하고, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하고, 식별된 전단응력 패턴에 기초하여 입력에 대응되는 제어 신호를 식별할 수 있다.
일 실시예에서, 센서는 카메라, 적외선 카메라, 깊이 센서, 라이다(lidar), 또는 UWB 레이더(radar) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 센서는 응력 센서(stress sensor)를 더 포함할 수 있다.
일 실시예에서, 제1 입력부는 디스플레이를 포함할 수 있다. 응력 센서는 디스플레이의 엣지를 따라 배치되거나, 디스플레이의 전면에 걸쳐 배치되거나, 디스플레이의 일부에 격자 무늬로 배치될 수 있다.
일 실시예에서, 제1 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있다. 탄성 표면은 제1 입력부 및 제2 입력부가 접촉하는 영역을 포함할 수 있다.
일 실시예에서, 프로세서는 저장부에 저장된 적어도 하나의 명령어들을 실행함으로써, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 탄성 표면의 변형 정도에 기초하여 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 탄성 표면의 변형 정도는 탄성 표면의 형태 변형 정도 및 색상 변형 정도 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서는 저장부에 저장된 적어도 하나의 명령어들을 실행함으로써, 제1 입력부 및 제2 입력부가 접촉하는 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 제2 입력부는 사용자의 손가락 또는 스타일러스 펜(stylus pen) 중 적어도 하나를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된, 컴퓨터로 읽을 수 있는 기록매체는, 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램이 저장된 것일 수 있다.
도 1은 본 개시의 일 실시예에 따른 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 방법의 흐름도이다.
도 2는 본 개시의 일 실시예에 따른 전단응력 패턴을 도시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 카메라를 이용해 전단응력 패턴을 식별하는 동작을 도시하는 도면이다.
도 4는 본 개시의 일 실시예에 따른 전단응력을 도시하는 도면이다.
도 5는 본 개시의 일 실시예에 따른 전단응력 및 변형응력을 도시하는 도면이다.
도 6은 본 개시의 일 실시예에 따른 응력 센서를 이용해 전단응력 패턴을 식별하는 동작을 도시하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치의 블록도이다.
도 8은 본 개시의 일 실시예에 따른 응력 센서를 도시하는 도면이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
본 개시에서 '응력(stress)'이란, 물체에 외부에서 힘을 가했을 때 물체 내부에서 발생하는 저항력을 나타낸다. '전단응력(shear stress)'이란, 물체의 표면에 평행하게 작용하는 응력으로서, 외부에서 물체의 표면에 물체의 표면과 평행한 방향으로 힘을 가했을 때, 표면을 원상태로 복귀시키려고 하는 저항력을 나타낸다. 물체에 전단응력을 가했을 때, 물체의 표면 및 표면으로부터 일정 깊이 영역에서 변형이 일어날 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 방법의 흐름도이다.
본 개시의 일 실시예에서, 사용자는 전자 장치로 정보를 입력할 수 있다. 전자 장치를 포함하는 시스템은 제1 입력부 및 제2 입력부를 포함하는 적어도 두 개의 입력부를 포함할 수 있다.
제1 입력부는 전자 장치에 포함될 수도 있고, 전자 장치와는 다른 객체에 포함될 수도 있다. 예를 들어, 제1 입력부가 전자 장치에 포함될 경우, 신축성 및 유연성을 가지는 소재로 구성된 디스플레이 패널일 수 있다. 예를 들어, 제1 입력부가 전자 장치와는 다른 객체에 포함될 경우, 사용자의 손가락 등 사용자 신체의 일부이거나 스타일러스 펜(stylus pen)과 같은 다른 객체 또는 다른 전자 장치일 수 있다. 제2 입력부 또한 전자 장치에 포함될 수도 있고, 전자 장치와는 다른 객체에 포함될 수도 있다.
일 실시예에서, 제1 입력부 및 제2 입력부는 각각 전자 장치와 상이한 다른 객체에 포함될 수 있다. 예를 들어, 제1 입력부는 사용자의 손등 등 사용자 신체 일부일 수 있고, 이 때 제2 입력부는 스타일러스 펜 등 다른 객체 또는 다른 전자 장치일 수 있다. 일 실시예에서, 제1 입력부 및 제2 입력부는 전자 장치와는 상이한 하나의 객체에 포함될 수도 있다. 예를 들어, 제1 입력부는 사용자의 손등에 대응되고 제2 입력부는 사용자의 손가락에 대응되거나, 제1 입력부는 및 제2 입력부는 각각 사용자의 서로 다른 손가락에 대응될 수 있다.
일 실시예에서, 제1 입력부는 신축성 및 유연성을 가지는 소재로 구성된 탄성 표면을 포함할 수 있다. 제2 입력부는 사용자의 손가락, 스타일러스 펜 등을 포함할 수 있다. 일 실시예에서, 제2 입력부 또한 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있고, 이 때, 제2 입력부에 포함된 탄성 표면은 제1 입력부 및 제2 입력부가 접촉하는 영역을 포함할 수 있다. 예를 들어, 제1 입력부와 제2 입력부는 각각에 포함된 탄성 표면들 상에서 상호 작용, 예를 들어, 접촉이 이루어질 수 있다.
도 1을 참조하면, 단계 110에서, 전자 장치는 센서를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득한다.
일 실시예에서, 제1 입력부 및 제2 입력부 간의 상호작용은, 제1 입력부 및 제2 입력부가 접촉 영역 내에서 접촉하는 것일 수 있다. 예를 들어, 접촉 영역 내에서 제1 입력부의 표면 일부와 제2 입력부의 표면 일부가 접촉될 수 있다. 제1 입력부 및 제2 입력부의 접촉은 접촉 영역에서 전단응력을 발생시킬 수 있고, 제1 입력부 및 제2 입력부 간의 상호 작용(interaction)으로서 전자 장치로의 입력의 기초가 될 수 있다. 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력은 센서를 통해 전자 장치에서 획득될 수 있다.
전자 장치가 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 동작에는 카메라를 포함하는 센서가 이용될 수 있다. 예를 들어, 센서는 카메라, 적외선 카메라, 깊이 센서, 라이다(lidar), 또는 UWB 레이더(radar) 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 센서는 접촉 영역에서 제1 입력부 또는 제2 입력부의 표면의 변형 정도 또는 제1 입력부 및 제2 입력부가 접촉하는 접촉점에 인가된 전단응력(shear stress)을 측정하는 응력 센서(stress sensor)를 더 포함할 수 있다. 예를 들어, 응력 센서는 제1 입력부 또는 제2 입력부 표면에 내장될 수 있다. 제1 입력부 표면에 내장된 응력 센서는 제1 입력부 표면의 변형 정도 또는 제1 입력부 표면 상의 접촉점에 인가된 전단응력을 측정할 수 있다. 제2 입력부 표면에 내장된 응력 센서는 제2 입력부 표면의 변형 정도 또는 제2 입력부 표면 상의 접촉점에 인가된 전단응력을 측정할 수 있다. 일 실시예에서, 제1 입력부가 디스플레이를 포함하는 경우, 응력 센서는 디스플레이의 엣지(edge)를 따라 배치되거나, 디스플레이의 전면에 걸쳐 일정 간격을 가지도록 배치되거나, 디스플레이의 면을 따라 격자무늬로 배치될 수 있다.
일 실시예에서, 제1 입력부 표면의 변형 정도를 측정하는 응력 센서는 제1 입력부의 표면 상 복수의 특징점들 간의 거리 차이를 측정하고 그로부터 표면의 변형 정도를 획득할 수 있다. 예를 들어, 응력 센서는 기 저장된 접촉이 이루어지지 않은 초기 상태에서의 제1 입력부 표면 상의 복수의 특징점들의 배열 정보와, 접촉이 이루어진 상태에서의 복수의 특징점들의 배열 정보를 비교함으로써 제1 입력부 표면의 변형 정도를 획득할 수 있다. 본 개시의 일 실시예에 따른 응력 센서가 제1 입력부 및 제2 입력부가 접촉하는 영역에서 입력의 기초가 되는 전단응력을 센싱하는 동작은 후술할 도 8을 참조하여 보다 자세히 설명한다.
단계 120에서, 전자 장치는 제1 입력부 및 제2 입력부가 접촉하는 접촉 영역에서의 전단응력 패턴을 식별한다. 전자 장치는 획득한 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력에 기초하여 접촉 영역에서의 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 사용자는 제2 입력부를 이용해 제1 입력부의 표면 일부를 터치하거나 누를 수 있다. 이 때, 제1 입력부 및 제2 입력부의 접촉 영역에 전단응력이 인가될 수 있다. 사용자는 제1 입력부 및 제2 입력부를 접촉시킴으로써 제1 입력부 또는 제2 입력부 중 적어도 하나의 표면에 대해 형태 변형 또는 색상 변형을 일으킬 수 있다. 전자 장치는, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 제1 입력부 또는 제2 입력부 중 적어도 하나의 표면에 대한 형태 변형 정보 또는 색상 변형 정보로부터 전단응력 패턴을 식별할 수 있다.
일 실시예에서 전단응력 패턴은, 제1 입력부 및 제2 입력부가 접촉하는 접촉점의 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별될 수 있다. 예를 들어, 제1 입력부 및 제2 입력부가 접촉하는 접촉점의 위치 및 전단응력의 세기가 동일하더라도 전단응력의 방향이 상이한 경우, 서로 다른 전단응력 패턴을 가진다고 볼 수 있다. 마찬가지로, 제2 입력부 및 제2 입력부가 접촉하는 접촉점의 위치 및 전단응력의 방향이 동일하더라도 전단응력의 세기가 상이한 경우, 서로 다른 전단응력 패턴을 가진다고 볼 수 있다.
예를 들어, 제1 입력부는 전자 장치에 포함된 디스플레이 화면이고, 제2 입력부는 스타일러스 펜일 수 있다. 이 때, 사용자가 스타일러스 펜(제2 입력부)을 이용하여 디스플레이 화면(제1 입력부) 상 어느 위치를 터치하는지, 스타일러스 펜(제2 입력부)으로 디스플레이 화면(제1 입력부)을 얼마나 세게 누르는지, 또는 스타일러스 펜(제2 입력부)으로 디스플레이 화면(제1 입력부)을 누른 채로 어떤 방향으로 움직이는지 등에 따라 다양한 전단응력 패턴이 식별될 수 있다. 사용자가 스타일러스 펜(제2 입력부)을 이용하여 디스플레이 화면(제1 입력부)을 얼마나 세게 누르는지는 디스플레이 화면(제1 입력부) 표면의 변형 정도에 기초하여 식별될 수 있다.
예를 들어, 제1 입력부는 전자 장치에 포함된 디스플레이 화면이고, 제2 입력부는 사용자의 손가락일 수 있다. 이 때, 사용자가 손가락(제2 입력부)을 이용하여 디스플레이 화면(제1 입력부) 상 어느 위치를 터치하는지, 손가락(제2 입력부)으로 디스플레이 화면(제1 입력부)을 얼마나 세게 누르는지, 또는 손가락(제2 입력부)으로 디스플레이 화면(제1 입력부)을 누른 채로 어떤 방향으로 움직이는지 등에 따라 다양한 전단응력 패턴이 식별될 수 있다. 사용자가 손가락(제2 입력부)을 이용하여 디스플레이 화면(제1 입력부)을 얼마나 세게 누르는지 또는 디스플레이 화면(제1 입력부)을 누른 채로 어떤 방향으로 움직이는지 등은 사용자의 손가락(제2 입력부) 표면의 형태 변형 정도 및 색상 변형 정도에 기초하여 식별될 수 있다.
예를 들어, 제1 입력부는 손등 등 사용자의 신체 일부이고, 제2 입력부는 제1 입력부와 다른 신체 일부, 예를 들어 사용자의 손가락일 수 있다. 이 때, 사용자가 손가락(제2 입력부)을 이용하여 신체 일부(제1 입력부) 상 어느 위치를 터치하는지, 손가락(제2 입력부)으로 신체 일부(제1 입력부)를 얼마나 세게 누르는지, 또는 손가락(제2 입력부)으로 신체 일부(제1 입력부)를 누른 채로 어떤 방향으로 움직이는지 등에 따라 다양한 전단응력 패턴이 식별될 수 있다. 사용자가 손가락(제2 입력부)을 이용하여 신체 일부(제1 입력부)를 얼마나 세게 누르는지 또는 신체 일부(제1 입력부)를 누른 채로 어떤 방향으로 움직이는지 등은 사용자의 손가락(제2 입력부)과 신체 일부(제1 입력부) 표면의 형태 변형 정도 및 색상 변형 정도에 기초하여 식별될 수 있다.
일 실시예에서, 획득된 입력에 기초하여 전단응력 패턴을 식별하는 동작에는 기계 학습(machine learning) 기술이 적용될 수 있다. 예를 들어, 센서를 통해 획득된 입력은 카메라 이미지, 표면 변형 정도, 색상 변형 정도 등을 포함할 수 있고, 획득된 입력에 기초하여 접촉점의 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기의 조합으로 식별되는 전단응력 패턴을 결정하는 동작에는 컨볼루션 인코더-디코더(convolution encoder-decoder) 신경망 등이 이용될 수 있다.
단계 130에서, 전자 장치는 식별된 전단응력 패턴에 기초하여 센싱된 입력에 대응되는 제어 신호를 식별한다.
일 실시예에서, 특정한 전단응력 패턴은 전자 장치를 제어하기 위한 특정한 제어 신호에 대응될 수 있다. 본 개시의 일 실시예에 따르면, 서로 다른 전단응력 패턴에 서로 다른 제어 신호를 매칭시킴으로써, 단순히 접촉 여부에 따라 제어 신호의 인가 여부를 판단하는 경우에 비해, 다양한 제어 신호를 전자 장치에 입력할 수 있다.
도 2는 본 개시의 일 실시예에 따른 전단응력 패턴을 도시하는 도면이다.
도 2를 참조하면, 일 실시예에서 전자 장치는 제1 입력부(210) 및 제1 입력부(210)의 표면 아래에 내장된 응력 센서(215)를 포함할 수 있다. 응력 센서(215)는 제1 입력부(210) 및 제2 입력부(220) 간의 상호 작용에 따른 입력을 획득할 수 있다.
일 실시예에서, 제1 입력부(210) 및 제2 입력부(220) 간의 상호작용은, 제1 입력부(210) 및 제2 입력부(220)가 접촉 영역 내에서 접촉하는 것일 수 있다. 제1 입력부(210) 및 제2 입력부(220)의 접촉은 접촉 영역에서 전단응력을 발생시킬 수 있다.
일 실시예에서, 제1 입력부(210) 표면에 내장된 응력 센서(215)는 접촉 영역에서 제1 입력부(210) 표면의 변형 정도 또는 제1 입력부(210) 표면 상의 접촉점에 인가된 전단응력을 측정할 수 있다. 예를 들어, 응력 센서(215)는 복수의 응력 센서 유닛들을 포함할 수 있고, 복수의 응력 센서 유닛들은 제1 입력부(210)의 전면에 걸쳐 일정 간격을 가지도록 배치될 수 있다.
응력 센서(215)는 제1 입력부(210)의 표면에 가해지는 수직항력 및 전단응력을 측정할 수 있다. 예를 들어, 응력 센서(215)에 포함된 복수의 응력 센서 유닛들은 각각 배치된 포인트에서 수직항력 및 전단응력을 측정할 수 있다. 제1 입력부(210)의 표면에 가해지는 수직항력은 제2 입력부(220)가 제1 입력부(210) 표면을 누르는 힘에 관련될 수 있다. 제1 입력부(210)의 표면에 가해지는 전단응력은 제2 입력부(220)가 제1 입력부(210) 표면에 대해, 표면과 평행한 방향으로 가하는 힘에 관련될 수 있다.
전자 장치는, 응력 센서(215)를 통해 측정된 수직항력 및 전단응력에 기초하여, 제1 입력부(210) 및 제2 입력부(220)의 접촉에 따른 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 사용자는 제2 입력부(220)를 이용해 제1 입력부(210)의 표면 일부를 터치하거나 누를 수 있다. 이 때, 제1 입력부(210) 및 제2 입력부(220)의 접촉 영역에 수직항력 및 전단응력이 인가될 수 있다. 사용자는 제1 입력부(210) 및 제2 입력부(220)를 접촉시킴으로써 제1 입력부(210) 표면에 대해 형태 변형 또는 색상 변형을 일으킬 수 있다. 전자 장치는, 제1 입력부(210) 및 제2 입력부(220)가 접촉하는 영역에서의 제1 입력부(210) 또는 제2 입력부(220) 중 적어도 하나의 표면에 대한 형태 변형 정보 또는 색상 변형 정보로부터 전단응력 패턴을 식별할 수 있다.
전단응력 패턴은 제1 입력부(210) 및 제2 입력부(220)가 접촉하는 접촉점의 위치, 전단응력의 세기(shear stress strength), 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별될 수 있다.
도 2를 참조하면, 제1 입력부(210)는 전자 장치에 포함된 디스플레이 화면이고, 제2 입력부(220)는 스타일러스 펜일 수 있다. 이 때, 사용자가 제2 입력부(220)를 이용하여 제1 입력부(210) 상 어느 위치를 터치하는지, 제2 입력부(220)로 제1 입력부(210)를 얼마나 세게 누르는지, 또는 제2 입력부(220)로 제1 입력부(210)를 누른 채로 어떤 방향으로 움직이는지 등에 따라 다양한 전단응력 패턴이 식별될 수 있다. 사용자가 제2 입력부(220)를 이용하여 제1 입력부(210)를 얼마나 세게 누르는지는 예를 들어, 응력 센서(215)를 통해 측정된 수직항력에 기초하여 식별될 수 있다.
일 실시예에서, 제1 입력부(210)는 전자 장치에 포함된 디스플레이 화면이고, 제2 입력부(220)는 사용자의 손가락일 수도 있다. 이 때, 사용자가 제2 입력부(220)를 이용하여 제1 입력부(210)를 얼마나 세게 누르는지 또는 제1 입력부(210)를 누른 채로 어떤 방향으로 움직이는지는 응력 센서(215)를 통해 측정된 수직항력, 제2 입력부(220) 표면의 형태 변형 정도, 및 제2 입력부(220) 표면의 색상 변형 정도에 기초하여 식별될 수 있다.
일 실시예에서, 사용자는 제2 입력부(220)가 제1 입력부(210)의 표면에 대해 상대적으로 움직이지 않도록 전단응력을 인가할 수 있다. 이 경우, 전단응력의 세기는 최대 정지 마찰력보다 작다. 제2 입력부(220)가 제1 입력부(210)의 표면에 대해 상대적으로 움직이지 않을 경우, 전자 장치는 전단응력 패턴을 '조이스틱(joystick)'과 유사한 방식으로 제어 신호에 대응시킬 수 있다.
도 3은 본 개시의 일 실시예에 따른 카메라(315)를 이용해 전단응력 패턴을 식별하는 동작을 도시하는 도면이다.
도 3을 참조하면, 전자 장치는 영상 또는 이미지를 획득하는 카메라(315)를 포함할 수 있고, 전자 장치는 카메라(315)를 통해 제1 입력부 및 제2 입력부 간의 상호작용에 따른 입력을 획득할 수 있다.
일 실시예에서, 제1 입력부 및 제2 입력부 간의 상호작용은, 사용자의 두 손가락이 카메라(315)의 시야(FoV) 내에서 접촉하는 것일 수 있다. 제1 입력부(제1 손가락) 및 제2 입력부(제2 손가락)의 접촉은 접촉 영역에서 전단응력을 발생시킬 수 있다.
본 개시에서 카메라(315)의 '시야(Field of View, FOV)'는 카메라(315)를 통해 촬영된 이미지 또는 영상의 영역을 나타낸다. 시야는 시야각(FOV degree)으로 표현될 수도 있다. 사용자가 두 손가락을 접촉하여 접촉 영역(region of interest, ROI)에 전단응력을 발생시키는 것은 전자 장치로 제어 신호를 입력하기 위한 것일 수 있다.
도 3을 참조하면, 전자 장치는 내장된 카메라(315)를 통해 제1 입력부(제1 손가락) 및 제2 입력부(제2 손가락)의 접촉 영역에 대한 영상 또는 이미지를 획득할 수 있다. 카메라(315)를 통해 획득된 영상 또는 이미지는 접촉 영역(ROI)에서 제1 입력부 및 제2 입력부 표면의 형태 변형에 관련된 정보 및 색상 변형에 관련된 정보를 포함할 수 있다. 제1 입력부 및 제2 입력부 표면의 형태 변형에 관련된 정보 및 색상 변형에 관련된 정보는 제1 입력부 및 제2 입력부 간에 가해지는 전단응력에 관련될 수 있다.
전자 장치는, 카메라(315)를 통해 획득된 접촉 영역(ROI)의 이미지에 기초하여, 제1 입력부(제1 손가락) 및 제2 입력부(제2 손가락)의 접촉에 따른 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 사용자는 제1 입력부(제1 손가락) 및 제2 입력부(제2 손가락)을 접촉하고, 제1 입력부 및 제2 입력부 사이에 힘을 가할 수 있다. 이 때, 제1 입력부 및 제2 입력부의 접촉 영역에 압력 및 전단응력이 인가될 수 있다. 사용자는 제1 입력부 및 제2 입력부를 접촉시킴으로써 제1 입력부 표면 및 제2 입력부 표면에 대해 형태 변형 또는 색상 변형을 일으킬 수 있다. 전자 장치는, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 제1 입력부 또는 제2 입력부 중 적어도 하나의 표면에 대한 형태 변형 정보 또는 색상 변형 정보로부터 전단응력 패턴을 식별할 수 있다.
전단응력 패턴은 제1 입력부 및 제2 입력부가 접촉하는 접촉점의 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별될 수 있다.
도 3을 참조하면, 제1 입력부는 사용자의 제1 손가락이고, 제2 입력부는 제1 손가락과 다른 제2 손가락일 수 있다. 이 때, 사용자가 제1 손가락 및 제2 손가락 사이에 얼마나 큰 힘을 가하는지 또는 제1 손가락과 제2 손가락을 접촉한 채로 어떤 방향으로 힘을 가하는지는 카메라(315)를 통해 획득된 이미지에 포함된 제1 손가락 및 제2 손가락 표면의 형태 변형 정도 및 색상 변형 정도에 기초하여 식별될 수 있다. 일 실시예에서, 획득된 이미지에 기초하여 전단응력 패턴을 식별하는 동작에는 기계 학습(machine learning) 기술이 적용될 수 있다. 예를 들어, 카메라(315)를 통해 획득된 이미지에 기초하여 접촉점의 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기의 조합으로 식별되는 전단응력 패턴을 결정하는 동작에는 컨볼루션 인코더-디코더(convolution encoder-decoder) 신경망 등이 이용될 수 있다.
전자 장치는 카메라(315)를 통해 제1 손가락 및 제2 손가락의 접촉 영역(ROI)에 대응되는 이미지(330, 330a, 330b)를 획득할 수 있다. 이미지 330의 경우, 제1 손가락 및 제2 손가락이 접촉만 하고 있는 경우로 판단될 수 있다. 이미지 330a의 경우, 제1 손가락 및 제2 손가락이 접촉하는 영역(P1)에서의 제1 손가락과 제2 손가락의 피부 형태 변화 및 색상 변화에 기초하여 시계방향의 전단응력 패턴(SS1)이 인가된 것으로 판단될 수 있다. 마찬가지로, 이미지 330b의 경우, 제1 손가락 및 제2 손가락이 접촉하는 영역(P2)에서의 제1 손가락과 제2 손가락의 피부 형태 변화 및 색상 변화에 기초하여 반시계방향의 전단응력 패턴(SS2)이 인가된 것으로 판단될 수 있다. 각각의 경우, 전자 장치는 식별된 전단응력 패턴에 대응되는 제어 신호를 획득할 수 있다.
이와 같이, 본 개시의 일 실시예에 따른 전자 장치에는 공간 제스처 기술 또는 컴퓨터 비전 기술이 적용될 수 있다.
컴퓨터 비전(Computer vision) 기술이란 컴퓨터를 통해 인간의 시각을 구현하는 것을 나타낸다. 즉, 컴퓨터 비전은 이미지로부터 정보를 추출하는 인공 지능 시스템에 관련될 수 있다. 이미지로부터 정보를 추출하는 동작은 예를 들어, 이미지 내의 물체의 종류, 크기, 방향 위치 등 3차원적 공간 정보를 실시간으로 알아내는 기술, 인간과 같이 사물을 판별하고 각각의 사물의 동작을 인식하는 기술, 또는 기계가 자신의 위치를 인식하는 기술 등을 포함할 수 있다. 또한, 컴퓨터 비전은 카메라, 에지 기반 또는 클라우드 기반 컴퓨팅, 소프트웨어, 및 인공지능(AI)을 결합하여 시스템이 사물을 확인하고 식별할 수 있도록 한다.
일 실시예에서, 전단응력은 제1 입력부와 제2 입력부가 상대적으로 움직이지 않는 상태에서도 인가될 수 있다. 이러한 정적 모드(static mode)에서의 전단응력은 객체의 '움직임'을 추적하는 일반적인 제스처(gesture) 인식 방법으로는 감지할 수 없다. 사용자가 두 손가락의 상대적인 위치를 변경하기 않는 상태에서 두 손가락 사이에 힘을 가할 때, 접촉 영역에서 손가락 피부의 형태나 색상은 변할 수 있다. 예를 들어, 탄성을 가지는 피부 표면이 가해진 힘으로 인해 형태가 변할 수 있고, 접촉점에 힘을 줌으로 인해서 접촉 부위의 피부 색이 변할 수 있다. 따라서, 본 개시의 일 실시예에 따른 전자 장치는 카메라(315)를 통해 제1 손가락 및 제2 손가락이 접촉하는 부분의 피부 변형 정도를 영상 또는 이미지로 획득할 수 있고, 획득된 영상 또는 이미지에 기초하여 전단응력 패턴을 식별할 수 있다.
두 개의 입력부, 예를 들어, 두 개의 손가락의 상대적인 위치와 상대적인 모션만을 식별하는 경우, 두 손가락이 접촉하였는지 아닌지 또는 두 손가락 사이의 상대적인 간격에 따른 모션 구별 정도의 판단만이 가능하다. 이러한 경우, 구별 가능한 제스처의 개수가 제한적이며, 제스처를 통해 입력할 수 있는 제어 신호의 개수도 제한적이다. 한편, 본 개시의 일 실시예에 따르면, 두 개의 입력부의 상대적인 위치, 상대적인 모션에 추가로 두 입력부의 간의 다양한 전단응력 패턴을 이용할 수 있어, 다양한 제스처를 구별할 수 있다. 따라서, 다양한 제스처를 통해 다양한 제어 신호를 전자 장치에 입력할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 카메라를 통해 획득된 이미지에 기초하여 두 개의 입력부가 상호 접촉하는 접촉 영역에서의 전단응력 패턴을 식별함으로써, 추가적인 별도의 보조 수단 없이도 전자 장치로 제어 신호를 입력할 수 있다. 한편, 별도의 추가적인 입력 보조 수단이 존재하는 경우에도, 보조 수단을 통해 입력된 제어 신호 식별의 정확도를 카메라를 통해 획득된 이미지의 분석에 기초하여 높일 수도 있다.
도 4는 본 개시의 일 실시예에 따른 전단응력(P)을 도시하는 도면이다.
전단응력(P)은 물체(410)의 표면에 평행하게 작용하는 응력으로서, 외부에서 물체의 표면에 물체의 표면과 평행한 방향으로 힘을 가했을 때, 표면을 원상태로 복귀시키려고 하는 저항력을 나타낸다.
도 4를 참조하면, 전단응력 패턴은 정적 모드(static mode) 또는 동적 모드(dynamic mode)를 가질 수 있다. 정적 모드의 전단응력 패턴에서 전단응력(P) 세기는 최대 정지 마찰력(R max)의 세기보다 작다(P ≤ R max=kmax*N). 일 실시예에서, 사용자는 탄성 표면에 최대 정지 마찰력(R max)보다 작은 전단응력(P)을 인가할 수 있다. 이 경우, 사용자가 당기는 힘(전단응력, P)과 마찰력(R)의 세기는 동일할 수 있다. 일 실시예에서, 마찰력(R)은 수직항력(normal force, N)에 마찰계수(friction coefficient, k)를 곱한 값으로 나타낼 수 있다. 최대 정지 마찰력(R max)은 수직항력(N)에 최대 정지 마찰계수(kmax)를 곱한 값으로 나타낼 수 있다. 예를 들어, 제1 입력부(410)가 제2 입력부(420)에 접촉하여 이동하려는 힘(전단응력, P)이 최대 정지 마찰력(R max)에 비해 작을 경우, 제1 입력부(410) 및 제2 입력부(420) 간의 상대적인 움직임(모션, motion)이 감지되지 않는다. 이 때, 수직항력(N) 및 전단응력(P)의 세기 및 방향은 전단응력 패턴을 구성하는 요소들이 될 수 있다.
동적 모드의 전단응력 패턴에서 전단응력(P)의 세기는 최대 정지 마찰력(R max)의 세기보다 크다(P > R max=kmax*N). 예를 들어, 제1 입력부(410)가 제2 입력부(420)에 접촉하여 이동하려는 힘(전단응력, P)이 최대 정지 마찰력(R max)에 비해 클 경우, 제1 입력부(410) 및 제2 입력부(420) 간의 상대적인 움직임(모션, motion)이 카메라 등의 센서를 통해 감지될 수 있다. 이 때, 제1 입력부(410) 및 제2 입력부(420) 간의 상대적인 움직임 또한 전단응력 패턴을 구성하는 하나의 요소가 될 수 있다.
도 5는 본 개시의 일 실시예에 따른 전단응력(P) 및 변형응력(D)을 도시하는 도면이다.
일 실시예에서, 전단응력 패턴은 전단응력(P)의 세기와 방향에 기초하여 식별될 수 있다. 사용자가 손가락(제2 입력부)(520)을 제1 입력부(510)에 접촉한 상태로 움직임으로써 전단응력(P)의 패턴을 변화시킬 수 있고, 전자 장치로 입력되는 제어 신호를 변경할 수 있다. 제1 입력부(510)의 탄성 표면의 변형 정도는 제1 입력부(510)에 인가된 전단응력(P)의 세기에 비례한다.
일 실시예에서, 수직항력(N)과 전단응력(P)의 합력으로 인해 제1 입력부(510)의 탄성 표면에 변형이 일어날 수 있다. 제1 입력부(510)의 표면에 형태 변형이 일어나면 변형응력(deformation stress, D)이 발생한다. 도 5를 참조하면, 제1 입력부(510) 및 제2 입력부(520)의 접촉점으로부터 전단응력(P)측 방향에서는 접힌 표면을 피려는 변형응력(D1)이 발생하고, 제1 입력부(510) 및 제2 입력부(520)의 접촉점으로부터 전단응력(P)의 반대측 방향에서는 당겨진 표면을 복구하려는 변형응력(D2)이 발생한다. 정적 모드(static mode)에서, 전단응력(P), 변형응력(D), 및 마찰력(R)은 힘의 평형을 이룰 수 있다.
제1 입력부(510)를 구성하는 물체의 탄성 표면에 다른 물체(예를 들어, 제2 입력부(520))가 접촉할 때, 제1 입력부(510) 내부 시스템의 힘(표면 전단응력(P) 및 깊이 압력)이 변형될 수 있다. 제1 입력부(510)의 탄성 표면에 인가된 수평방향 힘이 최대 정지 마찰력보다 작을 때, 제1 입력부(510)에 접촉하는 다른 물체(제2 입력부(520))는 탄성 표면 상에서 제1 입력부(510)에 대해 상대적으로 정지한다.
전단응력 패턴은 다양한 세기의 인가 압력(수직항력과 연관될 수 있음)과 다양한 세기의 전단응력에 기초하여 다양하게 결정될 수 있다. 제1 입력부(510) 및 제2 입력부(520)의 접촉면에 인가되는 압력의 세기와 전단응력의 세기는 카메라 또는 응력 센서를 포함하는 센서를 통해 획득될 수 있다. 예를 들어, 카메라를 통해 획득된 영상 또는 이미지에서 식별된 제1 입력부(510) 또는 제2 입력부(520) 표면의 형태 변형 정도 및 색상 변형 정도로부터 전단응력이 계산되어 전단응력 패턴이 획득될 수 있고, 또는, 응력 센서를 통해 측정된 전단응력으로부터 전단응력 패턴이 획득될 수 있다.
일 실시예에서, 제1 입력부(510) 또는 제2 입력부(520) 중 적어도 하나로 사용자의 손이 적용될 수 있다. 사용자의 손 피부에 인가되는 압력은 접촉 부위의 피부색을 변화시킬 수 있다. 다른 물체와의 접촉 부위에서 사용자의 손 피부는 혈액 모세혈관의 변형으로 인해 색상이 변할 수 있다. 또한, 사용자의 피부가 다른 물체로 눌리는 경우, 깊이가 변함에 따라 피부 색상이 변할 수도 있다. 사용자의 손 피부에 인가되는 전단응력(P)은 접촉 부위 및 주변의 피부 형태를 변형시킬 수 있다. 피부 표면의 변형 정도는 인가된 전단응력(P)의 세기에 따라 달라질 수 있다.
도 6은 본 개시의 일 실시예에 따른 응력 센서를 이용해 전단응력 패턴(SS)을 식별하는 동작을 도시하는 도면이다.
일 실시예에서, 응력 센서(stress sensor)는 제1 입력부 표면 아래에 내장될 수 있다. 일 실시예에서, 제1 입력부를 구성하는 표면은 탄성을 가지고(elastic) 유연할 수 있다(flexible). 제1 입력부 표면에 내장된 응력 센서는 제2 입력부(620)가 제1 입력부 표면에 접촉하는 접촉점(0)에 인가된 전단응력뿐만 아니라, 제2 입력부(620)가 제1 입력부 표면에 가하는 압력을 측정할 수 있다. 제2 입력부(620)가 제1 입력부 표면에 가하는 압력에 기초하여 제1 입력부의 접촉점(0)에서 발생하는 수직항력(normal force)이 식별될 수 있다. 일 실시예에서, 제1 입력부가 디스플레이를 포함하는 경우, 응력 센서에 포함된 복수의 응력 센서 유닛들은 디스플레이의 전면에 걸쳐 일정 간격을 가지도록 배치될 수 있다. 응력 센서 유닛들은 각각 배치된 포인트에서 인가된 압력(수직항력)을 측정할 수 있다.
일 실시예에서 전단응력 패턴(SS)은, 제1 입력부 및 제2 입력부(620)가 접촉하는 접촉점(0)의 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별될 수 있다. 예를 들어, 제1 입력부 및 제2 입력부(620)가 접촉하는 접촉점(0)의 위치, 전단응력의 세기, 및 전단응력의 방향이 동일하더라도 수직항력의 크기가 상이한 경우, 서로 다른 전단응력 패턴(SS)을 가진다고 볼 수 있다.
도 6을 참조하면, 제1 입력부 표면에 내장된 응력 센서를 통해 제1 입력부 및 제2 입력부(620) 간의 상호 작용에 따른 수직항력을 획득할 수 있다. 이후, 응력 센서를 통해 획득된 각 포인트들의 수직항력에 기초하여 전단응력 패턴(SS)이 식별될 수 있다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(700)의 블록도이다.
전자 장치(700)는 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 장치일 수 있다. 예를 들어, 전자 장치(700)는 도 1을 참조하여 전술한 방법을 수행할 수 있다. 전자 장치(700)는 예를 들어, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 웨어러블 장치(wearable device), 증강 현실 장치(augmented reality device), 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치 중 적어도 하나로 구성될 수 있다.
증강 현실 장치는 증강 현실(augmented reality, AR)을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부에 착용하는 안경 형상의 증강 현실 안경 장치(augmented reality glasses), 두부에 착용하는 헤드 마운트 디스플레이 장치(head mounted display, HMD), 가상 현실 헤드셋(virtual reality headset, VRH), 또는 증강 현실 헬멧(augmented reality helmet) 등을 포함할 수 있다. 헤드 마운트형 장치의 경우, 사용자의 눈 앞에 디스플레이를 배치함으로써, 사용자에게 초대형 화면을 제공할 수 있고, 사용자의 움직임에 따라 화면이 움직이므로 사실적인 가상 세계를 제공할 수 있다.
한편, 전자 장치(700)가 전술한 예시로 한정되는 것은 아니며, 전자 장치(700)는 두 개의 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별할 수 있고, 식별된 전단응력 패턴에 대응되는 전자 장치(700)를 제어하기 위한 제어 신호를 획득할 수 있는 모든 종류의 기기를 포함할 수 있다.
도 7을 참조하면, 전자 장치(700)는 센서(710), 프로세서(720), 및 저장부(예를 들어, 메모리)(730)를 포함할 수 있다. 도 7에 도시된 구성 요소 모두가 전자 장치(700)의 필수 구성 요소인 것은 아니다. 도 7에 도시된 구성 요소보다 많은 구성 요소들에 의해 전자 장치(700)가 구현될 수도 있고, 도 7에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(700)가 구현될 수도 있다.
센서(710)는 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득할 수 있다. 일 실시예에서, 제1 입력부 및 제2 입력부 간의 상호작용은, 제1 입력부 및 제2 입력부가 접촉 영역 내에서 접촉하는 것일 수 있다. 예를 들어, 접촉 영역 내에서 제1 입력부의 표면 일부와 제2 입력부의 표면 일부가 접촉될 수 있다. 제1 입력부 및 제2 입력부의 접촉은 접촉 영역에서 전단응력을 발생시킬 수 있고, 제1 입력부 및 제2 입력부 간의 상호 작용(interaction)으로서 전자 장치(700)로의 입력의 기초가 될 수 있다.
일 실시예에서, 센서(710)는 카메라를 포함할 수 있다. 카메라는 영상, 이미지, 또는 이미지 시퀀스를 획득할 수 있다. 전자 장치(700)는 카메라를 포함하는 센서(710)를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득할 수 있다. 일 실시예에서, 카메라는 시각적 이미지를 획득하는 녹화부 및 청각적 음향을 획득하는 녹음부를 포함할 수 있다. 일 실시예에서, 카메라는 녹화부 및 녹음부로 물리적으로 분리되지 않는 단일한 구성일 수도 있다. 카메라는, 예를 들어, 단안(monocular) 카메라, 쌍안(binocular) 카메라, 적외선 카메라, 깊이 센서, 라이다(lidar), 또는 UWB 레이더(radar) 중 적어도 하나를 포함할 수 있다. 카메라를 포함하는 센서(710)는 전술한 도 3의 센서(315)와 대응될 수 있다.
일 실시예에서, 센서(710)는 응력 센서(stress sensor)를 더 포함할 수 있다. 전자 장치(700)는, 응력 센서를 포함하는 센서(710)를 통해 접촉 영역에서 제1 입력부 또는 제2 입력부의 표면의 변형 정도 또는 제1 입력부 및 제2 입력부가 접촉하는 접촉점에 인가된 전단응력을 측정할 수 있다. 응력 센서는 제1 입력부 또는 제2 입력부 표면에 내장될 수 있다. 제1 입력부 표면에 내장된 응력 센서는 제1 입력부 표면의 변형 정도 또는 제1 입력부 표면 상의 접촉점에 인가된 전단응력을 측정할 수 있다. 제2 입력부 표면에 내장된 응력 센서는 제2 입력부 표면의 변형 정도 또는 제2 입력부 표면 상의 접촉점에 인가된 전단응력을 측정할 수 있다. 응력 센서를 포함하는 센서(710)는 전술한 도 2의 센서(215)와 대응될 수 있다.
도 8은 본 개시의 일 실시예에 따른 응력 센서를 도시하는 도면이다. 도 8을 참조하면, 전자 장치(700)가 디스플레이를 포함하는 제1 입력부를 포함하는 경우, 응력 센서는 디스플레이의 엣지를 따라 배치되거나(810), 디스플레이의 일부에 격자무늬로 배치될 수 있다(820). 일 실시예에서, 응력 센서는 복수의 응력 센서 유닛들을 포함할 수 있다. 응력 센서 유닛들은 디스플레이의 전면에 걸쳐 일정한 간격으로 배치될 수 있다(830).
일 실시예에서, 제1 입력부 표면의 변형 정도를 측정하는 응력 센서는 제1 입력부의 표면 상 복수의 특징점들 간의 거리 차이를 측정하고 그로부터 표면의 변형 정도를 획득할 수 있다. 예를 들어, 응력 센서는 기 저장된 접촉이 이루어지지 않은 초기 상태에서의 제1 입력부 표면 상의 복수의 특징점들의 배열 정보와, 접촉이 이루어진 상태에서의 복수의 특징점들의 배열 정보를 비교함으로써 제1 입력부 표면의 변형 정도를 획득할 수 있다.
디스플레이는 시각적 이미지를 외부로 표시하여 출력할 수 있다. 예를 들어, 디스플레이는 이미지 시퀀스를 외부로 출력할 수 있다. 일 실시예에서, 디스플레이는 패널(panel)을 포함할 수 있다. 디스플레이는 예를 들어, 액정 디스플레이(liquid crystal display), 디지털 미러 표시 장치(digital mirror divice), 실리콘 액정 표시 장치(liquid crystal on silicon), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 마이크로 LED(micro LED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나로 구성될 수 있다.
저장부(730)는 전자 장치(700)의 동작을 제어하기 위해 후술할 프로세서(720)에 의해 실행될 프로그램을 저장할 수 있다. 저장부(730)는 전자 장치(700)의 동작을 제어하기 위한 적어도 하나의 명령어들(instructions)을 포함하는 프로그램을 저장할 수 있다. 저장부(730)에는 프로세서(720)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 일 실시예에서, 프로세서(720)는 저장부(730)에 저장된 프로그램의 명령어들 또는 코드들을 실행하도록 구현될 수 있다. 저장부(730)는 전자 장치(700)로 입력되거나 전자 장치(700)로부터 출력되는 데이터를 저장할 수 있다.
저장부(730)는 예를 들어, 플래시 저장부(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 저장부(예를 들어, SD 또는 XD 저장부 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 저장부, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
저장부(730)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있다.
프로세서(720)는, 전자 장치(700)의 전반적인 동작을 제어할 수 있다. 프로세서(720)는 본 개시의 일 실시예에 따른 동작들을 수행할 수 있다. 예를 들어, 프로세서(720)는 저장부(730)에 저장된 프로그램들을 실행함으로써, 카메라를 포함하는 센서(710), 디스플레이, 및 저장부(730) 등을 전반적으로 제어할 수 있다.
프로세서(720)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(720)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
프로세서(720)는 저장부(730)에 저장된 적어도 하나의 명령어들을 실행함으로써, 센서(710)를 제어하여 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하고, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하고, 식별된 전단응력 패턴에 기초하여 입력에 대응되는 제어 신호를 식별할 수 있다.
일 실시예에서, 제1 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있다. 탄성 표면은 제1 입력부 및 제2 입력부가 접촉하는 영역을 포함할 수 있다. 제2 입력부는 사용자의 손가락 또는 스타일러스 펜 중 적어도 하나를 포함할 수 있다. 제2 입력부 또한 탄성 및 유연성을 가지는 탄성 표면을 포함할 수 있다.
일 실시예에서, 프로세서(720)는 저장부(730)에 저장된 적어도 하나의 명령어들을 실행함으로써, 제1 입력부 및 제2 입력부가 접촉하는 영역에서의 탄성 표면의 변형 정도에 기초하여 전단응력 패턴을 식별할 수 있다. 탄성 표면의 변형 정도는 탄성 표면의 형태 변형 정도 및 색상 변형 정도 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 프로세서(720)는 저장부(730)에 저장된 적어도 하나의 명령어들을 실행함으로써, 제1 입력부 및 제2 입력부가 접촉하는 위치, 전단응력의 세기, 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 전단응력 패턴을 식별할 수 있다.
일 실시예에서, 특정한 전단응력 패턴은 전자 장치를 제어하기 위한 특정한 제어 신호에 대응될 수 있다. 본 개시의 일 실시예에 따르면, 서로 다른 전단응력 패턴에 서로 다른 제어 신호를 매칭시킴으로써, 단순히 접촉 여부에 따라 제어 신호의 인가 여부를 판단하는 경우에 비해, 다양한 제어 신호를 전자 장치에 입력할 수 있다.
이와 같이, 본 개시의 일 실시예에 따르면, 두 개의 입력부가 상호 접촉하는 영역에서의 전단응력 패턴(shear stress pattern)에 기초하여 입력에 대응되는 제어 신호를 식별함으로써, 다양한 제어 신호를 전자 장치에 입력할 수 있도록 한다. 또한, 카메라를 통해 획득된 두 개의 입력부가 상호 접촉하는 영역의 이미지에 기초하여 접촉 영역에서의 전단응력 패턴을 식별함으로써, 추가적인 별도의 보조 수단 없이 제어 신호를 전자 장치로 입력할 수도 있고, 별도의 입력 보조 수단이 존재하는 경우에도 보조 수단을 통해 입력된 제어 신호 식별의 정확도를 더욱 높일 수 있다.
본 개시의 다양한 실시예들은 하나 이상의 컴퓨터 프로그램들에 의해 구현 또는 지원될 수 있고, 컴퓨터 프로그램들은 컴퓨터 판독 가능한 프로그램 코드(code)로부터 형성되고, 컴퓨터로 판독 가능한 매체에 수록될 수 있다. 본 개시에서, "애플리케이션(application)" 및 "프로그램(program)"은 컴퓨터 판독 가능한 프로그램 코드에서의 구현에 적합한 하나 이상의 컴퓨터 프로그램, 소프트웨어 컴포넌트, 명령어 세트, 프로시저(procedure), 함수, 개체(object), 클래스, 인스턴스, 관련 데이터, 또는 그것의 일부를 나타낼 수 있다. "컴퓨터 판독 가능한 프로그램 코드"는, 소스 코드, 목적 코드, 및 실행 가능한 코드를 포함하는 다양한 유형의 컴퓨터 코드를 포함할 수 있다. "컴퓨터 판독 가능한 매체"는, ROM(read only memory), RAM(random access memory), 하드 디스크 드라이브(HDD), CD(compact disc), DVD(digital video disc), 또는 다양한 유형의 메모리와 같이, 컴퓨터에 의해 액세스될 수 있는 다양한 유형의 매체를 포함할 수 있다.
또한, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장 매체'는 실재(tangible)하는 장치이고, 일시적인 전기적 또는 다른 신호들을 전송하는 유선, 무선, 광학적, 또는 다른 통신 링크들을 배제할 수 있다. 한편, 이 '비일시적 저장 매체'는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예를 들어, '비일시적 저장 매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능한 매체는, 데이터가 영구적으로 저장될 수 있는 매체와 데이터가 저장되고 나중에 덮어쓰기 될 수 있는 매체, 이를테면 재기입 가능한 광 디스크 또는 소거 가능한 메모리 디바이스를 포함한다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예를 들어, compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예를 들어, 플레이 스토어)를 통해 또는 두 개의 사용자 장치들(예를 들어, 스마트폰) 간에 직접, 온라인으로 배포(예를 들어, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예를 들어, 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 방법에 있어서,
    센서를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 단계;
    상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하는 단계; 및
    상기 식별된 전단응력 패턴에 기초하여 상기 입력에 대응되는 제어 신호를 식별하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 센서는 카메라, 적외선 카메라, 깊이 센서, 라이다(lidar), 또는 UWB 레이더(radar) 중 적어도 하나를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 센서는 응력 센서(stress sensor)를 더 포함하는, 방법.
  4. 제3항에 있어서,
    상기 제1 입력부는 디스플레이를 포함하고,
    상기 응력 센서는 상기 디스플레이의 엣지를 따라 배치되거나, 상기 디스플레이의 전면에 걸쳐 배치되거나, 상기 디스플레이의 일부에 격자무늬로 배치되는 것인, 방법.
  5. 제1항에 있어서,
    상기 제1 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함하고,
    상기 탄성 표면은 상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역을 포함하는, 방법.
  6. 제5항에 있어서,
    상기 전단응력 패턴은 상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 상기 탄성 표면의 변형 정도에 기초하여 식별되는, 방법.
  7. 제6항에 있어서,
    상기 탄성 표면의 변형 정도는, 상기 탄성 표면의 형태 변형 정도 및 색상 변형 정도 중 적어도 하나를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 전단응력 패턴은, 상기 제1 입력부 및 상기 제2 입력부가 접촉하는 위치, 전단응력의 세기, 상기 전단응력의 방향, 및 수직항력의 크기 중 적어도 하나에 기초하여 식별되는, 방법.
  9. 제1항에 있어서,
    상기 제2 입력부는 사용자의 손가락 또는 스타일러스 펜(stylus pen) 중 적어도 하나를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 제2 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함하고,
    상기 탄성 표면은 상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역을 포함하는, 방법.
  11. 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 제어 신호를 획득하는 전자 장치에 있어서,
    제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 센서;
    적어도 하나의 명령어(instruction)를 포함하는 프로그램을 저장하는 저장부; 및
    상기 저장부에 저장된 적어도 하나의 명령어를 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 센서를 제어함으로써 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하고,
    상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하고,
    상기 식별된 전단응력 패턴에 기초하여 상기 입력에 대응되는 제어 신호를 식별하는, 전자 장치.
  12. 제11항에 있어서,
    상기 센서는 응력 센서(stress sensor)를 포함하고,
    상기 제1 입력부는 상기 전자 장치에 포함되며, 디스플레이를 포함하고,
    상기 응력 센서는 상기 디스플레이의 엣지를 따라 배치되거나, 상기 디스플레이의 전면에 걸쳐 배치되거나, 상기 디스플레이의 일부에 격자무늬로 배치되는 것인, 전자 장치.
  13. 제11항에 있어서,
    상기 제1 입력부는 탄성 및 유연성을 가지는 탄성 표면을 포함하고,
    상기 탄성 표면은 상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역을 포함하는, 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는 상기 저장부에 저장된 적어도 하나의 명령어들을 실행함으로써,
    상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 상기 탄성 표면의 변형 정도에 기초하여 상기 전단응력 패턴을 식별하는, 전자 장치.
  15. 센서를 통해 제1 입력부 및 제2 입력부 간의 상호 작용에 따른 입력을 획득하는 단계;
    상기 제1 입력부 및 상기 제2 입력부가 접촉하는 영역에서의 전단응력 패턴을 식별하는 단계; 및
    상기 식별된 전단응력 패턴에 기초하여 상기 입력에 대응되는 제어 신호를 식별하는 단계를 포함하는, 방법을 컴퓨터에서 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2023/003041 2022-03-10 2023-03-06 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치 WO2023172006A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220030319A KR20230133147A (ko) 2022-03-10 2022-03-10 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치
KR10-2022-0030319 2022-03-10

Publications (1)

Publication Number Publication Date
WO2023172006A1 true WO2023172006A1 (ko) 2023-09-14

Family

ID=87935390

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003041 WO2023172006A1 (ko) 2022-03-10 2023-03-06 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치

Country Status (2)

Country Link
KR (1) KR20230133147A (ko)
WO (1) WO2023172006A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085355A1 (en) * 2010-02-03 2016-03-24 Cypress Semiconductor Corporation Force sensor baseline calibration
JP2016184391A (ja) * 2015-03-26 2016-10-20 Ｎｌｔテクノロジー株式会社 触覚提示装置及び電子機器並びに触覚提示装置の駆動方法
US20170277350A1 (en) * 2016-03-22 2017-09-28 Synaptics Incorporated Force sensor recalibration
WO2021188115A1 (en) * 2020-03-20 2021-09-23 Google Llc Touchpad with force sensing components and method for assessing health of force sensing components in-situ
US20210405842A1 (en) * 2017-03-03 2021-12-30 Nippon Telegraph And Telephone Corporation Force sense presenting object and force sense presenting method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085355A1 (en) * 2010-02-03 2016-03-24 Cypress Semiconductor Corporation Force sensor baseline calibration
JP2016184391A (ja) * 2015-03-26 2016-10-20 Ｎｌｔテクノロジー株式会社 触覚提示装置及び電子機器並びに触覚提示装置の駆動方法
US20170277350A1 (en) * 2016-03-22 2017-09-28 Synaptics Incorporated Force sensor recalibration
US20210405842A1 (en) * 2017-03-03 2021-12-30 Nippon Telegraph And Telephone Corporation Force sense presenting object and force sense presenting method
WO2021188115A1 (en) * 2020-03-20 2021-09-23 Google Llc Touchpad with force sensing components and method for assessing health of force sensing components in-situ

Also Published As

Publication number Publication date
KR20230133147A (ko) 2023-09-19

Similar Documents

Publication Publication Date Title
US11009949B1 (en) Segmented force sensors for wearable devices
Desai et al. Human Computer Interaction through hand gestures for home automation using Microsoft Kinect
US20200103961A1 (en) IMU for Touch Detection
Matlani et al. Virtual mouse using hand gestures
WO2022014790A1 (en) Guided backpropagation-gradient updating for image processing task using redundant information from image
WO2022197136A1 (en) System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training
US11854308B1 (en) Hand initialization for machine learning based gesture recognition
WO2021221490A1 (en) System and method for robust image-query understanding based on contextual features
WO2023172006A1 (ko) 두 개의 입력부가 접촉하는 영역에서 전단응력 패턴을 식별하여 전자 장치를 제어하는 방법 및 그 전자 장치
Titlee et al. A novel design of an intangible hand gesture controlled computer mouse using vision based image processing
JPWO2020084842A1 (ja) プログラム、情報処理装置、定量化方法及び情報処理システム
US11782548B1 (en) Speed adapted touch detection
TWM529213U (zh) 虛擬輸入控制器
WO2022108001A1 (ko) 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
Jain et al. Human computer interaction–Hand gesture recognition
KR102107182B1 (ko) 손 제스처 인식 시스템 및 방법
Sawicki et al. Head movement based interaction in mobility
WO2015152487A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
EP3584688A1 (en) Information processing system, information processing method, and program
Parihar et al. Hand Gesture Recognition: A Review
WO2024090745A1 (ko) 전자 장치 및 그 터치 좌표 획득 방법
WO2018034384A1 (ko) 음성 및 동작인식에 근거한 스마트보드 제어 방법 및 그 방법을 이용한 가상 레이저 포인터
Dave et al. Project MUDRA: Personalization of Computers using Natural Interface
WO2021034022A1 (en) Content creation in augmented reality environment
WO2024053895A1 (ko) 현실 공간에서 객체를 제어하는 증강 현실 서비스를 제공하는 증강 현실 디바이스 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23767107

Country of ref document: EP

Kind code of ref document: A1