WO2024101603A1 - 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법 - Google Patents

물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2024101603A1
WO2024101603A1 PCT/KR2023/011853 KR2023011853W WO2024101603A1 WO 2024101603 A1 WO2024101603 A1 WO 2024101603A1 KR 2023011853 W KR2023011853 W KR 2023011853W WO 2024101603 A1 WO2024101603 A1 WO 2024101603A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
markers
marker
contact portion
electronic device
Prior art date
Application number
PCT/KR2023/011853
Other languages
English (en)
French (fr)
Inventor
정대환
박상규
홍현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/242,372 priority Critical patent/US20240161311A1/en
Publication of WO2024101603A1 publication Critical patent/WO2024101603A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Definitions

  • This disclosure relates to an electronic device and a control method thereof, and more specifically, to an electronic device and a control method thereof for obtaining contact information about an object.
  • An electronic device that improves the touch information sensing performance of a robot hand and a control method thereof are provided.
  • an electronic device includes a contact part including a plurality of markers, a camera, and when at least one surface of the contact part contacts an object, the electronic device opposing the at least one surface
  • a first surface of a contact portion identifies a displacement of at least one of the plurality of markers based on a first image captured through the camera, and an intensity of force acting on the contact portion based on the at least one displacement; and
  • At least one processor that identifies at least one of the directions of force acting on the contact portion, wherein a first marker of the plurality of markers has a different shape than a second marker of the plurality of markers adjacent to the first marker, and Can contain at least one of the colors.
  • each of the plurality of markers includes a first pattern of at least one first shape and a second pattern of at least a second shape provided on one side of the first pattern of the at least one first shape
  • At least one processor may identify at least one of the intensity of the force and the direction of the force based on the at least one first pattern and the at least one second pattern.
  • first form may include a circular pattern
  • second form may include a linear pattern
  • the at least one processor may identify a rotational force balanced on the contact portion based on the displacement of the linear pattern.
  • the at least one second pattern includes a plurality of second patterns, and adjacent patterns of the second pattern may have different colors.
  • the first marker includes a circular first pattern and a linear first pattern facing in a first direction in the circular first pattern
  • the second marker includes the first marker in a direction opposite to the first direction.
  • Adjacent to the marker the second marker includes a circular second pattern and a linear second pattern in the circular second pattern facing a second direction perpendicular to the first direction
  • the plurality of markers include It further includes three markers and a fourth marker, wherein the third marker is adjacent to the second marker in a direction opposite to the second direction, and the third marker is located in the circular third pattern and the circular third pattern.
  • the fourth marker is adjacent to the third marker in a direction opposite to the third direction, and wherein the fourth marker is circular. It may include four patterns and a linear fourth pattern facing a fourth direction perpendicular to the third direction in the circular fourth pattern.
  • it further includes a lens array provided on an opposite surface of the contact portion and including a plurality of lenses corresponding to the plurality of markers, wherein the at least one processor detects each of the plurality of markers through each of the plurality of lenses.
  • a change in size may be identified, and a force in a direction perpendicular to the contact portion may be identified based on the identified change in size.
  • each of the plurality of markers includes a first pattern of a first shape, or includes a first pattern of the first shape and at least one second pattern of a second shape adjacent to the first pattern of the first shape. can do.
  • the at least one processor stores the first image and the second image. Based on, the at least one displacement may be identified.
  • the contact portion may include a transparent gel and a coating layer formed on top of the plurality of markers, and the plurality of markers may be provided on one side of the transparent gel.
  • a method of controlling an electronic device includes contacting at least one surface of a contact portion included in the electronic device with an object, and a first surface of the contact portion opposing the at least one surface is Identifying at least one displacement of a plurality of markers provided on the contact portion based on a first image captured through a camera of an electronic device and an intensity of force acting on the contact portion based on the at least one displacement and identifying at least one of the directions of force acting on the contact portion, wherein the first marker of the plurality of markers has a different shape and color than the second marker of the plurality of markers adjacent to the first marker. It can contain at least one.
  • each of the plurality of markers includes a first pattern of at least one first shape and a second pattern of at least a second shape provided on one side of the first pattern of the at least one first shape, At least one of the intensity of force and the direction of the force may be identified in the first pattern of the at least one first shape and the second pattern of the at least one second shape.
  • first pattern of the at least one first shape may include a circular pattern
  • second pattern of the at least one second shape may include a linear pattern
  • the step of identifying at least one of the intensity of the force and the direction of the force may identify a rotational force balanced on the contact portion based on the displacement of the linear pattern, with the circular pattern as the center.
  • the at least one second pattern may include a plurality of second patterns, and adjacent patterns of the plurality of second patterns may have different colors.
  • a non-transitory computer-readable storage medium when executed by at least one processor, causes the at least one processor to: When at least one surface of the contact portion included in the electronic device touches an object, A first surface of the contact portion facing the at least one surface identifies at least one displacement of a plurality of markers provided on the contact portion based on a first image captured through a camera of the electronic device, and the at least one Based on the displacement of, at least one of the strength of the force acting on the contact portion and the direction of the force acting on the contact portion is identified, and the first marker of the plurality of markers is the plurality of markers adjacent to the first marker. It may include at least one of a different shape and color from the second marker.
  • Each of the plurality of markers may include at least one first pattern of a first shape and at least one second pattern of a second shape provided on one side of the at least one first pattern, and when the command is executed , the at least one processor may be configured to identify at least one of the intensity of the force and the direction of the force based on the at least one first pattern and the at least one second pattern.
  • the first shape may include a circular pattern
  • the second shape may include a linear pattern
  • the instructions when executed, may cause the at least one processor to identify a rotational force parallel to the contact portion based on the displacement of the linear pattern.
  • the at least one second pattern may include a plurality of second patterns, and adjacent patterns of the plurality of second patterns may change color.
  • 1 is a diagram for explaining a method of detecting contact information.
  • Figure 2 is a block diagram showing the configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram showing the detailed configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram for explaining a plurality of markers according to various embodiments of the present disclosure.
  • Figure 5 is a diagram for explaining measurement of rotational force according to various embodiments of the present disclosure.
  • FIG. 6 is a diagram illustrating a plurality of markers including colors according to various embodiments of the present disclosure.
  • FIG. 7 and 8 are diagrams for explaining basic units of markers according to various embodiments of the present disclosure.
  • 9, 10, and 11 are diagrams to explain examples in which contact parts are implemented in circular patterns of different colors according to various embodiments of the present disclosure.
  • FIG 12, 13, and 14 are diagrams for explaining a lens array according to various embodiments of the present disclosure.
  • FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to various embodiments of the present disclosure.
  • expressions such as “have,” “may have,” “includes,” or “may include” refer to the presence of the corresponding feature (e.g., a numerical value, function, operation, or component such as a part). , and does not rule out the existence of additional features.
  • expressions such as “at least one of” when preceding a list of elements modify the entire list of elements and do not modify individual elements of the list.
  • “at least one of a, b, and c” means only a, only b, only c, both a and b, both a and c, both b and c, or all of a, b, and c. It should be understood as including.
  • expressions such as “first,” “second,” “first,” or “second,” can modify various components regardless of order and/or importance, and can refer to one component. It is only used to distinguish from other components and does not limit the components.
  • the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
  • a device eg, an artificial intelligence electronic device
  • 1 is a diagram for explaining a method of detecting contact information.
  • the contact portion may include a plurality of markers, such as marker 11, as shown at 10 in FIG. 1.
  • Each of the plurality of markers may have a circular pattern.
  • the contact portion may be implemented as a gel, and the robot may obtain contact information based on a plurality of markers included in the contact portion.
  • Contact information may include the strength and direction of force acting on the contact portion.
  • the contact part implemented as a gel may change its shape due to the shear force, and marker 1 moves to the position of 1'.
  • marker 2 can move to the 2' position, and marker 3 can move to the 3' position.
  • the robot can identify the strength and direction of the force acting on the contact part based on the displacement of marker 1, marker 2, and marker 3.
  • marker 1 may move to the 1' position
  • marker 2 may move to the 2' position
  • marker 3 may move to the 3' position.
  • the strength of the force is greater at 30 than at 20, so the position of 2' can be moved closer to the position of 1 than the position of 2, and the position of 3' can be moved closer to the position of 2 than the position of 3. there is.
  • the robot may identify that marker 1 has moved to position 2' and marker 2 has moved to position 3'. That is, a force in the right direction may be identified as being in the left direction, and an error may occur. Accordingly, there is a need to reduce errors such as the above.
  • Figure 2 is a block diagram showing the configuration of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 100 may be a device that obtains contact information.
  • the electronic device 100 may be a robot.
  • the electronic device 100 may be a robot hand or a finger portion of a robot hand.
  • the electronic device 100 may be a type of optical tactile sensor.
  • the electronic device 100 may be any device that obtains contact information.
  • the electronic device 100 includes a contact portion 110, a camera 120, and a processor 130.
  • the contact portion 110 may include a plurality of markers.
  • the first marker among the plurality of markers may be different from the second marker adjacent to the first marker in at least one of shape or color.
  • each of the plurality of markers may include a first type of pattern and a second type of pattern provided (eg, disposed) on one side of the first type of pattern.
  • the first type of pattern and the second type of pattern may be different.
  • the first type of pattern may be a circular pattern
  • the second type of pattern may be a linear pattern.
  • the pattern is not limited to this, and the first type of pattern may be a square pattern, and the second type of pattern may be a linear pattern.
  • the first type of pattern and the second type of pattern may be implemented in various forms.
  • each of the plurality of markers may be implemented not only as a first type pattern and a second type pattern, but also as three or more types of patterns.
  • adjacent second-type patterns may have different colors.
  • a first marker among the plurality of markers includes a circular first pattern and a linear first pattern pointing in a first direction in the circular first pattern
  • a second marker among the plurality of markers includes a circular first pattern in a direction opposite to the first direction
  • the third marker among the plurality of markers is It is adjacent to the second marker in a direction opposite to the second direction, and includes a circular third pattern and a linear third pattern facing in a third direction perpendicular to the circular third pattern, wherein the fourth marker among the plurality of markers is It is adjacent to the third marker in a direction opposite to the third direction and may include a circular fourth pattern and a linear fourth pattern facing in a fourth direction perpendicular to the circular fourth pattern.
  • each of the plurality of markers may include a first type pattern, or may include a first type pattern and at least one second type pattern formed adjacent to the first type pattern.
  • a plurality of markers can be implemented in various forms, which will be explained in more detail through the drawings.
  • the contact portion 110 may include a transparent gel, a plurality of markers printed on one side of the gel, and a coating layer formed on top of the plurality of markers.
  • the coating layer can prevent a plurality of markers from being worn.
  • the gel may be translucent, and any material may be transparent enough to identify a plurality of markers through the camera 120. Additionally, it is possible to implement it with materials other than gel.
  • the camera 120 is configured to capture still images or moving images.
  • the camera 120 can capture still images at a specific point in time, but can also capture still images continuously.
  • the camera 120 includes a lens, a shutter, an aperture, a solid-state imaging device, an analog front end (AFE), and a timing generator (TG).
  • the shutter controls the time when light reflected by the subject enters the camera 120
  • the aperture controls the amount of light incident on the lens by mechanically increasing or decreasing the size of the opening through which light enters.
  • a solid-state imaging device outputs the image due to the photocharge as an electrical signal.
  • the TG outputs a timing signal to read out pixel data from the solid-state imaging device, and the AFE samples and digitizes the electrical signal output from the solid-state imaging device.
  • the camera 120 may photograph the contact portion 110 under the control of the processor 130.
  • the processor 130 may identify the positions of a plurality of markers from the captured image.
  • the processor 130 may be provided as a single processor or multiple processors, and may be implemented as a single device or multiple devices.
  • the processor 130 may be referred to as at least one processor 130 in this specification.
  • the processor 130 generally controls the operation of the electronic device 100.
  • the processor 130 is connected to each component of the electronic device 100 and can generally control the operation of the electronic device 100.
  • the processor 130 may be connected to components such as the contact part 110, the camera 120, and the memory to control the operation of the electronic device 100.
  • At least one processor 130 may include one or more of a CPU, graphics processing unit (GPU), accelerated processing unit (APU), many integrated core (MIC), neural processing unit (NPU), hardware accelerator, or machine learning accelerator. You can. At least one processor 130 may control one or any combination of other components of the electronic device 100 and perform operations related to communication or data processing. At least one processor 130 may execute one or more programs or instructions stored in memory. For example, at least one processor 130 may perform a method according to an embodiment of the present disclosure by executing one or more instructions stored in memory.
  • the plurality of operations may be performed by one processor or by a plurality of processors.
  • the first operation, the second operation, and the third operation may all be performed by the first processor
  • the first operation and the second operation may be performed by a first processor (eg, a general-purpose processor)
  • the third operation may be performed by a second processor (eg, an artificial intelligence-specific processor).
  • At least one processor 130 may be implemented as a single core processor including one core, or one or more multi-core processors including a plurality of cores (e.g., homogeneous multi-core or heterogeneous multi-core). It may also be implemented as a core processor (multicore processor).
  • multicore processor When at least one processor 130 is implemented as a multi-core processor, each of the plurality of cores included in the multi-core processor may include processor internal memory such as cache memory and on-chip memory, and may include a plurality of processor internal memories such as cache memory and on-chip memory.
  • a common cache shared by cores may be included in a multi-core processor.
  • each of the plurality of cores (or some of the plurality of cores) included in the multi-core processor may independently read and perform program instructions for implementing the method according to an embodiment of the present disclosure, and all of the plurality of cores may (or part of) may be linked to read and perform program instructions for implementing the method according to an embodiment of the present disclosure.
  • the plurality of operations may be performed by one core among a plurality of cores included in a multi-core processor, or may be performed by a plurality of cores.
  • the first operation, the second operation, and the third operation are performed by the method according to an embodiment, the first operation, the second operation, and the third operation are all performed on the first core included in the multi-core processor.
  • the first operation and the second operation may be performed by the first core included in the multi-core processor, and the third operation may be performed by the second core included in the multi-core processor.
  • At least one processor 130 is included in a system-on-chip (SoC), a single-core processor, a multi-core processor, or a single-core processor or multi-core processor in which one or more processors and other electronic components are integrated.
  • SoC system-on-chip
  • a single-core processor may mean a core, where the core may be implemented as a CPU, GPU, APU, MIC, NPU, hardware accelerator, or machine learning accelerator, but embodiments of the present disclosure are not limited thereto.
  • the operation of the electronic device 100 will be described using the term processor 130.
  • the processor 130 identifies the displacement of at least one of the plurality of markers based on the first image taken of the other surface of the contact portion 110 through the camera 120. And, based on the identified displacement, at least one of the intensity or direction of force acting on the contact portion 110 may be identified.
  • the processor 130 may determine the first type pattern and the second type pattern. Based on this, at least one of the intensity of force or the direction of force can be identified. For example, when the first type of pattern is a circular pattern and the second type of pattern is a linear pattern, the processor 130 processes the displacement of the linear pattern formed on one side of the circular pattern with the circular pattern as the center. Based on this, the rotational force balanced at the contact part can be identified.
  • the electronic device 100 further includes a memory storing a second image in which the other side of the contact portion 110 is photographed through the camera 120 before the first surface of the contact portion 110 contacts an object, and the processor 130 may identify the displacement of at least one of the plurality of markers based on the first image and the second image. That is, the processor 130 may identify the displacement of at least one of the plurality of markers by comparing the second image with the currently captured first image.
  • the processor 130 may capture a plurality of images at preset time intervals and compare the second image with each of the plurality of images to identify the amount of change in at least one of the strength or direction of force. For example, the processor 130 compares the image taken at time T1 and the second image to identify the direction of force as left, and compares the image taken at time T2 after T1 with the second image to determine the direction of force. The direction can be identified as right. In this case, the processor 130 may identify that the direction of force has gradually changed.
  • the processor 130 captures a plurality of images at preset time intervals, compares the second image with each of the plurality of images, identifies the amount of change in the intensity of force, and determines the intensity of force at a future time based on the amount of change. It is also possible to predict and change the contact portion 110 to be contacted based on the predicted strength of force. For example, the processor 130 captures a plurality of images at preset time intervals, compares the second image with each of the plurality of images, and gradually increases the strength of the force, and according to the increasing trend, a preset time (e.g. For example, if it is identified that the contact portion 110 is damaged after (3 seconds), the contact between the contact portion 110 and the object may be stopped.
  • a preset time e.g. For example, if it is identified that the contact portion 110 is damaged after (3 seconds), the contact between the contact portion 110 and the object may be stopped.
  • the present invention is not limited to this, and the processor 130 may stop contacting the contact portion 110 with the object before a preset time from when the contact portion 110 is predicted to be damaged. For example, if the processor 130 identifies that the contact portion 110 is damaged after a certain period of time (e.g., 3 seconds), the processor 130 contacts the contact portion 110 2 seconds later, which is 1 second before the predicted time point at which the contact portion 110 is predicted to be damaged. Contact between portion 110 and the object may be interrupted.
  • a certain period of time e.g. 3 seconds
  • the processor 130 may provide a damage message to the user. For example, the processor 130 photographs the contact portion 110 through the camera 120 in a state where the contact portion 110 is not in contact with an object, and the photographed image is different from the second image and a preset standard. If deformed, the contact portion 110 can be identified as damaged. If the processor 130 identifies the contact portion 110 as damaged, it may display or provide a sound message to the damage message.
  • the processor 130 may update the second image when a preset usage time elapses. For example, because physical force is applied to the contact portion 110, the gel may be deformed, and accordingly, even when the contact portion 110 is not contacted by an object, a plurality of markers are different from the second image. The location may be different. Accordingly, when the preset usage time elapses, the processor 130 photographs the contact portion 110 through the camera 120 in a state in which the contact portion 110 does not contact an object, and converts the second image into the captured image. You can also update with .
  • the electronic device 100 may further include a lens array formed on the other surface of the contact portion 110 and including a plurality of lenses each corresponding to a plurality of markers.
  • the processor 130 may identify a change in size of the plurality of markers through the lens array and identify a force in a direction perpendicular to the contact portion 110 based on the identified change in size.
  • the processor 130 may identify that a force in a direction perpendicular to the contact portion 110 is applied.
  • a lens array may be implemented so that one lens magnifies a portion of a plurality of markers.
  • a lens array may be implemented so that one lens corresponds to four markers.
  • the lens array may be implemented in a form that includes lenses corresponding to some of the plurality of markers.
  • one marker among the 3 ⁇ 3 markers may be equipped with a lens, and the remaining markers among the 3 ⁇ 3 markers may not be equipped with a lens.
  • the processor 130 may identify a force in a direction perpendicular to the contact portion 110 based on a change in the size of the marker equipped with a lens.
  • the processor 130 may identify a force in a direction perpendicular to the contact portion 110 even if there is no lens array. For example, when a force in a vertical direction acts on the contact portion 110, the displacement of markers placed closer to the center point of the force in the vertical direction increases, and the displacement of markers around the center point may be toward the center point.
  • the processor 130 may detect the displacement and identify a force in a direction perpendicular to the contact portion 110 based on the displacement of the marker rather than a change in the size of the marker.
  • the memory can store the neural network model.
  • the processor 130 may input the first image and the second image into a neural network model to identify at least one of the intensity of force or the direction of force.
  • functions related to artificial intelligence according to the present disclosure may be operated through the processor 130 and memory.
  • the processor 130 may be comprised of one or multiple processors.
  • One or more processors may be general-purpose processors such as CPU, AP, DSP, graphics-specific processors such as GPU and VPU (Vision Processing Unit), or artificial intelligence-specific processors such as NPU.
  • One or more processors control input data to be processed according to predefined operation rules or artificial intelligence models stored in memory.
  • the artificial intelligence dedicated processors may be designed with a hardware structure specialized for processing a specific artificial intelligence model.
  • Predefined operation rules or artificial intelligence models are characterized by being created through learning.
  • learning may mean that an artificial intelligence model set to perform predefined operation rules or desired characteristics (or purposes) is learned by a learning algorithm using a plurality of learning data. This learning may be accomplished in the device itself that performs artificial intelligence according to the present disclosure, or may be accomplished through a separate server and/or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • An artificial intelligence model may be composed of multiple neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and neural network calculation is performed through calculation between the calculation result of the previous layer and the plurality of weights.
  • Multiple weights of multiple neural network layers can be optimized by the learning results of the artificial intelligence model. For example, a plurality of weights may be updated so that loss or cost values obtained from the artificial intelligence model are reduced or minimized during the learning process.
  • DNN deep neural networks
  • CNN Convolutional Neural Network
  • DNN Deep Neural Network
  • RNN Recurrent Neural Network
  • RBM Restricted Boltzmann Machine
  • DNN Deep Belief Network
  • BDN Bidirectional Recurrent Deep Neural Network
  • GAN Generative Adversarial Network
  • DNN Deep Q-Networks
  • FIG. 3 is a block diagram showing the detailed configuration of the electronic device 100 according to various embodiments of the present disclosure.
  • the electronic device 100 may include a contact portion 110, a camera 120, and a processor 130.
  • the electronic device 100 may further include a memory 140, a communication interface 150, a display 160, a user interface 170, a speaker 180, and a microphone 190.
  • a memory 140 may be included in the electronic device 100.
  • the memory 140 may refer to hardware that stores information such as data in electrical or magnetic form so that the processor 130 or the like can access it. To this end, the memory 140 may be implemented with at least one hardware selected from non-volatile memory, volatile memory, flash memory, hard disk drive (HDD) or solid state drive (SSD), RAM, ROM, etc. .
  • At least one instruction for operating the electronic device 100 or the processor 130 may be stored in the memory 140.
  • An instruction is a code unit that instructs the operation of the electronic device 100 or the processor 130, and may be written in machine language that a computer can understand.
  • a plurality of instructions for performing specific tasks of the electronic device 100 or the processor 130 may be stored in the memory 140 as an instruction set.
  • the memory 140 may store data, which is information in units of bits or bytes that can represent letters, numbers, images, etc. For example, a second image, a neural network model, etc. may be stored in the memory 140.
  • the memory 140 is accessed by the processor 130, and the processor 130 can read/write/modify/delete/update instructions, instruction sets, or data.
  • the communication interface 150 is a component that communicates with various types of external devices according to various types of communication methods.
  • the electronic device 100 may communicate with a server, another electronic device, a sensor of another electronic device, etc. through the communication interface 150.
  • the communication interface 150 may include a Wi-Fi module, a Bluetooth module, an infrared communication module, a wireless communication module, etc. Each communication module may be implemented in the form of at least one hardware chip.
  • the WiFi module and Bluetooth module communicate using WiFi and Bluetooth methods, respectively.
  • various connection information such as SSID and session key are first transmitted and received, and various information can be transmitted and received after establishing a communication connection using this.
  • the infrared communication module performs communication according to infrared communication (IrDA, infrared data association) technology, which transmits data wirelessly over a short distance using infrared rays between optical light and millimeter waves.
  • IrDA infrared data association
  • wireless communication modules include zigbee, 3G (3rd Generation), 3GPP (3rd Generation Partnership Project), LTE (Long Term Evolution), LTE-A (LTE Advanced), 4G (4th Generation), and 5G. It may include at least one communication chip that performs communication according to various wireless communication standards such as (5th Generation).
  • the communication interface 150 may include a wired communication interface such as HDMI, DP, Thunderbolt, USB, RGB, D-SUB, DVI, etc.
  • the communication interface 150 may include at least one of a LAN (Local Area Network) module, an Ethernet module, or a wired communication module that performs communication using a pair cable, coaxial cable, or optical fiber cable.
  • LAN Local Area Network
  • Ethernet Ethernet
  • wired communication module that performs communication using a pair cable, coaxial cable, or optical fiber cable.
  • the display 160 is a component that displays images and may be implemented as various types of displays, such as a Liquid Crystal Display (LCD), Organic Light Emitting Diodes (OLED) display, or Plasma Display Panel (PDP).
  • the display 160 may also include a driving circuit and a backlight unit that may be implemented in the form of a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT).
  • LTPS low temperature poly silicon
  • OTFT organic TFT
  • the display 160 may be implemented as a touch screen combined with a touch sensor, a flexible display, a three-dimensional (3D) display, etc.
  • the processor 130 may control the display 160 to display at least one of the intensity of force or the direction of force. Alternatively, the processor 130 may control the display 160 to display a warning about damage to the contact portion 110, a notification about damage, etc.
  • the user interface 170 may be implemented with buttons, a touch pad, a mouse, and a keyboard, or may be implemented with a touch screen that can also perform display functions and manipulation input functions.
  • the buttons may be various types of buttons such as mechanical buttons, touch pads, wheels, etc. formed on any area of the exterior of the main body of the electronic device 100, such as the front, side, or back.
  • the speaker 180 is a component that outputs not only various audio data processed by the processor 130 but also various notification sounds or voice messages.
  • the processor 130 may control the speaker 180 to output a sound that guides the state of the contact portion 110.
  • the microphone 190 is configured to receive sound input and convert it into an audio signal.
  • the microphone 190 is electrically connected to the processor 130 and can receive sound under the control of the processor 130.
  • the microphone 190 may be formed as an integrated piece, such as on the top, front, or side surfaces of the electronic device 100.
  • the microphone 190 may be provided on a remote control separate from the electronic device 100. In this case, the remote control may receive sound through the microphone 190 and provide the received sound to the electronic device 100.
  • the microphone 190 includes a microphone that collects analog sound, an amplifier circuit that amplifies the collected sound, an A/D conversion circuit that samples the amplified sound and converts it into a digital signal, and removes noise components from the converted digital signal. It may include various configurations such as filter circuits, etc.
  • the microphone 190 may be implemented in the form of a sound sensor, and any configuration that can collect sound may be used.
  • Processor 130 may receive user commands through microphone 190.
  • the electronic device 100 can identify various directions of force using the contact portion 110 including a plurality of markers implemented in various shapes or colors, and can reduce sensing errors even when the displacement is larger. Additionally, the electronic device 100 can more accurately identify the force perpendicular to the contact portion 110 by including a lens array.
  • the contact portion 110, the camera 120, and the processor 130 are each described as one, but the present invention is not limited thereto.
  • one processor may control five contacts and five cameras.
  • one camera may photograph two contact parts and one processor may sense the force acting on the two contact parts.
  • Figure 4 is a diagram for explaining a plurality of markers according to one or more embodiments of the present disclosure.
  • the first marker 405 includes a circular first pattern 410-1 and a circular first pattern ( 410-1) may include a linear first pattern 410-2 facing in the first direction.
  • the second marker 406 may be adjacent to the first marker 405 in a direction opposite to the first direction, and the circular second pattern 420-1 and the circular second pattern 420-1 ) may include a linear second pattern 420-2 facing a second direction perpendicular to the first direction.
  • the third marker 407 may be adjacent to the second marker 406 in a direction opposite to the second direction, and the circular third pattern 430-1 and the circular third pattern 430-1 ) may include a linear third pattern facing in a third direction perpendicular to the second direction facing from ).
  • the fourth marker 408 may be adjacent to the third marker in the opposite direction to the third direction, and may be the fourth marker 408 in the circular fourth pattern 440-1 and the circular fourth pattern 440-1. It may include a linear fourth pattern facing a fourth direction perpendicular to the three directions.
  • the contact portion 110 is formed by repeating markers of the same shape as the four markers 430 of the basic unit 45.
  • the contact portion 110 may be formed by repeating nine markers and markers of the same shape, and can be implemented in any number of various forms.
  • Figure 5 is a diagram for explaining measurement of rotational force according to one or more embodiments of the present disclosure.
  • a plurality of markers such as marker 50 are described as being implemented in the same form as FIG. 4 for convenience of explanation.
  • a first marker 500 is shown and includes a circular pattern 500-1 and a linear pattern 500-2.
  • the processor 130 is centered on the circular pattern 500-1 and is balanced on the contact portion 110 based on the displacement of the linear pattern 500-2 formed on one side of the circular pattern 500-1. Rotational force can be identified.
  • the processor 130 moves the linear pattern 500-2 formed on one side of the circular pattern 500-1 from the position 510 to the position 520,
  • the rotation angle of the linear pattern 500-2 can be identified around the pattern 500-1, and the rotational force balanced on the contact portion 110 can be identified based on the rotation angle.
  • FIG. 6 is a diagram illustrating a plurality of markers including colors according to various embodiments of the present disclosure.
  • the linear pattern when the linear pattern is rotated 90 degrees from the marker 600-1, the linear pattern can move from the position 610 to the position 620 and the marker 600-1 and the marker 600- 2) may be difficult to distinguish.
  • the contact portion 110 may include a color with a linear pattern added, depending on the embodiment.
  • the first linear pattern 630, the second linear pattern 640, the third linear pattern 650, and the fourth linear pattern 660 may all be different colors. Even if the first linear pattern 630 is rotated 90 degrees and has the same shape as the marker adjacent to the right, the color may be different from the second linear pattern 640, making it possible to distinguish between adjacent markers. Accordingly, the sensing error of the processor 130 can be reduced.
  • the first linear pattern 630 and the third linear pattern 650 have the same color
  • the second linear pattern 640 and the fourth linear pattern 660 have the same color. It may be implemented.
  • the circular pattern may have different colors and may be implemented in any number of different ways.
  • FIG 7 and 8 are diagrams for explaining basic unit markers according to one or more embodiments of the present disclosure.
  • the contact portion 110 may be formed by repeating markers of the same shape as the six markers. All six markers of the basic unit can be in different forms.
  • the six markers of the basic unit may be implemented in a form that is different in at least one of the shape or color.
  • 16 markers are the basic unit 800, and the contact portion 110 may be formed by repeating markers of the same shape as the 16 markers. All 16 markers of the basic unit can be in different forms.
  • the 16 markers of the basic unit may be implemented in a form that is different in at least one of the shape or color.
  • the displacement that the processor 130 can measure may increase, but manufacturing costs may increase.
  • 9, 10, and 11 are diagrams for explaining examples of the contact portion 110 implemented in circular patterns with different colors according to various embodiments of the present disclosure.
  • the contact portion 110 may include a plurality of markers having a single pattern such as the marker 900, where the plurality of markers may be implemented in two colors.
  • the first marker 910 may be red and the second marker 920 may be black. In this case, manufacturing costs can be reduced because the shapes of the plurality of markers are all the same.
  • the colors between horizontally or vertically adjacent markers are different, sensing errors of the processor 130 can be reduced. For example, as shown at 1001 in FIG. 10, when the colors between horizontally or vertically adjacent markers are the same and the magnitude of the force is relatively small, the displacement of the markers is not large, such as at 1010 and 1020, so interference between adjacent markers does not occur. does not occur. As shown in 1002 of FIG. 10, when the colors between horizontally or vertically adjacent markers are the same and the magnitude of force is relatively large, the displacement of the markers increases, which may cause interference between adjacent markers, as shown at 1030. That is, as shown at 1002 in FIG.
  • the processor 130 may identify that the marker has moved to the right and may identify that the force has acted in the right direction.
  • the processor 130 determines that 1040 is a different marker, Based on 1050 and 1060, at least one of the strength of force or the direction of force can be identified.
  • the processor 130 can sense force without error only when the displacement is less than d, as shown in 1101 of FIG. 11.
  • the displacement must be less than about 1.4d to sense force without error. That is, when the colors between horizontally or vertically adjacent markers are different, the possibility of error occurrence may be lower than when the colors between horizontally or vertically adjacent markers are the same.
  • FIG 12, 13, and 14 are diagrams for explaining a lens array according to various embodiments of the present disclosure.
  • the electronic device 100 includes a contact portion 110, a camera 120, an enclosure 1210 for housing the contact portion 110 and the camera 120, and a lens array 1220. ) may include.
  • the processor 130 is omitted for convenience of explanation.
  • the contact portion 110 includes a gel 110-1, a plurality of markers 110-2 printed on one side of the gel 110-1, and a coating layer 110-3 formed on the top of the plurality of markers 110-2. ) may include.
  • the lens array 1220 is formed on the other surface of the gel 110-1 and may include a plurality of lenses each corresponding to a plurality of markers 110-2.
  • the lens array 1220 includes a plurality of lenses 1310-1, 1310-2, ... 1310-N, each corresponding to a plurality of markers 110-2. It can be included.
  • a plurality of lenses (1310-1, 1310-2, ... 1310-N) can each magnify a plurality of markers (110-2) (that is, a plurality of lenses can magnify an image that magnifies a plurality of markers). can be used to create).
  • the processor 130 may identify a change in size of each of the plurality of markers 110-2 through each of the plurality of lenses, and identify a force in a direction perpendicular to the contact portion 110 based on the identified change in size. . For example, as shown in FIG. 14, the processor 130 changes the size of each of the plurality of markers 110-2 from a less enlarged state such as 1401 to an enlarged state such as 1402 through each of the plurality of lenses. identification, and thus the change in size of each of the plurality of markers 110-2 can be more accurately identified.
  • the plurality of markers 110-2 can be implemented in a reduced size through the above structure. In this case, the durability of the contact portion 110 is increased. Alternatively, manufacturing costs can be reduced by lowering the resolution of the camera 120 through the above structure.
  • FIG. 15 is a flowchart illustrating a method of controlling an electronic device according to various embodiments of the present disclosure.
  • one surface of a contact portion included in the electronic device may contact an object.
  • the displacement of at least one of the plurality of markers included in the contact portion may be identified.
  • the displacement may be identified based on a first image of the opposite side of the contact portion taken through a camera included in the electronic device.
  • at least one of the intensity or direction of force acting on the contact portion may be identified.
  • a first marker may be different from a second marker adjacent to the first marker in at least one of shape or color.
  • Each of the plurality of markers includes a first shape pattern and a second shape pattern provided on one side of the first shape pattern, and the step of identifying at least one of the intensity of force or the direction of force (operation S1530) includes Based on the first type of pattern and the second type of pattern, at least one of the intensity of force or the direction of force can be identified.
  • the first type of pattern may be a circular pattern
  • the second type of pattern may be a linear pattern
  • a rotational force balanced at the contact portion may be identified based on the displacement of the linear pattern, centered on the circular pattern.
  • adjacent patterns of the second type may have different colors.
  • the first marker may include a circular first pattern and a linear first pattern pointing in a first direction from the circular first pattern
  • the second marker may be adjacent to the first marker in a direction opposite to the first direction
  • the second marker may include a circular second pattern and a linear second pattern pointing in a second direction perpendicular to the first direction from the circular second pattern
  • the plurality of markers may include a third marker and a fourth marker.
  • the third marker may be adjacent to the second marker in a direction opposite to the second direction, and the third marker may be oriented in a third direction perpendicular to the second direction from the circular third pattern and the circular third pattern.
  • the fourth marker may be adjacent to the third marker in a direction opposite to the third direction, and the fourth marker may be adjacent to the third marker in a direction opposite to the third direction, and the fourth marker may be adjacent to the third marker in a direction opposite to the third direction, and the fourth marker may be adjacent to the third marker in a direction opposite to the third direction. It may include a linear fourth pattern facing in a fourth direction perpendicular to .
  • the electronic device may further include a lens array formed on the other surface of the contact portion and including a plurality of lenses each corresponding to a plurality of markers.
  • the step of identifying at least one of the intensity of force or the direction of force includes identifying a change in size of each of the plurality of markers through each of the plurality of lenses, and identifying a change in size of each of the plurality of markers based on the change in size in a direction perpendicular to the contact portion. Power can be identified.
  • each of the plurality of markers may include a first type pattern, or may include a first type pattern and at least one second type pattern formed adjacent to the first type pattern.
  • the step of identifying the displacement determines the displacement of at least one of the plurality of markers based on the first image and the second image in which the other side of the contact portion is photographed through a camera before one side of the contact portion contacts the object. can be identified.
  • the contact portion may include a transparent gel, a plurality of markers printed on one side of the gel, and a coating layer formed on top of the plurality of markers.
  • an electronic device uses a contact portion including a plurality of markers implemented in various shapes or colors to identify various directions of force and reduce sensing errors even if the displacement is larger. You can.
  • electronic devices may include lens arrays to more accurately identify forces perpendicular to the contact area.
  • the various embodiments described above may be implemented as software including instructions stored in a machine-readable storage media (e.g., a computer).
  • the device is a device capable of calling instructions stored from a storage medium and operating according to the called instructions, and may include an electronic device according to the disclosed embodiments.
  • the processor may perform the function corresponding to the instruction directly or using other components under the control of the processor.
  • Instructions may contain code generated or executed by a compiler or interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed on a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or online through an application store (e.g. Play StoreTM).
  • an application store e.g. Play StoreTM
  • at least a portion of the computer program product may be at least temporarily stored or created temporarily in a storage medium such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • the various embodiments described above are stored in a recording medium that can be read by a computer or similar device using software, hardware, or a combination thereof. It can be implemented in . In some cases, embodiments described herein may be implemented with a processor itself. According to software implementation, embodiments such as procedures and functions described in this specification may be implemented as separate software. Each piece of software may perform one or more functions and operations described herein.
  • Non-transitory computer-readable medium refers to a medium that stores data semi-permanently and can be read by a device, rather than a medium that stores data for a short period of time, such as registers, caches, and memories.
  • Specific examples of non-transitory computer-readable media may include CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, etc.
  • each component e.g., module or program
  • each component may be composed of a single or multiple entities, and some of the sub-components described above may be omitted, or other sub-components may be omitted. Additional components may be included in various embodiments. Alternatively or additionally, some components (e.g., modules or programs) may be integrated into a single entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or at least some operations may be executed in a different order, omitted, or other operations may be added. It can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

전자 장치는 복수의 마커를 포함하는 접촉 부분, 카메라 및 접촉 부분의 일면이 물체에 접촉되면, 적어도 일면에 대향하는 접촉 부분의 제 1 면이 카메라를 통해 촬영된 제 1 이미지에 기초하여 복수의 마커 중 적 어도 하나의 변위를 식별하고, 적어도 하나의 변위에 기초하여 접촉 부분에 작용하는 힘의 세기 및 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하는 적어도 하나의 프로세서를 포함하며, 복수의 마커 의 제 1 마커는 제 1 마커에 인접한 복수의 마커의 제 2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함 할 수 있다.

Description

물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법
본 개시는 전자 장치 및 그 제어 방법에 대한 것으로, 더욱 상세하게는 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되고 있다. 최근에는 사람과 유사한 형태의 로봇이 개발되고 있다.
로봇 손의 접촉 정보 센싱 성능을 향상시키는 전자 장치 및 그 제어 방법이 제공된다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백해지거나 제시된 실시예의 실시에 의해 학습될 수 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 복수의 마커를 포함하는 접촉 부분, 카메라 및 상기 접촉 부분의 적어도 일면이 물체에 접촉되면, 상기 적어도 일면에 대향하는 상기 접촉 부분의 제1 면이 상기 카메라를 통해 촬영된 제1 이미지에 기초하여 상기 복수의 마커 중 적어도 하나의 변위를 식별하고, 상기 적어도 하나의 변위에 기초하여 상기 접촉 부분에 작용하는 힘의 세기 및 상기 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하는 적어도 하나의 프로세서를 포함하며, 상기 복수의 마커의 제1 마커는 상기 제1 마커에 인접한 상기 복수의 마커의 제2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함할 수 있다.
또한, 상기 복수의 마커 각각은 적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제1 형태의 제1 패턴의 일측에 제공되는 적어도 하나의 제2 형태의 제2 패턴을 포함하며, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 제1 패턴 및 상기 적어도 하나의 제2 패턴에 기초하여 상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나를 식별할 수 있다.
그리고, 상기 제1 형태는 원형의 패턴을 포함하고, 상기 제2 형태는 선형의 패턴을 포함할 수 있다.
또한, 상기 적어도 하나의 프로세서는 상기 선형의 패턴의 변위에 기초하여 상기 접촉 부분에 평형한 회전력을 식별할 수 있다.
그리고, 상기 적어도 하나의 제2 패턴은 복수의 제2 패턴을 포함하고, 상기 제2 패턴의 인접한 패턴들은 색상이 상이할 수 있다.
또한, 상기 제1 마커는 원형의 제1 패턴 및 상기 원형의 제1 패턴에서 제1 방향을 향하는 선형의 제1 패턴을 포함하고, 상기 제2 마커는 상기 제1 방향과 반대 방향으로 상기 제1 마커에 인접하며, 상기 제2 마커는 원형의 제2 패턴 및 상기 원형의 제2 패턴에서 상기 제1 방향에 수직한 제2 방향을 향하는 선형의 제2 패턴을 포함하고, 상기 복수의 마커는 제3 마커 및 제4 마커를 더 포함하고, 상기 제3 마커는 상기 제2 방향과 반대 방향으로 상기 제2 마커에 인접하며, 상기 제3 마커는 원형의 제3 패턴 및 상기 원형의 제3 패턴에서 상기 제2 방향에 수직한 제3 방향을 향하는 선형의 제3 패턴을 포함하고, 상기 제4 마커는 상기 제3 방향과 반대 방향으로 상기 제3 마커에 인접하며, 상기 제4 마커는 원형의 제4 패턴 및 상기 원형의 제4 패턴에서 상기 제3 방향에 수직한 제4 방향을 향하는 선형의 제4 패턴을 포함할 수 있다.
그리고, 상기 접촉 부분의 대향면에 구비되며, 상기 복수의 마커에 대응되는 복수의 렌즈를 포함하는 렌즈 어레이를 더 포함하며, 상기 적어도 하나의 프로세서는 상기 복수의 렌즈 각각을 통해 상기 복수의 마커 각각의 크기 변경을 식별하고, 상기 식별된 크기 변경에 기초하여 상기 접촉 부분에 수직한 방향의 힘을 식별할 수 있다.
또한, 상기 복수의 마커 각각은 제1 형태의 제1 패턴을 포함하거나, 상기 제1 형태의 제1 패턴 및 상기 제1 형태의 제1 패턴에 인접한 적어도 하나의 제2 형태의 제2 패턴을 포함할 수 있다.
그리고, 상기 접촉 부분이 상기 물체에 접촉되기 전에 상기 접촉 부분의 표면을 상기 카메라를 통해 촬영한 제2 이미지가 저장된 메모리를 더 포함하며, 상기 적어도 하나의 프로세서는 상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 적어도 하나의 변위를 식별할 수 있다.
또한, 상기 접촉 부분은 투명한 젤 및 상기 복수의 마커의 상단에 형성된 코팅층을 포함하고, 상기 복수의 마커는 상기 투명한 젤의 일면에 제공될 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 상기 전자 장치에 포함된 접촉 부분의 적어도 일면이 물체에 접촉하는 단계, 상기 적어도 일면에 대향하는 상기 접촉 부분의 제1 면이 상기 전자 장치의 카메라를 통해 촬영된 제1 이미지에 기초하여 상기 접촉 부분에 구비된 복수의 마커의 적어도 하나의 변위를 식별하는 단계 및 상기 적어도 하나의 변위에 기초하여 상기 접촉 부분에 작용하는 힘의 세기 및 상기 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하는 단계를 포함하며, 상기 복수의 마커의 제1 마커는 상기 제1 마커에 인접한 상기 복수의 마커의 제2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함할 수 있다.
또한, 상기 복수의 마커 각각은 적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제1 형태의 제1 패턴의 일측에 제공되는 적어도 하나의 제2 형태의 제2 패턴을 포함하며, 상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나는 상기 적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제2 형태의 제2 패턴에 식별될 수 있다.
그리고, 상기 적어도 하나의 제1 형태의 제1 패턴은 원형의 패턴을 포함하고, 상기 적어도 하나의 제2 형태의 제2 패턴은 선형의 패턴을 포함할 수 있다.
또한, 상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나를 식별하는 단계는 상기 원형의 패턴을 중심으로, 상기 선형의 패턴의 변위에 기초하여 상기 접촉 부분에 평형한 회전력을 식별할 수 있다.
그리고, 상기 적어도 하나의 제2 패턴은 복수의 제2 패턴을 포함하고 상기 복수의 제2 패턴의 인접한 패턴들은 색상이 상이할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 비일시적 컴퓨터 판독 가능 저장 매체는 적어도 하나의 프로세서에 의해 실행될 때 적어도 하나의 프로세서로 하여금 상기 전자 장치에 포함된 접촉 부분의 적어도 일면이 물체에 접촉되면, 상기 적어도 일면에 대향하는 상기 접촉 부분의 제1 면이 상기 전자 장치의 카메라를 통해 촬영된 제1 이미지에 기초하여 상기 접촉 부분에 구비된 복수의 마커의 적어도 하나의 변위를 식별하고, 상기 적어도 하나의 변위에 기초하여 상기 접촉 부분에 작용하는 힘의 세기 및 상기 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하며, 상기 복수의 마커의 제1 마커는 상기 제1 마커에 인접한 상기 복수의 마커의 제2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함할 수 있다.
상기 복수의 마커 각각은 적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제1 패턴의 일측에 구비되는 적어도 하나의 제2 형태의 제2 패턴을 포함할 수 있으며, 상기 명령이 실행될 때, 적어도 하나의 프로세서가 적어도 하나의 제1 패턴 및 적어도 하나의 제2 패턴에 기초하여 힘의 강도 및 힘의 방향 중 적어도 하나를 식별하게 할 수 있다.
제1 형태는 원형 패턴을 포함할 수 있고, 제2 형태는 선형 패턴을 포함할 수 있다.
명령어는 실행될 때 적어도 하나의 프로세서로 하여금 선형 패턴의 변위에 기초하여 접촉 부분에 평행한 회전력을 식별하게 할 수 있다.
상기 적어도 하나의 제2 패턴은 복수의 제2 패턴을 포함할 수 있고, 상기 복수의 제2 패턴의 인접한 패턴은 색상이 변할 수 있다.
본 발명의 특정 실시예의 상기 및 다른 측면, 특징 및 이점은 첨부된 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해질 것이다:
도 1은 접촉 정보의 감지 방법을 설명하기 위한 도면이다.
도 2는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 3은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 4는 본 개시의 다양한 실시 예에 따른 복수의 마커를 설명하기 위한 도면이다.
도 5는 본 개시의 다양한 실시 예에 따른 회전력의 측정을 설명하기 위한 도면이다.
도 6은 본 개시의 다양한 실시 예에 따른 색상을 포함하는 복수의 마커를 설명하기 위한 도면이다.
도 7 및 8은 본 개시의 다양한 실시 예에 따른 마커의 기본 단위를 설명하기 위한 도면들이다.
도 9, 10 및 11은 본 개시의 다양한 실시 예에 따른 접촉 부분이 서로 다른 색상의 원형의 패턴으로 구현된 예를 설명하기 위한 도면들이다.
도 12, 13 및 14는 본 개시의 다양한 실시 예에 따른 렌즈 어레이를 설명하기 위한 도면들이다.
도 15는 본 개시의 다양한 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다. 도면에서 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 중복되는 설명은 생략한다. 여기에서 설명하는 실시 예들은 예시적인 실시 예에 불과하므로 본 발명은 이에 한정되지 않고 다른 다양한 형태로 구현될 수 있다. 단수형은 문맥상 명백히 다르게 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 합니다. 본 개시에서 사용되는 기술적이거나 과학적인 용어를 포함하는 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서 사용되는 바와 같이, "~중 적어도 하나"와 같은 표현은 요소 목록을 선행할 때 전체 요소 목록을 수정하고 목록의 개별 요소를 수정하지 않는다. 예를 들어, "a, b 및 c 중 적어도 하나"라는 표현은 a만, b만, c만, a와 b 모두, a와 c 모두, b와 c 모두, 또는 a, b, c의 모두를 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공 지능 전자 장치)를 지칭할 수 있다.
도 1은 접촉 정보의 감지 방법을 설명하기 위한 도면이다.
로봇 핸드의 접촉 부분의 예가 10으로 도시되었다. 접촉 부분은 도 1의 10에 도시된 바와 같이, 마커 11과 같이 복수의 마커를 포함할 수 있다. 복수의 마커 각각은 원형의 패턴을 가질 수 있다.
접촉 부분은 젤(gel)로 구현될 수 있으며, 로봇은 접촉 부분에 포함된 복수의 마커에 기초하여 접촉 정보를 획득할 수 있다. 접촉 정보는 접촉 부분에 작용하는 힘의 세기, 방향 등을 포함할 수 있다.
예를 들어, 20에 도시된 바와 같이, 접촉 부분에서 좌측 방향으로 shear force가 발생하면, 젤로 구현된 접촉 부분은 shear force로 인해 형태가 변경될 수 있으며, 마커 1은 1'의 위치로 이동하고, 마커 2는 2'의 위치로 이동하고, 마커 3은 3'의 위치로 이동할 수 있다. 로봇은 마커 1, 마커 2, 마커 3의 변위에 기초하여 접촉 부분에 작용하는 힘의 세기, 방향 등을 식별할 수 있다.
다만, 접촉 부분에 작용하는 힘의 세기가 증가하면 30에 도시된 바와 같은 문제가 발생할 수도 있다. 구체적으로, 마커 1은 1'의 위치로 이동하고, 마커 2는 2'의 위치로 이동하고, 마커 3은 3'의 위치로 이동할 수 있다. 이때 힘의 세기는 20보다 30에서 더 크므로, 2'의 위치가 2의 위치보다 1의 위치에 더 가깝게 이동될 수 있고, 3'의 위치가 3의 위치보다 2의 위치에 더 가까워질 수 있다. 이 경우, 로봇은 마커 1이 2'의 위치로 이동하고, 마커 2가 3'의 위치로 이동한 것으로 식별할 수도 있다. 즉, 우측 방향의 힘이 좌측 방향인 것으로 식별될 수 있으며, 오류가 발생할 수 있다. 그에 따라, 이상과 같은 오류를 줄여줄 필요가 있다.
도 2는 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
전자 장치(100)는 접촉 정보를 획득하는 장치일 수 있다. 예를 들어, 전자 장치(100)는 로봇일 수 있다. 또는, 전자 장치(100)는 로봇 핸드 또는 로봇 핸드의 손가락 부분일 수도 있다. 또는, 전자 장치(100)는 광 촉각 센서(optical tactile sensor)의 일종일 수 있다.
다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 접촉 정보를 획득하는 모든 장치가 될 수 있다.
도 2에 따르면, 전자 장치(100)는 접촉 부분(110), 카메라(120) 및 프로세서(130)를 포함한다.
접촉 부분(110)은 복수의 마커를 포함할 수 있다. 여기서, 복수의 마커 중 제1 마커는 제1 마커에 인접한 제2 마커와 형태 또는 색상 중 적어도 하나가 상이할 수 있다.
예를 들어, 복수의 마커 각각은 제1 형태의 패턴 및 제1 형태의 패턴의 일측에 제공된(예를 들어, 배치된) 제2 형태의 패턴을 포함할 수 있다. 제1 형태의 패턴과 제2 형태의 패턴은 상이할 수 있다. 가령, 제1 형태의 패턴은 원형의 패턴이고, 제2 형태의 패턴은 선형의 패턴일 수 있다. 다만, 이에 한정되는 것은 아니며, 제1 형태의 패턴은 사각형의 패턴이고, 제2 형태의 패턴은 선형의 패턴일 수 있다. 제1 형태의 패턴 및 제2 형태의 패턴은 얼마든지 다양한 형태로 구현될 수도 있다. 또한, 복수의 마커 각각은 제1 형태의 패턴 및 제2 형태의 패턴 뿐만 아니라 3가지 이상의 형태의 패턴으로 구현될 수도 있다.
또는, 복수의 마커에 포함된 복수의 제2 형태의 패턴 중 인접한 제2 형태의 패턴은 색상이 상이할 수도 있다.
또는, 복수의 마커 중 제1 마커는 원형의 제1 패턴 및 원형의 제1 패턴에서 제1 방향을 향하는 선형의 제1 패턴을 포함하고, 복수의 마커 중 제2 마커는 제1 방향과 반대 방향으로 제1 마커와 인접할 수 있고, 원형의 제2 패턴 및 원형의 제2 패턴에서 제1 방향에 수직한 제2 방향을 향하는 선형의 제2 패턴을 포함하고, 복수의 마커 중 제3 마커는 제2 방향의 반대 방향으로 제2 마커에 인접하며, 원형의 제3 패턴 및 원형의 제3 패턴에서 수직한 제3 방향을 향하는 선형의 제3 패턴을 포함하고, 복수의 마커 중 제4 마커는 제3 방향의 반대 방향으로 제3 마커에 인접하며, 원형의 제4 패턴 및 원형의 제4 패턴에서 수직한 제4 방향을 향하는 선형의 제4 패턴을 포함할 수 있다.
또는, 복수의 마커 각각은 제1 형태의 패턴을 포함하거나, 제1 형태의 패턴 및 제1 형태의 패턴에 인접하게 형성된 적어도 하나의 제2 형태의 패턴을 포함할 수도 있다.
복수의 마커는 얼마든지 다양한 형태로 구현될 수 있으며, 이에 대하여는 도면을 통해 좀더 구체적으로 설명한다.
접촉 부분(110)은 투명한 젤, 젤의 일면에 프린팅된 복수의 마커 및 복수의 마커의 상단에 형성된 코팅층을 포함할 수 있다. 코팅층은 복수의 마커가 마모되는 것을 방지할 수 있다. 다만, 이에 한정되는 것은 아니며, 젤은 반투명할 수도 있으며, 카메라(120)를 통해 복수의 마커를 식별할 수 있을 정도의 투명도의 물질이면 무방하다. 또한, 젤이 아닌 다른 물질로 구현되는 것도 가능하다.
카메라(120)는 정지 영상 또는 동영상을 촬상하기 위한 구성이다. 카메라(120)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.
카메라(120)는 렌즈, 셔터, 조리개, 고체 촬상 소자, AFE(Analog Front End), TG(Timing Generator)를 포함한다. 셔터는 피사체에 반사된 빛이 카메라(120)로 들어오는 시간을 조절하고, 조리개는 빛이 들어오는 개구부의 크기를 기계적으로 증가 또는 감소시켜 렌즈에 입사되는 광량을 조절한다. 고체 촬상 소자는 피사체에 반사된 빛이 광전하로 축적되면, 광전하에 의한 상을 전기 신호로 출력한다. TG는 고체 촬상 소자의 픽셀 데이터를 리드아웃 하기 위한 타이밍 신호를 출력하며, AFE는 고체 촬상 소자로부터 출력되는 전기 신호를 샘플링하여 디지털화한다.
카메라(120)는 프로세서(130)의 제어에 따라, 접촉 부분(110)을 촬영할 수 있다. 프로세서(130)는 촬영 이미지로부터 복수의 마커의 위치를 식별할 수 있다.
프로세서(130)는 단일 프로세서 또는 다중 프로세서로 제공될 수 있으며, 단일 장치 또는 다중 장치로 구현될 수 있다. 프로세서(130)는 본 명세서에서 적어도 하나의 프로세서(130)로 지칭될 수 있다. 프로세서(130)는 전자 장치(100)의 동작을 전반적으로 제어한다. 구체적으로, 프로세서(130)는 전자 장치(100)의 각 구성과 연결되어 전자 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 프로세서(130)는 접촉 부분(110), 카메라(120), 메모리 등과 같은 구성과 연결되어 전자 장치(100)의 동작을 제어할 수 있다.
적어도 하나의 프로세서(130)는 CPU, GPU(Graphics Processing Unit), APU(Accelerated Processing Unit), MIC(Many Integrated Core), NPU(Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 적어도 하나의 프로세서(130)는 전자 장치(100)의 다른 구성 요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 적어도 하나의 프로세서(130)는 메모리에 저장된 하나 이상의 프로그램 또는 명령어(instruction)을 실행할 수 있다. 예를 들어, 적어도 하나의 프로세서(130)는 메모리에 저장된 하나 이상의 명령어를 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.
본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제1 동작, 제2 동작, 제3 동작이 수행될 때, 제1 동작, 제2 동작 및 제3 동작 모두 제1 프로세서에 의해 수행될 수도 있고, 제1 동작 및 제2 동작은 제1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제3 동작은 제2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.
적어도 하나의 프로세서(130)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 적어도 하나의 프로세서(130)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.
본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제1 동작, 제2 동작 및 제3 동작이 수행될 때, 제1 동작, 제2 동작 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행될 수도 있고, 제1 동작 및 제2 동작은 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행되고 제3 동작은 멀티 코어 프로세서에 포함된 제2 코어에 의해 수행될 수도 있다.
본 개시의 실시 예들에서, 적어도 하나의 프로세서(130)는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 본 개시의 실시 예들이 이에 한정되는 것은 아니다. 다만, 이하에서는 설명의 편의를 위해, 프로세서(130)라는 표현으로 전자 장치(100)의 동작을 설명한다.
프로세서(130)는 접촉 부분(110)의 일면이 물체에 접촉되면, 카메라(120)를 통해 접촉 부분(110)의 타면을 촬영한 제1 이미지에 기초하여 복수의 마커 중 적어도 하나의 변위를 식별하고, 식별된 변위에 기초하여 접촉 부분(110)에 작용하는 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수 있다.
예를 들어, 복수의 마커 각각이 제1 형태의 패턴 및 제1 형태의 패턴의 일측에 형성된 제2 형태의 패턴을 포함하는 경우, 프로세서(130)는 제1 형태의 패턴 및 제2 형태의 패턴에 기초하여 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수 있다. 가령, 제1 형태의 패턴은 원형의 패턴이고, 제2 형태의 패턴은 선형의 패턴인 경우, 프로세서(130)는 원형의 패턴을 중심으로, 원형의 패턴의 일측에 형성된 선형의 패턴의 변위에 기초하여 접촉 부분에 평형한 회전력을 식별할 수 있다.
전자 장치(100)는 접촉 부분(110)의 일면이 물체에 접촉되기 전에 카메라(120)를 통해 접촉 부분(110)의 타면이 촬영된 제2 이미지가 저장된 메모리를 더 포함하며, 프로세서(130)는 제1 이미지 및 제2 이미지에 기초하여 복수의 마커 중 적어도 하나의 변위를 식별할 수 있다. 즉, 프로세서(130)는 제2 이미지와 현재 촬영된 제1 이미지를 비교하여 복수의 마커 중 적어도 하나의 변위를 식별할 수 있다.
또한, 프로세서(130)는 기설정된 시간 간격으로 복수의 이미지를 촬영하고, 제2 이미지와 복수의 이미지 각각을 비교하여 힘의 세기 또는 방향 중 적어도 하나의 변화량을 식별할 수도 있다. 예를 들어, 프로세서(130)는 T1 시점에서 촬영된 이미지와 제2 이미지를 비교하여 힘의 방향이 좌측이라고 식별하고, T1 시점 이후인 T2 시점에서 촬영된 이미지와 제2 이미지를 비교하여 힘의 방향이 우측이라고 식별할 수 있다. 이 경우, 프로세서(130)는 힘의 방향이 점점 변경된 것으로 식별할 수 있다.
또는, 프로세서(130)는 기설정된 시간 간격으로 복수의 이미지를 촬영하고, 제2 이미지와 복수의 이미지 각각을 비교하여 힘의 세기의 변화량을 식별하고, 변화량에 기초하여 미래 시점의 힘의 세기를 예측하고, 예측된 힘의 세기에 기초하여 접촉할 접촉 부분(110)을 변경할 수도 있다. 예를 들어, 프로세서(130)는 기설정된 시간 간격으로 복수의 이미지를 촬영하고, 제2 이미지와 복수의 이미지 각각을 비교하여 힘의 세기가 점점 증가하고 있으며, 증가 추세에 따라 기설정된 시간(예를 들어, 3초) 후에는 접촉 부분(110)이 손상된다고 식별되면, 접촉 부분(110)과 물체의 접촉을 중단할 수도 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(130)는 접촉 부분(110)이 손상된다고 예측되는 시점으로부터 기설정된 시간 이전에 접촉 부분(110)과 물체의 접촉을 중단할 수도 있다. 가령, 프로세서(130)는 일정 시간(예를 들어, 3초) 후에는 접촉 부분(110)이 손상된다고 식별되면, 접촉 부분(110)이 손상된다고 예측되는 시점으로부터 1초 이전인 2초 후에 접촉 부분(110)과 물체의 접촉을 중단할 수도 있다.
프로세서(130)는 접촉 부분(110)이 손상된 경우, 사용자에게 손상 메시지를 제공할 수 있다. 예를 들어, 프로세서(130)는 접촉 부분(110)이 물체를 접촉하지 않은 상태에서 카메라(120)를 통해 접촉 부분(110)을 촬영하고, 촬영된 이미지가 제2 이미지와 기설정된 기준 이상으로 변형된 경우, 접촉 부분(110)이 손상된 것으로 식별할 수 있다. 프로세서(130)는 접촉 부분(110)이 손상된 것으로 식별되면, 손상 메시지를 디스플레이하거나 사운드로 제공할 수 있다.
한편, 프로세서(130)는 기설정된 사용 시간이 경과하면 제2 이미지를 업데이트할 수도 있다. 예를 들어, 접촉 부분(110)은 물리적인 힘이 가해지기 때문에 젤의 변형 등이 있을 수 있으며, 그에 따라 접촉 부분(110)이 물체에 의해 접촉되지 않은 상태에서도 제2 이미지와는 복수의 마커의 위치가 상이할 수도 있다. 그에 따라, 프로세서(130)는 기설정된 사용 시간이 경과하면 접촉 부분(110)이 물체를 접촉하지 않은 상태에서 카메라(120)를 통해 접촉 부분(110)을 촬영하고, 제2 이미지를 촬영된 이미지로 업데이트할 수도 있다.
한편, 전자 장치(100)는 접촉 부분(110)의 타면에 형성되며, 복수의 마커에 각각 대응되는 복수의 렌즈를 포함하는 렌즈 어레이를 더 포함할 수 있다. 프로세서(130)는 렌즈 어레이를 통해 복수의 마커의 크기 변경을 식별하고, 식별된 크기 변경에 기초하여 접촉 부분(110)에 수직한 방향의 힘을 식별할 수 있다.
예를 들어, 프로세서(130)는 복수의 마커 중 적어도 하나의 크기가 증가한 경우, 접촉 부분(110)에 수직한 방향의 힘이 작용하는 것으로 식별할 수 있다.
다만, 이에 한정되는 것은 아니며, 하나의 렌즈가 복수의 마커의 일부를 확대하도록 렌즈 어레이가 구현될 수도 있다. 가령, 하나의 렌즈가 4개의 마커에 대응되도록 렌즈 어레이가 구현될 수도 있다. 또는, 복수의 마커 중 일부에 대응되는 렌즈를 포함하는 형태로 렌즈 어레이가 구현될 수도 있다. 예를 들어, 3×3의 마커 중 가운데 하나의 마커에는 렌즈가 구비되고, 3×3의 마커 중 나머지 마커에는 렌즈가 구비되지 않을 수도 있다. 프로세서(130)는 렌즈가 구비된 마커의 크기 변경에 기초하여 접촉 부분(110)에 수직한 방향의 힘을 식별할 수도 있다.
또는, 프로세서(130)는 렌즈 어레이가 없더라도 접촉 부분(110)에 수직한 방향의 힘을 식별할 수도 있다. 예를 들어, 접촉 부분(110)에 수직한 방향의 힘이 작용하는 경우, 수직한 방향의 힘의 중심점에 가깝게 배치된 마커일수록 변위가 커지며, 중심점 주위의 마커들의 변위는 중심점을 향할 수 있다. 프로세서(130)는 변위를 감지하고, 마커의 크기 변경이 아닌 마커의 변위에 기초하여 접촉 부분(110)에 수직한 방향의 힘을 식별할 수도 있다.
한편, 메모리는 신경망 모델을 저장할 수 있다. 프로세서(130)는 제1 이미지와 제2 이미지를 신경망 모델에 입력하여 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수도 있다.
한편, 본 개시에 따른 인공 지능과 관련된 기능은 프로세서(130)와 메모리를 통해 동작될 수 있다.
프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 하나 또는 복수의 프로세서는 CPU, AP, DSP 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서일 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공 지능 전용 프로세서인 경우, 인공 지능 전용 프로세서는 특정 인공 지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습은 미리 정의된 연산 규칙 또는 원하는 특징(또는 목적)을 수행하기 위해 설정된 인공지능 모델이 복수의 학습 데이터를 이용하여 학습 알고리즘에 의해 학습되는 것을 의미할 수 있다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공 지능 모델은 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공 지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공 지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다.
인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN(Convolutional Neural Network), DNN (Deep Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등이 있으나, 이에 한정되는 것은 아니다.
도 3은 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 세부 구성을 나타내는 블럭도이다. 전자 장치(100)는 접촉 부분(110), 카메라(120) 및 프로세서(130)를 포함할 수 있다. 또한, 도 3에 따르면, 전자 장치(100)는 메모리(140), 통신 인터페이스(150), 디스플레이(160), 사용자 인터페이스(170), 스피커(180), 마이크(190)를 더 포함할 수도 있다. 도 3에 도시된 구성 요소들 중 도 2에 도시된 구성 요소와 중복되는 부분에 대해서는 자세한 설명을 생략하도록 한다.
메모리(140)는 프로세서(130) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있다. 이를 위해, 메모리(140)는 비휘발성 메모리, 휘발성 메모리, 플래시 메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.
메모리(140)에는 전자 장치(100) 또는 프로세서(130)의 동작을 위한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 인스트럭션은 전자 장치(100) 또는 프로세서(130)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 기계어로 작성된 것일 수 있다. 또는, 메모리(140)에는 전자 장치(100) 또는 프로세서(130)의 특정 작업을 수행하는 복수의 인스트럭션이 인스트럭션 집합체(instruction set)로서 저장될 수도 있다.
메모리(140)에는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 정보인 데이터가 저장될 수 있다. 예를 들어, 메모리(140)에는 제2 이미지, 신경망 모델 등이 저장될 수 있다.
메모리(140)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의해 인스트럭션, 인스트럭션 집합체 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
통신 인터페이스(150)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 전자 장치(100)는 통신 인터페이스(150)를 통해 서버, 타 전자 장치, 타 전자 장치의 센서 등과 통신을 수행할 수 있다.
통신 인터페이스(150)는 와이파이 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈 등을 포함할 수 있다. 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.
와이파이 모듈, 블루투스 모듈은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 적외선 통신 모듈은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈은 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.
또는, 통신 인터페이스(150)는 HDMI, DP, 썬더볼트, USB, RGB, D-SUB, DVI 등과 같은 유선 통신 인터페이스를 포함할 수 있다.
그 밖에 통신 인터페이스(150)는 LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수도 있다.
디스플레이(160)는 이미지를 디스플레이하는 구성으로, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(160) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(160)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원(3D) 디스플레이 등으로 구현될 수 있다.
프로세서(130)는 힘의 세기 또는 힘의 방향 중 적어도 하나를 디스플레이하도록 디스플레이(160)를 제어할 수 있다. 또는, 프로세서(130)는 접촉 부분(110)의 손상 경고, 손상에 대한 알림 등을 디스플레이하도록 디스플레이(160)를 제어할 수 있다.
사용자 인터페이스(170)는 버튼, 터치 패드, 마우스 및 키보드 등으로 구현되거나, 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 버튼은 전자 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
스피커(180)는 프로세서(130)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소이다.
프로세서(130)는 접촉 부분(110)의 상태를 안내하는 사운드를 출력하도록 스피커(180)를 제어할 수 있다.
마이크(190)는 사운드를 입력받아 오디오 신호로 변환하기 위한 구성이다. 마이크(190)는 프로세서(130)와 전기적으로 연결되며, 프로세서(130)의 제어에 의해 사운드를 수신할 수 있다.
예를 들어, 마이크(190)는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 또는, 마이크(190)는 전자 장치(100)와는 별도의 리모컨 등에 구비될 수도 있다. 이 경우, 리모컨은 마이크(190)를 통해 사운드를 수신하고, 수신된 사운드를 전자 장치(100)로 제공할 수도 있다.
마이크(190)는 아날로그 형태의 사운드를 수집하는 마이크, 수집된 사운드를 증폭하는 앰프 회로, 증폭된 사운드를 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
한편, 마이크(190)는 사운드 센서의 형태로 구현될 수도 있으며, 사운드를 수집할 수 있는 구성이라면 어떠한 방식이라도 무방하다.
프로세서(130)는 마이크(190)를 통해 사용자 명령을 수신할 수 있다.
이상과 같이 전자 장치(100)는 다양한 형태 또는 색상으로 구현된 복수의 마커를 포함하는 접촉 부분(110)을 이용하여 다양한 힘의 방향을 식별하고, 좀더 변위가 크더라도 센싱 오류를 줄일 수 있다. 또한, 전자 장치(100)는 렌즈 어레이를 포함하여 접촉 부분(110)에 수직한 힘을 좀더 정확하게 식별할 수 있다.
한편, 도 2 및 도 3에서는 접촉 부분(110), 카메라(120) 및 프로세서(130)가 각각 하나인 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 하나의 프로세서가 5개의 접촉 부분 및 5개의 카메라를 제어할 수도 있다. 또는, 하나의 카메라가 2개의 접촉 부분을 촬영하고, 하나의 프로세서로 2개의 접촉 부분에 작용하는 힘을 센싱할 수도 있다.
또한, 이하에서는 전자 장치(100)의 동작을 좀더 구체적으로 설명한다. 개별적인 실시 예에 대하여 설명한다. 다만, 도 4 내지 도 14의 개별적인 실시 예는 얼마든지 조합된 상태로 실시될 수도 있다.
도 4는 본 개시의 하나 이상의 실시 예에 따른 복수의 마커를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 접촉 부분(110)에 포함된 마커(40)와 같은 복수의 마커 중 제1 마커(405)는 원형의 제1 패턴(410-1) 및 원형의 제1 패턴(410-1)에서 제1 방향을 향하는 선형의 제1 패턴(410-2)을 포함할 수 있다. 복수의 마커 중 제2 마커(406)는 제1 방향의 반대 방향으로 제1 마커(405)와 인접할 수 있으며, 원형의 제2 패턴(420-1) 및 원형의 제2 패턴(420-1)에서 제1 방향에 수직한 제2 방향을 향하는 선형의 제2 패턴(420-2)을 포함할 수 있다. 복수의 마커 중 제3 마커(407)는 제2 방향의 반대 방향으로 제2 마커(406)와 인접할 수 있으며, 원형의 제3 패턴(430-1) 및 원형의 제3 패턴(430-1)으로부터 향하는 제2 방향에 수직한 제3 방향을 향하는 선형의 제3 패턴을 포함할 수 있다. 복수의 마커 중 제4 마커(408)는 제3 마커와 제3 방향의 반대 방향으로 인접할 수 있으며, 원형의 제4 패턴(440-1) 및 원형의 제4 패턴(440-1)에서 제3 방향에 수직한 제4 방향을 향하는 선형의 제4 패턴을 포함할 수 있다.
이 경우, 프로세서(130)는 제1 마커(405)가 제2 마커(406)의 위치로 이동되더라도 선형의 제1 패턴(410-2) 및 선형의 제2 패턴(420-2)으로 인해 제1 마커(405)와 제2 마커(406)를 혼동하지 않으며, 그에 따라 간섭으로 인한 문제가 해결될 수 있다.
도 4에서는 설명의 편의를 위해, 4개의 마커가 기본 단위(45)이고, 기본 단위(45)의 4개의 마커(430)와 같은 형태의 마커들이 반복되어 접촉 부분(110)이 형성되는 것으로 도시하였으나, 이에 한정되는 것은 아니다. 예를 들어, 서로 상이한 형태의 9개의 마커가 기본 단위이고, 9개의 마커와 같은 형태의 마커들이 반복되어 접촉 부분(110)이 형성될 수도 있으며, 얼마든지 다양한 형태로 구현 가능하다.
도 5는 본 개시의 하나 이상의 실시 예에 따른 회전력의 측정을 설명하기 위한 도면이다. 도 5에서 마커(50)과 같은 복수의 마커는 설명의 편의를 위해 도 4와 같은 형태로 구현된 것으로 설명된다.
제1 마커(500)가 도시되어 있으며, 원형의 패턴(500-1) 및 선형의 패턴(500-2)을 포함한다. 프로세서(130)는 원형의 패턴(500-1)을 중심으로, 원형의 패턴(500-1)의 일측에 형성된 선형의 패턴(500-2)의 변위에 기초하여 접촉 부분(110)에 평형한 회전력을 식별할 수 있다.
예를 들어, 프로세서(130)는 도 5에 도시된 바와 같이, 원형의 패턴(500-1)의 일측에 형성된 선형의 패턴(500-2)이 510의 위치에서 520의 위치로 이동하면, 원형의 패턴(500-1)을 중심으로 선형의 패턴(500-2)의 회전 각도를 식별하고, 회전 각도에 기초하여 접촉 부분(110)에 평형한 회전력을 식별할 수 있다.
도 6은 본 개시의 다양한 실시 예에 따른 색상을 포함하는 복수의 마커를 설명하기 위한 도면이다.
60에 도시된 바와 같이, 선형의 패턴이 마커(600-1)로부터 90도 회전하는 경우, 선형의 패턴이 610의 위치에서 620의 위치로 이동할 수 있고 마커(600-1)과 마커(600-2)를 구별하기 어려울 수 있다.
접촉 부분(110)는 실시 예에 따라 선형의 패턴이 추가된 색상을 포함할 수 있다. 이 경우, 61에 도시된 바와 같이 제1 선형의 패턴(630), 제2 선형의 패턴(640), 제3 선형의 패턴(650), 제4 선형의 패턴(660)은 모두 상이한 색상일 수 있으며, 제1 선형의 패턴(630)이 90도 회전하여 우측에 인접한 마커와 형태가 동일하게 되더라도 제2 선형의 패턴(640)과 색상이 상이하여 인접한 마커 간 구별이 가능할 수 있다. 그에 따라, 프로세서(130)의 센싱 오류를 줄일 수 있다.
도 6에서는 설명의 편의를 위해, 4가지 색상을 이용하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 제1 선형의 패턴(630) 및 제3 선형의 패턴(650)의 색상이 동일하고, 제2 선형의 패턴(640) 및 제4 선형의 패턴(660)의 색상이 동일한 형태로 구현될 수도 있다. 또한, 원형의 패턴의 색상이 상이할 수도 있으며, 얼마든지 다양한 방식으로 구현될 수 있다.
도 7 및 8은 본 개시의 하나 이상의 실시 예에 따른 기본 단위의 마커를 설명하기 위한 도면들이다.
도 7에 도시된 바와 같이, 6개의 마커가 기본 단위(700)이고, 6개의 마커와 같은 형태의 마커들이 반복되어 접촉 부분(110)이 형성될 수 있다. 기본 단위의 6개의 마커는 모두 상이한 형태일 수 있다.
다만, 이에 한정되는 것은 아니며, 기본 단위의 6개의 마커는 형태 또는 색상 중 적어도 하나가 상이한 형태로 구현될 수도 있다.
또는, 도 8에 도시된 바와 같이, 16개의 마커가 기본 단위(800)이고, 16개의 마커와 같은 형태의 마커들이 반복되어 접촉 부분(110)이 형성될 수도 있다. 기본 단위의 16개의 마커는 모두 상이한 형태일 수 있다.
다만, 이에 한정되는 것은 아니며, 기본 단위의 16개의 마커는 형태 또는 색상 중 적어도 하나가 상이한 형태로 구현될 수도 있다.
기본 단위에 포함된 마커의 개수가 증가할수록 프로세서(130)가 측정할 수 있는 변위가 증가할 수 있으나, 제조 비용이 증가할 수 있다.
도 9, 10 및 11은 본 개시의 다양한 실시 예에 따른 색상이 상이한 원형의 패턴으로 구현된 접촉 부분(110)의 예를 설명하기 위한 도면들이다.
접촉 부분(110)은 도 9에 도시된 바와 같이, 마커(900)과 같은 단일 형태의 패턴을 갖는 복수의 마커를 포함할 수도 있으며, 여기서 복수의 마커는 2가지 색상으로 구현될 수 있다. 예를 들어, 제1 마커(910)는 빨간색이고, 제2 마커(920)는 검은색일 수 있다. 이 경우, 복수의 마커의 형태가 모두 동일하기 때문에 제조 비용의 절감이 가능하다.
또한, 수평 또는 수직으로 인접한 마커 간 색상이 상이하기 때문에 프로세서(130)의 센싱 오류를 줄일 수 있다. 예를 들어, 도 10의 1001에 도시된 바와 같이, 수평 또는 수직으로 인접한 마커 간 색상이 동일하고 힘의 크기가 상대적으로 작은 경우에는 1010 및 1020과 같이 마커의 변위가 크지 않아 인접한 마커 간 간섭이 발생하지 않는다. 다만, 도 10의 1002에 도시된 바와 같이, 수평 또는 수직으로 인접한 마커 간 색상이 동일하고 힘의 크기가 상대적으로 큰 경우에는 마커의 변위가 커져서 1030과 같이 인접한 마커 간 간섭이 발생할 수 있다. 즉, 도 10의 1002에 도시된 바와 같이, 힘이 좌측 방향으로 작용한 경우에도, 프로세서(130)는 마커가 오른쪽으로 이동한 것으로 식별하고, 힘이 우측 방향으로 작용한 것으로 식별할 수도 있다. 이에 대해, 도 10의 1003에 도시된 바와 같이, 수평 또는 수직으로 인접한 마커 간 색상이 상이하고 힘의 크기가 상대적으로 큰 경우에는 마커의 변위가 커지더라도 프로세서(130)는 1040이 상이한 마커이고, 1050 및 1060에 기초하여 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수 있다.
즉, 프로세서(130)는 수평 또는 수직으로 인접한 마커 간 색상이 동일한 경우에는 도 11의 1101에 도시된 바와 같이, 변위가 d 미만이어야 오류 없이 힘을 센싱할 수 있다. 다만, 수평 또는 수직으로 인접한 마커 간 색상이 상이한 경우에는 도 11의 1102에 도시된 바와 같이, 변위가 약 1.4d 미만이어야 오류 없이 힘을 센싱할 수 있다. 즉, 수평 또는 수직으로 인접한 마커 간 색상이 상이한 경우는 수평 또는 수직으로 인접한 마커 간 색상이 동일한 경우보다 오류 발생 가능성이 낮아질 수 있다.
도 12, 13 및 14는 본 개시의 다양한 실시 예에 따른 렌즈 어레이를 설명하기 위한 도면들이다.
전자 장치(100)는 도 12에 도시된 바와 같이, 접촉 부분(110), 카메라(120), 접촉 부분(110) 및 카메라(120)를 수납하기 위한 인클로저(enclose, 1210), 렌즈 어레이(1220)를 포함할 수 있다. 도 12에서는 설명의 편의를 위해, 프로세서(130)의 도시는 생략하였다.
접촉 부분(110)은 젤(110-1), 젤(110-1)의 일면에 프린팅된 복수의 마커(110-2) 및 복수의 마커(110-2)의 상단에 형성된 코팅층(110-3)을 포함할 수 있다.
렌즈 어레이는(1220)는 젤(110-1)의 타면에 형성되며, 복수의 마커(110-2)에 각각 대응되는 복수의 렌즈를 포함할 수 있다. 예를 들어, 렌즈 어레이(1220)는 도 13에 도시된 바와 같이, 복수의 마커(110-2)에 각각 대응되는 복수의 렌즈(1310-1, 1310-2, ... 1310-N)를 포함할 수 있다. 복수의 렌즈(1310-1, 1310-2, ... 1310-N)는 각각 복수의 마커(110-2)를 확대시켜 줄 수 있다(즉, 복수의 렌즈는 복수의 마커를 확대하는 이미지를 생성하는 데 사용될 수 있음).
프로세서(130)는 복수의 렌즈 각각을 통해 복수의 마커(110-2) 각각의 크기 변경을 식별하고, 식별된 크기 변경에 기초하여 접촉 부분(110)에 수직한 방향의 힘을 식별할 수 있다. 예를 들어, 프로세서(130)는 도 14에 도시된 바와 같이, 복수의 렌즈 각각을 통해 복수의 마커(110-2) 각각의 크기를 1401과 같이 덜 확대된 상태부터 1402와 같이 확대된 상태까지 식별하고, 그에 따라 복수의 마커(110-2) 각각의 크기 변경을 좀더 정확하게 식별할 수 있다.
또는, 이상과 같은 구조를 통해, 복수의 마커(110-2)를 축소된 크기로 구현할 수 있다. 이 경우, 접촉 부분(110)의 내구성이 높아지는 효과가 있다. 또는, 이상과 같은 구조를 통해, 카메라(120)의 해상도를 낮추어 제조 비용을 절감할 수도 있다.
도 15는 본 개시의 다양한 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
동작 S1510에서 전자 장치에 포함된 접촉 부분의 일면이 물체에 접촉할 수 있다. 동작 S1520에서 접촉 부분에 포함된 복수의 마커 중 적어도 하나의 변위를 식별할 수 있다. 변위는 전자 장치에 포함된 카메라를 통해 촬영된 접촉 부분의 반대면의 제1 이미지에 기초하여 식별될 수 있다. 동작 S1530에서 식별된 변위에 기초하여 접촉 부분에 작용하는 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수 있다. 복수의 마커 중 제1 마커는 제1 마커에 인접한 제2 마커와 형태 또는 색상 중 적어도 하나가 상이할 수 있다.
복수의 마커 각각은 제1 형태의 패턴 및 제1 형태의 패턴의 일측에 제공되는 제2 형태의 패턴을 포함하며, 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별하는 단계(동작 S1530)는 제1 형태의 패턴 및 제2 형태의 패턴에 기초하여 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별할 수 있다.
그리고, 제1 형태의 패턴은 원형의 패턴이고, 제2 형태의 패턴은 선형의 패턴일 수 있다.
힘의 세기 또는 힘의 방향 중 적어도 하나를 식별하는 단계(동작 S1530)는 원형의 패턴을 중심으로, 선형의 패턴의 변위에 기초하여 접촉 부분에 평형한 회전력을 식별할 수 있다.
또한, 제2 형태의 인접한 패턴들은 색상이 상이할 수 있다.
제1 마커는 원형의 제1 패턴 및 원형의 제1 패턴으로부터 제1 방향을 향하는 선형의 제1 패턴을 포함할 수 있고, 제2 마커는 제1 방향과 반대 방향으로 제1 마커에 인접할 수 있고, 제2 마커는 원형의 제2 패턴 및 원형의 제2 패턴으로부터 제1 방향에 수직인 제2 방향을 향하는 선형 제2 패턴을 포함할 수 있고, 복수의 마커는 제3 마커 및 제4 마커를 포함할 수 있고, 제3 마커는 제2 방향과 반대 방향으로 제2 마커에 인접할 수 있고, 제3 마커는 원형 제3 패턴 및 원형 제3 패턴으로부터 제2 방향에 수직인 제3 방향을 향하는 선형 제3 패턴을 포함할 수 있고, 제4 마커는 제3 방향과 반대 방향으로 제3 마커에 인접할 수 있고, 제4 마커는 원형의 제4 패턴 및 원형의 제4 패턴으로부터 제3 방향에 수직인 제4 방향을 향하는 선형의 제4 패턴을 포함할 수 있다.
또한, 전자 장치는 접촉 부분의 타면에 형성되며, 복수의 마커에 각각 대응되는 복수의 렌즈를 포함하는 렌즈 어레이를 더 포함할 수 있다. 힘의 세기 또는 힘의 방향 중 적어도 하나를 식별하는 단계(동작 S1530)는 복수의 렌즈 각각을 통해 복수의 마커 각각의 크기 변경을 식별하고, 식별된 크기 변경에 기초하여 접촉 부분에 수직한 방향의 힘을 식별할 수 있다.
한편, 복수의 마커 각각은 제1 형태의 패턴을 포함하거나, 제1 형태의 패턴 및 제1 형태의 패턴에 인접하게 형성된 적어도 하나의 제2 형태의 패턴을 포함할 수 있다.
또한, 변위를 식별하는 단계(동작 S1520)는 제1 이미지 및 접촉 부분의 일면이 물체에 접촉되기 전에 카메라를 통해 접촉 부분의 타면이 촬영된 제2 이미지에 기초하여 복수의 마커 중 적어도 하나의 변위를 식별할 수 있다.
한편, 접촉 부분은 투명한 젤, 젤의 일면에 프린팅된 복수의 마커 및 복수의 마커의 상단에 형성된 코팅층을 포함할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 전자 장치는 다양한 형태 또는 색상으로 구현된 복수의 마커를 포함하는 접촉 부분을 이용하여 다양한 힘의 방향을 식별하고, 좀더 변위가 크더라도 센싱 오류를 줄일 수 있다.
또한, 전자 장치는 렌즈 어레이를 포함하여 접촉 부분에 수직한 힘을 좀더 정확하게 식별할 수 있다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어로서 구현될 수도 있다. 소프트웨어 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서 및 도면에 개시된 본 발명의 실시예는 본 발명의 실시예에 따른 기술적 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위하여 구체적인 예를 제시한 것에 불과하며, 본 발명의 실시예의 범위를 한정하려는 것은 아니다. 따라서, 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예 외에도 본 발명의 다양한 실시예의 기술적 사상에 기초하여 도출되는 모든 수정 또는 변형예를 포함하는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    복수의 마커를 포함하는 접촉 부분;
    카메라; 및
    상기 접촉 부분의 적어도 일면이 물체에 접촉되면, 상기 적어도 일면에 대향하는 상기 접촉 부분의 제1 면이 상기 카메라를 통해 촬영된 제1 이미지에 기초하여 상기 복수의 마커 중 적어도 하나의 변위를 식별하고,
    상기 적어도 하나의 변위에 기초하여 상기 접촉 부분에 작용하는 힘의 세기 및 상기 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하는 적어도 하나의 프로세서;를 포함하며,
    상기 복수의 마커의 제1 마커는,
    상기 제1 마커에 인접한 상기 복수의 마커의 제2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 마커 각각은,
    적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제1 형태의 제1 패턴의 일측에 제공되는 적어도 하나의 제2 형태의 제2 패턴을 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 제1 패턴 및 상기 적어도 하나의 제2 패턴에 기초하여 상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나를 식별하는, 전자 장치.
  3. 제2항에 있어서,
    상기 제1 형태는,
    원형의 패턴을 포함하고,
    상기 제2 형태는,
    선형의 패턴을 포함하는, 전자 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 선형의 패턴의 변위에 기초하여 상기 접촉 부분에 평형한 회전력을 식별하는, 전자 장치.
  5. 제2항에 있어서,
    상기 적어도 하나의 제2 패턴은 복수의 제2 패턴을 포함하고,
    상기 제2 패턴의 인접한 패턴들은 색상이 상이한, 전자 장치.
  6. 제1항에 있어서,
    상기 제1 마커는 원형의 제1 패턴 및 상기 원형의 제1 패턴에서 제1 방향을 향하는 선형의 제1 패턴을 포함하고,
    상기 제2 마커는 상기 제1 방향과 반대 방향으로 상기 제1 마커에 인접하며, 상기 제2 마커는 원형의 제2 패턴 및 상기 원형의 제2 패턴에서 상기 제1 방향에 수직한 제2 방향을 향하는 선형의 제2 패턴을 포함하고,
    상기 복수의 마커는 제3 마커 및 제4 마커를 더 포함하고,
    상기 제3 마커는 상기 제2 방향과 반대 방향으로 상기 제2 마커에 인접하며, 상기 제3 마커는 원형의 제3 패턴 및 상기 원형의 제3 패턴에서 상기 제2 방향에 수직한 제3 방향을 향하는 선형의 제3 패턴을 포함하고,
    상기 제4 마커는 상기 제3 방향과 반대 방향으로 상기 제3 마커에 인접하며, 상기 제4 마커는 원형의 제4 패턴 및 상기 원형의 제4 패턴에서 상기 제3 방향에 수직한 제4 방향을 향하는 선형의 제4 패턴을 포함하는, 전자 장치.
  7. 제1항에 있어서,
    상기 접촉 부분의 대향면에 구비되며, 상기 복수의 마커에 대응되는 복수의 렌즈를 포함하는 렌즈 어레이;를 더 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 복수의 렌즈 각각을 통해 상기 복수의 마커 각각의 크기 변경을 식별하고,
    상기 식별된 크기 변경에 기초하여 상기 접촉 부분에 수직한 방향의 힘을 식별하는, 전자 장치.
  8. 제1항에 있어서,
    상기 복수의 마커 각각은,
    제1 형태의 제1 패턴을 포함하거나, 상기 제1 형태의 제1 패턴 및 상기 제1 형태의 제1 패턴에 인접한 적어도 하나의 제2 형태의 제2 패턴을 포함하는, 전자 장치.
  9. 제1항에 있어서,
    상기 접촉 부분이 상기 물체에 접촉되기 전에 상기 접촉 부분의 표면을 상기 카메라를 통해 촬영한 제2 이미지가 저장된 메모리;를 더 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 제1 이미지 및 상기 제2 이미지에 기초하여 상기 적어도 하나의 변위를 식별하는, 전자 장치.
  10. 제1항에 있어서,
    상기 접촉 부분은,
    투명한 젤; 및
    상기 복수의 마커의 상단에 형성된 코팅층;을 포함하고,
    상기 복수의 마커는 상기 투명한 젤의 일면에 제공되는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치에 포함된 접촉 부분의 적어도 일면이 물체에 접촉하는 단계;
    상기 적어도 일면에 대향하는 상기 접촉 부분의 제1 면이 상기 전자 장치의 카메라를 통해 촬영된 제1 이미지에 기초하여 상기 접촉 부분에 구비된 복수의 마커의 적어도 하나의 변위를 식별하는 단계; 및
    상기 적어도 하나의 변위에 기초하여 상기 접촉 부분에 작용하는 힘의 세기 및 상기 접촉 부분에 작용하는 힘의 방향 중 적어도 하나를 식별하는 단계;를 포함하며,
    상기 복수의 마커의 제1 마커는,
    상기 제1 마커에 인접한 상기 복수의 마커의 제2 마커와 상이한 형태 및 색상 중 적어도 하나를 포함하는, 제어 방법.
  12. 제11항에 있어서,
    상기 복수의 마커 각각은,
    적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제1 형태의 제1 패턴의 일측에 제공되는 적어도 하나의 제2 형태의 제2 패턴을 포함하며,
    상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나는, 상기 적어도 하나의 제1 형태의 제1 패턴 및 상기 적어도 하나의 제2 형태의 제2 패턴에 식별되는, 제어 방법.
  13. 제12항에 있어서,
    상기 적어도 하나의 제1 형태의 제1 패턴은,
    원형의 패턴을 포함하고,
    상기 적어도 하나의 제2 형태의 제2 패턴은,
    선형의 패턴을 포함하는, 제어 방법.
  14. 제13항에 있어서,
    상기 힘의 세기 및 상기 힘의 방향 중 적어도 하나를 식별하는 단계는,
    상기 원형의 패턴을 중심으로, 상기 선형의 패턴의 변위에 기초하여 상기 접촉 부분에 평형한 회전력을 식별하는, 제어 방법.
  15. 제12항에 있어서,
    상기 적어도 하나의 제2 패턴은 복수의 제2 패턴을 포함하고,
    상기 복수의 제2 패턴의 인접한 패턴들은 색상이 상이한, 제어 방법.
PCT/KR2023/011853 2022-11-11 2023-08-10 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법 WO2024101603A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/242,372 US20240161311A1 (en) 2022-11-11 2023-09-05 Electronic apparatus for obtaining contact information for an object and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0150485 2022-11-11
KR1020220150485A KR20240069210A (ko) 2022-11-11 2022-11-11 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/242,372 Continuation US20240161311A1 (en) 2022-11-11 2023-09-05 Electronic apparatus for obtaining contact information for an object and control method thereof

Publications (1)

Publication Number Publication Date
WO2024101603A1 true WO2024101603A1 (ko) 2024-05-16

Family

ID=91033159

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/011853 WO2024101603A1 (ko) 2022-11-11 2023-08-10 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20240069210A (ko)
WO (1) WO2024101603A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060076293A (ko) * 2003-09-16 2006-07-04 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서 및 그 센서를 이용한 힘벡터 분포 재구성방법
KR20070036015A (ko) * 2004-06-16 2007-04-02 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
KR100846305B1 (ko) * 2000-08-31 2008-07-16 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
JP2008197078A (ja) * 2007-02-08 2008-08-28 Nara Institute Of Science & Technology 触覚センサ及び触覚情報検出方法
JP2022033634A (ja) * 2020-08-17 2022-03-02 株式会社SensAI 触覚センサ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100846305B1 (ko) * 2000-08-31 2008-07-16 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
KR20060076293A (ko) * 2003-09-16 2006-07-04 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서 및 그 센서를 이용한 힘벡터 분포 재구성방법
KR20070036015A (ko) * 2004-06-16 2007-04-02 가부시키가이샤 도쿄다이가쿠 티엘오 광학식 촉각센서
JP2008197078A (ja) * 2007-02-08 2008-08-28 Nara Institute Of Science & Technology 触覚センサ及び触覚情報検出方法
JP2022033634A (ja) * 2020-08-17 2022-03-02 株式会社SensAI 触覚センサ

Also Published As

Publication number Publication date
KR20240069210A (ko) 2024-05-20

Similar Documents

Publication Publication Date Title
EP3753007A1 (en) Electronic device including flexible display
WO2021158017A1 (en) Electronic device and method for recognizing object
WO2021157904A1 (en) Electronic apparatus and controlling method thereof
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2024101603A1 (ko) 물체에 대한 접촉 정보를 획득하기 위한 전자 장치 및 그 제어 방법
WO2024080791A1 (ko) 데이터셋을 생성하기 위한 방법
WO2020171572A1 (en) Electronic apparatus and controlling method thereof
WO2022244970A1 (ko) 전자 장치의 촬영 방법 및 그 전자 장치
WO2022245129A1 (ko) 오브젝트 추적 방법 및 이를 위한 전자 장치
WO2018124473A1 (ko) 이동 로봇 장치 및 그것의 동작 제어 방법
WO2024063301A1 (ko) Ui 오브젝트를 포함하는 템플릿을 획득하기 위한 전자 장치 및 그 제어 방법
WO2021066275A1 (ko) 전자 장치 및 그 제어 방법
WO2020209644A1 (en) Flexible printed circuit board and electronic device including the same
WO2018084347A1 (ko) 영상 제공 장치 및 방법
US20240161311A1 (en) Electronic apparatus for obtaining contact information for an object and control method thereof
WO2024048914A1 (ko) 홀로그래픽 리소스를 획득하기 위한 디스플레이 장치 및 그 제어 방법
WO2022149704A1 (ko) 전자 장치 및 그 제어 방법
WO2024043446A1 (ko) 사용자의 위치를 식별하기 위한 전자 장치 및 그 제어 방법
WO2024090778A1 (ko) 오디오 데이터로부터 오디오 객체를 분리하기 위한 전자 장치 및 그 제어 방법
WO2024085381A1 (ko) 이미지에서 관심 영역을 식별하기 위한 전자 장치 및 그 제어 방법
WO2024071650A1 (ko) 균일성을 향상시키기 위한 디스플레이 장치, 전자 장치 및 그 제어 방법들
WO2022231162A1 (ko) 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치
WO2024117506A1 (ko) 사운드를 모드에 따라 상이하게 처리하기 위한 전자 장치 및 그 제어 방법
WO2023013887A1 (ko) 카메라의 위치에 대한 가이드 표시 방법 및 전자 장치
WO2023277585A1 (ko) 신경망을 통해 이미지를 처리하는 방법 및 그 전자 장치