WO2021145466A1 - 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법 - Google Patents

객체의 정보를 확인하는 이동 단말기 및 그 제어 방법 Download PDF

Info

Publication number
WO2021145466A1
WO2021145466A1 PCT/KR2020/000575 KR2020000575W WO2021145466A1 WO 2021145466 A1 WO2021145466 A1 WO 2021145466A1 KR 2020000575 W KR2020000575 W KR 2020000575W WO 2021145466 A1 WO2021145466 A1 WO 2021145466A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
axis
mobile terminal
sensor
area
Prior art date
Application number
PCT/KR2020/000575
Other languages
English (en)
French (fr)
Inventor
황희연
김영준
이현재
안윤석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/000575 priority Critical patent/WO2021145466A1/ko
Publication of WO2021145466A1 publication Critical patent/WO2021145466A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Definitions

  • the present specification relates to a mobile terminal for checking object information through a sensor for acquiring 3D information, and a method for controlling the same. Specifically, the present specification relates to a mobile terminal for checking information of an object based on 3D information on an object including an embossed or engraved pattern, and a method for controlling the same.
  • the mobile terminal may provide a payment service based on credit card information.
  • the mobile terminal requires credit card information such as a credit card number or expiration date written on the credit card.
  • the mobile terminal may acquire credit card information based on input of credit card information by a user. Such input of credit card information is performed manually by the user, that is, when the user directly inputs credit card information into the mobile terminal.
  • an error in which the payment service is not normally provided may occur due to incorrect input of credit card information.
  • the user may cause inconvenience in the process of directly inputting the information, and it may take some time to input the credit card information.
  • the problem to be solved by the present specification is a mobile terminal for more accurately and easily checking information of an object including an embossed or engraved pattern by checking 3D information on an object using a sensor for acquiring 3D information, and a method for controlling the same is to provide
  • a mobile terminal includes a sensor for obtaining 3D (3-dimensional) information, and a controller, wherein the controller is embossed located within a specific distance from the sensor through the sensor or 3D information on an object including an engraved pattern is checked, and a second region corresponding to the embossed or engraved pattern is identified among the first regions for the object by using the checked 3D information, and the Information on the object included in the identified second area may be checked based on the pattern of 3D information on the checked second area.
  • a method of controlling a mobile terminal includes: confirming 3D information on an object including an embossed or engraved pattern located within a specific distance from the sensor through a sensor for obtaining 3D information; identifying a second region corresponding to the embossed or engraved pattern among the first region for the object using the confirmed 3D information; The method may include checking information on the object included in the second area.
  • the mobile terminal and the method for controlling the same can check the 3D information on the object using a sensor for obtaining the 3D information, so that the information of the object can be more accurately and easily confirmed.
  • the mobile terminal and its control method obtain 3D information about an object based on the recognition of the object through a sensor, and automatically control the object based on a pattern corresponding to the obtained 3D information. By checking the information, it is possible to check the information of the object more quickly and easily.
  • 1A is a block diagram illustrating a mobile terminal related to the present specification.
  • FIGS. 1B and 1C are conceptual views of an example of a mobile terminal related to the present specification viewed from different directions.
  • FIG. 2 is a conceptual diagram for explaining another example of a deformable mobile terminal according to the present specification.
  • FIG. 3 is a diagram for explaining an example of using a mobile terminal according to an embodiment of the present specification.
  • FIG. 4 is a functional block diagram of a mobile terminal according to an embodiment of the present specification.
  • FIG. 5 is a flowchart of each step of a method for controlling a mobile terminal according to an embodiment of the present specification.
  • FIG. 6 is a diagram for explaining an example of a process in which a region related to an object is identified by a mobile terminal according to an embodiment of the present specification.
  • FIG. 7 is a diagram for explaining another example of a process in which a region related to an object is identified by a mobile terminal according to an embodiment of the present specification.
  • FIG. 8 is a diagram for explaining a process in which a mobile terminal checks information on an object according to an embodiment of the present specification.
  • FIG. 9 is a diagram for explaining a pattern of 3D information checked by a mobile terminal according to an embodiment of the present specification.
  • each block of the flowchart diagrams and combinations of the flowchart diagrams may be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment are not described in the flowchart block(s). It creates a means to perform functions.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the flow chart block(s) produce an article of manufacture containing instruction means for performing the function described in the flowchart block(s).
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is also possible for the functions recited in blocks to occur out of order. For example, two blocks shown one after another may in fact be performed substantially simultaneously, or it is possible that the blocks are sometimes performed in the reverse order according to the corresponding function.
  • the term ' ⁇ unit' used in this embodiment means software or hardware components such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • '-part' is not limited to software or hardware.
  • the ' ⁇ unit' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors.
  • ' ⁇ ' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • a control unit in an embodiment may include at least one processor as a configuration that performs an operation for controlling a corresponding device.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention
  • FIGS. 1B and 1C are conceptual views of an example of the mobile terminal related to the present invention viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110 , an input unit 120 , a sensing unit 140 , an output unit 150 , an interface unit 160 , a memory 170 , a control unit 180 , and a power supply unit 190 . and the like. Since the components shown in FIG. 1A are not essential for implementing the mobile terminal, the mobile terminal described in this specification may have more or fewer components than those listed above.
  • the wireless communication unit 110 includes a wireless communication system between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal, or between the mobile terminal 100 and an external server. It may include one or more modules that enable communication. In addition, the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111 , a mobile communication module 112 , a wireless Internet module 113 , a short-range communication module 114 , and a location information module 115 . .
  • the input unit 120 includes a camera 121 or an image input unit for inputting an image signal, a microphone 122 or an audio input unit for inputting an audio signal, and a user input unit 123 for receiving information from a user, for example, , a touch key, a push key, etc.).
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information.
  • the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, an illumination sensor, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • G-sensor gyroscope sensor
  • motion sensor RGB sensor
  • infrared sensor IR sensor: infrared sensor
  • fingerprint sensor fingerprint sensor
  • ultrasonic sensor ultrasonic sensor
  • optical sensors eg, cameras (see 121)
  • microphones see 122
  • battery gauges environmental sensors (eg, barometers, hygrometers, thermometers, radiation detection sensors, It may include at least one of a thermal sensor, a gas sensor, etc.) and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the mobile terminal disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of a display unit 151 , a sound output unit 152 , a haptip module 153 , and an optical output unit 154 . can do.
  • the display unit 151 may implement a touch screen by forming a layer structure with the touch sensor or being formed integrally with the touch sensor. Such a touch screen may function as the user input unit 123 providing an input interface between the mobile terminal 100 and the user, and may provide an output interface between the mobile terminal 100 and the user.
  • the interface unit 160 serves as a passage with various types of external devices connected to the mobile terminal 100 .
  • This interface unit 160 a wired / wireless headset port (port), an external charger port (port), a wired / wireless data port (port), a memory card (memory card) port, for connecting a device equipped with an identification module It may include at least one of a port, an audio input/output (I/O) port, a video input/output (I/O) port, and an earphone port.
  • the mobile terminal 100 may perform appropriate control related to the connected external device.
  • the memory 170 stores data supporting various functions of the mobile terminal 100 .
  • the memory 170 may store a plurality of application programs (application programs or applications) driven in the mobile terminal 100 , data for operation of the mobile terminal 100 , and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions (eg, incoming calls, outgoing functions, message reception, and outgoing functions) of the mobile terminal 100 . Meanwhile, the application program may be stored in the memory 170 , installed on the mobile terminal 100 , and driven to perform an operation (or function) of the mobile terminal by the controller 180 .
  • the controller 180 In addition to the operation related to the application program, the controller 180 generally controls the overall operation of the mobile terminal 100 .
  • the controller 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170 .
  • controller 180 may control at least some of the components discussed with reference to FIG. 1A in order to drive an application program stored in the memory 170 . Furthermore, in order to drive the application program, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 with each other.
  • the power supply unit 190 receives external power or internal power under the control of the control unit 180 to supply power to each component included in the mobile terminal 100 .
  • the power supply 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the respective components may operate cooperatively with each other to implement an operation, control, or control method of a mobile terminal according to various embodiments to be described below.
  • the operation, control, or control method of the mobile terminal may be implemented on the mobile terminal by driving at least one application program stored in the memory 170 .
  • the user input unit 123 is for receiving information from a user, and when information is input through the user input unit 123 , the controller 180 may control the operation of the mobile terminal 100 to correspond to the input information.
  • the user input unit 123 is a mechanical input means (or a mechanical key, for example, a button located on the front, rear or side of the mobile terminal 100, a dome switch, a jog wheel, jog switch, etc.) and a touch input means.
  • the touch input means consists of a virtual key, a soft key, or a visual key displayed on the touch screen through software processing, or a part other than the touch screen. It may be made of a touch key (touch key) disposed on the.
  • the virtual key or the visual key it is possible to be displayed on the touch screen while having various forms, for example, graphics (graphic), text (text), icon (icon), video (video) or these can be made by a combination of
  • the sensing unit 140 senses at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information, and generates a sensing signal corresponding thereto.
  • the controller 180 may control the driving or operation of the mobile terminal 100 or perform data processing, function, or operation related to an application program installed in the mobile terminal 100 based on the sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing in the vicinity without mechanical contact using the force of an electromagnetic field or infrared rays.
  • the proximity sensor 141 may be disposed in an inner region of the mobile terminal covered by the touch screen described above or in the vicinity of the touch screen.
  • the proximity sensor 141 examples include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor.
  • the proximity sensor 141 may be configured to detect the proximity of an object having conductivity by a change in an electric field according to the proximity of the object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • the act of approaching an object on the touch screen without contacting it so that the object is recognized that it is located on the touch screen is called “proximity touch”, and the touch The act of actually touching an object on the screen is called “contact touch”.
  • the position where the object is touched in proximity on the touch screen means a position where the object is perpendicular to the touch screen when the object is touched in proximity.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, proximity touch distance, proximity touch direction, proximity touch speed, proximity touch time, proximity touch position, proximity touch movement state, etc.) there is.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern sensed through the proximity sensor 141 as described above, and further, provides visual information corresponding to the processed data. It can be printed on the touch screen. Furthermore, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether a touch to the same point on the touch screen is a proximity touch or a contact touch. .
  • the touch sensor receives a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. detect a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. detect
  • the touch sensor may be configured to convert a change in pressure applied to a specific part of the touch screen or a change in capacitance occurring in a specific part of the touch screen into an electrical input signal.
  • the touch sensor may be configured to detect a position, an area, a pressure at the time of touch, an electrostatic capacitance at the time of touch, etc. where a touch object applying a touch on the touch screen is touched on the touch sensor.
  • the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like.
  • the touch controller processes the signal(s) and then transmits corresponding data to the controller 180 . Accordingly, the controller 180 can know which area of the display unit 151 has been touched, and the like.
  • the touch controller may be a component separate from the controller 180 , or may be the controller 180 itself.
  • the controller 180 may perform different controls or may perform the same control according to the type of the touch object that touches the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different controls or the same control according to the type of the touch object may be determined according to the current operating state of the mobile terminal 100 or a running application program.
  • the above-described touch sensor and proximity sensor are independently or in combination, a short (or tap) touch on the touch screen (short touch), long touch (long touch), multi touch (multi touch), drag touch (drag touch) ), flick touch, pinch-in touch, pinch-out touch, swype touch, hovering touch, etc. It can sense touch.
  • the ultrasonic sensor may recognize location information of a sensing target by using ultrasonic waves.
  • the controller 180 may calculate the position of the wave source through information sensed by the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave source may be calculated using the property that light is much faster than ultrasonic waves, that is, the time for light to reach the optical sensor is much faster than the time for ultrasonic waves to reach the ultrasonic sensor. More specifically, the position of the wave source may be calculated using a time difference between the time that the ultrasonic wave arrives using light as the reference signal.
  • the camera 121 as seen in the configuration of the input unit 120 includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or an image sensor), and a laser sensor.
  • a camera sensor eg, CCD, CMOS, etc.
  • a photo sensor or an image sensor
  • a laser sensor e.g., a laser sensor
  • the camera 121 and the laser sensor may be combined with each other to detect a touch of a sensing target for a 3D stereoscopic image.
  • the photo sensor may be stacked on the display device, and the photo sensor is configured to scan the movement of the sensing target close to the touch screen. More specifically, the photo sensor mounts photo diodes and transistors (TRs) in rows/columns and scans the contents placed on the photo sensor using electrical signals that change according to the amount of light applied to the photo diodes. That is, the photo sensor calculates the coordinates of the sensing target according to the amount of change in light, and through this, location information of the sensing target can be obtained.
  • TRs photo diodes and transistors
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100 .
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100 or UI (User Interface) and GUI (Graphic User Interface) information according to the execution screen information. .
  • the haptic module 153 generates various tactile effects that the user can feel.
  • a representative example of the tactile effect generated by the haptic module 153 may be vibration.
  • the intensity and pattern of vibration generated by the haptic module 153 may be controlled by a user's selection or setting of the controller. For example, the haptic module 153 may synthesize and output different vibrations or output them sequentially.
  • the haptic module 153 is configured to respond to stimuli such as a pin arrangement that moves vertically with respect to the contact skin surface, a jet force or suction force of air through a nozzle or an inlet, a brush against the skin surface, contact of an electrode, an electrostatic force
  • stimuli such as a pin arrangement that moves vertically with respect to the contact skin surface, a jet force or suction force of air through a nozzle or an inlet, a brush against the skin surface, contact of an electrode, an electrostatic force
  • Various tactile effects can be generated, such as an effect caused by heat absorption and an effect by reproducing a feeling of cold and heat using an element capable of absorbing heat or generating heat.
  • the haptic module 153 may not only deliver a tactile effect through direct contact, but may also be implemented so that the user can feel the tactile effect through a muscle sense of a finger or arm. Two or more haptic modules 153 may be provided according to the configuration of the mobile terminal 100 .
  • the light output unit 154 outputs a signal for notifying the occurrence of an event by using the light of the light source of the mobile terminal 100 .
  • Examples of the event generated in the mobile terminal 100 may be message reception, call signal reception, missed call, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the signal output from the optical output unit 154 is implemented as the mobile terminal emits light of a single color or a plurality of colors toward the front or rear.
  • the signal output may be terminated when the mobile terminal detects the user's event confirmation.
  • the memory 170 may store a program for the operation of the controller 180 , and may temporarily store input/output data (eg, a phone book, a message, a still image, a moving image, etc.).
  • the memory 170 may store data related to vibrations and sounds of various patterns output when a touch input on the touch screen is input.
  • the memory 170 is a flash memory type, a hard disk type, a solid state disk type (SSD), a silicon disk drive type (SDD), and a multimedia card micro type.
  • card-type memory such as SD or XD memory
  • random access memory RAM
  • static random access memory SRAM
  • read-only memory ROM
  • electrically erasable programmable read EEPROM
  • PROM programmable read-only memory
  • magnetic memory a magnetic disk, and an optical disk
  • the mobile terminal 100 may be operated in relation to a web storage that performs a storage function of the memory 170 on the Internet.
  • the controller 180 controls the operation related to the application program and the general operation of the mobile terminal 100 in general. For example, if the state of the mobile terminal satisfies a set condition, the controller 180 may execute or release a lock state that restricts input of a user's control command to applications.
  • the controller 180 performs control and processing related to voice call, data communication, video call, etc., or performs pattern recognition processing capable of recognizing handwriting input or drawing input performed on the touch screen as characters and images, respectively.
  • the controller 180 may control any one or a plurality of the components described above by combining them.
  • information processed in the mobile terminal may be displayed using a flexible display.
  • FIG. 2 is a conceptual diagram for explaining another example of a deformable mobile terminal 200 according to the present invention.
  • the display unit 251 may be configured to be deformable by an external force.
  • the deformation may be at least one of bending, bending, folding, twisting, and curling of the display unit 251 .
  • Such a deformable display unit 251 may be referred to as a 'flexible display unit'.
  • the flexible display unit 251 may include both a general flexible display, e-paper, and a combination thereof.
  • the mobile terminal 200 may include features of the mobile terminal 100 of FIGS. 1A to 1C or features similar thereto.
  • a general flexible display refers to a durable display that is not easily broken because it is manufactured on a thin and flexible substrate that can be bent, bent, folded, twisted or curled like paper while maintaining the characteristics of a conventional flat panel display.
  • electronic paper is a display technology to which characteristics of general ink are applied, and may differ from conventional flat panel displays in that it uses reflected light.
  • Electronic paper can change information by using a twisted ball or by using electrophoresis using a capsule.
  • the display area of the flexible display unit 251 becomes a flat surface.
  • the display area may be a curved surface.
  • the information displayed in the second state may be visual information output on the curved surface.
  • Such visual information is implemented by independently controlling the light emission of sub-pixels arranged in a matrix form.
  • the unit pixel means a minimum unit for realizing one color.
  • the flexible display unit 251 may be in a curved state (eg, vertically or horizontally curved) instead of in a flat state. In this case, when an external force is applied to the flexible display unit 251 , the flexible display unit 251 may be deformed into a flat state (or less curved) or more curved.
  • the flexible display unit 251 may be combined with a touch sensor to implement a flexible touch screen.
  • the controller 180 (refer to FIG. 1A ) may perform a control corresponding to the touch input.
  • the flexible touch screen may be configured to sense a touch input not only in the first state but also in the second state.
  • the mobile terminal 200 may be provided with a deformation detecting means for detecting the deformation of the flexible display unit 251 .
  • a deformation detecting means may be included in the sensing unit 140 (refer to FIG. 1A ).
  • the deformation detecting means may be provided in the flexible display unit 251 or the case 201 to detect information related to deformation of the flexible display unit 251 .
  • the information related to the deformation may be a direction in which the flexible display unit 251 is deformed, a deformed degree, a deformed position, a deformed time, and an acceleration at which the deformed flexible display unit 251 is restored.
  • it may be various pieces of information detectable due to the bending of the flexible display unit 251 .
  • the controller 180 changes information displayed on the flexible display unit 251 or the mobile terminal 200 based on the information related to the deformation of the flexible display unit 251 sensed by the deformation detecting means. It is possible to generate a control signal to control the function of
  • the mobile terminal 200 may include a case 201 accommodating the flexible display unit 251 .
  • the case 201 may be configured to be deformable together with the flexible display unit 251 by an external force in consideration of the characteristics of the flexible display unit 251 .
  • a battery (not shown) included in the mobile terminal 200 may also be configured to be deformable together with the flexible display unit 251 by an external force in consideration of the characteristics of the flexible display unit 251 .
  • a stack and folding method in which battery cells are stacked upward may be applied.
  • the state transformation of the flexible display unit 251 is not limited only to an external force.
  • the flexible display unit 251 may be transformed into a second state by a command of a user or an application.
  • the mobile terminal may be extended to a wearable device that can be worn on the body beyond the dimension that the user mainly holds in his hand.
  • wearable devices include a smart watch, smart glass, and head mounted display (HMD).
  • HMD head mounted display
  • the wearable device may be configured to be able to exchange (or interwork) data with another mobile terminal 100 .
  • the short-range communication module 114 may detect (or recognize) a wearable device capable of communicating around the mobile terminal 100 . Furthermore, when the detected wearable device is a device authenticated to communicate with the mobile terminal 100 , the controller 180 transmits at least a portion of data processed in the mobile terminal 100 through the short-range communication module 114 . can be sent to Accordingly, the user may use data processed by the mobile terminal 100 through the wearable device. For example, when a call is received in the mobile terminal 100, it is possible to make a phone call through the wearable device, or to check the received message through the wearable device when a message is received to the mobile terminal 100 .
  • FIG. 3 is a diagram for explaining an example of using a mobile terminal according to an embodiment of the present specification.
  • the mobile terminal 300 may recognize the object 310 using a sensor.
  • the sensor may include a sensor that acquires 3-dimensional (3D) information of the object 310 , for example, a time of flight (TOF) sensor (or TOF camera).
  • TOF time of flight
  • the TOF sensor is a sensor for measuring depth information using the TOF method, and various depth information recognition sensors may be used. Since it is easy for a person skilled in the art, a detailed description thereof will be omitted.
  • the sensor may be disposed on the rear side of the mobile terminal 300 , and accordingly, the mobile terminal 300 operates the sensor on the basis of the rear surface of the mobile terminal 300 toward the object 310 as shown. 3D information for 310 may be obtained.
  • the arrangement of the sensor is not limited to this example, and it may be arranged on the side or in a separate configuration to be connected by wire or wirelessly.
  • the object 310 may include an object including an embossed or engraved pattern, such as a credit card (or cash card).
  • the embossed or engraved pattern may correspond to information on the credit card, and the 3D information obtained by the sensor may include information about the embossed or engraved pattern.
  • FIG. 4 is a functional block diagram of a mobile terminal according to an embodiment of the present specification.
  • An element of the mobile terminal 400 to be described later means a unit for processing at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.
  • the mobile terminal 400 may include a sensor 410 and a controller 420 .
  • Each of the sensor 410 and the controller 420 may include at least one processor.
  • the sensor 410 may acquire 3D information.
  • the 3D information is spatial information of an area sensed by the sensor 410 , and may include planar information and depth information.
  • the sensor 410 may include, for example, a TOF sensor, and may acquire 3D information based on this.
  • 3D information corresponding to the embossed or engraved pattern of the object may be obtained through the sensor 410 .
  • the senor 410 is present separately from the mobile terminal 400, and may be used in connection with a wired or wireless connection, and the embodiment of the present specification is not limited thereto.
  • the controller 420 may check 3D information about an object located within a specific distance from the sensor 410 through the sensor 410 .
  • the object may include an embossed or engraved pattern.
  • the object may include a credit card engraved with embossed or engraved numbers or letters.
  • the controller 420 may obtain 3D information about the object and the area around the object through the sensor 410 . In this case, the controller 420 may identify a region corresponding to the object using a Gaussian filter.
  • the controller 420 may project the 3D information on the object and the area around the object in 2D, and filter the 2D information generated based on the projection with a Gaussian filter having directionality.
  • the controller 420 may extract an outline (or border) of an object based on filtering. In relation to the projection and the Gaussian filter, it is easy for those skilled in the art, and a detailed description will be omitted.
  • the size of the area of the object may be predetermined, and the controller 320 compares the size of the outline extracted to have a predetermined size and direction in relation to the area of the object to determine the area of the object. can be checked
  • the outline may include horizontal and vertical information, and the controller 420 convolves the horizontal and vertical information to determine a point where a high value appears as a credit card.
  • the controller 420 may generate a rectangle by connecting the vertices of the credit card, and compare the generated rectangle with a predetermined size to check the area of the object.
  • the controller 420 may identify a second region corresponding to the embossed or engraved pattern among the regions (hereinafter, referred to as first regions) of the object by using the checked 3D information.
  • the first area may be an area corresponding to an object
  • the second area may be an area corresponding to an embossed or engraved pattern included in the object.
  • the size of the second area may be predetermined.
  • the controller 420 may determine that the second area is an area of a predetermined size including an embossed or engraved pattern.
  • the first area may include an area corresponding to a credit card
  • the second area may include an area corresponding to the card number of the credit card in the first area.
  • the size of the area corresponding to the card number of the credit card may be predetermined, and in this case, the controller 420 may check the area of the predetermined size including the embossed or engraved pattern as the second area.
  • the second area when the object includes the embossed pattern, the second area may include an area of the object in which the distance from the sensor 410 is less than a specific value.
  • the second region when there is a convex protruding portion in the object, the second region may be an area of a specific size including the convex protruding portion, and this area has a distance from the sensor 410 less than a specific value, that is, It may include an area that is closer to the sensor than other areas.
  • the second area when the object includes an intaglio pattern, may include an area of the object having a distance from the sensor 410 equal to or greater than a specific value.
  • the second region when a concave portion exists in the object, the second region may be an area of a specific size including the concave portion, and this area has a distance from the sensor 410 equal to or greater than a specific value, that is, from the sensor. It may include an area in which the distance of is farther than that of other areas.
  • the controller 420 may identify a third area having a predetermined size.
  • the third region may include an embossed or engraved pattern.
  • the third area may be an area having a size different from that of the second area.
  • the second area may correspond to an area of a first size for the credit card number
  • the third area may correspond to an area of a second size for the validity period of the credit card.
  • the first size may be larger than the second size, and each of the first size and the second size may be a specific value designated by an international standard, but is not limited thereto.
  • the controller 420 may acquire first projection information by projecting 3D information about the object on a first axis.
  • the controller 420 may acquire the second projection information by projecting the 3D information about the object onto the second axis.
  • the first axis may be an x-axis corresponding to the width of the credit card
  • the second axis may be a y-axis corresponding to the length of the credit card.
  • the 3D information on the object may include information on each of the x-axis, y-axis, and z-axis.
  • the controller 420 may obtain the first projection information by projecting the z-axis information corresponding to the depth information onto the first axis, and may obtain the second projection information by projecting the z-axis information onto the second axis.
  • a portion corresponding to the embossed or engraved pattern may appear to have a value out of a specific range on the x-axis and the y-axis. A specific example thereof may refer to FIG. 6 or FIG. 7 .
  • the specific range may be, for example, a range of values that appear based on projection of an area corresponding to a flat part of a credit card, that is, not including an embossed or engraved pattern.
  • the controller 420 may identify the second area among the first areas based on the first projection information and the second projection information. Specifically, the control unit 420 identifies an area on the first axis that appears beyond the first specific range based on the first projection information, and determines the area on the second axis that exceeds the second specific range based on the second projection information. area can be checked.
  • each of the first specific range and the second specific range may be a predetermined range.
  • the first projection information may correspond to an accumulated value in which a z-axis value is accumulated with respect to the x-axis
  • the second projection information may correspond to an accumulated value in which a z-axis value is accumulated with respect to the y-axis.
  • the controller 420 may identify a portion in which the accumulated value corresponding to the x-axis exceeds the first specific range as the range on the x-axis of the second region.
  • the controller 420 may identify a portion in which the accumulated value corresponding to the y-axis exceeds the second specific range as the range on the y-axis of the second region.
  • a more specific example related thereto may refer to FIG. 6 or FIG. 7 .
  • the controller 420 may check 3D information on the second area based on identifying the second area.
  • the 3D information on the second area may include 3D information on at least one number. At least one number is a predetermined number and is a number written on the object in an embossed or engraved pattern, and may include, for example, a credit card number or expiration date.
  • the controller 420 may scan 3D information of the second area based on a first axis (eg, an x-axis).
  • the controller 420 may identify a pattern of 3D information indicated by an embossed or engraved pattern based on scanning.
  • the controller 420 may divide the second area into at least one divided area based on the specific section.
  • the at least one division area may be an area corresponding to each of the at least one number.
  • the specific section may be, for example, a section corresponding to 3D information on a flat plane that does not include an embossed or engraved pattern.
  • a specific example related thereto may refer to FIG. 8 .
  • the controller 420 may scan the first area from the leftmost point to the right point on the x-axis using a vertical line corresponding to the y-axis.
  • the information obtained by scanning may include, for example, a total sum of values appearing on the z-axis.
  • the controller 420 may form the scanned data as a two-dimensional graph, and may determine a point at which a slope appears as 0 on the two-dimensional graph as a point where one number ends.
  • the controller may classify at least one divided area based on a point where one number ends.
  • a specific example related to scanning may refer to FIG. 8 .
  • the controller 420 may project the 3D information of the second region on the first axis (eg, the x-axis). Specifically, the controller 420 may check the pattern of the 3D information by projecting the 3D information on the second axis (eg, the y-axis) of the second region onto the first axis.
  • the pattern of 3D information may include a pattern of values of the second axis with respect to the first axis.
  • the controller 420 may identify at least one divided area corresponding to each of the at least one number based on the pattern of the 3D information. Specifically, the controller 420 may check the value of the second axis with respect to the first axis of the 3D information for the second region. The controller 420 may identify at least one divided region based on a point at which the checked value of the second axis is less than a specific value.
  • the pattern of the 3D information has a value on the z-axis of at least one of a cumulative value accumulated for the x-axis or a cumulative value accumulated for the y-axis You can include a pattern for one.
  • the at least one divided area is an area included in the second area, that is, the second area may correspond to at least one area divided based on a point where the second area is less than the specific value.
  • Each of the at least one divided region may correspond to each of at least one number written in embossed or engraved form in the second region.
  • 3D information (or 3D information related to the value of the second axis with respect to the first axis) may appear differently for each number.
  • 3D information for each number may be stored in the mobile terminal 400 , and based on this, the control unit 420 compares each of the at least one division area with information on the stored number at least one You can check the number corresponding to each divided area of .
  • the mobile terminal 400 may include a machine learning algorithm.
  • the machine learning algorithm may include a pre-learned algorithm to output numeric information indicated by the input 3D information when 3D information is input.
  • the controller 420 may check the object information, for example, a number, indicated by the 3D information on the at least one divided region identified using the machine learning algorithm.
  • control unit 420 may input 3D information of each of the at least one divided area to the machine learning algorithm to check a number indicated by each of the at least one divided area.
  • the controller 420 may check information on the object corresponding to the second area by combining the identified numbers.
  • the machine learning algorithm may include, but is not limited to, a convolution neural network (CNN) or a deep neural network (DNN), and may be implemented as a machine learning algorithm of various types.
  • FIG. 5 is a flowchart of each step of a method for controlling a mobile terminal according to an embodiment of the present specification.
  • each step of the method illustrated in FIG. 5 may be performed in a different order from that illustrated in the drawings in some cases.
  • content overlapping with the content described with reference to FIG. 3 or 4 may be omitted.
  • the mobile terminal may check 3D information on an object including an embossed or engraved pattern ( 510 ). Specifically, the mobile terminal may check 3D information about an object including an embossed or engraved pattern located within a specific distance from the sensor through the sensor.
  • the sensor is a sensor for acquiring 3D information, and may include, for example, a TOF sensor.
  • the mobile terminal may identify a second area corresponding to the embossed or engraved pattern among the first areas of the object ( 520 ). Specifically, the mobile terminal may identify the second area included in the first area for the object by using the checked 3D information.
  • the second region may include a region in which the distance from the sensor is less than a specific value.
  • the second region may include a region in which the distance from the sensor is greater than or equal to a specific value.
  • the second area may be an area of a predetermined size, for example, may correspond to the size of an area in which a number is written in a credit card or a size of an area in which an expiration date is written.
  • the mobile terminal may acquire the first projection information on the first axis and the second projection information on the second axis by projecting the 3D information of the first region on the first axis and the second axis, respectively.
  • the mobile terminal may determine an area where the first projection information and the second projection information overlap as the second area.
  • a specific example related thereto may refer to FIG. 6 or FIG. 7 .
  • the mobile terminal may check information on the object included in the second area based on the pattern of 3D information on the second area ( 530 ).
  • the mobile terminal may check the pattern of 3D information for the second area.
  • the pattern of 3D information for the second region may include, for example, a pattern that appears based on projecting a value on the z-axis of the second region onto the x-axis.
  • the mobile terminal may check the information of the object corresponding to the pattern of the 3D information by using the machine learning algorithm learned to check the number or the pre-stored information in relation to the 3D pattern of the number.
  • the object information may include, for example, a credit card number or an expiration date of the credit card, but is not limited thereto.
  • a credit card number or an expiration date of the credit card In relation to the machine learning algorithm learned to check the number or the information stored in advance in relation to the 3D pattern of the number, as described above with reference to FIG. 4 , specific details will be omitted.
  • FIG. 6 is a diagram for explaining an example of a process in which a region related to an object is identified by a mobile terminal according to an embodiment of the present specification.
  • the object 600 may be a credit card, and the number of the credit card may be written in the object 600 .
  • the number of the credit card may be embossed, and accordingly, the number portion of the credit card may protrude three-dimensionally differently from other portions.
  • the mobile terminal may obtain 3D information about the object 600 .
  • the mobile terminal may project the obtained 3D information on the x-axis and on the y-axis. Accordingly, as illustrated, projection information for each of the x-axis and the y-axis may be generated.
  • first projection information the projection information on the x-axis
  • second projection information the projection information on the y-axis
  • present embodiment is not limited thereto by such terms.
  • the mobile terminal may project a value on the z-axis to the x-axis. Accordingly, on the x-axis, accumulated values on the z-axis corresponding to each position on the x-axis may be generated as the first projection information.
  • the region (hereinafter, referred to as the first region) 610 corresponding to the credit card number of the object 600 may have an embossed pattern to be distinguished from other regions.
  • the first region 610 having the embossed pattern may have a value on the z-axis, and accordingly, a pattern as shown in the specific region on the x-axis may appear.
  • the mobile terminal may project a value on the z-axis to the y-axis. Accordingly, on the y-axis, accumulated values on the z-axis corresponding to each position on the y-axis may be generated as the second projection information.
  • the first region 610 having the embossed pattern may have a value on the z-axis, and accordingly, the second projection information may have a value as shown in the first region 610 .
  • the specific region in which the pattern appears on the x-axis and the y-axis may be the first region 610 .
  • the value of the first projection information may appear as much as the horizontal length 612 of the first area 610
  • the value of the second projection information may appear as much as the vertical length 611 of the first area 610 .
  • the size of the area in which the number of the credit card is written may be constant, and accordingly, the size of the first area 610 may be designated in advance.
  • the mobile terminal may determine whether an area identified based on each of the first projection information and the second projection information corresponds to a predetermined size.
  • the checked area When the checked area corresponds to a predetermined size, the checked area may be determined as the first area 610 . If the checked area does not correspond to the predetermined size, the area corresponding to the predetermined size in which the checked area is located in the center may be determined as the first area 610 .
  • FIG. 6 illustrates a case in which the projection information related to the first region 610 appears as specific values on the x-axis and the y-axis
  • the projection information may appear to have a value corresponding to the value on the z-axis.
  • a more detailed example of the first projection information may refer to FIG. 9 .
  • FIG. 7 is a diagram for explaining another example of a process in which a region related to an object is identified by a mobile terminal according to an embodiment of the present specification. Specifically, FIG. 7 is a diagram for explaining a method of classifying each of a plurality of regions when a region related to 3D information in the object 700 includes a plurality of regions.
  • the object 700 may include a first area 710 for a credit card number and a second area 720 for an expiration date of the credit card.
  • the first area 710 may correspond to the first area 610 of FIG. 6 .
  • a value based on the projection of 3D information may appear on the x-axis as much as it corresponds to the horizontal length 731 of the first region 710 .
  • a value based on the projection of 3D information corresponding to the horizontal length 732 of the second region 720 may additionally appear on the x-axis.
  • a value based on the projection of 3D information may appear on the y-axis as much as it corresponds to the vertical length 711 of the first region 710 .
  • a value based on the projection of 3D information corresponding to the vertical length 712 of the second region 720 may be additionally displayed on the y-axis.
  • the sizes of the first region 710 and the second region 720 may be predetermined. As such, values appearing based on the projection and information on the sizes of the first region 710 and the second region 720 . Based on , the mobile terminal may identify the first area 710 and the second area 720 .
  • the first region 710 is determined by matching a region appearing widely on the x-axis with a region having a larger value on the y-axis, and a region appearing narrowly on the x-axis but having a larger value and more on the y-axis
  • the second region 712 may be determined by matching a region having a small value.
  • FIG. 8 is a diagram for explaining a process in which a mobile terminal checks information on an object according to an embodiment of the present specification. Specifically, FIG. 8 is a diagram for explaining an example of a process for confirming information indicated by an area (eg, a first area) checked based on FIG. 6 or FIG. 7 .
  • an area eg, a first area
  • the mobile terminal may sequentially scan the object information from one end of the area, that is, the front part of 9 .
  • scanning may refer to a process of reading 3D information, through which a pattern of 3D information of an area may be identified.
  • the pattern of 3D information may be a pattern of values appearing on the z-axis based on embossing or engraving.
  • 3D information corresponding to each number may also be different.
  • the mobile terminal may determine a number corresponding thereto.
  • a specific example of a pattern of 3D information may refer to FIG. 9 .
  • the mobile terminal may input a pattern of 3D information into a machine learning algorithm to determine a specific number indicated by the information of the object.
  • the machine learning algorithm may have been previously learned to output a number corresponding thereto.
  • FIG. 9 is a diagram for explaining a pattern of 3D information checked by a mobile terminal according to an embodiment of the present specification. Specifically, FIG. 9 shows an example of a pattern of 3D information for some of the information of the object of FIG. 8 .
  • 3D information about an object may be displayed as a two-dimensional graph.
  • a two-dimensional graph 900 may be expressed as, for example, a value in which a z-axis value is projected with respect to the x-axis or a value in which a z-axis value is accumulated with respect to the x-axis.
  • the y-axis of FIG. 9 may correspond to a value in which the z-axis value is projected with respect to the x-axis or a value in which the z-axis value is accumulated with respect to the x-axis.
  • the patterns of 3D information may also appear differently because the shapes of 9, 4, 1, and 0 are different. However, a specific interval may exist between each number, and this may correspond to a part that is not embossed or engraved in the object.
  • the 3D information on the non-embossed or engraved portion may be displayed as a specific value or a value included in a specific range. For example, as shown in FIG. 9 , 3D information about a portion that is not embossed or engraved may appear less than the first value.
  • the division region may be determined based on a portion appearing less than the first value. Specifically, as illustrated, a division region for 9 may be determined from the point at which the first 3D information appears to the point at which the first value appears. The same method may be applied to each number of 4, 1, and 0 sequentially appearing after 9.
  • the mobile terminal may determine the point where the slope appears as 0 on the two-dimensional graph 900 as the point where one number ends.
  • the mobile terminal may classify at least one divided area based on the point at which one number ends.
  • the mobile terminal may store 3D information for each number.
  • the mobile terminal may identify a number corresponding to the divided area using 3D information for each stored number.
  • a mobile terminal and a control method thereof according to an embodiment of the present specification, by using 3D information of an object (eg, a credit card), embossed or It is possible to more accurately and easily check the information of the object corresponding to the engraving pattern (eg, the number of the credit card).
  • an object eg, a credit card
  • embossed e.g., embossed
  • the information of the object corresponding to the engraving pattern e.g, the number of the credit card

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서의 일 실시예에 따른 이동 단말기는, 3D(3-dimensional) 정보를 획득하는 센서와, 제어부(controller)를 포함하고, 상기 제어부는, 상기 센서를 통해 상기 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체(object)에 대한 3D 정보를 확인하고, 상기 확인된 3D 정보를 이용하여 상기 객체에 대한 제1 영역 중 상기 양각 또는 음각 패턴에 대응하는 제2 영역을 확인하고, 상기 확인된 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 확인된 제2 영역에 포함된 상기 객체의 정보를 확인할 수 있다.

Description

객체의 정보를 확인하는 이동 단말기 및 그 제어 방법
본 명세서는 3D 정보를 획득하는 센서를 통해 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법에 관한 것이다. 구체적으로, 본 명세서는 양각 또는 음각 패턴을 포함하는 객체에 대한 3D 정보를 기반으로 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법에 관한 것이다.
전자 기술의 발전에 따라 이동 단말기는 사용자에게 다양한 기능을 제공한다. 일 예로 이동 단말기는 신용카드의 정보를 기반으로 결제 서비스를 제공할 수 있다. 다만, 이러한 결제 서비스의 제공을 위해서 이동 단말기는 신용카드에 기재된 신용카드 번호 또는 유효기간과 같은 신용카드의 정보를 필요로 한다.
이동 단말기는 사용자에 의한 신용카드의 정보의 입력을 기반으로 신용카드의 정보를 획득될 수 있다. 이러한 신용카드의 정보의 입력은 사용자의 수작업으로 즉, 사용자가 직접 이동 단말기에 신용카드의 정보를 입력함으로써 이루어진다.
이러한 경우, 신용카드의 정보가 잘못 입력되어 결제 서비스가 정상적으로 제공되지 않는 오류가 발생할 수 있다. 또한, 사용자가 직접 입력하는 과정에서 번거로움이 초래될 수 있으며, 신용카드 정보의 입력에 다소 시간이 소요될 수도 있다.
따라서, 보다 정확하고 용이하게 신용카드의 정보를 획득하는 방안이 요구된다.
본 명세서가 해결하고자 하는 과제는, 3D 정보를 획득하는 센서를 이용하여 객체에 대한 3D 정보를 확인함으로써 양각 또는 음각 패턴을 포함하는 객체의 정보를 보다 정확하고 용이하게 확인하는 이동 단말기 및 그 제어 방법을 제공하는 것이다.
다만, 본 명세서가 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 명세서의 일 실시예에 따른 이동 단말기는, 3D(3-dimensional) 정보를 획득하는 센서와, 제어부(controller)를 포함하고, 상기 제어부는, 상기 센서를 통해 상기 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체(object)에 대한 3D 정보를 확인하고, 상기 확인된 3D 정보를 이용하여 상기 객체에 대한 제1 영역 중 상기 양각 또는 음각 패턴에 대응하는 제2 영역을 확인하고, 상기 확인된 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 확인된 제2 영역에 포함된 상기 객체의 정보를 확인할 수 있다.
본 명세서의 일 실시예에 따른 이동 단말기의 제어 방법은, 3D 정보를 획득하는 센서를 통해 상기 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체에 대한 3D 정보를 확인하는 단계와, 상기 확인된 3D 정보를 이용하여 상기 객체에 대한 제1 영역 중 상기 양각 또는 음각 패턴에 대응하는 제2 영역을 확인하는 단계와, 상기 확인된 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 확인된 제2 영역에 포함된 상기 객체의 정보를 확인하는 단계를 포함할 수 있다.
본 명세서의 실시예에 따른 이동 단말기 및 그 제어 방법은, 3D 정보를 획득하는 센서를 이용하여 객체에 대한 3D 정보를 확인함으로써 객체의 정보를 보다 정확하고 용이하게 확인할 수 있다.
또한, 본 명세서의 실시예에 따른 이동 단말기 및 그 제어 방법은, 센서를 통한 객체의 인식을 기초로 객체에 대한 3D 정보를 획득하고, 획득된 3D 정보에 대응하는 패턴을 기반으로 자동으로 객체의 정보를 확인함으로써 보다 신속하고 용이하게 객체의 정보를 확인할 수 있다.
다만, 본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 명세서와 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 명세서와 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 본 명세서에 따른 변형 가능한 이동 단말기의 다른 예를 설명하기 위한 개념도이다.
도 3은 본 명세서의 일 실시예에 따른 이동 단말기의 사용 예를 설명하기 위한 도면이다.
도 4는 본 명세서의 일 실시예에 따른 이동 단말기의 기능 블록도이다.
도 5는 본 명세서의 일 실시예에 따른 이동 단말기의 제어 방법의 각 단계의 흐름도이다.
도 6은 본 명세서의 일 실시예에 따른 이동 단말기에 의해 객체와 관련된 영역이 확인되는 과정의 예를 설명하기 위한 도면이다.
도 7은 본 명세서의 일 실시예에 따른 이동 단말기에 의해 객체와 관련된 영역이 확인되는 과정의 다른 예를 설명하기 위한 도면이다.
도 8은 본 명세서의 일 실시예에 따른 이동 단말기가 객체의 정보를 확인하는 과정을 설명하기 위한 도면이다.
도 9는 본 명세서의 일 실시예에 따른 이동 단말기에 의해 확인되는 3D 정보의 패턴을 설명하기 위한 도면이다.
이하, 본 명세서의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시 예에서 제어부로 언급되는 것은 해당 장치를 제어하기 위한 동작을 하는 구성으로 적어도 하나의 프로세서를 포함할 수 있다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원 공급부(190)는 제어부(180)의 제어 하에서 외부의 전원 또는 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
이하에서는, 위에서 살펴본 이동 단말기(100)를 통하여 구현되는 다양한 실시 예들을 살펴보기에 앞서, 위에서 열거된 구성요소들 중 적어도 일부에 대하여 도 1a를 참조하여 보다 구체적으로 살펴본다.
사용자 입력부(123)는 사용자로부터 정보를 입력받기 위한 것으로서, 사용자 입력부(123)를 통해 정보가 입력되면, 제어부(180)는 입력된 정보에 대응되도록 이동 단말기(100)의 동작을 제어할 수 있다. 이러한, 사용자 입력부(123)는 기계식(mechanical) 입력수단(또는, 메커니컬 키, 예를 들어, 이동 단말기(100)의 전·후면 또는 측면에 위치하는 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치 등) 및 터치식 입력수단을 포함할 수 있다. 일 예로서, 터치식 입력수단은, 소프트웨어적인 처리를 통해 터치스크린에 표시되는 가상 키(virtual key), 소프트 키(soft key) 또는 비주얼 키(visual key)로 이루어지거나, 상기 터치스크린 이외의 부분에 배치되는 터치 키(touch key)로 이루어질 수 있다. 한편, 상기 가상키 또는 비주얼 키는, 다양한 형태를 가지면서 터치스크린 상에 표시되는 것이 가능하며, 예를 들어, 그래픽(graphic), 텍스트(text), 아이콘(icon), 비디오(video) 또는 이들의 조합으로 이루어질 수 있다.
한편, 센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 이동 단말기(100)의 구동 또는 동작을 제어하거나, 이동 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(100)를 제어할 수 있다.
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
햅틱 모듈(haptic module)(153)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(153)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅틱 모듈(153)에서 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(153)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(153)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(electrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(153)은 직접적인 접촉을 통해 촉각 효과를 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(153)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
광출력부(154)는 이동 단말기(100)의 광원의 빛을 이용하여 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기(100)에서 발생 되는 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등이 될 수 있다.
광출력부(154)가 출력하는 신호는 이동 단말기가 전면이나 후면으로 단색이나 복수색의 빛을 발광함에 따라 구현된다. 상기 신호 출력은 이동 단말기가 사용자의 이벤트 확인을 감지함에 의하여 종료될 수 있다.
메모리(170)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(170)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), SSD 타입(Solid State Disk type), SDD 타입(Silicon Disk Drive type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
한편, 앞서 살펴본 것과 같이, 제어부(180)는 응용 프로그램과 관련된 동작과, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(180)는 상기 이동 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행하거나, 해제할 수 있다.
또한, 제어부(180)는 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행하거나, 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. 나아가 제어부(180)는 이하에서 설명되는 다양한 실시 예들을 본 발명에 따른 이동 단말기(100) 상에서 구현하기 위하여, 위에서 살펴본 구성요소들을 중 어느 하나 또는 복수를 조합하여 제어할 수 있다.
한편, 이하에서 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
한편, 본 발명에서는 이동 단말기에서 처리되는 정보를 플렉서블 디스플레이(flexible display)를 이용하여 표시할 수 있다. 이하, 첨부된 도면을 바탕으로 이에 대하여 보다 구체적으로 살펴본다.
도 2는 본 발명에 따른 변형 가능한 이동 단말기(200)의 다른 예를 설명하기 위한 개념도이다.
도시된 바와 같이, 디스플레이부(251)는 외력에 의하여 변형 가능하게 구성될 수 있다. 상기 변형은 디스플레이부(251)의 휘어짐, 구부러짐, 접힘, 비틀림, 말림 중 적어도 하나일 수 있다. 이러한 변형 가능한 디스플레이부(251)는 '플렉서블 디스플레이부'로 명명될 수 있다. 여기에서, 플렉서블 디스플레이부(251)는 일반적인 플렉서블 디스플레이와 전자 종이(e-paper) 및 그 조합을 모두 포함할 수 있다. 일반적으로 이동 단말기(200)는 도 1a 내지 도 1c의 이동 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.
일반적인 플렉서블 디스플레이는 기존의 평판 디스플레이의 특성을 유지하면서, 종이와 같이 휘어짐, 구부러짐, 접힘, 비틀림 또는 말림이 가능한 얇고 유연한 기판 위에 제작되어, 가볍고 쉽게 깨지지 않는 튼튼한 디스플레이를 말한다.
또한, 전자 종이는 일반적인 잉크의 특징을 적용한 디스플레이 기술로서, 반사광을 사용하는 점이 기존의 평판 디스플레이와 다른 점일 수 있다. 전자 종이는 트위스트 볼을 이용하거나, 캡슐을 이용한 전기영동(電氣泳動, electrophoresis)을 이용하여, 정보를 변경할 수 있다.
플렉서블 디스플레이부(251)가 변형되지 않는 상태(예를 들어, 무한대의 곡률반경을 가지는 상태, 이하 제1 상태라 한다)에서, 플렉서블 디스플레이부(251)의 디스플레이 영역은 평면이 된다. 상기 제1 상태에서 외력에 의하여 변형된 상태(예를 들어, 유한의 곡률반경을 가지는 상태, 이하, 제2 상태라 한다)에서는 상기 디스플레이 영역이 곡면이 될 수 있다. 도시된 바와 같이, 상기 제2 상태에서 표시되는 정보는 곡면상에 출력되는 시각 정보가 될 수 있다. 이러한 시각 정보는 매트릭스 형태로 배치되는 단위 화소(sub-pixel)의 발광이 독자적으로 제어됨에 의하여 구현된다. 상기 단위 화소는 하나의 색을 구현하기 위한 최소 단위를 의미한다.
플렉서블 디스플레이부(251)는 상기 제1 상태에서 평평한 상태가 아닌, 휘어진 상태(예를 들어, 상하 또는 좌우로 휘어진 상태)에 놓일 수 있다. 이 경우, 플렉서블 디스플레이부(251)에 외력이 가해지면, 플렉서블 디스플레이부(251)는 평평한 상태(혹은 보다 덜 휘어진 상태) 또는 보다 많이 휘어진 상태로 변형될 수 있다.
한편, 플렉서블 디스플레이부(251)는 터치센서와 조합되어 플렉서블 터치 스크린을 구현할 수 있다. 플렉서블 터치 스크린에 대하여 터치가 이루어지면, 제어부(180, 도 1a 참조)는 이러한 터치입력에 상응하는 제어를 수행할 수 있다. 플렉서블 터치 스크린은 상기 제1 상태뿐만 아니라 상기 제2 상태에서도 터치입력을 감지하도록 이루어질 수 있다.
한편, 본 변형 예에 따른 이동 단말기(200)에는 플렉서블 디스플레이부(251)의 변형을 감지할 수 있는 변형감지수단이 구비될 수 있다. 이러한 변형감지수단은 센싱부(140, 도 1a 참조)에 포함될 수 있다.
상기 변형감지수단은 플렉서블 디스플레이부(251) 또는 케이스(201)에 구비되어, 플렉서블 디스플레이부(251)의 변형과 관련된 정보를 감지할 수 있다. 여기에서, 변형과 관련된 정보는, 플렉서블 디스플레이부(251)가 변형된 방향, 변형된 정도, 변형된 위치, 변형된 시간 및 변형된 플렉서블 디스플레이부(251)가 복원되는 가속도 등이 될 수 있으며, 이 밖에도 플렉서블 디스플레이부(251)의 휘어짐으로 인하여 감지 가능한 다양한 정보일 수 있다.
또한, 제어부(180)는 상기 변형감지수단에 의하여 감지되는 플렉서블 디스플레이부(251)의 변형과 관련된 정보에 근거하여, 플렉서블 디스플레이부(251) 상에 표시되는 정보를 변경하거나, 이동 단말기(200)의 기능을 제어하기 위한 제어신호를 생성할 수 있다.
한편, 본 변형 예에 따른 이동 단말기(200)는 플렉서블 디스플레이부(251)를 수용하는 케이스(201)를 포함할 수 있다. 케이스(201)는 플렉서블 디스플레이부(251)의 특성을 고려하여, 외력에 의하여 플렉서블 디스플레이부(251)와 함께 변형 가능하도록 구성될 수 있다.
아울러, 이동 단말기(200)에 구비되는 배터리(미도시) 또한 플렉서블 디스플레이부(251)의 특성을 고려하여, 외력에 의하여 플렉서블 디스플레이부(251)와 함께 변형 가능하도록 구성될 수 있다. 상기 배터리를 구현하기 위하여, 배터리 셀을 위로 쌓은 스택앤폴딩(stack and folding) 방식이 적용될 수 있다.
플렉서블 디스플레이부(251)의 상태 변형은 외력에 의한 것으로만 국한되지는 않는다. 예를 들어, 플렉서블 디스플레이부(251)가 제 1 상태를 가지고 있을 때, 사용자 혹은 애플리케이션의 명령에 의해서, 제 2 상태로 변형될 수도 있다.
한편, 이동 단말기는 사용자가 주로 손에 쥐고 사용하는 차원을 넘어서, 신체에 착용할 수 있는 웨어러블 디바이스(wearable device)로 확장될 수 있다. 이러한 웨어러블 디바이스에는 스마트 워치(smart watch), 스마트 글래스(smart glass), HMD(head mounted display) 등이 있다. 이하, 웨어러블 디바이스로 확장된 이동 단말기의 예들에 대하여 설명하기로 한다.
웨어러블 디바이스는 다른 이동 단말기(100)와 데이터를 상호 교환(또는 연동) 가능하게 이루어질 수 있다. 근거리 통신 모듈(114)은, 이동 단말기(100) 주변에 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 제어부(180)는 감지된 웨어러블 디바이스가 이동 단말기(100)와 통신하도록 인증된 디바이스인 경우, 이동 단말기(100)에서 처리되는 데이터의 적어도 일부를, 근거리 통신 모듈(114)을 통하여 웨어러블 디바이스로 전송할 수 있다. 따라서, 사용자는 이동 단말기(100)에서 처리되는 데이터를 웨어러블 디바이스를 통하여 이용할 수 있다. 예를 들어, 이동 단말기(100)에 전화가 수신된 경우 웨어러블 디바이스를 통해 전화 통화를 수행하거나, 이동 단말기(100)에 메시지가 수신된 경우 웨어러블 디바이스를 통해 상기 수신된 메시지를 확인하는 것이 가능하다.
도 3은 본 명세서의 일 실시예에 따른 이동 단말기의 사용 예를 설명하기 위한 도면이다.
도 3을 참조하면, 이동 단말기(300)는 센서를 이용하여 객체(310)를 인식할 수 있다. 센서는 객체(310)의 3D(3-dimensional) 정보를 획득하는 센서, 예를 들면 TOF(time of flight) 센서(또는 TOF 카메라)를 포함할 수 있다. TOF 센서는 TOF 방식을 이용하여 깊이 정보를 측정하는 센서로서 다양한 깊이 정보 인식 센서가 이용될 수 있으며, 이에 대해서는 통상의 기술자에게 용이한바 구체적인 설명은 생략하겠다.
센서는 이동 단말기(300)의 후면에 배치될 수 있으며, 이에 따라 도시된 바와 같이 이동 단말기(300)의 후면이 객체(310)를 향하여 배치됨에 기초하여 이동 단말기(300)는 센서를 동작시켜 객체(310)에 대한 3D 정보를 획득할 수 있다. 다만, 센서의 배치는 이러한 예에 제한되지 않고 옆면에 배치되거나 별도의 구성으로 배치되어 유선 또는 무선으로 연결될 수도 있다.
한편, 객체(310)는 도시된 바와 같이 신용카드(또는 현금카드)와 같이 양각 또는 음각 패턴을 포함하는 대상을 포함할 수 있다. 이 때, 양각 또는 음각 패턴은 신용카드의 정보에 대응할 수 있으며, 센서에 의해 획득되는 3D 정보는 양각 또는 음각 패턴에 대한 정보를 포함할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 이동 단말기의 기능 블록도이다. 후술하는 이동 단말기(400)의 요소(element)는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 4를 참조하면, 이동 단말기(400)는 센서(410) 및 제어부(420)를 포함할 수 있다. 센서(410) 및 제어부(420) 각각은 적어도 하나의 프로세서(processor)를 포함할 수 있다.
센서(410)는 3D 정보를 획득할 수 있다. 3D 정보는 센서(410)에 의해 감지되는 영역의 공간 정보로서, 평면 정보 및 깊이 정보를 포함할 수 있다. 센서(410)는 예를 들면 TOF 센서를 포함할 수 있으며, 이를 기초로 3D 정보를 획득할 수 있다.
만약, 센서(410)에 의해 감지되는 영역에 양각 또는 음각 패턴을 가지는 객체가 위치되는 경우, 센서(410)를 통해 객체의 양각 또는 음각 패턴에 대응하는 3D 정보가 획득될 수 있다.
경우에 따라, 센서(410)는 이동 단말기(400)와 구분되어 존재하며, 유선 또는 무선으로 연결되어 이용될 수도 있으며 이에 본 명세서의 실시예가 제한되지 않는다.
제어부(420)는 센서(410)를 통해 센서(410)로부터 특정 거리 내에 위치되는 객체에 대한 3D 정보를 확인할 수 있다. 여기서, 객체는 양각 또는 음각 패턴을 포함할 수 있다. 예를 들어 객체는 양각 또는 음각으로 숫자 또는 문자가 새겨진 신용카드를 포함할 수 있다.
실시예에서, 제어부(420)는 센서(410)를 통해 객체 및 객체 주변의 영역에 대한 3D 정보를 획득할 수 있다. 이러한 경우, 제어부(420)는 가우시안 필터를 이용하여 객체에 대응하는 영역을 확인할 수 있다.
구체적으로, 제어부(420)는 객체 및 객체 주변의 영역에 대한 3D 정보를 2D로 투영(projection)하고, 투영에 기초하여 생성된 2D 정보를 방향성을 가지는 가우시안 필터로 필터링할 수 있다. 제어부(420)는 필터링을 기반으로 객체의 아웃라인(outline)(또는 테두리)을 추출할 수 있다. 투영 및 가우시안 필터와 관련하여서는 통상의 기술자에게 용이한바 구체적인 설명은 생략하겠다.
한편, 객체의 영역의 크기는 미리 지정될 수 있는데, 제어부(320)는 객체의 영역과 관련하여 미리 지정된 크기와 방향성을 가지도록 추출된 아웃라인(outline)의 크기를 비교하여, 객체의 영역을 확인할 수 있다.
예를 들어, 객체가 신용카드인 경우, 아웃라인은 가로 및 세로에 대한 정보를 포함할 수 있고, 제어부(420)는 가로 및 세로 각각에 대한 정보를 컨볼루션하여 값이 높게 나타나는 지점을 신용카드의 꼭지점으로 결정할 수 있다. 제어부(420)는 신용카드의 꼭지점을 연결하여 사각형을 생성하고, 생성된 사각형을 미리 지정된 크기와 비교하여 객체의 영역을 확인할 수 있다.
제어부(420)는 확인된 3D 정보를 이용하여 객체에 대한 영역(이하, 제1 영역) 중 양각 또는 음각 패턴에 대응하는 제2 영역을 확인할 수 있다. 실시예에서, 제1 영역은 객체에 대응하는 영역일 수 있고, 제2 영역은 객체에 포함되는 양각 또는 음각 패턴에 대응하는 영역일 수 있다.
경우에 따라, 제2 영역의 크기는 미리 지정될 수 있다. 이러한 경우 제어부(420)는 제2 영역이 양각 또는 음각 패턴을 포함하는 미리 지정된 크기의 영역으로 확인할 수 있다.
예를 들어, 객체가 신용카드인 경우 제1 영역은 신용카드에 대응하는 영역을 포함하고, 제2 영역은 제1 영역 내의 신용카드의 카드 번호에 해당하는 영역을 포함할 수 있다. 이 때, 신용카드의 카드 번호에 해당하는 영역의 크기는 미리 지정될 수 있으며, 이러한 경우 제어부(420)는 양각 또는 음각 패턴을 포함하는 미리 지정된 크기의 영역을 제2 영역으로 확인할 수 있다.
실시예에서, 객체가 양각 패턴을 포함하는 경우 제2 영역은 센서(410)와의 거리가 특정 값 미만인 객체의 영역을 포함할 수 있다. 구체적으로, 객체에 볼록하게 튀어나온 부분이 존재하는 경우, 제2 영역은 볼록하게 튀어나온 부분을 포함하는 특정 크기의 영역일 수 있고, 이러한 영역은 센서(410)와의 거리가 특정 값 미만인, 즉 센서와의 거리가 다른 영역에 비해 더 가까운 영역을 포함할 수 있다.
실시예에서, 객체가 음각 패턴을 포함하는 경우 제2 영역은 센서(410)와의 거리가 특정 값 이상인 객체의 영역을 포함할 수 있다. 구체적으로, 객체에 오목하게 들어간 부분이 존재하는 경우, 제2 영역은 오목하게 들어간 부분을 포함하는 특정 크기의 영역일 수 있고, 이러한 영역은 센서(410)와의 거리가 특정 값 이상인, 즉 센서와의 거리가 다른 영역에 비해 더 먼 영역을 포함할 수 있다.
실시예에서, 제어부(420)는 미리 지정된 크기의 제3 영역을 확인할 수 있다. 제3 영역은 양각 또는 음각 패턴을 포함할 수 있으다. 다만, 제3 영역은 제2 영역과 크기가 상이한 영역일 수 있다. 예를 들어, 제2 영역은 신용카드의 번호에 대한 제1 크기의 영역에 대응하고, 제3 영역은 신용카드의 유효기간에 대한 제2 크기의 영역에 대응할 수 있다. 제1 크기는 제2 크기보다 클 수 있으며 제1 크기 및 제2 크기 각각은 국제적인 표준으로 지정된 특정한 값일 수 있으나, 이에 제한되는 것은 아니다.
실시예에서, 제어부(420)는 객체에 대한 3D 정보를 제1 축에 투영(project)하여 제1 투영 정보(projection information)를 획득할 수 있다. 제어부(420)는 객체에 대한 3D 정보를 제2 축에 투영하여 제2 투영 정보를 획득할 수 있다.
예를 들어, 객체가 신용카드인 경우 제1 축은 신용카드의 가로에 대응하는 x축이고 제2 축은 신용카드의 세로에 대응하는 y축일 수 있다. 한편, 객체에 대한 3D 정보는 x축, y축 및 z축 각각에 대한 정보를 포함할 수 있다. 이러한 경우 제어부(420)는 깊이 정보에 대응하는 z축의 정보를 제1 축에 투영시켜 제1 투영 정보를 획득할 수 있고 z축의 정보를 제2 축에 투영시켜 제2 투영 정보를 획득할 수 있다. 이러한 경우, 양각 또는 음각 패턴에 대응하는 부분이 x축 및 y축 상에서 특정 범위를 벗어나는 값을 가지도록 나타날 수 있다. 이에 대한 구체적인 예는 도 6 또는 도 7을 참조할 수 있다.
여기서, 특정 범위는 예를 들면 신용카드의 편평한 부분에 대응하는, 즉 양각 또는 음각 패턴이 포함되지 않은 영역이 투영됨에 기초하여 나타나는 값의 범위일 수 있다.
제어부(420)는 제1 투영 정보 및 제2 투영 정보를 기초로 제1 영역 중 제2 영역을 확인할 수 있다. 구체적으로, 제어부(420)는 제1 투영 정보를 기초로 제1 특정 범위를 초과하여 나타나는 제1 축 상의 영역을 확인하고 제2 투영 정보를 기초로 제2 특정 범위를 초과하여 나타나는 제2 축 상의 영역을 확인할 수 있다. 여기서, 제1 특정 범위 및 제2 특정 범위 각각은 기지정된 범위일 수 있다.
구체적으로 예를 들면, 제1 투영 정보는 z축 상 값이 x축에 대해 누적된 누적 값에 대응하고, 제2 투영 정보는 z축 상 값이 y축에 대해 누적된 누적 값에 대응할 수 있다. 제어부(420)는 x축에 대응하는 누적 값이 제1 특정 범위를 초과하여 나타나는 부분을 제2 영역의 x축 상의 범위로 확인할 수 있다. 제어부(420)는 y축에 대응하는 누적 값이 제2 특정 범위를 초과하여 나타나는 부분을 제2 영역의 y축 상의 범위로 확인할 수 있다. 이와 관련된 보다 구체적인 예는 도 6 또는 도 7을 참조할 수 있다.
실시예에서, 제어부(420)는 제2 영역을 확인함에 기초하여, 제2 영역에 대한 3D 정보를 확인할 수 있다. 여기서, 제2 영역에 대한 3D 정보는 적어도 하나의 숫자에 대한 3D 정보를 포함할 수 있다. 적어도 하나의 숫자는 기지정되며 양각 또는 음각 패턴으로로 객체에 기재된 숫자로서, 예를 들면 신용카드의 번호 또는 유효기간을 포함할 수 있다.
실시예에서, 제어부(420)는 제2 영역의 3D 정보를 제1 축(예: x축)을 기준으로 스캐닝할 수 있다. 제어부(420)는 스캐닝을 기초로 양각 또는 음각 패턴에 의해 나타나는 3D 정보의 패턴을 확인할 수 있다. 제어부(420)는 3D 정보의 패턴 중 특정 구간이 나타나면, 특정 구간을 기준으로 제2 영역을 적어도 하나의 분할 영역으로 구분할 수 있다.
이 때, 적어도 하나의 분할 영역은 적어도 하나의 숫자 각각에 대응하는 영역일 수 있다. 특정 구간은 예를 들면 양각 또는 음각 패턴을 포함하지 않는 편평한 평면에 대한 3D 정보에 대응하는 구간일 수 있다. 이와 관련된 구체적인 예는 도 8을 참조할 수 있다.
구체적으로 예를 들면, 제어부(420)는 제1 영역을 x축 상의 가장 왼쪽 지점부터 오른쪽 지점까지 y축에 대응하는 수직 선을 이용하여 스캐닝할 수 있다. 이 때, 스캐닝에 의해 획득되는 정보는 예를 들면, z축 상에 나타나는 값들의 총 합을 포함할 수 있다.
제어부(420)는 스캐닝된 데이터를 2차원의 그래프로 형성할 수 있고, 2차원의 그래프 상에서 기울기가 0으로 나타나는 지점을 1개의 숫자가 끝나는 지점으로 결정할 수 있다. 제어부는 하나의 숫자가 끝나는 지점을 기준으로 적어도 하나의 분할 영역을 구분할 수 있다. 스캐닝과 관련된 구체적인 예는 도 8을 참조할 수 있다.
실시예에서, 제어부(420)는 제2 영역의 3D 정보를 제1 축(예: x축)으로 투영시킬 수 있다. 구체적으로, 제어부(420)는 제2 영역의 제2 축(예: y축)에 대한 3D 정보를 제1 축으로 투영시켜 3D 정보의 패턴을 확인할 수 있다. 여기서, 3D 정보의 패턴은 제1 축에 대한 제2 축의 값의 패턴을 포함할 수 있다.
제어부(420)는 3D 정보의 패턴을 기초로 적어도 하나의 숫자 각각에 대응하는 적어도 하나의 분할 영역을 확인할 수 있다. 구체적으로, 제어부(420)는 제2 영역에 대한 3D 정보의 제1 축에 대한 제2 축의 값을 확인할 수 있다. 제어부(420)는 확인된 제2 축의 값이 특정 값 미만인 지점을 기초로 적어도 하나의 분할 영역을 확인할 수 있다.
3D 정보가 x축, y축 및 z축에 기초한 정보인 경우, 실시예에 따라 3D 정보의 패턴은 z축 상 값이 x축에 대해 누적된 누적 값 또는 y축에 대해 누적된 누적 값 중 적어도 하나에 대한 패턴을 포함할 수 있다.
적어도 하나의 분할 영역은 제2 영역에 포함되는 영역으로, 즉 제2 영역이 상기 특정 값 미만인 지점을 기초로 구분된 적어도 하나의 영역에 대응할 수 있다. 적어도 하나의 분할 영역 각각은 제2 영역에 양각 또는 음각으로 기재된 적어도 하나의 숫자 각각에 대응할 수 있다.
한편, 0부터 9까지의 숫자 각각은 그 형태가 다르기 때문에 3D 정보(또는 제1 축에 대한 제2 축의 값과 관련된 3D 정보)는 숫자 별로 상이하게 나타날 수 있다. 실시예에서, 이동 단말기(400)에는 숫자 각각에 대한 3D 정보가 저장되어 있을 수 있으며, 이를 기초로 제어부(420)는 적어도 하나의 분할 영역 각각을 저장된 숫자에 대한 정보와 비교함에 기초하여 적어도 하나의 분할 영역 각각에 대응하는 숫자를 확인할 수 있다.
실시예에서, 이동 단말기(400)는 기계학습 알고리즘을 포함할 수 있다. 기계학습 알고리즘은 3D 정보가 입력되면 입력된 3D 정보가 나타내는 숫자 정보를 출력하도록 미리 학습된 알고리즘을 포함할 수 있다. 이러한 경우, 제어부(420)는 기계학습 알고리즘을 이용하여 확인된 적어도 하나의 분할 영역에 대한 3D 정보가 나타내는 객체의 정보, 예를 들면 숫자를 확인할 수 있다.
구체적으로, 제어부(420)는 기계학습 알고리즘에 적어도 하나의 분할 영역 각각의 3D 정보를 입력하여 적어도 하나의 분할 영역 각각이 나타내는 숫자를 확인할 수 있다. 제어부(420)는 확인된 숫자를 조합하여 제2 영역에 대응하는 객체의 정보를 확인할 수 있다. 한편, 기계학습 알고리즘은 CNN(convolution neural network) 또는 DNN(deep neural network)을 포함할 수 있으나, 이에 제한되는 것은 아니고 다양한 방식의 기계학습 알고리즘으로 구현될 수 있다.
도 5는 본 명세서의 일 실시예에 따른 이동 단말기의 제어 방법의 각 단계의 흐름도이다. 도 5에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다. 또한, 이하 도 5에서는 도 3 또는 도 4에서 설명한 내용과 중복되는 내용이 생략될 수 있다.
도 5를 참조하면, 이동 단말기는 양각 또는 음각 패턴을 포함하는 객체에 대한 3D 정보를 확인할 수 있다(510). 구체적으로, 이동 단말기는 센서를 통해 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체에 대한 3D 정보를 확인할 수 있다. 여기서, 센서는 3D 정보를 획득하는 센서로 예를 들면 TOF 센서를 포함할 수 있다.
이동 단말기는 객체에 대한 제1 영역 중 양각 또는 음각 패턴에 대응하는 제2 영역을 확인할 수 있다(520). 구체적으로, 이동 단말기는 확인된 3D 정보를 이용하여 객체에 대한 제1 영역에 포함되는 제2 영역을 확인할 수 있다. 객체가 양각 패턴을 포함하는 경우 제2 영역은 센서와의 거리가 특정 값 미만인 영역을 포함할 수 있다. 객체가 음각 패턴을 포함하는 경우 제2 영역은 센서와의 거리가 특정 값 이상인 영역을 포함할 수 있다.
제2 영역은 미리 지정된 크기의 영역일 수 있으며, 예를 들어 신용카드에서 번호가 기재되는 영역의 크기 또는 유효기간이 기재되는 영역의 크기에 대응할 수 있다.
실시예에서, 이동 단말기는 제1 영역의 3D 정보를 제1 축 및 제2 축 각각에 투영하여 제1 축에 대한 제1 투영 정보와 제2 축에 대한 제2 투영 정보를 획득할 수 있다. 이동 단말기는 제1 투영 정보와 제2 투영 정보가 중첩되는 영역을 제2 영역으로 결정할 수 있다. 이와 관련된 구체적인 예는 도 6 또는 도 7을 참조할 수 있다.
이동 단말기는 제2 영역에 대한 3D 정보의 패턴을 기초로 제2 영역에 포함된 객체의 정보를 확인할 수 있다(530). 이동 단말기는 제2 영역에 대한 3D 정보의 패턴을 확인할 수 있다. 제2 영역에 대한 3D 정보의 패턴은 예를 들면 제2 영역의 z축 상의 값을 x축에 대해 투영함에 기초하여 나타나는 패턴을 포함할 수 있다.
이동 단말기는 숫자의 3D 패턴과 관련하여 기저장된 정보 또는 숫자를 확인하도록 학습된 기계학습 알고리즘을 이용하여 3D 정보의 패턴에 대응하는 객체의 정보를 확인할 수 있다.
객체의 정보는, 예를 들면 신용카드의 번호 또는 신용카드의 유효기간을 포함할 수 있으나, 이에 제한되는 것은 아니다. 숫자의 3D 패턴과 관련하여 기저장된 정보 또는 숫자를 확인하도록 학습된 기계학습 알고리즘과 관련하여서는 도 4를 통해 상술한바 구체적인 내용은 생략하겠다.
도 6은 본 명세서의 일 실시예에 따른 이동 단말기에 의해 객체와 관련된 영역이 확인되는 과정의 예를 설명하기 위한 도면이다.
도 6을 참조하면, 객체(600)는 신용카드일 수 있으며, 객체(600)에는 신용카드의 번호가 기재되어 있을 수 있다. 신용카드의 번호는 양각으로 기재되어 있을 수 있으며 이에 따라 신용카드의 번호 부분이 다른 부분과 상이하게 입체적으로 튀어나와 있을 수 있다.
이동 단말기는 객체(600)에 대한 3D 정보를 획득할 수 있다. 이동 단말기는 획득된 3D 정보를 x축에 대해 투영시키고 y축에 대해 투영시킬 수 있다. 이에 따라 도시된 바와 같이 x축과 y축 각각에 대한 투영 정보가 생성될 수 있다.
이하에서는, x축에 대한 투영 정보는 제1 투영 정보로 지칭하고 y축에 대한 투영 정보는 제2 투영 정보로 지칭하겠다. 다만 이와 같은 용어에 의해 이에 본 실시예가 제한되지는 않는다.
실시예에서, 이동 단말기는 z축 상의 값을 x축으로 투영시킬 수 있다. 이에 따라, x축 상에는 x축의 위치 별 대응하는 z축 상의 누적 값들이 제1 투영 정보로서 생성될 수 있다. 한편, 상술한 바와 같이 객체(600)의 신용카드의 번호에 대응하는 영역(이하, 제1 영역)(610)은 다른 영역들과는 구분되게 양각 패턴을 가질 수 있다. 이러한 경우, 양각 패턴을 가지는 제1 영역(610)이 z축 상에서 값을 가지게 될 수 있고, 이에 따라 x축 상의 특정 영역에서 도시된 바와 같은 패턴이 나타날 수 있다.
실시예에서, 이동 단말기는 z축 상의 값을 y축으로 투영시킬 수 있다. 이에 따라, y축 상에는 y축의 위치 별 대응하는 z축 상의 누적 값들이 제2 투영 정보로서 생성될 수 있다. 이러한 경우, 양각 패턴을 가지는 제1 영역(610)이 z축 상에서 값을 가지게 될 수 있고, 이에 따라 제2 투영 정보는 제1 영역(610)에서 도시된 바와 같이 값이 나타날 수 있다.
한편, x축과 y축 상에서 패턴이 나타나는 특정 영역은 제1 영역(610)일 수 있다. 구체적으로, 제1 투영 정보는 제1 영역(610)의 가로 길이(612)만큼 값이 나타날 수 있고, 제2 투영 정보는 제1 영역(610)의 세로 길이(611)만큼 값이 나타날 수 있다.
실시예에서, 신용카드의 번호가 기재되는 영역의 크기는 일정할 수 있고, 이에 따라 제1 영역(610)의 크기가 미리 지정될 수 있다. 이동 단말기는 제1 투영 정보 및 제2 투영 정보 각각을 기초로 확인되는 영역이 미리 지정된 크기에 대응하는지 여부를 확인할 수 있다.
확인되는 영역이 미리 지정된 크기에 대응하는 경우 확인되는 영역을 제1 영역(610)으로 결정할 수 있다. 만약, 확인되는 영역이 미리 지정된 크기에 대응하지 않는 경우 확인되는 영역이 중앙에 위치하는 미리 지정된 크기에 대응하는 영역을 제1 영역(610)으로 결정할 수 있다.
한편, 도 6에서는 제1 영역(610)과 관련된 투영 정보가 x축과 y축 상에 특정한 값으로 나타나는 경우를 도시하였으나, 구체적으로 투영 정보는 z축 상의 값에 대응하는 값을 가지도록 나타날 수 있다. 제1 투영 정보의 보다 상세한 예는 도 9를 참조할 수 있다.
도 7은 본 명세서의 일 실시예에 따른 이동 단말기에 의해 객체와 관련된 영역이 확인되는 과정의 다른 예를 설명하기 위한 도면이다. 구체적으로 도 7은 객체(700)에 3D 정보와 관련된 영역이 복수의 영역을 포함하는 경우 복수의 영역 각각을 구분하는 방법을 설명하기 위한 도면이다.
도 7에서 객체(700)는 신용카드의 번호에 대한 제1 영역(710)과 신용카드의 유효기간에 대한 제2 영역(720)을 포함할 수 있다. 제1 영역(710)은 도 6의 제1 영역(610)에 대응할 수 있다.
x축 기준으로 살펴보면, 제1 영역(710)의 가로 길이(731)에 대응하는 만큼 x축 상에는 3D 정보가 투영됨에 기초한 값이 나타날 수 있다. 이에 더하여 제2 영역(720)의 가로 길이(732)에 대응하는 만큼 3D 정보가 투영됨에 기초한 값이 x축 상에 추가적으로 나타날 수 있다.
y축 기준으로 살펴보면, 제1 영역(710)의 세로 길이(711)에 대응하는 만큼 y축 상에는 3D 정보가 투영됨에 기초한 값이 나타날 수 있다. 이에 더하여 제2 영역(720)의 세로 길이(712)에 대응하는 만큼 3D 정보가 투영됨에 기초한 값이 y축 상에 추가적으로 나타날 수 있다.
제1 영역(710)과 제2 영역(720)의 크기는 미리 지정되어 있을 수 있는데, 이와 같이 제1 영역(710)과 제2 영역(720)의 크기에 대한 정보 및 투영에 기초하여 나타나는 값을 기반으로 이동 단말기는 제1 영역(710)과 제2 영역(720)을 확인할 수 있다.
예를 들어, x축 상에서 넓게 나타나는 영역과 y축에서 더 큰 값을 가지는 영역을 매칭하여 제1 영역(710)을 결정하고, x축 상에서 좁게 나타나되 보다 큰 값을 가지는 영역과 y축에서 더 작은 값을 가지는 영역을 매칭하여 제2 영역(712)을 결정할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 이동 단말기가 객체의 정보를 확인하는 과정을 설명하기 위한 도면이다. 구체적으로, 도 8은 도 6 또는 도 7을 기반으로 확인되는 영역(예: 제1 영역)이 나타내는 정보를 확인하기 위한 과정의 예를 설명하기 위한 도면이다.
도 8은 객체의 정보가 숫자인 경우 이에 대한 영역의 예를 나타낸다. 이동 단말기는 영역의 일단, 즉 9의 앞부분에서부터 순차적으로 객체의 정보를 스캐닝할 수 있다.
실시예에서, 스캐닝은 3D 정보를 읽어오는 과정을 의미할 수 있으며, 이를 통해 영역의 3D 정보의 패턴이 확인될 수 있다. 3D 정보의 패턴은 양각 또는 음각에 기초하여 z축 상에 나타나는 값들의 패턴일 수 있다. 객체의 정보를 구성하는 숫자의 경우 숫자의 종류마다 양각 또는 음각의 패턴이 상이하기 때문에, 숫자 각각에 대응하는 3D 정보 또한 상이할 수 있다.
이에 기초하여 이동 단말기는 3D 정보의 패턴을 확인하면 이에 대응하는 숫자를 결정할 수 있다. 3D 정보의 패턴의 구체적인 예는 도 9를 참조할 수 있다.
경우에 따라, 이동 단말기는 3D 정보의 패턴을 기계학습 알고리즘에 입력하여 객체의 정보가 나타내는 구체적인 숫자를 결정할 수 있다. 여기서, 기계학습 알고리즘은 3D 정보의 패턴이 입력되면 그에 대응하는 숫자를 출력하도록 미리 학습된 것일 수 있다.
도 9는 본 명세서의 일 실시예에 따른 이동 단말기에 의해 확인되는 3D 정보의 패턴을 설명하기 위한 도면이다. 구체적으로, 도 9는 도 8의 객체의 정보 중 일부에 대한 3D 정보의 패턴의 예를 나타낸다.
도 9를 참조하면, 객체에 대한 3D 정보는 2차원의 그래프로 나타날 수 있다. 이와 같은 2차원의 그래프(900)는, 예를 들면 x축에 대해 z축 값이 투영된 값 또는 x축에 대해 z축 값이 누적된 값으로 나타날 수 있다. 이러한 경우, 도 9의 y축은 x축에 대해 z축 값이 투영된 값 또는 x축에 대해 z축 값이 누적된 값에 대응할 수 있다.
도 9와 같이 객체의 정보가 '9410'을 포함하는 경우, 9, 4, 1 및 0 각각의 형태가 다르기 때문에 3D 정보의 패턴 또한 다르게 나타날 수 있다. 다만 각 숫자의 사이에는 특정 간격이 존재할 수 있으며, 이는 객체에서 양각 또는 음각 처리되지 않은 부분에 대응할 수 있다.
이와 같이 양각 또는 음각 처리되지 않은 부분에 대한 3D 정보는 특정 값 또는 특정 범위에 포함되는 값으로 나타날 수 있다. 예를 들어 도 9에 나타난 바와 같이 양각 또는 음각 처리되지 않은 부분에 대한 3D 정보는 제1 값 미만으로 나타날 수 있다.
이와 같이 제1 값 미만으로 나타나는 부분을 기점으로 분할 영역을 결정할 수 있다. 구체적으로, 도시된 바와 같이 최초 3D 정보가 나타나는 지점부터 제1 값이 나타나는 지점까지를 9에 대한 분할 영역으로 결정할 수 있다. 9의 뒤에 순차적으로 나타나는 4, 1 및 0 각각의 숫자에 대해서도 동일한 방식이 적용될 수 있다.
실시예에서 이동 단말기는 2차원의 그래프(900) 상에서 기울기가 0으로 나타나는 지점을 1개의 숫자가 끝나는 지점으로 결정할 수 있다. 이동 단말기는 하나의 숫자가 끝나는 지점을 기준으로 적어도 하나의 분할 영역을 구분할 수 있다.
실시예에서 이동 단말기는 숫자 각각에 대한 3D 정보를 저장할 수 있다. 이동 단말기는 저장된 숫자 각각에 대한 3D 정보를 이용하여 분할 영역에 대응하는 숫자를 확인할 수 있다.
본 명세서의 일 실시예에 따른 이동 단말기 및 그 제어 방법은, 객체(예: 신용카드)의 3D 정보를 이용함으로써 객체의 촬영 시 주변이 어두운 경우 또는 객체에 이미지와 패턴이 복잡하게 추가되더라도 양각 또는 음각 패턴에 대응하는 객체의 정보(예: 신용카드의 번호)를 보다 정확하고 용이하게 확인할 수 있다.
이상의 설명은 본 명세서의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 명세서가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 명세서의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 명세서의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 명세서의 기술 사상의 범위가 한정되는 것은 아니다. 본 명세서의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 명세서의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (18)

  1. 3D(3-dimensional) 정보를 획득하는 센서와,
    제어부(controller)를 포함하고,
    상기 제어부는,
    상기 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체(object)에 대한 3D 정보를 확인하고,
    상기 확인된 3D 정보를 이용하여 상기 객체에 대한 제1 영역 중 상기 양각 또는 음각 패턴에 대응하는 제2 영역을 확인하고,
    상기 확인된 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 확인된 제2 영역에 포함된 상기 객체의 정보를 확인하는
    이동 단말기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 객체에 대한 3D 정보를 제1 축에 투영(project)하여 제1 투영 정보(projection information)를 획득하고, 상기 객체에 대한 3D 정보를 제2 축에 투영하여 제2 투영 정보를 획득하고,
    상기 제1 투영 정보 및 상기 제2 투영 정보를 기초로 상기 제1 영역 중 상기 제2 영역을 확인하는
    이동 단말기.
  3. 제1항에 있어서,
    상기 제2 영역에 대한 3D 정보는 적어도 하나의 숫자에 대한 3D 정보를 포함하고,
    상기 제어부는,
    상기 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 적어도 하나의 숫자 각각에 대응하는 적어도 하나의 분할 영역을 확인하는
    이동 단말기.
  4. 제3항에 있어서,
    상기 3D 정보의 패턴은 제1 축에 대한 제2 축의 값의 패턴을 포함하고,
    상기 제어부는,
    상기 제2 영역에 대한 3D 정보의 상기 제1 축에 대한 상기 제2 축의 값을 확인하고,
    상기 확인된 제2 축의 값이 특정 값 미만인 지점을 기초로 상기 적어도 하나의 분할 영역을 확인하는
    이동 단말기.
  5. 제3항에 있어서,
    상기 제어부는,
    기계학습 알고리즘을 이용하여 상기 확인된 적어도 하나의 분할 영역에 대한 3D 정보가 나타내는 객체의 정보를 확인하고,
    상기 기계학습 알고리즘은 3D 정보가 입력되면 상기 입력된 3D 정보가 나타내는 숫자 정보를 출력하도록 학습된
    이동 단말기.
  6. 제1항에 있어서,
    상기 3D 정보가 x축, y축 및 z축에 기초한 정보인 경우, 상기 3D 정보의 패턴은 z축 상 값이 x축에 대해 누적된 누적 값 또는 y축에 대해 누적된 누적 값 중 적어도 하나에 대한 패턴을 포함하는
    이동 단말기.
  7. 제1항에 있어서,
    상기 센서는 TOF(time of flight) 센서를 포함하고,
    상기 객체는 신용카드(credit card)를 포함하며,
    상기 객체의 정보는 숫자 정보를 포함하는
    이동 단말기.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 센서를 통해 상기 객체가 포함된 제3 영역에 대한 3D 정보를 획득하고,
    가우시안 필터를 이용하여 상기 제3 영역에서 상기 제1 영역을 확인하는
    이동 단말기.
  9. 제1항에 있어서,
    상기 제2 영역은, 상기 센서와의 거리가 특정 값 미만인 부분을 포함하는
    이동 단말기.
  10. 이동 단말기의 제어 방법에 있어서,
    3D(3-dimensional) 정보를 획득하는 센서를 통해 상기 센서로부터 특정 거리 내에 위치되는 양각 또는 음각 패턴을 포함하는 객체에 대한 3D 정보를 확인하는 단계와,
    상기 확인된 3D 정보를 이용하여 상기 객체에 대한 제1 영역 중 상기 양각 또는 음각 패턴에 대응하는 제2 영역을 확인하는 단계와,
    상기 확인된 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 확인된 제2 영역에 포함된 상기 객체의 정보를 확인하는 단계를 포함하는
    이동 단말기의 제어 방법.
  11. 제10항에 있어서,
    상기 제2 영역을 확인하는 단계는,
    상기 객체에 대한 3D 정보를 제1 축에 투영(project)하여 제1 투영 정보(projection information)를 획득하고, 상기 객체에 대한 3D 정보를 제2 축에 투영하여 제2 투영 정보를 획득하는 단계와,
    상기 제1 투영 정보 및 상기 제2 투영 정보를 기초로 상기 제1 영역 중 상기 제2 영역을 확인하는 단계를 포함하는
    이동 단말기의 제어 방법.
  12. 제10항에 있어서,
    상기 제2 영역에 대한 3D 정보는 적어도 하나의 숫자에 대한 3D 정보를 포함하고,
    상기 객체의 정보를 확인하는 단계는,
    상기 제2 영역에 대한 3D 정보의 패턴을 기초로 상기 적어도 하나의 숫자 각각에 대응하는 적어도 하나의 분할 영역을 확인하는 단계를 포함하는
    이동 단말기의 제어 방법.
  13. 제12항에 있어서,
    상기 3D 정보의 패턴은 제1 축에 대한 제2 축의 값의 패턴을 포함하고,
    상기 객체의 정보를 확인하는 단계는,
    상기 제2 영역에 대한 3D 정보의 상기 제1 축에 대한 상기 제2 축의 값을 확인하는 단계와,
    상기 확인된 제2 축의 값이 특정 값 미만인 지점을 기초로 상기 적어도 하나의 분할 영역을 확인하는 단계를 포함하는
    이동 단말기의 제어 방법.
  14. 제12항에 있어서,
    상기 객체의 정보를 확인하는 단계는,
    기계학습 알고리즘을 이용하여 상기 확인된 적어도 하나의 분할 영역에 대한 3D 정보가 나타내는 객체의 정보를 확인하는 단계를 더 포함하고,
    상기 기계학습 알고리즘은 3D 정보가 입력되면 상기 입력된 3D 정보가 나타내는 숫자 정보를 출력하도록 학습된
    이동 단말기의 제어 방법.
  15. 제10항에 있어서,
    상기 3D 정보가 x축, y축 및 z축에 기초한 정보인 경우, 상기 3D 정보의 패턴은 z축 상 값이 x축에 대해 누적된 누적 값 또는 y축에 대해 누적된 누적 값 중 적어도 하나에 대한 패턴을 포함하는
    이동 단말기의 제어 방법.
  16. 제10항에 있어서,
    상기 센서는 TOF(time of flight) 센서를 포함하고,
    상기 객체는 신용카드(credit card)를 포함하며,
    상기 객체의 정보는 숫자 정보를 포함하는
    이동 단말기의 제어 방법.
  17. 제10항에 있어서,
    상기 센서를 통해 상기 객체가 포함된 제3 영역에 대한 3D 정보를 획득하는 단계와,
    가우시안 필터를 이용하여 상기 제3 영역에서 상기 제1 영역을 확인하는 단계를 더 포함하는
    이동 단말기의 제어 방법.
  18. 제10항에 있어서,
    상기 제2 영역은, 상기 센서와의 거리가 특정 값 미만인 부분을 포함하는
    이동 단말기의 제어 방법.
PCT/KR2020/000575 2020-01-13 2020-01-13 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법 WO2021145466A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/000575 WO2021145466A1 (ko) 2020-01-13 2020-01-13 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/000575 WO2021145466A1 (ko) 2020-01-13 2020-01-13 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2021145466A1 true WO2021145466A1 (ko) 2021-07-22

Family

ID=76864664

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000575 WO2021145466A1 (ko) 2020-01-13 2020-01-13 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2021145466A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007147B1 (ko) * 2008-05-09 2011-01-12 부산대학교 산학협력단 3차원 입체구조물을 구비한 보안카드 및 상기 보안카드의인식방법
KR20150059793A (ko) * 2012-10-18 2015-06-02 퀄컴 인코포레이티드 카드에 양각된 문자들의 검출
KR20170061630A (ko) * 2015-10-30 2017-06-05 시아오미 아이엔씨. 영역 추출 방법 및 장치
KR101824600B1 (ko) * 2015-09-08 2018-03-14 에스케이플래닛 주식회사 단말장치를 이용한 신용카드 번호 및 유효기간 인식 시스템 및 방법
KR20180092455A (ko) * 2017-02-09 2018-08-20 한국기술교육대학교 산학협력단 딥 러닝을 이용한 카드번호 인식방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101007147B1 (ko) * 2008-05-09 2011-01-12 부산대학교 산학협력단 3차원 입체구조물을 구비한 보안카드 및 상기 보안카드의인식방법
KR20150059793A (ko) * 2012-10-18 2015-06-02 퀄컴 인코포레이티드 카드에 양각된 문자들의 검출
KR101824600B1 (ko) * 2015-09-08 2018-03-14 에스케이플래닛 주식회사 단말장치를 이용한 신용카드 번호 및 유효기간 인식 시스템 및 방법
KR20170061630A (ko) * 2015-10-30 2017-06-05 시아오미 아이엔씨. 영역 추출 방법 및 장치
KR20180092455A (ko) * 2017-02-09 2018-08-20 한국기술교육대학교 산학협력단 딥 러닝을 이용한 카드번호 인식방법

Similar Documents

Publication Publication Date Title
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2015199304A1 (ko) 이동 단말기 및 이의 제어 방법
WO2017126741A1 (ko) Hmd 디바이스 및 그 제어 방법
WO2019164092A1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2019156437A1 (ko) 터치입력장치의 블랙화면모드에서 압력으로 인한 지문 센싱 방법 및 터치입력장치
WO2019164183A1 (ko) 생체 센서의 전극들 중에서 선택된 전극을 이용하여 생체 정보를 획득하는 전자 장치 및 제어 방법
WO2022080869A1 (ko) 이미지를 이용한 3차원 지도의 업데이트 방법 및 이를 지원하는 전자 장치
WO2020060004A1 (en) Mobile terminal
EP3642701A1 (en) Electronic device and method for controlling touch sensing signals and storage medium
WO2019151642A1 (ko) 지문 상태를 변경하기 위한 가이드 정보를 표시하기 위한 장치 및 방법
WO2022211271A1 (ko) 학습 기반의 필기 입력을 처리하는 전자 장치, 그 동작 방법 및 저장매체
WO2020060121A1 (ko) 필기 입력에 대한 보정 방법, 이를 위한 전자 장치 및 저장 매체
WO2022085940A1 (ko) 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치
WO2019143199A1 (ko) 지문 입력의 압력 레벨에 기반하여 지문 처리 방식을 결정하는 전자 장치 및 방법
WO2021230568A1 (ko) 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2021137321A1 (ko) 컨텐츠를 표시하는 전자 장치 및 그 제어 방법
WO2021145466A1 (ko) 객체의 정보를 확인하는 이동 단말기 및 그 제어 방법
WO2023003157A1 (ko) 전자 장치 및 전자 장치의 지문 정보 획득 방법
WO2022203330A1 (ko) 전자 장치 및 그것의 지문 인식 방법
WO2020050432A1 (ko) 이동 단말기
WO2022220659A1 (ko) 전자 장치 및 전자 장치에서 외부 전자 장치를 이용하여 정보를 입력하는 방법
WO2018128199A1 (ko) 와치타입 단말기
WO2022030933A1 (ko) 전자 장치 및 그의 필기 입력을 처리하는 방법
WO2021201645A1 (ko) 전자 장치 및 비접촉 제스처를 이용한 전자 장치의 기능 운용 방법
WO2021256588A1 (ko) 이동 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914343

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20914343

Country of ref document: EP

Kind code of ref document: A1