WO2020085524A1 - 이동단말기 및 그 제어 방법 - Google Patents

이동단말기 및 그 제어 방법 Download PDF

Info

Publication number
WO2020085524A1
WO2020085524A1 PCT/KR2018/012561 KR2018012561W WO2020085524A1 WO 2020085524 A1 WO2020085524 A1 WO 2020085524A1 KR 2018012561 W KR2018012561 W KR 2018012561W WO 2020085524 A1 WO2020085524 A1 WO 2020085524A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
segment
distance
display
target point
Prior art date
Application number
PCT/KR2018/012561
Other languages
English (en)
French (fr)
Inventor
안예한
김민호
김호영
진동철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2018/012561 priority Critical patent/WO2020085524A1/ko
Publication of WO2020085524A1 publication Critical patent/WO2020085524A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones

Definitions

  • Terminals can be divided into mobile terminals (mobile / portable terminals) and stationary terminals according to their mobility. Again, the mobile terminal may be divided into a handheld terminal and a vehicle mounted terminal according to whether the user can directly carry it.
  • the functions of mobile terminals are diversifying. For example, there are functions for data and voice communication, photo and video shooting through a camera, voice recording, music file playback through a speaker system, and image or video output on the display.
  • an electronic game play function is added or a multimedia player function is performed.
  • recent mobile terminals can receive multicast signals that provide visual content such as broadcast and video or television programs.
  • such a terminal is a multimedia player having multiple functions, such as taking a picture or a video, playing music or a video file, receiving a game, or broadcasting. Is being implemented.
  • the complex functions of the mobile terminal can be performed without the user directly touching the mobile terminal.
  • the user may interact without directly touching the mobile terminal through a voice or vision-based user interface provided in the mobile terminal.
  • the voice-based user interface may be limited by space and time. For example, in a noisy space, it may be difficult for the mobile terminal to discern the user's voice. In addition, the user is inconvenient to interact with the mobile terminal through a voice at a late night or with another person.
  • the vision-based user interface may provide convenience for the user to interact with the mobile terminal in the limited situation as described above. Accordingly, recently, a technology in which a mobile terminal interacts with a user through a vision-based user interface is actively being researched.
  • the present invention aims to solve the above-mentioned problems and other problems through the specification of the present invention.
  • the present invention is to provide a solution for quickly and accurately extracting a target point of a user's finger from a vision acquired through a depth camera.
  • the present invention seeks to provide a solution in which a digital device provides various video feedbacks in response to a point targeted by a user's finger.
  • the mobile terminal according to an embodiment of the present invention for achieving the above object,
  • a memory storing at least one command, a depth camera capturing an object to obtain a depth image, and a display outputting video feedback corresponding to the object captured by the depth camera according to at least one command stored in the memory
  • the controller includes a controller connected to the memory, the depth camera, and the display, and the controller responds to the object within a first preset distance from the mobile terminal according to at least one command stored in the memory.
  • the depth camera controls to track the object, and according to at least one command stored in the memory, acquires at least one segment according to a distance from the mobile terminal in the depth image, and at least one stored in the memory Common
  • a reference distance corresponding to a particular segment characterized in that for controlling the display to output at least one target point in the second group than the set distance to the mobile terminal.
  • the at least one segment is characterized in that the group of consecutive pixels having a value corresponding to a distance within the reference distance from the mobile terminal in the depth image .
  • the controller decreases the reference distance at a predetermined distance interval from the first preset distance, and the at least one segment corresponding to the reference distance Characterized by obtaining.
  • the specific segment is characterized in that at least one segment including a plurality of segments corresponding to the adjacent reference distance.
  • the at least one target point is a segment corresponding to a reference distance spaced apart from the second preset distance or more from the reference distance corresponding to the specific segment, It is characterized in that the segment is included in the specific segment and does not include another segment.
  • the captured object corresponds to at least one hand of the user, and the at least one target point is at least one hand angle from the at least one hand It is characterized by corresponding to the end.
  • the video feedback is to the at least one target point when the at least one target point moves over a third preset distance toward the mobile terminal It is characterized in that it indicates that a corresponding area of the display is selected.
  • the video feedback corresponds to the at least one target point when the at least one target point moves within a fourth preset distance from the mobile terminal Mobile terminal characterized in that it indicates that the display area is selected.
  • the video feedback increases or zooms in the size of the content displayed on the display. It is characterized by (Zoom-In).
  • the video feedback is the content of the content displayed on the display when the target point is plural and the plurality of target points are combined into one target point. It is characterized in that it is reduced in size or zoomed out.
  • the display is characterized in that the virtual screen to provide the content.
  • a method for controlling a mobile terminal for achieving the above object, when an object exists within a first preset distance from the mobile terminal, captures the object through a depth camera provided in the mobile terminal And acquiring a depth image, acquiring at least one segment according to a distance from the mobile terminal in the depth image, and at least one located above a second preset distance to the mobile terminal at a distance at which a specific segment is obtained And outputting a target point to a display provided in the mobile terminal, and outputting video feedback corresponding to the target foe to the display.
  • the at least one segment is a continuous pixel group having a value corresponding to a distance within the reference distance from the mobile terminal in the depth image
  • the at least one The step of acquiring a segment is characterized in that the reference distance is decreased at a predetermined distance interval from the first preset distance, and the at least one segment corresponding to the reference distance is obtained.
  • the specific segment is characterized in that at least one segment including a plurality of segments corresponding to the adjacent reference distance.
  • the at least one target point is a segment corresponding to a reference distance spaced apart from the second preset distance or more from the reference distance corresponding to the specific segment, It is characterized in that the segment is included in the specific segment and does not include another segment.
  • a user may interact with a digital device through a user's movement instead of a touch input.
  • a digital device can quickly extract a depth image corresponding to a user's hand through a depth camera.
  • a digital device can quickly and accurately extract a point targeted by a user's finger from a depth image.
  • a digital device may provide video feedback corresponding to a point targeted by a user's finger.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • FIGS. 1B and 1C are conceptual views of an example of a mobile terminal related to the present invention viewed from different directions.
  • 2 to 6 are views for explaining the driving method of the TOF camera.
  • FIG. 7 is a view for explaining the problem of the existing TOF camera 200 and the effect of the TOF camera according to an embodiment of the present invention, which is improved.
  • FIG. 8 is a schematic view for explaining the configuration of a TOF camera according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a control method for controlling a TOF camera according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a method of determining the presence or absence of an object by comparing frames in FIG. 9.
  • FIG. 12 is a schematic diagram for explaining the configuration of a TOF camera according to another embodiment of the present invention.
  • FIG. 13 is a view for explaining a method and a problem of recognizing a user's finger through a depth image acquired by a conventional depth camera.
  • FIG. 14 is a diagram for schematically explaining a method in which a mobile terminal according to an embodiment of the present invention recognizes a point targeted by a user's hand through a depth camera.
  • FIG. 15 is a flow chart for explaining FIG. 14.
  • FIG. 16 is a view for explaining an interaction region in FIG. 15.
  • FIG. 17 is a diagram for describing a depth image acquired in the interaction area of FIG. 16.
  • FIG. 18 is a flowchart illustrating a method of implementing a segment tree corresponding to a user's hand in FIG. 15.
  • FIG. 23 is a flowchart illustrating a method of determining an effective end through a segment tree in FIG. 15.
  • 25 is a flowchart illustrating a method of extracting a targeting point and depth corresponding to the effective end determined in FIG. 15.
  • 26 and 27 are views for explaining FIG. 25.
  • Mobile terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation, and slate PCs.
  • Tablet PC tablet PC
  • ultrabook ultrabook
  • wearable device wearable device, for example, a watch-type terminal (smartwatch), glass-type terminal (smart glass), HMD (head mounted display), etc. may be included have.
  • the configuration according to the embodiment described in the present specification may be applied to a fixed terminal such as a digital TV, a desktop computer, and a digital signage, except when applicable only to a mobile terminal. It is easy for a technician to know.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • FIGS. 1B and 1C are conceptual views of an example of a mobile terminal related to the present invention viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190 ) And the like.
  • the components shown in FIG. 1A are not essential for implementing the mobile terminal 100, so the mobile terminal 100 described herein may have more or fewer components than those listed above. have.
  • the wireless communication unit 110 among the components, between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or the mobile terminal 100 and an external server It may include one or more modules that enable wireless communication between. Also, the wireless communication unit 110 may include one or more modules connecting the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115. .
  • the input unit 120 may include a camera 121 for inputting a video signal or a video input unit, a microphone for inputting an audio signal (microphone 122), or an audio input unit, a user input unit 123 for receiving information from a user, for example , A touch key, a push key, and the like.
  • the voice data or image data collected by the input unit 120 may be analyzed and processed by a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal 100, surrounding environment information surrounding the mobile terminal 100, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity G-sensor, gyroscope sensor, motion sensor, RGB sensor, infrared sensor (IR sensor), fingerprint scan sensor, ultrasonic sensor , Optical sensor (e.g., camera (see 121)), microphone (see 122, battery), battery gauge, environmental sensor (e.g.
  • the mobile terminal 100 disclosed in this specification may combine and use information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating output related to vision, hearing, or tactile sense, and includes at least one of a display unit 151, an audio output unit 152, a haptic module 153, and an optical output unit 154 can do.
  • the display unit 151 may form a mutual layer structure with the touch sensor or may be integrally formed, thereby realizing a touch screen.
  • the touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and the user, and at the same time, provide an output interface between the mobile terminal 100 and the user.
  • the interface unit 160 serves as a passage with various types of external devices connected to the mobile terminal 100.
  • the interface unit 160 connects a device equipped with a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, and an identification module. It may include at least one of a port, an audio input / output (I / O) port, a video input / output (I / O) port, and an earphone port.
  • I / O audio input / output
  • I / O video input / output
  • earphone port an earphone port
  • the memory 170 stores data supporting various functions of the mobile terminal 100.
  • the memory 170 may store a number of application programs (application programs) that are driven in the mobile terminal 100, data for operation of the mobile terminal 100, and instructions. At least some of these applications may be downloaded from external servers via wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of shipment for basic functions of the mobile terminal 100 (for example, an incoming call, an outgoing function, a message reception, and an outgoing function). Meanwhile, the application program may be stored in the memory 170 and installed on the mobile terminal 100 to be driven by the controller 180 to perform an operation (or function) of the mobile terminal 100.
  • the controller 180 controls the overall operation of the mobile terminal 100 in addition to the operations related to the application program.
  • the controller 180 may provide or process appropriate information or functions to the user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • controller 180 may control at least some of the components discussed with reference to FIG. 1A to drive an application program stored in the memory 170. Furthermore, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 for driving the application program.
  • the power supply unit 190 receives external power and internal power to supply power to each component included in the mobile terminal 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the components may operate in cooperation with each other to implement an operation, control, or control method of the mobile terminal 100 according to various embodiments described below. Also, the operation, control, or control method of the mobile terminal 100 may be implemented on the mobile terminal 100 by driving at least one application program stored in the memory 170.
  • the input unit 120 is for input of image information (or signals), audio information (or signals), data, or information input from a user.
  • the mobile terminal 100 may include one or more A camera 121 may be provided.
  • the camera 121 may be part of the mobile terminal 100 of the present invention, or may be configured to include the mobile terminal 100. That is, the camera 121 and the mobile terminal 100 of the present invention may include at least some common features or configurations.
  • the camera 121 processes image frames such as still images or moving images obtained by an image sensor in a video call mode or a shooting mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • the plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming the matrix structure, various angles or focuses may be applied to the mobile terminal 100.
  • a plurality of image information may be input.
  • the plurality of cameras 121 may be arranged in a stereo structure to acquire left and right images for realizing a stereoscopic image.
  • the sensing unit 140 senses at least one of information in the mobile terminal 100, surrounding environment information surrounding the mobile terminal 100, and user information, and generates a sensing signal corresponding thereto.
  • the controller 180 may control driving or operation of the mobile terminal 100 based on the sensing signal, or perform data processing, function, or operation related to an application program installed in the mobile terminal 100. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object in the vicinity using mechanical force or infrared rays, etc., without mechanical contact.
  • the proximity sensor 141 may be provided with the proximity sensor 141 in the inner region of the mobile terminal 100 wrapped by the touch screen described above or in the vicinity of the touch screen.
  • the proximity sensor 141 examples include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor.
  • the proximity sensor 141 may be configured to detect the proximity of the object by a change in electric field according to the proximity of the conductive object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, proximity touch distance, proximity touch direction, proximity touch speed, proximity touch time, proximity touch position, proximity touch movement state, etc.). have.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern detected through the proximity sensor 141, and further, visual information corresponding to the processed data. It can be output on the touch screen. Furthermore, the controller 180 may control the mobile terminal 100 such that different operations or data (or information) are processed according to whether a touch on the same point on the touch screen is a proximity touch or a touch touch. .
  • the touch sensor uses a touch (or touch input) applied to the touch screen (or the display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. Detect.
  • the touch sensor may be configured to convert a change in pressure applied to a specific part of the touch screen or capacitance generated in the specific part into an electrical input signal.
  • the touch sensor may be configured to detect a position, an area, a pressure when a touch is touched, a capacitance when a touch object is applied on the touch screen, and the like.
  • the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen or a stylus pen, a pointer, and the like.
  • the touch controller processes the signal (s) and then transmits corresponding data to the controller 180. Accordingly, the control unit 180 can know which area of the display unit 151 has been touched, and the like.
  • the touch controller may be a separate component from the controller 180, or may be the controller 180 itself.
  • the controller 180 may perform different controls or perform the same control according to the type of the touch object that touches the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different control or the same control according to the type of the touch object, it may be determined according to an operating state of the current mobile terminal 100 or an application program being executed.
  • the ultrasonic sensor may recognize location information of a sensing target using ultrasonic waves.
  • the control unit 180 may calculate the position of the wave generating source through information sensed by the optical sensor and the plurality of ultrasonic sensors.
  • the position of the wave generator can be calculated by using a property in which light is much faster than ultrasound, that is, a time when light reaches the optical sensor is much faster than a time when the ultrasound reaches the ultrasonic sensor. More specifically, the position of the wave generating source may be calculated by using a time difference from the time at which ultrasonic waves reach the light as a reference signal.
  • the camera 121 includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • a camera sensor eg, CCD, CMOS, etc.
  • a photo sensor or image sensor
  • a laser sensor e.g., a laser sensor
  • the disclosed mobile terminal 100 has a bar-shaped terminal body.
  • the present invention is not limited to this, and may be applied to various structures such as a watch type, a clip type, a glass type, or a folder type, a flip type, a slide type, a swing type, a swivel type to which two or more bodies are movably coupled.
  • a watch type a clip type, a glass type, or a folder type
  • a flip type a slide type
  • a swing type a swivel type to which two or more bodies are movably coupled.
  • the terminal body may be understood as a concept of referring to the mobile terminal 100 as at least one aggregate.
  • the mobile terminal 100 includes a case (for example, a frame, a housing, a cover, etc.) forming an exterior. As illustrated, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in the inner space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a case for example, a frame, a housing, a cover, etc.
  • the mobile terminal 100 may include a front case 101 and a rear case 102.
  • Various electronic components are disposed in the inner space formed by the combination of the front case 101 and the rear case 102.
  • At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • the display unit 151 is disposed on the front of the terminal body to output information. As illustrated, the window 151a of the display unit 151 is mounted on the front case 101 to form the front surface of the terminal body together with the front case 101.
  • electronic components may also be mounted on the rear case 102.
  • Electronic components that can be mounted on the rear case 102 include a removable battery, an identification module, and a memory card.
  • the rear case 102 may be detachably coupled to the rear cover 103 for covering the mounted electronic components. Therefore, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
  • the rear cover 103 when the rear cover 103 is coupled to the rear case 102, a part of the side surface of the rear case 102 may be exposed. In some cases, the rear case 102 may be completely covered by the rear cover 103 when the coupling is performed. Meanwhile, an opening for exposing the camera 121b or the sound output unit 152b to the outside may be provided in the rear cover 103.
  • These cases (101, 102, 103) may be formed by injection of synthetic resin or may be formed of metal, for example, stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the mobile terminal 100 may be configured such that one case provides the inner space, unlike the above example in which a plurality of cases provide an inner space accommodating various electronic components.
  • the mobile terminal 100 of a unibody in which synthetic resin or metal extends from the side to the rear may be implemented.
  • the mobile terminal 100 may be provided with a waterproof portion (not shown) to prevent water from entering the terminal body.
  • the waterproof part is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102, or between the rear case 102 and the rear cover 103, and the combination thereof It may include a waterproof member for sealing the interior space of the city.
  • the mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of the mobile terminal 100 will be described as an example.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven by the mobile terminal 100, or UI (User Interface) or GUI (Graphic User Interface) information according to the execution screen information. .
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so that a control command can be input by a touch method. Using this, when a touch is made to the display unit 151, the touch sensor detects the touch, and the controller 180 can be configured to generate a control command corresponding to the touch based on the touch.
  • the content input by the touch method may be a letter or a number, or an instruction or designable menu item in various modes.
  • the touch sensor is composed of a film having a touch pattern, is disposed between the display (not shown) on the rear surface of the window 151a and the window 151a, or a metal wire patterned directly on the back surface of the window 151a. It can be.
  • the touch sensor may be formed integrally with the display.
  • the touch sensor may be disposed on the substrate of the display, or may be provided inside the display.
  • the display unit 151 may form a touch screen together with a touch sensor, and in this case, the touch screen may function as a user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first operation unit 123a.
  • An acoustic hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between structures (for example, a gap between the window 151a and the front case 101). In this case, the appearance of the mobile terminal 100 may be simpler because the holes formed independently for the sound output are not visible or hidden.
  • the light output unit 154 is configured to output light to notify when an event occurs. Examples of the event include message reception, call signal reception, missed calls, alarm, schedule notification, email reception, information reception through an application, and the like.
  • the control unit 180 may control the light output unit 154 to end the output of light when the user's event is detected.
  • the first camera 121a processes image frames of still images or moving pictures obtained by an image sensor in a shooting mode or a video call mode.
  • the processed image frame may be displayed on the display unit 151, and may be stored in the memory 170.
  • the first and second operation units 123a and 123b are examples of the user input unit 123 that is operated to receive a command for controlling the operation of the mobile terminal 100, and may also be collectively referred to as a manipulating portion. have.
  • the first and second operation units 123a and 123b may be adopted in any manner as long as the user operates the device while receiving a tactile feeling, such as touch, push, scroll.
  • the first and second manipulation units 123a and 123b may be employed in such a way that the user operates without a tactile feeling through a proximity touch, a hovering touch, or the like.
  • the first operation unit 123a is illustrated as a touch key, but the present invention is not limited thereto.
  • the first operation unit 123a may be a mechanical key or a combination of a touch key and a push key.
  • Contents input by the first and second operation units 123a and 123b may be variously set.
  • the first operation unit 123a receives commands such as a menu, home key, cancel, search, etc.
  • the second operation unit 123b is output from the first or second sound output units 152a, 152b. Commands such as adjusting the volume of the sound and switching to the touch recognition mode of the display unit 151 may be received.
  • a rear input unit (not shown) may be provided.
  • the rear input unit is operated to receive a command for controlling the operation of the mobile terminal 100, and the input content may be variously set. For example, commands such as power on / off, start, end, scroll, etc., control the volume of sound output from the first and second sound output units 152a, 152b, and touch recognition mode of the display unit 151. You can receive commands such as conversion of.
  • the rear input unit may be implemented in a form capable of input by touch input, push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body.
  • the rear input unit may be arranged at the upper rear portion of the terminal body so that it can be easily operated using the index finger.
  • the present invention is not necessarily limited to this, and the position of the rear input unit may be changed.
  • the rear input unit When the rear input unit is provided on the rear of the terminal body, a new type of user interface using the rear input unit may be implemented.
  • the above-described touch screen or rear input unit replaces at least some functions of the first operation unit 123a provided on the front surface of the terminal body, when the first operation unit 123a is not disposed on the front surface of the terminal body,
  • the display unit 151 may be configured as a larger screen.
  • the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use fingerprint information detected through the fingerprint recognition sensor as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
  • the microphone 122 is configured to receive a user's voice, other sounds, and the like.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 is a passage through which the mobile terminal 100 can be connected to an external device.
  • the interface unit 160 is a connection terminal for connection with other devices (eg, earphones, external speakers), a port for short-range communication (eg, an infrared port (IrDA Port), a Bluetooth port (Bluetooth) Port, Wireless LAN Port, etc.], or at least one of a power supply terminal for supplying power to the mobile terminal 100.
  • the interface unit 160 may be implemented in the form of a socket that accommodates an external card such as a subscriber identification module (SIM) or a user identity module (UIM) or a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • a second camera 121b may be disposed on the rear side of the terminal body.
  • the second camera 121b has a shooting direction substantially opposite to the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an 'array camera'.
  • the second camera 121b is configured as an array camera, images may be captured in a variety of ways using a plurality of lenses, and better quality images may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b. When the flash 124 photographs the subject with the second camera 121b, the light is directed toward the subject.
  • a second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a, or may be used to implement a speakerphone mode during a call.
  • the terminal body may be provided with at least one antenna for wireless communication.
  • the antenna may be built in the terminal body or may be formed in the case.
  • an antenna forming part of the broadcast receiving module 111 may be configured to be pulled out from the terminal body.
  • the antenna may be formed of a film type and attached to the inner surface of the rear cover 103, or a case including a conductive material may be configured to function as an antenna.
  • the terminal body is provided with a power supply unit 190 (see FIG. 1A) for supplying power to the mobile terminal 100.
  • the power supply unit 190 may include a battery 191 built in the terminal body or configured to be detachable from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160. Also, the battery 191 may be configured to be wirelessly charged through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 so as to cover the battery 191 to limit the detachment of the battery 191, and is configured to protect the battery 191 from external impact and foreign matter.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • FIGS. 2 to 5 are views for explaining a driving method of the TOF camera 200.
  • FIG. 2 is a basic configuration diagram of the TOF camera 200
  • FIG. 3 is a diagram specifically showing the image sensor 220 in the TOF camera 200
  • 4 and 5 are diagrams illustrating a method of acquiring depth data by receiving light from the image sensor 220
  • FIG. 6 is a light source 210 for removing ambient light and offset.
  • the present invention relates to a mobile terminal that provides a vision-based user interface using a depth camera.
  • Depth cameras can be classified into three types according to a method of extracting a depth value.
  • the first is a method of obtaining the distance of each pixel (Pixel) through the time that the light irradiated by the depth camera is reflected on the object and returned by the Time Of Flight (TOF) method related to the present invention.
  • the second is a stereo method in which a depth camera obtains the distance of each pixel using binocular parallax.
  • the structured pattern method is a method in which the depth camera irradiates patterned light to an object and obtains the distance of each pixel through the degree of distortion of the pattern.
  • the TOF camera 200 may include a light source 210 that irradiates light toward the object 400 and an image sensor 220 that receives light reflected by the object 400. have.
  • the TOF camera 200 may include a main processor 230a internally or externally to calculate the depth of the object 400 using raw data obtained through the image sensor 220.
  • the light source 210 may irradiate the modularized light 211 through a timing generator (not shown).
  • the light source 210 may irradiate a light source of a specific signal through a timing generator, and in some cases, periodically change the phase of a specific signal and irradiate the light source.
  • the image sensor 220 may include at least one cell 221 having two photogates 221a and 221b.
  • the two photo gates 221a and 221b may respectively receive the light 212 reflected by the object to obtain raw data corresponding thereto.
  • the method in which the image sensor 220 acquires raw data of the light 212 received through the two photo gates 221a and 221b is as follows.
  • the photo gates 221a and 221b initialize the voltage of the cell by applying the reset signal Rst (step 1), and apply the modulation signals DMIX0 and DMIX1 signals to accumulate the received light ( , ) (Step 2), and apply the address decode signal (Address Decode) to , ) Reading the charged amount of charge (step 3).
  • the modulation signal DMIX0 applied to the first photogate 221a may have a phase opposite to the modulation signal DMIX1 applied to the second photogate 221b, and the modulation applied to the first photogate 211a
  • One of the signal DMIX0 and the modulation signal DMIX1 applied to the second photo gate 221b may have the same phase as the light 211 emitted from the light source 210.
  • Figure 4 (a) is a light 211 irradiated from the light source 210 4 (b) is reflected by the object 400 and light 212 received from the image sensor 220 and irradiated from the light source 210 with light 211 As much as it has a phase difference.
  • 4 (c) and 4 (b) show the modulation signal DMIX0 applied to the first photo gate 221a and the modulation signal DMIX1 applied to the second photo gate 221b.
  • the modulation signal DMIX1 applied to the second photo gate 221b has the same phase as the light 211 emitted from the light source 210 and the modulation signal DMIX0 applied to the first photo gate 221a. And may have an opposite phase.
  • the light 212 received from the image sensor 220 is the light irradiated from the light source 210. Since it has a phase difference as much as, the capacitor of the first photo gate 221a through the modulation signals DMIX0, DMIX1 ( ), The amount of charge removed from Node-A (Node-A) and the capacitor of the second photo gate 221b ( ), The amount of charge removed from Node-B is as shown in FIGS. 4 (c) and 4 (b).
  • the image sensor 220 is a capacitor of the first photogate 221a and the second photogate 221b ( , ),
  • FIG. 5 (b) shows a case where light 211 (optical) irradiated from the light source 210 and light 212 (electrical) reflected by the object 400 have a phase difference of 90 degrees.
  • the capacitor ( ) The amount of charge charged and the capacitor ( ) May have the same amount of charge.
  • FIG. 5 (c) shows a case where light 211 (optical) irradiated from the light source 210 and light 212 (electrical) reflected by the object 400 have a phase difference of 180 degrees.
  • the capacitor ( ) Can be charged.
  • FIG. 6 illustrates an embodiment in which a phase of a specific signal is periodically varied in the light source 210 to irradiate a light source to eliminate errors caused by ambient light.
  • FIG. 6 (a) shows a light source having a phase difference of 0 degrees, that is, a light source irradiated with a single preset pulse
  • FIG. 6 (b) shows a light source having a phase difference of 90 degrees from the light source of FIG. 6 (a).
  • 6 (c) shows a light source having a phase difference of 180 degrees from the light source of FIG. 6 (a)
  • FIG. 6 (d) shows a light source having a phase difference of 270 degrees from the light source of FIG. 6 (a).
  • FIG. 6 (e) shows light reflected by the object 400 and received by the image sensor 220.
  • the modulation signal DMIX1 applied to the second photo gate 221b may be synchronized with the signals of FIGS. 6 (a) to 6 (d), wherein FIG. 6 (e) is synchronized with the signal, respectively.
  • 221b) capacitor ( ) Shows charge amounts 213a to 213b.
  • FIG. 7 is a view for explaining the problem of the existing TOF camera 200 and the effect of the TOF camera according to an embodiment of the present invention which improves the problem.
  • FIG. 7 (a) shows a state in which the TOF camera 200 always maintains an ON state and acquires a depth image by irradiating light to the tracking area 300 even when the user 400 is not present.
  • the TOF camera 200 always maintains an ON state and acquires a depth image by irradiating light to the tracking area 300 even when the user 400 is not present.
  • power consumption of the mobile terminal is unnecessary.
  • the TOF camera operates in a first or second mode, and receives light reflected from the illumination source 210 and the object 400 irradiating the light source to the object 400
  • the operation unit 230a switches to the second mode, controls the light source 210 to vary the phase of the specific signal in the second mode, and generates depth data of the object 400 through the raw data.
  • 230b) can be controlled.
  • the controller may include a timing generator that provides a pulse signal to the light source 210 and the image sensor 220, and in some cases, may be configured to include arithmetic units 230a and 230b. Also, the controller may have a configuration corresponding to the controller 180 shown in FIG. 1A.
  • the TOF camera 200 controls the light source 210 that irradiates a light source of a specific signal in a second mode in order to correct errors in ambient light or offset in the depth data, as described in FIG. 6.
  • the phase of a specific signal can be changed periodically.
  • the light source 400 is controlled to irradiate a light source of a specific signal without a phase change, and power consumed for the phase change can be reduced.
  • the image sensor 220 applies first and second photo gates 221a and 221b that receive signals having different phases during a predetermined frame and receive reflected light 212 correspondingly. It can contain.
  • the mode for checking the existence of the moving object 400 does not need to calculate the depth data of the object 400.
  • capacitors of the first and second grape gates 221a and 221b ( , ) Is required.
  • Capacitor of one photogate refers to a change in the intensity of the reflected light, through which the existence of the moving object 400 can be confirmed. That is, in the first mode, power consumed to drive both the first and second photo gates 221a and 221b may be reduced by driving only one photo gate.
  • the main operation unit 230a is the same as the main operation unit 230a included in the existing TOF camera 200 of FIG. 2 and may correspond to a Mobile Industry Processor Interface (MIPI).
  • MIPI Mobile Industry Processor Interface
  • the main operation unit 230a generates depth data through raw data acquired in the second mode.
  • the main operation unit 230a may have a lot of power consumption since the calculation process is complicated and processes a lot of data.
  • the sub-operation unit 230a is an operation unit that determines only the change in the intensity of raw data acquired through one photo gate, and may correspond to a Serial Peripheral Interface (SPI) with simple processing data and low power consumption.
  • SPI Serial Peripheral Interface
  • the TOF camera 200 consumes excessive power even if it is always in an ON state. Can be prevented.
  • the controller may wake up the main operation unit 230a. That is, when the main operation unit 230a maintains a state in which the power is not applied in the first mode and then switches to the second mode, power may be applied.
  • FIG. 9 is a flowchart illustrating a control method for controlling a TOF camera according to an embodiment of the present invention.
  • a method of controlling a TOF camera according to an embodiment of the present invention in a first mode and a second mode is as follows.
  • the TOF camera can irradiate a light source of a specific signal.
  • the specific signal may be a periodic single pulse signal.
  • the periodic single pulse light source may be a light source that maintains only the pulse corresponding to FIG. 6 (a) as a pulse that does not periodically change phase in order to correct errors due to ambient light and offset. .
  • the image sensor may acquire raw data by receiving light reflected by the object.
  • the raw data may include intensity data that can measure the intensity change.
  • the image sensor may include the first and second photogates 211a and 211b as described in FIG. 3, and in the first mode, intensity data may be acquired using only one photogate. have. That is, in the first mode, intensity data corresponding to the amount of charge charged in the capacitor of one photogate can be obtained.
  • the TOF camera may include a sub-operation unit 230b as described in FIG. 8, and may transmit the intensity data acquired in one photo gate to the sub-operation unit 230b.
  • the sub-operation unit 230b may determine whether a moving object exists by determining whether a difference between the N-1th intensity data and the N-th intensity data acquired at predetermined intervals is greater than or equal to the preset intensity.
  • the TOF camera according to the present invention is the first mode state when the difference between the N-1st intensity data and the N-th intensity data obtained at a preset period interval in the first mode is equal to or less than the preset intensity (S205, NO). Can keep.
  • the TOF camera changes the phase of a specific signal in the second mode and can irradiate a light source to the object.
  • a specific signal may be irradiated with light sources in phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees (4 phases).
  • switching from the second mode to the first mode may be possible when there is no change in depth data over a preset time. That is, the mode can be switched through whether the depth data acquired in the second mode is changed regardless of whether the UX / UI provided by the mobile terminal is terminated.
  • the method of determining the existence of the moving object in the first mode is as follows.
  • the raw data obtained through the first or second photo gate is intensity data, and may be measured at predetermined time intervals for each pixel 212a.
  • the sub-operation unit 230b determines whether the difference between the N-1th intensity data and the N-th intensity data acquired at predetermined intervals is greater than or equal to the preset intensity (determining the presence or absence of an object ( S205) may include the following steps.
  • the image sensor 220 may include cells 221 including the first photogate 211a and the second photogate 211b to form a plurality of rows and columns.
  • the sub-operation unit 230b calculates the sum of the pixel values for each column / row, and (S301) calculates the difference between the N-1 frame and the N frames obtained at predetermined time intervals (S301).
  • 11 (a) shows an N-1 frame
  • 11 (b) shows an N frame
  • the step of calculating the difference between the N-1 frame and the N frames obtained at predetermined time intervals is based on the sum 212b of the pixel values included in each column as shown in FIGS. 11 (a) and (b). And calculating a difference between a sum 212b of pixel values included in each column of the -1 frame and the N frame.
  • the difference between the sum of the pixel values included in each column of the N-1 frame and the N frame 212b is 1 + 3 + 14 + 1 + 12, which is 30.
  • FIG. 12 is a schematic diagram for explaining the configuration of the TOF camera 200 according to another embodiment of the present invention.
  • the TOF camera 200 includes a separate photodiode 260 and receives the light source 212 irradiated and reflected by the light source 210 in the first mode through the separate photodiode 260 can do.
  • the TOF camera 200 illustrated in FIG. 12 separately includes a configuration for receiving light in the first mode, and a feature for receiving light in the second mode to the image sensor 220.
  • FIG. 13 is a view for explaining a method and a problem of recognizing a user's finger through a depth image acquired by a conventional depth camera.
  • the method of tracking the shortest distance point through the depth camera has a problem that is not suitable for tracking a plurality of fingers 414.
  • FIG. 14 is a diagram for schematically illustrating a method in which a mobile terminal according to an embodiment of the present invention recognizes a point targeted by a user's hand 410 through a depth camera 200.
  • FIG. 14 (a) shows an embodiment in which the user's hand 410 is directed toward the depth camera 200
  • FIG. 14 (b) shows that the depth camera 200 in FIG. 14 (a) is the user's hand 410. Is captured, and is a segment 500 obtained corresponding to a distance h from the depth camera 200 in the depth image.
  • FIG. 14 (c) shows the segment tree 600 implemented through the inclusion relationship between the corresponding reference distance and the segment 500 of FIG. 14 (b).
  • the mobile terminal may extract targeting points 411a and 411b from the depth image of the user's hand 410 through the segment tree 600.
  • the segment tree 600 may include at least one node 630.
  • the at least one node 630 may be a specific segment including a plurality of segments corresponding to neighboring distances. That is, when the segment corresponding to the N + 1st reference distance (h_N + 1) includes a plurality of segments corresponding to the Nth reference distance (h_N), the segment corresponding to the N + 1st reference distance (h_N + 1)
  • the segment is a specific segment, and may correspond to the first node 630a in the segment tree 600.
  • the first effective end 610a is connected to the first node 630a and corresponds to the first point 411a targeted by the user's hand because the first node 630a and the distance ha1 are greater than a preset distance. You can.
  • the present invention has the advantage of being able to track fingers with different node depths, such as the thumb, with targeting fingers, and to accurately track targeting points of multiple fingers.
  • FIG. 15 is a flow chart for explaining FIG. 14.
  • the mobile terminal may extract the target distance of the object through a pixel having a distance value closest to the depth image.
  • the target distance may be a starting reference distance for acquiring a segment according to the distance from the mobile terminal in the depth image, and will be specifically described with reference to FIG. 17 below.
  • the depth camera may acquire a segment corresponding to the distance from the depth camera in the depth image, and implement a segment tree through the segmentation relationship.
  • the segment tree may be implemented through an inclusion relationship between segments obtained according to a distance from the mobile terminal, and will be described in detail with reference to FIGS. 18 to 22.
  • the mobile terminal determines the effective end through the distance from the node in the implemented segment tree.
  • the mobile terminal may identify a specific segment corresponding to the node in the segment tree, and determine an effective end through a segment located at a distance greater than or equal to a second preset distance from the distance at which the specific segment is obtained. In this regard, it will be described in detail with reference to FIGS. 23 and 24 below.
  • the mobile terminal may extract the location of at least one target point corresponding to the effective end, and provide video feedback through the display in response to the extracted location.
  • the method of extracting the location of the target point will be described with reference to FIGS. 26 and 27, and the method of providing video feedback through the display will be described in detail with reference to FIGS. 28 to 30.
  • the mobile terminal may store a memory storing at least one command, a depth camera capturing an object to obtain a depth image, and at least one command stored in the memory, A display for outputting video feedback corresponding to an object captured by the depth camera, and a controller connected to the memory, the depth camera, and the display, wherein the controller is configured according to at least one command stored in the memory.
  • FIG. 16 is a diagram for explaining an interaction region in FIG. 15, and FIG. 17 is a diagram for describing a depth image obtained in the interaction region of FIG. 16.
  • the depth camera 200 may extract depth data for each pixel, and through this, it is possible to extract an object within a specific distance.
  • the interaction area 320 may be an area corresponding to a minimum recognition distance 310 and a first preset distance 330 that the depth camera 200 can recognize the object.
  • the mobile terminal can track only objects that have entered the interaction area 320. Since the user reaches out to the mobile terminal and interacts with the mobile terminal through hand movement, the object entering the interaction area 320 may be the user's hand, and the mobile terminal tracking the object that is likely to be the user's hand desirable.
  • the mobile terminal removes the pixel value of the remaining pixels except for the pixel having the pixel value corresponding to the interaction region 320 in the acquired depth image.
  • a pixel 321 having a value of 0 is a pixel having a pixel value that does not correspond to the interaction area 320, and corresponds to a pixel from which a pixel value is removed.
  • the pixel 322 having a pixel value may be a pixel having a pixel value corresponding to the interaction region 320. That is, the pixel 322 having a pixel value may be a pixel having a pixel value corresponding to the first reference distance 330 or less.
  • the mobile terminal is designed to start tracking when an object enters the interaction area 320. That is, when an object does not enter the interaction area 320 and all pixel values are removed as 0, the mobile terminal does not perform tracking described below, thereby increasing energy and data efficiency.
  • the mobile terminal determines the shortest distance from the acquired depth image.
  • the shortest distance may be a distance corresponding to a minimum pixel value excluding 0 in FIG. 17.
  • the determined shortest distance may be used to form a segment tree of the object by entering the object into the interaction area 320.
  • a method of forming a segment tree will be described.
  • FIG. 18 is a flowchart for describing a method of implementing a segment tree corresponding to a user's hand in FIG. 15, and FIGS. 19 to 22 are diagrams for describing FIG. 18.
  • FIG. 22 is a diagram illustrating a method of implementing a segment tree through the segmented segment of FIG. 21 and determining a specific segment.
  • segment A has a corresponding reference distance longer than a corresponding reference distance
  • the occupied area includes segments B, C, and D as shown in the upper view of FIG. 22 (b).
  • the reference distances corresponding to segments B, C, and D are longer than the reference distances corresponding to segments E, F, and are included in the areas occupied by segments B and C, respectively, as shown in the lower diagram of FIG. 22 (b).
  • the upper and lower views of FIG. 22 (b) may be implemented as a segment tree as shown in FIG. 22 (c).
  • segments A, segments B, C, D, and segments E, F are located above, middle, and bottom through corresponding reference distances, and segment A indicates segments B, C, and D. Including, it can be connected to segments B, C, and D.
  • segments B and C include segments E and F, respectively, so that each can be interconnected.
  • the mobile terminal according to the present invention can reduce the reference distance from the depth image at a predetermined interval from the first preset distance to obtain a corresponding segment, and form a segment tree through the intersegment inclusion relationship.
  • FIG. 23 is a flowchart illustrating a method of determining an effective end through a segment tree in FIG. 15, and FIG. 24 is a diagram for describing FIG. 23.
  • the mobile terminal When the mobile terminal implements a segment tree through depth data, it determines the end of the segment tree. (S601)
  • the end may correspond to the target point of the present invention, in this regard will be described in detail with reference to Figures 24 and 25.
  • the segment tree 600 is an example of the segment tree 600, and may be implemented as described through FIGS. 18 to 22.
  • the segment tree 600 according to an example included in FIG. 23 includes three ends 610b and 610a. , 620).
  • the length between each end and the node is extracted.
  • the length between each end and the node may be a difference between a reference distance corresponding to each end and a reference distance corresponding to the node.
  • the node may correspond to the characteristic segment of FIG. 22.
  • the segment tree 600 according to the example of FIG. 23 includes one node 630, and three ends 610a, 610b, and 620 are implemented by connecting the nodes 630.
  • the length between each end (610a, 610b, 620) and the node 630 is a reference distance (End b, End c) corresponding to each end (610a, 610b, 620) and a reference distance (End) corresponding to the node (630) It may be the difference of a).
  • the distance h4 between the first end 610a and the second end 610b and the node 630 is a reference distance End b and a node corresponding to the first end 610a and the second end 610b. It may be a difference of the reference distance End a corresponding to 630.
  • the distance h3 between the third end 620 and the node 630 is the difference between the reference distance End c corresponding to the third end 620 and the reference distance End a corresponding to the node 630.
  • FIG. 25 is a flow chart for explaining a method of extracting a targeting point and depth corresponding to the effective end determined in FIG. 15, and FIGS. 26 and 27 are views for explaining FIG. 25.
  • the mobile terminal extracts the depth (Depth (z)) of the effective end. (S702), and ends the procedure (S703).
  • the mobile terminal may extract the midpoint (x, y) of the segment E through the position of the pixel group 610e constituting the segment E in the segment E corresponding to the effective end.
  • FIG. 28 (a) is a diagram illustrating an embodiment in which a mobile terminal acquires a targeting point through a segment tree corresponding to a user's hand 410 and displays the target point 720 on the display 700.
  • the video feedback may be video feedback that enlarges or zooms in the content displayed on the display.
  • FIG. 30 illustrates an action of a user hand 410 corresponding to video feedback displaying other content, and an embodiment in which five target points 720a, 720b, 720c, 720d, and 720e move from side to side. have.
  • the video feedback may be video feedback that rotates content displayed on a display corresponding to the rotation direction of the at least two target points.

Abstract

비전 기반 사용자 인터페이를 구비하는 이동 단말기에 있어서, 사용자의 손가락이 타겟팅 하는 지점을 정확하고 빠르게 추출하기 위해, 적어도 하나의 커맨드를 저장하는 메모리, 오브젝트를 캡쳐하여 깊이 이미지를 획득하는 깊이 카메라, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 카메라에 의해 캡쳐된 오브젝트에 대응하는 비디오 피드백을 출력하는 디스플레이, 그리고, 상기 메모리, 상기 깊이 카메라, 및 상기 디스플레이에 연결된 컨트롤러를 포함하고, 상기 컨트롤러는 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 이동 단말기로부터 제1 기설정 거리 이내의 상기 오브젝트에 반응하여, 상기 깊이 카메라가 상기 오브젝트를 트랙킹 하도록 제어하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 따른 적어도 하나의 세그먼트를 획득하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 특정 세그먼트가 획득된 거리에서상기 이동 단말기로 제2 기설정 거리 이상에 위치한 적어도 하나의 타겟 포인트를 출력하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 이동 단말기를 제공한다.

Description

이동단말기 및 그 제어 방법
본 발명은 이동단말기 그 제어 방법에 관한 것이다. 보다 상세하게는 이동단말기에 포함되는 적어도 하나의 카메라(예를 들어, 깊이 카메라(depth camera))를 통해 적어도 하나 이상의 사용자 손가락을 보다 정확하고 신속하게 트랙킹하는 기술 분야에 적용 가능하다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이동 단말기의 복합 적인 기능은 사용자가 직접적으로 이동단말기를 터치(Touch)하지 않고도 수행될 수 있다. 사용자는 이동 단말기에 구비된 보이스(Voice) 또는 비전(Vision) 기반의 사용자 인터페이스(User Interface)를 통해 이동 단말기를 직접 터치하지 않고 인터랙션 할 수 있다.
터치 입력 기반 사용자 인터페이스는 사용자가 이동 단말기와 떨어진 상태에서 인터랙션 할 수 없다. 또한, 터치 입력하는 과정에서 스탠드 상태의 이동 단말기의 위치를 변경하거나 넘어지게 할 수 있다. 다만, 보이스 또는 비전 기반의 사용자 인터페이스는 사용자가 이동 단말기와 떨어진 상태에서 인터랙션 할 수 있고, 이동 단말기에 어떠한 외력을 인가하지 않는 점에서 터치 입력 기반의 사용자 인터페이스 보다 유리할 수 있다.
보이스 기반의 사용자 인터페이스는 공간 및 시간에 따른 제약이 있을 수 있다. 예를 들어, 시끄러운 공간에서는 이동 단말기가 사용자의 보이스를 분별하기 어려울 수 있다. 또한, 사용자는 다른 사람과 같이 있거나, 밤 늦은 시간에 보이스를 통해 이동 단말기와 인터랙션하기 불편한 문제점이 있다.
따라서, 비전 기반의 사용자 인터페이스는 상기와 같은 제한된 상황에서 이동 단말기와 사용자가 인터랙션하는데 편리함을 제공할 수 있다. 이에, 최근에는 이동 단말기가 비전 기반의 사용자 인터페이스를 통해 사용자와 인터랙션하는 기술이 활발히 연구 중이다.
비전 기반의 사용자 인터페이스로 이동 단말기는 깊이 카메라를 구비할 수 있다. 이동 단말기는 사용자와 정확하고 빠르게 인터랙션하기 위해, 깊이 카메라가 사용자의 손에 해당하는 부분을 빠르고 정확하게 추출하는 기술이 요구되고 있는 실정이다.
본 발명은 전술한 문제 및 기타 본 발명의 명세서를 통해 기타 문제들 역시 해결하는 것을 목적으로 한다.
본 발명은 디지털 디바이스(예를 들어, 이동 단말기)가 깊이 카메라를 통해 터치 입력 대신 비전(Vison) 기반의 사용자 인터페이스(User Interface, UI)를 제공하는 솔루션을 제안하고자 한다.
본 발명은 디지털 디바이스에 포함된 깊이 카메라를 통해 사용자의 손에 대응되는 비전을 빠르게 추출하는 솔루션을 제공하고자 한다.
본 발명은 깊이 카메라를 통해 획득된 비전에서 사용자의 손가락이 타겟팅 하는 지점을 빠르고 정확하게 추출하는 솔루션을 제공하고자 한다.
본 발명은 사용자의 손가락이 타겟팅 하는 지점에 대응하여 디지털 디바이스가 다양한 비디오 피드백을 제공하는 솔루션을 제공하고자 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이동 단말기는,
적어도 하나의 커맨드를 저장하는 메모리, 오브젝트를 캡쳐하여 깊이 이미지를 획득하는 깊이 카메라, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 카메라에 의해 캡쳐된 오브젝트에 대응하는 비디오 피드백을 출력하는 디스플레이, 그리고, 상기 메모리, 상기 깊이 카메라, 및 상기 디스플레이에 연결된 컨트롤러를 포함하고, 상기 컨트롤러는 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 이동 단말기로부터 제1 기설정 거리 이내의 상기 오브젝트에 반응하여, 상기 깊이 카메라가 상기 오브젝트를 트랙킹 하도록 제어하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 따른 적어도 하나의 세그먼트를 획득하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 특정 세그먼트가에 대응되는 기준거리에서 상기 이동 단말기로 제2 기설정 거리 이상에 위치한 적어도 하나의 타겟 포인트를 출력하도록 상기 디스플레이를 제어하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 적어도 하나의 세그먼트는 상기 깊이 이미지에서 상기 이동 단말기와 거리가 기준거리 이내에 대응되는 값을 가지는 연속된 픽셀 그룹인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 컨트롤러는 상기 기준거리를 상기 제1 기설정 거리에서 일정 거리 간격으로 감소하며, 상기 기준거리에 대응되는 상기 적어도 하나의 세그먼트를 획득하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 컨트롤러는 상기 기준거리가 상기 이동단말기에서 상기 오브젝트에 이르는 최단 거리 이하인 경우, 상기 깊이 이미지에서 상기 적어도 하나의 세그먼트를 획득하는 것을 중단하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 특정 세그먼트는 인접하는 기준 거리에 대응되는 복수의 세그먼트를 포함하는 적어도 하나의 세그먼트인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 적어도 하나의 타겟 포인트는 상기 특정 세그먼트에 대응되는 기준거리에서 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트로, 상기 특정 세그먼트에 포함되고, 다른 세그먼트를 포함하지 않는 세그먼트인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 타겟 포인트는 제1 특정 세그먼트에 포함되고, 상기 제1 특정 세그먼트가 제2 특정 세그먼트에 포함되는 경우, 상기 제1 특정 세그먼트에 대응되는 기준거리를 기준으로 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 캡쳐된 오브젝트는 사용자의 적어도 하나의 손에 대응되며, 상기 적어도 하나의 타겟 포인트는 상기 적어도 하나의 손에서 적어도 하나의 손가각 단부에 대응되는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 적어도 하나의 타겟 포인트가 상기 이동 단말기를 향해 제3 기설정 거리 이상 이동하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 상기 디스플레이의 영역이 선택되었음을 표시하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 적어도 하나의 타겟 포인트가 상기 이동 단말기로부터 제4 기설정 거리 이내로 이동 하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 상기 디스플레이 영역이 선택되었음을 표시하는 것을 특징으로 하는 이동 단말기.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 적어도 하나의 타겟 포인트가 복수의 타겟 포인트으로 분할되는 경우, 상기 디스플레에 표시되는 컨텐츠의 크기를 크게 하거나, 줌인(Zoom-In)하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 타겟 포인트가 복수 개이고, 상기 복수의 타겟 포인트가 하나의 타겟 포인트로 합쳐지는 경우 상기 디즈플레이에 표시되는 컨텐츠의 크기를 작게 하거나, 줌아웃(Zoom-Out)하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 적어도 하나의 타겟 포인트가 움직이는 방향에 대응하여 상기 디스플레이에 표시되는 컨텐츠을 이동하거나, 다른 건텐츠를 표시하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 비디오 피드백은 상기 타겟 포인트가 복수 개이고, 상기 복수 개의 타겟 포인트의 회전 방향에 대응하여 상기 디스플레이에 표시되는 컨텐츠를 회전하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 디스플레이는 컨텐츠를 제공하는 가상의 스크린인 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이동 단말기 제어방법은, 상기 이동 단말기로부터 제1 기설정 거리 이내로 오브젝트가 존재하는 경우, 상기 이동 단말기에 구비된 깊이 카메라를 통해 상기 오브젝트를 캡쳐하고 깊이 이미지를 획득하는 단계, 상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 따른 적어도 하나의 세그먼트를 획득하는 단계, 특정 세그먼트가 획득된 거리에서 상기 이동 단말기로 제2 기설정 거리 이상 위치한 적어도 하나의 타겟 포인트를 이동 단말기에 구비된 디스플레이로 출력하는 단계, 상기 타켓 포인데 대응하는 비디오 피드백을 상기 디스플레이로 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 적어도 하나의 세그먼트는 상기 깊이 이미지에서 상기 이동 단말기와 거리가 기준거리 이내에 대응되는 값을 가지는 연속된 픽셀 그룹이고, 상기 적어도 하나의 세그먼트를 획득하는 단계는 상기 기준거리를 상기 제1 기설정 거리에서 일정 거리 간격으로 감소하며, 상기 기준거리에 대응되는 상기 적어도 하나의 세그먼트를 획득하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 특정 세그먼트는 인접하는 기준 거리에 대응되는 복수의 세그먼트를 포함하는 적어도 하나의 세그먼트인 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 상기 적어도 하나의 타겟 포인트는 상기 특정 세그먼트에 대응되는 기준거리에서 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트로, 상기 특정 세그먼트에 포함되고, 다른 세그먼트를 포함하지 않는 세그먼트인 것을 특징으로 한다.
본 발명에 따른 이동 단말기 및 그 제어방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자는 터치 입력 대신 사용자의 움직임을 통해 디지털 디바이스와 인터랙션할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 디지털 디바이스는 깊이 카메라를 통해 사용자의 손에 대응되는 깊이 이미지를 빠르게 추출할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 디지털 디바이스는 깊이 이미지에서 사용자의 손가락이 타겟팅하는 지점을 빠르고 정확하게 추출할 수 있다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 디지털 디바이스는 사용자의 손가락이 타겟팅하는 지점에 대응하여 비디오 피드백을 제공할 수 있다.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2 내지 6는 TOF 카메라의 구동 방식을 설명하기 위한 도면이다.
도 7은 기존 TOF 카메라(200)의 문제점과 이를 개선한 본 발명의 일 실시예에 의한 TOF 카메라의 효과를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 의한 TOF 카메라의 구성을 설명하기 위한 개략도 이다.
도 9은 본 발명의 일 실시예에 의한 TOF 카메라를 제어하는 제어방법을 설명한 플로우 차트이다.
도 10는 도 9에서 프레임을 비교하여 오브젝트의 유무를 판단하는 방법을 설명하기 위한 플로우 차트이다.
도 11은 도 9를 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 의한 TOF 카메라의 구성을 설명하기 위한 개략도 이다.
도 13는 기존의 깊이 카메라가 획득한 깊이 이미지를 통해 사용자의 손가락을 인지하는 방법 및 문제점을 설명하기 위한 도면이다.
도 14은 본 발명의 일 실시예에 의한 이동 단말기가 깊이 카메라를 통해 사용자의 손이 타겟팅하는 지점을 인지하는 방법을 개략적으로 설명하기 위한 도면이다.
도 15는 도 14을 설명하기 위한 플로우 차트이다.
도 16는 도 15에서 인터랙션 영역(Interaction Region)을 설명하기 위한 도면이다.
도 17은 도 16의 인터랙션 영역에서 획득된 깊이 이미지를 설명하기 위한 도면이다.
도 18은 도 15에서 사용자의 손에 대응되는 세그먼트 트리(Segment Tree)를 구현하는 방법을 설명하기 위한 플로우 차트이다.
도 19 내지 22은 도 18을 설명하기 위한 도면이다.
도 23는 도 15에서 세그먼트 트리를 통해 유효 단부를 결정하는 방법을 설명하기 위한 플로우 차트이다.
도 24은 도 23를 설명하기 위한 도면이다.
도 25는 도 15에서 결정된 유효 단부에 대응되는 타켓팅 지점 및 깊이를 추출하는 방법을 설명하기 위한 플로우 차트이다.
도 26 및 도 27은 도 25를 설명하기 위한 도면이다.
도 28 내지 30는 도 15를 통해 추출된 타게팅 지점에 대응하여 제공되는 비디오 피드백을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 해당 기술 분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치 정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기(100) 내 정보, 이동 단말기(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅틱 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원 공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기(100)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기(100)의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기(100) 상에서 구현될 수 있다.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 이동 단말기(100) 는 하나 또는 복수의 카메라(121)를 구비할 수 있다.
카메라(121)는 본 발명의 이동 단말기(100)의 일부가 될 수도 있고, 또는 이동 단말기(100)를 포함하는 구성이 될 수 있다. 즉, 카메라(121) 및 본 발명의 이동 단말기(100)는 적어도 일부의 공통된 특징 또는 구성을 포함할 수 있다.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 이동 단말기(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 이동 단말기(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.
한편, 센싱부(140)는 이동 단말기(100) 내 정보, 이동 단말기(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 이동 단말기(100)의 구동 또는 동작을 제어하거나, 이동 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기(100)의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(100)를 제어할 수 있다.
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.
도 1 b 및 1c를 참조하면, 개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 광학 장치의 특정 유형에 관련될 것이나, 광학 장치의 특정유형에 관한 설명은 다른 타입의 광학 장치에 일반적으로 적용될 수 있다.
여기에서, 단말기 바디는 이동 단말기(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.
이동 단말기(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 이동 단말기(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.
이동 단말기(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 이동 단말기(100)가 구현될 수 있다.
한편, 이동 단말기(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.
이동 단말기(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.
도 2 내지 도 5는 TOF 카메라(200)의 구동 방식을 설명하기 위한 도면이다.
구체적으로, 도 2는 TOF 카메라(200)의 기본 구성도이고, 도 3은 TOF 카메라(200)에서 이미지 센서(220)를 구체적으로 도시한 도면이다. 또한, 도 4 및 도 5는 이미지 센서(220)에서 광을 수신하여 깊이 데이터를 획득하는 방법을 도시한 도면이고, 도 6는 주변광 및 오프셋(Off Set)을 제거하기 위해 라이트 소스(210)에서 4개의 페이즈(phase)로 모듈화된 광(211)을 조사하고 이를 통해 데이터를 획득하는 방법을 설명하기 위한 도면이다.
본 발명은 깊이 카메라를 이용하여 비전(Vision) 기반의 사용자 인터페이스(User Interface)를 제공하는 이동 단말기에 관한 것이다.
깊이 카메라는 깊이 값을 추출하는 방법에 따라 세 가지로 분류될 수 있다. 첫째는 본 발명과 관련된 TOF(Time Of Flight) 방식으로 깊이 카메라가 조사한 빛이 물체에 반사되어 돌아오는 시간을 통해 각 픽셀(Pixel)의 거리를 구하는 방식이다. 둘째는, 스테레오(Stereo) 방식으로 깊이 카메라가 양안시차를 이용하여 각 픽셀의 거리를 구하는 방식이다. 셋째는, Structured Pattern 방식으로 깊이 카메라가 패턴화된 광을 물체에 조사하고 패턴의 왜곡 정도를 통하여 각 픽셀의 거리를 구하는 방식이다.
본 발명은 설명의 편의를 위하여 이하에서, TOF 방식의 카메라와 관련하여 설명하지만, 반드시 이에 제한되는 것은 아니다.
TOF 카메라(200)는 오브젝트(400)를 향해 광을 조사하는 라이트 소스(Illumination)(210) 및 오브젝트(400)에 반사된 광을 수신하는 이미지 센서(ToF Image sensor)(220)를 포함할 수 있다. 또한, TOF 카메라(200)는 내부 또는 외부에 메인 프로세서(230a)를 구비하여 이미지 센서(220)를 통해 획득한 로우(raw) 데이터로 오브젝트(400)의 깊이를 계산할 수 있다.
라이트 소스(210)는 타이밍 발생기(미도시)를 통해 모듈화된 광(211)을 조사할 수 있다. 라이트 소스(210)은 타이밍 발생기를 통해 특정 시그널의 광원을 조사할 수 있으며, 경우에 따라서 특정 시그널의 위상을 주기적으로 가변하며 광원을 조사할 수 있다.
이미지 센서(220)는 두 개의 포토 게이트(221a, 221b)를 구비한 셀(221)을 적어도 하나 포함할 수 있다. 두 개의 포토 게이트(221a, 221b)는 각각 오브젝트에 반사된 광(212)을 수신하여 이에 대응되는 로우(raw) 데이터를 획득할 수 있다.
이미지 센서(220)가 두 개의 포토 게이트(221a, 221b)를 통해 수신한 광(212)의 로우 데이터를 획득하는 방법은 다음과 같다. 포토 게이트(221a, 221b)는 리셋 신호 (Rst)를 인가하여 셀의 전압을 초기화하고(① 단계), 모듈레이션 신호(DMIX0, DMIX1) 신호를 인가하여 수신된 광을 축전기(
Figure PCTKR2018012561-appb-I000001
,
Figure PCTKR2018012561-appb-I000002
)에 충전 하며(② 단계), 어드레스 디코드 신호(Address Decode)를 인가하여 축전기(
Figure PCTKR2018012561-appb-I000003
,
Figure PCTKR2018012561-appb-I000004
) 충전된 전하량을 판독하는 단계(③ 단계)를 포함 수 있다.
제1 포토 게이트(221a)에 인가되는 모듈레이션 신호(DMIX0)는 제2 포토 게이트(221b)에 인가되는 모듈레이션 신호(DMIX1)와 반대 위상을 가질 수 있으며, 제1 포토게이트(211a)에 인가되는 모듈레이션 신호(DMIX0)와 제2 포토 게이트(221b)에 인가되는 모듈레이션 신호(DMIX1) 중 하나는 라이트 소스(210)에서 조사되는 광(211)과 동일한 위상을 가질 수 있다.
도 4를 통해 구체적으로 살펴보면, 도 4(a)는 라이트 소스(210)에서 조사하는 광(211)으로
Figure PCTKR2018012561-appb-I000005
의 진폭을 가지며, 도 4(b)는 오브젝트(400)에 반사되어 이미지 센서(220)에서 수신하는 광(212)으로 라이트 소스(210)에서 조사하는 광(211)과
Figure PCTKR2018012561-appb-I000006
만큼 위상 차를 가진다. 도 4(c) 및 도 4(b)는 제1 포토 게이트(221a)에 인가되는 모듈레이션 신호(DMIX0) 및 제2 포토 게이트(221b)에 인가되는 모듈레이션 신호(DMIX1)를 나타낸다. 또한, 제2 포토 게이트(221b)에 인가되는 모듈레이션 신호(DMIX1)는 라이트 소스(210)에서 조사하는 광(211)과 동일한 위상을 가지며 제1 포토 게이트(221a)에 인가되는 모듈레이션 신호(DMIX0)와 반대 위상을 가질 수 있다.
이미지 센서(220)에서 수광하는 광(212)은 라이트 소스(210)에서 조사하는 광과
Figure PCTKR2018012561-appb-I000007
만큼 위상차를 가지므로, 모듈레이션 신호(DMIX0, DMIX1)를 통해 제1 포토 게이트(221a)의 축전기(
Figure PCTKR2018012561-appb-I000008
)에서 노드-A(Node-A)로 제거되는 전하량(Charge removed from Node-A) 및 제2 포토 게이트(221b)의 축전기(
Figure PCTKR2018012561-appb-I000009
)에서 노드-B(Node-B)로 제거되는 전하량(Charge removed from Node-B)는 도 4(c) 및 도 4(b)와 같다.
구체적으로, 도 5와 같이 이미지 센서(220)는 제1 포토 게이트(221a) 및 제2 포토 게이트(221b)의 축전기(
Figure PCTKR2018012561-appb-I000010
,
Figure PCTKR2018012561-appb-I000011
)에 충전된 비율을 통해 오브젝트(400)에 반사된 광(212)의 위상차 데이터(= 깊이 데이터)를 획득할 수 있다.
도 5(a)는 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)의 위상차가 없는 것을 나타낸다. 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)의 위상차가 없는 경우, 한 주기 동안 축전기(
Figure PCTKR2018012561-appb-I000012
)에 전하가 모두 충전될 수 있다.
도 5(b)는 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)이 90도의 위상차를 가지는 경우를 나타낸다. 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)이 90도의 위상차를 가지는 경우, 한 주기 동안 축전기(
Figure PCTKR2018012561-appb-I000013
)에 충전된 전하량과 축전기(
Figure PCTKR2018012561-appb-I000014
)에 충전된 전하량이 같을 수 있다.
도 5(c)는 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)이 180도의 위상차를 가지는 경우를 나타낸다. 라이트 소스(210)에서 조사되는 광(211, optical)과 오브젝트(400)에 반사된 광(212, electrical)이 180도의 위상차를 가지는 경우, 한 주기 동안 축전기(
Figure PCTKR2018012561-appb-I000015
)에 전하가 모두 충전될 수 있다.
도 4 및 도 5는 라이트 소스(210)에서 특정 시그널의 광원을 조사하고, 이에 대응하여 이미지 센서(220)가 수광하는 실시예를 나타내고 있다. 다만, 이미지 센서(220)는 라이트 소스(210)에서 조사하는 광(212) 외에도 주변광을 수광할 수 있다. 따라서 주변광에 의한 오류를 제거하기 위해, 라이트 소스(210)는 특정 시그널의 위상을 주기적으로 가변하여 광원을 조사할 수 있다.
도 6는 주변광에 의한 오류를 제거하기 위해 라이트 소스(210)에서 특정 시그널의 위상을 주기적으로 가변하며 광원을 조사하는 실시예를 나타내고 있다.
구체적으로, 도 6(a)는 0도의 위상차를 가지는 광원 즉 기설정된 단일 펄스로 조사되는 광원을 나타내며, 도6(b)는 도 6(a)의 광원과 90도의 위상차를 가지는 광원을 나타낸다. 또한, 도6(c)는 도 6(a)의 광원과 180도의 위상차를 가지는 광원을 나타내며, 도 6(d)는 도 6(a)의 광원과 270도의 위상차를 가지는 광원을 나타낸다.
도 6(e)는 오브젝트(400)에 반사되어 이미지 센서(220)에서 수신하는 광을 나타낸다. 제2 포토 게이트(221b)에 인가되는 모듈레이션 신호(DMIX1)는 도6(a) 내지 6(d)의 신호에 동기화 될 수 있는데, 도 6(e)는 각각 신호에 동기되어 제2 포토 게이트(221b)의 축전기(
Figure PCTKR2018012561-appb-I000016
)에 충전되는 전하량(213a 내지 213b)를 나타내고 있다.
즉, 라이트 소스(210)는 특정 시그널의 위상을 주기적으로 가변하고, 이미지 센서(220)의 축전기(
Figure PCTKR2018012561-appb-I000017
,
Figure PCTKR2018012561-appb-I000018
)에 충전되는 비율 차이를 통해 주변광에 의한 오류를 보정할 수 있다.
상기에서는, TOF 카메라(200)의 구동 방식 및 TOF 카메라(200)가 위상차 데이터(=깊이 데이터)를 획득하는 방법을 설명하였다. 이하에서는 본 발명에 따라 개선된 사항을 설명한다.
도 7은 기존 TOF 카메라(200)의 문제점과 이를 개선한 본 발명의 일 실시예에 의한 TOF 카메라의 효과를 설명하기 위한 도면이다.
이동 단말기는 TOF 카메라(200)를 통해 사용자와 인터랙션 하기 위해, TOF 카메라(200)를 항상 ON상태로 유지할 필요가 있다. 이는, 사용자가 이동단말기를 직접 터치하지 않고 일정 거리 떨어진 상태에서 이동 단말기와 언제든지 인터랙션할 수 있는 기능을 제공하기 위함이다.
구체적으로, 도 7(a)는 TOF 카메라(200)가 항상 ON 상태를 유지하며 사용자(400)가 없는 경우에도 트랙킹 영역(300)으로 광을 조사하여 깊이 이미지를 획득하는 상태를 나타낸다. 다만, 이러한 경우, 이동 단말기의 전력 소모가 불필요하게 발생하는 문제점이 있다.
따라서, 도 7(b)와 같이 트랙킹 영역(300)에 사용자(400)가 존재하는 경우에 한하여 깊이 이미지를 획득하는 것이 과다한 전력 소모를 방지할 수 있는 기술적 효과가 있다.
즉, 본 발명의 일실시예에 따른 TOF 카메라(200) 및 이를 포함하는 이동 단말기는 저전력으로 구동되며 사용자(400)의 존재를 확인하는 제1 모드로 작동하고, 제1 모드에서 사용자(400) 존재를 확인한 경우 깊이 이미지를 획득하는 제2 모드로 작동할 수 있다. 이 경우, TOF 카메라(200)가 항상 ON 상태를 유지하더라도 과도한 전력이 소모되는 것을 방지할 수 있다.
도 8은 본 발명의 일 실시예에 의한 TOF 카메라(200)의 구성을 설명하기 위한 개략도 이다.
본 발명의 일 실시예 의한 TOF카메라는, 제1 또는 제2 모드로 작동되며, 광원을 오브젝트(400)에 조사하는 라이트 소스(Illumination)(210), 오브젝트(400)에 반사된 광을 수신하여 로우 데이터(raw data)를 획득하는 이미지 센서(ToF Image sensor)(220), 상기 로우 데이터를 처리하는 연산부(230a, 230b) 그리고, 라이트 소스(210), 이미지 센서(220) 및 연산부(230a, 230b)와 연결된 컨트롤러(미도시)를 포함하고, 컨트롤러는 제1 모드에서 특정 시그널의 광원을 조사하도록 라이트 소스(210)를 제어하고, 연산부(230a, 230b)를 통해 상기 로우 데이터의 변화를 감지한 경우 제 2 모드로 전환하고, 제2 모드에서 상기 특정 시그널의 위상을 가변토록 상기 라이트 소스(210)를 제어하고, 상기 로우 데이터를 통해 오브젝트(400)의 깊이 데이터를 생성하도록 연산부(230a, 230b)를 제어할 수 있다.
나아가, 도 8에서는 각 구성모듈을 분리하여 도시하였으나, 일부 모듈들을 결합하여 하나의 모듈로 설계하는 것도 본 발명의 권리범위에 속한다.
컨트롤러는 라이트 소스(210) 및 이미지 센서(220)에 펄스 신호를 제공하는 타이밍 발생기를 포함할 수 있으며, 경우에 따라서는 연산부(230a, 230b)를 포함하는 구성일 수 있다. 또한, 컨트롤러는 도 1a에 표시된 제어부(180)에 대응되는 구성일 수 있다.
TOF 카메라(200)는 도 6에서 설명한 바와 같이, 깊이 데이터에서 주변광 또는 오프셋(Off Set)의 오류를 보정하기 위해, 제2 모드에서 특정 시그널의 광원을 조사하는 라이트 소스(210)를 제어하여 특정 시그널의 위상을 주기적으로 가변할 수 있다.
다만, 제1 모드에서는 오브젝트(400)의 깊이 데이터를 획득하는 것이 아니라, 움직이는 오브젝트(400)의 존재를 확인하는 것으로 주변광 또는 오프셋(Off Set)의 오류를 보정할 필요가 없다. 따라서, 제1 모드에서 위상 변화 없이 특정 시그널의 광원을 조사하도록 라이트 소스(400)를 제어하고, 위상 변화를 위해 소모되는 전력을 감소할 수 있다.
이미지 센서(220)는 도 3에서 설명된 바와 같이 기 설정 프레임 동안 위상이 상이한 시그널이 인가되고, 이에 대응하여 반사된 광(212)를 수신하는 제1 및 제2 포토 게이트(221a, 221b)을 포함할 수 있다.
구체적으로, 제1 및 제2 포토 게이트(221a, 221b)는 하나의 셀(221)을 구성하며, 이미지 센서(220)는 복수의 셀(221)을 포함할 수 있다.
컨트롤러는 제1 모드에서 제1 포토 게이트(221a)를 통해 상기 로우 데이터를 획득하도록 이미지 센서(220)를 제어할 수 있다. 즉, 컨트롤러는 모듈레이션 신호(DMIX0, 도 4 참조)를 제1 포토 게이트(221a) 에만 인가하고 제2 포토 게이트(221a)에는 모듈레이션 신호(DMIX1)을 인가하지 않는다. 컨트롤러는 제1 모드에서 제1 및 제2 포토 게이트(221a, 221b)를 포함하는 셀(211)에서 하나의 포토 게이트만 사용하여 제1 및 제2 포토 게이트(221a, 221b) 모두를 구동하기 위해 소모되는 전력을 감소할 수 있다.
구체적으로 살펴보면, 제1 모드에서는 움직이는 오브젝트(400)의 존재를 확인하는 모드로, 오브젝트(400)의 깊이 데이터를 산출할 필요가 없다. 깊이 데이터를 산출하기 위해서는, 제1 및 제2 포도 게이트(221a, 221b)의 축전기(
Figure PCTKR2018012561-appb-I000019
,
Figure PCTKR2018012561-appb-I000020
)에 충전되는 비율이 필요하다. 다만, 움직이는 오브젝트(400)의 존재를 확인하는 데에는 하나의 포토 게이트의 축전기(
Figure PCTKR2018012561-appb-I000021
or
Figure PCTKR2018012561-appb-I000022
)로 가능하다. 하나의 포토 게이트의 축전기(
Figure PCTKR2018012561-appb-I000023
or
Figure PCTKR2018012561-appb-I000024
)에 충전되는 전하량 변화는 반사된 광의 인텐서티 변화를 의미하며, 이를 통해 움직이는 오브젝트(400)의 존재를 확인할 수 있다. 즉, 제1 모드에서는 하나의 포토 게이트만을 구동하여 제 1 및 제2 포토 게이트(221a, 221b)를 모두 구동하기 위해 소모되는 전력을 감소할 수 있다.
또한, 본 발명의 TOF 카메라(200)는 연산부(230a, 230b)가 제1 포토 게이트(221a)를 통해 획득한 로우 데이터의 인텐서티(intensity) 변화를 판단하는 서브 연산부(230b) 그리고, 제1 및 제2 포토 게이트(221a, 221b)에서 각각 획득한 로우 데이터를 통해 인텐서티 비율을 통해 오브젝트의 깊이 데이터를 생성(계산)하는 메인 연산부(230a)로 구분될 수 있다.
메인 연산부(230a)는 도 2의 기존의 TOF 카메라(200)에 포함되는 메인 연산부(230a)와 동일한 것으로, MIPI(Mobile Industry Processor Interface)에 대응될 수 있다. 메인 연산부(230a)는 제2 모드에서 획득한 로우 데이터를 통해 깊이 데이터를 생성한다.
즉, 메인 연산부(230a)는 연산 과정이 복잡하고 많은 데이터를 처리하므로 전력소모가 많을 수 있다.
다만, 서브 연산부(230a)는 하나의 포토 게이트를 통해 획득한 로우 데이터의 인텐서티 변화만을 판단하는 연산부로, 처리 데이터가 간단하고 전력소모가 적은 SPI(Serial Peripheral Interface)에 대응될 수 있다.
즉, 제1 모드에서는 전력 소모가 많은 메인 연산부(230a)를 사용하지 않고, 전력 소모가 작은 서브 연산부(230a)를 사용하여 TOF 카메라(200)가 항상 ON 상태를 유지하더라도 과다한 전력을 소모하는 것을 방지할 수 있다.
컨트롤러는 서브 연산부(230b)에서 인텐서티 데이터의 변화를 감지한 경우, 메인 연산부(230a)를 웨이크업(wake up)할 수 있다. 즉, 메인 연산부(230a)에는 제1 모드에서 전원이 인가되지 않은 상태를 유지하다가 제2 모드로 전환된 경우 전원이 인가될 수 있다.
도 9는 본 발명의 일 실시예에 의한 TOF 카메라를 제어하는 제어방법을 설명한 플로우 차트이다.
본 발명의 일 실시에에 의한 TOF 카메라를 제1 모드 및 제2 모드로 제어하는 방법을 설명하면 다음과 같다.
TOF 카메라는 오브젝트 유무를 판단하는 제1 모드(= 저전력 Object Detection mode = MP(Main Processor) sleep mode = TOF Intensity mode)상태로 구동될 수 있다. (S201)
제1 모드에서는 TOF 카메라가 특정 시그널의 광원을 조사할 수 있다. 특정 시그널은 주기적인 단일 펄스의 시그널일 수 있다. (S202) 주기적인 단일 펄스의 광원은 주변광 및 오프셋(Off Set)에 의한 오류를 보정하기 위해 주기적으로 위상을 가변하지 않는 펄스로 도 6(a)에 대응되는 펄스만을 유지하는 광원일 수 있다.
이미지 센서는 오브젝트에 반사된 광을 수신하여 로우 데이터를 획득할 수 있다. 로우 데이터는 인텐서티 변화를 측정할 수 있는 인텐서티 데이터(intensity data)를 포함할 수 있다. (S203)
여기서 이미지 센서는 도 3에서 설명한 바와 같이 제1 및 제2 포토 게이트(211a, 211b)를 포함할 수 있고, 제1 모드에서는 하나의 포토 게이트만을 이용하여 인텐선티 데이터(intensity data)를 획득할 수 있다. 즉, 제1 모드에서는 하나의 포토 게이트의 축전기에 충전된 전하량에 대응되는 인텐서티 데이터를 획득할 수 있다.
TOF 카메라는 도 8에서 설명한 바와 같이 서브 연산부(230b)를 포함할 수 있고, 하나의 포토 게이트에서 획득한 인텐서티 데이터를 서브 연산부(230b)로 전송할 수 있다. (S204)
서브 연산부(230b)는 기 설정 기간 간격으로 획득한 N-1번째 인텐서티 데이터 및 N 번째 인텐서티 데이터의 차이가 기 설정 인텐서티 이상인지 판단하여 움직이는 오브젝트의 존재를 판단할 수 있다. (S205)
본 발명에 따른 TOF 카메라는 제1 모드에서 기 설정 기간 간격으로 획득한 N-1번째 인텐서티 데이터 및 N 번째 인텐서티 데이터의 차이가 기 설정 인텐서티 이하인 경우(S205, NO), 제1 모드 상태를 유지할 수 있다.
또한, 본 발명에 따른 TOF 카메라는 제1 모드에서 기 설정 기간 간격으로 획득한 N-1번째 인텐서티 데이터 및 N 번째 인텐서티 데이터의 차이가 기 설정 인텐서티 이상인 경우(S205, YES), 메인 연산부(230a)를 웨이크 업(wake up)하고 깊이 데이터를 획득하는 제2 모드(= TOF 3D depth mode)로 전환할 수 있다. (S206)
TOF 카메라는 제2 모드에서 특정 시그널의 위상을 가변하며 광원을 오브젝트에 조사할 수 있다. 구체적으로, 제2 모드에서 특정 시그널을 0도, 90도, 180도, 270도의 위상(4 phase)으로 광원을 조사할 수 있다. (S207)
이미지 센서는 제2 모드에서 오브젝트에 반사된 광원을 수신하여 로우 데이터(= 4 phase raw data)를 획득할 수 있다. (S208) 제2 모드에서 획득한 로우 데이터는 3차원 깊이 데이터를 획득하는데 이용되는 데이터(=3D raw data)일 수 있다.
제2 모드에서 수신한 로우 데이터(=3D raw data)는 메인 연산부(= MIPI inferface, 230a)로 전송될 수 있다. (S209)
메인 연산부는 이동 단말기의 AP(Appication Processr)에서 활용될 수 있도록, 로우 데이터를 통해 깊이 데이터(=Depth data)를 생성하고 이동 단말기는 깊이 데이터(=Depth data)에 대응되는 사용자 UX/UI를 제공할 수 있다.(S210)
깊이 데이터를 생성하고, 이동 단말기가 대응되는 사용자 UX/UI를 제공하는 단계(S210)는 깊이 데이터에 대응하여 디스플레이를 통해 그래픽 피드백을 제공하는 단계일 수 있다. 구체적으로, 이동 단말기가 깊이 데이터에 대응되는 커맨드를 저장하는 메모리를 포함하고, 디스플레이는 메모리에 저장된 커맨드에 대응되는 그래픽 피드백을 제공할 수 있다.
이동 단말기에서 제공되는 사용자 UX/UI가 종료된 경우, TOF 카메라는 제2 모드에서 제1 모드로 전환될 수 있다.(S211)
다만, 제2 모드에서 제1 모드로 전환은 기 설정 시간 이상 깊이 데이터의 변화가 없는 경우 가능할 수 있다. 즉, 이동 단말기에서 제공하는 UX/UI의 종료 여부와 무관하게 제2 모드에서 획득한 깊이 데이터의 변화 여부를 통해 모드를 전환할 수 있다.
도 10는 도 9에서 프레임을 비교하여 오브젝트의 유무를 판단하는 방법을 설명하기 위한 플로우 차트이고, 도 11은 도 9를 설명하기 위한 도면이다.
제1 모드에서 움직이는 오브젝트의 존재를 판단하는 방법은 다음과 같다. 제1 또는 제2 포토 게이트를 통해 획득한 로우 데이터는 인텐서티 데이터이며, 픽셀(212a)별로 기 설정 시간 간격으로 측정될 수 있다.
즉, 도 9에서 서브 연산부(230b)가 기 설정 기간 간격으로 획득한 N-1번째 인텐서티 데이터 및 N 번째 인텐서티 데이터의 차이가 기 설정 인텐서티 이상인지 판단하여 오브젝트의 유무를 판단하는 단계(S205)는 다음과 같은 단계를 포함할 수 있다.
도 3을 참고하면 이미지 센서(220)는 제1 포토 게이트(211a) 및 제2 포토 게이트(211b)를 포함하는 셀(221)을 복수의 행과 열을 이루도록 구비할 수 있다.
복수의 셀(221)은 도 11에 표시된 픽셀(212a)에 대응될 수 있고, 복수의 셀(221) 각각 획득한 인텐서티 데이터(제1 또는 제2 포토 게이트에서 획득한 인텐서티 데이터)는 픽셀(212a)에 표시된 값의 크기에 대응될 수 있다.
즉, 서브 연산부(230b)는 각 열/행 마다 픽셀 값의 합을 계산하고, (S301) 기 설정 시간 간격으로 획득된 N-1 프레임과 N 프레임의 차이를 계산한다.(S301)
도 11(a)는 N-1 프레임를 나타내며, 11(b)는 N 프레임을 나타낸다.
여기서, 기 설정 시간 간격으로 획득된 N-1 프레임과 N 프레임의 차이를 계산하는 단계는 도 11(a) 및 (b)와 같이 각각의 열에 포함된 픽셀 값의 합(212b)에 기초하여 N-1 프레임과 N 프레임의 각 열에 포함된 픽셀 값의 합(212b)의 차이를 계산하는 단계를 포함할 수 있다. 도 11을 통해 살펴보면 N-1 프레임과 N 프레임의 각 열에 포함된 픽셀 값의 합(212b)의 차이는 1+3+14+1+12로 30 이다.
또한, 기 설정 시간 간격으로 획득된 N-1 프레임과 N 프레임의 차이를 계산하는 단계는 도 11(a) 및 (b)와 같이 각각의 행에 포함된 픽셀 값의 합(212c)에 기초하여 N-1 프레임과 N 프레임의 각 행에 포함된 픽셀 값의 합(212c)의 차이를 계산하는 단계를 포함할 수 있다. 도 11을 통해 살펴보면 N-1 프레임과 N 프레임의 각 행에 포함된 픽셀 값의 합(212c)의 차이는 1+4+12+11로 28 이다.
서브 연산부(230b)는 N-1 프레임과 N 프레임의 각 열에 포함된 픽셀 값의 합(212b)과 N-1 프레임과 N 프레임의 각 행에 포함된 픽셀 값의 합(212c)을 합하여 N-1 프레임과 N 프레임 인텐서티 데이터 차이(=TOTAL_DIFF)를 계산한다.(S303)
N-1 프레임과 N 프레임 인텐서티 데이터 차이(=TOTAL_DIFF)가 기 설정 인텐서티(=THRES) 이하인 경우 제1 모드를 유지하고(S304, No), N-1 프레임과 N 프레임 인텐서티 데이터 차이(=TOTAL_DIFF)가 기 설정 인텐서티(=THRES) 이상인 경우(S304, Yes), 제2 모드로 전환 할 수 있다. 즉, 메인 연산부(230a)를 웨이크 업(wake up)할 수 있다. (S304)
도 12는 본 발명의 다른 실시예에 의한 TOF 카메라(200)의 구성을 설명하기 위한 개략도 이다.
이하에서는, 도 8에서 설명된 구성과 상이한 점을 중심으로 설명한다.
TOF 카메라(200)는 별도의 포토 다이오드(260)를 포함하고, 제1 모드에서 라이트 소스(Illumination)(210)가 조사하여 반사되는 광원(212)을 상기 별도의 포토 다이오드(260)를 통해 수광할 수 있다.
제1 모드에서 포토 다이오드(260)를 통해 광을 수신하여 획득한 로우 데이터는 인텐서티 데이터(=Photo diode광량 data)에 대응되며, 인텐서티 데이터는 서브 연산부(230b)로 전송되어 변화 유무를 판단할 수 있다.
제1 모드에서 포토 다이오드(260)를 통해 수광한 인텐서티 데이터에 변화가 기 설정 차이 이상인 경우 움직이는 오브젝트가 존재하는 것으로 확인하고, 메인 연산부(230a)를 웨이크 업(wake up) 할 수 있다.
즉, 도 12에 도시된 TOF 카메라(200)는 제1 모드에서 광을 수광하는 구성을 별도로 포함하고, 제2 모드에서 광을 이미지 센서(220)로 수광하는 특징을 포함하고 있다.
이상에서는 TOF 카메라(200)에서 소모되는 전력을 감지하는 본 발명의 특징을 살펴보았으며, 이하에서는 제2 모드에서 획득한 깊이 데이터를 통해 사용자의 손가락을 정확하고 빠르게 트랙킹하는 본 발명의 다른 특징을 설명하도록 하겠다.
도 13는 기존의 깊이 카메라가 획득한 깊이 이미지를 통해 사용자의 손가락을 인지하는 방법 및 문제점을 설명하기 위한 도면이다.
이동 단말기가 깊이 카메라를 통해 비전(vision) 기반의 인터페이스를 구현하기 위해서는 전체 깊이 이미지에서 사용자의 손(410)에 해당하는 부분의 이미지를 빠르고 정확하게 추출하며, 손가락 (414)을 정확하고 빠르게 트랙킹할 수 있어야 한다.
현재까지 대부분의 핑거 트랙킹(Finger Tracking) 알고리즘은, 도 13(a)와 같이 손가락(414)의 포지션을 획득하기 위해 손(410)에 에지(edge)(413)를 이용하고 있다.
이 방법은 손(410)의 에지(edge)(413)를 보고 손가락(414)을 트랙킹하는 것이기 때문에, 획득된 손(410)의 형태가 반드시 손바닥이나 손등에서 바라본 형태여야 한다는 문제점이 있다. 이에 현재까지 손(410)의 제스쳐에 기반하여 UI/UX를 제공하는 제품들은 도 13(b)와 같이 항상 손바닥이나 손등이 보이는 위치에 카메라(200)를 설치하여 도 13(a)와 같은 손(410) 이미지를 획득한다.
다만, 도 13(b)와 같이 손가락이 카메라를 향하여 손가락의 에지(edge)가 불분명한 상태에서는 손가락(414)를 트랙킹하기 어려울 수 있다. 또한, 깊이 카메라를 통해서 최단 거리 지점을 트랙킹 하는 방법은 복수의 손가락(414)를 트랙킹 하는데 적절하지 않은 문제점이 있다.
따라서, 깊이 카메라를 이용하여 손가락(414)를 트랙킹하는 새로운 기술이 필요하다.
이하에서는, 본 발명의 일실시예에 따른 이동 단말기가 깊이 카메라를 통해 손가락을 빠르고 정확하게 트래킹하는 알고리즘을 설명한다.
도 14은 본 발명의 일 실시예에 의한 이동 단말기가 깊이 카메라(200)를 통해 사용자의 손(410)이 타겟팅하는 지점을 인지하는 방법을 개략적으로 설명하기 위한 도면이다.
이동 단말기는 사용자와 인터랙션 하기 위해 사용자의 손(410)에서 타겟팅 하는 손가락 및 해당 손가락이 타겟팅 하는 지점(411a, 411b)을 빠르고 정확하게 트랙킹 할 필요가 있다. 또한, 이동 단말기는 사용자의 손(410)에서 깊이 카메라를 향해 돌출되더라도 타겟팅 하지 않는 지점(412)은 트래킹에서 제외할 필요가 있다.
도 14(a)는 사용자의 손(410)이 깊이 카메라(200)를 향해 있는 실시예를 나타내며, 도 14(b)는 도 14(a)에서 깊이 카메라(200)가 사용자의 손(410)를 캡쳐하고, 깊이 이미지에서 깊이 카메라(200)와의 거리(h)에 대응하여 획득된 세그먼트(500)이다. 또한, 도 14(c)는 도 14(b)의 세그먼트(500)를 대응되는 기준거리와 세그먼트 간 포함관계를 통해 구현된 세그먼트 트리(600)를 나타낸다.
이동 단말기는 사용자의 손(410)의 깊이 이미지에서 세그먼트 트리(600)를 통해 타겟팅 하는 지점(411a, 411b)를 추출할 수 있다.
도 14(c)의 세그먼트 트리(600)를 구체적으로 살펴보면, 세그먼트 트리(600)는 적어도 하나의 노드(630)를 포함할 수 있다. 적어도 하나의 노드(630)는 이웃 거리에 대응되는 복수의 세그먼트를 포함하는 특정 세그먼트 일 수 있다. 즉, N+1번째 기준거리(h_N+1)에 대응되는 세그먼트가 N번째 기준거리(h_N)에 대응되는 복수의 세그먼트를 포함하는 경우, N+1번째 기준거리(h_N+1)에 대응되는 세그먼트는 특정 세그먼트로, 세그먼트 트리(600)에서 제1 노드(630a)에 대응될 수 있다.
사용자의 손(410)에서 타겟팅 하는 지점(411a, 411b)은 세그먼트 트리(600)의 노드(= 특정 세그먼트, 630)에서 깊이 카메라(200)를 향해 기 설정 거리 이상 이격된 유효 단부(610a, 610b)에 대응될 수 있다. 구체적으로, 특정 세그먼트에 대응되는 기준거리에서 이동 단말기 또는 깊이 카메라(200)를 향해 기 설정 거리 이상 위치하는 세그먼트를 타겟팅 하는 지점(411a, 411b)에 대응시킬 수 있다.
제1 유효 단부(610a)는 제1 노드(630a)에 연결되고, 제1 노드(630a)와 거리(ha1)가 기 설정 거리 이상이므로 사용자의 손에서 타겟팅하는 제1 지점(411a)에 대응될 수 있다.
제2 유효 단부(610b)는 제2 노드(630b)와 연결되고, 제2 노드(630b)와 거리(ha2)가 기 설정 거리 이상으로 각각이 사용자의 손(410)에서 타겟팅 하는 제2지점(411b)에 대응될 수 있다.
세그먼트 트리(600)에서 단부에 위치하더라도 노드(630)에서 이격된 거리가 기 설정 거리 미만인 경우 해당 단부를 무효 단부(620)로 분별하고, 이는 사용자의 손(410)에서 타겟팅 하지 않는 지점(412)에 대응될 수 있다. 구체적으로, 무효 단부(620)는 제2 노드(630b)와 연결되고, 제 2 노드(630b)와 거리(hb1)가 기 설정 거리 미만으로 사용자의 손(410)에서 타겟팅 하지 않는 지점(412)에 대응될 수 있다.
즉, 세그먼트 트리에서 단부가 유효 또는 무효인지 여부는 연결된 노드에서의 거리가 기 설정 거리 이상인지를 통해 분별될 수 있다. 따라서, 본 발명은 엄지와 같이 노드의 깊이가 다른 손가락도 타겟팅 손가락으로 트랙킹할 수 있으며, 복수의 손가락의 타겟팅 지점을 정확하게 트랙킹 할 수 있는 장점이 있다.
이하에서, 구체적으로 이동 단말기가 깊이 카메라(200)를 통해 사용자의 손가락을 트랙킹하는 방법을 살펴본다
도 15는 도 14을 설명하기 위한 플로우 차트이다.
이동 단말기는 사용자의 손가락을 트랙킹 하기 위해, 깊이 카메라를 통해 깊이 이미지(Depth image)를 획득한다. (S401)
이동 단말기는 깊이 이미지에서 사용자의 손을 분별하기 위해, 인터랙션 영역(Interaction Region)을 설정하고, 깊이 이미지에서 인터랙션 영역외의 이미지를 제거한다. (S402) 인터랙션 영역은 이동 단말기로부터 제1 기 설정 거리 이내로 설정할 수 있으며, 이와 관련하여 이하 도 16을 통해 구체적으로 살펴본다.
이동 단말기는 깊이 이미지에서 가장 가까운 거리 값을 가지는 픽셀을 통해 오브젝트의 타겟 거리(Target Distance)를 추출할 수 있다. (S403) 타겟 거리는 깊이 이미지에서 이동 단말기로부터의 거리에 따른 세그먼트를 획득하는 시작 기준 거리가 될 수 있으며, 이와 관련하여 이하 도 17을 통해 구체적으로 살펴본다.
깊이 카메라는 깊이 이미지에서 깊이 카메라에서 거리에 대응하여 세그먼트를 획득하고, 세그먼트의 포함관계를 통해 세그먼트 트리(Segment Tree)를 구현할 수 있다. (S404) 세그먼트 트리는 이동 단말기로부터의 거리에 따라 획득된 세그먼트간 포함관계를 통해 구현할 수 있으며, 도 18 내지 도 22을 통해 구체적으로 살펴본다.
이동 단말기는 구현된 세그먼트 트리에서 노드에서의 거리를 통해 유효 단부를 결정한다. (S405) 이동 단말기는 세그먼트 트리에서 노드에 대응되는 특정 세그먼트를 분별하고, 특정 세그먼트가 획득된 거리에서 이동 단말기로 제2 기설정 거리 이상 위치한 세그먼트를 통해 유효 단부를 결정할 수 있다. 이와 관련하여 이하 도 23 및 24를 통해 구체적으로 살펴본다.
이동 단말기는 결정된 유효 단부에 대응되는 타겟팅 지점 및 깊이(=3D Finger Position)을 추출한다. (S406) 이동 단말기는 유효 단부에 대응되는 적어도 하나의 타겟 포인트의 위치를 추출하고, 추출된 위치에 대응하여 디스플레이를 통해 비디오 피드백을 제공할 수 있다. 이와 관련하여, 타겟 포인트의 위치를 추출하는 방법은 도 26 및 도 27를 통해 살펴보며, 디스플레이를 통해 비디오 피드백을 제공하는 방법은 도 28 내지 30을 통해 구체적으로 살펴본다.
상기 방법을 통해 이동 단말기가 사용자의 손가락을 트랙킹 하기 위해, 이동 단말기는 적어도 하나의 커맨드를 저장하는 메모리, 오브젝트를 캡쳐하여 깊이 이미지를 획득하는 깊이 카메라, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 카메라에 의해 캡쳐된 오브젝트에 대응하는 비디오 피드백을 출력하는 디스플레이, 그리고, 상기 메모리, 상기 깊이 카메라, 및 상기 디스플레이에 연결된 컨트롤러를 포함하고, 상기 컨트롤러는 상기 메모리에 저장된 적어도 하나의 커맨드에 따라 상기 이동 단말기로부터 제1 기 설정 거리 이내의 상기 오브젝트에 반응하여, 상기 깊이 카메라가 상기 오브젝트를 트랙킹 하도록 제어하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 따른 적어도 하나의 세그먼트를 획득하고, 상기 메모리에 저장된 적어도 하나의 커맨드에 따라 특정 세그먼트가 획득된 거리에서 상기 이동 단말기로 제2 기 설정 거리 이상에 위치한 적어도 하나의 타겟 포인트를 출력하도록 상기 디스플레이를 제어하는 것을 특징으로 할 수 있다.
도 16는 도 15에서 인터랙션 영역(Interaction Region)을 설명하기 위한 도면이며, 도 17은 도 16의 인터랙션 영역에서 획득된 깊이 이미지를 설명하기 위한 도면이다.
깊이 카메라(200)는 각 픽셀별로 깊이 데이터를 추출할 수 있으며, 이를 통해 특정 거리 내에 있는 오브젝트를 추출하는 것이 가능하다.
본 발명에서 사용되는 인터랙션 영역(320)은 도 16과 같이 제 1 기설정 거리(= 최대 인지 거리 = Max distance, 330) 이내의 영역에 대응될 수 있다. 경우에 따라서는, 인터랙션 영역(320)은 깊이 카메라가(200)가 오브젝트를 인지할 수 있는 최소 인지거리(310) 이상 및 제1 기설정 거리(330) 이하에 대응되는 영역일 수 있다.
이동 단말기는 인터랙션 영역(320)에 들어온 오브젝트만을 트랙킹(tracking) 할 수 있다. 사용자는 이동 단말기를 향해 손을 뻗어 손의 움직임을 통해 이동 단말기와 인터랙션 하므로, 인터랙션 영역(320)에 들어온 오브젝트는 사용자의 손일 가능성이 있고, 이동 단말기는 사용자의 손일 가능성이 있는 오브젝트를 트랙킹하는 것이 바람직하다.
이동 단말기는 획득한 깊이 이미지에서 인터랙션 영역(320)에 대응되는 픽셀 값을 가지는 픽셀을 제외하고 나머지 픽셀은 픽셀 값을 제거한다.
도17에서 0의 값을 가지는 픽셀(321)은 인터랙션 영역(320)에 대응되지 않는 픽셀 값을 가지는 픽셀로 픽셀 값이 제거된 픽셀에 해당한다. 또한, 픽셀 값을 가지는 픽셀(322)은 인터랙션 영역(320)에 대응되는 픽셀 값을 가지는 픽셀일 수 있다. 즉, 픽셀 값을 가지는 픽셀(322)은 제1 기준 거리(330) 이하에 대응되는 픽셀 값을 가지는 픽셀 일 수 있다.
이동 단말기는 인터랙션 영역(320)에 오브젝트가 들어온 경우 트랙킹을 시작하도록 설계된다. 즉, 인터랙션 영역(320)에 오브젝트가 들어오지 않아 픽셀 값이 모두 0으로 제거된 경우, 이동 단말기는 이하에서 설명하는 트랙킹을 수행하지 않아, 에너지 및 데이터 효율성을 높인다.
이동 단말기는 인터랙션 영역(320)에 오브젝트가 들어온 경우, 획득한 깊이 이미지에서 최단 거리를 결정한다. 최단 거리는 도 17에서 0을 제외한 최소의 픽셀 값에 대응되는 거리 일 수 있다. 결정된 최단 거리는 인터랙션 영역(320)에 오브젝트가 들어와서 오브젝트의 세그먼트 트리를 형성하는데 이용될 수 있는데 이하에서 세그먼트 트리를 형성하는 방법을 설명한다.
도 18은 도 15에서 사용자의 손에 대응되는 세그먼트 트리(Segment Tree)를 구현하는 방법을 설명하기 위한 플로우 차트이고, 도 19 내지 22은 도 18을 설명하기 위한 도면이다.
이동 단말기는 도 16의 인터랙션 영역(620)에 오브젝트가 들어온 경우 트랙킹을 시작함에 있어 세그먼트 트리를 구현할 수 있다.
세그먼트 트리를 구현하기 위해, 이동 단말기는 세그먼트를 획득하기 위해 최단 거리(= START) 및 기준거리(=END)를 결정한다. (S501)
최단 거리(= START)는 도 17에서 0을 제외한 가장 작은 픽셀 값(323)에 대응되는 거리 일 수 있다. 즉, 최단 거리(= START)는 도 19에서 설명한 바와 같이 오브젝트(또는, 사용자의 손(410))에서 깊이 카메라(200)와 가장 가까운 지점(411c)과 깊이 카메라(200)간 거리(h1)일 수 있다.
기준 거리(=END)는 세그먼트를 획득하는 거리로, 세그먼트는 기준 거리(=END) 이하에 대응되는 픽셀 값을 가지는 픽셀 그룹일 수 있다. 이동 단말기는 최단 거리(= START) 초과 및 제1 기 설정 거리(330) 이하의 거리를 기준 거리(=END)를 결정할 수 있다. 도 19에서 설명한 바와 같이 기준 거리(=END)는 제1 기 설정 거리(h1)와 최단 거리(h1) 사이에 일정 거리 간격(Gap)을 가지고 순차적으로 결정될 수 있다.
이동 단말기는 획득된 깊이 이미지에서 최단거리(= START) 이상 및 기준거리(=END) 이하의 픽셀 값을 가지는 픽셀만 필터링하고 나머지 픽셀 값은 제거한다. (S502)
도 20(a)는 깊이 이미지에 캡쳐되는 사용자의 손의 일 실시예 및 사용자의 손에 최단거리(= START) 및 제1 기준 거리(=END 1) 내지 제6 기준 거리(= END 6)를 표시한 도면이다.
또한, 도 20(b)는 제1 기준 거리(=END 1) 내지 제6 기준 거리(= END 6) 각각과 최단거리(=START) 사이의 픽셀 값을 가지는 픽셀만 필터링한 실시예를 표시한 도면이다. 기준 거리(END 1 to 6)가 깊이 카메라(또는, 최단 거리(=START))에 가까워 지는 경우, 필터링 되는 픽셀이 많아지게 되는 것을 확인 할 수 있다.
이동 단말기는 결정된 기준거리(=END) 및 최단 거리(=START) 에 대응하여 깊이 이미지를 필터링 한 후, 세그먼트를 분할(Segmentation)할 수 있다. (S503)
도 21은 세그먼트를 분할 하는 과정을 설명하는 도면이다. 도 21(a)는 도 20에서 최단 거리(=START)와 제1 기준 거리(=END1), 최단 거리(=START)와 제3 기준 거리(=END3) 및, 최단 거리(=START)와 제5 기준 거리(=END5)에 대응되어 각각 필터링된 깊이 이미지 이다. 도 21(b)는 필터링된 이미지에서 픽셀값을 가지나는 픽셀을 그룹핑하여 분할된 세그먼트를 나타낸다.
구체적으로, 최단 거리(=START)와 제1 기준 거리(=END1)에 대응되어 필터링된 깊이 이미지는 하나의 픽셀그룹으로 분할 될 수 있고, 하나의 픽셀 그룹은 세그먼트A에 대응될 수 있다. 또한, 최단 거리(=START)와 제3 기준 거리(=END3)에 대응되어 필터링된 깊이 이미지는 세 개의 픽셀그룹으로 분할될 수 있고, 세 개의 픽셀 그룹은 각각 세그먼트B, C, D에 대응될 수 있다. 또한, 최단 거리(=START)와 제5 기준 거리(=END5)에 대응되어 필터링된 깊이 이미지는 두 개의 픽셀 그룹으로 분할될 수 있고, 두 개의 픽셀 그룹은 세그먼트 E, F에 대응될 수 있다.
이동 단말기는 세그먼트를 분할(Segmentation)한 후, 특정 세그먼트(=Parent)를 결정한다. (S504)
도 22는 도 21의 분할된 세그먼트를 통해 세그먼트 트리를 구현하고, 특정 세그먼트를 결정하는 방법을 설명한 도면이다. 도 22(a)에서 세그먼트 A는 대응되는 기준거리가 세그먼트 B, C, D가 대응되는 기준거리보다 길고, 차지하는 영역이 세그먼트 B, C, D를 포함하여 도 22(b)의 상부 도면과 같이 비교될 수 있다. 도 22(a)에서 세그먼트 B, C, D에 대응되는 기준거리는 세그먼트 E, F가 대응되는 기준거리보다 길고, 각각 세그먼트 B, C가 차지하는 영역에 포함되어 도 22(b)의 하부 도면과 같이 비교될 수 있다. 또한, 도 22(b)의 상부 및 하부 도면은 도 22(c) 같이 세그먼트 트리로 구현될 수 있다.
도 22(c)를 구체적으로 살펴보면, 세그먼트 A, 세그먼트 B, C, D 및, 세그먼트 E, F는 대응되는 기준거리를 통해 상, 중, 하에 위치하며, 세그먼트 A는 세그먼트 B, C, D를 포함하여 세그먼트 B, C, D에 연결되어 표현될 수 있다. 또한, 세그먼트 B, C는 세그먼트 E, F를 각각 포함하여, 각각이 상호 연결될 수 있다.
즉, 본 발명에 따른 이동 단말기는 깊이 이미지에서 기준거리를 제1 기설정 거리에서 일정 간격으로 감소하여 대응되는 세그먼트를 획득하고, 세그먼트간 포함관계를 통해 세그먼트 트리를 형성할 수 있다.
특정 세그먼트(=parent)는 인접하는 기준 거리에 대응되는 복수의 세그먼트를 포함하는 세그먼트 일 수 있다. 즉, 도 22에서 세그먼트 A는 인접하는 기준 거리에 대응되는 복수의 세그먼트 B, C, D 를 포함하므로 본 발명의 특정 세그먼트(=parent)에 해당될 수 있다.
이동 단말기는 기준 거리(=END)를 도 19에서 설명된 바와 같이, 제1 기 설정 거리(h1)에서 일정 거리 간격(Gap)을 가지고 순차적으로 감소하며 대응되는 세그먼트를 획득하고, 특정 세그먼트를 결정한 후, 기준 거리(=END)가 최단 거리(=Start, h1)에 이하인 경우(S505, YES), 세그먼트 트리를 구현하는 것을 중단한다.(S506)
도 23는 도 15에서 세그먼트 트리를 통해 유효 단부를 결정하는 방법을 설명하기 위한 플로우 차트이고, 도 24은 도 23를 설명하기 위한 도면이다.
이동 단말기는 깊이 데이터를 통해 세그먼트 트리를 구현한 경우, 세그먼트 트리의 단부를 결정한다. (S601) 여기서, 단부는 본 발명의 타겟 포인트에 대응될 수 있는데, 이와 관련하여서는 도 24 및 도 25를 통해 구체적으로 설명한다.
이동 단말기는 기준 거리에 대응하여 세그먼트를 추출하고, 추출된 세그먼트가 다른 세그먼트를 포함하지 않는 경우, 해당 세그먼트를 세그먼트 트리의 단부로 결정할 수 있다.
도 23는 세그먼트 트리(600)의 일 예로, 도 18 내지 도 22를 통해 설명된 바와 같이 구현될 수 있는데, 도 23에 포함된 일 예에 따른 세그먼트 트리(600)는 세 개의 단부(610b, 610a, 620)를 포함하고 있다.
이동 단말기는 단부를 결정한 경우, 각 단부와 노드간 길이(Length)를 추출한다.(S602) 각 단부와 노드간 길이는 각 단부에 대응되는 기준 거리와 노드에 대응되는 기준거리의 차이일 수 있다. 여기서, 노드는 도 22의 특성 세그먼트에 대응될 수 있다.
도 23의 일 예에 따른 세그먼트 트리(600)는 하나의 노드(630)를 포함하고, 세 개의 단부(610a, 610b, 620)가 노드(630)는 연결되어 구현되었다.
각 단부(610a, 610b, 620)와 노드(630)간 길이는 각 단부(610a, 610b, 620)에 대응되는 기준 거리(End b, End c)와 노드(630)에 대응되는 기준거리(End a)의 차이일 수 있다.
따라서, 제1 단부(610a) 및 제2 단부(610b)와 노드(630)간 거리(h4)는 제1 단부(610a) 및 제2 단부(610b)에 대응되는 기준거리(End b)와 노드(630)에 대응되는 기준거리(End a)의 차일 수 있다.
또한, 제3 단부(620)와 노드(630)간 거리 (h3)는 제3 단부(620)에 대응되는 기준 거리(End c)와 노드(630)에 대응되는 기준 거리(End a)의 차 일 수 있다.
이동 단말기는 각 단부와 노드간 길이(Length)가 제2 기설정 거리(THRES) 이상인지 여부로 유효 단부를 결정한다.(S603) 즉, 이동 단말기는 노드에 대응되는 기준거리에서 제2 기설정거리 이상 이격된 기준거리에서 획득한 단부를 유효 단부로 결정할 수 있다.
도 23을 통해 살펴보면, 제1 단부(610a) 및 제2 단부(610b)와 노드(630)간 길이(h4)가 기2 기설정 거리 이상 조건을 만족하는 경우 유효 단부로 결정될 수 있다. 또한, 제3단부(620)와 노드(630)간 길이(h3)가 제2 기설정 거리 이상 조건을 만족하지 못하는 경우 무효 단부로 결정될 수 있다.
다만, 유효 단부로 결정된 단부도, 메타데이터(Metadata)를 통해 무효 단부 여부를 추가로 확인한다. (S604)
메타데이터를 통해 무효 단부 여부를 추가로 확인하는 방법은, 유효 단부에서 노드까지 사이즈 증가율을 통해 확인하는 방법으로, 유효 단부가 노드에서부터 급작스럽게 증가하는 경우 무효 단부로 결정될 수 있다.
세그먼트 트리를 통해 유효 단부를 결정한 경우 알고리즘이 종료된다.(S605)
도 25는 도 15에서 결정된 유효 단부에 대응되는 타켓팅 지점 및 깊이를 추출하는 방법을 설명하기 위한 플로우 차트이고, 도 26 및 도 27은 도 25를 설명하기 위한 도면이다.
이동 단말기는 유효 단부에 대응되는 세그먼트의 중점(x,y)을 추출한다.(S701) 이동 단말기는 유효 단부에 대응되는 세그먼트를 구성하는 픽셀의 위치를 통해 세그먼트의 중점(x,y)을 추출할 수 있다.
이동 단말기는 유효 단부의 깊이(Depth(z))를 추출한다.(S702) 그리고, 절차를 종료한다(S703).
도 26은 세그먼트 트리(600)의 일 예로, 도 18 내지 도 22를 통해 설명된 바와 같이 구현될 수 있는데, 세그먼트 E, G가 유효 단부에 대응되는 세그먼트 일 수 있다. 도 27는 도26의 세그먼트 E, F에 대응되는 기준 거리(End e)에서 획득한 깊이 이미지로 필터링을 통해 세그먼트 E, F을 포함하고 있다.
이동 단말기는 유효 단부에 해당하는 세그먼트 E는 깊이 이미지에서 세그먼트 E를 구성하는 픽셀 그룹(610e)의 위치를 통해 세그먼트 E의 중점(x,y)를 추출할 수 있다.
또한, 이동단말기는 세그먼트 E에 대응되는 기준 거리(End e)를 통해 깊이(h6)를 추출할 수 있다. 이때, 세그먼트 G에 대응되는 기준 거리(End g)를 통해 추출된 깊이(h5)를 통해 세그먼트 G와 세그먼트 간 깊이차이(h7)를 추출할 수 있다.
이동 단말기는 유효 단부에 대응되는 중점(x,y) 및 깊이(y)를 통해 사용자의 손이 타겟팅 지점을 획득하고, 이에 대응하여 디스플레이에 비디오 피드백을 제공할 수 있다. 타겟팅 지점에 대응하여 제공되는 비디오 피드백은 이하에서 살펴본다.
도 28 내지 30는 도 15를 통해 추출된 타게팅 지점에 대응하여 제공되는 비디오 피드백을 설명하기 위한 도면이다.
비디오 피드백은 적어도 하나의 타겟 포인트가 이동 단말기(또는, 깊이 카메라)를 향해 제3 기설정 거리 이상 이동하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 디스플레이 영역이 선택되었음을 표시하는 비디오 피드백일 수 있다.
또한, 비디오 피드백은 적어도 하나의 타겟 포인트가 이동 단말기(또는, 깊이 카메라)로부터 제4 기설정 거리 이내로 이동 하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 디스플레이 영역이 선택되었음을 표시하는 비디오 피드백일 수 있다.
도 28(a)은 이동 단말기가 사용자의 손(410)에 대응되는 세그먼트 트리를 통해 타겟팅 지점을 획득하고 디스플레이(700)에 타겟 포인트(720)를 표시하는 실시예를 나타낸 도면이다.
도 28(b)는 타겟팅 지점이 디스플레이를 향해 접근하는 정도를 선택 대상(730)에 접근하는 그래픽 피드백(740)을 통해 나타내는 실시예를 나타낸 도면이다.
도 28(c)는 도28(b)에서 선택 대상(730)이 선택되었음을 나타내는 그래픽 피드백(750)를 도시한 도면이다. 즉, 그래픽 피드백(750)이 선택 대상(730)의 윤곽선에 일치됨으로 사용자는 선택 대상이 선택되었음을 알 수 있다.
또한, 비디오 피드백은 적어도 하나의 타겟 포인트가 복수의 타겟 포인트로 분할되는 경우, 상기 디스플레이에 표시되는 컨텐츠의 크기를 크게 하거나, 줌인(Zoom-In)하는 비디오 피드백일 수 있다.
반대로, 비디오 피드백은 상기 타겟 포인트가 복수 개이고, 상기 복수 개의 타겟 포인트가 하나의 타겟 포인트로 합쳐지는 경우 상기 디스플레이에 표시되는 컨텐츠의 크기를 작게 하거나, 줌아웃(Zoom-Out)하는 비디오 피드백일 수 있다.
도 29(a)는 줌인 또는 줌아웃 비디오 피드백을 제공하는 사용자의 손(410) 액션을 도시한 것으로, 두 개의 타겟 포인트(720a, 720b)가 하나의 하나의 타겟 포인트(721)로 합쳐지거나, 반대로 하나의 타겟 포인트가(721)는 두 개의 카겟 포인트(720a, 720b)로 분할되는 실시예를 도시하고 있다.
도 29(a)는 줌인 또는 줌아웃 비디오 피드백을 제공하는 사용자의 손(410) 액션을 도시한 것으로, 다섯 개의 타겟 포인트(720a, 720b, 720c, 720d, 720e)가 하나의 하나의 타겟 포인트(721)로 합쳐지거나, 반대로 하나의 타겟 포인트가(721)는 다섯개의 타겟 포인트(720a, 720b, 720c, 720d, 720e)로 분할되는 실시예를 도시하고 있다.
또한, 비디오 피드백은 상기 적어도 하나의 타겟 포인트가 움직이는 방향에 대응하여 디스플레이에 표시되는 컨텐츠를 이동하거나, 다른 컨텐츠를 표시하는 비디오 피드백일 수 있다.
도 30은 다른 컨텐츠를 표시하는 비디오 피드백에 대응되는 사용자 손(410)의 액션을 도시한 것을, 다섯 개의 타겟 포인트(720a, 720b, 720c, 720d, 720e)가 좌우로 이동하는 실시예를 도시하고 있다.
또한 비디오 피드백은 상기 적어도 두 개의 타겟 포인트의 회전 방향에 대응하여 디스플레이에 표시되는 컨텐츠를 회전하는 비디오 피드백일 수 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (19)

  1. 이동 단말기에 있어서,
    적어도 하나의 커맨드를 저장하는 메모리;
    오브젝트를 캡쳐하여 깊이 이미지를 획득하는 깊이 카메라;
    상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 캡쳐된 오브젝트에 대응하는 비디오 피드백을 출력하는 디스플레이; 그리고,
    상기 메모리, 상기 깊이 카메라, 및 상기 디스플레이에 연결된 컨트롤러;를 포함하고,
    상기 컨트롤러는
    상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 이동 단말기로부터 제1 기설정 거리 이내의 상기 오브젝트에 반응하여, 상기 깊이 카메라가 상기 오브젝트를 트랙킹 하도록 제어하고,
    상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 대응하는 적어도 하나의 세그먼트를 획득하고,
    상기 메모리에 저장된 적어도 하나의 커맨드에 따라, 특정 세그먼트에 대응되는 기준거리에서 상기 이동 단말기로 제2 기설정 거리 이상에 위치한 적어도 하나의 타겟 포인트를 출력하도록 상기 디스플레이를 제어하는 것을 특징으로 하는 이동 단말기.
  2. 제1항에 있어서,
    상기 적어도 하나의 세그먼트는
    상기 깊이 이미지에서 상기 이동 단말기와 거리가 기준거리 이내에 대응되는 값을 가지는 연속된 픽셀 그룹인 것을 특징으로 하는 이동 단말기.
  3. 제2항에 있어서,
    상기 컨트롤러는
    상기 기준거리를 상기 제1 기설정 거리에서 일정 거리 간격으로 감소하고, 상기 기준거리에 대응되는 상기 적어도 하나의 세그먼트를 획득하는 것을 특징으로 하는 이동 단말기.
  4. 제3항에 있어서,
    상기 컨트롤러는
    상기 기준거리가 상기 이동단말기에서 상기 오브젝트에 이르는 최단 거리 이하인 경우, 상기 깊이 이미지에서 상기 적어도 하나의 세그먼트를 획득하는 것을 중단하는 것을 특징으로 하는 이동 단말기.
  5. 제4항에 있어서,
    상기 특정 세그먼트는
    인접하는 기준 거리에 대응되는 복수의 세그먼트를 포함하는 적어도 하나의 세그먼트인 것을 특징으로 하는 이동 단말기.
  6. 제5항에 있어서,
    상기 적어도 하나의 타겟 포인트는
    상기 특정 세그먼트에 대응되는 기준거리에서 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트로,
    상기 특정 세그먼트에 포함되고, 다른 세그먼트를 포함하지 않는 세그먼트인 것을 특징으로 하는 이동 단말기.
  7. 제6항에 있어서,
    상기 타겟 포인트는
    제1 특정 세그먼트에 포함되고, 상기 제1 특정 세그먼트가 제2 특정 세그먼트에 포함되는 경우, 상기 제1 특정 세그먼트에 대응되는 기준거리를 기준으로 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트인 것을 특징으로 하는 이동 단말기.
  8. 제1항에 있어서,
    상기 캡쳐된 오브젝트는 사용자의 적어도 하나의 손에 대응되며,
    상기 적어도 하나의 타겟 포인트는 상기 적어도 하나의 손에서 적어도 하나의 손가락 단부에 대응되는 것을 특징으로 하는 이동 단말기.
  9. 제1항에 있어서,
    상기 비디오 피드백은
    상기 적어도 하나의 타겟 포인트가 상기 이동 단말기를 향해 제3 기설정 거리 이상 이동하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 상기 디스플레이의 영역이 선택되었음을 표시하는 것을 특징으로 하는 이동 단말기.
  10. 제1항에 있어서,
    상기 비디오 피드백은
    상기 적어도 하나의 타겟 포인트가 상기 이동 단말기로부터 제4 기설정 거리 이내로 이동 하는 경우, 상기 적어도 하나의 타겟 포인트에 대응되는 상기 디스플레이 영역이 선택되었음을 표시하는 것을 특징으로 하는 이동 단말기.
  11. 제1항에 있어서,
    상기 비디오 피드백은
    상기 적어도 하나의 타겟 포인트가 복수의 타겟 포인트으로 분할되는 경우, 상기 디스플레에 표시되는 컨텐츠의 크기를 크게 하거나, 줌인(Zoom-In)하는 것을 특징으로 하는 이동 단말기.
  12. 제1항에 있어서,
    상기 비디오 피드백은
    상기 타겟 포인트가 복수 개이고, 상기 복수의 타겟 포인트가 하나의 타겟 포인트로 합쳐지는 경우 상기 디즈플레이에 표시되는 컨텐츠의 크기를 작게 하거나, 줌아웃(Zoom-Out)하는 것을 특징으로 하는 이동 단말기.
  13. 제1항에 있어서,
    상기 비디오 피드백은
    상기 적어도 하나의 타겟 포인트가 움직이는 방향에 대응하여 상기 디스플레이에 표시되는 컨텐츠을 이동하거나, 다른 건텐츠를 표시하는 것을 특징으로 하는 이동 단말기.
  14. 제1항에 있어서,
    상기 비디오 피드백은
    상기 타겟 포인트가 복수 개이고, 상기 복수 개의 타겟 포인트의 회전 방향에 대응하여 상기 디스플레이에 표시되는 컨텐츠를 회전하는 것을 특징으로 하는 이동 단말기.
  15. 제1항에 있어서,
    상기 디스플레이는
    컨텐츠를 제공하는 가상의 스크린인 것을 특징으로 하는 디스플레이 디바이스.
  16. 이동 단말기 제어방법에 있어서,
    상기 이동 단말기로부터 제1 기설정 거리 이내로 오브젝트가 존재하는 경우, 상기 이동 단말기에 구비된 깊이 카메라를 통해 상기 오브젝트를 캡쳐하고 깊이 이미지를 획득하는 단계;
    상기 깊이 이미지에서 상기 이동 단말기로부터의 거리에 대응하여 적어도 하나의 세그먼트를 획득하는 단계;
    특정 세그먼트에 대응되는 기준거리에서 상기 이동 단말기를 향해 제2 기설정 거리 이상 위치한 적어도 하나의 타겟 포인트를 이동 단말기에 구비된 디스플레이로 출력하는 단계;
    상기 타켓 포인트에 대응하는 비디오 피드백을 상기 디스플레이로 출력하는 단계;를 포함하는 이동 단말기 제어방법.
  17. 제 16항에 있어서,
    상기 적어도 하나의 세그먼트는
    상기 깊이 이미지에서 상기 이동 단말기와 거리가 기준거리 이내에 대응되는 값을 가지는 연속된 픽셀 그룹이고,
    상기 적어도 하나의 세그먼트를 획득하는 단계는
    상기 기준거리를 상기 제1 기설정 거리에서 일정 거리 간격으로 감소하며, 상기 기준거리에 대응되는 상기 적어도 하나의 세그먼트를 획득하는 것을 특징으로 하는 이동 단말기.
  18. 제17항에 있어서,
    상기 특정 세그먼트는
    인접하는 기준 거리에 대응되는 복수의 세그먼트를 포함하는 적어도 하나의 세그먼트인 것을 특징으로 하는 이동 단말기.
  19. 제18항에 있어서,
    상기 적어도 하나의 타겟 포인트는
    상기 특정 세그먼트에 대응되는 기준거리에서 상기 제2 기설정 거리 이상 이격된 기준거리에 대응되는 세그먼트로,
    상기 특정 세그먼트에 포함되고, 다른 세그먼트를 포함하지 않는 세그먼트인 것을 특징으로 하는 이동 단말기.
PCT/KR2018/012561 2018-10-23 2018-10-23 이동단말기 및 그 제어 방법 WO2020085524A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/012561 WO2020085524A1 (ko) 2018-10-23 2018-10-23 이동단말기 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/012561 WO2020085524A1 (ko) 2018-10-23 2018-10-23 이동단말기 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2020085524A1 true WO2020085524A1 (ko) 2020-04-30

Family

ID=70331994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/012561 WO2020085524A1 (ko) 2018-10-23 2018-10-23 이동단말기 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2020085524A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380176B2 (en) * 2019-11-07 2022-07-05 Hon Hai Precision Industry Co., Ltd. Computing device and non-transitory storage medium implementing target tracking method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
JP2013037675A (ja) * 2011-06-23 2013-02-21 Omek Interactive Ltd 近距離動作のトラッキングのシステムおよび方法
KR20150027137A (ko) * 2012-07-31 2015-03-11 인텔 코오퍼레이션 카메라 파라미터의 컨텍스트 기반 조절
US9395821B2 (en) * 2014-01-03 2016-07-19 Intel Corporation Systems and techniques for user interface control
KR20160145465A (ko) * 2015-06-10 2016-12-20 삼성전자주식회사 피사체 분할 동안 깊이 이미지의 잡음 감소를 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110097504A (ko) * 2010-02-25 2011-08-31 삼성전자주식회사 사용자 모션 인식 방법 및 장치
JP2013037675A (ja) * 2011-06-23 2013-02-21 Omek Interactive Ltd 近距離動作のトラッキングのシステムおよび方法
KR20150027137A (ko) * 2012-07-31 2015-03-11 인텔 코오퍼레이션 카메라 파라미터의 컨텍스트 기반 조절
US9395821B2 (en) * 2014-01-03 2016-07-19 Intel Corporation Systems and techniques for user interface control
KR20160145465A (ko) * 2015-06-10 2016-12-20 삼성전자주식회사 피사체 분할 동안 깊이 이미지의 잡음 감소를 위한 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11380176B2 (en) * 2019-11-07 2022-07-05 Hon Hai Precision Industry Co., Ltd. Computing device and non-transitory storage medium implementing target tracking method

Similar Documents

Publication Publication Date Title
WO2016035921A1 (ko) 이동 단말기 및 그것의 제어방법
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2016052814A1 (en) Mobile terminal and method of controlling the same
WO2017003018A1 (ko) 이동 단말기 및 그 제어 방법
WO2012144667A1 (en) Method and electronic device for gesture recognition
WO2019168238A1 (ko) 이동단말기 및 그 제어 방법
WO2016032045A1 (ko) 이동 단말기 및 이의 제어 방법
WO2016167406A1 (ko) 디스플레이 장치, 웨어러블 장치를 포함하는 동기화 시스템 및 제어 방법
WO2016010202A1 (en) Mobile terminal and control method for the mobile terminal
WO2018043844A1 (ko) 이동 단말기
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2017086538A1 (ko) 이동 단말기 및 이의 제어방법
WO2015194694A1 (ko) 이동 단말기
WO2016039498A1 (ko) 이동 단말기 및 그 제어 방법
WO2019231042A1 (ko) 생체 인증 장치
WO2016013768A1 (ko) 이동단말기 및 그 제어방법
WO2020105757A1 (ko) 이동 단말기
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2020059925A1 (ko) 이동 단말기
WO2018052159A1 (ko) 이동 단말기 및 그 제어방법
WO2018038288A1 (ko) 이동 단말기
WO2016111406A1 (ko) 이동단말기 및 그 제어방법
WO2016027946A1 (en) Mobile terminal and method for controlling the same
WO2017155187A1 (ko) 이동 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18937935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18937935

Country of ref document: EP

Kind code of ref document: A1