WO2021066219A1 - Mobile terminal - Google Patents

Mobile terminal Download PDF

Info

Publication number
WO2021066219A1
WO2021066219A1 PCT/KR2019/012841 KR2019012841W WO2021066219A1 WO 2021066219 A1 WO2021066219 A1 WO 2021066219A1 KR 2019012841 W KR2019012841 W KR 2019012841W WO 2021066219 A1 WO2021066219 A1 WO 2021066219A1
Authority
WO
WIPO (PCT)
Prior art keywords
tof camera
pixel
depth information
image
pixel block
Prior art date
Application number
PCT/KR2019/012841
Other languages
French (fr)
Korean (ko)
Inventor
진동철
송민우
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/012841 priority Critical patent/WO2021066219A1/en
Publication of WO2021066219A1 publication Critical patent/WO2021066219A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to a method for controlling the mobile terminal. In more detail, it is applicable to the technical field of obtaining a more dense and accurate depth image through a TOF camera of a mobile terminal.
  • Terminals can be divided into mobile/portable terminals and stationary terminals depending on whether they can be moved. Again, mobile terminals can be divided into handheld terminals and vehicle mounted terminals according to whether or not the user can directly carry them.
  • the functions of mobile terminals are diversifying. For example, there are functions of data and voice communication, taking pictures and videos through a camera, recording voices, playing music files through a speaker system, and outputting images or videos to the display unit. Some terminals add an electronic game play function or perform a multimedia player function. In addition, the mobile terminal may receive a multicast signal providing visual content such as broadcast and video or television programs.
  • such a terminal is in the form of a multimedia player with complex functions such as, for example, taking photos or videos, playing music or video files, and receiving games and broadcasts. It is being implemented.
  • a mobile terminal has been interacting with a user using a depth camera. For example, it recognizes the user through biometric authentication such as 3D face recognition and vein recognition, and receives the input signal by identifying and tracking the user's hand. . Moreover, in recent years, mobile terminals are exceeding the limits of 2D displays in outputting visual contents such as implementing augmented reality or virtual reality using a depth camera.
  • Depth cameras used to acquire depth images include stereo vision cameras, structured light irradiation cameras, and Time of Flight (ToF) cameras. Each of these has different characteristics, and a suitable method is used according to the application to be applied. However, when various applications such as a mobile terminal are to be implemented in one device, the limitations of each technology method are problematic.
  • the present invention aims to solve the above-described problems and other problems through the specification of the present invention.
  • An object of the present invention is to obtain a more dense depth image by obtaining depth information of a region in which it is difficult to obtain a depth image through a TOF camera.
  • An object of the present invention is to obtain a more accurate depth image by supplementing depth information of a region in which depth information is incorrect in a depth image acquired through a TOF camera.
  • a light irradiation unit that irradiates infrared rays toward a subject, a first TOF camera that receives infrared rays reflected from the subject, and the subject at a position spaced apart from the first TOF camera
  • a second TOF camera that receives infrared rays reflected in the light
  • the control unit is configured to include a depth image obtained from the first TOF camera.
  • a mobile terminal wherein the reliability of the depth information is obtained by using at least one of light quantity data and a standard deviation of depth information acquired during a preset frame.
  • a pixel having a low reliability of the depth information may extract depth information, but a first pixel whose representative depth information cannot be selected is less than the first reliability, and the representative depth information
  • a mobile terminal comprising a second pixel that can be selected but has a larger error range, which is lower than the second reliability.
  • the controller sets a first pixel block including the first pixel from the IR image obtained from the first TOF camera, and the IR image obtained from the second TOF camera
  • the second pixel block corresponds to the first pixel. It provides a mobile terminal, characterized in that the pixel is identified and depth information corresponding to the first pixel is obtained through a stereo operation.
  • the controller in the IR image acquired by the second TOF camera, is configured to have the same size as the first pixel block along a direction spaced apart from the first TOF camera and the second TOF camera. It provides a mobile terminal, characterized in that by comparing the pixel blocks to check the second pixel block.
  • control unit when the similarity between the second pixel block and the first pixel block is greater and the similarity is greater than a preset similarity, the control unit It provides a mobile terminal characterized in that the similarity is trusted.
  • the control unit obtains maximum limit depth information and minimum limit depth information corresponding to the second pixel, and the third pixel block in the IR image acquired by the first TOF camera. If a fourth pixel block similar to and has a reliable similarity between the third pixel block and the fourth pixel block, a stereo operation is performed by discriminating a pixel corresponding to the second pixel in the fourth pixel block.
  • the second It provides a mobile terminal, characterized in that the depth information corresponding to 2 pixels is corrected with depth information obtained through a stereo operation.
  • the control unit in the IR image acquired by the second TOF camera, includes the first pixel block within a specific range along a direction spaced apart from the first TOF camera and the second TOF camera.
  • the second pixel is identified by comparing a block of pixels of the same size as and the specific range is the maximum limit depth information and the minimum limit depth information corresponding to the second pixel in the IR image acquired by the second TOF camera. It provides a mobile terminal comprising a group of candidate pixels obtained by using.
  • the candidate pixel group includes the maximum limit depth information and the minimum limit depth information corresponding to the second pixel, a separation distance between the first TOF camera and the second TOF camera, It provides a mobile terminal, characterized in that it is obtained by using angle information formed by a part of a subject corresponding to the second pixel.
  • the similarity value between the third pixel block and the fourth pixel block is greater than the similarity value between another pixel block and the third pixel block. And trusting the similarity between the third pixel block and the fourth pixel block.
  • control unit activates one of the first TOF camera and the second TOF camera in response to an operation mode, or activates both the first TOF camera and the second TOF camera. It provides a mobile terminal characterized in that the activation.
  • the operation mode is a first mode in which the first TOF camera is activated and a depth image of the first TOF camera is acquired without correction, the first TOF camera, and the second A second mode for activating a TOF camera and acquiring depth information corresponding to the first pixel from the depth image of the first TOF camera, activating the first TOF camera and the second TOF camera, and the first TOF A third mode for correcting depth information corresponding to the second pixel in the depth image of the camera, and activating the first TOF camera and the second TOF camera, and the first pixel in the depth image of the first TOF camera It provides a mobile terminal comprising at least one of a fourth mode for acquiring corresponding depth information and correcting depth information corresponding to the second pixel.
  • more dense depth information may be obtained through the TOF camera.
  • more accurate depth information may be obtained through the TOF camera.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • FIGS. 1B and 1C are conceptual diagrams of an example of a mobile terminal related to the present invention as viewed from different directions.
  • FIG. 2 is a diagram for explaining a driving principle of a TOF camera.
  • 3 and 4 are diagrams for explaining a principle of acquiring depth information of a subject through an image sensor in a TOF camera.
  • FIG. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera.
  • FIG. 6 shows a depth image obtained by photographing a true color image and a region corresponding to the true color image with one TOF camera.
  • FIG. 7 is a conceptual diagram illustrating a TOF camera provided in a stereo method according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an entire processor for acquiring a depth image through a TOF camera provided in a stereo method according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a processor for obtaining a depth image in a first mode according to an embodiment of the present invention.
  • FIG. 10 is a diagram for explaining an example of application of a first mode according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a processor for obtaining a depth image in a second mode according to an embodiment of the present invention.
  • FIG. 12 is a diagram for explaining a method of supplementing depth information in a stereo type according to an embodiment of the present invention.
  • FIG. 13 is a diagram comparing a depth image captured in a second mode with the image of FIG. 6 according to an embodiment of the present invention.
  • FIG. 14 is a diagram for explaining an example of application of a second mode according to an embodiment of the present invention.
  • 15 is a flowchart illustrating a processor for obtaining a depth image in a third mode according to an embodiment of the present invention.
  • FIG. 16 is a diagram for explaining a method of classifying a candidate pixel in FIG. 15 according to an embodiment of the present invention.
  • FIG. 17 is a diagram comparing a depth image captured in a third mode with the image of FIG. 6 according to an embodiment of the present invention.
  • 18 is a diagram for explaining an application example of a third mode according to an embodiment of the present invention.
  • 19 is a flowchart illustrating a processor for obtaining a depth image in a fourth mode according to an embodiment of the present invention.
  • 20 is a diagram for explaining an example of application of a fourth mode according to an embodiment of the present invention.
  • 21 is a flowchart illustrating a processor for acquiring a depth image in an outdoor mode according to an embodiment of the present invention.
  • Mobile terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation systems, and slate PCs.
  • PDAs personal digital assistants
  • PMPs portable multimedia players
  • slate PCs slate PCs.
  • Tablet PC ultrabook
  • wearable device for example, smartwatch, smart glass, head mounted display (HMD), etc. have.
  • FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
  • FIGS. 1B and 1C are conceptual diagrams of an example of a mobile terminal related to the present invention as viewed from different directions.
  • the mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. ) And the like.
  • the components shown in FIG. 1A are not essential for implementing the mobile terminal 100, so the mobile terminal 100 described in this specification may have more or fewer components than the components listed above. have.
  • the wireless communication unit 110 is provided between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or between the mobile terminal 100 and an external server. It may include one or more modules to enable wireless communication between. In addition, the wireless communication unit 110 may include one or more modules that connect the mobile terminal 100 to one or more networks.
  • the wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115. .
  • the input unit 120 includes a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, or an audio input unit, and a user input unit 123 for receiving information from a user, for example, , A touch key, a mechanical key, etc.).
  • the voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
  • the sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal 100, information on a surrounding environment surrounding the mobile terminal 100, and user information.
  • the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity.
  • G-sensor gyroscope sensor
  • motion sensor motion sensor
  • RGB sensor infrared sensor
  • IR sensor infrared sensor
  • fingerprint sensor fingerprint sensor
  • ultrasonic sensor ultrasonic sensor
  • Optical sensor for example, camera (see 121)), microphone (microphone, see 122), battery gauge, environmental sensor (for example, barometer, hygrometer, thermometer, radiation detection sensor, It may include at least one of a heat sensor, a gas sensor, etc.), and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.).
  • the mobile terminal 100 disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
  • the output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of the display unit 151, the sound output unit 152, the haptic module 153, and the light output unit 154. can do.
  • the display unit 151 may implement a touch screen by forming a layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and a user, and may provide an output interface between the mobile terminal 100 and a user.
  • the interface unit 160 serves as a passage between various types of external devices connected to the mobile terminal 100.
  • the interface unit 160 connects a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a device equipped with an identification module. It may include at least one of a port, an audio input/output (I/O) port, an input/output (video I/O) port, and an earphone port.
  • the mobile terminal 100 may perform appropriate control related to the connected external device in response to the connection of the external device to the interface unit 160.
  • the memory 170 stores data supporting various functions of the mobile terminal 100.
  • the memory 170 may store a plurality of application programs (application programs or applications) driven by the mobile terminal 100, data for operation of the mobile terminal 100, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of delivery for basic functions of the mobile terminal 100 (eg, incoming calls, outgoing functions, message reception, and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the mobile terminal 100, and driven by the controller 180 to perform an operation (or function) of the mobile terminal 100.
  • the controller 180 In addition to the operation related to the application program, the controller 180 generally controls the overall operation of the mobile terminal 100.
  • the controller 180 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
  • the controller 180 may control at least some of the components discussed with reference to FIG. 1A. Further, in order to drive the application program, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 with each other.
  • the power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each of the components included in the mobile terminal 100.
  • the power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
  • At least some of the respective components may operate in cooperation with each other to implement the operation, control, or control method of the mobile terminal 100 according to various embodiments described below.
  • the operation, control, or control method of the mobile terminal 100 may be implemented on the mobile terminal 100 by driving at least one application program stored in the memory 170.
  • the input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user.
  • image information or signal
  • audio information or signal
  • data or information input from a user.
  • the mobile terminal 100 A camera 121 may be provided.
  • the camera 121 may be a part of the mobile terminal 100 of the present invention, or may be a configuration including the mobile terminal 100. That is, the camera 121 and the mobile terminal 100 of the present invention may include at least some common features or configurations.
  • the camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151 or stored in the memory 170.
  • a plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure as described above, various angles or focuses may be applied to the mobile terminal 100.
  • a plurality of image information may be input.
  • the plurality of cameras 121 may be arranged in a stereo structure to obtain a left image and a right image for implementing a stereoscopic image.
  • the sensing unit 140 senses at least one of information in the mobile terminal 100, information on a surrounding environment surrounding the mobile terminal 100, and user information, and generates a sensing signal corresponding thereto.
  • the controller 180 may control driving or operation of the mobile terminal 100 or perform data processing, functions, or operations related to an application program installed in the mobile terminal 100 based on such a sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
  • the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing in the vicinity using the force of an electromagnetic field or infrared rays without mechanical contact.
  • the proximity sensor 141 may be disposed in an inner area of the mobile terminal 100 that is surrounded by the touch screen described above or near the touch screen.
  • the proximity sensor 141 examples include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, an infrared proximity sensor, and the like.
  • the proximity sensor 141 may be configured to detect the proximity of the object by a change in the electric field according to the proximity of the conductive object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
  • the action of allowing an object to be located on the touch screen without being in contact with the object to be recognized as being positioned on the touch screen is named "proximity touch", and the touch The act of actually touching an object on the screen is called "contact touch”.
  • a position at which an object is touched in proximity on the touch screen means a position at which the object is vertically corresponding to the touch screen when the object is touched in proximity.
  • the proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, a proximity touch movement state, etc.). have.
  • the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern sensed through the proximity sensor 141, and further, provides visual information corresponding to the processed data. It can be output on the touch screen. Furthermore, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether a touch to the same point on the touch screen is a proximity touch or a touch touch. .
  • the touch sensor applies a touch (or touch input) to the touch screen (or display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. To detect.
  • various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method.
  • the touch sensor may be configured to convert a pressure applied to a specific portion of the touch screen or a change in capacitance generated at a specific portion into an electrical input signal.
  • the touch sensor may be configured to detect a location, an area, a pressure when a touch, a capacitance when a touch is touched, and the like at which a touch object applied to the touch screen is touched on the touch sensor.
  • the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen, a stylus pen, or a pointer.
  • the touch controller processes the signal(s) and then transmits the corresponding data to the controller 180. Accordingly, the controller 180 can know which area of the display unit 151 has been touched.
  • the touch controller may be a separate component from the controller 180 or may be the controller 180 itself.
  • the controller 180 may perform different controls or perform the same control according to the type of the touch object by touching the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different controls or the same control according to the type of the touch object may be determined according to an operating state of the mobile terminal 100 or an application program being executed.
  • the touch sensor and the proximity sensor described above are independently or in combination, and a short (or tap) touch, a long touch, a multi touch, and a drag touch on the touch screen. ), flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. You can sense the touch.
  • the ultrasonic sensor may recognize location information of a sensing target by using ultrasonic waves.
  • the controller 180 may calculate the location of the wave generator through information sensed from the optical sensor and the plurality of ultrasonic sensors.
  • the location of the wave generator may be calculated by using a property that the light is much faster than that of the ultrasonic wave, that is, the time that the light reaches the optical sensor is much faster than the time that the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generator may be calculated using a time difference between a time when the ultrasonic wave arrives using light as a reference signal.
  • the camera 121 as viewed as the configuration of the input unit 120, includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
  • a camera sensor eg, CCD, CMOS, etc.
  • a photo sensor or image sensor
  • a laser sensor e.g., a laser sensor
  • the camera 121 and the laser sensor are combined with each other to detect a touch of a sensing target for a 3D stereoscopic image.
  • the photosensor may be stacked on the display device, and the photosensor is configured to scan the motion of a sensing object close to the touch screen. More specifically, the photo sensor scans the contents placed on the photo sensor by mounting a photo diode and a transistor (TR) in a row/column and using an electrical signal that changes according to the amount of light applied to the photo diode. That is, the photosensor may calculate the coordinates of the sensing object according to the amount of light change, and through this, the location information of the sensing object may be obtained.
  • TR transistor
  • the disclosed mobile terminal 100 includes a bar-shaped terminal body.
  • the present invention is not limited thereto, and can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type in which two or more bodies are relatively movably coupled, a flip type, a slide type, a swing type, and a swivel type. .
  • a particular type of optical device the description of a particular type of optical device can generally be applied to other types of optical devices.
  • the terminal body may be understood as a concept referring to the mobile terminal 100 as at least one aggregate.
  • the mobile terminal 100 includes a case (eg, a frame, a housing, a cover, etc.) forming an exterior. As shown, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in an inner space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a case eg, a frame, a housing, a cover, etc.
  • the mobile terminal 100 may include a front case 101 and a rear case 102.
  • Various electronic components are disposed in an inner space formed by the combination of the front case 101 and the rear case 102.
  • At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
  • a display unit 151 is disposed on the front of the terminal body to output information. As illustrated, the window 151a of the display unit 151 may be mounted on the front case 101 to form the front surface of the terminal body together with the front case 101.
  • electronic components may be mounted on the rear case 102 as well.
  • Electronic components that can be mounted on the rear case 102 include a detachable battery, an identification module, and a memory card.
  • a rear cover 103 for covering the mounted electronic component may be detachably coupled to the rear case 102. Accordingly, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
  • the rear cover 103 when the rear cover 103 is coupled to the rear case 102, a part of the side of the rear case 102 may be exposed. In some cases, when the rear case 102 is combined, the rear case 102 may be completely covered by the rear cover 103. Meanwhile, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
  • These cases 101, 102, 103 may be formed by injection of synthetic resin or may be formed of a metal such as stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the mobile terminal 100 may be configured such that one case provides the inner space.
  • a unibody mobile terminal 100 in which synthetic resin or metal is connected from the side to the rear may be implemented.
  • the mobile terminal 100 may include a waterproof unit (not shown) that prevents water from permeating into the terminal body.
  • the waterproof unit is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102, or between the rear case 102 and the rear cover 103, and the combination thereof It may include a waterproof member that seals the inner space of the city.
  • the mobile terminal 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, a light output unit 154, and first and second sound output units.
  • Cameras 121a and 121b, first and second operation units 123a and 123b, microphone 122, interface unit 160, and the like may be provided.
  • the mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of will be described as an example.
  • first manipulation unit 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body rather than on the rear surface of the terminal body.
  • the display unit 151 displays (outputs) information processed by the mobile terminal 100.
  • the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. .
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. display), a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • two or more display units 151 may exist depending on the implementation form of the mobile terminal 100.
  • a plurality of display units may be spaced apart or integrally disposed on one surface, or may be disposed on different surfaces, respectively.
  • the display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method.
  • the touch sensor detects the touch, and the controller 180 may be configured to generate a control command corresponding to the touch based on this.
  • the content input by the touch method may be letters or numbers, or menu items that can be indicated or designated in various modes.
  • the touch sensor is formed in a film form having a touch pattern and is disposed between the window 151a and a display (not shown) on the rear surface of the window 151a, or is a metal wire patterned directly on the rear surface of the window 151a. May be.
  • the touch sensor may be integrally formed with the display.
  • the touch sensor may be disposed on a substrate of the display or may be provided inside the display.
  • the display unit 151 may form a touch screen together with a touch sensor, and in this case, the touch screen may function as a user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first manipulation unit 123a.
  • the first sound output unit 152a may be implemented as a receiver that transmits a call sound to the user's ear, and the second sound output unit 152b is a loud speaker that outputs various alarm sounds or multimedia playback sounds. ) Can be implemented.
  • a sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151.
  • the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between structures (eg, a gap between the window 151a and the front case 101).
  • the externally formed hole for sound output is not visible or hidden, so that the appearance of the mobile terminal 100 may be more simple.
  • the light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event include message reception, call signal reception, missed call, alarm, schedule notification, e-mail reception, and information reception through an application. When the user's event confirmation is detected, the controller 180 may control the light output unit 154 to terminate the output of light.
  • the first camera 121a processes an image frame of a still image or a moving picture obtained by an image sensor in a photographing mode or a video call mode.
  • the processed image frame may be displayed on the display unit 151 and may be stored in the memory 170.
  • the first and second manipulation units 123a and 123b are an example of a user input unit 123 that is operated to receive a command for controlling the operation of the mobile terminal 100, and may also be collectively referred to as a manipulating portion. have.
  • the first and second manipulation units 123a and 123b may be employed in any manner as long as the user operates while receiving a tactile feeling, such as touch, push, and scroll.
  • the first and second manipulation units 123a and 123b may also be employed in a manner in which the first and second manipulation units 123a and 123b are manipulated without a user's tactile feeling through proximity touch, hovering touch, or the like.
  • the first manipulation unit 123a is illustrated as a touch key, but the present invention is not limited thereto.
  • the first manipulation unit 123a may be a push key (mechanical key) or may be configured as a combination of a touch key and a push key.
  • Contents input by the first and second manipulation units 123a and 123b may be set in various ways.
  • the first operation unit 123a receives commands such as menu, home key, cancel, search, etc.
  • the second operation unit 123b is output from the first or second sound output units 152a, 152b.
  • Commands such as adjusting the volume of sound and switching to the touch recognition mode of the display unit 151 may be input.
  • a rear input unit (not shown) may be provided on the rear surface of the terminal body.
  • This rear input unit is manipulated to receive a command for controlling the operation of the mobile terminal 100, and input contents may be variously set. For example, commands such as power on/off, start, end, scroll, etc., control the volume of sound output from the first and second sound output units 152a and 152b, and touch recognition mode of the display unit 151 You can receive commands such as conversion of.
  • the rear input unit may be implemented in a form capable of inputting by a touch input, a push input, or a combination thereof.
  • the rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body.
  • the rear input unit may be disposed on the rear upper end of the terminal body so that the user can easily manipulate the terminal body using the index finger.
  • the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
  • the display unit 151 may be configured with a larger screen.
  • the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use the fingerprint information sensed through the fingerprint recognition sensor as an authentication means.
  • the fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
  • the microphone 122 is configured to receive a user's voice and other sounds.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 160 becomes a passage through which the mobile terminal 100 can be connected to an external device.
  • the interface unit 160 is a connection terminal for connection with another device (eg, earphone, external speaker), a port for short-range communication (eg, an infrared port (IrDA Port), a Bluetooth port (Bluetooth)). Port), a wireless LAN port, etc.], or at least one of a power supply terminal for supplying power to the mobile terminal 100.
  • the interface unit 160 may be implemented in the form of a socket for accommodating an external card such as a Subscriber Identification Module (SIM) or a User Identity Module (UIM), or a memory card for storing information.
  • SIM Subscriber Identification Module
  • UIM User Identity Module
  • a second camera 121b may be disposed on the rear surface of the terminal body.
  • the second camera 121b has a photographing direction substantially opposite to the first camera 121a.
  • the second camera 121b may include a plurality of lenses arranged along at least one line.
  • the plurality of lenses may be arranged in a matrix format.
  • Such a camera may be referred to as an'array camera'.
  • an image may be photographed in various ways using a plurality of lenses, and an image of better quality may be obtained.
  • the flash 124 may be disposed adjacent to the second camera 121b.
  • the flash 124 illuminates light toward the subject when photographing the subject with the second camera 121b.
  • a second sound output unit 152b may be additionally disposed on the terminal body.
  • the second sound output unit 152b may implement a stereo function together with the first sound output unit 152a, and may be used to implement a speakerphone mode during a call.
  • At least one antenna for wireless communication may be provided in the terminal body.
  • the antenna may be embedded in the terminal body or may be formed in a case.
  • an antenna forming a part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be retractable from the terminal body.
  • the antenna may be formed in a film type and attached to the inner surface of the rear cover 103, or a case including a conductive material may be configured to function as an antenna.
  • the terminal body is provided with a power supply unit 190 (refer to FIG. 1A) for supplying power to the mobile terminal 100.
  • the power supply unit 190 may include a battery 191 that is built into the terminal body or configured to be detachable from the outside of the terminal body.
  • the battery 191 may be configured to receive power through a power cable connected to the interface unit 160.
  • the battery 191 may be configured to enable wireless charging through a wireless charger.
  • the wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
  • the rear cover 103 is coupled to the rear case 102 to cover the battery 191 to limit the separation of the battery 191 and protect the battery 191 from external shocks and foreign substances. It is exemplifying.
  • the rear cover 103 may be detachably coupled to the rear case 102.
  • FIG. 2 is a diagram for explaining a driving principle of a TOF camera.
  • 3 and 4 are diagrams for explaining a principle of acquiring depth information of a subject through an image sensor in a TOF camera.
  • FIG. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera.
  • the TOF camera 200 obtains depth information of the subject 300 by navigating and irradiating light from a light source to the subject 300 and observing the reflected light. Specifically, the TOF camera 200 may measure a phase difference between the irradiated light and the reflected light, and convert the measured phase difference into distance information.
  • the TOF camera 200 is a light irradiation unit 210 that irradiates light toward the subject 300 and may use a solid-state laser or LED that irradiates near-infrared rays that are not visible to the human eye.
  • the TOF camera 200 may receive light reflected from the subject 300 by the light receiving unit 220.
  • the image sensor 221 included in the light receiving unit 220 is designed to react to the same wavelength as the light irradiated by the light irradiation unit 210, and may convert received light energy into electrical energy.
  • Distance information of the subject 300 is included only in light irradiated by the light irradiation unit 210 and reflected by the subject 300, and when the ambient light 400 is high, the signal-to-noise ratio (SNR) may increase.
  • SNR signal-to-noise ratio
  • the image sensor 221 included in the light receiving unit 220 of the TOF camera 200 may include a plurality of pixels 222 corresponding to the resolution. Each pixel 222 included in the image sensor 221 may include a channel A 222a and a channel B 222b.
  • the light receiving unit 220 of the TOF camera 220 selectively receives light using channel A (222a) and channel B (222b), and calculates the ratio of the amount of light received through channel A (222a) and channel B (222b). By using it, the phase difference between the irradiated light and the reflected light can be detected.
  • a detailed look at the operating principle of each pixel 222 of the image sensor 221 is as follows.
  • the pixel 220 applies a reset signal Rst to a capacitor ( , ) To initialize the power storage amount stored in (Step 1), and apply power storage switch control signals (DMIX0, DMIX1) to the channels A (220a) and B (220b) of the pixel 220, and the reflected light energy is transferred to the channel A ( 220a) of the capacitor ( ) Or the capacitor of channel B (220b) ( ) Is charged (step 2), and a read switch control signal (Address Decode) is applied to the capacitor ( , ) It may include a step (step 3) of reading the amount of charged charge.
  • FIG. 4(a) shows the power storage switch control signals DMIX0 and DMIX1 respectively applied to the channels A 220a and B 220b of the pixel 220 when the irradiation light is a pulse wave
  • the charge amounts Q1 and Q2 respectively charged to the channels A 220a and B 220b in response to the power storage switch control signals DMIX0 and DMIX1 respectively applied are shown.
  • FIG. 4(a) shows the power storage switch control signals DMIX0 and DMIX1 respectively applied to the channels A 220a and B 220b of the pixel 220 when the irradiation light is a pulse wave.
  • FIG. 4(b) shows the power storage switch control signals DMIX0_1, DMIX0_2, DMIX1_1, and DMIX1_2 signals respectively applied to the channels A 220a and B 220b of the pixel 220 when the irradiation light is a continuous wave. And the amount of charge (Q1, Q2, Q3, Q4) respectively charged to the channels A 220a and B 220b in response to the applied power storage switch control signals (DMIX0_1, DMIX0_2, DMIX1_1, and DMIX1_2) signals. I'm doing it.
  • the TOF camera 220 calculates the amount of charge (Q1, Q2) charged in the channel A (220a) and the channel B (220b), respectively, through the following equation (1).
  • d) Can be converted into information.
  • c is the rate constant of light
  • the TOF camera 220 When the irradiation light is a continuous wave (Fig. 4(b)), the TOF camera 220 is charged with the amount of charge (Q1, Q3) and channel B (220b) stored by the power storage switch control signals (DMIX0_1, DMIX0_2) in the channel A (220a) ) Can be converted into distance (d) information through Equation 2 and Equation 3 below.
  • c means the speed constant of light
  • f means the frequency of a continuous wave.
  • the power storage switch control signals (DMIX0_1, DMIX0_2, DMIX1_1, DMIX1_2) applied to the channels A (220a) and B (220b) are sequentially, 0 degrees, and 90 degrees. , 180 degrees, may have a phase difference of 270 degrees.
  • the first power storage switch control signals DMIX0_1 and DMIX1_1 are respectively applied to the channel A 220a and the channel B 220b, and the second power storage switch control signals DMIX0_2 and DMIX1_2 may be sequentially applied.
  • the TOF camera 200 applied to the present invention may include a light irradiation unit 210 that irradiates continuous fine irradiation light toward the subject 300.
  • the light irradiation unit 210 may irradiate pulsed fine irradiation light toward the subject 300.
  • FIG. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera. Specifically, FIG. 5 shows an embodiment in which irradiation light, which is a continuous wave, is irradiated toward the subject 300 and reflected light is received to obtain an IR image and a depth image. Reference is made to the contents of FIGS. 1 to 4 below.
  • the image sensor 221 of the TOF camera 200 may convert the received reflected light into an electric signal and obtain raw data.
  • the received raw data may be obtained from the channel A 222a and the channel B 222b by different phases (ex. 0 degrees, 90 degrees, 180 degrees, and 270 degrees).
  • IR images corresponding to each phase can be obtained.
  • the image sensor 221 of the TOF camera 200 may acquire an IR image by using a magnitude component of raw data acquired in each phase.
  • the image sensor 221 of the TOF camera 200 may obtain a depth image by converting raw data acquired in each phase into phase difference information.
  • the raw data acquired in each phase is the amount of power storage (Q1, Q2) stored in channels A (222a) and B (222b) in response to power storage switch control signals (DMIX0_1, DMIX1_1, DMIX0_2, DMIX1_2). , Q3, Q4).
  • the IR image can be obtained using the size component of the amount of power storage Q1, Q2, Q3, and Q4 stored in the channel A 222a and the channel B 222b.
  • the IR image is the absolute value of the power storage difference Q1-Q2 and the second power storage while the first power storage switch control signals DMIX0_1 and DMIX1_1 are applied to the channels A 220a and B 220b.
  • the depth image may be obtained using a ratio component of the amount of power storage Q1, Q2, Q3, and Q4 stored in the channel A 222a and the channel B 222b.
  • the depth image is the power storage difference Q1-Q2 and the second power storage switch control signal while the first power storage switch control signals DMIX0_1 and DMIX1_1 are applied to the channels A 220a and B 220b. It can be obtained by converting the ratio of the difference in the amount of power storage Q3-Q4 to the distance information while (DMIX0_2, DMIX1_2) is applied.
  • Equations 2 and 3 may be referred to.
  • FIG. 6 shows a depth image obtained by photographing a true color image and a region corresponding to the true color image with one TOF camera. Specifically, FIG. 6(a) shows a true color image, and FIG. 6(b) shows a depth image obtained by photographing a region corresponding to FIG. 6(a) with a single TOF camera.
  • the TOF camera has a feature of varying reliability in depth data acquired in proportion to the amount of light reflected from the subject. That is, as the amount of absorbed reflected light increases, more consistent depth data with less deviation may be obtained.
  • the pixels 222 of the image sensor 221 receiving reflected light through the TOF camera may be classified according to the amount of reflected light received by each of the pixels 222.
  • the pixel 222 of the image sensor 221 may include a pixel that is difficult to obtain depth information due to insufficient amount of reflected light.
  • the pixel may be displayed in black in the depth image because depth information of the subject cannot be obtained.
  • a pixel corresponding to a distant subject may correspond to the pixel.
  • the pixel 222 of the image sensor 221 may include a pixel in which it is difficult to obtain a representative value of depth information because the amount of reflected light is insufficient. Although the amount of reflected light is sufficient to obtain depth information, the acquired depth information may correspond to a pixel with low reliability. Since a representative value of depth information cannot be set for the pixel, it may be displayed in black in the depth image. For example, a pixel corresponding to a subject at a close distance but having a low reflectance or a subject having reflection characteristics such as a mirror may correspond to the pixel.
  • the pixel 222 of the image sensor 221 may include a pixel in which the amount of reflected light is sufficient to obtain a representative value of depth information.
  • the pixel may be displayed in a depth image in a color corresponding to depth information.
  • the pixel may be classified into a pixel having a large deviation in depth information and a pixel having a small deviation in depth information according to reliability.
  • a pixel corresponding to the background after that based on the person 310 of the subject may correspond to the first pixel 411 of the pixels. This is because the amount of light reflected on the background after the person 310 of the subject is not sufficient to obtain depth information.
  • the portion a4 and the like may correspond to the second pixel 412 among the pixels.
  • the third pixel 413 may be divided into a pixel 4131 having a small deviation in depth information and a pixel 4132 having a large depth information.
  • the pixel 4131 having a small deviation in depth information corresponds to a portion having a large amount of reflected light, and corresponds to a pixel having high reliability of depth information.
  • a pixel 4132 with a large deviation in depth information corresponds to a pixel with low reliability of the acquired depth information because the reflected light is relatively small compared to the pixel 4132 with a large deviation in depth information, although the reflected light is enough to obtain representative depth information.
  • Pixels belonging to the portion b1 corresponding to the table 350 and the body portion b2 of the person 310 may correspond to a pixel 4132 having a large deviation in depth information.
  • depth information of a pixel 4132 having a large depth information deviation among the second pixel 412 and the third pixel 413 of FIG. 6(b) is further improved.
  • the purpose is to obtain precise and accurate depth information.
  • the pixels 4132 having a small deviation in depth information provide accurate depth information and thus do not need to be supplemented.
  • the first pixel 411 has too little light and cannot be complemented in the present invention.
  • the present invention is provided with two TOF cameras in a stereo type, and a depth image acquired from one TOF camera is to be supplemented with depth information acquired in a stereo method.
  • FIG. 7 is a conceptual diagram illustrating a TOF camera provided in a stereo method according to an embodiment of the present invention.
  • a light irradiation unit 510 that irradiates infrared rays toward a subject, a first TOF camera 520 that receives infrared rays reflected from the subject, and infrared rays reflected from the subject at a position spaced apart from the first TOF camera 520
  • a second TOF camera and a light irradiation unit 510 for receiving light, and a control unit for controlling the first TOF camera 520 and the second TOF camera 530 may be included.
  • the light irradiation unit 510 of the present invention may include a light source unit 511 that generates modularized light and a lens unit 512 that irradiates light generated from the light source 511 to a specific area.
  • Light generated from the light source unit 511 may be modulated into pulsed waves or modulated into continuous waves to be irradiated.
  • the first TOF camera 520 of the present invention includes a first image sensor 521 for receiving light reflected on a subject, and a lens unit 522 for guiding light reflected on the subject to the first image sensor 521 ) Can be included.
  • the second TOF camera 530 of the present invention includes a second image sensor 531 that is spaced apart from the first TOF camera by a distance d to receive light reflected from the subject, and transmits the reflected light to the subject as a second image sensor.
  • a lens unit 532 leading to 532 may be included.
  • the control unit of the present invention can transmit a synchronized signal to each component so that the first image sensor 521 and the second image sensor 531 can receive light by being synchronized with the modularized light generated from the light source unit 511.
  • the control unit 530 may phase the first image sensor 521 and the second image sensor 531 at 0 degrees, 90 degrees, 180 degrees, and 270 degrees based on the modularized light generated from the light source unit 511. It can be controlled to receive the reflected light.
  • FIG. 8 is a flowchart illustrating an entire processor for acquiring a depth image through a TOF camera provided in a stereo method according to an embodiment of the present invention.
  • the mobile terminal of the present invention includes a TOF camera provided in a stereo method as shown in FIG. 7 and can set an operation mode of the TOF camera provided in a stereo method. (S510)
  • a system according to the operation mode of the TOF camera provided in the stereo method of the present invention can be set.
  • S520 Specifically, in the case of the first mode in which the depth image of the first TOF camera is acquired without correction, only the first TOF camera may be activated. In the second mode in which insufficient depth information is added from the depth image of the first TOF camera, both the first TOF camera and the second TOF camera may be activated. In the case of a third mode that compensates for depth information that is less accurate in the depth image of the first TOF camera, both the first TOF camera and the second TOF camera may be activated. In the fourth mode, in which insufficient depth information is added to the depth image of the first TOF camera and compensates for inaccurate depth information, both the first TOF camera and the second TOF camera may be activated.
  • a signal for receiving light from the first TOF camera may be set in accordance with a signal for irradiating light from the light irradiating unit.
  • the present invention may set a signal for receiving light from a first TOF camera and a signal for receiving light from a second TOF camera in accordance with a signal irradiating light from a light irradiation unit in modes 2 to 4.
  • the light irradiation unit irradiates light and receives the reflected light to measure raw data.
  • the present invention may measure raw data through the first TOF camera in the first mode.
  • the present Balgo may measure raw data through the first TOF camera and the second TOF camera in the second to fourth modes.
  • the obtained raw data may be pre-processed.
  • the raw data may correspond to the amount of charge acquired in the channels A 222a and B 222b in response to the power storage switch control signals DMIX0 and DMIX1 in each pixel 222 of FIG. 3. .
  • the amount of charge acquired in the channel A 222a and the amount of charge acquired in the channel B 222b in the preprocessing process are converted into a digital signal and then corresponded to convert to one data.
  • first data corresponding to the difference in the amount of received charge is obtained, and channel A (222a) And second data corresponding to a difference value between the received charge amount after receiving the reflected light at a phase of 90 degrees and 270 degrees from the channel B 222b, respectively.
  • depth information of a subject and reliability of depth information may be calculated.
  • an IR image may be obtained by summing the size of the first data and the size of the second data acquired in the preprocessing process of the present invention.
  • the IR image may be a two-dimensional image using the amount of light.
  • the phase difference information may be obtained through a ratio of the first data and the second data acquired in the preprocessing process, and the depth image may be obtained by converting the phase difference information into depth information.
  • the reliability of the depth information may be obtained by using at least one of a standard deviation of depth information acquired during a preset frame and an amount of light calculated during an IR image implementation process.
  • the reliability of the depth information may be proportional to the amount of light received by each pixel.
  • depth information acquired from each pixel may be calibrated (S560), and a final depth image may be obtained. (S570) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
  • FIG. 9 is a flowchart illustrating a processor for obtaining a depth image in a first mode according to an embodiment of the present invention.
  • the mobile terminal of the present invention may include a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set as the first mode.
  • the first mode may correspond to a normal mode.
  • the mobile terminal of the present invention can activate only the first TOF camera among TOF cameras provided in a stereo method after setting the operation mode as the first mode.
  • the present invention may set a signal for receiving light from the first TOF camera in accordance with a signal for irradiating light from the light irradiator in the first mode.
  • the light irradiation unit irradiates light and receives the reflected light to measure raw data.
  • the image sensor of the first TOF camera is synchronized with the irradiation light to receive reflected light in phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees.
  • the present invention can obtain an IR image suitable for each phase.
  • the present invention may pre-process the raw data acquired in the first mode.
  • S640 the difference in the amount of electric charges received after receiving reflected light in phases of 0 degrees and 180 degrees from the channel A (222a) and channel B (222b) of each pixel 222 in the image sensor of the first TOF camera Acquires first data corresponding to the value, and acquires second data corresponding to the difference between the received charge amount after receiving reflected light at a phase of 90 degrees and 270 degrees from channel A (222a) and channel B (222b), respectively. can do.
  • depth information of a subject and reliability of depth information may be calculated.
  • an IR image may be obtained by summing the size of the first data and the size of the second data acquired in the preprocessing process of the present invention.
  • the IR image may be a two-dimensional image using the amount of light.
  • the phase difference information may be obtained through a ratio of the first data and the second data acquired in the preprocessing process, and the depth image may be obtained by converting the phase difference information into depth information.
  • the reliability of the depth information may be obtained by using at least one of a standard deviation of depth information acquired during a preset frame and an amount of light calculated during an IR image implementation process.
  • the reliability of the depth information may be proportional to the amount of light received by each pixel.
  • depth information acquired from each pixel may be calibrated (S660), and a final depth image may be obtained. (S670) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
  • FIG. 10 is a diagram for explaining an example of application of a first mode according to an embodiment of the present invention.
  • the present invention can use the first mode to distinguish a subject.
  • the first mode may be used to recognize whether the user is a registered user by recognizing the user's face.
  • the present invention can use the first mode to control the surrounding environment information in response to the movement of the subject. For example, when it is recognized that a user has entered a specific space through a TOF camera driven in the first mode as shown in FIG. 10(b), the above information can be used to control the brightness and temperature of the specific space. have.
  • the present invention can use the first mode to receive an input signal by tracking a finger of a user's hand. For example, as shown in FIG. 10(c), the present invention tracks a finger of a user's hand through a TOF camera driven in the first mode, and receives an input signal corresponding to a point and direction indicated by the user's finger. .
  • FIG. 11 is a flowchart illustrating a processor for obtaining a depth image in a second mode according to an embodiment of the present invention.
  • the mobile terminal of the present invention may include a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set as the second mode. (S710)
  • the second mode may correspond to a high density mode.
  • the mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo method after setting the operation mode as the second mode.
  • the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the second mode.
  • the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light.
  • the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light.
  • the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received with a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase.
  • the first TOF camera At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees.
  • Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees.
  • the first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information. (S733) In this case, the first TOF camera may acquire an IR image using the preprocessed data.
  • an IR image of a second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in the second mode.
  • the step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted.
  • the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees.
  • the second TOF camera may pre-process raw data acquired in each phase.
  • the second TOF camera may acquire an IR image using the preprocessed data.
  • a pixel for which depth information cannot be matched in the first TOF camera may be identified.
  • a pixel whose depth information cannot be matched may correspond to a pixel whose acquired depth information has low reliability and cannot be selected as a corresponding value. That is, pixels whose depth information cannot be obtained due to the amount of light being too low may be excluded here.
  • the first TOF camera of the present invention can match depth information of a subject corresponding to a pixel, (S750, No), the matched depth information may be selected as a corresponding value of the corresponding pixel.
  • the present invention compares the reliability of depth information acquired through stereo calculation with a preset value, and (S780) when the reliability of depth information acquired through stereo calculation is greater than a preset value, it is obtained through stereo calculation
  • One depth information may be set as a corresponding value of a corresponding pixel.
  • depth information obtained from each pixel may be calibrated (S790), and a final depth image may be obtained. (S800) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
  • FIG. 12 is a diagram for explaining a method of supplementing depth information in a stereo type according to an embodiment of the present invention.
  • the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera are converted into pixels by stereo computation of the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera.
  • Depth information corresponding to is obtained and reliability of depth information obtained through stereo computation can be obtained.
  • the pixel may refer to a pixel in which a corresponding value of depth information cannot be selected among the image sensors of the first TOF camera.
  • the present invention sets the first pixel block 620 including the pixel in the IR image acquired by the first TOF camera as shown in FIG. 12(a), and the first pixel block in the IR image acquired by the second TOF camera. If a second pixel block 630 similar to 620 is identified, and the first pixel block 620 and the second pixel block 630 have a reliable underwater similarity, the second pixel block 630 A pixel corresponding to a pixel may be identified, and depth information corresponding to the pixel may be obtained through a stereo operation.
  • the first TOF camera and the second TOF camera in the IR image acquired by the second TOF camera, the first TOF camera and the second TOF camera have the same size as the first pixel block 620 along the spaced direction.
  • the second pixel block may be identified by moving the pixel block.
  • the moving range of the pixel block having the same size as the first pixel block 620 may be arbitrarily set. However, in order to obtain a more accurate value, the wider the better.
  • the degree of similarity may be calculated through the number of corresponding feature points and the distance between feature points.
  • FIG. 13 is a diagram comparing a depth image captured in a second mode with the image of FIG. 6 according to an embodiment of the present invention. Specifically, FIG. 13(a) shows a true color image, FIG. 13(b) shows a depth image photographed in the same area in the first mode, and FIG. 13(c) shows the same in the second mode. It shows the depth image of the area.
  • the second mode of the present invention is a mode in which depth information is set in a region in which depth information is not displayed in the depth image acquired in the first mode, and may be referred to as a high density mode.
  • FIG. 13(c) reflected light that is located at a short distance in FIG. 13(b) and more than the minimum amount of light for obtaining depth information can be obtained, but the reliability is low, and depth information is stored in an area where a corresponding value cannot be set.
  • the filled embodiment is shown.
  • depth information is displayed on the head a1 of the person 310 among subjects, and the depth information is also included in the area a2 corresponding to the wall surface 320.
  • depth information is also included in an area a3 corresponding to the telephone 330 and an area a4 corresponding to a side surface of the tumbler 340. That is, the depth image acquired in the second mode may include more depth information than the first image.
  • FIG. 14 is a diagram for explaining an example of application of a second mode according to an embodiment of the present invention.
  • depth information on the photographing region is required. If the depth information is not included in a specific area, the actual depth information is not reflected in the implemented augmented reality, and it may be displayed to simply overlap, which may be unnatural.
  • depth information of the object on which the augmented reality is implemented is required. If the depth information of the area in which the augmented reality is implemented is not reflected and simply overlapped, it is not possible to interact with the implemented incremental form. For example, if a user interacts with a hand-implemented augmented reality by touching it, this is because depth information of a region in which the augmented reality is implemented is required.
  • 15 is a flowchart illustrating a processor for obtaining a depth image in a third mode according to an embodiment of the present invention.
  • the mobile terminal of the present invention may have a TOF camera provided in a stereo method as shown in FIG. 7 and set an operation mode of the TOF camera provided in a stereo method as a third mode.
  • the third mode may correspond to a high accuracy mode.
  • the mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo manner after setting the operation mode to the third mode.
  • the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the third mode.
  • the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light.
  • the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light.
  • the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received with a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase.
  • the first TOF camera At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees.
  • Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees.
  • the first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information.
  • the first TOF camera may acquire an IR image using the preprocessed data.
  • an IR image of a second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in the second mode.
  • the step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted.
  • the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees.
  • the second TOF camera may pre-process raw data acquired in each phase.
  • the second TOF camera may acquire an IR image using the preprocessed data.
  • the classified pixel may correspond to a depth information value, but may correspond to a pixel whose reliability of the corresponding depth information is not high.
  • depth information of a subject corresponding to a pixel of the first TOF camera is sufficiently reliable, (S850, No), depth information obtained from a pixel of the first TOF camera may be used to implement a depth image.
  • the present invention when the depth information of the subject corresponding to the pixel of the first TOF camera is insufficient to be trusted, (S850, Yes) the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera.
  • depth information corresponding to a pixel can be supplemented.
  • the present invention acquires maximum depth limit information and minimum depth limit information corresponding to a pixel by using depth information and reliability corresponding to a pixel, and uses this to select a candidate pixel for a stereo operation in an image of a second TOF camera. Can be selected.
  • the present invention obtains depth information corresponding to a pixel by performing a stereo operation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera, and obtaining the reliability of the depth information obtained through stereo calculation. can do.
  • the target of the stereo operation in the IR image of the second TOF camera may be set through the selected candidate pixel.
  • the present invention compares depth information acquired through stereo calculation, maximum depth limit information, and minimum depth limit information, and compares the reliability of depth information acquired through stereo calculation and the reliability of depth information acquired through the first TOF camera. I can.
  • the depth information obtained through the stereo operation is located between the maximum depth limit information and the minimum depth limit information, and the reliability of the depth information obtained through the stereo operation is the depth information obtained through the first TOF camera.
  • the reliability is higher, a depth image may be obtained using depth information obtained through a stereo operation.
  • the present invention may calibrate depth information acquired from each pixel (S900), and obtain a final depth image. (S910)
  • depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
  • FIG. 16 is a diagram for explaining a method of classifying a candidate pixel in FIG. 15 according to an embodiment of the present invention.
  • depth information corresponding to a specific pixel in the image sensor 521 of the first TOF camera 520 may be more accurately corrected through stereo calculation with the second TOF carrera 530. That is, according to the present invention, an error between the depth information acquired through the first TOF camera 520 and the actual depth information may be reduced by performing a stereo operation on the first TOF camera 520 and the second TOF camera 530.
  • the image sensor 521 of the first TOF camera 520 may obtain maximum depth limit information and minimum depth limit information of the specific pixel by using the reliability of depth information corresponding to a specific pixel.
  • the present invention provides a distance (d) between the image sensor 521 of the first TOF camera 520 and the image sensor 531 of the second TOF camera 530, and between the specific pixel and a subject corresponding to the specific pixel.
  • the second TOF camera 520 may acquire a candidate pixel c for stereo computation by using the angle ⁇ and the obtained maximum depth limit information and the minimum depth limit information of the specific pixel.
  • the distance d between the image sensor 521 of the first TOF camera 520 and the image sensor 531 of the second TOF camera 530 is the optical axis of the first TOF camera 520 and the second TOF camera. It may correspond to the distance between the optical axes of 530.
  • a pixel block to be compared with the first pixel block may be limited by using candidate pixels obtained from the second TOF camera 520. That is, according to the present invention, the load required for stereo calculation can be reduced by using the candidate pixels acquired by the second TOF camera 520.
  • FIG. 17 is a diagram comparing a depth image captured in a third mode with the image of FIG. 6 according to an embodiment of the present invention. Specifically, FIG. 17(a) shows a true color image, FIG. 17(b) shows a depth image photographed in the same area in the first mode, and FIG. 17(c) shows the same in the third mode. It shows the depth image of the area.
  • the third mode of the present invention is a mode that supplements the accuracy of depth information in the depth image acquired by the first mode, and may be referred to as a high accuracy mode.
  • FIG. 17(c) shows an embodiment in which the depth information obtained in FIG. 17(b) is more accurately displayed so that the color change of the image is implemented more three-dimensionally.
  • the image of FIG. 17(b) shows an embodiment in which the body part b1 of the person 310 is displayed in a single color among subjects, but the corresponding part in the image of FIG. 17(c) is more three-dimensional. You can see that the colors are arranged.
  • the image of FIG. 17(b) shows an example in which the table 350 is displayed in a single color, it can be seen that the brightness of the corresponding part in the image of FIG. 17(c) varies according to the distance.
  • 18 is a diagram for explaining an application example of a third mode according to an embodiment of the present invention.
  • FIG. 18A illustrates an embodiment in which depth information is incorrectly obtained, and an augmented reality object to be implemented is unnatural.
  • FIG. 18 (a) shows an unnatural screen configuration in which an augmented reality object (dinosaur) overlaps a chair among subjects.
  • FIG. 18(b) shows an embodiment in which the implemented augmented reality objects are naturally arranged as a case in which depth information is more accurately obtained.
  • FIG. 18(b) shows a screen configuration in which an augmented reality object (fox) is accurately positioned on a user's hand.
  • the present invention can implement a more realistic augmented reality through the third mode.
  • 19 is a flowchart illustrating a processor for obtaining a depth image in a fourth mode according to an embodiment of the present invention.
  • the mobile terminal of the present invention may have a TOF camera provided in a stereo method as shown in FIG. 7 and set an operation mode of the TOF camera provided in a stereo method as a fourth mode.
  • the fourth mode may correspond to a mode that simultaneously implements the second mode and the third mode.
  • the mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo method after setting the operation mode to the fourth mode.
  • the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the fourth mode.
  • the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light.
  • the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light.
  • the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received at a phase of 0 degrees from channel A, and a raw image received at a phase of 180 degrees from channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase.
  • the first TOF camera At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees.
  • Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees.
  • the first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information.
  • the first TOF camera may acquire an IR image using the preprocessed data.
  • an IR image of the second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in a fourth mode.
  • the step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted.
  • the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees.
  • the second TOF camera may pre-process raw data acquired in each phase.
  • the second TOF camera may acquire an IR image using the preprocessed data.
  • a pixel whose depth information cannot be matched in the first TOF camera can be identified.
  • a pixel whose depth information cannot be matched may correspond to a pixel that cannot be selected as a corresponding value due to low reliability of the acquired depth information. That is, pixels whose depth information cannot be obtained due to the amount of light being too low may be excluded here.
  • the present invention can discriminate a pixel with low reliability among pixels that can match depth information in the first TOF camera. (S1060) In order to discriminate the pixel, the present invention may compare the reliability of depth information of a pixel capable of matching depth information with a preset reliability.
  • the matched depth information is used as information for outputting a depth image. Can be selected. (S1070)
  • the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera are stereo-calculated to correspond to the pixel.
  • Depth information can be selected. Specifically, the present invention obtains depth information corresponding to a pixel by performing a stereo operation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera, and obtaining the reliability of the depth information obtained through stereo calculation. can do. (S1090)
  • the second TOF camera can select a candidate pixel to be used for stereo calculation using the matched depth information and reliability.
  • the present invention may obtain maximum limit depth information and minimum limit depth information by using matched depth information and reliability in order to select a candidate pixel. According to the present invention, when a candidate pixel is selected and a stereo operation is performed, a load required for calculation can be reduced by performing a stereo operation in a range of the selected candidate pixel.
  • the reliability of the depth information obtained through the stereo operation may be compared with a preset reliability.
  • the present invention may set depth information acquired through stereo computation as information for outputting a depth image when the reliability of depth information acquired through stereo computation is higher than a preset reliability.
  • the present invention can match the depth information, but when the reliability is low and the depth information is supplemented, the depth information obtained through stereo calculation is compared with the maximum limit depth information and the minimum limit depth information, and the obtained through stereo calculation is performed.
  • the depth information may be compared with the reliability of the depth information acquired through the first TOF camera.
  • the depth information obtained through the stereo operation is greater than the minimum depth limit information and is smaller than the maximum depth limit information, and the depth information obtained through the stereo operation is the reliability of the depth information obtained through the TOF camera.
  • depth information obtained through stereo calculation may be set as information for outputting a depth image.
  • depth information acquired from each pixel may be calibrated (S1100), and a final depth image may be obtained. (S1120) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
  • 20 is a diagram for explaining an example of application of a fourth mode according to an embodiment of the present invention.
  • a TOF camera is provided in a stereo method, so that depth information that is denser than depth information obtained through a single TOF camera can be obtained.
  • the present invention can easily interact with the implemented augmented reality by implementing an augmented reality object in an area where depth information is acquired.
  • the TOF camera is provided in a stereo method, more accurate depth information can be obtained than depth information obtained through a single TOF camera.
  • the implemented augmented reality can be recognized by a user in a more realistic sense.
  • 21 is a flowchart illustrating a processor for acquiring a depth image in an outdoor mode according to an embodiment of the present invention.
  • the mobile terminal of the present invention includes a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set to an outdoor mode. (S1210) Since the reliability of the depth image decreases when the external light is strong, the TOF camera may be set to an outdoor mode in this case. In the outdoor mode, the mobile terminal detects and executes illumination, or may be executed in response to an application selected or executed by a user.
  • the mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo manner after setting the operation mode to the outdoor mode.
  • the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the outdoor mode.
  • the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light.
  • the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light.
  • the first TOF camera may acquire an IR image with a phase of 0 degrees through raw data received with a phase of 0 degrees from channel A, and a raw image received with a phase of 180 degrees from channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase. (S1232) The first TOF camera may acquire an IR image using the preprocessed data. (S1234)
  • the IR image of the second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light.
  • the image sensor of the second TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light.
  • the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received at a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B.
  • the second TOF camera can obtain an IR image of 90 degrees phase through raw data received at a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained.
  • the second TOF camera may pre-process raw data acquired in each phase.
  • the first TOF camera may acquire an IR image using the preprocessed data.
  • S1244 The second TOF camera may pre-process raw data acquired in each phase.
  • the first TOF camera may acquire an IR image using the preprocessed data.
  • a depth image may be obtained by performing a stereo operation on an IR image acquired through a first TOF camera and an IR image acquired through a second TOF camera in an outdoor mode.
  • the present invention may omit the process of obtaining the depth image or depth information from the first TOF camera.
  • depth information obtained by performing stereo calculations on IR images obtained by each of the first TOF camera and the second TOF camera may be selected as information for implementing the depth image (S1260).
  • depth information acquired from each pixel may be calibrated (S1280), and a final depth image may be obtained. (S1270) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.

Abstract

Provided is a mobile terminal comprising: a light irradiation unit for irradiating infrared light toward a subject; a first TOF camera for receiving infrared light reflected from the subject; a second TOF camera for receiving infrared light reflected from the subject, at a location spaced apart from the first TOF camera; and a control unit for controlling the light irradiation unit, the first TOF camera, and the second TOF camera, wherein the control unit distinguishes a pixel having low reliability through depth information of a depth image obtained from the first TOF camera, and stereo-calculates an IR image obtained from the first TOF camera and an IR image obtained from the second TOF camera, to obtain a depth image having corrected depth information of the pixel having low reliability.

Description

이동단말기Mobile terminal
본 발명은 이동단말기 그 제어 방법에 관한 것이다. 보다 상세하게는, 이동단말기의 TOF 카메라를 통해 보다 밀도 있고 정확한 깊이 이미지를 획득하는 기술 분야에 적용 가능하다.The present invention relates to a method for controlling the mobile terminal. In more detail, it is applicable to the technical field of obtaining a more dense and accurate depth image through a TOF camera of a mobile terminal.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다. Terminals can be divided into mobile/portable terminals and stationary terminals depending on whether they can be moved. Again, mobile terminals can be divided into handheld terminals and vehicle mounted terminals according to whether or not the user can directly carry them.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 또한, 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다. The functions of mobile terminals are diversifying. For example, there are functions of data and voice communication, taking pictures and videos through a camera, recording voices, playing music files through a speaker system, and outputting images or videos to the display unit. Some terminals add an electronic game play function or perform a multimedia player function. In addition, the mobile terminal may receive a multicast signal providing visual content such as broadcast and video or television programs.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.As functions are diversified, such a terminal is in the form of a multimedia player with complex functions such as, for example, taking photos or videos, playing music or video files, and receiving games and broadcasts. It is being implemented.
최근 이동 단말기는 깊이 카메라를 이용하여 사용자와 인터렉션하고 있는 실정이다. 예를 들어, 3D 얼굴인식, 정맥 인식 등 생체 인증을 통해 사용자를 인지하고, 사용자 손을 분별 및 트랙킹하여 입력 신호를 수신하는 등 물리적 터치 없이도 입력 신호를 수신하고 대응되는 기능을 제공하고 있는 실정이다. 더구나, 최근 이동 단말기는 깊이 카메라를 이용하여 증강 현실 또는 가상 현실을 구현하는 등 비주얼 컨텐츠를 출력함에 있어 2D 디스플레이의 한계를 넘어서고 있는 실정이다. Recently, a mobile terminal has been interacting with a user using a depth camera. For example, it recognizes the user through biometric authentication such as 3D face recognition and vein recognition, and receives the input signal by identifying and tracking the user's hand. . Moreover, in recent years, mobile terminals are exceeding the limits of 2D displays in outputting visual contents such as implementing augmented reality or virtual reality using a depth camera.
깊이 이미지를 획득하기 위해 사용되는 깊이 카메라로는 스테레오 비젼 카메라, 구조광 조사 카메라 및 ToF(Time of Flight) 카메라가 있다. 이들은 각각 특성이 달라 적용하고자 하는 어플리케이션에 따라 적합한 방식이 사용되고 있다. 하지만, 이동 단말기와 같이 여러 가지 어플리케이션을 하나의 디바이스에서 구현하고자 하는 경우, 각 기술 방식이 가지고 있는 한계 점이 문제되고 있는 실정이다.Depth cameras used to acquire depth images include stereo vision cameras, structured light irradiation cameras, and Time of Flight (ToF) cameras. Each of these has different characteristics, and a suitable method is used according to the application to be applied. However, when various applications such as a mobile terminal are to be implemented in one device, the limitations of each technology method are problematic.
본 발명은 전술한 문제 및 기타 본 발명의 명세서를 통해 기타 문제들 역시 해결하는 것을 목적으로 한다.The present invention aims to solve the above-described problems and other problems through the specification of the present invention.
본 발명은 TOF 카메라를 통해 깊이 이미지를 획득하기 어려운 영역의 깊이 정보를 획득하여 보다 밀도 있는 깊이 이미지를 획득하는 것을 목적으로 한다.An object of the present invention is to obtain a more dense depth image by obtaining depth information of a region in which it is difficult to obtain a depth image through a TOF camera.
본 발명은 TOF 카메라를 통해 획득한 깊이 이미지에서 깊이 정보가 부정확한 영역의 깊이 정보를 보완하여 보다 정확한 깊이 이미지를 획득하는 것을 목적으로 한다. An object of the present invention is to obtain a more accurate depth image by supplementing depth information of a region in which depth information is incorrect in a depth image acquired through a TOF camera.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따라 피사체를 향해 적외선을 조사하는 광 조사부, 상기 피사체에 반사된 적외선을 수광하는 제1 TOF 카메라, 상기 제1 TOF 카메라에 이격된 위치에서 상기 피사체에 반사된 적외선을 수광하는 제2 TOF 카메라, 및 상기 광 조사부, 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 제어하는 제어부를 포함하고, 상기 제어부는 상기 제1 TOF 카메라에서 획득한 깊이 이미지에서 깊이 정보의 신뢰도가 낮은 픽셀을 분별하고, 상기 제1 TOF 카메라에서 획득한 IR 이미지 및 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여, 상기 신뢰도가 낮은 픽셀의 깊이 정보가 보정된 깊이 이미지를 획득하는 것을 특징으로 하는 이동 단말기는 제공한다. According to an embodiment of the present invention for achieving the above object, a light irradiation unit that irradiates infrared rays toward a subject, a first TOF camera that receives infrared rays reflected from the subject, and the subject at a position spaced apart from the first TOF camera A second TOF camera that receives infrared rays reflected in the light, and a control unit for controlling the light irradiation unit, the first TOF camera, and the second TOF camera, wherein the control unit is configured to include a depth image obtained from the first TOF camera. By discriminating a pixel with low reliability of depth information, and performing a stereo calculation on an IR image obtained from the first TOF camera and an IR image obtained from a second TOF camera, a depth image obtained by correcting the depth information of the pixel with low reliability is obtained. A mobile terminal characterized in that the acquisition is provided.
또한, 본 발명의 일 실시예에 따르면, 상기 깊이 정보의 신뢰도는 광량 데이터 및 기 설정 프레임 동안 획득한 깊이 정보의 표준 편차 중 적어도 하나를 이용하여 획득하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, there is provided a mobile terminal, wherein the reliability of the depth information is obtained by using at least one of light quantity data and a standard deviation of depth information acquired during a preset frame.
또한, 본 발명의 일 실시예에 따르면, 상기 깊이 정보의 신뢰도가 낮은 픽셀은 깊이 정보를 추출할 수 있으나, 제1 신뢰도보다 낮아 대표 깊이 정보를 선정할 수 없는 제1 픽셀, 및 대표 깊이 정보를 선정할 수 있으나, 제2 신뢰도 보다 낮아 오차 범위가 큰 제2 픽셀을 포함하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, a pixel having a low reliability of the depth information may extract depth information, but a first pixel whose representative depth information cannot be selected is less than the first reliability, and the representative depth information There is provided a mobile terminal comprising a second pixel that can be selected but has a larger error range, which is lower than the second reliability.
또한, 본 발명의 일 실시예에 따르며, 상기 제어부는 상기 제1 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 픽셀을 포함하는 제1픽셀 블록을 설정하고, 상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 픽셀 블록과 유사한 제2 픽셀 블록을 확인하고, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록이 신뢰한 수준의 유사함을 가지는 경우, 상기 제2 픽셀 블록에서 상기 제1 픽셀에 대응 픽셀을 분별하고, 스테레오 연산을 통해 상기 제1 픽셀에 대응되는 깊이 정보를 획득하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, the controller sets a first pixel block including the first pixel from the IR image obtained from the first TOF camera, and the IR image obtained from the second TOF camera In the case where a second pixel block similar to the first pixel block is identified, and the first pixel block and the second pixel block have a trusted level of similarity, the second pixel block corresponds to the first pixel. It provides a mobile terminal, characterized in that the pixel is identified and depth information corresponding to the first pixel is obtained through a stereo operation.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 TOF 카메라와 제2 TOF 카메라가 이격된 방향을 따라 상기 제1 픽셀 블록과 동일 크기의 픽셀 블록을 비교하여 상기 제2 픽셀 블록을 확인하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, in the IR image acquired by the second TOF camera, the controller is configured to have the same size as the first pixel block along a direction spaced apart from the first TOF camera and the second TOF camera. It provides a mobile terminal, characterized in that by comparing the pixel blocks to check the second pixel block.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 상기 제2 픽셀 블록과 상기 제1 픽셀 블록의 유사도가 보다 크고, 기 설정된 유사도 보다 큰 경우, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록의 유사함을 신뢰하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, when the similarity between the second pixel block and the first pixel block is greater and the similarity is greater than a preset similarity, the control unit It provides a mobile terminal characterized in that the similarity is trusted.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 상기 제2 픽셀에 대응되는 최대 한계 깊이 정보 및 최소 한계 깊이 정보를 획득하고, 상기 제1 TOF 카메라에서 획득한 IR 이미지에서 상기 제3 픽셀 블록과 유사한 제4 픽셀 블록을 확인하고, 상기 제3 픽셀 블록과 상기 제4 픽셀 블록이 신뢰할 수준의 유사함을 가지는 경우, 상기 제4 픽셀 블록에서 상기 제2 픽셀에 대응 픽셀을 분별하여 스테레오 연산을 통해 상기 제2 픽셀에 대응되는 깊이 정보를 획득하고, 상기 스테레오 연산을 통해 획득한 상기 제2 픽셀에 대응되는 깊이 정보가 상기 최대 한계 깊이 정보와 상기 최소 한계 깊이 정보 사이에 포함되는 경우, 상기 제2 픽셀에 대응되는 깊이 정보를 스테레오 연산을 통해 획득한 깊이 정보로 보정하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, the control unit obtains maximum limit depth information and minimum limit depth information corresponding to the second pixel, and the third pixel block in the IR image acquired by the first TOF camera. If a fourth pixel block similar to and has a reliable similarity between the third pixel block and the fourth pixel block, a stereo operation is performed by discriminating a pixel corresponding to the second pixel in the fourth pixel block. When the depth information corresponding to the second pixel is obtained through the stereo operation, and the depth information corresponding to the second pixel obtained through the stereo operation is included between the maximum limit depth information and the minimum limit depth information, the second It provides a mobile terminal, characterized in that the depth information corresponding to 2 pixels is corrected with depth information obtained through a stereo operation.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 TOF 카메라와 제2 TOF 카메라가 이격된 방향을 따라 특정 범위 내에서 상기 제1 픽셀 블록과 동일 크기 픽셀 블록을 비교하여 상기 제2 픽셀을 확인하고, 상기 특정 범위는 상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제2 픽셀에 대응되는 상기 최대 한계 깊이 정보 및 상기 최소 한계 깊이 정보를 이용하여 획득한 후보 픽셀군을 포함하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, in the IR image acquired by the second TOF camera, the control unit includes the first pixel block within a specific range along a direction spaced apart from the first TOF camera and the second TOF camera. The second pixel is identified by comparing a block of pixels of the same size as and the specific range is the maximum limit depth information and the minimum limit depth information corresponding to the second pixel in the IR image acquired by the second TOF camera. It provides a mobile terminal comprising a group of candidate pixels obtained by using.
또한, 본 발명의 일 실시예에 따르면, 상기 후보 픽셀군은 상기 제2 픽셀에 대응되는 상기 최대 한계 깊이 정보 및 상기 최소 한계 깊이 정보, 상기 제1 TOF 카메라와 상기 제2 TOF 카메라의 이격 거리, 상기 제2 픽셀과 대응되는 피사체의 일부분이 형성하는 각도 정보를 이용하여 획득되는 것을 특징으로 하는 이동 단말기를 제공한다.In addition, according to an embodiment of the present invention, the candidate pixel group includes the maximum limit depth information and the minimum limit depth information corresponding to the second pixel, a separation distance between the first TOF camera and the second TOF camera, It provides a mobile terminal, characterized in that it is obtained by using angle information formed by a part of a subject corresponding to the second pixel.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 상기 제3 픽셀 블록과 상기 제4 픽셀 블록의 유사도 값이 다른 픽셀 블록과 상기 제3 픽셀 블록의 유사도 값 보다 크고, 첨단 값을 구성하는 경우, 상기 제3 픽셀 블록과 상기 제4 픽셀 블록의 유사도를 신뢰하는 것을 특징으로 하는 이동 단말기를 제공한다. In addition, according to an embodiment of the present invention, when the controller configures a peak value, the similarity value between the third pixel block and the fourth pixel block is greater than the similarity value between another pixel block and the third pixel block. And trusting the similarity between the third pixel block and the fourth pixel block.
또한, 본 발명의 일 실시예에 따르면, 상기 제어부는 동작 모드에 대응하여 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라 중 하나를 활성 시키거나, 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 모두 활성 시키는 것을 특징으로 하는 이동 단말기를 제공한다.In addition, according to an embodiment of the present invention, the control unit activates one of the first TOF camera and the second TOF camera in response to an operation mode, or activates both the first TOF camera and the second TOF camera. It provides a mobile terminal characterized in that the activation.
또한, 본 발명의 일 실시예에 따르면, 상기 동작 모드는 상기 제1 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지를 보정 없이 획득하는 제1 모드, 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제1 픽셀에 대응되는 깊이 정보를 획득하는 제2 모드, 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제2 픽셀에 대응되는 깊이 정보를 보정하는 제3 모드 및 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제1 픽셀에 대응되는 깊이 정보를 획득하고, 상기 제2 픽셀에 대응되는 깊이 정보를 보정하는 제4 모드 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말기를 제공한다.In addition, according to an embodiment of the present invention, the operation mode is a first mode in which the first TOF camera is activated and a depth image of the first TOF camera is acquired without correction, the first TOF camera, and the second A second mode for activating a TOF camera and acquiring depth information corresponding to the first pixel from the depth image of the first TOF camera, activating the first TOF camera and the second TOF camera, and the first TOF A third mode for correcting depth information corresponding to the second pixel in the depth image of the camera, and activating the first TOF camera and the second TOF camera, and the first pixel in the depth image of the first TOF camera It provides a mobile terminal comprising at least one of a fourth mode for acquiring corresponding depth information and correcting depth information corresponding to the second pixel.
본 발명에 따른 이동 단말기 및 그 제어방법의 효과에 대해 설명하면 다음과 같다.The effects of the mobile terminal and its control method according to the present invention will be described as follows.
본 발명의 실시 예들 중 적어도 하나에 의하면, TOF 카메라를 통해 보다 밀도 있는 깊이 정보를 획득할 수 있다. According to at least one of the embodiments of the present invention, more dense depth information may be obtained through the TOF camera.
본 발명의 실시 예들 중 적어도 하나에 의하면, TOF 카메라를 통해 보다 정확한 깊이 정보를 획득할 수 있다. According to at least one of the embodiments of the present invention, more accurate depth information may be obtained through the TOF camera.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 해당 기술 분야의 통상의 기술자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.Further scope of the applicability of the present invention will become apparent from the detailed description below. However, since various changes and modifications within the spirit and scope of the present invention can be clearly understood by those skilled in the art, detailed description and specific embodiments such as preferred embodiments of the present invention are understood to be given by way of example only. It should be.
도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.1A is a block diagram illustrating a mobile terminal related to the present invention.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1B and 1C are conceptual diagrams of an example of a mobile terminal related to the present invention as viewed from different directions.
도 2는 TOF 카메라의 구동 원리를 설명하기 위한 도면이다. 2 is a diagram for explaining a driving principle of a TOF camera.
도 3 및 도 4는 TOF 카메라에서 이미지 센서를 통해 피사체의 깊이 정보를 획득하는 원리를 설명하기 위한 도면이다. 3 and 4 are diagrams for explaining a principle of acquiring depth information of a subject through an image sensor in a TOF camera.
도 5는 TOF 카메라에서 IR 이미지 및 깊이 이미지를 획득하는 프로세서를 설명하기 위한 도면이다. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera.
도 6은 트루컬러 이미지 및 상기 트루컬로 이미지에 대응되는 영역을 하나의 TOF 카메라로 촬영하여 획득한 깊이 이미지를 도시하고 있다.6 shows a depth image obtained by photographing a true color image and a region corresponding to the true color image with one TOF camera.
도 7은 본 발명의 일 실시예에 따라, 스테레오 방식으로 구비된 TOF 카메라를 설명하기 위한 개념도이다.7 is a conceptual diagram illustrating a TOF camera provided in a stereo method according to an embodiment of the present invention.
도 8은 본 발명의 일 실시예에 따라, 스테레오 방식으로 구비된 TOF 카메라를 통해 깊이 이미지를 획득하는 전체 프로세서를 설명하기 위한 흐름도이다.8 is a flowchart illustrating an entire processor for acquiring a depth image through a TOF camera provided in a stereo method according to an embodiment of the present invention.
도 9 는 본 발명의 일 실시예에 따라, 제1 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도 이다.9 is a flowchart illustrating a processor for obtaining a depth image in a first mode according to an embodiment of the present invention.
도 10은 본 발명의 일 실시예에 따라, 제1 모드의 활용예를 설명하기 위한 도면이다.10 is a diagram for explaining an example of application of a first mode according to an embodiment of the present invention.
도 11은 본 발명의 일 실시예에 따라, 제2 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도 이다.11 is a flowchart illustrating a processor for obtaining a depth image in a second mode according to an embodiment of the present invention.
도 12은 본 발명의 일 실시예에 따라, 스테레오 타입으로 깊이 정보를 보완하는 방법을 설명하기 위한 도면이다. 12 is a diagram for explaining a method of supplementing depth information in a stereo type according to an embodiment of the present invention.
도 13는 본 발명의 일 실시예에 따라, 제2 모드에서 촬영된 깊이 이미지를 도 6의 이미지와 비교한 도면이다. 13 is a diagram comparing a depth image captured in a second mode with the image of FIG. 6 according to an embodiment of the present invention.
도 14은 본 발명의 일 실시예에 따라, 제2 모드의 활용예를 설명하기 위한 도면이다. 14 is a diagram for explaining an example of application of a second mode according to an embodiment of the present invention.
도 15 은 본 발명의 일 실시예에 따라, 제3 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다. 15 is a flowchart illustrating a processor for obtaining a depth image in a third mode according to an embodiment of the present invention.
도 16는 본 발명의 일 실시예 따라, 도 15에서 후보 픽셀을 분별하는 방법을 설명하기 위한 도면이다. 16 is a diagram for explaining a method of classifying a candidate pixel in FIG. 15 according to an embodiment of the present invention.
도 17은 본 발명의 일 실시예에 따라, 제 3 모드에서 촬영된 깊이 이미지를 도 6의 이미지와 비교한 도면이다. FIG. 17 is a diagram comparing a depth image captured in a third mode with the image of FIG. 6 according to an embodiment of the present invention.
도 18은 본 발명의 일 실시예에 따라, 제 3 모드의 활용예를 설명하기 위한 도면이다. 18 is a diagram for explaining an application example of a third mode according to an embodiment of the present invention.
도 19은 본 발명의 일 실시예에 따라, 제4 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다. 19 is a flowchart illustrating a processor for obtaining a depth image in a fourth mode according to an embodiment of the present invention.
도 20은 본 발명의 일 실시예에 따라, 제4 모드의 활용예를 설명하기 위한 도면이다. 20 is a diagram for explaining an example of application of a fourth mode according to an embodiment of the present invention.
도 21은 본 발명의 일 실시에에 따라, 아웃도어 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다.21 is a flowchart illustrating a processor for acquiring a depth image in an outdoor mode according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments disclosed in the present specification will be described in detail with reference to the accompanying drawings, but identical or similar elements are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted. The suffixes "module" and "unit" for constituent elements used in the following description are given or used interchangeably in consideration of only the ease of writing the specification, and do not themselves have a distinct meaning or role from each other. In addition, in describing the embodiments disclosed in the present specification, when it is determined that a detailed description of related known technologies may obscure the subject matter of the embodiments disclosed in the present specification, the detailed description thereof will be omitted. In addition, the accompanying drawings are for easy understanding of the embodiments disclosed in the present specification, and the technical idea disclosed in the present specification is not limited by the accompanying drawings, and all changes included in the spirit and scope of the present invention It should be understood to include equivalents or substitutes.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.Mobile terminals described herein include mobile phones, smart phones, laptop computers, digital broadcasting terminals, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation systems, and slate PCs. , Tablet PC, ultrabook, wearable device, for example, smartwatch, smart glass, head mounted display (HMD), etc. have.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 해당 기술 분야의 통상의 기술자라면 쉽게 알 수 있을 것이다.However, it is understood that the configuration according to the embodiment described in the present specification may also be applied to fixed terminals such as digital TV, desktop computer, digital signage, etc., except when applicable only to mobile terminals. Technicians will find it easy.
도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.1A to 1C, FIG. 1A is a block diagram illustrating a mobile terminal related to the present invention.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1B and 1C are conceptual diagrams of an example of a mobile terminal related to the present invention as viewed from different directions.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.The mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, and a power supply unit 190. ) And the like. The components shown in FIG. 1A are not essential for implementing the mobile terminal 100, so the mobile terminal 100 described in this specification may have more or fewer components than the components listed above. have.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.More specifically, among the above components, the wireless communication unit 110 is provided between the mobile terminal 100 and the wireless communication system, between the mobile terminal 100 and another mobile terminal 100, or between the mobile terminal 100 and an external server. It may include one or more modules to enable wireless communication between. In addition, the wireless communication unit 110 may include one or more modules that connect the mobile terminal 100 to one or more networks.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치 정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast reception module 111, a mobile communication module 112, a wireless Internet module 113, a short-range communication module 114, and a location information module 115. .
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 includes a camera 121 or an image input unit for inputting an image signal, a microphone 122 for inputting an audio signal, or an audio input unit, and a user input unit 123 for receiving information from a user, for example, , A touch key, a mechanical key, etc.). The voice data or image data collected by the input unit 120 may be analyzed and processed as a user's control command.
센싱부(140)는 이동 단말기(100) 내 정보, 이동 단말기(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include one or more sensors for sensing at least one of information in the mobile terminal 100, information on a surrounding environment surrounding the mobile terminal 100, and user information. For example, the sensing unit 140 includes a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, and gravity. Sensor (G-sensor), gyroscope sensor (gyroscope sensor), motion sensor (motion sensor), RGB sensor, infrared sensor (IR sensor: infrared sensor), fingerprint sensor (finger scan sensor), ultrasonic sensor (ultrasonic sensor) , Optical sensor (for example, camera (see 121)), microphone (microphone, see 122), battery gauge, environmental sensor (for example, barometer, hygrometer, thermometer, radiation detection sensor, It may include at least one of a heat sensor, a gas sensor, etc.), and a chemical sensor (eg, an electronic nose, a healthcare sensor, a biometric sensor, etc.). Meanwhile, the mobile terminal 100 disclosed in the present specification may combine and utilize information sensed by at least two or more of these sensors.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅틱 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 is for generating an output related to visual, auditory or tactile sense, and includes at least one of the display unit 151, the sound output unit 152, the haptic module 153, and the light output unit 154. can do. The display unit 151 may implement a touch screen by forming a layer structure or integrally with the touch sensor. Such a touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and a user, and may provide an output interface between the mobile terminal 100 and a user.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a passage between various types of external devices connected to the mobile terminal 100. The interface unit 160 connects a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory card port, and a device equipped with an identification module. It may include at least one of a port, an audio input/output (I/O) port, an input/output (video I/O) port, and an earphone port. The mobile terminal 100 may perform appropriate control related to the connected external device in response to the connection of the external device to the interface unit 160.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.In addition, the memory 170 stores data supporting various functions of the mobile terminal 100. The memory 170 may store a plurality of application programs (application programs or applications) driven by the mobile terminal 100, data for operation of the mobile terminal 100, and commands. At least some of these application programs may be downloaded from an external server through wireless communication. In addition, at least some of these application programs may exist on the mobile terminal 100 from the time of delivery for basic functions of the mobile terminal 100 (eg, incoming calls, outgoing functions, message reception, and outgoing functions). Meanwhile, the application program may be stored in the memory 170, installed on the mobile terminal 100, and driven by the controller 180 to perform an operation (or function) of the mobile terminal 100.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operation related to the application program, the controller 180 generally controls the overall operation of the mobile terminal 100. The controller 180 may provide or process appropriate information or functions to a user by processing signals, data, information, etc. input or output through the above-described components or by driving an application program stored in the memory 170.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.Also, in order to drive an application program stored in the memory 170, the controller 180 may control at least some of the components discussed with reference to FIG. 1A. Further, in order to drive the application program, the controller 180 may operate by combining at least two or more of the components included in the mobile terminal 100 with each other.
전원 공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원 공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to each of the components included in the mobile terminal 100. The power supply unit 190 includes a battery, and the battery may be a built-in battery or a replaceable battery.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기(100)의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기(100)의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기(100) 상에서 구현될 수 있다.At least some of the respective components may operate in cooperation with each other to implement the operation, control, or control method of the mobile terminal 100 according to various embodiments described below. In addition, the operation, control, or control method of the mobile terminal 100 may be implemented on the mobile terminal 100 by driving at least one application program stored in the memory 170.
입력부(120)는 영상 정보(또는 신호), 오디오 정보(또는 신호), 데이터, 또는 사용자로부터 입력되는 정보의 입력을 위한 것으로서, 영상 정보의 입력을 위하여, 이동 단말기(100) 는 하나 또는 복수의 카메라(121)를 구비할 수 있다.The input unit 120 is for inputting image information (or signal), audio information (or signal), data, or information input from a user. For inputting image information, the mobile terminal 100 A camera 121 may be provided.
카메라(121)는 본 발명의 이동 단말기(100)의 일부가 될 수도 있고, 또는 이동 단말기(100)를 포함하는 구성이 될 수 있다. 즉, 카메라(121) 및 본 발명의 이동 단말기(100)는 적어도 일부의 공통된 특징 또는 구성을 포함할 수 있다.The camera 121 may be a part of the mobile terminal 100 of the present invention, or may be a configuration including the mobile terminal 100. That is, the camera 121 and the mobile terminal 100 of the present invention may include at least some common features or configurations.
카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시되거나 메모리(170)에 저장될 수 있다. 한편, 이동 단말기(100)에 구비되는 복수의 카메라(121)는 매트릭스 구조를 이루도록 배치될 수 있으며, 이와 같이 매트릭스 구조를 이루는 카메라(121)를 통하여, 이동 단말기(100)에는 다양한 각도 또는 초점을 갖는 복수의 영상정보가 입력될 수 있다. 또한, 복수의 카메라(121)는 입체영상을 구현하기 위한 좌 영상 및 우 영상을 획득하도록, 스트레오 구조로 배치될 수 있다.The camera 121 processes an image frame such as a still image or a moving image obtained by an image sensor in a video call mode or a photographing mode. The processed image frame may be displayed on the display unit 151 or stored in the memory 170. Meanwhile, a plurality of cameras 121 provided in the mobile terminal 100 may be arranged to form a matrix structure, and through the camera 121 forming a matrix structure as described above, various angles or focuses may be applied to the mobile terminal 100. A plurality of image information may be input. In addition, the plurality of cameras 121 may be arranged in a stereo structure to obtain a left image and a right image for implementing a stereoscopic image.
한편, 센싱부(140)는 이동 단말기(100) 내 정보, 이동 단말기(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하고, 이에 대응하는 센싱 신호를 발생시킨다. 제어부(180)는 이러한 센싱 신호에 기초하여, 이동 단말기(100)의 구동 또는 동작을 제어하거나, 이동 단말기(100)에 설치된 응용 프로그램과 관련된 데이터 처리, 기능 또는 동작을 수행 할 수 있다. 센싱부(140)에 포함될 수 있는 다양한 센서 중 대표적인 센서들의 대하여, 보다 구체적으로 살펴본다.Meanwhile, the sensing unit 140 senses at least one of information in the mobile terminal 100, information on a surrounding environment surrounding the mobile terminal 100, and user information, and generates a sensing signal corresponding thereto. The controller 180 may control driving or operation of the mobile terminal 100 or perform data processing, functions, or operations related to an application program installed in the mobile terminal 100 based on such a sensing signal. Representative sensors among various sensors that may be included in the sensing unit 140 will be described in more detail.
먼저, 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선 등을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 이러한 근접 센서(141)는 위에서 살펴본 터치 스크린에 의해 감싸지는 이동 단말기(100)의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다.First, the proximity sensor 141 refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing in the vicinity using the force of an electromagnetic field or infrared rays without mechanical contact. In the proximity sensor 141, the proximity sensor 141 may be disposed in an inner area of the mobile terminal 100 that is surrounded by the touch screen described above or near the touch screen.
근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 터치 스크린이 정전식인 경우에, 근접 센서(141)는 전도성을 갖는 물체의 근접에 따른 전계의 변화로 상기 물체의 근접을 검출하도록 구성될 수 있다. 이 경우 터치 스크린(또는 터치 센서) 자체가 근접 센서로 분류될 수 있다.Examples of the proximity sensor 141 include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, an infrared proximity sensor, and the like. When the touch screen is a capacitive type, the proximity sensor 141 may be configured to detect the proximity of the object by a change in the electric field according to the proximity of the conductive object. In this case, the touch screen (or touch sensor) itself may be classified as a proximity sensor.
한편, 설명의 편의를 위해, 터치 스크린 상에 물체가 접촉되지 않으면서 근접되어 상기 물체가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 명명하고, 상기 터치 스크린 상에 물체가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 명명한다. 상기 터치 스크린 상에서 물체가 근접 터치 되는 위치라 함은, 상기 물체가 근접 터치될 때 상기 물체가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다. 상기 근접 센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지할 수 있다. 한편, 제어부(180)는 위와 같이, 근접 센서(141)를 통해 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 데이터(또는 정보)를 처리하며, 나아가, 처리된 데이터에 대응하는 시각적인 정보를 터치 스크린상에 출력시킬 수 있다. 나아가, 제어부(180)는, 터치 스크린 상의 동일한 지점에 대한 터치가, 근접 터치인지 또는 접촉 터치인지에 따라, 서로 다른 동작 또는 데이터(또는 정보)가 처리되도록 이동 단말기(100)를 제어할 수 있다.On the other hand, for convenience of explanation, the action of allowing an object to be located on the touch screen without being in contact with the object to be recognized as being positioned on the touch screen is named "proximity touch", and the touch The act of actually touching an object on the screen is called "contact touch". A position at which an object is touched in proximity on the touch screen means a position at which the object is vertically corresponding to the touch screen when the object is touched in proximity. The proximity sensor 141 may detect a proximity touch and a proximity touch pattern (eg, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, a proximity touch movement state, etc.). have. Meanwhile, as above, the controller 180 processes data (or information) corresponding to the proximity touch operation and the proximity touch pattern sensed through the proximity sensor 141, and further, provides visual information corresponding to the processed data. It can be output on the touch screen. Furthermore, the controller 180 may control the mobile terminal 100 to process different operations or data (or information) according to whether a touch to the same point on the touch screen is a proximity touch or a touch touch. .
터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.The touch sensor applies a touch (or touch input) to the touch screen (or display unit 151) using at least one of various touch methods such as a resistive film method, a capacitive method, an infrared method, an ultrasonic method, and a magnetic field method. To detect.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다. As an example, the touch sensor may be configured to convert a pressure applied to a specific portion of the touch screen or a change in capacitance generated at a specific portion into an electrical input signal. The touch sensor may be configured to detect a location, an area, a pressure when a touch, a capacitance when a touch is touched, and the like at which a touch object applied to the touch screen is touched on the touch sensor. Here, the touch object is an object that applies a touch to the touch sensor, and may be, for example, a finger, a touch pen, a stylus pen, or a pointer.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다. In this way, when there is a touch input to the touch sensor, the signal(s) corresponding thereto is transmitted to the touch controller. The touch controller processes the signal(s) and then transmits the corresponding data to the controller 180. Accordingly, the controller 180 can know which area of the display unit 151 has been touched. Here, the touch controller may be a separate component from the controller 180 or may be the controller 180 itself.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다. Meanwhile, the controller 180 may perform different controls or perform the same control according to the type of the touch object by touching the touch screen (or a touch key provided in addition to the touch screen). Whether to perform different controls or the same control according to the type of the touch object may be determined according to an operating state of the mobile terminal 100 or an application program being executed.
한편, 위에서 살펴본 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.Meanwhile, the touch sensor and the proximity sensor described above are independently or in combination, and a short (or tap) touch, a long touch, a multi touch, and a drag touch on the touch screen. ), flick touch, pinch-in touch, pinch-out touch, swipe touch, hovering touch, etc. You can sense the touch.
초음파 센서는 초음파를 이용하여, 감지대상의 위치정보를 인식할 수 있다. 한편 제어부(180)는 광 센서와 복수의 초음파 센서로부터 감지되는 정보를 통해, 파동 발생원의 위치를 산출하는 것이 가능하다. 파동 발생원의 위치는, 광이 초음파보다 매우 빠른 성질, 즉, 광이 광 센서에 도달하는 시간이 초음파가 초음파 센서에 도달하는 시간보다 매우 빠름을 이용하여, 산출될 수 있다. 보다 구체적으로 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치가 산출될 수 있다.The ultrasonic sensor may recognize location information of a sensing target by using ultrasonic waves. Meanwhile, the controller 180 may calculate the location of the wave generator through information sensed from the optical sensor and the plurality of ultrasonic sensors. The location of the wave generator may be calculated by using a property that the light is much faster than that of the ultrasonic wave, that is, the time that the light reaches the optical sensor is much faster than the time that the ultrasonic wave reaches the ultrasonic sensor. More specifically, the position of the wave generator may be calculated using a time difference between a time when the ultrasonic wave arrives using light as a reference signal.
한편, 입력부(120)의 구성으로 살펴본, 카메라(121)는 카메라 센서(예를 들어, CCD, CMOS 등), 포토 센서(또는 이미지 센서) 및 레이저 센서 중 적어도 하나를 포함한다.On the other hand, the camera 121, as viewed as the configuration of the input unit 120, includes at least one of a camera sensor (eg, CCD, CMOS, etc.), a photo sensor (or image sensor), and a laser sensor.
카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지할 수 있다. 포토 센서는 디스플레이 소자에 적층될 수 있는데, 이러한 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보가 획득될 수 있다.The camera 121 and the laser sensor are combined with each other to detect a touch of a sensing target for a 3D stereoscopic image. The photosensor may be stacked on the display device, and the photosensor is configured to scan the motion of a sensing object close to the touch screen. More specifically, the photo sensor scans the contents placed on the photo sensor by mounting a photo diode and a transistor (TR) in a row/column and using an electrical signal that changes according to the amount of light applied to the photo diode. That is, the photosensor may calculate the coordinates of the sensing object according to the amount of light change, and through this, the location information of the sensing object may be obtained.
도 1 b 및 1c를 참조하면, 개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고 와치 타입, 클립 타입, 글래스 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다. 광학 장치의 특정 유형에 관련될 것이나, 광학 장치의 특정유형에 관한 설명은 다른 타입의 광학 장치에 일반적으로 적용될 수 있다.1B and 1C, the disclosed mobile terminal 100 includes a bar-shaped terminal body. However, the present invention is not limited thereto, and can be applied to various structures such as a watch type, a clip type, a glass type, or a folder type in which two or more bodies are relatively movably coupled, a flip type, a slide type, a swing type, and a swivel type. . Although it will relate to a particular type of optical device, the description of a particular type of optical device can generally be applied to other types of optical devices.
여기에서, 단말기 바디는 이동 단말기(100)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수 있다.Here, the terminal body may be understood as a concept referring to the mobile terminal 100 as at least one aggregate.
이동 단말기(100)는 외관을 이루는 케이스(예를 들면, 프레임, 하우징, 커버 등)를 포함한다. 도시된 바와 같이, 이동 단말기(100)는 프론트 케이스(101)와 리어 케이스(102)를 포함할 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 결합에 의해 형성되는 내부공간에는 각종 전자부품들이 배치된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 미들 케이스가 추가로 배치될 수 있다.The mobile terminal 100 includes a case (eg, a frame, a housing, a cover, etc.) forming an exterior. As shown, the mobile terminal 100 may include a front case 101 and a rear case 102. Various electronic components are disposed in an inner space formed by the combination of the front case 101 and the rear case 102. At least one middle case may be additionally disposed between the front case 101 and the rear case 102.
단말기 바디의 전면에는 디스플레이부(151)가 배치되어 정보를 출력할 수 있다. 도시된 바와 같이, 디스플레이부(151)의 윈도우(151a)는 프론트 케이스(101)에 장착되어 프론트 케이스(101)와 함께 단말기 바디의 전면을 형성할 수 있다.A display unit 151 is disposed on the front of the terminal body to output information. As illustrated, the window 151a of the display unit 151 may be mounted on the front case 101 to form the front surface of the terminal body together with the front case 101.
경우에 따라서, 리어 케이스(102)에도 전자부품이 장착될 수 있다. 리어 케이스(102)에 장착 가능한 전자부품은 착탈 가능한 배터리, 식별 모듈, 메모리 카드 등이 있다. 이 경우, 리어 케이스(102)에는 장착된 전자부품을 덮기 위한 후면커버(103)가 착탈 가능하게 결합될 수 있다. 따라서, 후면 커버(103)가 리어 케이스(102)로부터 분리되면, 리어 케이스(102)에 장착된 전자부품은 외부로 노출된다.In some cases, electronic components may be mounted on the rear case 102 as well. Electronic components that can be mounted on the rear case 102 include a detachable battery, an identification module, and a memory card. In this case, a rear cover 103 for covering the mounted electronic component may be detachably coupled to the rear case 102. Accordingly, when the rear cover 103 is separated from the rear case 102, the electronic components mounted on the rear case 102 are exposed to the outside.
도시된 바와 같이, 후면커버(103)가 리어 케이스(102)에 결합되면, 리어 케이스(102)의 측면 일부가 노출될 수 있다. 경우에 따라서, 상기 결합시 리어 케이스(102)는 후면커버(103)에 의해 완전히 가려질 수도 있다. 한편, 후면커버(103)에는 카메라(121b)나 음향 출력부(152b)를 외부로 노출시키기 위한 개구부가 구비될 수 있다.As shown, when the rear cover 103 is coupled to the rear case 102, a part of the side of the rear case 102 may be exposed. In some cases, when the rear case 102 is combined, the rear case 102 may be completely covered by the rear cover 103. Meanwhile, the rear cover 103 may be provided with an opening for exposing the camera 121b or the sound output unit 152b to the outside.
이러한 케이스들(101, 102, 103)은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.These cases 101, 102, 103 may be formed by injection of synthetic resin or may be formed of a metal such as stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
이동 단말기(100)는, 복수의 케이스가 각종 전자부품들을 수용하는 내부 공간을 마련하는 위의 예와 달리, 하나의 케이스가 상기 내부 공간을 마련하도록 구성될 수도 있다. 이 경우, 합성수지 또는 금속이 측면에서 후면으로 이어지는 유니 바디의 이동 단말기(100)가 구현될 수 있다.Unlike the above example in which a plurality of cases provide an inner space for accommodating various electronic components, the mobile terminal 100 may be configured such that one case provides the inner space. In this case, a unibody mobile terminal 100 in which synthetic resin or metal is connected from the side to the rear may be implemented.
한편, 이동 단말기(100)는 단말기 바디 내부로 물이 스며들지 않도록 하는 방수부(미도시)를 구비할 수 있다. 예를 들어, 방수부는 윈도우(151a)와 프론트 케이스(101) 사이, 프론트 케이스(101)와 리어 케이스(102) 사이 또는 리어 케이스(102)와 후면 커버(103) 사이에 구비되어, 이들의 결합 시 내부 공간을 밀폐하는 방수부재를 포함할 수 있다.Meanwhile, the mobile terminal 100 may include a waterproof unit (not shown) that prevents water from permeating into the terminal body. For example, the waterproof unit is provided between the window 151a and the front case 101, between the front case 101 and the rear case 102, or between the rear case 102 and the rear cover 103, and the combination thereof It may include a waterproof member that seals the inner space of the city.
이동 단말기(100)에는 디스플레이부(151), 제1 및 제2 음향 출력부(152a, 152b), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 및 제2 카메라(121a, 121b), 제1 및 제2 조작유닛(123a, 123b), 마이크로폰(122), 인터페이스부(160) 등이 구비될 수 있다.The mobile terminal 100 includes a display unit 151, first and second sound output units 152a and 152b, a proximity sensor 141, an illuminance sensor 142, a light output unit 154, and first and second sound output units. Cameras 121a and 121b, first and second operation units 123a and 123b, microphone 122, interface unit 160, and the like may be provided.
이하에서는, 도 1b 및 도 1c에 도시된 바와 같이, 단말기 바디의 전면에 디스플레이부(151), 제1 음향 출력부(152a), 근접 센서(141), 조도 센서(142), 광 출력부(154), 제1 카메라(121a) 및 제1 조작유닛(123a)이 배치되고, 단말기 바디의 측면에 제2 조작유닛(123b), 마이크로폰(122) 및 인터페이스부(160)이 배치되며, 단말기 바디의 후면에 제2 음향 출력부(152b) 및 제2 카메라(121b)가 배치된 이동 단말기(100)를 일 예로 들어 설명한다.Hereinafter, as shown in FIGS. 1B and 1C, a display unit 151, a first sound output unit 152a, a proximity sensor 141, an illuminance sensor 142, and a light output unit ( 154), a first camera 121a and a first operation unit 123a are disposed, a second operation unit 123b, a microphone 122 and an interface unit 160 are disposed on the side of the terminal body, and the terminal body The mobile terminal 100 in which the second sound output unit 152b and the second camera 121b are disposed on the rear surface of will be described as an example.
다만, 이들 구성은 이러한 배치에 한정되는 것은 아니다. 이들 구성은 필요에 따라 제외 또는 대체되거나, 다른 면에 배치될 수 있다. 예를 들어, 단말기 바디의 전면에는 제1 조작유닛(123a)이 구비되지 않을 수 있으며, 제2 음향 출력부(152b)는 단말기 바디의 후면이 아닌 단말기 바디의 측면에 구비될 수 있다.However, these configurations are not limited to this arrangement. These configurations may be excluded or replaced as necessary, or may be disposed on different sides. For example, the first manipulation unit 123a may not be provided on the front surface of the terminal body, and the second sound output unit 152b may be provided on the side of the terminal body rather than on the rear surface of the terminal body.
디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 디스플레이부(151)는 이동 단말기(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.The display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, the display unit 151 may display execution screen information of an application program driven in the mobile terminal 100, or UI (User Interface) and GUI (Graphic User Interface) information according to such execution screen information. .
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. display), a 3D display, and an e-ink display.
또한, 디스플레이부(151)는 이동 단말기(100)의 구현 형태에 따라 2개 이상 존재할 수 있다. 이 경우, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.In addition, two or more display units 151 may exist depending on the implementation form of the mobile terminal 100. In this case, in the mobile terminal 100, a plurality of display units may be spaced apart or integrally disposed on one surface, or may be disposed on different surfaces, respectively.
디스플레이부(151)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(151)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(151)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(180)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.The display unit 151 may include a touch sensor that senses a touch on the display unit 151 so as to receive a control command by a touch method. By using this, when a touch is made to the display unit 151, the touch sensor detects the touch, and the controller 180 may be configured to generate a control command corresponding to the touch based on this. The content input by the touch method may be letters or numbers, or menu items that can be indicated or designated in various modes.
한편, 터치센서는, 터치패턴을 구비하는 필름 형태로 구성되어 윈도우(151a)와 윈도우(151a)의 배면 상의 디스플레이(미도시) 사이에 배치되거나, 윈도우(151a)의 배면에 직접 패터닝되는 메탈 와이어가 될 수도 있다. 또는, 터치센서는 디스플레이와 일체로 형성될 수 있다. 예를 들어, 터치센서는, 디스플레이의 기판 상에 배치되거나, 디스플레이의 내부에 구비될 수 있다.Meanwhile, the touch sensor is formed in a film form having a touch pattern and is disposed between the window 151a and a display (not shown) on the rear surface of the window 151a, or is a metal wire patterned directly on the rear surface of the window 151a. May be. Alternatively, the touch sensor may be integrally formed with the display. For example, the touch sensor may be disposed on a substrate of the display or may be provided inside the display.
이처럼, 디스플레이부(151)는 터치센서와 함께 터치 스크린을 형성할 수 있으며, 이 경우에 터치 스크린은 사용자 입력부(123, 도 1a 참조)로 기능할 수 있다. 경우에 따라, 터치 스크린은 제1조작유닛(123a)의 적어도 일부 기능을 대체할 수 있다.As such, the display unit 151 may form a touch screen together with a touch sensor, and in this case, the touch screen may function as a user input unit 123 (see FIG. 1A). In some cases, the touch screen may replace at least some functions of the first manipulation unit 123a.
제1 음향 출력부(152a)는 통화음을 사용자의 귀에 전달시키는 리시버(receiver)로 구현될 수 있으며, 제2 음향 출력부(152b)는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.The first sound output unit 152a may be implemented as a receiver that transmits a call sound to the user's ear, and the second sound output unit 152b is a loud speaker that outputs various alarm sounds or multimedia playback sounds. ) Can be implemented.
디스플레이부(151)의 윈도우(151a)에는 제1 음향 출력부(152a)로부터 발생되는 사운드의 방출을 위한 음향홀이 형성될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니고, 상기 사운드는 구조물 간의 조립틈(예를 들어, 윈도우(151a)와 프론트 케이스(101) 간의 틈)을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나 숨겨져 이동 단말기(100)의 외관이 보다 심플해질 수 있다.A sound hole for emitting sound generated from the first sound output unit 152a may be formed in the window 151a of the display unit 151. However, the present invention is not limited thereto, and the sound may be configured to be emitted along an assembly gap between structures (eg, a gap between the window 151a and the front case 101). In this case, the externally formed hole for sound output is not visible or hidden, so that the appearance of the mobile terminal 100 may be more simple.
광 출력부(154)는 이벤트의 발생시 이를 알리기 위한 빛을 출력하도록 이루어진다. 상기 이벤트의 예로는 메시지 수신, 호 신호 수신, 부재중 전화, 알람, 일정 알림, 이메일 수신, 애플리케이션을 통한 정보 수신 등을 들 수 있다. 제어부(180)는 사용자의 이벤트 확인이 감지되면, 빛의 출력이 종료되도록 광 출력부(154)를 제어할 수 있다.The light output unit 154 is configured to output light for notifying when an event occurs. Examples of the event include message reception, call signal reception, missed call, alarm, schedule notification, e-mail reception, and information reception through an application. When the user's event confirmation is detected, the controller 180 may control the light output unit 154 to terminate the output of light.
제1 카메라(121a)는 촬영 모드 또는 화상통화 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있으며, 메모리(170)에 저장될 수 있다.The first camera 121a processes an image frame of a still image or a moving picture obtained by an image sensor in a photographing mode or a video call mode. The processed image frame may be displayed on the display unit 151 and may be stored in the memory 170.
제1 및 제2 조작유닛(123a, 123b)은 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 사용자 입력부(123)의 일 예로서, 조작부(manipulating portion)로도 통칭될 수 있다. 제1 및 제2 조작유닛(123a, 123b)은 터치, 푸시, 스크롤 등 사용자가 촉각적인 느낌을 받으면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 또한, 제1 및 제2 조작유닛(123a, 123b)은 근접 터치(proximity touch), 호버링(hovering) 터치 등을 통해서 사용자의 촉각적인 느낌이 없이 조작하게 되는 방식으로도 채용될 수 있다.The first and second manipulation units 123a and 123b are an example of a user input unit 123 that is operated to receive a command for controlling the operation of the mobile terminal 100, and may also be collectively referred to as a manipulating portion. have. The first and second manipulation units 123a and 123b may be employed in any manner as long as the user operates while receiving a tactile feeling, such as touch, push, and scroll. In addition, the first and second manipulation units 123a and 123b may also be employed in a manner in which the first and second manipulation units 123a and 123b are manipulated without a user's tactile feeling through proximity touch, hovering touch, or the like.
본 도면에서는 제1 조작유닛(123a)이 터치키(touch key)인 것으로 예시하나, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 제1 조작유닛(123a)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.In this drawing, the first manipulation unit 123a is illustrated as a touch key, but the present invention is not limited thereto. For example, the first manipulation unit 123a may be a push key (mechanical key) or may be configured as a combination of a touch key and a push key.
제1 및 제2 조작유닛(123a, 123b)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작유닛(123a)은 메뉴, 홈키, 취소, 검색 등의 명령을 입력 받고, 제2 조작유닛(123b)은 제1 또는 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등의 명령을 입력 받을 수 있다.Contents input by the first and second manipulation units 123a and 123b may be set in various ways. For example, the first operation unit 123a receives commands such as menu, home key, cancel, search, etc., and the second operation unit 123b is output from the first or second sound output units 152a, 152b. Commands such as adjusting the volume of sound and switching to the touch recognition mode of the display unit 151 may be input.
한편, 단말기 바디의 후면에는 사용자 입력부(123)의 다른 일 예로서, 후면 입력부(미도시)가 구비될 수 있다. 이러한 후면 입력부는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 전원의 온/오프, 시작, 종료, 스크롤 등과 같은 명령, 제1 및 제2 음향 출력부(152a, 152b)에서 출력되는 음향의 크기 조절, 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다. 후면 입력부는 터치입력, 푸시입력 또는 이들의 조합에 의한 입력이 가능한 형태로 구현될 수 있다.Meanwhile, as another example of the user input unit 123, a rear input unit (not shown) may be provided on the rear surface of the terminal body. This rear input unit is manipulated to receive a command for controlling the operation of the mobile terminal 100, and input contents may be variously set. For example, commands such as power on/off, start, end, scroll, etc., control the volume of sound output from the first and second sound output units 152a and 152b, and touch recognition mode of the display unit 151 You can receive commands such as conversion of. The rear input unit may be implemented in a form capable of inputting by a touch input, a push input, or a combination thereof.
후면 입력부는 단말기 바디의 두께방향으로 전면의 디스플레이부(151)와 중첩되게 배치될 수 있다. 일 예로, 사용자가 단말기 바디를 한 손으로 쥐었을 때 검지를 이용하여 용이하게 조작 가능하도록, 후면 입력부는 단말기 바디의 후면 상단부에 배치될 수 있다. 다만, 본 발명은 반드시 이에 한정되는 것은 아니며, 후면 입력부의 위치는 변경될 수 있다.The rear input unit may be disposed to overlap the front display unit 151 in the thickness direction of the terminal body. For example, when the user holds the terminal body with one hand, the rear input unit may be disposed on the rear upper end of the terminal body so that the user can easily manipulate the terminal body using the index finger. However, the present invention is not necessarily limited thereto, and the position of the rear input unit may be changed.
이처럼 단말기 바디의 후면에 후면 입력부가 구비되는 경우, 이를 이용한 새로운 형태의 유저 인터페이스가 구현될 수 있다. 또한, 앞서 설명한 터치 스크린 또는 후면 입력부가 단말기 바디의 전면에 구비되는 제1 조작유닛(123a)의 적어도 일부 기능을 대체하여, 단말기 바디의 전면에 제1 조작유닛(123a)이 미배치되는 경우, 디스플레이부(151)가 보다 대화면으로 구성될 수 있다.When the rear input unit is provided on the rear side of the terminal body, a new type of user interface can be implemented using the rear input unit. In addition, when the touch screen or the rear input unit described above replaces at least some functions of the first manipulation unit 123a provided on the front of the terminal body, and the first manipulation unit 123a is not disposed on the front of the terminal body, The display unit 151 may be configured with a larger screen.
한편, 이동 단말기(100)에는 사용자의 지문을 인식하는 지문인식센서가 구비될 수 있으며, 제어부(180)는 지문인식센서를 통하여 감지되는 지문정보를 인증수단으로 이용할 수 있다. 상기 지문인식센서는 디스플레이부(151) 또는 사용자 입력부(123)에 내장될 수 있다.Meanwhile, the mobile terminal 100 may be provided with a fingerprint recognition sensor for recognizing a user's fingerprint, and the controller 180 may use the fingerprint information sensed through the fingerprint recognition sensor as an authentication means. The fingerprint recognition sensor may be embedded in the display unit 151 or the user input unit 123.
마이크로폰(122)은 사용자의 음성, 기타 소리 등을 입력 받도록 이루어진다. 마이크로폰(122)은 복수의 개소에 구비되어 스테레오 음향을 입력 받도록 구성될 수 있다.The microphone 122 is configured to receive a user's voice and other sounds. The microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
인터페이스부(160)는 이동 단말기(100)를 외부기기와 연결시킬 수 있는 통로가 된다. 예를 들어, 인터페이스부(160)는 다른 장치(예를 들어, 이어폰, 외장 스피커)와의 연결을 위한 접속단자, 근거리 통신을 위한 포트[예를 들어, 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port) 등], 또는 이동 단말기(100)에 전원을 공급하기 위한 전원공급단자 중 적어도 하나일 수 있다. 이러한 인터페이스부(160)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수도 있다.The interface unit 160 becomes a passage through which the mobile terminal 100 can be connected to an external device. For example, the interface unit 160 is a connection terminal for connection with another device (eg, earphone, external speaker), a port for short-range communication (eg, an infrared port (IrDA Port), a Bluetooth port (Bluetooth)). Port), a wireless LAN port, etc.], or at least one of a power supply terminal for supplying power to the mobile terminal 100. The interface unit 160 may be implemented in the form of a socket for accommodating an external card such as a Subscriber Identification Module (SIM) or a User Identity Module (UIM), or a memory card for storing information.
단말기 바디의 후면에는 제2카메라(121b)가 배치될 수 있다. 이 경우, 제2카메라(121b)는 제1카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지게 된다.A second camera 121b may be disposed on the rear surface of the terminal body. In this case, the second camera 121b has a photographing direction substantially opposite to the first camera 121a.
제2카메라(121b)는 적어도 하나의 라인을 따라 배열되는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈는 행렬(matrix) 형식으로 배열될 수도 있다. 이러한 카메라는, '어레이(array) 카메라'로 명명될 수 있다. 제2카메라(121b)가 어레이 카메라로 구성되는 경우, 복수의 렌즈를 이용하여 다양한 방식으로 영상을 촬영할 수 있으며, 보다 나은 품질의 영상을 획득할 수 있다.The second camera 121b may include a plurality of lenses arranged along at least one line. The plurality of lenses may be arranged in a matrix format. Such a camera may be referred to as an'array camera'. When the second camera 121b is configured as an array camera, an image may be photographed in various ways using a plurality of lenses, and an image of better quality may be obtained.
플래시(124)는 제2카메라(121b)에 인접하게 배치될 수 있다. 플래시(124)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.The flash 124 may be disposed adjacent to the second camera 121b. The flash 124 illuminates light toward the subject when photographing the subject with the second camera 121b.
단말기 바디에는 제2 음향 출력부(152b)가 추가로 배치될 수 있다. 제2 음향 출력부(152b)는 제1 음향 출력부(152a)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.A second sound output unit 152b may be additionally disposed on the terminal body. The second sound output unit 152b may implement a stereo function together with the first sound output unit 152a, and may be used to implement a speakerphone mode during a call.
단말기 바디에는 무선 통신을 위한 적어도 하나의 안테나가 구비될 수 있다. 안테나는 단말기 바디에 내장되거나, 케이스에 형성될 수 있다. 예를 들어, 방송 수신 모듈(111, 도 1a 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 구성될 수 있다. 또는, 안테나는 필름 타입으로 형성되어 후면 커버(103)의 내측면에 부착될 수도 있고, 도전성 재질을 포함하는 케이스가 안테나로서 기능하도록 구성될 수도 있다.At least one antenna for wireless communication may be provided in the terminal body. The antenna may be embedded in the terminal body or may be formed in a case. For example, an antenna forming a part of the broadcast receiving module 111 (refer to FIG. 1A) may be configured to be retractable from the terminal body. Alternatively, the antenna may be formed in a film type and attached to the inner surface of the rear cover 103, or a case including a conductive material may be configured to function as an antenna.
단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원 공급부(190, 도 1a 참조)가 구비된다. 전원 공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다.The terminal body is provided with a power supply unit 190 (refer to FIG. 1A) for supplying power to the mobile terminal 100. The power supply unit 190 may include a battery 191 that is built into the terminal body or configured to be detachable from the outside of the terminal body.
배터리(191)는 인터페이스부(160)에 연결되는 전원 케이블을 통하여 전원을 공급받도록 구성될 수 있다. 또한, 배터리(191)는 무선충전기기를 통하여 무선충전 가능하도록 구성될 수도 있다. 상기 무선충전은 자기유도방식 또는 공진방식(자기공명방식)에 의하여 구현될 수 있다.The battery 191 may be configured to receive power through a power cable connected to the interface unit 160. In addition, the battery 191 may be configured to enable wireless charging through a wireless charger. The wireless charging may be implemented by a magnetic induction method or a resonance method (magnetic resonance method).
한편, 본 도면에서는 후면 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하도록 구성된 것을 예시하고 있다. 배터리(191)가 단말기 바디에 착탈 가능하게 구성되는 경우, 후면 커버(103)는 리어 케이스(102)에 착탈 가능하게 결합될 수 있다.On the other hand, in this drawing, the rear cover 103 is coupled to the rear case 102 to cover the battery 191 to limit the separation of the battery 191 and protect the battery 191 from external shocks and foreign substances. It is exemplifying. When the battery 191 is configured to be detachably attached to the terminal body, the rear cover 103 may be detachably coupled to the rear case 102.
도 2는 TOF 카메라의 구동 원리를 설명하기 위한 도면이다. 2 is a diagram for explaining a driving principle of a TOF camera.
도 3 및 도 4는 TOF 카메라에서 이미지 센서를 통해 피사체의 깊이 정보를 획득하는 원리를 설명하기 위한 도면이다. 3 and 4 are diagrams for explaining a principle of acquiring depth information of a subject through an image sensor in a TOF camera.
도 5는 TOF 카메라에서 IR 이미지 및 깊이 이미지를 획득하는 프로세서를 설명하기 위한 도면이다. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera.
TOF 카메라(200)는 광원에서 광을 피사체(300)를 항해 조사하고, 반사된 광을 관찰하여 피사체(300)의 깊이 정보를 획득한다. 구체적으로, TOF 카메라(200)는 조사광과 반사광의 위상 차이를 측정하고, 측정된 위상 차이를 거리 정보로 환산할 수 있다. The TOF camera 200 obtains depth information of the subject 300 by navigating and irradiating light from a light source to the subject 300 and observing the reflected light. Specifically, the TOF camera 200 may measure a phase difference between the irradiated light and the reflected light, and convert the measured phase difference into distance information.
TOF 카메라(200)는 피사체(300)를 향해 광을 조사하는 광 조사부(210)로 사람의 눈에 보이지 않는 근적외선을 조사하는 고체 레이저(solid-state laser) 또는 LED를 이용할 수 있다. The TOF camera 200 is a light irradiation unit 210 that irradiates light toward the subject 300 and may use a solid-state laser or LED that irradiates near-infrared rays that are not visible to the human eye.
TOF 카메라(200)는 피사체(300)에 반사된 광을 수광부(220)에서 수광할 수 있다. 구체적으로, 수광부(220)에 포함된 이미지 센서(221)는 광 조사부(210)에서 조사하는 광과 동일한 파장에 반응하도록 설계되고, 수광된 광 에너지를 전기 에너지로 전환할 수 있다. 피사체(300)의 거리 정보는 광 조사부(210)에서 조사되어 피사체(300)에 반사된 광에만 포함되며, 주변광(400)이 높을 경우 신호 대비 잡음비(SNR)가 높아질 수 있다. The TOF camera 200 may receive light reflected from the subject 300 by the light receiving unit 220. Specifically, the image sensor 221 included in the light receiving unit 220 is designed to react to the same wavelength as the light irradiated by the light irradiation unit 210, and may convert received light energy into electrical energy. Distance information of the subject 300 is included only in light irradiated by the light irradiation unit 210 and reflected by the subject 300, and when the ambient light 400 is high, the signal-to-noise ratio (SNR) may increase.
TOF 카메라(200)의 수광부(220)에 포함된 이미지 센서(221)는 해상도에 대응하여 복수의 픽셀(222)를 포함할 수 있다. 이미지 센서(221)에 포함된 각 픽셀(222)은 채널 A(222a)와 채널 B(222b)로 구성될 수 있다. TOF 카메라(220)의 수광부(220)는 채널 A(222a)와 채널 B(222b)를 이용하여 선택적으로 광을 수광하고, 채널 A(222a)와 채널 B(222b)를 통해 수광한 광량 비를 이용하여 조사광과 반사광의 위상 차이를 감지할 수 있다. The image sensor 221 included in the light receiving unit 220 of the TOF camera 200 may include a plurality of pixels 222 corresponding to the resolution. Each pixel 222 included in the image sensor 221 may include a channel A 222a and a channel B 222b. The light receiving unit 220 of the TOF camera 220 selectively receives light using channel A (222a) and channel B (222b), and calculates the ratio of the amount of light received through channel A (222a) and channel B (222b). By using it, the phase difference between the irradiated light and the reflected light can be detected.
이미지 센서(221)의 각 픽셀(222)의 동작 원리를 구체적으로 살펴보면 다음과 같다. 픽셀(220)은 리셋 신호 (Rst)를 인가하여 축전기(
Figure PCTKR2019012841-appb-img-000001
,
Figure PCTKR2019012841-appb-img-000002
)에 저장된 축전량을 초기화 하고 (① 단계), 픽셀(220)의 채널A(220a)와 채널B(220b) 에 축전 스위치 제어 신호 (DMIX0, DMIX1) 신호를 인가하여, 반사광 에너지를 채널A(220a)의 축전기(
Figure PCTKR2019012841-appb-img-000003
) 또는 채널B(220b)의 축전기(
Figure PCTKR2019012841-appb-img-000004
)에 충전 하며(② 단계), 판독 스위치 제어 신호 (Address Decode)를 인가하여 축전기(
Figure PCTKR2019012841-appb-img-000005
,
Figure PCTKR2019012841-appb-img-000006
) 충전된 전하 량을 판독하는 단계(③ 단계)를 포함 수 있다.A detailed look at the operating principle of each pixel 222 of the image sensor 221 is as follows. The pixel 220 applies a reset signal Rst to a capacitor (
Figure PCTKR2019012841-appb-img-000001
,
Figure PCTKR2019012841-appb-img-000002
) To initialize the power storage amount stored in (Step ①), and apply power storage switch control signals (DMIX0, DMIX1) to the channels A (220a) and B (220b) of the pixel 220, and the reflected light energy is transferred to the channel A ( 220a) of the capacitor (
Figure PCTKR2019012841-appb-img-000003
) Or the capacitor of channel B (220b) (
Figure PCTKR2019012841-appb-img-000004
) Is charged (step ②), and a read switch control signal (Address Decode) is applied to the capacitor (
Figure PCTKR2019012841-appb-img-000005
,
Figure PCTKR2019012841-appb-img-000006
) It may include a step (step ③) of reading the amount of charged charge.
픽셀(220)의 채널A(220a)와 채널B(220b) 에 축전된 전하량을 이용하여 조사광(Light Source)과 반사광(Reflection)의 위상 차이를 감지하는 방법은 다음과 같다. 구체적으로, 도 4(a)는 조사광이 펄스파인 경우 픽셀(220)의 채널A(220a)와 채널B(220b) 에 각각 인가되는 축전 스위치 제어 신호 (DMIX0, DMIX1) 신호를 도시하고 있으며, 각각 인가되는 축전 스위치 제어 신호 (DMIX0, DMIX1) 신호에 대응하여 채널A(220a)와 채널B(220b) 에 각각 충전되는 충전량(Q1, Q2)를 도시하고 있다. 또한, 도 4(b)는 조사광이 연속파인 경우 픽셀(220)의 채널A(220a)와 채널B(220b) 에 각각 인가되는 축전 스위치 제어 신호 (DMIX0_1, DMIX0_2, DMIX1_1, DMIX1_2) 신호를 도시하고 있으며, 각각 인가되는 축전 스위치 제어 신호 (DMIX0_1, DMIX0_2, DMIX1_1, DMIX1_2) 신호에 대응하여 채널A(220a)와 채널B(220b) 에 각각 충전되는 충전량(Q1, Q2, Q3, Q4)을 도시하고 있다. A method of detecting a phase difference between a light source and a reflection light using the amount of charge stored in the channels A 220a and B 220b of the pixel 220 is as follows. Specifically, FIG. 4(a) shows the power storage switch control signals DMIX0 and DMIX1 respectively applied to the channels A 220a and B 220b of the pixel 220 when the irradiation light is a pulse wave, The charge amounts Q1 and Q2 respectively charged to the channels A 220a and B 220b in response to the power storage switch control signals DMIX0 and DMIX1 respectively applied are shown. In addition, FIG. 4(b) shows the power storage switch control signals DMIX0_1, DMIX0_2, DMIX1_1, and DMIX1_2 signals respectively applied to the channels A 220a and B 220b of the pixel 220 when the irradiation light is a continuous wave. And the amount of charge (Q1, Q2, Q3, Q4) respectively charged to the channels A 220a and B 220b in response to the applied power storage switch control signals (DMIX0_1, DMIX0_2, DMIX1_1, and DMIX1_2) signals. I'm doing it.
조사광이 펄스파인 경우(도 4(a)), TOF 카메라(220)는 채널A(220a)와 채널B(220b) 에 각각 충전되는 충전량(Q1, Q2)을 다음의 수식 1을 통해 거리(d) 정보로 환산할 수 있다. 여기서 c는 빛의 속도 상수를 의미하며
Figure PCTKR2019012841-appb-img-000007
는 펄스파의 시간 간격을 의미한다. When the irradiated light is a pulsed wave (Fig. 4(a)), the TOF camera 220 calculates the amount of charge (Q1, Q2) charged in the channel A (220a) and the channel B (220b), respectively, through the following equation (1). d) Can be converted into information. Where c is the rate constant of light,
Figure PCTKR2019012841-appb-img-000007
Means the time interval of the pulse wave.
Figure PCTKR2019012841-appb-img-000008
,(수식 1)
Figure PCTKR2019012841-appb-img-000008
,(Equation 1)
조사광이 연속파인 경우(도 4(b)), TOF 카메라(220)는 채널 A(220a)에 축전 스위치 제어 신호(DMIX0_1, DMIX0_2)에 의해 축전되는 충전량(Q1, Q3) 및 채널 B(220b)에 축전 스위치 제어 신호(DMIX1_1, DMIX1_2)에 의해 축전되는 충전량(Q2, Q4)을 다음 수식 2및 수식 3를 통해 거리(d) 정보로 환산할 수 있다. 여기서, c는 빛의 속도 상수를 의미하며, f는 연속파의 주파수를 의미한다. When the irradiation light is a continuous wave (Fig. 4(b)), the TOF camera 220 is charged with the amount of charge (Q1, Q3) and channel B (220b) stored by the power storage switch control signals (DMIX0_1, DMIX0_2) in the channel A (220a) ) Can be converted into distance (d) information through Equation 2 and Equation 3 below. Here, c means the speed constant of light, and f means the frequency of a continuous wave.
Figure PCTKR2019012841-appb-img-000009
,(수식 2)
Figure PCTKR2019012841-appb-img-000009
,(Equation 2)
Figure PCTKR2019012841-appb-img-000010
,(수식 3)
Figure PCTKR2019012841-appb-img-000010
,(Equation 3)
조사광이 연속파인 경우(도 4(b)), 채널 A(220a) 및 채널 B(220b)에 인가되는 축전 스위치 제어 신호 (DMIX0_1, DMIX0_2, DMIX1_1, DMIX1_2)는 순차적으로, 0도, 90도, 180도, 270도의 위상 차를 가질 수 있다. 또한, 채널 A(220a) 및 채널 B(220b)에 제1 축전 스위치 제어 신호(DMIX0_1, DMIX1_1)가 각각 인가되고, 제2 축전 스위치 제어 신호(DMIX0_2, DMIX1_2)가 순차적으로 인가될 수 있다. When the irradiation light is a continuous wave (Fig. 4(b)), the power storage switch control signals (DMIX0_1, DMIX0_2, DMIX1_1, DMIX1_2) applied to the channels A (220a) and B (220b) are sequentially, 0 degrees, and 90 degrees. , 180 degrees, may have a phase difference of 270 degrees. In addition, the first power storage switch control signals DMIX0_1 and DMIX1_1 are respectively applied to the channel A 220a and the channel B 220b, and the second power storage switch control signals DMIX0_2 and DMIX1_2 may be sequentially applied.
본 발명에 적용되는 TOF 카메라(200)는 연속파인 조사광을 피사체(300)를 향해 조사하는 광 조사부(210)를 포함할 수 있다. 다만, 경우에 따라서는 광 조사부(210)에서 펄스파인 조사광을 피사체(300)를 향해 조사할 수 있다. The TOF camera 200 applied to the present invention may include a light irradiation unit 210 that irradiates continuous fine irradiation light toward the subject 300. However, in some cases, the light irradiation unit 210 may irradiate pulsed fine irradiation light toward the subject 300.
도 5는 TOF 카메라에서 IR 이미지 및 깊이 이미지를 획득하는 프로세서를 설명하기 위한 도면이다. 구체적으로, 도 5는 연속파인 조사광을 피사체(300)를 향해 조사하고 반사광을 수신하여 IR 이미지 및 깊이 이미지를 획득하는 실시예를 도시하고 있다. 이하 도 1 내지 도 4의 내용을 참조한다. 5 is a diagram illustrating a processor for acquiring an IR image and a depth image in a TOF camera. Specifically, FIG. 5 shows an embodiment in which irradiation light, which is a continuous wave, is irradiated toward the subject 300 and reflected light is received to obtain an IR image and a depth image. Reference is made to the contents of FIGS. 1 to 4 below.
TOF 카메라(200)의 이미지 센서(221)는 수신된 반사광을 전기 신호로 전환하고 로우 데이터(Raw Data)를 획득할 수 있다. 수신된 로우 데이터(Raw Data)는 위상을 달리하여 (ex. 0도, 90도, 180도, 270도) 채널 A(222a) 및 채널 B(222b)에서 각각 획득될 수 있다. 각 위상에 대응되는 IR 이미지를 획득할 수 있다. TOF 카메라(200)의 이미지 센서(221)는 각 위상에서 획득한 로우 데이터(Raw Data)의 크기 성분을 이용하여 IR 이미지를 획득할 수 있다. 또한, TOF 카메라(200)의 이미지 센서(221)는 각 위상에서 획득한 로우 데이터(Raw Data)를 위상 차 정보로 환산하여 깊이 이미지를 획득할 수 있다. The image sensor 221 of the TOF camera 200 may convert the received reflected light into an electric signal and obtain raw data. The received raw data may be obtained from the channel A 222a and the channel B 222b by different phases (ex. 0 degrees, 90 degrees, 180 degrees, and 270 degrees). IR images corresponding to each phase can be obtained. The image sensor 221 of the TOF camera 200 may acquire an IR image by using a magnitude component of raw data acquired in each phase. In addition, the image sensor 221 of the TOF camera 200 may obtain a depth image by converting raw data acquired in each phase into phase difference information.
여기서, 각 위상에서 획득한 로우 데이터(Raw data)는 축전 스위치 제어 신호 (DMIX0_1, DMIX1_1, DMIX0_2, DMIX1_2)에 대응하여 채널 A(222a) 및 채널 B(222b)에서 축전되는 축전량(Q1, Q2, Q3, Q4)에 대응될 수 있다. IR 이미지는 채널 A(222a) 및 채널 B(222b)에서 축전되는 축전량(Q1, Q2, Q3, Q4)의 크기 성분을 이용하여 획득할 수 있다. 구체적으로, IR 이미지는 채널 A(220a) 및 채널 B(220b)에 제1 축전 스위치 제어 신호(DMIX0_1, DMIX1_1)가 인가되는 동안 축전되는 축전량 차(Q1-Q2)의 절대값과 제2 축전 스위치 제어 신호(DMIX0_2, DMIX1_2)가 인가되는 동안 축전되는 축전량 차(Q3-Q4)의 절대값을 합하여 획득할 수 있다. 깊이 이미지는 채널 A(222a) 및 채널 B(222b)에서 축전되는 축전량(Q1, Q2, Q3, Q4)의 비율 성분을 이용하여 획득할 수 있다. 구체적으로, 깊이 이미지는 채널 A(220a) 및 채널 B(220b)에 제1 축전 스위치 제어 신호(DMIX0_1, DMIX1_1)가 인가되는 동안 축전되는 축전량 차(Q1-Q2)와 제2 축전 스위치 제어 신호(DMIX0_2, DMIX1_2)가 인가되는 동안 축전되는 축전량 차(Q3-Q4)의 비율을 거리 정보로 환산하여 획득할 수 있다. 여기서 상기 수식 2 및 3을 참조할 수 있다. Here, the raw data acquired in each phase is the amount of power storage (Q1, Q2) stored in channels A (222a) and B (222b) in response to power storage switch control signals (DMIX0_1, DMIX1_1, DMIX0_2, DMIX1_2). , Q3, Q4). The IR image can be obtained using the size component of the amount of power storage Q1, Q2, Q3, and Q4 stored in the channel A 222a and the channel B 222b. Specifically, the IR image is the absolute value of the power storage difference Q1-Q2 and the second power storage while the first power storage switch control signals DMIX0_1 and DMIX1_1 are applied to the channels A 220a and B 220b. While the switch control signals DMIX0_2 and DMIX1_2 are applied, it can be obtained by summing the absolute values of the difference in the amount of power storage Q3-Q4. The depth image may be obtained using a ratio component of the amount of power storage Q1, Q2, Q3, and Q4 stored in the channel A 222a and the channel B 222b. Specifically, the depth image is the power storage difference Q1-Q2 and the second power storage switch control signal while the first power storage switch control signals DMIX0_1 and DMIX1_1 are applied to the channels A 220a and B 220b. It can be obtained by converting the ratio of the difference in the amount of power storage Q3-Q4 to the distance information while (DMIX0_2, DMIX1_2) is applied. Here, Equations 2 and 3 may be referred to.
도 6은 트루 컬러 이미지 및 상기 트루 컬로 이미지에 대응되는 영역을 하나의 TOF 카메라로 촬영하여 획득한 깊이 이미지를 도시하고 있다. 구체적으로, 도 6(a)는 트루 컬러 이미지, 도 6(b)는 도 6(a)에 대응되는 영역을 하나의 TOF 카메라로 촬영하여 획득한 깊이 이미지를 도시하고 있다. 6 shows a depth image obtained by photographing a true color image and a region corresponding to the true color image with one TOF camera. Specifically, FIG. 6(a) shows a true color image, and FIG. 6(b) shows a depth image obtained by photographing a region corresponding to FIG. 6(a) with a single TOF camera.
TOF 카메라는 피사체에 반사되는 광량에 비례하게 획득하는 깊이 데이터에 신뢰도가 가변 되는 특징이 있다. 즉, 흡수한 반사광의 광량이 많을수록 편차가 적은 보다 일관된 깊이 데이터를 획득할 수 있다. The TOF camera has a feature of varying reliability in depth data acquired in proportion to the amount of light reflected from the subject. That is, as the amount of absorbed reflected light increases, more consistent depth data with less deviation may be obtained.
TOF 카메라를 통해 반사 광을 수신하는 이미지 센서(221)의 픽셀(222)는 각각에 수광되는 반사광의 광량에 따라 구분될 수 있다. The pixels 222 of the image sensor 221 receiving reflected light through the TOF camera may be classified according to the amount of reflected light received by each of the pixels 222.
첫째, 이미지 센서(221)의 픽셀(222)은 반사광의 광량이 부족하여 깊이 정보를 획득하기 어려운 픽셀을 포함할 수 있다. 상기 픽셀은 피사체의 깊이 정보를 획득하지 못해 깊이 이미지에서 검은 색으로 표시될 수 있다. 먼 거리의 피사체에 대응되는 픽셀이 상기 픽셀에 해당할 수 있다. First, the pixel 222 of the image sensor 221 may include a pixel that is difficult to obtain depth information due to insufficient amount of reflected light. The pixel may be displayed in black in the depth image because depth information of the subject cannot be obtained. A pixel corresponding to a distant subject may correspond to the pixel.
둘째, 이미지 센서(221)의 픽셀(222)은 반사광의 광량이 부족하여 깊이 정보의 대표 값을 획득하기 어려운 픽셀을 포함할 수 있다. 반사광의 광량이 깊이 정보를 획득할 정도는 되지만, 획득한 깊이 정보가 신뢰도 낮은 픽셀에 대응될 수 있다. 상기 픽셀을 깊이 정보의 대표 값을 설정할 수 없어 깊이 이미지에서 검은 색으로 표시될 수 있다. 예를 들어, 가까운 거리에 있으나 반사율이 낮은 피사체 또는 거울과 같은 반사 특정을 갖는 피사체에 대응되는 픽셀이 상기 픽셀에 해당할 수 있다. Second, the pixel 222 of the image sensor 221 may include a pixel in which it is difficult to obtain a representative value of depth information because the amount of reflected light is insufficient. Although the amount of reflected light is sufficient to obtain depth information, the acquired depth information may correspond to a pixel with low reliability. Since a representative value of depth information cannot be set for the pixel, it may be displayed in black in the depth image. For example, a pixel corresponding to a subject at a close distance but having a low reflectance or a subject having reflection characteristics such as a mirror may correspond to the pixel.
셋째, 이미지 센서(221)의 픽셀(222)은 반사광의 광량이 깊이 정보의 대표 값을 획득하기 충분한 픽셀을 포함할 수 있다. 상기 픽셀은 깊이 정보에 대응되는 색상으로 깊이 이미지에 표시될 수 있다. 경우에 따라서, 상기 픽셀은 신뢰도에 따라 깊이 정보의 편차가 큰 픽셀과 깊이 정보의 편차가 작은 픽셀로 구분될 수 있다. Third, the pixel 222 of the image sensor 221 may include a pixel in which the amount of reflected light is sufficient to obtain a representative value of depth information. The pixel may be displayed in a depth image in a color corresponding to depth information. In some cases, the pixel may be classified into a pixel having a large deviation in depth information and a pixel having a small deviation in depth information according to reliability.
도 6(b)는 상기에서 설명한 픽셀들을 모두 포함하는 실시예를 도시하고 있다. 피사체 중 사람(310)을 기준으로 그 뒤 배경에 대응되는 픽셀을 상기 픽셀들 중 첫 번째 픽셀(411)에 대응될 수 있다. 이는 피사체 중 사람(310)을 기준으로 그 뒤 배경에 반사된 광량이 깊이 정보를 획득하기에 충분하기 않기 때문이다. 피사체 중 사람(310)의 머리 부분에 대응되는 부분(a1), 벽면(320)에 대응되는 부분(a2), 전화기(330)에 대응되는 부분(a3), 텀블러(340)의 측면에 대응되는 부분(a4) 등은 상기 픽셀들 중 두 번째 픽셀(412)에 대응될 수 있다. 해당 부분은 거리는 가깝지만, 반사율 등의 문제로 획득한 깊이 정보의 신뢰도가 낮아 대표 값을 선정하기 어렵기 때문이다. 그 외 나머지 부분은 상기 픽셀등 중 세 번째 픽셀(413)에 대응될 수 있다. 여기서 세 번째 픽셀(413)은 깊이 정보의 편차가 작은 픽셀(4131)과 깊이 정보의 큰 픽셀(4132)로 구분될 수 있다. 깊이 정보의 편차가 작은 픽셀(4131)은 반사광이 많은 부분에 대응되는 구성으로 깊이 정보의 신뢰도가 높은 픽셀에 대응될 있다. 깊이 정보의 편차가 큰 픽셀(4132)는 반사광이 대표 깊이 정보를 획득할 정도 이지만, 깊이 정보의 편차가 큰 픽셀(4132)에 비해 상대적으로 반사광이 적어 획득한 깊이 정보의 신뢰도가 낮은 픽셀에 대응될 수 있다. 테이블(350)에 대응되는 부분(b1) 및 사람(310)의 몸통 부분(b2)에 속한 픽셀들이 깊이 정보의 편차가 큰 픽셀(4132)에 대응될 수 있다. 6(b) shows an embodiment including all of the above-described pixels. A pixel corresponding to the background after that based on the person 310 of the subject may correspond to the first pixel 411 of the pixels. This is because the amount of light reflected on the background after the person 310 of the subject is not sufficient to obtain depth information. Among the subjects, a part (a1) corresponding to the head of the person 310, a part (a2) corresponding to the wall surface 320, a part (a3) corresponding to the phone 330, and a side surface of the tumbler 340 The portion a4 and the like may correspond to the second pixel 412 among the pixels. This is because the distance is close, but the reliability of the depth information acquired due to problems such as reflectance is low, making it difficult to select a representative value. Other parts may correspond to the third pixel 413 of the pixels or the like. Here, the third pixel 413 may be divided into a pixel 4131 having a small deviation in depth information and a pixel 4132 having a large depth information. The pixel 4131 having a small deviation in depth information corresponds to a portion having a large amount of reflected light, and corresponds to a pixel having high reliability of depth information. A pixel 4132 with a large deviation in depth information corresponds to a pixel with low reliability of the acquired depth information because the reflected light is relatively small compared to the pixel 4132 with a large deviation in depth information, although the reflected light is enough to obtain representative depth information. Can be. Pixels belonging to the portion b1 corresponding to the table 350 and the body portion b2 of the person 310 may correspond to a pixel 4132 having a large deviation in depth information.
본 발명은 단일의 TOF 카메라로 깊이 이미지를 획득하는 경우 도 6(b)의 두 번째 픽셀(412) 및 세 번째 픽셀(413) 중 깊이 정보 편차가 큰 픽셀(4132)의 깊이 정보를 보완하여 보다 정밀하고, 정확한 깊이 정보를 획득하는데 목적이 있다. 세 번째 픽셀(413) 중 깊이 정보 편차가 작은 픽셀(4132)은 정확한 깊이 정보를 제공하므로 보완의 필요성이 없다. 첫 번째 픽셀(411)은 광량이 너무 적어 본 발명에서 보완의 대상이 되지 못한다. In the present invention, when a depth image is acquired with a single TOF camera, depth information of a pixel 4132 having a large depth information deviation among the second pixel 412 and the third pixel 413 of FIG. 6(b) is further improved. The purpose is to obtain precise and accurate depth information. Among the third pixels 413, the pixels 4132 having a small deviation in depth information provide accurate depth information and thus do not need to be supplemented. The first pixel 411 has too little light and cannot be complemented in the present invention.
상기 목적을 달성하기 위해, 본 발명은 스테레오 타입으로 두 개의 TOF 카메라를 구비하고, 하나의 TOF 카메라에서 획득한 깊이 이미지는 스테레오 방식으로 획득한 깊이 정보로 보완하고자 한다. In order to achieve the above object, the present invention is provided with two TOF cameras in a stereo type, and a depth image acquired from one TOF camera is to be supplemented with depth information acquired in a stereo method.
도 7은 본 발명의 일 실시예에 따라, 스테레오 방식으로 구비된 TOF 카메라를 설명하기 위한 개념도이다.7 is a conceptual diagram illustrating a TOF camera provided in a stereo method according to an embodiment of the present invention.
본 발명은 피사체를 향해 적외선을 조사하는 광 조사부(510) 상기 피사체에 반사된 적외선을 수광 하는 제1 TOF 카메라(520), 제1 TOF 카메라(520)에 이격된 위치에서 상기 피사체에 반사된 적외선을 수광하는 제2 TOF 카메라 및 광 조사부(510), 제1 TOF 카메라(520) 및 제2 TOF 카메라(530)을 제어하는 제어부를 포함할 수 있다. In the present invention, a light irradiation unit 510 that irradiates infrared rays toward a subject, a first TOF camera 520 that receives infrared rays reflected from the subject, and infrared rays reflected from the subject at a position spaced apart from the first TOF camera 520 A second TOF camera and a light irradiation unit 510 for receiving light, and a control unit for controlling the first TOF camera 520 and the second TOF camera 530 may be included.
본 발명의 광 조사부(510)는 모듈화된 광을 발생시키는 광원부(511) 및 광원(511)에서 발생된 광을 특정 영역으로 조사하는 렌즈부(512)를 포함할 수 있다. 광원부(511)에서 발생되는 광은 펄스파로 모듈화 되거나, 연속파로 모듈화되어 조사될 수 있다. The light irradiation unit 510 of the present invention may include a light source unit 511 that generates modularized light and a lens unit 512 that irradiates light generated from the light source 511 to a specific area. Light generated from the light source unit 511 may be modulated into pulsed waves or modulated into continuous waves to be irradiated.
본 발명의 제1 TOF 카메라(520)는 피사체에 반사된 광을 수광하는 제1 이미지 센서(521)을 포함하고, 피사체에 반사된 광을 제1 이미지 센서(521)로 유도하는 렌즈부(522)를 포함할 수 있다. The first TOF camera 520 of the present invention includes a first image sensor 521 for receiving light reflected on a subject, and a lens unit 522 for guiding light reflected on the subject to the first image sensor 521 ) Can be included.
본 발명의 제2 TOF 카메라(530)는 제1 TOF 카메라와 d 거리만큼 이격 되어 피사체에 반사된 광을 수광하는 제2 이미지 센서(531)를 포함하고, 피사체에 반사된 광을 제2 이미지 센서(532)로 유도하는 렌즈부(532)를 포함할 수 있다. The second TOF camera 530 of the present invention includes a second image sensor 531 that is spaced apart from the first TOF camera by a distance d to receive light reflected from the subject, and transmits the reflected light to the subject as a second image sensor. A lens unit 532 leading to 532 may be included.
본 발명의 제어부는 광원부(511)에서 발생되는 모듈화된 광에 싱크되어 제1 이미지 센서(521) 및 제2 이미지 센서(531)에서 광을 수광할 수 있도록 싱크화된 신호를 각 구성에 전송할 수 있다. 예를 들어, 제어부(530)는 광원부(511)에서 발생되는 모듈화된 광을 기준으로 제1 이미지 센서(521) 및 제2 이미지 센서(531)가 0도, 90도, 180도, 270도 위상으로 반사광을 수신하도록 제어할 수 있다. The control unit of the present invention can transmit a synchronized signal to each component so that the first image sensor 521 and the second image sensor 531 can receive light by being synchronized with the modularized light generated from the light source unit 511. have. For example, the control unit 530 may phase the first image sensor 521 and the second image sensor 531 at 0 degrees, 90 degrees, 180 degrees, and 270 degrees based on the modularized light generated from the light source unit 511. It can be controlled to receive the reflected light.
도 8은 본 발명의 일 실시예에 따라, 스테레오 방식으로 구비된 TOF 카메라를 통해 깊이 이미지를 획득하는 전체 프로세서를 설명하기 위한 흐름도이다.8 is a flowchart illustrating an entire processor for acquiring a depth image through a TOF camera provided in a stereo method according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 설정할 수 있다. (S510) The mobile terminal of the present invention includes a TOF camera provided in a stereo method as shown in FIG. 7 and can set an operation mode of the TOF camera provided in a stereo method. (S510)
본 발명의 스테레오 방식으로 구비된 TOF 카메라의 동작 모드에 따른 시스템을 설정할 수 있다. (S520) 구체적으로, 제1 TOF 카메라의 깊이 이미지를 보정 없이 획득하는 제1 모드의 경우 제1 TOF 카메라만을 활성할 수 있다. 제1 TOF 카메라의 깊이 이미지에서 부족한 깊이 정보를 추가하는 제2 모드의 경우 제1 TOF 카메라와 제2 TOF 카메라 모두를 활성 시킬 수 있다. 제1 TOF 카메라의 깊이 이미지에서 정확성이 떨어지는 깊이 정보를 보완하는 제3 모드의 경우 제1 TOF 카메라와 제2 TOF 카메라 모두를 활성 시킬 수 있다. 제1 TOF 카메라의 깊이 이미지에서 부족한 깊이 정보를 추가하고, 정확성이 떨어지는 깊이 정보를 보완하는 제4 모드의 경우 제1 TOF 카메라와 제2 TOF 카메라 모두를 활성 시킬 수 있다. A system according to the operation mode of the TOF camera provided in the stereo method of the present invention can be set. (S520) Specifically, in the case of the first mode in which the depth image of the first TOF camera is acquired without correction, only the first TOF camera may be activated. In the second mode in which insufficient depth information is added from the depth image of the first TOF camera, both the first TOF camera and the second TOF camera may be activated. In the case of a third mode that compensates for depth information that is less accurate in the depth image of the first TOF camera, both the first TOF camera and the second TOF camera may be activated. In the fourth mode, in which insufficient depth information is added to the depth image of the first TOF camera and compensates for inaccurate depth information, both the first TOF camera and the second TOF camera may be activated.
본 발명은 제1 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다. 본 발명은 제2 내지 도 4 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라에서 광을 수광하는 신호 및 제2 TOF 카메라에서 광을 수광하는 신호를 설정할 수 있다. In the present invention, in the first mode, a signal for receiving light from the first TOF camera may be set in accordance with a signal for irradiating light from the light irradiating unit. The present invention may set a signal for receiving light from a first TOF camera and a signal for receiving light from a second TOF camera in accordance with a signal irradiating light from a light irradiation unit in modes 2 to 4.
본 발명은 동작 모드에 따른 시스템을 설정한 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 로우(raw) 데이터를 측정할 수 있다. (S530) 본 발명은 제1 모드에서 제1 TOF 카메라를 통해 로우(raw) 데이터를 측정할 수 있다. 본 발며은 제2 내지 제4 모드에서 제1 TOF 카메라 및 제2 TOF 카메라를 통해 로우(raw) 데이터를 측정할 수 있다. According to the present invention, after setting a system according to an operation mode, the light irradiation unit irradiates light and receives the reflected light to measure raw data. (S530) The present invention may measure raw data through the first TOF camera in the first mode. The present Balgo may measure raw data through the first TOF camera and the second TOF camera in the second to fourth modes.
본 발명은 로우(raw) 데이터를 획득한 후, 획득한 로우(raw) 데이터 전처리할 수 있다. (S540) 로우(raw) 데이터는 도 3의 각 픽셀(222)에서 축전 스위치 제어 신호 (DMIX0, DMIX1)에 대응하여 채널A(222a) 및 채널 B(222b)에서 획득한 전하량에 대응될 수 있다. 본 발명은 전처리 과정에서 채널 A(222a)에서 획득한 전하량과 채널 B(222b)에서 획득한 전하량을 디지털 신호로 전환한 후 대응 시켜 하나의 데이터로 전환할 수 있다. 예를 들어, 채널A(222a) 및 채널 B(222b)에서 각각 0도 및 180도의 위상으로 반사광을 수신한 후 수광한 전하량의 차 값에 대응되는 제1 데이터를 획득하고, 채널A(222a) 및 채널 B(222b)에서 각각 90도 및 270도의 위상으로 반사광을 수신한 후 수광한 전하량의 차 값에 대응되는 제 2데이터를 획득할 수 있다. According to the present invention, after obtaining raw data, the obtained raw data may be pre-processed. (S540) The raw data may correspond to the amount of charge acquired in the channels A 222a and B 222b in response to the power storage switch control signals DMIX0 and DMIX1 in each pixel 222 of FIG. 3. . In the present invention, the amount of charge acquired in the channel A 222a and the amount of charge acquired in the channel B 222b in the preprocessing process are converted into a digital signal and then corresponded to convert to one data. For example, after receiving reflected light in phases of 0 degrees and 180 degrees from channel A (222a) and channel B (222b), first data corresponding to the difference in the amount of received charge is obtained, and channel A (222a) And second data corresponding to a difference value between the received charge amount after receiving the reflected light at a phase of 90 degrees and 270 degrees from the channel B 222b, respectively.
본 발명은 로우(raw) 데이터를 전처리 한 후, 피사체의 깊이 정보 및 깊이 정보의 신뢰도를 계산할 수 있다. (S550) 예를 들어, 본 발명을 전처리 과정에서 획득한 제1 데이터의 크기 및 제2 데이터의 크기를 합산하여 IR 이미지를 획득할 수 있다. 여기서 IR 이미지는 광량 크기를 이용한 2차원 이미지 일 수 있다. 또한, 본 발명은 전처리 과정에서 획득한 제1 데이터와 제2 데이터의 비를 통해 위상차 정보를 획득하고, 위상차 정보를 깊이 정보로 환산하여 깊이 이미지를 획득할 수 있다. 본 발명은 깊이 정보의 신뢰도를 기 설정 프레임 동안 획득한 깊이 정보의 표준 편차 및 IR 이미지 구현 과정에서 산출한 광량 크기 중 적어도 하나를 이용하여 획득할 수 있다. 깊이 정보의 신뢰도는 각 픽셀에 수광되는 광량에 비례할 수 있다.According to the present invention, after preprocessing raw data, depth information of a subject and reliability of depth information may be calculated. (S550) For example, an IR image may be obtained by summing the size of the first data and the size of the second data acquired in the preprocessing process of the present invention. Here, the IR image may be a two-dimensional image using the amount of light. In addition, according to the present invention, the phase difference information may be obtained through a ratio of the first data and the second data acquired in the preprocessing process, and the depth image may be obtained by converting the phase difference information into depth information. In the present invention, the reliability of the depth information may be obtained by using at least one of a standard deviation of depth information acquired during a preset frame and an amount of light calculated during an IR image implementation process. The reliability of the depth information may be proportional to the amount of light received by each pixel.
본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S560) 최종 깊이 이미지를 획득할 수 있다. (S570) 구체적으로, 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. According to the present invention, depth information acquired from each pixel may be calibrated (S560), and a final depth image may be obtained. (S570) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
도 9 는 본 발명의 일 실시예에 따라, 제1 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도 이다.9 is a flowchart illustrating a processor for obtaining a depth image in a first mode according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 제1 모드로 설정할 수 있다. (S610) 여기서 제1 모드는 일반 모드(Normal mode)에 대응될 수 있다. The mobile terminal of the present invention may include a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set as the first mode. (S610) Here, the first mode may correspond to a normal mode.
본 발명의 이동 단말기는 제1 모드로 동작 모드를 설정한 후 스테레오 방식으로 구비된 TOF 카메라 중 제1 TOF 카메라만을 활성 시킬 수 있다. (S620) 이때, 본 발명은 제1 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다.The mobile terminal of the present invention can activate only the first TOF camera among TOF cameras provided in a stereo method after setting the operation mode as the first mode. (S620) In this case, the present invention may set a signal for receiving light from the first TOF camera in accordance with a signal for irradiating light from the light irradiator in the first mode.
본 발명은 제1 모드에 따라 제1 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 로우(raw) 데이터를 측정할 수 있다. (S530) 제1 TOF 카메라의 이미지 센서는 조사광에 싱크되어 0도, 90도, 180도, 270도의 위상으로 반사광을 수광할 수 있다. 이때, 본 발명은 각 위상에 맞는 IR 이미지를 획득할 수 있다. According to the present invention, after activating the first TOF camera according to the first mode, the light irradiation unit irradiates light and receives the reflected light to measure raw data. (S530) The image sensor of the first TOF camera is synchronized with the irradiation light to receive reflected light in phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees. In this case, the present invention can obtain an IR image suitable for each phase.
본 발명은 제1 모드에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S640) 구체적으로, 제1 TOF 카메라의 이미지 센서에서 각 픽셀(222)의 채널A(222a) 및 채널 B(222b)에서 각각 0도 및 180도의 위상으로 반사광을 수신한 후 수광한 전하량의 차 값에 대응되는 제1 데이터를 획득하고, 채널A(222a) 및 채널 B(222b)에서 각각 90도 및 270도의 위상으로 반사광을 수신한 후 수광한 전하량의 차 값에 대응되는 제 2데이터를 획득할 수 있다. The present invention may pre-process the raw data acquired in the first mode. (S640) Specifically, the difference in the amount of electric charges received after receiving reflected light in phases of 0 degrees and 180 degrees from the channel A (222a) and channel B (222b) of each pixel 222 in the image sensor of the first TOF camera Acquires first data corresponding to the value, and acquires second data corresponding to the difference between the received charge amount after receiving reflected light at a phase of 90 degrees and 270 degrees from channel A (222a) and channel B (222b), respectively. can do.
본 발명은 로우(raw) 데이터를 전처리 한 후, 피사체의 깊이 정보 및 깊이 정보의 신뢰도를 계산할 수 있다. (S650) 예를 들어, 본 발명을 전처리 과정에서 획득한 제1 데이터의 크기 및 제2 데이터의 크기를 합산하여 IR 이미지를 획득할 수 있다. 여기서 IR 이미지는 광량 크기를 이용한 2차원 이미지 일 수 있다. 또한, 본 발명은 전처리 과정에서 획득한 제1 데이터와 제2 데이터의 비를 통해 위상차 정보를 획득하고, 위상차 정보를 깊이 정보로 환산하여 깊이 이미지를 획득할 수 있다. 본 발명은 깊이 정보의 신뢰도를 기 설정 프레임 동안 획득한 깊이 정보의 표준 편차 및 IR 이미지 구현 과정에서 산출한 광량 크기 중 적어도 하나를 이용하여 획득할 수 있다. 깊이 정보의 신뢰도는 각 픽셀에 수광되는 광량에 비례할 수 있다.According to the present invention, after preprocessing raw data, depth information of a subject and reliability of depth information may be calculated. (S650) For example, an IR image may be obtained by summing the size of the first data and the size of the second data acquired in the preprocessing process of the present invention. Here, the IR image may be a two-dimensional image using the amount of light. In addition, according to the present invention, the phase difference information may be obtained through a ratio of the first data and the second data acquired in the preprocessing process, and the depth image may be obtained by converting the phase difference information into depth information. In the present invention, the reliability of the depth information may be obtained by using at least one of a standard deviation of depth information acquired during a preset frame and an amount of light calculated during an IR image implementation process. The reliability of the depth information may be proportional to the amount of light received by each pixel.
본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S660) 최종 깊이 이미지를 획득할 수 있다. (S670) 구체적으로, 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. According to the present invention, depth information acquired from each pixel may be calibrated (S660), and a final depth image may be obtained. (S670) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
도 10은 본 발명의 일 실시예에 따라, 제1 모드의 활용예를 설명하기 위한 도면이다.10 is a diagram for explaining an example of application of a first mode according to an embodiment of the present invention.
본 발명은 피사체를 분간하는데 제1 모드를 사용할 수 있다. 예를 들어, 도 10(a)와 같이 사용자의 안면을 인식하여 사용자가 등록된 사용자인지 분간하는데 제1 모드를 사용할 수 있다. The present invention can use the first mode to distinguish a subject. For example, as shown in FIG. 10A, the first mode may be used to recognize whether the user is a registered user by recognizing the user's face.
또한, 본 발명은 피사체의 움직임에 대응하여 주변환경정보를 제어하기 위해 제1 모드를 사용할 수 있다. 예를 들어, 도 10(b)와 같이 제1 모드로 구동되는 TOF 카메라를 통해 사용자가 특정 공간에 진입한 것을 인지한 경우, 위 정보를 상기 특정 공간에 불 밝기 및 온도 등을 제어하는데 이용할 수 있다. In addition, the present invention can use the first mode to control the surrounding environment information in response to the movement of the subject. For example, when it is recognized that a user has entered a specific space through a TOF camera driven in the first mode as shown in FIG. 10(b), the above information can be used to control the brightness and temperature of the specific space. have.
또한, 본 발명은 사용자 손의 손가락을 트랙킹하여 입력 신호를 수신하는데 제1 모드를 사용할 수 있다. 예를 들어, 도 10(c)와 같이 본 발명은 제1 모드로 구동되는 TOF 카메라를 통해 사용자 손의 손가락을 트랙킹하고, 사용자 손가락이 지시하는 지점 및 방향에 대응되는 입력 신호를 수신할 수 있다. In addition, the present invention can use the first mode to receive an input signal by tracking a finger of a user's hand. For example, as shown in FIG. 10(c), the present invention tracks a finger of a user's hand through a TOF camera driven in the first mode, and receives an input signal corresponding to a point and direction indicated by the user's finger. .
도 11은 본 발명의 일 실시예에 따라, 제2 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도 이다.11 is a flowchart illustrating a processor for obtaining a depth image in a second mode according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 제2 모드로 설정할 수 있다. (S710) 여기서 제2 모드는 하이 덴서티 모드(High density mode)에 대응될 수 있다. The mobile terminal of the present invention may include a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set as the second mode. (S710) Here, the second mode may correspond to a high density mode.
본 발명의 이동 단말기는 제2 모드로 동작 모드를 설정한 후 스테레오 방식으로 구비된 제1 TOF 카메라 및 제2 TOF 카메라를 모두 활성 시킬 수 있다. (S720) 이때, 본 발명은 제2 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라 및 제2 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다.The mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo method after setting the operation mode as the second mode. (S720) In this case, the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the second mode.
본 발명은 제2 모드에서 제1 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제1 TOF 카메라의 IR 이미지를 획득할 수 있다. (S730) 구체적으로, 제1 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S731) 이때, 제1 TOF 카메라는 채널 A에서 0도의 위상으로 수광한 로우(raw) 데이터를 통해 0도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 180도의 위상으로 수광한 로우(raw) 데이터를 통해 180도 위상의 IR 이미지를 획득할 수 있다. 마찬가지로, 제1 TOF 카메라는 채널 A에서 90도의 위상으로 수광한 로우(raw) 데이터를 통해 90도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 270도의 위상으로 수광한 로우(raw) 데이터를 통해 270도 위상의 IR 이미지를 획득할 수 있다. 제1 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S732) 이때, 제1 TOF 카메라는 0도의 위상으로 수광한 로우(raw) 데이터와 180도의 위상으로 수광한 로우 데이터의 차를 통해 제1 데이터를 생성하고, 90도의 위상으로 수광한 로우(raw) 데이터와 270도의 위상으로 수광한 로우 데이터의 차를 통해 제2 데이터를 생성할 수 있다. 제1 TOF 카메라는 전처리된 데이터를 이용하여 이미지 센서의 각 필셀에 대응되는 깊이 정보를 획득하고, 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S733) 이때, 제1 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. In the present invention, after activating the first TOF camera in the second mode, the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light. (S730) Specifically, the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light. (S731) At this time, the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received with a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase. (S732) At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees. ) Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees. The first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information. (S733) In this case, the first TOF camera may acquire an IR image using the preprocessed data.
본 발명은 제2 모드에서 제1 TOF 카메라를 통해 IR 이미지를 획득하는 동시에, 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제2 TOF 카메라의 IR 이미지를 획득할 수 있다. (S740) 제2 TOF 카메라에서 IR 이미지를 회득하는 단계는 제1 TOF 카메라에서 IR 이미지를 획득하는 단계와 달리 각 픽셀에 대응되는 깊이 정보를 획득하거나, 획득한 깊이 정보의 신뢰도를 획득하는 단계가 생략될 수 있다. 즉, 제2 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S741) 제2 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S742) 제2 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S744)In the present invention, an IR image of a second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in the second mode. (S740) The step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted. That is, the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees. I can. (S741) The second TOF camera may pre-process raw data acquired in each phase. (S742) The second TOF camera may acquire an IR image using the preprocessed data. (S744)
본 발명은 제1 TOF 카메라에서 깊이 정보를 매칭할 수 없는 픽셀을 분별할 수 있다. (S750) 여기서 깊이 정보를 매칭할 수 없는 픽셀은 획득한 깊이 정보가 신뢰도가 낮아 대응 값을으로 선정할 수 없는 픽셀에 대응될 수 있다. 즉, 광량이 너무 낮아 깊이 정보를 획득할 수 없는 픽셀은 여기서 제외될 수 있다. 본 발명의 제1 TOF 카메라는 픽셀에 대응되는 피사체의 깊이 정보를 매칭할 수 있는 경우, (S750, No) 매칭되는 깊이 정보를 해당 픽셀의 대응 값으로 선정할 수 있다. (S760) 본 발명의 제1 TOF 카메라는 픽셀에 대응되는 피사체의 깊이 정보를 매칭할 수 없는 경우, (S750, Yes) 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 선정할 수 있다. 구체적으로, 본 발명은 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 획득하고 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S770) 본 발명은 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 기 설정 값과 비교하고, (S780) 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도가 기 설정 값보다 큰 경우, 스테레오 연산을 통해 획득한 깊이 정보를 해당 픽셀의 대응 값으로 설정할 수 있다. (S760)In the present invention, a pixel for which depth information cannot be matched in the first TOF camera may be identified. (S750) Here, a pixel whose depth information cannot be matched may correspond to a pixel whose acquired depth information has low reliability and cannot be selected as a corresponding value. That is, pixels whose depth information cannot be obtained due to the amount of light being too low may be excluded here. When the first TOF camera of the present invention can match depth information of a subject corresponding to a pixel, (S750, No), the matched depth information may be selected as a corresponding value of the corresponding pixel. (S760) When the first TOF camera of the present invention cannot match the depth information of the subject corresponding to the pixel, (S750, Yes) the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera By performing a stereo operation, depth information corresponding to a pixel can be selected. Specifically, the present invention obtains depth information corresponding to a pixel by performing a stereo operation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera, and obtaining the reliability of the depth information obtained through stereo calculation. can do. (S770) The present invention compares the reliability of depth information acquired through stereo calculation with a preset value, and (S780) when the reliability of depth information acquired through stereo calculation is greater than a preset value, it is obtained through stereo calculation One depth information may be set as a corresponding value of a corresponding pixel. (S760)
본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S790) 최종 깊이 이미지를 획득할 수 있다. (S800) 구체적으로, 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. According to the present invention, depth information obtained from each pixel may be calibrated (S790), and a final depth image may be obtained. (S800) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
도 12은 본 발명의 일 실시예에 따라, 스테레오 타입으로 깊이 정보를 보완하는 방법을 설명하기 위한 도면이다.12 is a diagram for explaining a method of supplementing depth information in a stereo type according to an embodiment of the present invention.
본 발명은 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 본 발명은 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응되는 깊이 정보를 획득하고 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 획득할 수 있다. 여기서 픽셀은 제1 TOF 카메라의 이미지 센서 중 깊이 정보의 대응 값을 선정할 수 없는 픽셀을 지칭할 수 있다. In the present invention, the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera are converted into pixels by stereo computation of the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera. Depth information corresponding to is obtained and reliability of depth information obtained through stereo computation can be obtained. Here, the pixel may refer to a pixel in which a corresponding value of depth information cannot be selected among the image sensors of the first TOF camera.
본 발명은 도 12(a)와 같이 제1 TOF 카메라에서 획득한 IR 이미지에서 상기 픽셀을 포함하는 제1 픽셀 블록(620)을 설정하고, 제2 TOF 카메라에서 획득한 IR 이미지에서 제1 픽셀 블록(620)과 유사한 제2 픽셀 블록(630)을 확인하고, 제1 픽셀 블록(620)과 제2 픽셀 블록(630)이 신뢰할 수중의 유사함을 가지는 경우, 제2 픽셀 블록(630)에서 상기 픽셀에 대응되는 픽셀을 분별하고, 스테레오 연산을 통해 상기 픽셀에 대응되는 깊이 정보를 획득할 수 있다. The present invention sets the first pixel block 620 including the pixel in the IR image acquired by the first TOF camera as shown in FIG. 12(a), and the first pixel block in the IR image acquired by the second TOF camera. If a second pixel block 630 similar to 620 is identified, and the first pixel block 620 and the second pixel block 630 have a reliable underwater similarity, the second pixel block 630 A pixel corresponding to a pixel may be identified, and depth information corresponding to the pixel may be obtained through a stereo operation.
본 발명은 도 12(a)에서 설명된 바와 같이, 제2 TOF 카메라에서 획득한 IR 이미지에서 제1 TOF 카메라와 제2 TOF 카메라가 이격된 방향을 따라 제1 픽셀 블록(620)과 동일 크기의 픽셀 블록을 이동하여 상기 제2 픽셀 블록을 분별할 수 있다. 여기서 제1 픽셀 블록(620)과 동일 크기의 픽셀 블록을 이동하는 범위는 임의로 설정될 수 있다. 다만, 보다 정확한 값을 획득하기 위해서는 넓을수록 좋다. 12(a), in the IR image acquired by the second TOF camera, the first TOF camera and the second TOF camera have the same size as the first pixel block 620 along the spaced direction. The second pixel block may be identified by moving the pixel block. Here, the moving range of the pixel block having the same size as the first pixel block 620 may be arbitrarily set. However, in order to obtain a more accurate value, the wider the better.
본 발명은 도 12(b)와 같이 제2 픽셀 블록(630)과 제1 픽셀 블록(620)의 유사 값이 다른 픽셀 블록과 상기 제1 픽셀 블록의 유사 값 보다 크고, 첨단 값을 구성하는 경우, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록의 유사도를 신뢰할 수 있다. 구체적으로, 유사도는 대응되는 특징 점의 개수, 특징 점간 거리를 통해 계산될 수 있다. In the present invention, as shown in FIG. 12(b), when the similar value of the second pixel block 630 and the first pixel block 620 is greater than the similar value of the other pixel block and the first pixel block, and constitutes an edge value , It is possible to trust the similarity between the first pixel block and the second pixel block. Specifically, the degree of similarity may be calculated through the number of corresponding feature points and the distance between feature points.
도 13는 본 발명의 일 실시예에 따라, 제2 모드에서 촬영된 깊이 이미지를 도 6의 이미지와 비교한 도면이다. 구체적으로, 도 13(a)는 트루 컬러 이미지를 도시하고 있고, 도 13(b)는 제1 모드로 동일 영역을 촬영한 깊이 이미지를 도시하고 있고, 도 13(c)는 제2 모드로 동일 영역을 촬영한 깊이 이미지를 도시하고 있다. 13 is a diagram comparing a depth image captured in a second mode with the image of FIG. 6 according to an embodiment of the present invention. Specifically, FIG. 13(a) shows a true color image, FIG. 13(b) shows a depth image photographed in the same area in the first mode, and FIG. 13(c) shows the same in the second mode. It shows the depth image of the area.
본 발명의 제2 모드는 제1 모드로 획득한 깊이 이미지에서 깊이 정보가 표시되지 않는 영역에 깊이 정보를 설정하는 모드로 하이 덴서티 모드(High density mode)로 지칭될 수 있다. The second mode of the present invention is a mode in which depth information is set in a region in which depth information is not displayed in the depth image acquired in the first mode, and may be referred to as a high density mode.
구체적으로, 도 13(c)는 도 13(b)에서 근거리에 위치하여 깊이 정보를 획득할 수 있는 최소 광량 이상의 반사광을 얻을 수 있지만, 그 신뢰도가 낮아 대응 값을 설정할 수 없는 영역에 깊이 정보가 채워진 실시예를 도시하고 있다. Specifically, in FIG. 13(c), reflected light that is located at a short distance in FIG. 13(b) and more than the minimum amount of light for obtaining depth information can be obtained, but the reliability is low, and depth information is stored in an area where a corresponding value cannot be set. The filled embodiment is shown.
예를 들어, 도 13(c)는 피사체 중 사람(310)의 머리 부분(a1)에 깊이 정보를 표시고 있으며, 벽면(320)에 대응되는 영역(a2)에도 깊이 정보를 포함하고 있다. 또한, 도 13(c)는 전화기(330)에 대응되는 영역(a3) 및 텀블러(340)의 측면에 대응되는 영역(a4)에도 깊이 정보가 포함되어 있다. 즉, 제2 모드에서 획득한 깊이 이미지는 제1 이미지 보다 많은 깊이 정보를 포함할 수 있다. For example, in FIG. 13C, depth information is displayed on the head a1 of the person 310 among subjects, and the depth information is also included in the area a2 corresponding to the wall surface 320. In addition, in FIG. 13C, depth information is also included in an area a3 corresponding to the telephone 330 and an area a4 corresponding to a side surface of the tumbler 340. That is, the depth image acquired in the second mode may include more depth information than the first image.
도 14은 본 발명의 일 실시예에 따라, 제2 모드의 활용예를 설명하기 위한 도면이다. 14 is a diagram for explaining an example of application of a second mode according to an embodiment of the present invention.
카메라를 촬영한 영역에 증강 현실을 구현하기 위해서는 촬영 영역에 대한 깊이 정보가 필요하다. 특정 영역에 깊이 정보를 포함하고 있지 않다면, 구현되는 증강 현실에 실제 깊이 정보가 반영되지 않고 단순히 오버렙 되도록 표시되어 부자연스러울 수 있다. In order to implement augmented reality in a region where a camera is photographed, depth information on the photographing region is required. If the depth information is not included in a specific area, the actual depth information is not reflected in the implemented augmented reality, and it may be displayed to simply overlap, which may be unnatural.
또한, 구현된 증강 현실 개체와 인터렉션 하기 위해서는 증강 현실이 구현되는 개체의 깊이 정보가 필요하다. 증강 현실이 구현되는 영역의 깊이 정보를 반영하지 않고 단순히 오버렙되는 경우, 구현된 증간 형식과 인터렉션할 수 없다. 예를 들어, 사용자가 손으로 구현된 증강 현실을 터치하는 방식으로 인터렉션 한다면, 증강 현실이 구현되는 영역의 깊이 정보가 필요하기 때문이다. In addition, in order to interact with the implemented augmented reality object, depth information of the object on which the augmented reality is implemented is required. If the depth information of the area in which the augmented reality is implemented is not reflected and simply overlapped, it is not possible to interact with the implemented incremental form. For example, if a user interacts with a hand-implemented augmented reality by touching it, this is because depth information of a region in which the augmented reality is implemented is required.
도 15 은 본 발명의 일 실시예에 따라, 제3 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다. 15 is a flowchart illustrating a processor for obtaining a depth image in a third mode according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 제3 모드로 설정할 수 있다. (S810) 여기서 제3 모드는 하이 어큐러시 모드(High accuracy mode)에 대응될 수 있다. The mobile terminal of the present invention may have a TOF camera provided in a stereo method as shown in FIG. 7 and set an operation mode of the TOF camera provided in a stereo method as a third mode. (S810) Here, the third mode may correspond to a high accuracy mode.
본 발명의 이동 단말기는 제3 모드로 동작 모드를 설정한 후 스테레오 방식으로 구비된 제1 TOF 카메라 및 제2 TOF 카메라를 모두 활성 시킬 수 있다. (S820) 이때, 본 발명은 제3 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라 및 제2 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다.The mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo manner after setting the operation mode to the third mode. In this case, the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the third mode.
본 발명은 제3 모드에서 제1 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제1 TOF 카메라의 IR 이미지를 획득할 수 있다. (S830) 구체적으로, 제1 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S831) 이때, 제1 TOF 카메라는 채널 A에서 0도의 위상으로 수광한 로우(raw) 데이터를 통해 0도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 180도의 위상으로 수광한 로우(raw) 데이터를 통해 180도 위상의 IR 이미지를 획득할 수 있다. 마찬가지로, 제1 TOF 카메라는 채널 A에서 90도의 위상으로 수광한 로우(raw) 데이터를 통해 90도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 270도의 위상으로 수광한 로우(raw) 데이터를 통해 270도 위상의 IR 이미지를 획득할 수 있다. 제1 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S832) 이때, 제1 TOF 카메라는 0도의 위상으로 수광한 로우(raw) 데이터와 180도의 위상으로 수광한 로우 데이터의 차를 통해 제1 데이터를 생성하고, 90도의 위상으로 수광한 로우(raw) 데이터와 270도의 위상으로 수광한 로우 데이터의 차를 통해 제2 데이터를 생성할 수 있다. 제1 TOF 카메라는 전처리된 데이터를 이용하여 이미지 센서의 각 필셀에 대응되는 깊이 정보를 획득하고, 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S833) 이때, 제1 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S834)In the present invention, after activating the first TOF camera in the third mode, the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light. (S830) Specifically, the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light. (S831) At this time, the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received with a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase. (S832) At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees. ) Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees. The first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information. (S833) In this case, the first TOF camera may acquire an IR image using the preprocessed data. (S834)
본 발명은 제2 모드에서 제1 TOF 카메라를 통해 IR 이미지를 획득하는 동시에, 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제2 TOF 카메라의 IR 이미지를 획득할 수 있다. (S840) 제2 TOF 카메라에서 IR 이미지를 회득하는 단계는 제1 TOF 카메라에서 IR 이미지를 획득하는 단계와 달리 각 픽셀에 대응되는 깊이 정보를 획득하거나, 획득한 깊이 정보의 신뢰도를 획득하는 단계가 생략될 수 있다. 즉, 제2 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S841) 제2 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S842) 제2 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S844)In the present invention, an IR image of a second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in the second mode. (S840) The step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted. That is, the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees. I can. (S841) The second TOF camera may pre-process raw data acquired in each phase. (S842) The second TOF camera may acquire an IR image using the preprocessed data. (S844)
본 발명은 제1 TOF 카메라의 픽셀들 중 설정된 깊이 정보의 신뢰도가 기 설정 신뢰도보다 낮은 픽셀을 분별할 수 있다. (S850) 여기서 분별된 픽셀은 깊이 정보 값을 대응 시킬 수 있지만, 대응된 깊이 정보의 신뢰도가 크지 않는 픽셀에 해당할 수 있다. 본 발명은 제1 TOF 카메라의 픽셀에 대응되는 피사체의 깊이 정보가 충분히 신뢰할 수 있는 경우, (S850, No) 제1 TOF 카메라의 픽셀에서 획득한 깊이 정보를 깊이 이미지를 구현하는데 이용할 수 있다. (S860) 본 발명은 제1 TOF 카메라의 픽셀에 대응되는 피사체의 깊이 정보가 신뢰하기에 부족한 경우, (S850, Yes) 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 보완할 수 있다. 우선, 본 발명은 픽셀에 대응되는 깊이 정보 및 신뢰도를 이용하여 픽셀에 대응되는 최대 깊이 한계 정보 및 최소 깊이 한계 정보를 획득하고, 이를 이용하여 제2 TOF 카메라의 이미지에서 스테레오 연산을 위한 후보 픽셀을 선정할 수 있다. (S870) 본 발명은 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 획득하고 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S880) 이때, 제2 TOF 카메라의 IR 이미지에서 스테레오 연산의 대상은 선정된 후보 픽셀을 통해 설정될 수 있다. 본 발명은 스테레오 연산을 통해 획득한 깊이 정보와 최대 깊이 한계 정보 및 최소 깊이 한계 정보를 비교하고, 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도와 제1 TOF 카메라를 통해 획득한 깊이 정보의 신뢰도를 비교할 수 있다. (S890) 본 발명은 스테레오 연산을 통해 획득한 깊이 정보가 최대 깊이 한계 정보 및 최소 깊이 한계 정보 사이에 위치하고, 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도가 제1 TOF 카메라를 통해 획득한 깊이 정보의 신뢰도 보다 높은 경우, 스테레오 연산을 통해 획득한 깊이 정보를 이용하여 깊이 이미지를 획득할 수 있다. (S860)According to the present invention, among pixels of the first TOF camera, a pixel whose reliability of the set depth information is lower than the preset reliability may be discriminated. (S850) Here, the classified pixel may correspond to a depth information value, but may correspond to a pixel whose reliability of the corresponding depth information is not high. In the present invention, when depth information of a subject corresponding to a pixel of the first TOF camera is sufficiently reliable, (S850, No), depth information obtained from a pixel of the first TOF camera may be used to implement a depth image. (S860) In the present invention, when the depth information of the subject corresponding to the pixel of the first TOF camera is insufficient to be trusted, (S850, Yes) the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera. By performing a stereo operation, depth information corresponding to a pixel can be supplemented. First, the present invention acquires maximum depth limit information and minimum depth limit information corresponding to a pixel by using depth information and reliability corresponding to a pixel, and uses this to select a candidate pixel for a stereo operation in an image of a second TOF camera. Can be selected. (S870) The present invention obtains depth information corresponding to a pixel by performing a stereo operation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera, and obtaining the reliability of the depth information obtained through stereo calculation. can do. (S880) In this case, the target of the stereo operation in the IR image of the second TOF camera may be set through the selected candidate pixel. The present invention compares depth information acquired through stereo calculation, maximum depth limit information, and minimum depth limit information, and compares the reliability of depth information acquired through stereo calculation and the reliability of depth information acquired through the first TOF camera. I can. (S890) In the present invention, the depth information obtained through the stereo operation is located between the maximum depth limit information and the minimum depth limit information, and the reliability of the depth information obtained through the stereo operation is the depth information obtained through the first TOF camera. When the reliability is higher, a depth image may be obtained using depth information obtained through a stereo operation. (S860)
구체적으로, 본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S900) 최종 깊이 이미지를 획득할 수 있다. (S910) 본 발명은 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. Specifically, the present invention may calibrate depth information acquired from each pixel (S900), and obtain a final depth image. (S910) In the present invention, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
도 16는 본 발명의 일 실시예 따라, 도 15에서 후보 픽셀을 분별하는 방법을 설명하기 위한 도면이다. 16 is a diagram for explaining a method of classifying a candidate pixel in FIG. 15 according to an embodiment of the present invention.
본 발명은 제1 TOF 카메라(520)의 이미지 센서(521)에서 특정 픽셀에 대응되는 깊이 정보를 제2 TOF 카레라(530)와 스테레오 연산을 통해 보다 정확하게 보정할 수 있다. 즉, 본 발명은 제1 TOF 카메라(520)와 제2 TOF 카메라(530)를 스테레오 연산하여, 제1 TOF 카메라(520)을 통해 획득한 깊이 정보와 실제 깊이 정보간 오차를 줄일 수 있다. In the present invention, depth information corresponding to a specific pixel in the image sensor 521 of the first TOF camera 520 may be more accurately corrected through stereo calculation with the second TOF carrera 530. That is, according to the present invention, an error between the depth information acquired through the first TOF camera 520 and the actual depth information may be reduced by performing a stereo operation on the first TOF camera 520 and the second TOF camera 530.
본 발명은 제1 TOF 카메라(520)의 이미지 센서(521)에서 특정 픽셀에 대응되는 깊이 정보의 신뢰도를 이용하여 상기 특정 픽셀의 최대 깊이 한계 정보 및 최소 깊이 한계 정보를 획득할 수 있다. In the present invention, the image sensor 521 of the first TOF camera 520 may obtain maximum depth limit information and minimum depth limit information of the specific pixel by using the reliability of depth information corresponding to a specific pixel.
본 발명은 제1 TOF 카메라(520)의 이미지 센서(521) 및 제2 TOF 카메라(530)의 이미지 센서(531)간 거리(d)와 상기 특정 픽셀과 상기 특정 픽셀에 대응되는 피사체 간 형성하는 각도 (θ) 및 획득한 상기 특정 픽셀의 최대 깊이 한계 정보 및 최소 깊이 한계 정보를 이용하여 제2 TOF 카메라(520)에서 스테레오 연산을 위한 후보 픽셀(c)을 획득할 수 있다. 여기서, 제1 TOF 카메라(520)의 이미지 센서(521) 및 제2 TOF 카메라(530)의 이미지 센서(531)간 거리(d)는 제1 TOF 카메라(520)의 광 축과 제2 TOF 카메라(530)의 광 축간 거리에 대응될 수 있다. The present invention provides a distance (d) between the image sensor 521 of the first TOF camera 520 and the image sensor 531 of the second TOF camera 530, and between the specific pixel and a subject corresponding to the specific pixel. The second TOF camera 520 may acquire a candidate pixel c for stereo computation by using the angle θ and the obtained maximum depth limit information and the minimum depth limit information of the specific pixel. Here, the distance d between the image sensor 521 of the first TOF camera 520 and the image sensor 531 of the second TOF camera 530 is the optical axis of the first TOF camera 520 and the second TOF camera. It may correspond to the distance between the optical axes of 530.
본 발명은 도 12에서 설명한 스테레오 연산을 수행함에 있어서, 제1 픽셀 블록과 비교하는 픽셀 블록을 제2 TOF 카메라(520)에서 획득한 후보 픽셀을 이용하여 한정할 수 있다. 즉, 본 발명은 제2 TOF 카메라(520)에서 획득한 후보 픽셀을 이용하여 스테레오 연산에 소요되는 로드를 줄일 수 있다. In the present invention, in performing the stereo operation described in FIG. 12, a pixel block to be compared with the first pixel block may be limited by using candidate pixels obtained from the second TOF camera 520. That is, according to the present invention, the load required for stereo calculation can be reduced by using the candidate pixels acquired by the second TOF camera 520.
도 17은 본 발명의 일 실시예에 따라, 제 3 모드에서 촬영된 깊이 이미지를 도 6의 이미지와 비교한 도면이다. 구체적으로, 도 17(a)는 트루 컬러 이미지를 도시하고 있고, 도 17(b)는 제1 모드로 동일 영역을 촬영한 깊이 이미지를 도시하고 있고, 도 17(c)는 제3모드로 동일 영역을 촬영한 깊이 이미지를 도시하고 있다. FIG. 17 is a diagram comparing a depth image captured in a third mode with the image of FIG. 6 according to an embodiment of the present invention. Specifically, FIG. 17(a) shows a true color image, FIG. 17(b) shows a depth image photographed in the same area in the first mode, and FIG. 17(c) shows the same in the third mode. It shows the depth image of the area.
본 발명의 제3 모드는 제1 모드로 획득한 깊이 이미지에서 깊이 정보의 정확성을 보완하는 모드로 하이 어큐러시 모드(High accuracy mode)로 지칭될 수 있다. The third mode of the present invention is a mode that supplements the accuracy of depth information in the depth image acquired by the first mode, and may be referred to as a high accuracy mode.
구체적으로, 도 17(c)는 도 17(b)에서 획득한 깊이 정보를 보다 정확하게 표시하여 이미지의 색 변화가 보다 입체적으로 구현된 실시 예를 도시하고 있다. Specifically, FIG. 17(c) shows an embodiment in which the depth information obtained in FIG. 17(b) is more accurately displayed so that the color change of the image is implemented more three-dimensionally.
예를 들어, 도 17(b)의 이미지는 피사체 중 사람(310)의 몸통 부분(b1)이 단색으로 표시되어 있는 실시예를 도시하고 있으나, 도 17(c)의 이미지에서 대응 부분이 보다 입체적으로 색이 배치되어 있는 것을 확인할 수 있다. 또한, 도 17(b)의 이미지는 테이블(350)이 단색으로 표시되어 있는 실시에를 도시하고 있으나, 도17(c)의 이미지에서 대응 부분은 거리에 따라 명도가 달라지는 것을 확인할 수 있다. For example, the image of FIG. 17(b) shows an embodiment in which the body part b1 of the person 310 is displayed in a single color among subjects, but the corresponding part in the image of FIG. 17(c) is more three-dimensional. You can see that the colors are arranged. In addition, although the image of FIG. 17(b) shows an example in which the table 350 is displayed in a single color, it can be seen that the brightness of the corresponding part in the image of FIG. 17(c) varies according to the distance.
도 18은 본 발명의 일 실시예에 따라, 제 3 모드의 활용예를 설명하기 위한 도면이다. 18 is a diagram for explaining an application example of a third mode according to an embodiment of the present invention.
본 발명은 제 3 모드에서 증강 현실 객체가 보다 정확하게 위치 시킬 수 있다. 도 18 (a)은 깊이 정보가 부정확하게 획득되는 경우로, 구현되는 증강 현실 객체가 부자연스러운 실시예를 도시하고 있다. 구체적으로, 도 18 (a)는 증강 현실 객체(공룡)가 피사체 중 의자에 오버랩되어 부자연스러운 화면 구성을 도시하고 있다. 반면, 도 18(b)는 깊이 정보가 보다 정확하게 획득되는 경우로, 구현되는 증강 현실 객체가 자연스럽게 배치되어 있는 실시예를 도시하고 있다. 구체적으로, 도 18(b)는 증강 현실 객체(여우)가 사용자의 손위에 정확하게 위치하는 화면 구성을 도시하고 있다. The present invention can more accurately position the augmented reality object in the third mode. FIG. 18A illustrates an embodiment in which depth information is incorrectly obtained, and an augmented reality object to be implemented is unnatural. Specifically, FIG. 18 (a) shows an unnatural screen configuration in which an augmented reality object (dinosaur) overlaps a chair among subjects. On the other hand, FIG. 18(b) shows an embodiment in which the implemented augmented reality objects are naturally arranged as a case in which depth information is more accurately obtained. Specifically, FIG. 18(b) shows a screen configuration in which an augmented reality object (fox) is accurately positioned on a user's hand.
즉, 본 발명은 제 3 모드를 통해 보다 현실감 있는 증강 현실을 구현할 수 있다. That is, the present invention can implement a more realistic augmented reality through the third mode.
도 19은 본 발명의 일 실시예에 따라, 제4 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다. 19 is a flowchart illustrating a processor for obtaining a depth image in a fourth mode according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 제4 모드로 설정할 수 있다. (S1010) 여기서 제4 모드는 제2 모드와 제3 모드를 동시에 구현하는 모드에 대응될 수 있다. The mobile terminal of the present invention may have a TOF camera provided in a stereo method as shown in FIG. 7 and set an operation mode of the TOF camera provided in a stereo method as a fourth mode. (S1010) Here, the fourth mode may correspond to a mode that simultaneously implements the second mode and the third mode.
본 발명의 이동 단말기는 제4 모드로 동작 모드를 설정한 후 스테레오 방식으로 구비된 제1 TOF 카메라 및 제2 TOF 카메라를 모두 활성 시킬 수 있다. (S1020) 이때, 본 발명은 제4 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라 및 제2 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다.The mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo method after setting the operation mode to the fourth mode. (S1020) In this case, the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the fourth mode.
본 발명은 제4 모드에서 제1 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제1 TOF 카메라의 IR 이미지를 획득할 수 있다. (S1030) 구체적으로, 제1 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S1031) 이때, 제1 TOF 카메라는 채널 A에서 0도의 위상으로 수광한 로우(raw) 데이터를 통해 0도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 180도의 위상으로 수광한 로우(raw) 데이터를 통해 180도 위상의 IR 이미지를 획득할 수 있다. 마찬가지로, 제1 TOF 카메라는 채널 A에서 90도의 위상으로 수광한 로우(raw) 데이터를 통해 90도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 270도의 위상으로 수광한 로우(raw) 데이터를 통해 270도 위상의 IR 이미지를 획득할 수 있다. 제1 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S1032) 이때, 제1 TOF 카메라는 0도의 위상으로 수광한 로우(raw) 데이터와 180도의 위상으로 수광한 로우 데이터의 차를 통해 제1 데이터를 생성하고, 90도의 위상으로 수광한 로우(raw) 데이터와 270도의 위상으로 수광한 로우 데이터의 차를 통해 제2 데이터를 생성할 수 있다. 제1 TOF 카메라는 전처리된 데이터를 이용하여 이미지 센서의 각 필셀에 대응되는 깊이 정보를 획득하고, 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S1033) 이때, 제1 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S1034)In the present invention, after activating the first TOF camera in the fourth mode, the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light. (S1030) Specifically, the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light. (S1031) At this time, the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received at a phase of 0 degrees from channel A, and a raw image received at a phase of 180 degrees from channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase. (S1032) At this time, the first TOF camera generates first data through the difference between the raw data received at the phase of 0 degrees and the raw data received at the phase of 180 degrees, and receives the raw data at a phase of 90 degrees. ) Second data may be generated through a difference between the data and the raw data received at a phase of 270 degrees. The first TOF camera may acquire depth information corresponding to each pixel of the image sensor using the preprocessed data, and may obtain reliability of the acquired depth information. (S1033) In this case, the first TOF camera may acquire an IR image using the preprocessed data. (S1034)
본 발명은 제4 모드에서 제1 TOF 카메라를 통해 IR 이미지를 획득하는 동시에, 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제2 TOF 카메라의 IR 이미지를 획득할 수 있다. (S1040) 제2 TOF 카메라에서 IR 이미지를 회득하는 단계는 제1 TOF 카메라에서 IR 이미지를 획득하는 단계와 달리 각 픽셀에 대응되는 깊이 정보를 획득하거나, 획득한 깊이 정보의 신뢰도를 획득하는 단계가 생략될 수 있다. 즉, 제2 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S1041) 제2 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S1042) 제2 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S1044)In the present invention, an IR image of the second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving reflected light while acquiring an IR image through the first TOF camera in a fourth mode. (S1040) The step of acquiring the IR image from the second TOF camera includes acquiring depth information corresponding to each pixel or acquiring the reliability of the acquired depth information, unlike the step of acquiring the IR image from the first TOF camera. Can be omitted. That is, the image sensor of the second TOF camera is synchronized with the irradiated light to receive the reflected light in phases of 0 and 180 degrees, respectively, through the channels A and B of the pixel, and sequentially receives the reflected light with a phase of 90 degrees and 270 degrees. I can. (S1041) The second TOF camera may pre-process raw data acquired in each phase. (S1042) The second TOF camera may acquire an IR image using the preprocessed data. (S1044)
본 발명은 제1 TOF 카메라에서 깊이 정보를 매칭할 수 없는 픽셀 분별할 수 있다. (S1050) 여기서 깊이 정보를 매칭할 수 없는 픽셀은 획득한 깊이 정보가 신뢰도가 낮아 대응 값으로 선정할 수 없는 픽셀에 대응될 수 있다. 즉, 광량이 너무 낮아 깊이 정보를 획득할 수 없는 픽셀은 여기서 제외될 수 있다. According to the present invention, a pixel whose depth information cannot be matched in the first TOF camera can be identified. (S1050) Here, a pixel whose depth information cannot be matched may correspond to a pixel that cannot be selected as a corresponding value due to low reliability of the acquired depth information. That is, pixels whose depth information cannot be obtained due to the amount of light being too low may be excluded here.
본 발명은 제1 TOF 카메라에서 깊이 정보를 매칭할 수 있는 픽셀 중 신뢰도가 낮은 픽셀을 분별할 수 있다. (S1060) 본 발명은 상기 픽셀을 분별하기 위해 깊이 정보를 매칭할 수 있는 픽셀의 깊이 정보 신뢰도를 기 설정 신뢰도에 비교할 수 있다. The present invention can discriminate a pixel with low reliability among pixels that can match depth information in the first TOF camera. (S1060) In order to discriminate the pixel, the present invention may compare the reliability of depth information of a pixel capable of matching depth information with a preset reliability.
본 발명은 제1 TOF 카메라에서 깊이 정보를 매칭할 수 있고, (S1050, Yes) 매칭된 깊이 정보가 충분히 신뢰할 수 있는 경우 (S1060, Yes), 매칭된 깊이 정보를 깊이 이미지를 출력하기 위한 정보로 선정할 수 있다. (S1070)In the present invention, when the depth information can be matched by the first TOF camera (S1050, Yes) and the matched depth information is sufficiently reliable (S1060, Yes), the matched depth information is used as information for outputting a depth image. Can be selected. (S1070)
본 발명은 제1 TOF 카메라의 픽셀에 깊이 정보를 매칭할 수 없는 경우, (S1080, No) 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 선정할 수 있다. 구체적으로, 본 발명은 제1 TOF 카메라에서 획득한 IR 이미지와 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여 픽셀에 대응 되는 깊이 정보를 획득하고 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 획득할 수 있다. (S1090)In the present invention, when the depth information cannot be matched to the pixel of the first TOF camera (S1080, No), the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera are stereo-calculated to correspond to the pixel. Depth information can be selected. Specifically, the present invention obtains depth information corresponding to a pixel by performing a stereo operation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera, and obtaining the reliability of the depth information obtained through stereo calculation. can do. (S1090)
본 발명은 제1 TOF 카메라의 픽셀에 매칭된 깊이 정보가 신뢰할 수 없는 경우, (S1060, No) 매칭된 깊이 정보 및 신뢰도를 이용하여 제2 TOF 카메라에서 스테레오 연산에 이용될 후보 픽셀을 선정할 수 있다. (S1080) 본 발명은 후보 픽셀을 선정하기 위해 매칭된 깊이 정보 및 신뢰도를 이용하여 최대 한계 깊이 정보 및 최소 한계 깊이 정보를 획득할 수 있다. 본 발명은 후보 픽셀을 선정하고 스테레오 연산을 하는 경우, 선정된 후보 픽셀 범위 에서 스테레오 연산을 수행함으로써 연산에 소요되는 로드를 줄일 수 있다.In the present invention, if the depth information matched to the pixel of the first TOF camera is not reliable (S1060, No), the second TOF camera can select a candidate pixel to be used for stereo calculation using the matched depth information and reliability. have. (S1080) The present invention may obtain maximum limit depth information and minimum limit depth information by using matched depth information and reliability in order to select a candidate pixel. According to the present invention, when a candidate pixel is selected and a stereo operation is performed, a load required for calculation can be reduced by performing a stereo operation in a range of the selected candidate pixel.
본 발명은 깊이 정보를 매칭할 수 없어 스테레오 연산으로 깊이 정보를 매칭하는 경우, 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도를 기 설정 신뢰도와 비교할 수 있다. (S1100) 이 때, 본 발명은 스테레오 연산을 통해 획득한 깊이 정보의 신뢰도가 기 설정 신뢰도 보다 높은 경우, 스테레오 연산을 통해 획득한 깊이 정보를 깊이 이미지를 출력하기 위한 정보로 설정할 수 있다. (S1070)In the present invention, when the depth information cannot be matched and the depth information is matched by a stereo operation, the reliability of the depth information obtained through the stereo operation may be compared with a preset reliability. (S1100) In this case, the present invention may set depth information acquired through stereo computation as information for outputting a depth image when the reliability of depth information acquired through stereo computation is higher than a preset reliability. (S1070)
또한, 본 발명은 깊이 정보를 매칭할 수 있으나 신뢰도가 낮아 깊이 정보를 보완하는 경우, 스테레오 연산을 통해 획득한 깊이 정보와 최대 한계 깊이 정보 및 최소 한계 깊이 정보를 비교하고, 스테레오 연산을 통해 획득한 깊이 정보가 제1 TOF 카메라를 통해 획득한 깊이 정보의 신뢰도와 비교할 수 있다. (S1100) 이때, 본 발명은 스테레오 연산을 통해 획득한 깊이 정보가 최소 깊이 한계 정보보다 크고, 최대 깊이 한계 정보보다 작고, 스테레오 연산을 통해 획득한 깊이 정보가 TOF 카메라를 통해 획득한 깊이 정보의 신뢰도보다 큰 경우, 스테레오 연산을 통해 획득한 깊이 정보를 깊이 이미지를 출력하기 위한 정보로 설정할 수 있다. (S1070)In addition, the present invention can match the depth information, but when the reliability is low and the depth information is supplemented, the depth information obtained through stereo calculation is compared with the maximum limit depth information and the minimum limit depth information, and the obtained through stereo calculation is performed. The depth information may be compared with the reliability of the depth information acquired through the first TOF camera. (S1100) In this case, in the present invention, the depth information obtained through the stereo operation is greater than the minimum depth limit information and is smaller than the maximum depth limit information, and the depth information obtained through the stereo operation is the reliability of the depth information obtained through the TOF camera. In a larger case, depth information obtained through stereo calculation may be set as information for outputting a depth image. (S1070)
본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S1100) 최종 깊이 이미지를 획득할 수 있다. (S1120) 구체적으로, 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. According to the present invention, depth information acquired from each pixel may be calibrated (S1100), and a final depth image may be obtained. (S1120) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
도 20은 본 발명의 일 실시예에 따라, 제4 모드의 활용예를 설명하기 위한 도면이다. 20 is a diagram for explaining an example of application of a fourth mode according to an embodiment of the present invention.
본 발명은 스테레오 방식으로 TOF카메라를 구비하여, 단일의 TOF 카메라를 통해 획득하는 깊이 정보 보다 밀도 있는 깊이 정보를 획득할 수 있다. 본 발명은 깊이 정보를 획득한 영역에 증강 현실 객체를 구현함으로써 구현된 증강 현실과 용이하게 인터렉션할 수 있다. According to the present invention, a TOF camera is provided in a stereo method, so that depth information that is denser than depth information obtained through a single TOF camera can be obtained. The present invention can easily interact with the implemented augmented reality by implementing an augmented reality object in an area where depth information is acquired.
또한, 본 발명은 스테레오 방식으로 TOF 카메라를 구비하여, 단일의 TOF 카메라를 통해 획득하는 깊이 정보 보다 정확한 깊이 정보를 획득할 수 있다. 본 발명은 정확한 깊이 정보를 획득한 영역에 증강 현실 객체를 구현함으로써 구현된 증강 현실을 보다 현실감 있게 사용자에게 인식시킬 수 있다. In addition, according to the present invention, since the TOF camera is provided in a stereo method, more accurate depth information can be obtained than depth information obtained through a single TOF camera. According to the present invention, by implementing an augmented reality object in an area where accurate depth information is obtained, the implemented augmented reality can be recognized by a user in a more realistic sense.
도 21은 본 발명의 일 실시에에 따라, 아웃도어 모드에서 깊이 이미지를 획득하는 프로세서를 설명하기 위한 흐름도이다. 21 is a flowchart illustrating a processor for acquiring a depth image in an outdoor mode according to an embodiment of the present invention.
본 발명의 이동 단말기는 도 7과 같이 스테레오 방식으로 구비된 TOF 카메라를 구비하고, 스테레오 방식으로 구비된 TOF 카메라의 동작 모드를 아웃 도어 모드로 설정할 수 있다. (S1210) TOF 카메라는 외부 광이 강한 경우 깊이 이미지의 신뢰도가 떨어지므로, 이 경우 아웃 도어 모드로 설정될 수 있다. 아웃 도어 모드는 이동 단말기가 조도를 감지하고 실행되거나, 사용자의 선택 또는 실행되는 어플리케이션에 대응하여 실행될 수 있다. The mobile terminal of the present invention includes a TOF camera provided in a stereo method as shown in FIG. 7, and an operation mode of the TOF camera provided in a stereo method may be set to an outdoor mode. (S1210) Since the reliability of the depth image decreases when the external light is strong, the TOF camera may be set to an outdoor mode in this case. In the outdoor mode, the mobile terminal detects and executes illumination, or may be executed in response to an application selected or executed by a user.
본 발명의 이동 단말기는 아웃 도어 모드로 동작 모드를 설정한 후 스테레오 방식으로 구비된 제1 TOF 카메라 및 제2 TOF 카메라를 모두 활성 시킬 수 있다. (S1220) 이때, 본 발명은 아웃 도어 모드에서 광 조사부에서 광을 조사하는 신호에 맞춰 제1 TOF 카메라 및 제2 TOF 카메라에서 광을 수광 하는 신호를 설정할 수 있다.The mobile terminal of the present invention can activate both the first TOF camera and the second TOF camera provided in a stereo manner after setting the operation mode to the outdoor mode. (S1220) In this case, the present invention may set a signal for receiving light from the first TOF camera and the second TOF camera in accordance with a signal irradiating light from the light irradiating unit in the outdoor mode.
본 발명은 아웃 도어 모드에서 제1 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제1 TOF 카메라의 IR 이미지를 획득할 수 있다. (S1230) 구체적으로, 제1 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S1231) 이때, 제1 TOF 카메라는 채널 A에서 0도의 위상으로 수광한 로우(raw) 데이터를 통해 0도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 180도의 위상으로 수광한 로우(raw) 데이터를 통해 180도 위상의 IR 이미지를 획득할 수 있다. 마찬가지로, 제1 TOF 카메라는 채널 A에서 90도의 위상으로 수광한 로우(raw) 데이터를 통해 90도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 270도의 위상으로 수광한 로우(raw) 데이터를 통해 270도 위상의 IR 이미지를 획득할 수 있다. 제1 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S1232) 제1 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S1234)In the present invention, after activating the first TOF camera in the outdoor mode, the IR image of the first TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light. (S1230) Specifically, the image sensor of the first TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light. (S1231) At this time, the first TOF camera may acquire an IR image with a phase of 0 degrees through raw data received with a phase of 0 degrees from channel A, and a raw image received with a phase of 180 degrees from channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the first TOF camera can acquire an IR image of 90 degrees phase through raw data received in a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The first TOF camera may pre-process raw data acquired in each phase. (S1232) The first TOF camera may acquire an IR image using the preprocessed data. (S1234)
본 발명은 아웃 도어 모드에서 제2 TOF 카메라를 활성 시킨 후 광 조사부에서 광을 조사하고 반사된 광을 수광하여 제2 TOF 카메라의 IR 이미지를 획득할 수 있다. (S1240) 구체적으로, 제2 TOF 카메라의 이미지 센서는 조사광에 싱크되어 픽셀의 채널 A 및 채널 B를 통해 각각 0도 및 180도 위상으로 반사광을 수광하고, 순차적으로 90도 및 270도의 위상으로 반사광을 수광할 수 있다. (S1241) 이때, 제1 TOF 카메라는 채널 A에서 0도의 위상으로 수광한 로우(raw) 데이터를 통해 0도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 180도의 위상으로 수광한 로우(raw) 데이터를 통해 180도 위상의 IR 이미지를 획득할 수 있다. 마찬가지로, 제2 TOF 카메라는 채널 A에서 90도의 위상으로 수광한 로우(raw) 데이터를 통해 90도 위상의 IR 이미지를 획득할 수 있으며, 채널 B에서 270도의 위상으로 수광한 로우(raw) 데이터를 통해 270도 위상의 IR 이미지를 획득할 수 있다. 제2 TOF 카메라는 각 위상에서 획득한 로우(raw) 데이터를 전처리할 수 있다. (S1242) 제1 TOF 카메라는 전처리된 데이터를 이용하여 IR 이미지를 획득할 수 있다. (S1244)In the present invention, after activating the second TOF camera in the outdoor mode, the IR image of the second TOF camera may be obtained by irradiating light from a light irradiation unit and receiving the reflected light. (S1240) Specifically, the image sensor of the second TOF camera is synchronized with the irradiation light to receive the reflected light in phases of 0 degrees and 180 degrees, respectively, through channels A and B of the pixels, and sequentially with a phase of 90 degrees and 270 degrees. It can receive reflected light. (S1241) At this time, the first TOF camera may acquire an IR image of a phase of 0 degrees through raw data received at a phase of 0 degrees in channel A, and a raw image received with a phase of 180 degrees in channel B. ) Through the data, it is possible to obtain an IR image of 180 degrees phase. Similarly, the second TOF camera can obtain an IR image of 90 degrees phase through raw data received at a phase of 90 degrees in channel A, and raw data received in a phase of 270 degrees in channel B. Through this, an IR image with a phase of 270 degrees can be obtained. The second TOF camera may pre-process raw data acquired in each phase. (S1242) The first TOF camera may acquire an IR image using the preprocessed data. (S1244)
본 발명은 아웃 도어 모드에서 제1 TOF 카메라를 통해 획득한 IR 이미지 및 제2 TOF 카메라를 통해 획득한 IR 이미지를 스테레오 연산하여 깊이 이미지를 획득할 수 있다. (S1250) 이 경우, 본 발명은 제1 TOF 카메라에서 깊이 이미지 또는 깊이 정보를 획득하는 과정을 생략할 수 있다. 본 발명은 제1 TOF 카메라 및 제2 TOF 카메라에서 각각 획득한 IR 이미지를 스테레오 연산하여 획득한 깊이 정보를 깊이 이미지를 구현하기 위한 정보로 선정할 수 있다 (S1260)In the present invention, a depth image may be obtained by performing a stereo operation on an IR image acquired through a first TOF camera and an IR image acquired through a second TOF camera in an outdoor mode. (S1250) In this case, the present invention may omit the process of obtaining the depth image or depth information from the first TOF camera. According to the present invention, depth information obtained by performing stereo calculations on IR images obtained by each of the first TOF camera and the second TOF camera may be selected as information for implementing the depth image (S1260).
본 발명은 각 픽셀에서 획득한 깊이 정보를 캘리브레이션(calibration)하고, (S1280) 최종 깊이 이미지를 획득할 수 있다. (S1270) 구체적으로, 촬영 온도, 촬영 거리, 픽셀 별 편차 등을 고려하여 각 픽셀에 대응되는 깊이 정보를 캘리브레이션하고 최종 깊이 이미지를 획득할 수 있다. In the present invention, depth information acquired from each pixel may be calibrated (S1280), and a final depth image may be obtained. (S1270) Specifically, depth information corresponding to each pixel may be calibrated in consideration of a photographing temperature, a photographing distance, and a deviation for each pixel, and a final depth image may be obtained.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.The above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Claims (15)

  1. 피사체를 향해 적외선을 조사하는 광 조사부;A light irradiation unit that irradiates infrared rays toward the subject;
    상기 피사체에 반사된 적외선을 수광 하는 제1 TOF 카메라;A first TOF camera that receives infrared rays reflected from the subject;
    상기 제1 TOF 카메라에 이격된 위치에서 상기 피사체에 반사된 적외선을 수광하는 제2 TOF 카메라; 및A second TOF camera configured to receive infrared rays reflected from the subject at a position spaced apart from the first TOF camera; And
    상기 광 조사부, 상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 제어하는 제어부;를 포함하고,Including; a control unit for controlling the light irradiation unit, the first TOF camera and the second TOF camera,
    상기 제어부는The control unit
    상기 제1 TOF 카메라에서 획득한 깊이 이미지에서 깊이 정보의 신뢰도가 낮은 픽셀을 분별하고,Identifying pixels with low reliability of depth information from the depth image acquired by the first TOF camera,
    상기 제1 TOF 카메라에서 획득한 IR 이미지 및 제2 TOF 카메라에서 획득한 IR 이미지를 스테레오 연산하여, 상기 신뢰도가 낮은 픽셀의 깊이 정보가 보정된 깊이 이미지를 획득하는 것을 특징으로 하는 이동 단말기.And obtaining a depth image obtained by performing a stereo calculation on the IR image obtained from the first TOF camera and the IR image obtained from the second TOF camera to obtain a depth image corrected for the depth information of the pixel having low reliability.
  2. 제1항에 있어서,The method of claim 1,
    상기 깊이 정보의 신뢰도는The reliability of the depth information is
    광량 데이터 및 기 설정 프레임 동안 획득한 깊이 정보의 표준 편차 중 적어도 하나를 이용하여 획득하는 것을 특징으로 하는 이동 단말기. A mobile terminal, characterized in that the mobile terminal is obtained by using at least one of light quantity data and a standard deviation of depth information acquired during a preset frame.
  3. 제1항에 있어서,The method of claim 1,
    상기 깊이 정보의 신뢰도가 낮은 픽셀은Pixels with low reliability of the depth information
    깊이 정보를 추출할 수 있으나, 제1 신뢰도 보다 낮아 대표 깊이 정보를 선정할 수 없는 제1 픽셀 및 Depth information can be extracted, but the first pixel and the representative depth information can not be selected lower than the first reliability
    대표 깊이 정보를 선정할 수 있으나, 제2 신뢰도 보다 낮아 오차 범위가 큰 제2 픽셀 중 적어도 하나를 포함하는 것을 특징으로 하는 이동 단말기. A mobile terminal comprising at least one of second pixels having a large error range lower than the second reliability, although representative depth information may be selected.
  4. 제3항에 있어서,The method of claim 3,
    상기 제어부는The control unit
    상기 제1 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 픽셀을 포함하는 제1 픽셀 블록을 설정하고,Set a first pixel block including the first pixel in the IR image acquired by the first TOF camera,
    상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 픽셀 블록과 유사한 제2 픽셀 블록을 확인하고,In the IR image acquired by the second TOF camera, a second pixel block similar to the first pixel block is identified,
    상기 제1 픽셀 블록과 상기 제2 픽셀 블록이 신뢰할 수준의 유사함을 가지는 경우, 상기 제2 픽셀 블록에서 상기 제1 픽셀에 대응 픽셀을 분별하고, When the first pixel block and the second pixel block have a reliable level of similarity, the second pixel block identifies a corresponding pixel to the first pixel, and
    스테레오 연산을 통해 상기 제1 픽셀에 대응되는 깊이 정보를 획득하는 것을 특징으로 하는 이동 단말기. A mobile terminal, characterized in that acquiring depth information corresponding to the first pixel through a stereo operation.
  5. 제4항에 있어서,The method of claim 4,
    상기 제어부는The control unit
    상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 TOF 카메라와 제2 TOF 카메라가 이격된 방향을 따라 상기 제1 픽셀 블록과 동일 크기의 픽셀 블록을 이동하며 상기 제2 픽셀 블록을 확인하는 것을 특징으로 하는 이동 단말기.In the IR image acquired by the second TOF camera, moving a pixel block having the same size as the first pixel block along a direction apart from the first TOF camera and the second TOF camera to check the second pixel block Mobile terminal characterized in that.
  6. 제5항에 있어서, The method of claim 5,
    상기 제어부는The control unit
    상기 제2 픽셀 블록과 상기 제1 픽셀 블록의 유사 값이 다른 픽셀 블록과 상기 제1 필셀 블록의 유사 값 보다 크고, 첨단 값을 구성하는 경우, 상기 제1 픽셀 블록과 상기 제2 픽셀 블록의 유사도를 신뢰하는 것을 특징으로 하는 이동 단말기. When a similar value between the second pixel block and the first pixel block is greater than a similar value between another pixel block and the first pixel block, and constitutes a peak value, the similarity between the first pixel block and the second pixel block Mobile terminal, characterized in that to trust.
  7. 제3항에 있어서,The method of claim 3,
    상기 제어부는The control unit
    상기 제2 픽셀에 대응되는 최대 한계 깊이 정보 및 최소 한계 깊이 정보를 획득하고,Obtaining maximum limit depth information and minimum limit depth information corresponding to the second pixel,
    상기 제1 TOF 카메라에서 획득한 IR 이미지에서 상기 제3 픽셀 블록과 유사한 제4 픽셀 블록을 확인하고,In the IR image acquired by the first TOF camera, a fourth pixel block similar to the third pixel block is identified,
    상기 제3 픽셀 블록과 상기 제4 픽셀 블록이 신뢰한 수준의 유사함을 가지는 경우, 상기 제4 픽셀 블록에서 상기 제2 픽셀에 대응 픽셀을 분별하여 스테레오 연산을 통해 상기 제2 픽셀에 대응되는 깊이 정보를 획득하고, When the third pixel block and the fourth pixel block have a trusted level of similarity, a depth corresponding to the second pixel is determined through a stereo operation by discriminating a pixel corresponding to the second pixel in the fourth pixel block. Obtain information,
    상기 스테레오 연산을 통해 획득한 상기 제2 픽셀에 대응되는 깊이 정보가 상기 최대 한계 깊이 정보와 상기 최소 한계 깊이 정보 내에 포함되는 경우, 상기 제2 픽셀에 대응되는 깊이 정보를 스테레오 연산을 통해 획득한 깊이 정보로 보정하는 것을 특징으로 하는 이동 단말기. When depth information corresponding to the second pixel obtained through the stereo operation is included in the maximum limit depth information and the minimum limit depth information, depth information corresponding to the second pixel is obtained through a stereo operation. Mobile terminal, characterized in that the correction with information.
  8. 제7항에 있어서,The method of claim 7,
    상기 제어부는 The control unit
    상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제1 TOF 카메라와 제2 TOF 카메라가 이격된 방향을 따라 특정 범위 내에서 상기 제1 픽셀 블록과 동일 크기의 픽셀 블록을 이동하며 상기 제2 픽셀 블록을 확인하고,In the IR image acquired by the second TOF camera, the second pixel block moves a pixel block having the same size as the first pixel block within a specific range along a direction spaced apart from the first TOF camera and the second TOF camera. To check,
    상기 특정 범위는The above specific range is
    상기 제2 TOF 카메라에서 획득한 IR 이미지에서 상기 제2 픽셀에 대응되는 상기 최대 한계 깊이 정보 및 상기 최소 한계 깊이 정보를 이용하여 획득한 후보 픽셀군을 포함하는 것을 특징으로 하는 이동 단말기.And a candidate pixel group obtained by using the maximum limit depth information and the minimum limit depth information corresponding to the second pixel in the IR image acquired by the second TOF camera.
  9. 제8항에 있어서,The method of claim 8,
    상기 후보 픽셀군은The candidate pixel group is
    상기 제2 픽셀에 대응되는 상기 최대 한계 깊이 정보 및 상기 최소 한계 깊이 정보, 상기 제1 TOF 카메라와 상기 제2 TOF 카메라의 이격 거리, 상기 제2 픽셀과 대응되는 피사체의 일부분이 형성하는 각도 정보를 이용하여 획득 되는 것을 특징으로 하는 이동 단말기. The maximum limit depth information and the minimum limit depth information corresponding to the second pixel, a separation distance between the first TOF camera and the second TOF camera, and angle information formed by a part of a subject corresponding to the second pixel Mobile terminal, characterized in that obtained by using.
  10. 제7항에 있어서,The method of claim 7,
    상기 제어부는The control unit
    상기 제3 픽셀 블록과 상기 제4 픽셀 블록의 유사도 값이 다른 픽셀 블록과 상기 제 3 픽셀 블록의 유사도 값 보다 크고, 첨단 값을 구성하는 경우, 상기 제3 픽셀 블록과 상기 제4 픽셀 블록의 유사도를 신뢰하는 것을 특징으로 하는 이동 단말기. When a similarity value between the third pixel block and the fourth pixel block is greater than a similarity value between another pixel block and the third pixel block, and constitutes a peak value, the similarity between the third pixel block and the fourth pixel block Mobile terminal, characterized in that to trust.
  11. 제3항에 있어서,The method of claim 3,
    상기 제어부는The control unit
    동작 모드에 대응하여 상기 제1 TOF 카메라를 활성 시키거나, 상기 제2 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키는 것을 특징으로 하는 이동 단말기. And activating the first TOF camera or activating the second TOF camera and the second TOF camera in response to an operation mode.
  12. 제11항에 있어서,The method of claim 11,
    상기 동작 모드는The operation mode is
    상기 제1 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지를 보정 없이 획득하는 제1 모드,A first mode for activating the first TOF camera and obtaining a depth image of the first TOF camera without correction,
    상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제1 픽셀에 대응되는 깊이 정보를 획득하는 제2 모드,A second mode for activating the first TOF camera and the second TOF camera, and obtaining depth information corresponding to the first pixel from a depth image of the first TOF camera,
    상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제2 픽셀에 대응되는 깊이 정보를 보정하는 제3 모드,A third mode in which the first TOF camera and the second TOF camera are activated, and depth information corresponding to the second pixel in the depth image of the first TOF camera is corrected,
    상기 제1 TOF 카메라 및 상기 제2 TOF 카메라를 활성 시키고, 상기 제1 TOF 카메라의 깊이 이미지에서 상기 제1 픽셀에 대응되는 깊이 정보를 획득하고, 상기 제2 픽셀에 대응되는 깊이 정보를 보정하는 제4 모드를 포함하는 것을 특징으로 하는 이동 단말기.The first TOF camera and the second TOF camera are activated, the depth information corresponding to the first pixel is obtained from the depth image of the first TOF camera, and the depth information corresponding to the second pixel is corrected. Mobile terminal comprising a 4 mode.
  13. 제1항에 있어서,The method of claim 1,
    상기 광 조사부는 모듈화된 광을 조사하고, The light irradiation unit irradiates modularized light,
    상기 제1 TOF 카메라 및 제2 TOF 카메라는 The first TOF camera and the second TOF camera
    상기 광 조사부에서 조사된 모듈화된 광을, 각 픽셀에 구비된 제1 채널 및 제2 채널에서 동일 위상으로 광을 수신하는 것을 특징으로 하는 이동 단말기.And receiving the modulated light irradiated by the light irradiation unit at the same phase in a first channel and a second channel provided in each pixel.
  14. 제13항에 있어서,The method of claim 13,
    상기 제1 TOF 카메라 및 제2 TOF 카메라는 The first TOF camera and the second TOF camera
    각 픽셀에 구비된 제1 채널 및 제2 채널에서 각각 0 및 180 로 반사광을 수신하여 그 차 값을 통해 제1 로우(raw) 데이터를 획득하고, 연속적으로 90 및 270로 반사광을 수신하여 그 차 값을 통해 제2 로우(raw) 데이터를 획득하는 것을 특징으로 하는 이동 단말기.The first and second channels provided in each pixel receive reflected light at 0 and 180, respectively, obtain first raw data through the difference value, and successively receive reflected light at 90 and 270 to obtain the difference. A mobile terminal, characterized in that acquiring second raw data through a value.
  15. 제14항에 있어서,The method of claim 14,
    상기 제1 TOF 카메라 및 제2 TOF 카메라는The first TOF camera and the second TOF camera
    각각 상기 제1 로우(raw) 데이터의 및 상기 제2 로우(raw) 데이터의 크기를 이용하여 상기 IR 이미지를 획득하고, Acquiring the IR image using the sizes of the first and second raw data, respectively,
    각각 상기 제1 로우(raw) 데이터와와 제2 로우(raw) 데이터의 비를 이용하여 상기 깊이 이미지를 획득하는 것을 특징으로 하는 이동 단말기.A mobile terminal, wherein the depth image is obtained by using a ratio of the first raw data and the second raw data, respectively.
PCT/KR2019/012841 2019-10-01 2019-10-01 Mobile terminal WO2021066219A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/012841 WO2021066219A1 (en) 2019-10-01 2019-10-01 Mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/012841 WO2021066219A1 (en) 2019-10-01 2019-10-01 Mobile terminal

Publications (1)

Publication Number Publication Date
WO2021066219A1 true WO2021066219A1 (en) 2021-04-08

Family

ID=75338273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012841 WO2021066219A1 (en) 2019-10-01 2019-10-01 Mobile terminal

Country Status (1)

Country Link
WO (1) WO2021066219A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085492A1 (en) * 2021-11-09 2023-05-19 한국전자기술연구원 Method for supporting 3d space map for ar content using kinect devices, and electronic device supporting same
WO2023210940A1 (en) * 2022-04-26 2023-11-02 삼성전자 주식회사 Electronic device and method for using camera according to wearing of lens-type accessory

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130099735A (en) * 2012-02-29 2013-09-06 삼성전자주식회사 Method and fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition
KR20140054865A (en) * 2012-10-30 2014-05-09 삼성전자주식회사 Method and apparatus of recognizing a motion
KR20140054797A (en) * 2012-10-29 2014-05-09 삼성전기주식회사 Electronic device and image modification method of stereo camera image using thereof
KR20140123079A (en) * 2012-01-23 2014-10-21 마이크로소프트 코포레이션 3d zoom imager
US20150355330A1 (en) * 2012-11-08 2015-12-10 Bluetechnix Gmbh Recording method for at least two tof cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140123079A (en) * 2012-01-23 2014-10-21 마이크로소프트 코포레이션 3d zoom imager
KR20130099735A (en) * 2012-02-29 2013-09-06 삼성전자주식회사 Method and fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition
KR20140054797A (en) * 2012-10-29 2014-05-09 삼성전기주식회사 Electronic device and image modification method of stereo camera image using thereof
KR20140054865A (en) * 2012-10-30 2014-05-09 삼성전자주식회사 Method and apparatus of recognizing a motion
US20150355330A1 (en) * 2012-11-08 2015-12-10 Bluetechnix Gmbh Recording method for at least two tof cameras

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085492A1 (en) * 2021-11-09 2023-05-19 한국전자기술연구원 Method for supporting 3d space map for ar content using kinect devices, and electronic device supporting same
WO2023210940A1 (en) * 2022-04-26 2023-11-02 삼성전자 주식회사 Electronic device and method for using camera according to wearing of lens-type accessory

Similar Documents

Publication Publication Date Title
WO2017051975A1 (en) Mobile terminal and control method therefor
WO2020246727A1 (en) Foldable electronic device and method for displaying information in foldable electronic device
WO2016076474A1 (en) Mobile terminal and method for controlling same
WO2017018603A1 (en) Mobile terminal and method of controlling same
WO2019160198A1 (en) Mobile terminal and control method therefor
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2017204498A1 (en) Mobile terminal
WO2017026555A1 (en) Mobile terminal
WO2020256168A1 (en) Mobile terminal
WO2017026554A1 (en) Mobile terminal
WO2017171412A2 (en) Image processing apparatus and mobile terminal
WO2019231042A1 (en) Biometric authentication device
WO2017022872A1 (en) Head mounted display and control method thereof
WO2015174611A1 (en) Mobile terminal and control method therefor
WO2017052004A1 (en) Mobile terminal and control method therefor
WO2018052159A1 (en) Mobile terminal and control method therefor
WO2016013768A1 (en) Mobile terminal and control method therefor
WO2021066219A1 (en) Mobile terminal
WO2016195197A1 (en) Pen terminal and method for controlling the same
WO2017051961A1 (en) Terminal apparatus and control method therefor
WO2018155763A1 (en) Display device and control method therefor
WO2016035920A1 (en) Mobile terminal and control method therefor
WO2019177218A1 (en) Optical device
WO2020013363A1 (en) Mobile terminal and control method thereof
WO2022098204A1 (en) Electronic device and method for providing virtual reality service

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947696

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947696

Country of ref document: EP

Kind code of ref document: A1