WO2020111861A1 - 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기 - Google Patents

광학 장치, 및 이를 구비하는 카메라 장치와 전자기기 Download PDF

Info

Publication number
WO2020111861A1
WO2020111861A1 PCT/KR2019/016703 KR2019016703W WO2020111861A1 WO 2020111861 A1 WO2020111861 A1 WO 2020111861A1 KR 2019016703 W KR2019016703 W KR 2019016703W WO 2020111861 A1 WO2020111861 A1 WO 2020111861A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
output
light emitting
control unit
sensor
Prior art date
Application number
PCT/KR2019/016703
Other languages
English (en)
French (fr)
Inventor
조아영
신윤섭
지석만
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020111861A1 publication Critical patent/WO2020111861A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/22—Illumination; Arrangements for improving the visibility of characters on dials
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to an optical device, a camera device and an electronic device including the same, and more specifically, an optical device capable of adaptively adjusting the emission intensity of the output light of the optical device according to the presence or absence of various light sources in the surrounding environment. And camera devices and electronic devices including the same.
  • a mobile terminal is a portable device that is portable and has one or more functions for performing voice and video calls, a function for inputting and outputting information, and a function for storing data.
  • functions of these mobile terminals are diversified, complex functions such as taking pictures or videos, playing music files or video files, receiving games, broadcasting, wireless Internet, and sending and receiving messages are provided. multimedia player).
  • new attempts have been applied variously in terms of hardware or software to implement complex functions.
  • the present invention provides an optical device capable of adaptively adjusting the emission intensity of output light of an optical device, a camera device and an electronic device including the same, according to the presence or absence of various light sources in the surrounding environment. There is a purpose.
  • an object of the present invention is to provide an optical device capable of stably tracking the gaze direction of an object and a camera device and electronic devices including the same despite the presence or absence of various light sources in the surrounding environment.
  • the camera device for achieving the above object includes the optical device as described above, and includes a lens device, an image sensor, and a processor.
  • control unit detects a face region, an eye region, an iris region, and a pupil region of an object based on an image detected by the sensor during the first period, and the During a second period, glint is detected in a pixel corresponding to the eye region of the sensor. Therefore, it is possible to stably track the gaze direction of the object despite the presence or absence of various light sources in the surrounding environment.
  • FIG. 2 is a block diagram of the mobile terminal of FIG. 1.
  • 6A to 6B are diagrams illustrating an example of controlling output light according to received light in an optical device according to an embodiment of the present invention.
  • 10A to 10C are views for describing an operation section of the light emitting unit of the optical device of FIG. 9.
  • a case forming the appearance of the mobile terminal 100 is formed by a front case 100-1 and a rear case 100-2.
  • Various electronic components may be embedded in the space formed by the front case 100-1 and the rear case 100-2.
  • a second camera device 195b, a third camera device 195c, a flash 196, and a third user input unit 130c may be disposed on the rear surface of the rear case 100-2.
  • the short-range communication module 117 refers to a module for short-range communication.
  • Bluetooth radio frequency identification (RFID), infrared data association (IrDA), ultra wideband (UWB), ZigBee, Near Field Communication (NFC) may be used as the short-range communication technology.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra wideband
  • ZigBee Near Field Communication
  • NFC Near Field Communication
  • a plurality of microphones 123 may be disposed at different positions.
  • the audio signal received from each microphone may be processed by the terminal controller 170 or the like.
  • the pressure sensor 143 may detect whether pressure is applied to the mobile terminal 100 and the size of the pressure.
  • the terminal control unit 170 may include an application processor (not shown) for driving an application.
  • the application processor (not shown) may be provided separately from the terminal controller 170.
  • Pattern illumination can project light to form a predetermined pattern.
  • the light reflected from the projected object is returned, and depth information of a part of the image may be extracted based on the detection result.
  • the structured light method of extracting depth information using light arranged to form a predetermined pattern is a general technique, a detailed description thereof will be omitted.
  • the light emission control unit 317 may classify the movement speed of the mobile terminal 100 or the optical device 310 into a plurality of sections, and distinguish an operation mode for each section.
  • the light emission control unit 317 may set the output light emission period of the light emitting element 316-1 differently in each operation mode.
  • the sensor control unit 314 may control the sensor 313 so that the operation of the sensor 313 is synchronized with the output light emission period in each operation mode.
  • the light emission control unit 317 emits output light by using both the motion information of the object transmitted by the sensor control unit 314 and the motion information of the mobile terminal 100 received from the terminal control unit 170 of the mobile terminal 100. You can also change the cycle.
  • the light emission control unit 317 may vary the output light emission period of the light emitting element in consideration of only the movement speed of the object. Can be controlled.
  • the light emission control unit 317 may provide output light emission period information of the light emitting device 316-1 to the sensor control unit 314 and the terminal control unit 170 of the mobile terminal 100.
  • the filter 312 may pass only light of a specific wavelength among the received light to the sensor 313.
  • the specific wavelength of light may be infrared. Therefore, the filter 312 may be a band pass filter that transmits infrared rays.
  • the sensor control unit 314 may transmit the first signal information output from the sensor 313 to the light emission control unit 317.
  • the sensor receives the output light emission period information of the light emitting device 316-1 from the light emitting control unit 310, so that the sensor 313 is synchronized and activated in an ON section of the light emitting device 316-1.
  • the operation of 313 can be controlled.
  • the sensor control unit 314 may transmit the motion information to the light emission control unit 317 and the terminal control unit 170 of the mobile terminal 100.
  • the image sensor 322 may be a frame-based sensor, and acquires frame-by-frame information from all pixels. Accordingly, the image sensors 820 may sense and output RGB images, respectively.
  • the camera control unit 323 controls the image sensor 322 to store the RGB image based on the sensed signal, and controls exposure of the camera according to the surrounding environment.
  • the camera control unit 323 may control the number of RGB image acquisitions to be reduced within one period of the output light emission period, and the output light emission period is long In case of loss, within one period of the output light emission period, the number of RGB image acquisitions can be controlled to increase. Therefore, even when the image acquisition speed of the camera device 320 is fixed, there is an effect that can interlock the operation of the optical device 310 and the camera device 320.
  • the terminal controller 170 may generate a new image by synthesizing the motion information and the RGB image.
  • the generated new image may be stored in the memory 160 of the mobile terminal 100, and may be output through the display 180 as necessary.
  • Whether the camera device 320 and the optical device 310 are operated or interlocked may be input through the user input unit 130, and the terminal control unit 170 may determine whether the camera device 320 is operated or not, depending on whether the camera device 320 is operated or interlocked. ) And the optical device 310 can be controlled on, off, and interlocked.
  • the optical device 340 according to the present embodiment, according to the light emitting unit 346 for emitting the output light of a specific wavelength, the sensor 343 for receiving the received light corresponding to the output light, and the amount of change in the received light, A control unit 347 for controlling at least one of the output light emission period or the output light emission intensity of the light emitting device may be provided.
  • control unit 347 performs both the operation of the sensor control unit 314 and the light emission control unit 317. Accordingly, all other components except the control unit 347 of FIG. 3B have the same operation as those of FIG. 3A described above, and include all of the operations of the components of FIG. 3A described above.
  • the control unit 347 receives the received light data detected by the sensor 343, and controls at least one of the output light emission period or output light emission intensity of the light emitting element 346-1 according to the change amount of the received light can do.
  • the controller 347 may detect and track the movement of the object based on the pixel-based change data.
  • the movement of the object may be detected using the first signal output from the sensor 343.
  • the control unit 347 may control the sensor 343 such that the operation section of the sensor 343 includes the ON section of the light emitting element 346-1.
  • the length of the operation section may be determined by the performance of the photodiode formed on the sensor 343.
  • control unit 347 may control the output speed of the light emitting device to be shortened as the speed of movement of the object or the speed of movement of the electronic device becomes shorter, and the speed of movement of the object or the speed of movement of the electronic device may be slower. The more, the output light emission period can be controlled to be long.
  • control unit 377 and the sensor 373 of FIG. 3B have the same operation as those of the component of FIG. 3A described above, and include all of the operation of the components of FIG. 3A described above. .
  • the senor 373 does not operate in the asynchronous manner described above, but acquires data for every pixel in each frame.
  • the received light corresponding to the infrared output light emitted from the light emitting element 376-1 may be received by the IR cell.
  • the controller 377 may derive the amount of change in the received light by comparing the value sensed by the IR cell with the value sensed by the previous frame.
  • the number of first signals is extracted by dividing the variation of the received light by the third set value.
  • the extracted first signal is an event signal, like the first signal of the other example, and can be used to calculate the movement of the object and the speed of movement.
  • 6A to 6B are diagrams illustrating an example of controlling output light according to received light in an optical device according to an embodiment of the present invention.
  • the control unit 347 counts the first signal twice in the turn-on periods 631 and 633, and counts the first signal twice in the turn-off periods 632 and 634. do.
  • the sum of the number of occurrences of the first signal is 4, and is smaller than the first set value N1.
  • the received light incident on the sensor 343 appears as a combination of light from an external light source reflected by an object and light from an output light reflected by an object.
  • the control unit 347 the number of occurrences of the first signal counted during at least one of the turn-on periods 671 and 673 or the turn-off periods 672 and 674 of the light emitting element 346-1 is first If it is equal to or greater than the set value N1, the output light emission intensity may be reduced, and when it is equal to or less than the second set value N2, the output light emission intensity may be increased.
  • the controller 347 may appropriately control the output light emission intensity for object motion detection and tracking.
  • the control unit 347 detects the number of occurrences of the first signal output by the sensor 343 according to the change in the received light (S711). The number of occurrences is compared with the first set value N1 and the second set value N2 (S712).
  • the controller 347 tracks the movement of the object (S732).
  • 8A is a flow chart showing the operation of the control unit 347 of the turn-on section and the turn-off section of the light emitting element 346-1. Since it is the same as the operation of the control unit 347 of FIG. 7A described above, a detailed description is omitted.
  • control unit 917 may control the shorter the movement speed of the object or the faster the movement speed of the electronic device, the shorter the emission period of the output light of the light emitting element, and the slower the movement speed of the object or the movement speed of the electronic device. The more, the output light emission period can be controlled to be long.
  • the control unit 917 may provide motion information of the object and output light emission period information of the first and second light emitting elements 916-1 and 916-2 to the terminal control unit 170 of the mobile terminal 100. .
  • the output light emission period may be composed of a first section 1011 and a second section 1012.
  • the second light emitting element 916-2 is turned off during the first period 1011, and repeatedly turned on or off during the second period 1012 to output a pulsed second output. It can output light.
  • the output light of a certain intensity is output from the light emitting element 916-2.
  • a change in received light corresponding to the output light may occur.
  • the sensor 913 detects the amount of change in the received light, and the controller 917 detects and tracks the movement of the object based on the first signal.
  • the sensor 913 may output only the size of the received light incident on a specific pixel.
  • the control unit 917 may grasp the amount of change in the value output from the sensor 913 and determine that the first signal is generated whenever the magnitude of the change amount is greater than or equal to the third set value.
  • the turn-on section and the turn-off section are sections in which the second light emitting element 916-2 is turned on and sections, respectively.
  • the intensity of the output light of the second light emitting element 916-2 increases, and accordingly, the first signal is output from the sensor 913.
  • the intensity of the output light of the second light emitting element 916-2 decreases, and accordingly, the first signal is output from the sensor 913.
  • the control unit 917 displays the first output light. And reducing the emission intensity of the second output light, and increasing the emission intensity of the first output light and the second output light when it is equal to or less than the second set value.
  • the control unit 917 may control the output light emission sensitivity using only the number of occurrences of the first signal output during the turn-on period, and output light using only the number of occurrences of the first signal output during the turn-off period Emission sensitivity can be controlled.
  • the output light emission sensitivity may be controlled using the sum of the number of occurrences of the first signal output during the turn-on period and the turn-off period, and the first output during the turn-on period and the turn-off period
  • the output light emission sensitivity can be controlled by averaging the number of times the signal is generated.
  • the controller 917 can effectively detect the face region, the eye region, the iris region, and the pupil region of the object.
  • control unit 917 may effectively detect the eye area according to the constantly blinking eyes.
  • the control unit 917 can detect the eye area.
  • the controller 917 may perform processes such as histogram smoothing, candidate region detection, binarization, noise removal through labeling, and pupil detection in the image including the eye.
  • Detecting a specific region of the object from information sensed by the image sensor is a general technique in the related art, and thus detailed description is omitted.
  • the control unit 917 may set the detected eye region as a region of interest (ROI? Region of Interest). Thereafter, during the second period 1012, a glint may be detected from a pixel corresponding to a set region of interest of the sensor 913.
  • ROI region of interest
  • a glint may be detected from a pixel corresponding to a set region of interest of the sensor 913.
  • Glint refers to the light reflected off the cornea and appears as bright spots on the image.
  • FIG. 10B is an enlarged view of the second section of FIG. 10A.
  • the second output light is output in the ON section 1031 of the second light emitting device 916-2, and the second output light in the OFF section 1032 of the second light emitting device 916-2. This is not output.
  • the controller 917 may detect at least one first glint information in an ON section 1031 of the second light emitting element 916-2 within the second section 1030.
  • control unit 917 detects at least one first glint information in an ON section 1031 of the second light emitting element 916-2, and the second light emitting element 916-2 At least one second glint information may be detected in the OFF section 1032.
  • the first and second glint information may include glint information formed by an external light source. This is because when an external light source such as sunlight or fluorescent light exists outside, glint may be formed in the eye region by the external light source.
  • the first glint information includes glint information by the second output light, and the second glint information does not include glint information by the second output light. This is because the second output light is not output in the section for detecting the second glint information.
  • control unit 917 compares the first glint information and the second glint information, derives a difference value, and writes the difference value based on the second output light of the second light emitting element 916-2. It can be judged by lint information.
  • the control unit 917 may determine the gaze direction of the object over a plurality of output light emission periods, and may track the gaze direction of the object therefrom.
  • 10C is a view showing an image including glint information by the second output light.
  • 11B is a flowchart showing the operation of the control unit 917 in the turn-on section and the turn-off section of the second light emitting element 916-2 in the second section 1012.
  • the control unit 917 checks the number of occurrences of the first signal (S1123).
  • control unit 917 determines that the amount of change in the received light is large, and decreases the emission intensity of the first output light and the second output light by a predetermined value (S1125).
  • the controller 917 compares the position of the center point of the glint and the position of the center point of the iris area, and determines and tracks a gaze direction of the object according to the comparison result (S1137).
  • the second light emitting device 1220 may output infrared light, and the sensor 1210 may detect infrared light reflected from the eye region of the object as received light.
  • the second light emitting element 1220 and the sensor 1210 may be configured as one optical device as described in FIG. 9 or may be configured to be spaced apart from each other.
  • FIG. 12B is a diagram illustrating a process of performing calibration to sense the gaze direction of an object.
  • the position of the center point of the lint can be derived to perform calibration.

Abstract

본 발명은 광학 장치 및 이를 구비하는 전자기기에 관한 것이다. 본 발명의 일 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하고, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 제어부를 포함한다. 이에 따라, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다.

Description

광학 장치, 및 이를 구비하는 카메라 장치와 전자기기
본 발명은 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것으로, 보다 상세하게는, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것이다.
한편, 본 발명은 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기에 관한 것이다.
이동 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 이동 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷, 메시지 송수신 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(multimedia player) 형태로 구현되고 있다. 이러한 멀티미디어 기기의 형태로 구현된 이동 단말기는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다.
최근 광학 장치에 적용되는 센서의 성능이 발달하면서 상기 광학 장치를 이용한 다양한 기능들이 개발되고 있다. 물체의 움직임을 감지하여 추적하거나, 얼굴 및 눈 영역을 감지하는 기능들에 대한 개발이 이루어지고 있다.
이와 같은 기능들을 구현함에 있어, 발광소자와 센서의 성능 및 이들의 동작 제어가 중요하다. 종래의 일반적인 프레임 기반의 센서는, 주변 환경의 영향에 따라 물체의 움직임을 정확하게 추적하거나, 눈과 같은 신체의 특정 영역을 정확하게 감지하는데 한계점이 있었다.
특히, 광의 변화량 차이(contrast)에 따라 동작하는 이벤트 기반의 센서는, 주변에 외부 광원이 있는 경우, 감지하는 contrast가 달라지므로, 밝은 환경에서는 contrast가 낮아 정확한 신호를 감지하기 어렵고, 어두운 환경에서는 contrast가 필요 이상으로 높아 비효율적일 수 있다.
본 발명은 상기한 문제점을 해결하기 위하여, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기를 제공하는데 목적이 있다.
또한, 본 발명은, 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있는 광학 장치 및 이를 포함하는 카메라 장치와 전자기기를 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하고, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 제어부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는 상기 발광소자의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어한다.
한편, 상기 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 카메라 장치는, 상기와 같은 광학 장치를 포함하고, 렌즈 장치, 이미지 센서, 및 프로세서를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자기기는, 상기의 카메라 장치를 포함한다.
본 발명에 따르면, 다음과 같은 효과가 있다.
본 발명의 일 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하고, 상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 제어부를 포함한다. 따라서, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 광학 장치는, 출력광 방출 주기를 감지되는 물체의 움직임 속도에 따라 가변할 수 있다. 따라서 고속 촬영이 필요한 다양한 전자 기기에서 활용할 수 있다.
한편, 본 발명의 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 상기 출력광에 대응하는 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 제어부는 상기 발광소자의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어한다. 따라서 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
한편, 본 발명의 또 다른 실시예에 따른 광학 장치는, 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부, 수신광을 검출하는 센서, 및 상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고, 상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고, 상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며, 상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력한다. 따라서, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한, 물체의 센싱 및 인식 성능을 개선할 수 있는 효과가 있다.
또한, 상기 제어부는, 상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출하며, 상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출한다. 따라서, 주변환경의 다양한 광원의 존재 유무에도 불구하고 물체의 시선 방향을 안정적으로 추적할 수 있게 된다.
특히, 복수의 광원을 이용하여 물체의 특정 영역을 감지하고, 글린트를 검출하여, 물체의 시선 방향을 정확하게 판단하고 추적할 수 있는 효과가 있다.
한편, 본 발명의 일 실시예에 따른 전자기기는, 상기의 광학 장치를 포함한다. 따라서 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있다. 또한 물체의 특정 영역을 감지하고, 글린트를 검출하여, 물체의 시선 방향을 정확하게 판단하고 추적할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 전자기기의 일 예인 이동 단말기의 외관을 도시한 도면이다.
도 2는 도 1의 이동 단말기의 블럭도이다.
도 3a 내지 3c는 본 발명의 실시예에 따른 광학 장치를 도시하는 도면이다.
도 4는 도 3a 내지 3c의 광학 장치에 포함된 센서에서 신호를 검출하는 원리를 설명하는 도면이다.
도 5a 내지 5b는 본 발명의 실시예에 따른 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
도 6a 내지 6b는 본 발명의 실시예에 따른 광학 장치에서 수신광에 따라 출력광을 제어하는 예시에 관한 도면이다.
도 7a 내지 7c는 본 발명의 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
도 8a 내지 8c는 본 발명의 다른 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
도 9는 본 발명의 다른 실시예에 따른 광학 장치를 도시하는 도면이다.
도 10a 내지 10c는 도 9의 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
도 11a 내지 11c는 도 9의 제어부의 동작에 관한 플로우 차트이다.
도 12a 내지 12b는 도 9의 광학 장치의 시선 방향 감지와 캘리브레이션(calibration) 방법을 설명하는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 전자기기는, 편의상 주로 이동 단말기를 예로 하여 설명하나, 반드시 이에 한정되는 것은 아니다. 여기서 전자기기는 블랙박스(black box)와 같은 차량용 비디오 장치, CCTV(Closed Caption TV), 이동 단말기 등을 포함할 수 있다. 상기 이동 단말기에는 휴대폰, 스마트폰, 노트북 컴퓨터, 디지털 방송용 단말기, PDA(personal digital assistants), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 등이 포함될 수 있다.
도 1은 본 발명의 실시예에 따른 전자기기의 일 예인 이동 단말기의 외관을 도시한 도면이다. (a)는 이동 단말기의 정면도, (b)는 측면도, (c)는 배면도, (d)는 저면도이다.
도 1을 참조하면, 이동 단말기(100)의 외관을 이루는 케이스는, 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된다. 프론트 케이스(100-1)와 리어 케이스(100-2)에 의해 형성된 공간에는 각종 전자부품들이 내장될 수 있다.
구체적으로 프론트 케이스(100-1)에는 디스플레이(180), 제1 카메라 장치(195a), 제1 음향출력 모듈(153a) 등이 배치될 수 있다. 그리고, 리어 케이스(100-2)의 측면에는 제1 내지 제2 사용자 입력부(130a, 130b) 등이 배치될 수 있다.
디스플레이(180)는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이(180)가 터치스크린으로 동작할 수 있다.
제1 음향출력 모듈(153a)은 리시버 또는 스피커의 형태로 구현될 수 있다. 제1 카메라 장치(195a)는 사용자 등에 대한 이미지 또는 동영상을 촬영하기에 적절한 형태로 구현될 수 있다. 그리고, 마이크(123)는 사용자의 음성, 기타 소리 등을 입력받기 적절한 형태로 구현될 수 있다.
제1 내지 제2 사용자 입력부(130a, 130b)와 후술하는 제3 사용자 입력부(130c)는 사용자 입력부(130)라 통칭할 수 있다.
제1 마이크(미도시)는, 리어 케이스(100-2)의 상측, 즉, 이동 단말기(100)의 상측에, 오디오 신호 수집을 위해 배치될 수 있으며, 리어 케이스(100-2)의 하측, 즉, 이동 단말기(100)의 하측에, 제2 마이크(123)가 오디오 신호 수집을 위해 배치될 수 있다.
리어 케이스(100-2)의 후면에는 제2 카메라 장치(195b), 제3 카메라 장치(195c), 플래시(196), 및 제3 사용자 입력부(130c)가 배치될 수 있다.
제2 및 제3 카메라 장치(195b, 195c)는 제1 카메라 장치(195a)와 실질적으로 반대되는 촬영 방향을 가지며, 제1 카메라 장치(195a)와 서로 다른 화소를 가질 수 있다. 제2 카메라 장치(195b)와 제3 카메라 장치(195c)는 촬영 범위 확대를 위해 서로 다른 화각을 가질 수 있다. 제3 카메라 장치(195c)에 인접하게는 거울(미도시)이 추가로 배치될 수도 있다. 또한, 제3 카메라 장치(195c) 인접하게 다른 카메라 장치를 더 설치하여 3차원 입체 영상의 촬영을 위해 사용하거나, 추가적인 다른 화각 촬영을 위해 사용할 수도 있다.
플래시(196)는 제3 카메라(195c)에 인접하게 배치될 수 있다. 플래시(196)는 제3 카메라(195c)로 피사체를 촬영하는 경우에 피사체를 향하여 빛을 비추게 된다.
리어 케이스(100-2)에는 제2 음향출력 모듈(153b)가 추가로 배치될 수도 있다. 제2 음향출력 모듈은 제1 음향출력 모듈(153a)와 함께 스테레오 기능을 구현할 수 있으며, 스피커폰 모드로 통화를 위해 사용될 수도 있다.
리어 케이스(100-2) 측에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(미도시)가 장착될 수 있다. 전원공급부(190)는, 예를 들어 충전 가능한 배터리로서, 리어 케이스(100-2)에 일체형으로 구성되거나, 충전 등을 위하여 리어 케이스(100-2)에 착탈 가능하게 결합될 수 있다.
도 2는 도 1의 이동 단말기의 블럭도이다.
도 2를 참조하면, 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(175), 단말 제어부(170), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 이동 단말기(100)에 내장되거나 외장될 수 있다.
근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), NFC(Near Field Communication) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라 장치(195)와 마이크(123) 등이 포함될 수 있다.
카메라 장치(195)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리할 수 있다. 그리고, 처리된 화상 프레임은 디스플레이(180)에 표시될 수 있다.
카메라 장치(195)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라 장치(195)는 전자 기기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(123)는, 디스플레이 오프 모드, 예를 들어, 통화모드, 녹음모드, 또는 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 오디오 신호를 입력받아 전기적인 음성 데이터로 처리할 수 있다.
한편, 마이크(123)는, 서로 다른 위치에, 복수개로서 배치될 수 있다. 각 마이크에서 수신되는 오디오 신호는 단말 제어부(170) 등에서 오디오 신호 처리될 수 있다.
사용자 입력부(130)는 사용자가 전자 기기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 사용자의 누름 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이(180)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(140)는 근접센서(141), 압력센서(143), 및 모션 센서(145), 터치 센서(146) 등을 포함할 수 있다.
근접센서(141)는 이동 단말기(100)로 접근하는 물체나, 이동 단말기(100)의 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있다. 특히, 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다.
압력센서(143)는 이동 단말기(100)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다.
모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 이동 단말기(100)의 위치나 움직임 등을 감지할 수 있다.
터치 센서(146)는, 사용자의 손가락에 의한 터치 입력 또는 특정 펜에 의한 터치 입력을 감지할 수 있다. 예를 들어, 디스플레이(180) 상에 터치 스크린 패널이 배치되는 경우, 터치 스크린 패널은, 터치 입력의 위치 정보, 세기 정보 등을 감지하기 위한 터치 센서(146)를 구비할 수 있다. 터치 센서(146)에서 감지된 센싱 신호는, 단말 제어부(170)로 전달될 수 있다.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것이다. 출력부(150)에는 디스플레이(180), 음향출력 모듈(153), 알람부(155), 및 햅틱 모듈(157) 등이 포함될 수 있다.
디스플레이(180)는 이동 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 이동 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이(180)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(180)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
음향출력 모듈(153)은 호 신호 수신, 통화 모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 또한, 음향출력 모듈(153)은 이동 단말기(100)에서 수행되는 기능, 예를 들어, 호 신호 수신음, 메시지 수신음 등과 관련된 오디오 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(155)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다.
햅틱 모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈(157)이 촉각 효과로 진동을 발생시키는 경우, 햅택 모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
메모리(160)는 단말 제어부(170)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(175)는 이동 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(175)는 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
이동 단말기(100)에는 사용자의 지문을 인식하는 지문 인식 센서가 구비될 수 있으며, 단말 제어부(170)는 지문 인식 센서를 통하여 감지되는 지문정보를 인증 수단으로 이용할 수 있다. 상기 지문 인식 센서는 디스플레이(180) 또는 사용자 입력부(130)에 내장될 수 있다.
단말 제어부(170)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 단말 제어부(170)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 단말 제어부(170) 내에 하드웨어로 구성될 수도 있고, 단말 제어부(170)와 별도로 소프트웨어로 구성될 수도 있다.
한편, 단말 제어부(170)는, 애플리케이션 구동을 위한 애플리케이션 프로세서(미도시)를 구비할 수 있다. 또는 애플리케이션 프로세서(미도시)는 단말 제어부(170)와 별도로 마련되는 것도 가능하다.
그리고, 전원 공급부(190)는 단말 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
전원 공급부(190)는 연결 포트를 구비할 수 있으며, 연결 포트는 배터리의 충전을 위하여 전원을 공급하는 외부 충전기가 전기적으로 연결될 수 있다. 한편, 전원 공급부(190)는 상기 연결 포트를 이용하지 않고 무선 방식으로 배터리를 충전하도록 이루어질 수 있다.
도 3a 내지 3c는 본 발명의 실시예에 따른 광학 장치를 도시하는 도면이다.
도면을 참조하면, 도 3a는, 광학 장치의 일 예로서, 광학 장치(310)는 카메라 장치(320)와 별개의 장치로 구성되고, 도 2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(310)는 카메라 장치(320)와 연동되어 동작할 수 있고, 카메라 장치(320)와 연동되지 않고, 광학 장치(310)만 단말 제어부(170)와 연결되어 동작할 수 있다.
본 발명의 실시예에 따른 광학 장치(310)는, 특정 파장의 출력광을 방출하는 발광부(316), 출력광에 대응하는 수신광을 수신하는 센서(313), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 발광 제어부(317)를 구비할 수 있다.
특히, 광학 장치(310)는, 광 출력과 관련하여 발광부(316), 발광 제어부(317)를 구비할 수 있고, 광 수신과 관련하여 조리개(미도시), 렌즈(311), 필터(312), 센서(313), 센서 제어부(314)를 구비할 수 있다.
발광부(316)는 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자(316-1)를 포함할 수 있다. 상기 발광소자(316-1)는 하나 이상으로 구성될 수 있고, 적외선(Infrared ray)을 방출할 수 있다. 상기 발광소자(316-1)는 전기 신호를 광신호로 바꾸어 주는 레이저 다이오드(Laser diode)일 수 있다. 발광소자(316-1)는 발광 제어부(317)의 제어에 따라 펄스(pulse) 형태로 광을 출력할 수 있다.
발광부(316)는 복수의 발광소자로 이루어진 면 조명 형태일 수도 있고, 복수의 발광소자가 기설정된 패턴을 형성하도록 배치된 패턴 조명 형태일 수도 있다. 면 조명 형태와 패턴 조명 형태가 함께 포함된 형태일 수도 있다.
패턴 조명은 기설정된 패턴을 형성하도록 광을 투사할 수 있다. 광이 투사된 물체에서 반사되어 돌아오는 광을 감지하고, 상기 감지 결과에 근거하여 영상 중 일부분의 깊이 정보를 추출할 수 있다. 이와 같이, 기설정된 패턴을 형성하도록 배치된 광을 이용하여 깊이 정보를 추출하는 구조광 방식은 일반적인 기술이므로 구체적인 설명은 생략한다.
발광 제어부(317)는 센서 제어부(314)로부터 센서(313)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 발광소자(316-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다. 여기서, 변화량은 휘도 변화량 또는 광의 세기 변화량을 의미한다.
예를 들어, 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고, 상기 수신광의 변화량이 상기 제1 변화량보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어할 수 있다. 이에 따라, 주변환경의 다양한 광원의 존재 유무에 따라, 광학 장치의 출력광의 방출 강도를 적응적으로 조절할 수 있는 효과가 있다.
발광 제어부(317)는 센서 제어부(314)가 전송한 물체의 움직임 정보를 수신하고, 이를 바탕으로 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다. 예를 들어, 물체의 움직임 속도가 빠를수록, 출력광 방출 주기가 짧도록 제어하고, 물체의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
한편, 발광 제어부(317)는 광학 장치(310)의 움직임 정보를 바탕으로, 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다. 예를 들어, 광학 장치(310)를 포함하는 이동 단말기(100)가 자동차, 로봇, 드론 등과 같이 이동하는 차량(vehicle)에 탑재된 경우, 이동 단말기(100)의 움직임 정보를 바탕으로 발광소자(316-1)의 출력광 방출 주기를 가변할 수 있다.
이동 단말기(100)는 위치나 움직임 정보를 감지하는 모션 센서(145)를 포함할 수 있다. 모션 센서(145)는 가속도 센서, 자이로 센서 등을 이용하여 전자 기기의 위치나 움직임 정보를 센싱할 수 있다. 발광 제어부(317)는 이동 단말기(100)의 단말 제어부로(170)부터 이동 단말기(100)의 속도, 가속도, 방향 중 적어도 하나 이상을 포함하는 정보를 수신할 수 있고, 이를 바탕으로 출력광 방출 주기를 가변할 수 있다.
구체적으로, 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)의 이동 속도가 증가할수록, 출력광의 방출 주기가 짧아지도록 제어할 수 있다. 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)가 특정 속도 이하로 이동하거나 정지한 경우에는, 출력광 방출 주기를 변경하지 않을 수 있다.
한편, 발광 제어부(317)는 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도를 복수의 구간으로 구분하고, 각각의 구간에 대하여 동작 모드를 구분할 수 있다. 발광 제어부(317)는 각각의 동작 모드에서 발광소자(316-1)의 출력광 방출 주기를 다르게 설정할 수 있다. 센서 제어부(314)는 각각의 동작 모드에서 센서(313)의 동작이 출력광 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
구체적으로, 발광 제어부(317)와 센서 제어부(314)는 정지 모드를 기본 모드로 동작하고, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 발생하는 경우, 움직임 속도가 속하는 구간에 따라 동작하는 모드가 변경되도록 제어할 수 있다.
발광 제어부(317)는, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 없는 경우, 움직임 속도가 제1 구간에 속한다고 판단하고, 제1 모드로 동작할 수 있다. 발광 제어부(317)는 제1 모드에서 제1 방출 주기로 발광소자(316-1)가 광을 출력하도록 제어할 수 있다. 센서 제어부(314)는 센서(313)의 동작이 상기 제1 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
이후, 이동 단말기(100) 또는 광학 장치(310)의 움직임이 발생하여 움직임 속도가 제2 구간에 속하는 경우, 발광 제어부(317)는 제2 모드로 동작할 수 있다. 발광 제어부(317)는 제2 모드에서 제2 방출 주기로 발광소자(316-1)가 광을 출력하도록 제어할 수 있다. 센서 제어부(314)는 센서(313)의 동작이 상기 제2 방출 주기와 동기화되도록 센서(313)를 제어할 수 있다.
상기 제2 방출 주기는 상기 제 1 방출 주기보다 더 짧을 수 있다.
마찬가지로, 움직임 속도가 더 증가하여, 제3 구간에 속하는 경우, 발광 제어부(317)와 센서 제어부(314)는 제3 모드로 동작할 수 있다. 제3 모드에서의 발광소자(316-1)의 제3 방출 주기는 상기 제2 방출 주기 및 상기 제 1 방출 주기보다 더 짧을 수 있다.
따라서, 광학 장치(310)를 포함하는 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도에 따라, 발광소자의 출력광 방출 주기와 센서의 동작을 적응적으로 제어할 수 있다.
한편, 발광 제어부(317)는 센서 제어부(314)가 전송한 물체의 움직임 정보와 이동 단말기(100)의 단말 제어부(170)로부터 수신한 이동 단말기(100)의 움직임 정보를 모두 이용하여 출력광 방출 주기를 변경할 수도 있다.
이러한 경우, 발광 제어부(317)와 센서 제어부(314)의 동작 구간은, 이동 단말기(100)의 움직임 정보에 따라, 복수 개로 나뉠 수 있다. 또한, 각각의 동작 구간은, 물체의 움직임 속도에 따라 다시 복수 개의 구간으로 세분화될 수 있다.
발광 제어부(317)는 물체의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 이동 단말기(100) 또는 광학 장치(310)의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있다.
발광 제어부(317)는 광학 장치가 차량용 블랙박스 등과 같이 다른 형태의 전자 기기에 포함되는 경우에도 동일하게 출력광 방출 주기를 제어할 수 있다.
이에 따라, 광학 장치 또는 물체의 움직임 발생에 따라, 광학 장치의 출력광의 방출 주기를 적응적으로 조절할 수 있는 효과가 있다.
한편, 광학 장치(310)를 포함하는 전자 기기가 CCTV 등과 같은 고정형 장치이거나, 고정된 상태인 경우에는, 발광 제어부(317)는 물체의 움직임 속도만 고려하여 발광 소자의 출력광 방출 주기를 가변하도록 제어할 수 있다.
발광 제어부(317)와 센서 제어부(314)의 동작 모드는, 사용자의 입력에 따라 설정될 수 있다. 사용자의 입력에 따라, 복수의 모드로 동작할 수도 있고, 하나의 모드로 고정되어 동작할 수도 있다.
또한, 발광 제어부(317)는 발광소자(316-1)의 출력광 방출 주기 정보를 센서 제어부(314)와 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
조리개(미도시)는 렌즈(311)로 입사되는 광을 개폐할 수 있다.
렌즈(311)는 조리개를 거쳐 입사하는 광을 센서(313)로 집광한다.
필터(312)는 수신광 중 특정 파장의 광만 센서(313)로 통과시킬 수 있다. 상기 특정 파장의 광은 적외선일 수 있다. 따라서 상기 필터(312)는 적외선을 투과하는 대역 통과 필터(band pass filter)일 수 있다.
센서(313)는, 상기 출력광에 대응하는 수신광 중 필터(312)를 통과한 특정 파장의 수신광을 검출할 수 있다. 상기 센서(313)는 픽셀 기반의 데이터를 센싱하는 비동기 방식의 센서(asynchronous sensor)일 수 있다.
센서(313)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 이벤트 신호로서, 수신광의 변화량의 크기가 클수록, 센서(313)를 통해 제1 신호가 연속적으로 출력될 수 있다.
한편, 센서(313)는, 특정 픽셀에 입사되는 수신광의 크기만 출력할 수 있다. 이 경우, 센서 제어부(314)는 센서(313)에서 출력하는 값의 변화량을 파악하고, 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호가 발생한 것으로 판단할 수 있다.
이하에서는, 편의상 센서(313)에서 제1 신호를 출력하는 것으로 설명한다.
센서 제어부(314)는 센서(313)에서 출력하는 제1 신호 정보를 상기 발광 제어부(317)로 전송할 수 있다. 또한, 발광 제어부(310)로부터 발광소자(316-1)의 출력광 방출 주기 정보를 수신하고, 센서(313)가 상기 발광소자(316-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(313)의 동작을 제어할 수 있다.
센서 제어부(314)는, 센서(313)의 동작 구간이 상기 발광소자(316-1)의 온(ON) 구간을 포함하도록 센서(313)를 제어할 수 있다. 상기 동작 구간의 길이는, 센서(313)에 형성된 포토다이오드의 성능 등에 의해 결정될 수 있다.
따라서 비동기 방식의 센서(313)의 동작 또는 센싱 타이밍을 발광소자(316-1)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
센서 제어부(314)는 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다. 상기 제1 신호를 이용하여 물체의 움직임을 감지할 수 있다.
구체적으로, 센서 제어부(314)는, 상기 발광소자의 온(ON) 구간 동안 상기 센서(313)가 출력하는 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고 추적한다. 상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적할 수 있다. 각각의 픽셀에서 얻어진 상기 제1 신호를 바탕으로 움직임 정보를 생성할 수 있다.
센서 제어부(314)는 이러한 움직임 정보를 발광 제어부(317)와 이동 단말기(100)의 단말 제어부(170)로 전송할 수 있다.
광학 장치(310)는 카메라 장치(320)와 인접하여 배치될 수 있다. 광학 장치(310)에서 획득한 움직임 정보와 카메라 장치(320)에서 획득한 RGB 이미지는 이동 단말기(100)의 단말 제어부(170)에서 합성되어, 새로운 이미지를 생성할 수 있다. 광학 장치(310)는 카메라 장치(320)와 연동되어 동작할 수 있고, 카메라 장치(320)와 연동되지 않고, 광학 장치(310)만 단말 제어부(170)와 연결되어 동작할 수 있다.
카메라 장치(320)는, 조리개(미도시), 렌즈(321), 이미지 센서(322), 카메라 제어부(323)를 구비할 수 있다.
조리개(미도시)는, 렌즈(321)로 입사되는 광을 개폐할 수 있다.
렌즈(321)는 조리개를 거쳐 입사하는 광을 이미지 센서(322)로 집광한다.
이미지 센서(322)는 렌즈(321)를 통해 들어온 광을 센싱한다.
이미지 센서(322)는, RGB 색상을 센싱하기 위해, RGB 필터(미도시)와, 광 신호를 전기 신호로 변환하는 센서 어레이(미도시)를 구비할 수 있다. 상기 이미지 센서는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Mental-Oxide Semiconductor)의 형태로 구현될 수 있다.
이미지 센서(322)는 프레임 기반 센서일 수 있고, 모든 픽셀에서 프레임 단위의 정보를 획득한다. 이에 따라, 이미지 센서(820)는, 각각 RGB 이미지를 센싱하여, 출력할 수 있다.
카메라 제어부(323)는 이미지 센서(322)가 센싱한 신호를 바탕으로 RGB 이미지를 저장하도록 제어하며, 주변 환경에 따라 카메라의 노출을 제어한다.
즉, 카메라 제어부(323)는 적절한 노출의 이미지를 얻기 위하여, 조리개 값과 센서의 노출 시간(센싱 시간)을 제어할 수 있다. 이러한 조리개 값 설정과 노출 시간의 설정은 카메라 제어부(323)에 의해 자동으로 제어될 수도 있고, 사용자의 수동 입력에 따라 설정될 수도 있다. 이러한 카메라의 노출 제어는 일반적인 기술이므로 구체적인 설명은 생략한다.
카메라 제어부(323)는 이동 단말기(100)의 단말 제어부(170)로부터 발광소자(316-1)의 출력광 방출 주기 정보를 수신할 수 있다. 카메라 장치(320)는 광학 장치(310)와 연동하여 동작할 수 있다. 광학 장치(310)와 연동하여 동작하는 경우, 상기 출력광 방출 주기에 맞춰 카메라 장치(320)가 RGB 이미지를 획득할 수 있다.
카메라 제어부(323)는, 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득이 복수 회 이루어지도록 할 수 있다.
카메라 제어부(323)는 RGB 이미지 획득 주기 또는 RGB 이미지 획득 횟수를 제어할 수 있다.
예를 들어, 출력광 방출 주기가 짧아지는 경우, 카메라 제어부(323)는 이에 비례하여 RGB 이미지 획득 주기를 짧아지도록 제어할 수 있고, 출력광 방출 주기가 길어지는 경우, 이에 비례하여 RGB 이미지 획득 주기가 길어지도록 제어할 수 있다. 따라서, 물체의 움직임 정보에 동기화된 이미지를 얻을 수 있는 효과가 있다.
또는 다른 일 예로, 출력광 방출 주기가 짧아지는 경우, 카메라 제어부(323)는, 상기 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득 횟수가 감소되도록 제어할 수 있고, 출력광 방출 주기가 길어지는 경우, 상기 출력광 방출 주기의 한 주기 내에서, RGB 이미지 획득 횟수가 증가되도록 제어할 수 있다. 따라서, 카메라 장치(320)의 이미지 획득 속도가 고정된 상태에서도, 광학 장치(310)와 카메라 장치(320)의 동작을 연동할 수 있는 효과가 있다.
카메라 제어부(323)는 획득한 RGB 이미지를 이동 단말기(100)의 단말 제어부(170)로 송신할 수 있다. 단말 제어부(170)는 송신된 RGB 이미지와 광학 장치(310)에서 획득한 움직임 정보와 합성를 합성하여, 합성된 새로운 이미지를 생성할 수 있다.
이동 단말기(100)의 단말 제어부(170)는 상기 발광 제어부(317)로부터 출력광 방출 주기 정보를 수신하고, 상기 센서 제어부(314)로부터 움직임 정보를 수신하며, 상기 카메라 제어부(323)로부터 RGB 이미지를 수신할 수 있다.
단말 제어부(170)는 움직임 정보와 RGB 이미지를 합성하여, 새로운 이미지를 생성할 수 있다. 생성된 새로운 이미지는 이동 단말기(100)의 메모리(160)에 저장될 수 있고, 필요에 따라 디스플레이(180)를 통해 출력될 수 있다.
광학 장치(310)가 카메라 장치(320)와 연동되지 않는 경우, 단말 제어부(170)는 센서 제어부(314)로부터 수신한 움직임 정보를 디스플레이(180)를 통해 출력할 수 있다.
카메라 장치(320)와 광학 장치(310)의 동작 여부 또는 연동 여부는 사용자 입력부(130)를 통해 입력받을 수 있고, 단말 제어부(170)는 입력된 동작 여부 또는 연동 여부에 따라, 카메라 장치(320)와 광학 장치(310)의 온, 오프, 연동을 제어할 수 있다.
도면을 참조하면, 도 3b는, 광학 장치의 다른 일 예로서, 광학장치(340)는 카메라 장치(350)와 별개의 장치로 구성되고, 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(340)는 카메라 장치(350)와 연동되어 동작할 수 있고, 카메라 장치(350)와 연동되지 않고, 광학 장치(340)만 단말 제어부(170)와 연결되어 동작할 수 있다.
본 실시예에 따른 광학 장치(340)는, 특정 파장의 출력광을 방출하는 발광부(346), 출력광에 대응하는 수신광을 수신하는 센서(343), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부(347)를 구비할 수 있다.
도 3a의 광학 장치의 예와 비교하여, 제어부(347)가 센서 제어부(314)와 발광 제어부(317)의 동작을 모두 수행한다는 점에서만 차이가 있다. 따라서 도 3b의 제어부(347)를 제외한 다른 구성요소 모두는 상기 기재한 도3a의 구성요소들과 그 동작이 동일하며, 상기 기재한 도3a의 구성요소들의 동작을 모두 포함한다.
이하에서는, 제어부(347)의 동작에 대해서만 설명한다.
제어부는(347)는 센서(343)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 발광소자(346-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다.
제어부(347)는 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다. 센서(343)에서 출력한 제1 신호를 이용하여 물체의 움직임을 감지할 수 있다.
구체적으로 상기 발광소자의 온(ON) 구간 동안 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고 추적하며, 상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적할 수 있다. 각각의 픽셀에서 얻어진 상기 제1 신호를 바탕으로 움직임 정보를 생성할 수 있다.
제어부(347)는 센서(343)가 상기 발광소자(346-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(343)의 동작을 제어할 수 있다.
제어부(347)는, 센서(343)의 동작 구간이 상기 발광소자(346-1)의 온(ON) 구간을 포함하도록 센서(343)를 제어할 수 있다. 상기 동작 구간의 길이는, 센서(343)에 형성된 포토다이오드의 성능 등에 의해 결정될 수 있다.
따라서 비동기 방식의 센서(343)의 동작 또는 센싱 타이밍을 발광소자(346-1)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
또한, 제어부(347)는 물체의 움직임 정보 또는 광학 장치(340)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로 발광소자(346-1)의 출력광 방출 주기를 가변할 수 있다.
예를 들어, 제어부(347)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
제어부(347)는 움직임 정보와, 발광소자(346-1)의 출력광 방출 주기 정보를 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
도면을 참조하면, 도 3c는, 광학 장치의 또 다른 일 예로서, 광학 장치(370)는 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 도 3a의 광학 장치의 예와 비교하여, 제어부(377)가 센서 제어부(314)와 발광 제어부(317)의 동작을 모두 수행한다는 점에서 차이가 있다. 또한, 본 실시예의 센서(373)는 적외선을 수광하는 IR 셀을 추가로 구비할 수 있다는 점에서 차이가 있다.
본 실시예에 따른 광학 장치(370)는, 특정 파장의 출력광을 방출하는 발광부(376), 출력광에 대응하는 수신광을 수신하는 센서(373), 및 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부(377)를 구비할 수 있다.
따라서 도 3b의 제어부(377) 및 센서(373)를 제외한 다른 구성요소 모두는 상기 기재한 도3a의 구성요소들과 그 동작이 동일하며, 상기 기재한 도3a의 구성요소들의 동작을 모두 포함한다.
센서(373)는 픽셀 기반의 데이터를 센싱하는 비동기 방식의 센서(asynchronous sensor)일 수 있다.
제어부(377)는 센서(373)가 상기 발광소자(376-1)의 온(ON) 구간에 동기화되어 활성화되도록 센서(373)의 동작을 제어할 수 있다. 또한, 제어부(377)는 상기 발광소자(376-1)의 오프(OFF) 구간에서도 센서(373)가 동작하도록 제어할 수 있다.
제어부(377)는 상기 발광소자(376-1)의 온(ON) 구간에서 얻은 픽셀 기반의 변화 데이터를 바탕으로 물체의 움직임을 감지하고 추적할 수 있다.
제어부(377)는 상기 발광소자(376-1)의 오프(OFF) 구간에서 얻은 데이터를 바탕으로 영상 정보를 생성할 수 있다. 따라서 상기 오프(OFF) 구간에서 얻은 데이터는 그레이 값을 포함하는 영상 정보일 수 있고, 상기 온(ON) 구간에서 얻은 데이터와는 다른 값일 수 있다.
한편, 상기 센서(373)는 일반적인 프레임 기반 센서에서 하나의 픽셀 내에 R, G, B 셀 및 IR 셀을 추가로 포함하는 형태일 수 있다. 따라서, 각각의 셀에는 Red, Green, Blue, IR 광을 투과하는 필터(372)가 포함될 수 있다.
이 경우, 센서(373)는 상기 기재한 비동기 방식으로 동작하는 것이 아니라, 각 프레임마다 모든 픽셀에 대해서 데이터를 획득한다. 이러한 경우, 발광소자(376-1)에서 발광한 적외선 출력광에 대응하는 수신광은 IR 셀에서 수신할 수 있다.
제어부(377)는 IR셀에서 센싱한 값을 이전 프레임에서 센싱한 값과 비교하여 수신광의 변화량을 도출할 수 있다. 도출된 수신광의 변화량을 제3 설정값으로 나누어 제1 신호의 횟수를 추출한다. 추출된 제1 신호는 상기 다른 예의 제1 신호와 같이 이벤트 신호로서, 물체의 움직임 발생 및 움직임 속도 등을 연산하는데 사용될 수 있다.
제어부는(377)는 수신광의 변화량에 따라, 발광소자(376-1)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다. 출력광 방출 강도 제어는 상기 도 3a의 실시예에 따른 강도 제어와 동일하므로, 구체적인 설명은 생략한다.
또한, 제어부(377)는 물체의 움직임 정보 또는 광학 장치(370)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로 발광소자(376-1)의 출력광 방출 주기를 가변할 수 있다.
예를 들어, 제어부(377)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
이하 도 4 내지 도 8에서는, 편의상 도 3b에 기재된 실시 예에 따른 광학 장치(340) 및 카메라 장치(350)의 구조를 바탕으로 설명한다.
도 4는 도 3a 내지 3c의 광학 장치에 포함된 센서에서 신호를 검출하는 원리를 설명하는 도면이다.
도 4의 상단의 그래프(410)는 시간에 따라 이벤트 기반 센서에 입사하는 광량의 변화를 나타내는 그래프이다. 가로축은 시간을, 세로축은 광량의 변화를 나타낸다.
도 4의 하단의 그래프(420)는 이벤트 기반 센서에 입사하는 광량의 변화에 따라 이벤트 기반 센서에 이벤트(event) 신호를 출력하는 것을 나타내는 그래프이다.
입사하는 광량이 증가하는 구간(411)에서는, 광의 변화량(증가량)이 설정값 Θev(415) 이상이 될 때마다, 센서에서는 이벤트 신호(421)가 발생한다. 또한, 입사하는 광량이 감소하는 구간(412)에서는, 광의 변화량(감소량)이 설정값 Θev(415) 이상이 될 때마다, 센서에서는 이벤트 신호(422)가 발생한다. 따라서, 센서의 수신광의 변화랑이 클수록 발생하는 이벤트 신호의 개수가 비례하여 증가한다.
비동기 방식 센서는 이벤트 기반 센서의 하나로, 센서로 입사되는 광을 수광하고, 수신광의 변화량, 즉 이벤트(event)를 감지하여 물체 감지, 감지된 물체의 움직임 추적 등과 같은 다양한 데이터를 획득할 수 있다. 따라서, 프레임 기반 센서와 다르게 모든 픽셀이 아니라, 픽셀에 변화가 발생할 때마다, 또는 변화된 픽셀에 대한 정보를 획득할 수 있다.
따라서, 비동기 방식 센서를 활용하면, 저용량, 저전력, 데이터의 고속 처리가 가능하다. 프레임 기반 센서는 화면 전체에 대해, 프레임 단위로 데이터를 업데이트하는 것에 비하여, 비동기 방식 센서는 픽셀에 변화가 발생할 때마다, 또는 변화된 픽셀에 대해서만 데이터를 업데이트하기 때문이다. 따라서 빠른 속도로 움직이는 물체의 촬영시에 효과적이다.
상기 도 3a 내지 3b의 광학 장치에 포함된 센서는 이러한 비동기 방식 센서로 구현될 수 있다.
도 5a 내지 5b는 본 발명의 실시예에 따른 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
도 5a는 광학 장치(340)의 발광부(346)의 출력광 발광 주기를 나타낸 도면이다.
출력광 발광 주기는 발광소자(346-1) 온(ON) 구간(520), 턴-온 구간(511), 턴-오프 구간(512), 발광소자(346-1) 오프(OFF) 구간(530)으로 구성될 수 있다. 따라서 출력광은 펄스 형태의 광으로 출력될 수 있다.
발광소자(346-1) 온(ON) 구간(520)에서는, 발광소자(346-1)에서 일정한 세기의 출력광을 출력한다. 외부 물체의 움직임 있는 경우, 출력광에 대응하는 수신광의 변화가 발생할 수 있다. 센서(343)에서는 수신광의 변화량을 감지하고 제1 신호를 출력하며, 제어부(347)에서 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적한다.
센서(343)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 이벤트 신호로서, 수신광의 변화량의 크기가 클수록, 센서(343)를 통해 제1 신호가 연속적으로 출력될 수 있다.
예를 들어, 제3 설정값이 10이고, 제1 픽셀에 입사되는 수신광의 세기가 0에서 25까지 변화하며, 제2 픽셀에 입사되는 수신광의 세기가 0에서 73까지 변화하는 경우, 센서(343)의 상기 제1 픽셀에서는 2회의 제1 신호가 출력되며, 상기 제2 픽셀에서는 7회의 제1 신호가 출력된다.
따라서, 제1 신호의 출력 횟수를 카운팅하면 특정 영역에서의 수신광의 변화 정도를 파악할 수 있고, 이를 바탕으로 물체의 움직임 발생 및 움직임 속도 등을 연산할 수 있다.
발광소자(346-1) 오프(OFF) 구간(530)에서는, 발광소자(346-1)에서는 출력광을 방출하지 않는다. 이 경우, 센서(343)는 동작하도록 제어될 수도 있고, 동작하지 않도록 제어될 수도 있다.
턴-온 구간(511)과 턴-오프 구간(512)은 각각 발광부(346)의 발광소자(346-1)가 켜지는 구간과 꺼지는 구간이다.
턴-온 구간(511)에서는 발광소자(346-1)의 출력광의 세기가 증가하며, 이에 따라 센서(343)에서 제1 신호가 출력된다. 턴-오프 구간(512)에서는 발광소자(346-1)의 출력광의 세기가 감소하며, 이에 따라 센서(343)에서 제1 신호가 출력된다.
턴-온 구간(511)과 턴-오프 구간(512)에서 출력되는 제1 신호는, 물체의 움직임 감지와 추적에 사용되지 않는다. 턴-온 구간(511)과 턴-오프 구간(512)에서 출력되는 제1 신호는 발광소자(346-1)의 출력광의 세기가 변화하면서 출력되는 신호이기 때문이다. 따라서, 턴-온 구간(511)과 턴-오프 구간(512)은 발광소자(346-1)의 출력광 강도 제어에만 활용될 수 있다.
도 5b는 광학 장치(340)의 발광부(346)의 출력광 발광 주기 중 턴-온 구간(531)과 턴-오프 구간(532)을 확대하여 나타낸 도면이다.
턴-온 구간(531)에서는 발광소자(346-1)의 출력광의 세기가 증가한다. 센서(343)에서는 출력광에 대응하는 수신광을 수신하고, 제1 신호(541)를 출력한다. 턴-오프 구간(532)에서는 발광소자(346-1)의 출력광의 세기가 감소한다. 센서(343)에서는 출력광에 대응하는 수신광을 수신하고, 제1 신호(541)를 출력한다.
출력광의 세기가 클수록, 출력광에 대응하는 수신광의 변화량도 커진다. 따라서, 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수는 증가한다. 출력광의 세기가 작을수록, 출력광에 대응하는 수신광의 변화량도 작아진다. 따라서, 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수는 감소한다.
즉, 제어부(347)는 턴-온 구간(531)과 턴-오프 구간(532)에서 발생하는 제1 신호(541, 542)의 개수에 따라 출력광의 세기를 제어할 수 있다.
도 6a 내지 6b는 본 발명의 실시예에 따른 광학 장치에서 수신광에 따라 출력광을 제어하는 예시에 관한 도면이다.
도 6a는, 외부 광원이 존재하고, 외부 광원에 의한 광량이 큰 경우를 예시한다. 낮과 같이 태양에 의한 광이 큰 경우이거나, 밝은 광원이 있는 실내의 경우가 본 예시에 해당될 수 있다. 모든 그래프는 가로축이 시간 축이고, 세로축이 휘도 또는 광 세기 축이다. 본 설명에서 광은 모두 적외선 광으로 가정한다.
첫번째 그래프(600)는, 외부 광원의 존재에 의한 광량을 나타낸 것이다. 시간에 따라 광량이 큰 상태이다.
두번째 그래프(610)는, 발광소자(346-1)에 의해 출력되는 출력광을 나타낸 것으로 펄스 형태의 광이 출력된다.
세번째 그래프(620)는, 출력광의 출력에 따라 센서(343)에 입사되는 수신광의 세기를 나타낸 것이다. 수신광은, 외부 광원이 방출한 광이 물체에 반사된 광과, 출력광이 물체에 반사된 광이 합쳐진 형태로 나타난다.
이 경우, 턴-온 구간(631, 633)과 턴-오프 구간(632, 634)에서의 수신광의 변화량은 출력광의 변화량보다 작을 수 있다.
제어부(347)는, 발광소자(346-1)의 턴-온 구간(631, 633) 또는 턴-오프 구간(632, 634) 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값(N1) 이상인 경우 출력광 방출 강도를 감소시키고, 제2 설정값(N2) 이하인 경우 출력광 방출 강도를 증가시킬 수 있다.
제어부(347)는, 턴-온 구간(631, 633) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간(632, 634) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
본 예에서, N1이 5이고, N2는 8이다. 제어부(347)는 턴-온 구간(631, 633) 및 턴-오프 구간(632, 634) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어한다.
네번째 그래프(630) 나타난 바와 같이, 제어부(347)는 턴-온 구간(631, 633)에 제1 신호를 2회 카운팅하고, 턴-오프 구간(632, 634)에 제1 신호를 2회 카운팅한다. 제1 신호의 발생 횟수의 합은 4이고, 제1 설정값(N1) 보다 작다.
다섯번째 그래프(640)에 나타난 바와 같이, 제어부(347)는, 다음 출력광 방출 주기에서, 발광소자(346-1)의 출력광 방출 강도를 현재 방출 주기의 방출 강도보다 더 큰 강도가 되도록 제어할 수 있다.
이러한 상황은, 주변광이 존재하고, 발광소자(346-1)의 출력광 방출 강도가 작은 상태이다. 이에 따라, 제어부는(347)는 물체 움직임 감지 및 추적을 위해, 출력광 방출 강도를 적절하게 제어할 수 있다.
도 6b는, 외부 광원이 존재하지 않거나, 외부 광원에 의한 광량이 작은 경우를 예시한다. 주변에 광원이 없는 밤, 또는 어두운 실내의 경우가 본 예시에 해당될 수 있다.
첫번째 그래프(650)에 나타난 바와 같이, 외부 광원의 존재에 의한 광량이 매우 작은 상태이다.
두번째 그래프(660)에 나타낸 바와 같이, 발광소자(346-1)에 의해 펄스 형태의 광이 출력된다.
세번째 그래프(670)에 나타낸 바와 같이, 센서(343)에 입사되는 수신광은, 외부 광원이 방출한 광이 물체에 반사된 광과, 출력광이 물체에 반사된 광이 합쳐진 형태로 나타난다.
이 경우, 턴-온 구간(671, 673)과 턴-오프 구간(672, 674)에서의 수신광의 변화량은 출력광의 변화량과 차이가 작을 수 있다.
제어부(347)는, 발광소자(346-1)의 턴-온 구간(671, 673) 또는 턴-오프 구간(672, 674) 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값(N1) 이상인 경우 출력광 방출 강도를 감소시키고, 제2 설정값(N2) 이하인 경우 출력광 방출 강도를 증가시킬 수 있다.
제어부(347)는, 턴-온 구간(671, 673) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간(672, 674) 동안에 카운팅한 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
본 예에서, N1이 5이고, N2는 8이다. 제어부(347)는 턴-온 구간(671, 673) 및 턴-오프 구간(672, 674) 동안 카운팅한 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어한다.
네번째 그래프(680)에 나타난 바와 같이, 제어부(347)는 턴-온 구간(671, 673)에 제1 신호를 5회 카운팅하고, 턴-오프 구간(672, 674)에 제1 신호를 5회 카운팅한다. 제1 신호의 발생 횟수의 합은 10이고, 제2 설정값(N2) 보다 크다.
다섯번째 그래프(690)에 나타난 바와 같이, 제어부(347)는, 다음 출력광 방출 주기에서, 발광소자(346-1)의 출력광 방출 강도를 현재 방출 주기의 방출 강도보다 더 작은 강도가 되도록 제어할 수 있다.
이러한 상황은, 주변광이 거의 없고, 발광소자(346-1)의 출력광 방출 강도가 필요 이상으로 큰 상태이다. 이에 따라, 제어부는(347)는 물체 움직임 감지 및 추적을 위해, 출력광 방출 강도를 적절하게 제어할 수 있다.
도 7a 내지 7c는 본 발명의 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
도 7a는, 발광소자(346-1)의 턴-온 구간 및 턴-오프 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
제어부(347)는 수신광 변화에 따라 센서(343)가 출력한 제1 신호의 발생 횟수를 감지한다(S711). 발생 횟수를 제1 설정값(N1) 및 제2 설정값(N2)과 비교한다(S712).
제1 설정값(N1) 이하인 경우, 제어부(347)는 턴-온 구간 및 턴-오프 구간의 수신광의 변화량이 작다고 판단하며, 다음 주기에서 출력광 방출 강도가 일정 값 증가하도록 제어한다(S713).
제2 설정값(N2) 이상인 경우, 제어부(347)는 턴-온 구간 및 턴-오프 구간의 수신광의 변화량이 크다고 판단하며, 다음 주기에서 출력광 방출 강도가 일정 값 감소하도록 제어한다(S714).
도 7b는, 발광소자(346-1)의 오프(OFF) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
제어부(347)는 발광소자(346-1)의 오프(OFF) 구간에서 센서(343)의 동작을 OFF 시킨다(S721).
제어부(347)는 오프(OFF) 구간 동안, 동일 주기의 발광소자(346-1)의 온(ON) 구간에서 카운팅한 제1 신호를 이용하여, 물체의 움직임 감지 및 추적과 관련한 연산을 수행한다(S722).
도 7c는, 발광소자(346-1)의 온(ON) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
제어부(347)는 출력광에 대응하는 수신광의 변화량에 따라 생성되는 제1 신호가 발생되는지 여부를 판단한다(S731).
제어부(347)는 제1 신호가 발생되는 경우 물체의 움직임을 추적한다(S732).
도 8a 내지 8c는 본 발명의 다른 실시예에 따른 제어부의 동작에 관한 플로우 차트이다.
도 8a는, 발광소자(346-1)의 턴-온 구간 및 턴-오프 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다. 앞서 기재한 도 7a의 제어부(347)의 동작과 동일하므로, 구체적인 설명은 생략한다.
도 8b는, 발광소자(346-1)의 오프(OFF) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
제어부(347)는 발광소자(346-1)의 오프(OFF) 구간에서도, 온(ON) 구간과 같이, 센서(343)를 동작시킨다. 제어부(347)는 수신광 변화에 따라 생성되는 제1 신호가 발생하는지 여부를 판단한다(S821).
제어부(347)는, 제1 신호가 생성되는 경우, 외부 광원에 의한 노이즈로 판단하며, 노이즈 정보를 저장부(미도시)에 저장한다(S822).
도 8c는, 발광소자(346-1)의 온(ON) 구간의 제어부(347)의 동작을 나타내는 플로우 차트이다.
제어부(347)는 이전 주기의 발광소자(346-1)의 오프(OFF) 구간에서 저장한 노이즈 정보를 현재 주기의 수신광 정보에서 필터링 처리한다(S831). 필터링 처리의 일 예로, 제어부(347)는 수신광 정보에서 노이즈 정보를 감산할 수 있다.
제어부(347)는 노이즈가 필터링 처리된 정보를 확인하고, 수신광 변화에 따라 생성되는 제1 신호의 발생 여부를 판단한다(S832).
제어부(347)는 제1 신호가 생성되는 경우 물체의 움직임을 추적한다(S833).
도 9는 본 발명의 다른 실시예에 따른 광학 장치를 도시하는 도면이다.
본 발명의 다른 실시예에 따른 광학 장치(910)는, 카메라 장치(920)와 별개의 장치로 구성되고, 도2의 이동 단말기(100)와 같은 전자기기의 단말 제어부(170)와 연결될 수 있다. 광학 장치(910)는 카메라 장치(920)와 연동되어 동작할 수 있고, 카메라 장치(920)와 연동되지 않고, 광학 장치(910)만 단말 제어부(170)와 연결되어 동작할 수 있다.
광학 장치(910)는, 광 출력과 관련하여 발광부(916), 발광 제어부(917)를 구비할 수 있고, 광 수신과 관련하여 조리개(미도시), 렌즈(911), 필터(912), 센서(913)를 구비할 수 있고, 제어부(917)를 구비할 수 있다.
본 실시예의 발광부(916)는 특정 파장의 출력광을 방출하는 복수의 발광소자를 포함할 수 있다. 도 9에서는 발광소자가 제1 발광소자(916-1) 및 제2 발광소자(916-2)를 포함하는 것을 도시한다.
발광부(316)는 복수의 발광소자로 이루어진 면 조명 형태일 수도 있고, 복수의 발광소자가 기설정된 패턴을 형성하도록 배치된 패턴 조명 형태일 수도 있다. 면 조명 형태와 패턴 조명 형태가 함께 포함된 형태일 수도 있다.
패턴 조명은 기설정된 패턴을 형성하도록 광을 투사할 수 있다. 광이 투사된 물체에서 반사되어 돌아오는 광을 감지하고, 상기 감지 결과에 근거하여 영상 중 일부분의 깊이 정보를 추출할 수 있다.
상기 제1 및 제2 발광소자(916-1, 916-2)는 적외선(Infrared ray)을 방출할 수 있다. 상기 제1 및 제2 발광소자(916-1, 916-2)는 전기 신호를 광신호로 바꾸어 주는 레이저 다이오드(Laser diode)일 수 있다. 제1 및 제2 발광소자(916-1, 916-2)제어부(917)의 제어에 따라 펄스(pulse) 형태로 광을 출력할 수 있다.
제어부(917)는 제1 발광소자(916-1)와 제2 발광소자(916-2)가 발광 주기 내에서 교대로 ON 되거나 OFF 되도록 제어할 수 있다.
출력광 발광 주기는 제1 구간(1011)과 제2 구간(1012)로 구성될 수 있다.
제1 발광소자(916-1)는, 상기 발광 주기의 제1 구간(1011) 동안 온(ON) 되고, 제2 구간(1012) 동안 오프(OFF) 되며, 상기 제1 구간(1011) 동안 지속광 형태의 제1 출력광을 출력할 수 있다.
제어부는(917)는 센서(913)에서 검출한 수신광 데이터를 수신하고, 수신광의 변화량에 따라, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어할 수 있다.
제어부(917)는 상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출할 수 있고, 상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출할 수 있다.
제어부(917)는 센서(913)가 상기 제1 및 제2 발광소자(916-1, 916-2)의 온(ON) 구간에 동기화되어 활성화되도록 센서(913)의 동작을 제어할 수 있다. 따라서 비동기 방식의 센서(913)의 동작 또는 센싱 타이밍을 제1 및 제2 발광소자(916-1, 916-2)의 동작 또는 발광 타이밍과 동기화시킬 수 있다.
또한, 제어부(917)는, 물체의 움직임 정보 또는 광학 장치(910)를 포함하는 전자 기기의 움직임 정보 중 적어도 하나 이상을 바탕으로, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기를 가변할 수 있다.
예를 들어, 제어부(917)는 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 빠를수록, 발광 소자의 출력광 방출 주기가 짧아지도록 제어할 수 있고, 물체의 움직임 속도 또는 전자 기기의 움직임 속도가 느릴수록, 출력광 방출 주기가 길도록 제어할 수 있다.
제어부(917)는 물체의 움직임 정보와, 제1 및 제2 발광소자(916-1, 916-2)의 출력광 방출 주기 정보를 이동 단말기(100)의 단말 제어부(170)로 제공할 수 있다.
조리개(미도시), 렌즈(911), 필터(912), 센서(913) 및 카메라 장치(920)는 앞서 설명한 도 3b에 기재된 광학 장치 및 카메라 장치의 구성 및 동작과 동일하므로, 상기 기재한 도3b의 상기 구성요소들의 동작을 모두 포함한다. 해당 구성 및 동작과 관련한 구체적인 설명은 생략한다.
이동 단말기(100)의 단말 제어부(170)는 제어부(917)로부터 출력광 방출 주기 정보를 수신하고, 상기 센서 제어부(914)로부터 물체의 움직임 정보를 수신하며, 상기 카메라 제어부(923)로부터 RGB 이미지를 수신할 수 있다.
단말 제어부(170)는 움직임 정보와 RGB 이미지를 합성하여, 새로운 이미지를 생성할 수 있다. 생성된 새로운 이미지는 이동 단말기(100)의 메모리(160)에 저장될 수 있고, 필요에 따라 디스플레이(180)를 통해 출력될 수 있다. 광학 장치(910)가 카메라 장치(920)와 연동되지 않는 경우, 단말 제어부(170)는 제어부(914)로부터 수신한 움직임 정보를 디스플레이(180)를 통해 출력할 수 있다.
카메라 장치(920)와 광학 장치(910)의 동작 여부 또는 연동 여부는 사용자 입력부(130)를 통해 입력받을 수 있고, 단말 제어부(170)는 입력된 동작 여부 또는 연동 여부에 따라, 카메라 장치(920)와 광학 장치(910)의 온, 오프, 연동을 제어할 수 있다.
도 10a 내지 10c는 도 9의 광학 장치의 발광부의 동작 구간을 설명하는 도면이다.
도 10a는 도 9의 광학 장치(910)의 발광부(916)의 출력광 발광 주기를 나타낸 도면이다.
출력광 발광 주기는 제1 구간(1011)과 제2 구간(1012)로 구성될 수 있다.
제1 발광소자(916-1)는, 상기 발광 주기의 제1 구간(1011) 동안 온(ON) 되고, 제2 구간(1012) 동안 오프(OFF) 되며, 상기 제1 구간(1011) 동안 지속광 형태의 제1 출력광을 출력할 수 있다.
제2 발광소자(916-2)는 상기 제1 구간(1011) 동안 오프(OFF) 되고, 상기 제2 구간(1012) 동안 반복적으로 온(ON) 또는 오프(OFF) 되면서 펄스 형태의 제2 출력광을 출력할 수 있다.
제2 구간(1012)은, 제2 발광소자(916-2) 온(ON) 구간, 턴-온 구간, 턴-오프 구간, 제2 발광소자(916-2) 오프(OFF) 구간으로 구성될 수 있다.
제2 발광소자(916-2) 온(ON) 구간에서는, 발광소자(916-2)에서 일정한 세기의 출력광을 출력한다. 외부 물체의 움직임 있는 경우, 출력광에 대응하는 수신광의 변화가 발생할 수 있다. 센서(913)에서는 수신광의 변화량을 감지하고, 제어부(917)에서 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적한다.
센서(913)는, 특정 픽셀에 입사되는 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호를 출력한다. 상기 제1 신호는 수신광의 변화량의 크기가 클수록, 센서(913)를 통해 제1 신호가 연속적으로 출력될 수 있다.
한편, 센서(913)는, 특정 픽셀에 입사되는 수신광의 크기만 출력할 수 있다. 이 경우, 제어부(917)는 센서(913)에서 출력하는 값의 변화량을 파악하고, 변화량의 크기가 제3 설정값 이상이 될 때마다, 제1 신호가 발생한 것으로 판단할 수 있다.
제1 신호의 출력 횟수를 카운팅하면 특정 영역에서의 수신광의 변화 정도를 파악할 수 있고, 이를 바탕으로 물체의 움직임 발생 및 움직임 속도 등을 연산할 수 있다.
제2 발광소자(916-2) 오프(OFF) 구간에서는, 제2 발광소자(916-2)에서는 출력광을 방출하지 않는다.
턴-온 구간과 턴-오프 구간은 각각 제2 발광소자(916-2)가 켜지는 구간과 꺼지는 구간이다.
턴-온 구간에서는 제2 발광소자(916-2)의 출력광의 세기가 증가하며, 이에 따라 센서(913)에서 제1 신호를 출력한다. 턴-오프 구간에서는 제2 발광소자(916-2)의 출력광의 세기가 감소하며, 이에 따라 센서(913)에서 제1 신호를 출력한다.
턴-온 구간과 턴-오프 구간에서 출력되는 제1 신호는, 물체의 움직임 감지와 추적에 사용되지 않는다. 따라서, 턴-온 구간과 턴-오프 구간은 제1 및 제2 발광소자(916-1, 916-2)의 출력광 강도 제어에만 활용될 수 있다.
제어부(917)는 제2 발광소자(916-2)의 턴-온 구간 또는 턴-오프 구간 중 적어도 하나 이상 동안 생성되는 제1 신호의 발생 횟수가 제1 설정값 이상인 경우, 상기 제1 출력광 및 제2 출력광의 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 증가시킬 수 있다.
제어부(917)는, 턴-온 구간 동안에 출력된 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-오프 구간 동안에 출력된 제1 신호의 발생 횟수만 사용하여 출력광 방출 감도를 제어할 수 있다. 또는, 턴-온 구간 및 턴-오프 구간 동안 출력된 제1 신호의 발생 횟수를 합한 값을 사용하여 출력광 방출 감도를 제어할 수 있고, 턴-온 구간 및 턴-오프 구간 동안 출력된 제1 신호의 발생 횟수를 평균하여 출력광 방출 감도를 제어할 수 있다.
제1 발광소자(916-1)는 제1 구간(1011) 동안 온(ON) 되고, 지속광 형태의 제1 출력광을 출력할 수 있다.
제어부(917)는 상기 제1 구간(1011) 동안 센서(913)에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출할 수 있다.
제1 발광소자(916-1)가 제1 출력광을 물체에 출력하므로, 제1 출력광이 출력되지 않는 경우보다 물체의 윤곽이 뚜렷해질 수 있다. 따라서, 제1 출력광이 출력되는 제1 구간(1011) 동안, 제어부(917)는 물체의 얼굴 영역, 눈 영역, 홍채 영역 및 동공 영역을 효과적으로 검출할 수 있다.
예를 들어, 제어부(917)는, 지속적으로 발생하는 눈 깜빡임에 따라, 눈 영역을 효과적으로 검출할 수 있다. 눈 깜빡임이 발생하면, 센서(913)가 수신한 수신광에 변화량이 생기며, 제1 신호를 출력한다. 따라서 이로부터 제어부(917)가 눈 영역을 감지할 수 있다.
예를 들어, 동공 영역을 검출하는 경우, 제어부(917)는 눈을 포함하는 영상에서 히스토그램 평활화, 후보영역 검출, 이진화, 라벨링을 통한 노이즈 제거 및 동공 검출과 같은 과정을 수행할 수 있다.
이미지 센서가 감지한 정보로부터 대상체의 특정 영역을 검출하는 것은, 관련 기술분야에서 일반적인 기술이므로, 구체적인 설명을 생략한다.
제어부(917)는 검출된 눈 영역을 관심 영역(ROI ? Region Of Interest)으로 설정할 수 있다. 이후 제2 구간(1012) 동안, 센서(913)의 설정된 관심 영역에 해당하는 픽셀에서 글린트(glint)를 검출할 수 있다.
글린트는 각막에 조명이 반사되어 이미지 상에서 밝은 점으로 나타나는 것을 말한다.
도 10b는 도 10a의 제2 구간을 확대하여 나타낸 도면이다.
제2 발광소자(916-2)의 온(ON) 구간(1031)에는 제2 출력광이 출력되고, 제2 발광소자(916-2)의 오프(OFF) 구간(1032)에는 제2 출력광이 출력되지 않는다.
제어부(917)는 제2 구간(1030) 내에서, 상기 제2 발광소자(916-2)의 온(ON) 구간(1031)에 적어도 하나 이상의 제1 글린트 정보를 검출할 수 있다.
한편, 제어부(917)는 상기 제2 발광소자(916-2)의 온(ON) 구간(1031)에 적어도 하나 이상의 제1 글린트 정보를 검출하고, 상기 제2 발광소자(916-2)의 오프(OFF) 구간(1032)에 적어도 하나 이상의 제2 글린트 정보를 검출할 수 있다.
제1 및 제2 글린트 정보는 외부의 광원에 의해 형성되는 글린트 정보가 포함될 수 있다. 외부에 태양광이나 형광등과 같은 외부 광원이 존재하는 경우, 해당 외부 광원에 의해 눈 영역에 글린트가 형성될 수 있기 때문이다.
제1 글린트 정보에는 제2 출력광에 의한 글린트 정보가 포함되고, 제2 글린트 정보에는 제2 출력광에 의한 글린트 정보가 포함되지 않는다. 제2 글린트 정보를 검출하는 구간에는, 제2 출력광이 출력되지 않기 때문이다.
따라서, 제어부(917)는 제1 글린트 정보로부터, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보를 판단할 수 있다.
한편, 제어부(917)는 제1 글린트 정보와 제2 글린트 정보를 비교하여, 차이 값을 도출하고, 해당 차이 값을, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보로 판단할 수 있다.
제어부(917)는 제2 출력광에 의한 글린트 정보에서, 글린트의 중심점의 위치를 도출하고, 제1 구간(1011) 동안 검출한 홍채 영역 정보에서, 홍채 영역의 중심점의 위치를 도출할 수 있다. 도출된 글린트의 중심점의 위치를 홍채 영역의 중심점의 위치와 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단할 수 있다.
제어부(917)는 복수의 출력광 방출 주기에 걸쳐 물체의 시선 방향을 판단할 수 있고, 이로부터 물체의 시선 방향을 추적할 수 있다.
도 10c는 제2 출력광에 의한 글린트 정보를 포함하는 이미지를 나타내는 도면이다.
왼쪽의 이미지(1021)는, 제2 글린트 정보이고, 오른쪽의 이미지(1022)는 제1 글린트 정보이다. 제1 글린트 정보에는 제2 출력광에 의한 글린트 정보(1023)가 포함되어 있다.
도 11a 내지 11c는 도 9의 제어부의 동작에 관한 플로우 차트이다.
도 11a는, 제1 구간(1011)의 제어부(917)의 동작을 나타내는 플로우 차트이다.
제어부(917)는 제1 발광소자(916-1)가 온(ON) 되도록 제어하고, 지속광 형태의 제1 출력광을 출력하도록 제어한다(S1111).
제1 구간(1011) 동안 영상을 검출한다(S1112).
제어부(917)는 센서(913)에서 검출되는 영상을 바탕으로 물체의 얼굴 영역, 눈 영역, 홍채 영역 및 동공 영역을 검출할 수 있다(S1113).
도 11b는, 제2 구간(1012)의 제2 발광소자(916-2)의 턴-온 구간과 턴-오프 구간에서, 제어부(917)의 동작을 나타내는 플로우 차트이다.
제어부(917)는 제2 구간(1012) 동안 제2 발광소자(916-2)의 온(ON), 오프(OFF)를 제어하여, 펄스형태의 광을 출력하도록 제어한다(S1121).
제어부(917)는 턴-온 구간과 턴-오프 구간에서, 수신광 변화량에 따라 생성되는 제1 신호의 발생 횟수를 감지한다(S1122).
제어부(917)는 제1 신호의 발생 횟수를 확인한다(S1123).
제어부(917)는 발생 횟수가 제2 설정값(N2) 이하인 경우, 수신광의 변화량이 작다고 판단하며, 상기 제1 출력광 및 제2 출력광의 방출 강도를 일정 값 증가시킨다(S1124).
제어부(917)는 발생 횟수가 제1 설정값(N1) 이상인 경우, 수신광의 변화량이 크다고 판단하며, 상기 제1 출력광 및 제2 출력광의 방출 강도를 일정 값 감소시킨다(S1125).
도 11c는, 제2 구간(1012)의 제2 발광소자(916-2)의 온(ON) 구간과 오프(OFF) 구간에서, 제어부(917)의 동작을 나타내는 플로우 차트이다.
제어부(917)는 제2 구간(1012) 동안 제2 발광소자(916-2)의 온(ON), 오프(OFF)를 제어하여, 펄스형태의 광을 출력하도록 제어한다(S1131).
제어부(917)는 온(ON) 구간과 오프(OFF) 구간에서, 수신광 변화량에 따라 생성되는 제1 신호의 발생 횟수를 감지한다(S1132).
제어부(917)는 해당 구간이 온(ON) 구간인지, 오프(OFF) 구간인지 판단한다(S1133).
제어부(917)는, 해당 구간이 온(ON) 구간이면, 제1 글린트 정보를 감지하고(S1134), 오프(OFF) 구간이면, 제2 글린트 정보를 감지한다(S1135).
제어부(917)는 제1 글린트 정보와 제2 글린트 정보를 비교하여, 차이 값을 도출하고, 해당 차이 값을, 제2 발광소자(916-2)의 제2 출력광에 의한 글린트 정보로 판단한다(S1136).
제어부(917)는 글린트의 중심점의 위치와 홍채 영역의 중심점의 위치를 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단하고 추적한다(S1137).
도 12a 내지 12b는 도 9의 광학 장치의 시선 방향 감지와 캘리브레이션(calibration) 방법을 설명하는 도면이다.
도 12a는, 물체의 시선 방향을 감지하는 것을 나타내는 도면이다.
제2 발광소자(1220)는 적외선 광을 출력할 수 있고, 센서(1210)는 물체의 눈 영역에서 반사된 적외선 광을 수신광으로 검출할 수 있다. 제2 발광소자(1220)와 센서(1210)는 도 9에 기재된 바와 같이 하나의 광학 장치로 구성될 수도 있고, 서로 이격되어 구성될 수도 있다.
도 12a의 왼쪽에 나타난 예와 같이, 물체의 시선이 제1 방향(1233)인 경우 홍채의 중심점(1232)과 글린트의 중심점(1231)은 인접하여 위치한다. 물체의 시선이 제2 방향(1243)으로 변화하는 경우, 홍채의 중심점(1242)과 글린트의 중심점(1241)의 상대적인 위치도 변화한다.
따라서, 홍채의 중심점의 위치와 글린트의 중심점의 위치를 비교하여, 물체의 시선의 방향을 검출할 수 있다.
도 12a의 오른쪽에 나타난 예와 같이, 물체의 시선이 수신광을 센싱하는 센서의 방향을 향하는 경우는, 홍채의 중심점의 위치와 글린트의 중심점의 위치가 일치할 수 있다(1251). 물체의 시선이 센서의 윗쪽 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 윗쪽 지점에 위치할 수 있다(1252).
물체의 시선이 센서의 오른쪽 아래 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 오른쪽 아래 지점에 위치할 수 있다(1253). 물체의 시선이 센서의 왼쪽 윗 방향을 향하는 경우는, 홍채의 중심점의 위치가 글린트의 중심점의 위치보다 왼쪽 위 지점에 위치할 수 있다(1254).
글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 물체의 시선 방향의 관계는, 제2 발광소자(1220)와 센서(1210)의 위치에 따라 달라질 수 있다.
도 12b는, 물체의 시선 방향을 감지를 위해 캘리브레이션(calibration)을 수행하는 과정을 나타내는 도면이다.
본 발명의 일 실시예에 따른 광학 장치를 포함하는 이동 단말기는 별도의 캘리브레이션 설정 메뉴를 통해 캘리브레이션을 수행하도록 구현될 수 있다.
단말 제어부는 디스플레이(1260) 화면의 특정 지점에 타겟을 표시하고, 타겟을 왼쪽 상단(1261)에서 오른쪽 하단(1264)으로 Z 형태로 이동시킨다. 사용자의 시선이 타겟을 따라 이동하도록 안내하고, 각각의 경우(1261, 1262, 1263, 1264)에 대해, 광학 장치에서 홍채 영역 또는 동공 영역의 중심점의 위치와 글린트의 중심점의 위치를 도출하여 상대적인 위치를 결정할 수 있다.
단말 제어부는 각각의 경우(1261, 1262, 1263, 1264)에서 도출된 글린트의 중심점의 평균 위치를 계산하고, 계산된 평균 위치와 홍채 영역 또는 동공 영역의 중심점의 상대적 위치 정보를 물체의 시선이 디스플레이(1260)의 중심 방향을 향하는 경우로 설정할 수 있다.
본 도면에서는 디스플레이(1260)를 이용하여 캘리브레이션(calibration)을 수행하는 방법을 도시하였으나, 이러한 캘리브레이션 방법은 본 발명의 일 실시예에 따른 광학 장치의 발광소자와 센서를 이용하여 캘리브레이션을 수행하는 것에도 동일하게 적용될 수 있다.
사용자의 시선이 고정된 상태에서 적어도 하나 이상의 발광소자의 위치를 변경하면서 복수의 위치에서 출력광을 출력하고, 센서를 통해 수신광을 감지하며, 제어부에서 홍채 영역 또는 동공 영역의 중심점의 위치와 글린트의 중심점의 위치를 도출하여, 캘리브레이션을 수행할 수 있다.
물체의 시선 방향 판단을 위한 캘리브레이션 과정은 관련 기술분야에서 일반적인 기술이므로, 구체적인 설명을 생략한다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (16)

  1. 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부,
    상기 출력광에 대응하는 수신광을 검출하는 센서, 및
    상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 수신광의 변화량이 제1 변화량인 경우, 제1 방출 강도로 상기 출력광이 출력되도록 제어하고,
    상기 수신광의 변화량이 상기 제1 변화량 보다 더 큰 제2 변화량인 경우, 상기 제1 방출 강도보다 더 작은 제2 방출 강도로 상기 출력광이 출력되도록 제어하는 것을 특징으로 하는 광학 장치.
  2. 제1항에 있어서,
    상기 변화량은 휘도 변화량 또는 광의 세기 변화량인 것을 특징으로 하는 광학 장치.
  3. 제1항에 있어서,
    상기 제어부는,상기 검출된 수신광의 변화량에 따라 생성되는 제1 신호의 발생 횟수를 카운팅하며,
    상기 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 카운팅한 상기 제1 신호의 발생 횟수가 제1 설정값 이상인 경우 상기 출력광 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 출력광 방출 강도를 증가시키는 것을 특징으로 하는 광학 장치.
  4. 제3항에 있어서,
    상기 센서는,
    상기 수신광의 변화량의 크기가 제3 설정값 이상이 될 때마다, 상기 제1 신호를 출력하는 것을 특징으로 하는 광학 장치.
  5. 제1항에 있어서,
    상기 제어부는, 감지되는 물체의 움직임 속도에 따라 상기 출력광 방출 주기를 가변하는 것을 특징으로 하는 광학 장치.
  6. 제1항에 있어서,
    상기 센서는 픽셀 기반의 데이터를 센싱하는 비동기 방식 센서이며,
    상기 제어부는,
    상기 센서가 상기 발광소자의 온(ON) 구간에 동기화되어 활성화되도록 상기 센서의 동작을 제어하는 것을 특징으로 하는 광학 장치.
  7. 제1항에 있어서,
    상기 특정 파장의 출력광은 적외선(infrared ray)이고,
    상기 센서는 상기 적외선을 투과하는 대역 통과 필터(band pass filter)를 포함하는 것을 특징으로 하는 광학 장치.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 발광소자의 온(ON) 구간 동안 상기 센서가 출력하는 상기 제1 신호를 바탕으로 물체의 움직임을 감지하고, 추적하며,
    상기 온(ON) 구간동안 상기 제1 신호가 발생하지 않는 경우, 상기 물체의 움직임이 없는 것으로 판단하고, 상기 제1 신호가 발생하는 경우, 상기 물체의 움직임이 있는 것으로 판단하여 상기 물체의 움직임을 추적하며,
    상기 발광소자의 오프(OFF) 구간 동안, 상기 물체의 움직임을 추적을 위한 연산을 수행하는 것을 특징으로 하는 광학 장치.
  9. 제1항에 있어서,
    상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고,
    상기 제1 발광소자는, 상기 출력광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광을 발광하며,
    상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 광을 발광하는 것을 특징으로 하는 광학 장치.
  10. 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부,
    상기 출력광에 대응하는 수신광을 검출하는 센서, 및
    상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고,
    상기 제어부는
    상기 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 생성되는 상기 제1 신호에 따라 상기 발광소자의 상기 출력광 방출 강도를 제어하는 것을 특징으로 하는 광학 장치.
  11. 특정 파장의 출력광을 방출하는 적어도 하나 이상의 발광소자를 포함하는 발광부,
    수신광을 검출하는 센서, 및
    상기 수신광의 변화량에 따라, 상기 발광소자의 출력광 방출 주기 또는 출력광 방출 강도 중 적어도 하나 이상을 제어하는 제어부를 포함하고,
    상기 발광소자는, 제1 발광소자와 제2 발광소자를 포함하고,
    상기 제1 발광소자는, 상기 광 발광 주기의 제1 구간 동안 ON 되고, 제2 구간 동안 OFF 되며, 상기 제1 구간 동안 지속광 형태의 제1 출력광을 출력하며,
    상기 제2 발광소자는 상기 제1 구간 동안 OFF 되고, 상기 제2 구간 동안 반복적으로 ON 또는 OFF 되면서 펄스 형태의 제2 출력광을 출력하는 것을 특징으로 하는 광학 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 제2 발광소자의 턴-온 시점 또는 턴-오프 시점 중 적어도 하나 이상 동안 생성되는 제1 신호의 발생 횟수가 제1 설정값 이상인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 감소시키고, 제2 설정값 이하인 경우 상기 제1 출력광 및 제2 출력광의 방출 강도를 증가시키는 것을 특징으로 하는 광학 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 제1 구간 동안 상기 센서에서 검출되는 영상을 바탕으로 물체의 얼굴(face) 영역, 눈(eye) 영역, 홍채(iris) 영역 및 동공(pupil) 영역을 검출하며,
    상기 제2 구간 동안 상기 센서의 상기 눈 영역에 해당하는 픽셀에서 글린트(glint)를 검출하는 것을 특징으로 하는 광학 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 글린트의 중심점의 위치와 상기 홍채 영역의 중심점의 위치를 비교하거나, 상기 글린트의 중심점의 위치와 상기 동공 영역의 중심점의 위치를 비교하고, 상기 비교 결과에 따라 상기 물체의 시선(gaze) 방향을 판단하며,
    상기 글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 물체의 시선 방향의 관계 또는, 상기 글린트의 중심점의 위치, 상기 홍채 영역의 중심점의 위치, 및 상기 동공 영역의 중심점의 위치는 캘리브레이션(calibration)을 통해 미리 설정되는 것을 특징으로 하는 광학 장치.
  15. 제1항 내지 제14항 중 어느 한 항의 광학 장치를 포함하는 카메라 장치.
  16. 제15항의 카메라 장치를 포함하는 전자기기.
PCT/KR2019/016703 2018-11-29 2019-11-29 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기 WO2020111861A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862773126P 2018-11-29 2018-11-29
US62/773,126 2018-11-29

Publications (1)

Publication Number Publication Date
WO2020111861A1 true WO2020111861A1 (ko) 2020-06-04

Family

ID=70852325

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/016703 WO2020111861A1 (ko) 2018-11-29 2019-11-29 광학 장치, 및 이를 구비하는 카메라 장치와 전자기기

Country Status (1)

Country Link
WO (1) WO2020111861A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163457A (ja) * 2005-12-16 2007-06-28 Pixart Imaging Inc 移動物体追跡装置
KR20100098450A (ko) * 2007-12-21 2010-09-06 노키아 코포레이션 플래시 모듈, 이를 포함하는 카메라와 그의 제어 방법 및 장치와 컴퓨터 판독가능 저장 매체
KR20110055195A (ko) * 2009-11-19 2011-05-25 삼성전기주식회사 플래쉬 제어 장치 및 방법
US20160328016A1 (en) * 2013-09-03 2016-11-10 Tobii Ab Portable eye tracking device
KR101701147B1 (ko) * 2016-06-24 2017-02-14 (주)비엠웍스 장주기 동기신호와 단주기 구동 펄스를 이용한 전력 감축형 면발광 레이저 다이오드 타입 야간 감시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007163457A (ja) * 2005-12-16 2007-06-28 Pixart Imaging Inc 移動物体追跡装置
KR20100098450A (ko) * 2007-12-21 2010-09-06 노키아 코포레이션 플래시 모듈, 이를 포함하는 카메라와 그의 제어 방법 및 장치와 컴퓨터 판독가능 저장 매체
KR20110055195A (ko) * 2009-11-19 2011-05-25 삼성전기주식회사 플래쉬 제어 장치 및 방법
US20160328016A1 (en) * 2013-09-03 2016-11-10 Tobii Ab Portable eye tracking device
KR101701147B1 (ko) * 2016-06-24 2017-02-14 (주)비엠웍스 장주기 동기신호와 단주기 구동 펄스를 이용한 전력 감축형 면발광 레이저 다이오드 타입 야간 감시 시스템

Similar Documents

Publication Publication Date Title
WO2018159864A1 (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
WO2016182132A1 (ko) 이동단말기 및 그 제어방법
WO2018169135A1 (en) Terminal and method of controlling therefor
WO2014014238A1 (en) System and method for providing image
WO2021006366A1 (ko) 디스플레이 패널의 색상을 조정하는 인공 지능 장치 및 그 방법
WO2016175424A1 (ko) 이동 단말기 및 그 제어 방법
WO2019225978A1 (en) Camera and terminal including the same
WO2019117652A1 (en) Prism apparatus, and camera apparatus including the same
WO2016010202A1 (en) Mobile terminal and control method for the mobile terminal
WO2016129778A1 (ko) 이동 단말기 및 그 제어 방법
WO2020085873A1 (ko) 카메라, 및 이를 구비하는 단말기
WO2020096423A1 (ko) 프리즘 장치, 이를 구비하는 카메라
WO2016190484A1 (ko) 이동 단말기 및 그 제어방법
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2018048098A1 (en) Portable camera and controlling method therefor
WO2020060235A1 (ko) 카메라 장치
WO2016114437A1 (ko) 이동 단말기 및 그것의 제어방법
WO2020209624A1 (en) Head mounted display device and operating method thereof
WO2021215752A1 (ko) 광학 장치 및 이를 구비하는 카메라 장치와 전자기기
WO2020045867A1 (ko) 프리즘 모듈, 이를 구비하는 카메라, 및 영상표시장치
WO2018034376A1 (ko) 이동단말기 및 그 제어 방법
WO2017082472A1 (ko) 이동단말기 및 그 제어방법
WO2019225979A1 (en) Camera and terminal including the same
WO2021137629A1 (en) Display device, mobile device, video calling method performed by the display device, and video calling method performed by the mobile device
WO2021080061A1 (ko) 전자펜 센싱 장치 및 이를 구비하는 전자 기기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19889196

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19889196

Country of ref document: EP

Kind code of ref document: A1