WO2017023151A1 - 이미지 처리 장치 - Google Patents

이미지 처리 장치 Download PDF

Info

Publication number
WO2017023151A1
WO2017023151A1 PCT/KR2016/008704 KR2016008704W WO2017023151A1 WO 2017023151 A1 WO2017023151 A1 WO 2017023151A1 KR 2016008704 W KR2016008704 W KR 2016008704W WO 2017023151 A1 WO2017023151 A1 WO 2017023151A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
sensor
processing apparatus
image
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/008704
Other languages
English (en)
French (fr)
Inventor
전기경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Priority to US15/736,884 priority Critical patent/US20180176450A1/en
Priority to CN201680035741.0A priority patent/CN107750452A/zh
Publication of WO2017023151A1 publication Critical patent/WO2017023151A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention receives a lens module, an image sensor for converting an optical signal incident through the lens module into an image signal, an operation sensor for detecting an object, an image signal and a detection of the object, and an image when the object is not a predetermined center range.
  • An image processing apparatus comprising an image processing module for correcting a signal.
  • the lens module provided in the camera is used in most electronic devices used in the modern society such as CCTV, in-home displays such as door bells, smart terminals, and computer devices.
  • CCTV CCTV
  • in-home displays such as door bells, smart terminals, and computer devices.
  • an optical signal is incident through the lens module, a technique of widely applying to a digital camera, a computer imaging device, and the like is widely studied using an image sensor that converts the optical signal into an electrical image signal.
  • PTZ Pan, Tilt, Zoom
  • the method of directly adjusting the lens module of the camera or adjusting the lens module using a motor or the like further includes a mechanical configuration (such as a motor and a coupling device between the motor and the camera), which is too large and expensive. This expensive drawback exists. Accordingly, various studies have been made to develop an image processing apparatus for centrally correcting an object using image signal processing without additional mechanical configuration.
  • the present invention is to solve the problems of the conventional image processing apparatus as described above, when the image sensor converts the optical signal into an image signal, the sensor detects the object to analyze the position and center the image signal It is an object of the present invention to provide an image processing apparatus for performing digital PTZ to adjust.
  • the present invention further includes a sound sensor as well as a motion sensor, to obtain region information through the motion sensor and to obtain position information through the sound sensor, by using both of the dual information can be more accurate image processing apparatus
  • the purpose is to provide.
  • an object of the present invention further comprises a distance measuring module, to adjust the resolution according to the distance and to provide an image processing apparatus that can determine the exact position of the object.
  • An image processing apparatus for solving the above problems, a lens module, an image sensor for converting an optical signal incident through the lens module into an image signal, a sensing sensor for detecting an object, the And an image processing module configured to receive an image signal and a detection of the object, and correct the image signal when the object is not within a preset center range.
  • the image processing module is characterized in that the digital PTZ (Pan, Tilt, Zoom) processing a specific angle by using an image signal processing (ISP) method. do.
  • ISP image signal processing
  • the image processing apparatus when the image processing module is not a predetermined center range, the image processing module to correct the image signal by resetting a predetermined area around the object to the center range It features. In this case, when the image signal is corrected, the predetermined area centered on the object is enlarged or corrected, or the predetermined area centered on the object is moved to the center.
  • the senor is characterized in that the PIR (Passive Infrared Ray) sensor is a motion sensor, the motion sensor is characterized in that it detects in accordance with the temperature change of the object do.
  • the PIR Passive Infrared Ray
  • the motion sensor detects an object according to a preset detection angle, characterized in that the information of the object deviating from the detection angle is processed as noise, the detection It is characterized by sensing the object by adjusting the angle.
  • the plurality of motion sensors, the plurality of motion sensors are located on the top and bottom, left and right, or positioned up, down, left and right of the lens module. do.
  • the image processing apparatus when the plurality of motion sensors detect the object in common, by resetting the intermediate range of the motion sensors for detecting the object to a detection angle to the And correcting the image signal.
  • the senor is characterized in that the sound sensor for detecting the sound information of the object.
  • the image processing apparatus is characterized in that the image processing module receives the sound information and corrects the image signal when the object is not a preset center range.
  • the sound sensor is a plurality, and receives the respective sound information sensed by the plurality of sound sensors, the location of the object according to the respective sound information frequency difference It characterized by measuring the.
  • the image processing apparatus when the object is not a predetermined center range, the image processing module is characterized in that to reset the object to the center range and correct the image signal.
  • the plurality of sound sensors each sound sensor detects the sound information according to a preset detection angle, characterized in that the sound information out of the detection angle is treated as noise.
  • the image processing apparatus characterized in that it further comprises a distance measuring module for measuring the distance information of the object.
  • the distance measuring module may include a variable resistor connected between any one of an operational amplifier and an input terminal of the operational amplifier and an output terminal, and the distance measuring module may be configured to adjust the variable resistor. The gain may be adjusted to measure distance information of the object.
  • the communication unit for transmitting the image signal corrected by the image processing module to the display device, the display device, a smart terminal, In-home display (In-home display), characterized in that it is included in at least one of the computer device.
  • the sensing sensor when the lens module is in an off state, repeats the on-off according to a preset period.
  • the detection sensor detects the object, it is characterized in that for switching the lens module to the on (on) state.
  • the image processing method of the image processing apparatus the sensing sensor to detect the object, the image sensor converts the light signal incident through the lens module to the image signal, the image processing module Receiving the detection of the image signal and the object, and correcting the image signal when the object is not within a preset center range, and outputting the corrected image signal by a display device.
  • the image sensor converts an optical signal into an image signal
  • the sensor detects the object, analyzes its position, and performs digital PTZ to adjust the image signal to the center, so that the object is in front of the lens module. Wherever you are, you will always be able to see the object at the center point.
  • the conventional camera further includes a mechanical configuration (such as a motor and a coupling device between the motor and the camera) in order to adjust the lens module manually or by using a motor or the like, so that the volume becomes excessively large and expensive.
  • a mechanical configuration such as a motor and a coupling device between the motor and the camera
  • the present invention can adjust the output screen of the object by using the image processing without additional mechanical configuration, it is possible to reduce the size and weight of the product.
  • the present invention may further include a sound sensor as well as a motion sensor to obtain region information through the motion sensor, obtain position information through the sound sensor, and increase accuracy by using both of the dual information.
  • the present invention may further include a distance measuring module, so as to adjust the resolution according to the distance and determine the exact position of the object.
  • FIGS. 1A and 1B are diagrams illustrating an image processing apparatus according to an exemplary embodiment of the present invention.
  • 2A, 2B, 2C, and 2D are exemplary views illustrating a method of detecting an object by a motion sensor or a sound sensor of the image processing apparatus according to an embodiment of the present invention.
  • 3A, 3B, and 3C are diagrams illustrating an image processing apparatus including a lens module, a motion sensor, and a sound sensor according to an embodiment of the present invention.
  • 4A, 4B, and 4C are exemplary views illustrating a method of correcting an image signal by an image processing apparatus according to an embodiment of the present invention.
  • 5A and 5B are exemplary views illustrating a method of correcting an image signal by an image processing module of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 6 is an exemplary view of a sound sensor of an image processing apparatus according to an embodiment of the present invention for sensing an object.
  • FIG. 7 is a circuit diagram illustrating a configuration included in a distance measuring module of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an image processing method of an image processing apparatus according to an exemplary embodiment.
  • an expression such as 'first' and 'second' is used only for distinguishing a plurality of configurations, and does not limit the order or other features between the configurations.
  • FIGS. 1A and 1B are diagrams illustrating an image processing apparatus according to an exemplary embodiment of the present invention.
  • the image processing apparatus 100 of the present invention may include a lens module 110, an image sensor 120, a detection sensor 180, and an image processing module 160.
  • the image sensor converts the optical signal incident through the lens module into an image signal.
  • the detection sensor detects the object
  • the image sensor receives the detection of the image signal and the object.
  • the image processing module receives the image signal.
  • the sensing sensor may be implemented by the motion sensor 130, the sound sensor 140, or both the motion sensor 130 and the sound sensor 140.
  • the image processing apparatus may correct the image signal after the motion sensor detects the motion of the object, and the image processing apparatus may correct the image signal after the sound sensor detects the sound information of the object.
  • both motion sensors and sound sensors may be used to detect an object so that the location and distance information of the object may be more accurately identified.
  • FIG. 1B is a configuration diagram illustrating a detailed configuration of the image processing apparatus of FIG. 1A.
  • the image processing apparatus 100 of the present invention may include a lens module 110, an image sensor 120, an operation sensor 130, a sound sensor 140, a distance measuring module 150, and an image processing module. 160, a communication unit 170 may be included.
  • the lens module 110 photographs a range of objects from the installed position, and any lens that can be used in a camera, such as a convex lens, a concave lens, a cylinder lens, and a Fresnel lens, may be used.
  • the lens module 110 may be a wide-angle lens, the wide-angle lens has a shorter focal length than a general lens, so it can cover a wider range even when shooting at the same distance.
  • the image sensor 120 converts an optical signal incident through the lens module into an image signal.
  • the image sensor corresponds to a configuration generally used in a digital camera, and performs a role of converting light, that is, photographed image information, input through a camera lens into digital information, which is an electrical signal.
  • the lens module 110 and the motion sensor 130 of the image processing apparatus 100 may change an on state and an off state.
  • the motion sensor repeats the on (off) according to a predetermined period, and when the motion sensor detects an object in the on (on) state, the motion sensor is turned on You can also switch to the (on) state.
  • the motion sensor 130 may detect the object 180 as shown in FIG. 2A, and any type of sensor capable of detecting the movement of the object, such as a geomagnetic sensor, an acceleration sensor, an altimeter, and a gyro sensor, may be used.
  • the motion sensor may be a passive infrared ray (PIR) sensor, or may be implemented in a manner that the motion sensor senses the temperature of the object.
  • PIR passive infrared ray
  • the object when the object is a human, 36.5 degrees body temperature of the human body can be set and used. If there is no person in front of the lens module, the difference between the ambient temperature and the temperature does not appear much, but if there is a person, the temperature of the human body is relatively higher than the ambient temperature to emit a certain amount of infrared rays.
  • the PIR sensor can detect infrared radiation emitted by a moving object around 36.5 degrees.
  • Fresnel lens when using a PIR sensor, a Fresnel lens may be used for the lens module.
  • Fresnel lens can be divided into a plurality of annular-shaped lens to reduce the thickness of the lens to implement a thinner around the center of the lens.
  • these Fresnel lenses can maximize the sensing range and improve sensitivity.
  • the motion sensor 130 may detect the object 180 according to the preset detection angle 190.
  • the motion sensor of the present invention may process the information of the object 181 deviating from the detection angle 190 as noise and transmit it to the image processing module as shown in FIG. 2C.
  • the motion sensor of the present invention may detect the object 180 by adjusting the detection angle 190 of the motion sensor 130 to a wider angle 191 as shown in FIG. 2D.
  • the motion sensor 130 may be a plurality of motion sensors.
  • the motion sensors are positioned on the upper 131 / the lower 132 of the lens module 110, the left 133 / the right 134, the upper, lower, left, right, or diagonal as shown in FIG. It may be located in the direction 135, and may be located at any suitable place to detect the object.
  • the motion sensor may include two, and as shown in FIG. 3B, the motion sensors 133 and 134 may be disposed horizontally to accurately correct the left and right positions of the object, as shown in FIG. 3C. 132 may be disposed vertically to accurately correct the vertical position of the object.
  • the image processing module 160 receives the detection of the image signal and the object, and corrects the image signal when the object is not a preset center range.
  • the image processing module may perform digital PTZ (Pan, Tilt, Zoom) processing of a specific angle using an image signal processing (ISP) method.
  • ISP image signal processing
  • FIG. 4A a method of correcting an image processing module of the present invention for a corrected image signal that may be implemented in the display apparatus 200 is illustrated.
  • the object 180 may appear in various directions such as center, left, right, up, and down of the display area.
  • the center of the display area is not the center, the object 180 may be corrected, and the display area 211 around the object 180 may be set to be partially corrected.
  • the image processing module may correct the image signal by resetting the predetermined region 211 around the object to the center range. At this time, it is possible to correct the center of the predetermined area 211 in various directions, such as up / down / left / right, and to correct the image signal as shown in FIG. Alternatively, as shown in FIG. 4C, a correction may be performed to move a predetermined region centered on the object to the center.
  • the object 180 and the peripheral area 212 may be distorted vertically or horizontally according to the ratio of the width / length of the display apparatus 200 and the display area 210.
  • the display area 214 which is partially cut off, on the top, bottom, left and right sides of the display area 210 may be generated. Therefore, the image processing apparatus of the present invention can select and use a correction method according to a user's selection.
  • the image processing module 160 of the present invention resets an intermediate range of motion sensors or sound sensors that detect the object to a sensing angle, thereby resetting the image.
  • the signal can be corrected.
  • the object 180 may be commonly detected at the sensing angles 192 and 193 of the plurality of sensors 136, 137/146, and 147.
  • the image signal can be corrected around the reset sensing angle 194.
  • an area detected by the plurality of detection sensors may be divided into A, B, C, and the like.
  • the object 182 detected only in A is located at the left side
  • the object 184 detected only in B is located at the center
  • the object 186 detected only in C is located at the right side.
  • the object 183 simultaneously detected at A / B is located at the left
  • the object 185 simultaneously detected at B / C may be determined to be located at the right.
  • the image processing module cuts the left and right regions and enlarges and corrects the center region by a preset amount, Can be displayed.
  • the image processing apparatus 100 of the present invention may include a sound sensor 140.
  • the sound sensor 140 detects sound information of the object, and any type of sensor capable of detecting the sound of the object may be used. As a general sound sensor, a microphone can be widely used.
  • the sound sensor 140 may detect the object 180 according to the preset sensing angle 190.
  • the sound sensor of the present invention may process the information of the object 181 deviating from the detection angle 190 as noise and transmit it to the image processing module as shown in FIG. 2C.
  • the sound information of the object deviating from the detection angle is determined as noise, and all sound information except the object 180 included in the detection angle or the sound information of the object 181 deviating from the detection angle is canceled using a method such as noise canceling. Can be removed.
  • the sound sensor of the present invention may detect the object 180 by adjusting the sensing angle 190 of the sound sensor 130 to a wider angle 191 as shown in FIG. 2D.
  • the sound sensor 140 may be a plurality of sound sensors. At this time, the sound sensors are located on the top 141 / bottom 142 of the lens module 110, the left 143 / right 144, located in the top, bottom, left and right, diagonal as shown in Figure 3a It may be located in the direction 145, and may be located at any suitable place to detect the object.
  • the sound sensor may include two, and as shown in FIG. 3B, the sound sensors 143 and 144 may be disposed horizontally to accurately correct the left and right positions of the object, and the motion sensor 141 as shown in FIG. 3C. 142 may be disposed vertically to accurately correct the vertical position of the object.
  • the plurality of sound sensors 140 may receive the detected sound information and measure the position of the object according to the difference in the frequency of the sound information. Since the distances between the positions of the sound sensors 148 and 149 and the object 187 are not the same, the sound information generated by the object may vary in frequency, wavelength, size, etc. when arriving at the sound sensor. Thus, the sound sensor can detect and analyze these differences and detect the exact location of the object.
  • the plurality of sound sensors 140 may receive the respective detected sound information, and analyze the incident angle between the object and the sound sensor to check the position of the object. For example, referring to FIG. 6, when the object 187 generates a sound, the left sound sensor 148 enters an angle of incidence close to vertical, but the right sound sensor 149 has an angle of incidence of about 45 degrees. Branch will sense sound information. Therefore, the plurality of sound sensors may detect sound information of the object 187 to detect an accurate position.
  • the image processing apparatus 100 of the present invention may use only the motion sensor 130, only the sound sensor 140, or both the motion sensor and the sound sensor.
  • the motion sensor 130 included in the image processing apparatus 100 detects an object
  • the sound sensor 140 is turned on, and the sound sensor receives sound information generated from the object.
  • the position of the object may be measured according to the frequency difference of each sound information. Therefore, as the image processing apparatus uses both sensors, the motion sensor 130 determines the direction and the position of the object, and the sound sensor 140 uses the dual information by measuring the distance from the object to the lens module. This has the advantage of improving accuracy.
  • the image processing apparatus 100 of the present invention may further include a distance measuring module 150 to measure distance information of the object 180.
  • the distance measuring module 150 may be any type of device capable of measuring the distance between the object and the sensor.
  • the distance measuring module 150 may include an operational amplifier 151, a variable resistor 152 connected between any one of an input terminal of the operational amplifier and an output terminal. By adjusting the variable resistor 152 connected to the operational amplifier, the gain of the operational amplifier may be adjusted, and thus the ratio of amplifying the sensitivity of the distance measuring module 150 may be adjusted.
  • the object B may be determined to be farther than the object A.
  • the image processing module may determine that the measured object is farther than the preset distance, and may enlarge and correct the image signal.
  • the user of the image processing apparatus 100 may simply adjust the sensitivity and accuracy of the sensor by adjusting the variable resistance.
  • the communicator 170 transmits the image signal corrected by the image processing module 160 to the display apparatus 200.
  • the display device 200 may be included in at least one of a smart terminal, an in-home display, and a computer device.
  • the display apparatus 200 may be implemented in an external device configured separately from the image processing apparatus 100 of the present invention, and may transmit / receive image signals via wired / wireless through the communication unit 170, and display apparatus 200.
  • the image processing apparatus 100 may be integrated into one device to transmit and receive image signals via wired / wireless through the communication unit 170.
  • the image signal corrected by the image processing module may be transmitted / received with the in-home display by wire and may be transmitted and received with a smart terminal or a portable terminal through a wireless communication network.
  • the image processing apparatus of the present invention may include a lens module, an image sensor, a sensing sensor, and a display device.
  • the image sensor converts the optical signal incident through the lens module into an image signal
  • the detection sensor detects the object
  • the image processing module receives the image signal and the detection of the object and the object is not a predetermined center range If correct the image signal.
  • the display device receives the corrected image signal from the image processing module and outputs the image signal.
  • FIG. 8 is a flowchart illustrating an image processing method of an image processing apparatus according to an exemplary embodiment.
  • a sensing sensor detects an object (S310)
  • an image sensor converts an optical signal into an image signal (S320)
  • the image processing module may include correcting an image signal when the object is not a preset center range (S330), and outputting a corrected image by the display apparatus (S340).
  • the steps of the image processing method of the image processing apparatus may be implemented by changing the order within the spirit and scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Optics & Photonics (AREA)

Abstract

본 발명은 렌즈 모듈, 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 이미지 센서, 대상물을 감지하는 감지 센서, 이미지 신호와 대상물의 감지를 수신하고, 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 신호를 보정하는 이미지 처리 모듈을 포함하는 이미지 처리 장치에 관한 것이다.

Description

이미지 처리 장치
본 발명은 렌즈 모듈, 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 이미지 센서, 대상물을 감지하는 동작 센서, 이미지 신호와 대상물의 감지를 수신하고, 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 신호를 보정하는 이미지 처리 모듈을 포함하는 이미지 처리 장치에 관한 것이다.
카메라에 구비되는 렌즈 모듈은 CCTV, 도어벨 등의 인-홈 디스플레이, 스마트 단말기, 컴퓨터 장치 등 현대 사회에 사용되는 대부분의 전자 기기에 사용되고 있다. 특히, 렌즈 모듈을 통하여 광 신호가 입사되면, 광 신호를 전기적인 이미지 신호로 변환하는 이미지 센서를 이용하여, 디지털 카메라 및 컴퓨터 영상 장치 등에 폭넓게 응용하는 기술이 널리 연구되고 있다.
최근에는 렌즈 모듈이 촬영하는 대상물이 카메라의 중앙이 아닌 상/하/좌/우 등 한 방향에 치우친 경우, 대상물을 감지하고 카메라 자체를 기계적으로 변경하여 PTZ(Pan, Tilt, Zoom) 방법을 수행하는 방식이 사용되고 있다.
그러나, 카메라의 렌즈 모듈을 직접 수동으로 조정하거나, 모터 등을 이용하여 렌즈 모듈을 조절하는 방식은, 기계적인 구성(모터 및 모터와 카메라 간의 결합 장치 등)이 더 포함되므로 부피가 지나치게 거대화되고 가격이 비싸지는 단점이 존재하고 있다. 이에, 추가적인 기계 구성 없이도 이미지 신호 처리를 이용하여 대상물을 중앙으로 보정하도록 하는 이미지 처리 장치를 개발하도록 하는 방안이 다양하게 연구되고 있었다.
본 발명은 상술한 바와 같이 기존의 이미지 처리 장치가 가지고 있는 문제점을 해결하기 위한 것으로, 이미지 센서가 광 신호를 이미지 신호로 변환하면, 센서가 대상물을 감지하여 그 위치를 분석하고 그 이미지 신호를 중앙으로 조절하도록 디지털 PTZ를 수행하는 이미지 처리 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 동작 센서 뿐만 아니라 소리 센서를 더 포함하여, 동작 센서를 통해 영역 정보를 얻고 소리 센서를 통해 위치 정보를 얻어, 이중의 정보를 모두 이용함으로써 보다 더 정확성이 높아질 수 있는 이미지 처리 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 거리 측정 모듈을 더 포함하여, 거리에 따라서 해상도를 조절하고 대상물의 정확한 위치를 파악할 수 있는 이미지 처리 장치를 제공하는 것을 목적으로 한다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 포함될 수 있다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 처리 장치는, 렌즈 모듈, 상기 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 이미지 센서, 대상물을 감지하는 감지 센서, 상기 이미지 신호와 상기 대상물의 감지를 수신하고, 상기 대상물이 기 설정된 중심 범위가 아닌 경우 상기 이미지 신호를 보정하는 이미지 처리 모듈을 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 처리 모듈이 위치 감지 처리(ISP; Image Signal Processing)방식을 이용하여 특정 각도를 디지털 PTZ(Pan, Tilt, Zoom) 처리하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 이미지 처리 모듈이 상기 대상물이 기 설정된 중심 범위가 아닌 경우, 상기 대상물을 중심으로 한 일정 영역을 중심 범위로 재설정하여 이미지 신호를 보정하는 것을 특징으로 한다. 이 때, 이미지 신호를 보정하는 경우, 대상물을 중심으로 한 일정 영역을 확대보정하거나, 대상물을 중심으로 한 일정 영역을 중앙으로 이동시키는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 감지 센서가 동작 센서인 PIR(Passive Infrared Ray) 센서인 것을 특징으로 하며, 상기 동작 센서는 대상물의 온도 변화에 따라 감지하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 동작 센서가 기 설정된 감지 각도에 따라 대상물을 감지하되, 상기 감지 각도에서 벗어난 대상물의 정보는 노이즈로 처리하는 것을 특징으로 하며, 상기 감지 각도를 조절하여 대상물을 감지하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 동작 센서가 복수이며, 상기 복수의 동작 센서는 상기 렌즈 모듈의 상하에 위치하거나, 좌우에 위치하거나, 상하좌우에 위치하는 것을 특징으로 한다.
이 때, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 이미지 처리 모듈이 복수의 동작 센서가 공통으로 대상물을 감지한 경우, 대상물을 감지한 동작 센서들의 중간 범위를 감지 각도로 재설정하여 상기 이미지 신호를 보정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 감지 센서가 대상물의 소리 정보를 감지하는 소리 센서인 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 이미지 처리 모듈이 상기 소리 정보를 수신하고, 상기 대상물이 기 설정된 중심 범위가 아닌 경우 상기 이미지 신호를 보정하는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 소리 센서는 복수이며, 상기 복수의 소리 센서가 감지한 각각의 소리 정보를 수신하여, 상기 각각의 소리 정보 주파수 차이에 따라 대상물의 위치를 측정하는 것을 특징으로 한다.
이 때, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 이미지 처리 모듈이 상기 대상물이 기 설정된 중심 범위가 아닌 경우, 상기 대상물을 중심 범위로 재설정하고 이미지 신호를 보정하는 것을 특징으로 한다. 또한, 상기 복수의 소리 센서는, 각각의 소리 센서가 기 설정된 감지 각도에 따라 소리 정보를 감지하며, 상기 감지 각도에서 벗어난 소리 정보는 노이즈로 처리하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 대상물의 거리 정보를 측정하는 거리 측정 모듈을 더 포함하는 것을 특징으로 한다. 이 때, 상기 거리 측정 모듈은, 연산 증폭기, 상기 연산 증폭기의 입력단 중 어느 하나와, 출력단 사이에 연결되는 가변 저항을 포함하고, 상기 거리 측정 모듈은, 상기 가변 저항의 조절을 통해 상기 연상 증폭기의 이득(Gain)을 조절하여, 상기 대상물의 거리 정보를 측정하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 이미지 처리 모듈이 보정한 이미지 신호를 디스플레이 장치에 전송하는 통신부를 포함하고, 상기 디스플레이 장치는, 스마트 단말기, 인 홈 디스플레이(In-home display), 컴퓨터 장치 중 적어도 어느 하나에 포함되는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 이미지 처리 장치는, 상기 렌즈 모듈이 오프(off) 상태인 경우, 상기 감지 센서는 기 설정된 주기에 따라서 온(on)-오프(off)를 반복하며, 상기 감지 센서가 대상물을 감지하는 경우, 상기 렌즈 모듈을 온(on) 상태로 변환하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 이미지 처리 장치의 이미지 처리 방법은, 감지 센서가 대상물을 감지하는 단계, 이미지 센서가 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 단계, 이미지 처리 모듈이 상기 이미지 신호와 상기 대상물의 감지를 수신하고, 상기 대상물이 기 설정된 중심 범위가 아닌 경우 상기 이미지 신호를 보정하는 단계, 디스플레이 장치가 상기 보정한 이미지 신호를 출력하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 이미지 처리 장치는, 이미지 센서가 광 신호를 이미지 신호로 변환하여, 센서가 대상물을 감지하여 그 위치를 분석하고 그 이미지 신호를 중앙으로 조절하도록 디지털 PTZ를 수행하므로, 대상물이 렌즈 모듈 앞의 어느 위치에 있어도 항상 대상물을 중앙 지점에서 확인할 수 있게 된다.
또한, 종래의 카메라는 렌즈 모듈을 직접 수동으로 조정하거나 모터 등을 이용하여 조절하기 위하여, 기계적인 구성(모터 및 모터와 카메라 간의 결합 장치 등)을 더 포함하므로 부피가 지나치게 거대화되고 가격이 비싸지는 단점이 존재하고 있으나, 본 발명은 별도의 기계적 추가 구성 없이 이미지 처리를 이용하여 대상물의 출력 화면을 조절하므로, 제품의 크기를 소형화 및 경량화할 수 있다.
또한, 본 발명은 동작 센서 뿐만 아니라 소리 센서를 더 포함하여, 동작 센서를 통해 영역 정보를 얻고 소리 센서를 통해 위치 정보를 얻어, 이중의 정보를 모두 이용함으로써 보다 더 정확성이 높아질 수 있다.
또한, 본 발명은 거리 측정 모듈을 더 포함하여, 거리에 따라서 해상도를 조절하고 대상물의 정확한 위치를 파악할 수 있다.
도 1a, 도 1b는 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 구성도이다.
도 2a, 도 2b, 도 2c, 도 2d는 본 발명의 일 실시예에 따른 이미지 처리 장치의 동작 센서 또는 소리 센서가 대상물을 감지하는 방법에 관한 예시도이다.
도 3a, 도 3b, 도 3c는 본 발명의 일 실시예에 따른 렌즈 모듈, 동작 센서, 소리 센서를 포함하는 이미지 처리 장치를 나타내는 구성도이다.
도 4a, 도 4b, 도 4c는 본 발명의 일 실시예에 따른 이미지 처리 장치가 이미지 신호를 보정하는 방법을 나타내는 예시도이다.
도 5a, 도 5b는 본 발명의 일 실시예에 따른 이미지 처리 장치의 이미지 처리 모듈이 이미지 신호를 보정하는 방법에 관한 예시도이다.
도 6는 본 발명의 일 실시예에 따른 이미지 처리 장치의 소리 센서가 대상물을 감지하는 방법에 관한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 이미지 처리 장치의 거리 측정 모듈이 포함하는 구성을 나타내는 회로도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 이미지 처리 방법을 나타내는 순서도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '이미지 처리 장치'를 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 통상의 기술자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
또한, '제1, 제2' 등과 같은 표현은, 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
도 1a, 도 1b는 본 발명의 일 실시예에 따른 이미지 처리 장치를 나타내는 구성도이다.
도 1a를 참조하면, 본 발명의 이미지 처리 장치(100)는 렌즈 모듈(110), 이미지 센서(120), 감지 센서(180), 이미지 처리 모듈(160)을 포함할 수 있다.
렌즈 모듈을 통하여 입사되는 광 신호를 이미지 센서가 이미지 신호로 변환하며, 감지 센서가 대상물을 감지하면 이미지 신호와 대상물의 감지를 수신하고, 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 처리 모듈이 이미지 신호를 보정한다.
이 때, 감지 센서는 동작 센서(130)로 구현될 수 있고, 소리 센서(140)로 구현될 수 있으며, 동작 센서(130)와 소리 센서(140) 모두 구현될 수도 있다. 예를 들어, 동작 센서가 대상물의 동작을 감지한 이후 이미지 처리 장치가 이미지 신호를 보정할 수도 있으며, 소리 센서가 대상물의 소리 정보를 감지한 이후 이미지 처리 장치가 이미지 신호를 보정할 수도 있다. 마찬가지로, 동작 센서와 소리 센서 모두가 대상물의 감지에 사용되어, 대상물의 위치와 거리 정보를 보다 정확하게 확인할 수도 있다.
도 1b는 도 1a의 이미지 처리 장치의 상세한 구성을 나타내는 구성도이다. 도 1b를 참조하면, 본 발명의 이미지 처리 장치(100)는 렌즈 모듈(110), 이미지 센서(120), 동작 센서(130), 소리 센서(140), 거리 측정 모듈(150), 이미지 처리 모듈(160), 통신부(170)를 포함할 수 있다.
렌즈 모듈(110)은 설치된 위치로부터 일정 범위의 대상물을 촬영하며, 볼록렌즈, 오목렌즈, 실린더렌즈, 프레넬 렌즈(Fresnsel Lens) 등 카메라에 사용될 수 있는 모든 렌즈가 사용될 수 있다. 특히, 렌즈 모듈(110)은 광각 렌즈가 사용될 수 있는데, 광각 렌즈는 일반적인 렌즈보다 초점거리가 짧아서 같은 거리에서 촬영하여도 더 넓은 범위를 담을 수 있다.
이미지 센서(120)는 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환한다. 이미지 센서는 디지털 카메라 등에 일반적으로 사용되는 구성에 해당하며, 카메라 렌즈를 통하여 들어온 빛, 즉 촬영한 영상 정보를 전기적 신호인 디지털 정보로 변환해 주는 역할을 수행하게 된다.
또한, 본 발명의 이미지 처리 장치(100)의 렌즈 모듈(110)과 동작 센서(130)는 온(on) 상태와 오프(off) 상태를 변경할 수 있다. 이 때, 카메라 렌즈 모듈이 오프 상태인 경우, 동작 센서는 기 설정된 주기에 따라서 온(on)-오프(off)를 반복하며 동작 센서가 온(on) 상태에서 대상물을 감지하는 경우 렌즈 모듈을 온(on) 상태로 변환할 수도 있다.
동작 센서(130)는 도 2a와 같이 대상물(180)을 감지할 수 있으며, 지자기 센서, 가속도 센서, 고도계, 자이로 센서 등 대상물의 움직임을 감지할 수 있는 모든 형태의 센서가 사용될 수 있다.
이 때, 동작 센서는 PIR(Passive Infrared Ray) 센서가 사용될 수 있으며, 대상물의 온도 변화에 따라서 동작 센서가 감지하는 방식으로 구현될 수도 있다. 특히, 대상물이 사람인 경우, 인체의 체온인 36.5도를 설정해 놓고 사용할 수 있다. 렌즈 모듈 앞에 사람이 없는 경우 주변 온도와 온도 차이가 크게 나지 않지만, 사람이 있는 경우 인체의 온도는 주변 온도보다 비교적 높아 일정한 양의 적외선을 방출하게 된다. 따라서, PIR 센서는 36.5도 주변의 움직이는 물체가 방출하는 적외선을 감지할 수 있다.
또한, PIR 센서를 사용하는 경우 렌즈 모듈에 프레넬 렌즈(Fresnel Lens)를 사용할 수 있다. 프레넬 렌즈는 렌즈의 두께를 줄이기 위하여 복수의 원환띠 모양의 렌즈로 분할하여 렌즈의 중심 주변을 얇게 구현할 수 있다. 이러한 프레넬 렌즈를 PIR 센서와 함께 사용하면, 감지거리를 극대화 할 수 있고 감도를 향상시킬 수 있다.
한편, 도 2b를 참조하면, 동작 센서(130)는 기 설정된 감지 각도(190)에 따라 대상물(180)을 감지할 수 있다. 이 때, 본 발명의 동작 센서는 도 2c와 같이 감지 각도(190)에서 벗어난 대상물(181)의 정보를 노이즈로 처리하여 이미지 처리 모듈에 송신할 수 있다. 또한, 본 발명의 동작 센서는 도 2d와 같이 동작 센서(130)의 감지 각도(190)를 더 넓은 각도(191)로 조절하여 대상물(180)을 감지할 수도 있다.
또한, 동작 센서(130)는 복수의 동작 센서가 사용될 수 있다. 이 때, 동작 센서들은 도 3a와 같이 렌즈 모듈(110)의 상(131)/하(132)에 위치하거나, 좌(133)/우(134)에 위치하거나, 상하좌우 모두에 위치하거나, 대각선 방향(135)에 위치할 수 있으며, 대상물을 감지할 수 있는 적절한 어떠한 장소에도 위치할 수 있다.
이 때, 동작 센서는 2개를 포함할 수 있으며, 도 3b와 같이 동작 센서(133, 134)가 가로로 배치되어 대상물의 좌우 위치를 정확하게 보정할 수도 있고, 도 3c와 같이 동작 센서(131, 132)가 세로로 배치되어 대상물의 상하 위치를 정확하게 보정할 수도 있다.
이미지 처리 모듈(160)은 이미지 신호와 대상물의 감지를 수신하고, 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 신호를 보정한다. 이 때, 이미지 처리 모듈은 위치 감지 처리(ISP; Image Signal Processing)방식을 이용하여 특정 각도를 디지털 PTZ(Pan, Tilt, Zoom) 처리를 수행할 수 있다.
도 4a를 참조하면, 디스플레이 장치(200)에서 구현될 수 있는 보정된 이미지 신호를 위한 본 발명의 이미지 처리 모듈의 보정 방법이 나타나 있다. 디스플레이 장치(200)가 이미지 신호를 출력하는 디스플레이 영역(210)이 물리적으로 형성되어 있는 경우, 대상물(180)은 디스플레이 영역의 중앙/좌/우/상/하 등 여러 방향에서 나타날 수 있다. 이 때, 기 설정된 디스플레이 영역의 중앙이 아닌 경우 대상물(180)을 보정하며, 대상물(180) 주변의 디스플레이 영역(211)을 일정 부분 설정하여 보정할 수 있다.
아울러, 이미지 처리 모듈은 상기 대상물이 기 설정된 중심 범위가 아닌 경우, 상기 대상물을 중심으로 한 일정 영역(211)을 중심 범위로 재설정하여 이미지 신호를 보정할 수 있다. 이 때, 일정 영역(211)이 상/하/좌/우 등 여러 방향에 치우쳐 있는 것을 중앙으로 보정할 수 있으며, 도 4b와 같이 이미지 신호를 보정하는 경우 대상물을 중심으로 한 일정 영역을 확대보정하거나, 도 4c와 같이 대상물을 중심으로 한 일정 영역을 중앙으로 이동시키는 보정을 수행할 수도 있다.
확대보정하는 경우, 디스플레이 장치(200) 및 디스플레이 영역(210)의 가로/세로 비율에 따라서 대상물(180)과 주변 영역(212)이 상하 또는 좌우로 찌그러질 수 있다. 또한, 대상물을 중심으로 한 일정 영역(213)을 중앙으로 이동시키는 경우, 디스플레이 영역(210)의 상하 또는 좌우에 일부가 잘라진 디스플레이 영역(214)이 생성될 수 있다. 따라서, 본 발명의 이미지 처리 장치는 사용자의 선택에 따라서 보정 방식을 선택하여 사용하도록 할 수 있다.
한편, 본 발명의 이미지 처리 모듈(160)은, 복수의 동작 센서 또는 소리 센서가 공통으로 대상물을 감지하는 경우, 대상물을 감지한 동작 센서들 또는 소리 센서들의 중간 범위를 감지 각도로 재설정하여 상기 이미지 신호를 보정할 수 있다. 도 5a를 참조하면, 대상물(180)이 복수의 센서(136, 137/ 146, 147)의 감지 각도(192, 193)에 공통으로 감지될 수 있다. 따라서, 그 중간 범위를 감지 각도(194)로 재설정하여, 재설정한 감지 각도(194)를 중심으로 이미지 신호를 보정할 수 있다.
또한, 도 5b를 참조하면, 복수의 감지 센서들이 감지하는 영역을 A, B, C 등으로 나눌 수 있다. 이 때, A에만 감지되는 대상물(182)은 좌측에 위치하는 것으로, B에만 감지되는 대상물(184)은 중앙에 위치하는 것으로, C에만 감지되는 대상물(186)은 우측에 위치하는 것으로 판단할 수 있다. 또한, A/B에 동시에 감지되는 대상물(183)은 좌중에 위치하는 것으로, B/C에 동시에 감지되는 대상물(185)은 우중에 위치하는 것으로 판단할 수도 있다.
또한, A/C에 동시에 감지되는 대상물(188)의 경우, 렌즈 모듈(110)의 중앙에 위치하는 것으로 판단하고, 이미지 처리 모듈이 좌우 영역을 잘라내고 중심 영역을 기 설정된 만큼 확대하여 보정하고, 디스플레이할 수 있다.
한편, 본 발명의 이미지 처리 장치(100)는 소리 센서(140)를 포함할 수 있다. 이 때, 소리 센서(140)는 대상물의 소리 정보를 감지하며, 대상물의 소리를 감지할 수 있는 모든 형태의 센서가 사용될 수 있다. 일반적인 소리 센서로는 마이크가 폭넓게 사용될 수 있다.
도 2b를 참조하면, 소리 센서(140)는 기 설정된 감지 각도(190)에 따라 대상물(180)을 감지할 수 있다. 이 때, 본 발명의 소리 센서는 도 2c와 같이 감지 각도(190)에서 벗어난 대상물(181)의 정보를 노이즈로 처리하여 이미지 처리 모듈에 송신할 수 있다. 또한, 감지 각도에서 벗어난 대상물의 소리 정보를 노이즈로 판단하고, 감지 각도에 포함되는 대상물(180)을 제외한 모든 소리 정보 또는 감지 각도를 벗어나는 대상물(181)의 소리 정보를 노이즈 캔슬링 등의 방법을 이용하여 제거할 수 있다. 또한, 본 발명의 소리 센서는 도 2d와 같이 소리 센서(130)의 감지 각도(190)를 더 넓은 각도(191)로 조절하여 대상물(180)을 감지할 수도 있다.
또한, 소리 센서(140)는 복수의 소리 센서가 사용될 수 있다. 이 때, 소리 센서들은 도 3a와 같이 렌즈 모듈(110)의 상(141)/하(142)에 위치하거나, 좌(143)/우(144)에 위치하거나, 상하좌우 모두에 위치하거나, 대각선 방향(145)에 위치할 수 있으며, 대상물을 감지할 수 있는 적절한 어떠한 장소에도 위치할 수 있다.
이 때, 소리 센서는 2개를 포함할 수 있으며, 도 3b와 같이 소리 센서(143, 144)가 가로로 배치되어 대상물의 좌우 위치를 정확하게 보정할 수도 있고, 도 3c와 같이 동작 센서(141, 142)가 세로로 배치되어 대상물의 상하 위치를 정확하게 보정할 수도 있다.
한편, 도 6을 참조하면, 복수의 소리 센서(140)는 감지한 각각의 소리 정보를 수신하여, 상기 각각의 소리 정보 주파수 차이에 따라 대상물의 위치를 측정할 수 있다. 소리 센서(148, 149)의 위치와 대상물(187) 사이의 간격이 동일하지 않으므로, 대상물이 발생시킨 소리 정보는 소리 센서에 도착할 때 그 주파수, 파장, 크기 등 여러 정보가 달라질 수 있다. 따라서, 소리 센서는 이러한 차이를 감지하여 분석하고, 대상물의 정확한 위치를 감지해낼 수 있다.
또한, 복수의 소리 센서(140)는 감지한 각각의 소리 정보를 수신하여, 대상물과 소리 센서와의 입사각도를 분석하여 대상물의 위치를 확인할 수도 있다. 예를 들어, 도 6을 참조하면, 대상물(187)이 소리를 발생하게 되면 좌측 소리 센서(148)에는 수직에 가까운 입사 각도로 들어오게 되지만, 우측 소리 센서(149)는 약 45도의 입사 각도를 가지는 소리 정보를 감지하게 된다. 따라서, 복수의 소리 센서는 대상물(187)의 소리 정보를 분석하여, 정확한 위치를 감지할 수 있다.
한편, 본 발명의 이미지 처리 장치(100)는 대상물의 감지를 위하여 동작 센서(130)만을 사용할 수도 있고, 소리 센서(140)만을 사용할 수도 있고, 동작 센서와 소리 센서 모두를 사용할 수도 있다.
예를 들어, 이미지 처리 장치(100)가 포함하는 동작 센서(130)가 대상물을 감지하면 소리 센서(140)가 온(on)상태로 변환하며, 소리 센서가 대상물에서 발생하는 소리 정보를 수신하여 각각의 소리 정보 주파수 차이에 따라 대상물의 위치를 측정할 수 있다. 따라서, 이미지 처리 장치가 두 센서를 모두 사용함으로써, 동작 센서(130)가 대상물의 방향과 위치를 판단하고 소리 센서(140)가 대상물이 렌즈 모듈과의 거리를 측정하여 이중의 정보를 모두 사용하고 정확성이 향상되는 장점이 있다.
한편, 본 발명의 이미지 처리 장치(100)는 대상물(180)의 거리 정보를 측정하기 위하여 거리 측정 모듈(150)을 더 포함할 수 있다. 이 때, 거리 측정 모듈(150)은 대상물과 센서 간의 거리를 측정할 수 있는 모든 형태의 장치가 사용될 수 있다.
또한, 거리 측정 모듈(150)은 연산 증폭기(151)와, 연산 증폭기의 입력단 중 어느 하나와, 출력단 사이에 연결되는 가변 저항(152)를 포함할 수 있다. 연산 증폭기에 연결되는 가변 저항(152)을 조절함으로써, 연산 증폭기의 이득(Gain)을 조절할 수 있으므로, 거리 측정 모듈(150)의 감도를 증폭하는 비율을 조절할 수 있다.
예를 들어, 가변 저항이 5인 경우 대상물 A가 측정되다가, 가변 저항이 20인 경우 대상물 B가 함께 측정된다면, 대상물 B는 대상물 A보다 더 멀리 있는 것으로 판단될 수 있다. 이 때, 이미지 처리 모듈은 측정한 대상물이 기 설정된 거리보다 멀리 있는 것으로 판단하여, 이미지 신호를 확대보정할 수 있다. 또한, 이미지 처리 장치(100)의 사용자는 가변 저항을 조절함으로써 센서의 감도 및 정확성을 간편하게 조절할 수도 있다.
통신부(170)는 이미지 처리 모듈(160)이 보정한 이미지 신호를 디스플레이 장치(200)에 전송한다. 디스플레이 장치(200)는 스마트 단말기, 인 홈 디스플레이(In-home display), 컴퓨터 장치 중 적어도 어느 하나에 포함될 수 있다.
이 때, 디스플레이 장치(200)는 본 발명의 이미지 처리 장치(100)와 별개로 구성된 외부 기기에 구현되어, 통신부(170)를 통해 유/무선으로 이미지 신호를 송수신할 수도 있으며, 디스플레이 장치(200)와 이미지 처리 장치(100)가 하나의 기기 안에 통합하여 구현되어, 통신부(170)를 통해 유/무선으로 이미지 신호를 송수신 할 수도 있다.
예를 들어, 이미지 처리 모듈이 보정한 이미지 신호는 유선으로 인 홈 디스플레이와 송수신할 수 있고, 무선 통신망을 통해 스마트 단말기 또는 휴대용 단말과 송수신할 수 있다.
한편, 본 발명의 이미지 처리 장치는, 렌즈 모듈, 이미지 센서, 감지 센서, 디스플레이 장치를 포함할 수 있다. 이 때, 이미지 센서는 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하며, 감지 센서는 대상물을 감지하며, 이미지 처리 모듈은 이미지 신호와 대상물의 감지를 수신하고 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 신호를 보정한다. 또한, 디스플레이 장치는 이미지 처리 모듈로부터 보정한 이미지 신호를 수신하여 그 이미지 신호를 출력한다.
도 8은 본 발명의 일 실시예에 따른 이미지 처리 장치의 이미지 처리 방법을 나타내는 순서도이다. 도 8을 참조하면, 본 발명의 일 실시예에 따른 이미지 처리 장치의 이미지 처리 방법은 감지 센서가 대상물을 감지하는 단계(S310), 이미지 센서가 광신호를 이미지 신호로 변환하는 단계(S320), 이미지 처리 모듈이 대상물이 기 설정된 중심 범위가 아닌 경우 이미지 신호를 보정하는 단계(S330), 디스플레이 장치가 보정한 이미지를 출력하는 단계(S340)를 포함할 수 있다. 이 때, 이미지 처리 장치의 이미지 처리 방법의 단계들은 통상의 지식을 가진 자가 본 발명의 사상과 범위 안에서 그 순서를 바뀌어 구현할 수도 있을 것이다.
위에서 설명된 본 발명의 실시 예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.
부호의 설명
100: 이미지 처리 장치
110: 렌즈 모듈
120: 이미지 센서
130, 131, 132, 133, 134, 135, 136, 137: 동작 센서
140, 141, 142, 143, 144, 145, 146, 147, 148, 149: 소리 센서
150: 거리 측정 모듈
151: 연산 증폭기
152: 가변 저항
160: 이미지 처리 모듈
170: 통신부
180, 181, 182, 183, 184, 185, 186, 187: 대상물
190, 191, 192, 193, 194: 센서 설정 각도
200: 디스플레이 장치
210: 디스플레이 영역
211: 대상물 주변의 디스플레이 영역
212, 213: 보정된 이미지 신호의 디스플레이 영역
214: 잘라낸 디스플레이 영역

Claims (20)

  1. 렌즈 모듈;
    상기 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 이미지 센서;
    대상물을 감지하는 감지 센서;
    상기 이미지 신호와 상기 대상물의 감지를 수신하고, 상기 대상물이 기 설정된 중심 범위가 아닌 경우 상기 이미지 신호를 보정하는 이미지 처리 모듈;
    을 포함하는 이미지 처리 장치.
  2. 제 1항에 있어서,
    상기 이미지 처리 모듈은,
    위치 감지 처리(ISP; Image Signal Processing)방식을 이용하여 특정 각도를 디지털 PTZ(Pan, Tilt, Zoom) 처리하는 것을 특징으로 하는 이미지 처리 장치.
  3. 제 1항에 있어서,
    상기 이미지 처리 모듈은,
    상기 대상물이 기 설정된 중심 범위가 아닌 경우, 상기 대상물을 중심으로 한 일정 영역을 중심 범위로 재설정하여 이미지 신호를 보정하는 것을 특징으로 하는 이미지 처리 장치.
  4. 제 3항에 있어서,
    상기 이미지 처리 모듈은,
    이미지 신호를 보정하는 경우, 대상물을 중심으로 한 일정 영역을 확대보정하는 것을 특징으로 하는 이미지 처리 장치.
  5. 제 3항에 있어서,
    상기 이미지 처리 모듈은,
    이미지 신호를 보정하는 경우, 대상물을 중심으로 한 일정 영역을 중앙으로 이동시키는 것을 특징으로 하는 이미지 처리 장치.
  6. 제 1항에 있어서,
    상기 감지 센서는 동작 센서인 PIR(Passive Infrared Ray) 센서인 것을 특징으로 하는 이미지 처리 장치.
  7. 제 6항에 있어서,
    상기 동작 센서는,
    대상물의 온도 변화에 따라 감지하는 것을 특징으로 하는 이미지 처리 장치.
  8. 제 6항에 있어서,
    상기 동작 센서는,
    기 설정된 감지 각도에 따라 대상물을 감지하되, 상기 감지 각도를 조절하여 대상물을 감지하는 것을 특징으로 하는 이미지 처리 장치.
  9. 제 8항에 있어서,
    상기 동작 센서는,
    상기 감지 각도에서 벗어난 대상물의 정보는 노이즈로 처리하는 것을 특징으로 하는 이미지 처리 장치.
  10. 제 6항에 있어서,
    상기 동작 센서는 복수이며,
    상기 복수의 동작 센서는,
    상기 렌즈 모듈의 상하에 위치하거나, 좌우에 위치하거나, 상하좌우에 위치하는 것을 특징으로 하는 이미지 처리 장치.
  11. 제 10항에 있어서,
    상기 이미지 처리 모듈은,
    복수의 동작 센서가 공통으로 대상물을 감지한 경우, 대상물을 감지한 동작 센서들의 중간 범위를 감지 각도로 재설정하여 상기 이미지 신호를 보정하는 것을 특징으로 하는 이미지 처리 장치.
  12. 제 1항에 있어서,
    상기 감지 센서는,
    대상물의 소리 정보를 감지하는 소리 센서인 것을 특징으로 하는 이미지 처리 장치.
  13. 제 12항에 있어서,
    상기 소리 센서는 복수이며,
    상기 복수의 소리 센서가 감지한 각각의 소리 정보를 수신하여, 상기 각각의 소리 정보 주파수 차이에 따라 대상물의 위치를 측정하는 것을 특징으로 하는 이미지 처리 장치.
  14. 제 13항에 있어서,
    상기 이미지 처리 모듈은,
    상기 대상물이 기 설정된 중심 범위가 아닌 경우, 상기 대상물을 중심으로 한 일정 영역을 중심 범위로 재설정하여 이미지 신호를 보정하는 것을 특징으로 하는 이미지 처리 장치.
  15. 제 13항에 있어서,
    상기 복수의 소리 센서는,
    각각의 소리 센서가 기 설정된 감지 각도에 따라 소리 정보를 감지하며, 상기 감지 각도에서 벗어난 소리 정보는 노이즈로 처리하는 것을 특징으로 하는 이미지 처리 장치.
  16. 제 1항에 있어서,
    상기 대상물의 거리 정보를 측정하는 거리 측정 모듈;
    을 더 포함하는 이미지 처리 장치.
  17. 제 16항에 있어서,
    상기 거리 측정 모듈은,
    연산 증폭기;
    상기 연산 증폭기의 입력단 중 어느 하나와, 출력단 사이에 연결되는 가변 저항;
    을 포함하고,
    상기 거리 측정 모듈은,
    상기 가변 저항의 조절을 통해 상기 연상 증폭기의 이득(Gain)을 조절하여, 상기 대상물의 거리 정보를 측정하는 것을 특징으로 하는 이미지 처리 장치.
  18. 제 1항에 있어서,
    상기 이미지 처리 모듈이 보정한 이미지 신호를 디스플레이 장치에 전송하는 통신부;
    를 더 포함하고,
    상기 디스플레이 장치는,
    스마트 단말기, 인 홈 디스플레이(In-home display), 컴퓨터 장치 중 적어도 어느 하나에 포함되는 것을 특징으로 하는 이미지 처리 장치.
  19. 제 1항에 있어서,
    상기 렌즈 모듈이 오프(off) 상태인 경우, 상기 감지 센서는 기 설정된 주기에 따라서 온(on)-오프(off)를 반복하며,
    상기 감지 센서가 대상물을 감지하는 경우, 상기 렌즈 모듈을 온(on) 상태로 변환하는 것을 특징으로 하는 이미지 처리 장치.
  20. 감지 센서가 대상물을 감지하는 단계;
    이미지 센서가 렌즈 모듈을 통하여 입사되는 광 신호를 이미지 신호로 변환하는 단계;
    이미지 처리 모듈이 상기 이미지 신호와 상기 대상물의 감지를 수신하고, 상기 대상물이 기 설정된 중심 범위가 아닌 경우 상기 이미지 신호를 보정하는 단계;
    디스플레이 장치가 상기 보정한 이미지 신호를 출력하는 단계;
    를 포함하는 이미지 처리 장치의 이미지 처리 방법.
PCT/KR2016/008704 2015-08-06 2016-08-08 이미지 처리 장치 Ceased WO2017023151A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/736,884 US20180176450A1 (en) 2015-08-06 2016-08-08 Image processing device
CN201680035741.0A CN107750452A (zh) 2015-08-06 2016-08-08 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0111249 2015-08-06
KR1020150111249A KR20170017401A (ko) 2015-08-06 2015-08-06 이미지 처리 장치

Publications (1)

Publication Number Publication Date
WO2017023151A1 true WO2017023151A1 (ko) 2017-02-09

Family

ID=57943354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/008704 Ceased WO2017023151A1 (ko) 2015-08-06 2016-08-08 이미지 처리 장치

Country Status (4)

Country Link
US (1) US20180176450A1 (ko)
KR (1) KR20170017401A (ko)
CN (1) CN107750452A (ko)
WO (1) WO2017023151A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231515A (zh) * 2017-06-26 2017-10-03 努比亚技术有限公司 一种终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10984640B2 (en) * 2017-04-20 2021-04-20 Amazon Technologies, Inc. Automatic adjusting of day-night sensitivity for motion detection in audio/video recording and communication devices
KR102052597B1 (ko) * 2018-01-05 2019-12-10 이종선 내장 카메라 구동 단말기
CN109873950B (zh) * 2019-01-30 2021-03-23 努比亚技术有限公司 一种图像修正方法、终端及计算机可读存储介质
CN115278010A (zh) * 2022-07-18 2022-11-01 张展瑞 一种低功耗监控球机及其全方位侦测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置
KR20070038656A (ko) * 2005-10-06 2007-04-11 엘지전자 주식회사 디지털 비디오 레코더에서의 협동 감시 제어방법
KR20100121086A (ko) * 2009-05-08 2010-11-17 주식회사 싸이시스 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법
KR20110069628A (ko) * 2009-12-17 2011-06-23 한전케이디엔주식회사 영상 전송장치의 구동 방법
KR20140030585A (ko) * 2012-09-03 2014-03-12 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
EP1107584B1 (en) * 1999-12-03 2008-08-27 Fujinon Corporation Automatic following device
EP1158801A3 (en) * 2000-05-22 2006-09-13 Matsushita Electric Industrial Co., Ltd. Image communication terminal
US20060203090A1 (en) * 2004-12-04 2006-09-14 Proximex, Corporation Video surveillance using stationary-dynamic camera assemblies for wide-area video surveillance and allow for selective focus-of-attention
CN101512374B (zh) * 2006-11-09 2012-04-11 松下电器产业株式会社 声源位置检测装置
JP4318724B2 (ja) * 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
TW200926783A (en) * 2007-12-14 2009-06-16 Altek Corp Method of using a gyro sensor to decide the quality of an image
WO2010015970A1 (en) * 2008-08-04 2010-02-11 Koninklijke Philips Electronics N.V. Communication device with peripheral viewing means
KR101544475B1 (ko) * 2008-11-28 2015-08-13 엘지전자 주식회사 터치를 통한 입출력 제어
CN101710944A (zh) * 2008-12-30 2010-05-19 上海领世通信技术发展有限公司 一种控制无变倍聚焦全方功能装置变倍聚焦全方的方法
EP2392894A3 (en) * 2009-01-23 2012-10-24 Acro Associates Fluid control platform, fluid control systems, intelligent fluid control components and optical aperture sensors
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
US8311983B2 (en) * 2009-04-28 2012-11-13 Whp Workflow Solutions, Llc Correlated media for distributed sources
US20120039579A1 (en) * 2010-08-12 2012-02-16 Play Pusher, Inc. Multi-angle audio and video production system and method
KR101293484B1 (ko) * 2010-09-16 2013-08-06 주식회사 씨앤비텍 감시용 카메라의 촬영조명 난반사 방지 장치
US9794518B2 (en) * 2010-10-21 2017-10-17 Sensormatic Electronics, LLC Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates
JP5900161B2 (ja) * 2012-05-29 2016-04-06 ソニー株式会社 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体
KR20140011215A (ko) * 2012-07-18 2014-01-28 삼성전자주식회사 촬영 장치, 그의 촬영 제어 방법 및 안구 인식 장치
JP6044328B2 (ja) * 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
CN105075288B (zh) * 2013-02-15 2018-10-19 松下知识产权经营株式会社 指向性控制系统、校准方法、水平偏差角计算方法及指向性控制方法
NL2010323C2 (en) * 2013-02-18 2014-08-21 Tvilight B V Motion detector system, lighting system with such system and method for detecting moving vehicles and/or pedestrians.
WO2015012360A1 (ja) * 2013-07-26 2015-01-29 三菱電機株式会社 監視カメラ、映像セキュリティシステム及び旋回型監視カメラ
US9629220B2 (en) * 2013-08-05 2017-04-18 Peter Panopoulos Sensor-based controllable LED lighting system with repositionable components and method
US20150201124A1 (en) * 2014-01-15 2015-07-16 Samsung Electronics Co., Ltd. Camera system and method for remotely controlling compositions of self-portrait pictures using hand gestures
US9495759B2 (en) * 2014-02-26 2016-11-15 Apeiros, Llc Mobile, wearable, automated target tracking system
US9948902B1 (en) * 2014-03-07 2018-04-17 Alarm.Com Incorporated Video camera and sensor integration
US9684056B2 (en) * 2014-05-29 2017-06-20 Abdullah I. Khanfor Automatic object tracking camera
US20160094812A1 (en) * 2014-09-30 2016-03-31 Kai Chen Method And System For Mobile Surveillance And Mobile Infant Surveillance Platform

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247440A (ja) * 2001-02-13 2002-08-30 Fuji Photo Optical Co Ltd 自動追尾装置
KR20070038656A (ko) * 2005-10-06 2007-04-11 엘지전자 주식회사 디지털 비디오 레코더에서의 협동 감시 제어방법
KR20100121086A (ko) * 2009-05-08 2010-11-17 주식회사 싸이시스 음원인식을 이용한 촬영영상 추적 ｐｔｚ 카메라 운용시스템 및 그 방법
KR20110069628A (ko) * 2009-12-17 2011-06-23 한전케이디엔주식회사 영상 전송장치의 구동 방법
KR20140030585A (ko) * 2012-09-03 2014-03-12 멀티펠스 주식회사 초광각 카메라를 이용한 카메라 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107231515A (zh) * 2017-06-26 2017-10-03 努比亚技术有限公司 一种终端

Also Published As

Publication number Publication date
US20180176450A1 (en) 2018-06-21
KR20170017401A (ko) 2017-02-15
CN107750452A (zh) 2018-03-02

Similar Documents

Publication Publication Date Title
WO2017023151A1 (ko) 이미지 처리 장치
WO2012067282A1 (ko) 체온을 포함하는 휴대용 열화상 온도측정 장치 및 방법
WO2021201450A1 (en) Image projecting apparatus and controlling method thereof
WO2019182355A1 (ko) 열화상센서를 갖는 스마트폰, 차량, 카메라 및 이를 이용한 디스플레이 및 감지 방법
WO2018190478A1 (ko) 적외선 열화상을 이용한 지능형 불꽃 검출 장치 및 방법
WO2012118274A1 (ko) 휴대단말기에 구비된 카메라를 이용한 물체의 실제 크기 측정 방법
WO2020159165A1 (ko) 적외선 스테레오 카메라
WO2019139404A1 (ko) 전자 장치 및 그의 영상 처리 방법
WO2015023145A1 (ko) 공간 해상도가 가변되는 거리 정보를 획득할 수 있는 거리검출장치 및 이를 구비한 영상표시장치
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
CN111564022A (zh) 一种检测多目标温度数据图像全景化显示的智能终端
CN113405666A (zh) 结合识别人脸的红外热成像人体温度差值检测方法及装置
WO2016080716A1 (ko) 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2020230930A1 (ko) 열화상 카메라 및 그 제어 방법
WO2022025494A1 (ko) 디스플레이의 휘도를 조절하기 위한 전자 장치 및 그의 동작 방법
WO2016099165A1 (ko) 이미지 센서, 이를 포함하는 영상 획득 장치 및 그 장치를 포함하는 휴대용 단말기
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2022250305A1 (ko) 촬영 시 흔들림을 보정하는 방법 및 그 전자 장치
WO2020204428A1 (ko) 변조 주파수에 따른 깊이 오차를 보상하는 전자 장치 및 방법
WO2020171572A1 (en) Electronic apparatus and controlling method thereof
WO2017183796A1 (ko) 적외선 광학 장치를 탑재한 전자 장치 및 적외선 광학 장치의 제어 방법
WO2024162659A1 (ko) 이미지 센서, 이미지 센서를 포함하는 전자 장치 및 그 동작 방법
CN215639777U (zh) 结合识别人脸的红外热成像人体温度差值检测装置
WO2022177197A1 (ko) 글래스기판의 두께를 측정하기 위한 장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16833387

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15736884

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16833387

Country of ref document: EP

Kind code of ref document: A1