WO2020230930A1 - 열화상 카메라 및 그 제어 방법 - Google Patents

열화상 카메라 및 그 제어 방법 Download PDF

Info

Publication number
WO2020230930A1
WO2020230930A1 PCT/KR2019/005877 KR2019005877W WO2020230930A1 WO 2020230930 A1 WO2020230930 A1 WO 2020230930A1 KR 2019005877 W KR2019005877 W KR 2019005877W WO 2020230930 A1 WO2020230930 A1 WO 2020230930A1
Authority
WO
WIPO (PCT)
Prior art keywords
thermal imaging
imaging camera
pixels
image
thermal
Prior art date
Application number
PCT/KR2019/005877
Other languages
English (en)
French (fr)
Inventor
위준영
오상걸
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2019/005877 priority Critical patent/WO2020230930A1/ko
Publication of WO2020230930A1 publication Critical patent/WO2020230930A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to a thermal imaging camera and a method for controlling the same, and when a predetermined number of pixels among the pixels of a thermal image sensor are in a specific position of a frame, a predetermined number of pixels are recognized as the sun, and the camera is rotated by a predetermined angle to
  • the present invention relates to a thermal imaging camera and a method of controlling the same for preventing the pixels from being damaged by exposure to sunlight.
  • thermal imaging cameras that detect heat by receiving minute infrared rays (IR) generated from an object or a human body have been widely spread and used in various technical fields.
  • IR infrared rays
  • Thermal imaging cameras are used as one of several technologies to prevent vehicle accidents at night and in bad weather.When using a thermal image sensor, it can be checked with a general camera sensor in a low-light night environment and in bad weather environments such as rain, snow, and fog. Accidents can be prevented by detecting people or animals that can't, emit heat.
  • the basic structure of a thermal imaging camera is to store the heat detected by each pixel of the thermal imaging sensor as an electric charge, convert it into an electrical signal, and process it by the controller.
  • the thermal imaging camera is used during the day, when the thermal imaging sensor is exposed to sunlight for a long time, excessive electric charges are stored in the exposed pixels, causing damage to the pixels of the thermal imaging sensor. Such damaged pixels take a very long time to recover, and there is a problem in that accurate data cannot be delivered to the system due to this damage.
  • An embodiment of the present invention provides a thermal imaging camera and a control method for recognizing a predetermined number of pixels as the sun and rotating the thermal imaging camera by a predetermined angle when a predetermined number of pixels of a thermal image sensor are concentrated in a specific location. It aims to provide.
  • Another embodiment of the present invention is a thermal imaging camera that recognizes a predetermined number of pixels as the sun and controls the lens of the thermal imaging camera to be out of focus when a predetermined number of pixels of the thermal image sensor are concentrated at a specific location. It aims to provide the control method.
  • Another embodiment of the present invention is to provide a thermal imaging camera that controls a display to display an image excluding an area image corresponding to a predetermined angle from a first image on a screen, and a control method thereof.
  • a thermal imaging camera includes a control motor for controlling driving of the thermal imaging camera;
  • a thermal image sensor including a plurality of pixels and sensing infrared rays emitted by a subject;
  • a sensor unit sensing movement of the thermal imaging camera; Generates the sensed infrared rays as a first image that can be visually identified, checks raw data every frame, checks the positions of a predetermined number of pixels corresponding to the raw data among the plurality of pixels, When the predetermined number of pixels is at a specific position on the screen, it is recognized that the predetermined number of pixels corresponds to a specific object, and when the sensor unit senses the movement of the thermal imaging camera, the control motor controls the thermal imaging camera.
  • a control unit that controls rotation in one direction by a predetermined angle;
  • a display configured to display the first image on a screen according to a control command from the controller.
  • a method of controlling a thermal imaging camera includes: sensing infrared rays emitted by a subject including a plurality of pixels; Generating the sensed infrared rays as a first image that can be visually identified; Sensing movement of the thermal imaging camera; Checking raw data every frame; Checking positions of a predetermined number of pixels corresponding to the raw data among a plurality of pixels; Recognizing that the predetermined number of pixels corresponds to a specific object when a predetermined number of pixels are in a specific position on the screen; Controlling, by a control motor, to rotate the thermal imaging camera by a predetermined angle in the first direction when the sensor unit senses the movement of the thermal imaging camera; And displaying the first image on a screen according to a control command from the controller.
  • the predetermined number of pixels of the thermal image sensor when a predetermined number of pixels of the thermal image sensor are concentrated in a specific position, the predetermined number of pixels is recognized as the sun, and the thermal imager is rotated by a predetermined angle so that the specific pixel is exposed to sunlight for a long time. As it can prevent exposure for a period of time, user convenience can be improved.
  • the predetermined number of pixels of the thermal image sensor when a predetermined number of pixels of the thermal image sensor are concentrated in a specific position, the predetermined number of pixels is recognized as the sun, and the lens of the thermal imaging camera is controlled so that the focus is not focused, User convenience can be improved because it can prevent exposure to sunlight for a long time.
  • the display is controlled to display an image excluding a region image corresponding to a predetermined angle from the first image on the screen, so that the user does not recognize that the angle of the thermal imaging camera changes and the same screen As you can watch, you can improve user convenience.
  • FIG. 1 is a diagram showing the configuration of a thermal imaging camera according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method of controlling a thermal imaging camera according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a method of controlling a thermal imaging camera according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a state of a thermal image sensor when the thermal imaging camera is rotated by a predetermined angle according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating raw data of an image and an image in which an IPS is applied to raw data according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an original image and an image in which the original image is rotated by a predetermined angle in a specific direction according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating an image that is accurately in focus and an image that is out of focus according to an embodiment of the present invention.
  • FIG. 8 is a diagram showing the structure of a thermal imaging camera according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating a case where an image is accurately focused according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a case of sitting out of focus on an image according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a thermal imaging camera mounted on a vehicle according to an embodiment of the present invention.
  • the thermal imaging camera 100 includes a control motor 110, a thermal image sensor 120, a sensor unit 130, a lens 140, a controller 150, and a display 160.
  • the control motor 110 controls the driving of the thermal imaging camera 100.
  • the control motor 110 controls the rotation of the thermal imaging camera 100 according to a control command from the controller 150.
  • the direction of rotation includes vertical and horizontal directions.
  • the thermal image sensor 120 includes a plurality of pixels and senses infrared rays emitted by the subject.
  • the controller 150 generates a first image that can be visually identified based on the sensed infrared rays.
  • the sensor unit 130 senses movement of the thermal imaging camera. When the thermal imaging camera 100 mounted on the vehicle moves, the sensor unit 130 senses that the vehicle has been operated. This will be described later in FIG. 11.
  • the controller 150 checks raw data every frame, checks the positions of a predetermined number of pixels corresponding to the raw data among a plurality of pixels, and, if a predetermined number of pixels is in a specific position on the screen, Recognizing that the number of pixels corresponds to a specific object, and when the sensor unit 130 senses the movement of the thermal imaging camera, the control motor 110 controls the thermal imaging camera 100 to rotate by a predetermined angle in the first direction. do.
  • the display 120 displays the first image on the screen according to a control command from the controller 150.
  • FIG. 2 is a flowchart illustrating a method of controlling a thermal imaging camera according to an embodiment of the present invention.
  • the present invention is carried out by the control unit 150.
  • a plurality of pixels are included and infrared rays emitted by a subject are sensed (S210).
  • a first image that can be visually identified is generated based on the infrared sensing result (S220).
  • the motion of the thermal imaging camera is sensed (S230).
  • Raw data is checked every frame (S240).
  • Positions of a predetermined number of pixels corresponding to the raw data among the plurality of pixels are checked (S250).
  • the predetermined number of pixels corresponds to a specific object (S260).
  • the fact that the pixel is in a specific position means that the pixels are in the same position consecutively.
  • control motor 110 controls the thermal imaging camera 100 to rotate in the first direction by a predetermined angle (S270).
  • the first image is displayed on the screen according to the control command from the controller 150 (S280).
  • FIG. 3 is a flowchart illustrating a method of controlling a thermal imaging camera according to an embodiment of the present invention.
  • the present invention is carried out by the control unit 150.
  • raw data (RAW data) of an image is checked every frame (S310).
  • the positions of the top 20 pixels of the frame are checked (S320).
  • the control unit 150 checks the positions of 20 pixels in the upper part of the frame every frame.
  • the 20 pixels are recognized as a specific object (S360).
  • the specific object may be the sun.
  • the controller 150 recognizes that the predetermined number of pixels corresponds to the sun.
  • the predetermined angle means a minimum rotation angle to avoid exposure to the sun.
  • the predetermined angle can be 1 degree.
  • 4(a) is a diagram showing a state of the thermal image sensor 120 before rotating the thermal imaging camera 100 by a predetermined angle.
  • the sun 10 emits light to the first area 410 of the thermal image sensor 120.
  • the first region 410 of the thermal image sensor 120 is exposed to the strong light of the sun for a long time, excessive electric charges are stored in the exposed pixels, thereby damaging the thermal image sensor 120. Damaged pixels take a very long time to recover, and this damage is likely to cause problems as accurate data cannot be delivered to the system.
  • 4(b) is a diagram showing a state of the thermal image sensor 120 after rotating the thermal imaging camera 100 by a predetermined angle.
  • the sun 10 when the sun radiates light to the first area 410 of the thermal image sensor 120 and rotates the thermal imager 100 by a predetermined angle, the sun 10 is a thermal image sensor. Light is emitted to the second area 420 of 120.
  • the position to receive sunlight is changed, so that a specific area of the thermal image sensor 120 can be prevented from being exposed to the strong light of the sun 10 for a long time, Damage to the thermal image sensor 120 can be prevented.
  • the controller 150 controls the thermal imaging camera 100 to rotate in a first direction by a predetermined angle, and after a predetermined time elapses, the controller 150 rotates the thermal imaging camera 100 in the first direction. It controls to rotate by an angle equal to a predetermined angle in a second direction different from
  • control unit 150 may change the area receiving the sunlight 10 from the second area 420 to the first area 410.
  • first direction and the second direction mean a horizontal direction.
  • Movement of the thermal imaging camera 100 in the vertical direction is also within the scope of the present invention, but when the thermal imaging camera 100 is moved in the vertical direction, the user's field of view is changed when driving, making it uncomfortable. Accordingly, moving the thermal imaging camera 100 in the horizontal direction can improve user convenience more than moving the thermal imager 100 in the vertical direction.
  • the predetermined angle means the minimum angle of rotation to avoid exposure to the sun.
  • the sun is located within an angle of about 0.5 degrees in a person's field of view.
  • a person can see the sun in the field of view up to a predetermined angle.
  • the sun occupies about 7 to 8 pixels based on a horizontal line.
  • the sun occupies 7 to 8 pixels.
  • 8 pixels x (30 degrees / 320 pixels) 0.75 degrees.
  • 30 degrees / 320 pixels means an angle that one pixel of the thermal imaging camera can see.
  • the viewing angle of the sun is 0.75 degrees and less than 1 degree, exposure to the sun can be avoided even if the thermal imaging camera is rotated only one degree. That is, the meaning of 1 degree may be the minimum rotation angle to avoid exposure to the sun.
  • the predetermined pixel is a pixel whose voltage level is higher than a preset voltage level among a plurality of pixels of the thermal image sensor 120.
  • the sun basically has a high temperature, and the pixels exposed to the sun store a large number of electric charges and transmit the converted electrical signal to the controller 150 of the thermal imaging camera 100.
  • a location of a predetermined pixel may be a first area 410, which is an area receiving sunlight 10, and referring to FIG. 4(b), the location of a predetermined pixel is sunlight ( 10) may be a second area 420 that is a receiving area.
  • the thermal image sensor 120 by moving the thermal image sensor 120 itself, it is possible to adjust a position to which sunlight is received.
  • the sun 10 emits light to the first area 410 of the thermal image sensor 120.
  • the first region 410 of the thermal image sensor 120 is exposed to the strong light of the sun for a long time, excessive electric charges are stored in the exposed pixels, thereby damaging the thermal image sensor 120. Damaged pixels take a very long time to recover, and this damage is likely to cause problems as accurate data cannot be delivered to the system.
  • 4(b) is a diagram showing a state of the thermal image sensor 120 after rotating the thermal image sensor 120 by a predetermined angle.
  • the sun 10 when the sun radiates light to the first area 410 of the thermal image sensor 120 and rotates the thermal image sensor 120 by a predetermined angle, the sun 10 is a thermal image sensor. Light is emitted to the second area 420 of 120.
  • the position to receive sunlight is changed, so that a specific area of the thermal image sensor 120 can be prevented from being exposed to the strong light of the sun 10 for a long time, Damage to the thermal image sensor 120 can be prevented.
  • the controller 150 controls the thermal image sensor 120 to rotate in a first direction by a predetermined angle, and then, when a predetermined time elapses, the controller 150 rotates the thermal image sensor 120 in the first direction. It controls to rotate by an angle equal to a predetermined angle in a second direction different from
  • control unit 150 may change the area receiving the sunlight 10 from the second area 420 to the first area 410.
  • first direction and the second direction mean a horizontal direction.
  • FIG. 5 is a diagram illustrating raw data of an image and an image in which an IPS is applied to raw data according to an embodiment of the present invention.
  • Figure 5 includes Figures 5(a) and 5(b).
  • 5(a) is an image showing raw data showing a case where the thermal image sensor 120 is accurately focused. It can be seen that sunlight is concentrated on the first area 510 of the thermal image sensor 120.
  • FIG. 5(b) shows an image to which image signal processing (IPS) is applied to raw data.
  • IPS image signal processing
  • 6(a) is a diagram showing an image in which an original image is rotated by a predetermined angle in a specific direction.
  • the controller 150 excludes an area image 620 corresponding to a predetermined left angle from the original image 610.
  • the predetermined angle may be 1 degree.
  • the controller 150 excludes an area image 630 corresponding to a predetermined right angle from the original image 610.
  • 6(b) is a diagram showing an actual displayed screen image.
  • the controller 150 includes the display 160 except for an area image 620 corresponding to a predetermined left angle and an area image 630 corresponding to a predetermined right angle from the original image 610.
  • the area image 640 is displayed.
  • an area image excluding an area corresponding to a predetermined left angle and an area corresponding to a right predetermined angle is displayed, even when the thermal imaging camera is rotated, the user continues to see the same image.
  • FIG. 7(a) is a diagram showing an image accurately focused on a thermal image sensor.
  • the image on the left represents raw data showing a case where the thermal image sensor is accurately focused
  • the image on the right represents an image obtained by applying image signal processing (IPS) to the raw data.
  • IPS image signal processing
  • 7(b) is a diagram illustrating an image that is not accurately focused on the thermal image sensor.
  • the image on the left refers to raw data showing a case where the thermal image sensor is not accurately focused
  • the image on the right is an image obtained by applying image signal processing (IPS) to the raw data. Means.
  • IPS image signal processing
  • the left image it can be seen that sunlight is not concentrated on the first region 720 of the thermal image sensor 120 but is dispersed.
  • the image on the right if an ISP is applied to the raw data, the focus is not correct, so the output is different from the actual image.
  • the out-of-focus function is used when the vehicle 200 equipped with the thermal imaging camera 100 is stopped. For example, a vehicle may stop waiting for a signal, and the vehicle may be parked. A detailed description of this will be described later in FIG. 10.
  • FIG. 8 is a diagram showing the structure of a thermal imaging camera according to an embodiment of the present invention.
  • the thermal imager 100 includes a thermal image sensor 120, a shutter 122, and a lens 140.
  • the thermal image sensor 120 includes a plurality of pixels, detects infrared rays emitted by a subject, and generates the detected infrared rays as a first image that can be visually identified.
  • the shutter 122 is a door made so that light that has passed through the lens 140 enters the thermal imaging camera 100 and refers to a device that adjusts exposure according to the opening and closing time. It is a mechanical device that adjusts the amount of light entering the CCD through the lens by adjusting the opening and closing time between the lens and the CCD long or short. It forms the camera's exposure control mechanism with the aperture.
  • the lens 140 collects or radiates light from the sun 10 to form an optical image.
  • FIG. 9 is a diagram illustrating a case where an image is accurately focused according to an embodiment of the present invention.
  • sunlight 10 passes through the lens 140 to accurately focus on the thermal image sensor 120.
  • the amount of light received by the individual sensors of the thermal image sensor 120 is maximized.
  • the thermal image sensor 120 is exposed to sunlight 10 for a long time, a large amount of electric charge is stored in the exposed pixels, thereby damaging the thermal image sensor 120.
  • FIG. 10 is a diagram illustrating a case of sitting out of focus on an image according to an embodiment of the present invention.
  • FIG. 10 includes FIGS. 10(a) and 10(b).
  • FIG. 10(a) is a diagram illustrating that sunlight 10 passes through the lens 140 and is focused behind the thermal image sensor 120.
  • lens 140 that collects or radiates light from the sun to form an optical image.
  • the controller 150 controls the lens 140 so as not to focus on the thermal image sensor 120 if the sensor unit 130 does not sense the movement of the thermal imaging camera 100.
  • Not sensing the movement of the thermal imaging camera 100 means that the vehicle on which the thermal imaging camera 100 is mounted is in a stopped state or that the vehicle driving speed is less than a preset speed. Alternatively, the vehicle may be stopped or parked.
  • the controller 150 may have a lens (the lens 10 so that the sunlight 10 is focused on the rear portion of the thermal imaging sensor 120). 140).
  • FIG. 10(b) is a diagram illustrating that the sunlight 10 passes through the lens 140 and is focused between the lens 140 and the thermal image sensor 120.
  • the controller 150 indicates that the sunlight 10 is transmitted to the lens 140 and the thermal imaging sensor 120.
  • the lens 140 is controlled so that the focus is aligned therebetween.
  • the thermal image sensor 120 Since the total amount of light of the sun received by the thermal image sensor 120 is fixed, the amount of light received by one pixel of the thermal image sensor 120 is reduced by adjusting the lens out of focusing.
  • the total amount of light of the sun received by the thermal image sensor 120 the area of the sensor that the sun shines x the amount of light that shines on one pixel.
  • the controller 150 controls the lens 140 to increase the area of the thermal image sensor 120 to which light is received.
  • the controller 150 controls the lens 140 to reduce the amount of light received by individual pixels of the thermal image sensor 120.
  • FIG. 11 is a diagram illustrating a thermal imaging camera mounted on a vehicle according to an embodiment of the present invention.
  • FIG. 11 includes FIGS. 11(a) and 11(b).
  • FIG. 11(a) is a view showing that the thermal imaging camera 100 is mounted on the vehicle 200 viewed from the front.
  • the thermal imaging camera may be mounted on the front part of the vehicle and may capture an image of the vehicle front.
  • the controller 150 of the thermal imaging camera 100 controls the control motor 110 to rotate the thermal imaging camera 100.
  • 11(b) is a view showing that the thermal imaging camera 100 is mounted on the vehicle 200 viewed from the side.
  • the thermal image sensor 120 of the thermal imaging camera 100 may be damaged by sunlight.
  • the predetermined number of pixels of the thermal image sensor when a predetermined number of pixels of the thermal image sensor are concentrated in a specific position, the predetermined number of pixels is recognized as the sun, and the thermal imager is rotated by a predetermined angle so that the specific pixel is exposed to sunlight for a long time. As it can prevent exposure for a period of time, user convenience can be improved.
  • the predetermined number of pixels of the thermal image sensor when a predetermined number of pixels of the thermal image sensor are concentrated in a specific position, the predetermined number of pixels is recognized as the sun, and the lens of the thermal imaging camera is controlled so that the focus is not focused, User convenience can be improved because it can prevent exposure to sunlight for a long time.
  • the display is controlled to display on the screen an image other than the area image corresponding to a predetermined angle from the first image, so that the user does not recognize that the angle of the thermal imaging camera changes Convenience can be improved.
  • thermal imaging camera and its control method according to the present invention are not limitedly applicable to the configuration and method of the embodiments described as described above, but the embodiments are all or part of each of the embodiments so that various modifications can be made. May be configured by selectively combining.
  • the operating method of the thermal imaging camera of the present invention can be implemented as code that can be read by the processor on a recording medium that can be read by the processor provided in the thermal imaging camera.
  • the processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also include those implemented in the form of carrier waves such as transmission through the Internet. .
  • the recording medium readable by the processor may be distributed over a computer system connected through a network, so that code readable by the processor may be stored and executed in a distributed manner.
  • the present invention is used in the related field of a thermal imaging camera to prevent damage to a pixel of a sensor by being exposed to sunlight by rotating a camera by a predetermined angle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Studio Devices (AREA)

Abstract

열화상 카메라 및 그 제어 방법에 관한 것으로, 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱하고, 적외선 센싱 결과를 기초로 육안 식별이 가능한 제 1 이미지를 생성하고, 열화상 카메라의 움직임을 센싱하고, 매 프레임마다 로우 데이터(raw data)를 확인하고, 복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하고, 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 상기 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하고, 센서부가 상기 열화상 카메라의 이동을 센싱하면, 상기 제어 모터가 상기 열화상 카메라를 제 1 방향으로 소정 각도만큼 회전하도록 제어하고, 제어부로부터의 제어 명령에 따라 상기 제 1 이미지를 화면에 디스플레이하도록 제어하는 것을 그 요지로 한다.

Description

열화상 카메라 및 그 제어 방법
본 발명은 열화상 카메라 및 그 제어 방법에 관한 것으로, 열화상 센서의 픽셀 중 소정 개수의 픽셀이 프레임의 특정 위치에 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 카메라를 소정 각도만큼 회전시켜 센서의 픽셀이 태양광에 노출되어 손상되는 것을 방지하는 열화상 카메라 및 그 제어 방법에 관한 것이다.
최근에는 물체 또는 인체 등에서 발생하는 미세한 적외선(IR)을 수신하여 열을 감지하는 열화상 카메라가, 널리 보급되어 여러 기술 분야에 사용되고 있다.
열화상 카메라는 야간 및 악천후시의 차량 사고를 막기 위한 여러 기술 중의 하나로 이용되고 있는데, 열화상 센서를 이용하는 경우, 저조도의 야간 환경, 비, 눈, 안개와 같은 악천후 환경에서도 일반 카메라 센서로는 확인할 수 없는, 열을 방출하는 사람 혹은 동물을 감지하여 사고를 방지할 수 있다.
열화상 카메라의 기본 구조는 열화상 센서 각각의 픽셀이 감지한 열을 전하로 저장해 놓고 이를 전기적 신호로 바꾸어 제어부에서 처리하는 것이다. 열화상 카메라를 주간에 이용하는 경우, 열화상 센서가 태양광에 오랜 시간 노출되게 되면 노출된 픽셀들에 지나치게 많은 전하가 저장되어 열화상 센서의 픽셀에 손상을 가하게 된다. 이렇게 손상된 픽셀은 복구되는데 상당히 오랜 시간이 소요되고, 이 손상에 의해 정확한 데이터를 시스템에 전달하지 못하는 문제점이 있었다.
본 발명의 일 실시 예는, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라를 소정 각도만큼 회전시키는 열화상 카메라 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 일 실시 예는, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라의 렌즈를 초점이 맞지 않도록 제어하는 열화상 카메라 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명의 또 다른 일 실시 예는, 디스플레이가 제 1 이미지에서 소정 각도에 대응하는 영역 이미지를 제외한 이미지를 화면에 디스플레이하도록 제어하는 열화상 카메라 및 그 제어 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제는 상기 언급한 기술적 과제로 제한되지 않으며, 언급하지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따른, 열화상 카메라는, 열화상 카메라의 구동을 제어하는 제어 모터; 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱하는 열화상 센서; 상기 열화상 카메라의 이동을 센싱하는 센서부; 센싱된 상기 적외선을 육안 식별이 가능한 제 1 이미지로 생성하고, 매 프레임마다 로우 데이터(raw data)를 확인하고, 상기 복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하고, 상기 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 상기 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하고, 상기 센서부가 상기 열화상 카메라의 이동을 센싱하면, 상기 제어 모터가 상기 열화상 카메라를 제 1 방향으로 소정 각도만큼 회전하도록 제어하는 제어부; 및 제어부로부터의 제어 명령에 따라 상기 제 1 이미지를 화면에 디스플레이하는 디스플레이를 포함한다.
본 발명의 다른 실시 예에 따른, 열화상 카메라의 제어 방법은, 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱하는 단계; 센싱된 상기 적외선을 육안 식별이 가능한 제 1 이미지로 생성하는 단계; 열화상 카메라의 움직임을 센싱하는 단계; 매 프레임마다 로우 데이터(raw data)를 확인하는 단계; 복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하는 단계; 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 상기 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하는 단계; 센서부가 열화상 카메라의 이동을 센싱하면, 제어 모터가 상기 열화상 카메라를 제 1 방향으로 소정 각도만큼 회전하도록 제어하는 단계; 및 제어부로부터의 제어 명령에 따라 상기 제 1 이미지를 화면에 디스플레이하는 단계를 포함한다.
본 발명의 일 실시 예에 따르면, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라를 소정 각도만큼 회전시켜서 특정 픽셀이 태양광에 오랜 시간 동안 노출되는 것을 방지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라의 렌즈를 초점이 맞지 않도록 제어해서 특정 픽셀이 태양광에 오랜 시간 동안 노출되는 것을 방지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 디스플레이가 제 1 이미지에서 소정 각도에 대응하는 영역 이미지를 제외한 이미지를 화면에 디스플레이하도록 제어해서 사용자는 열화상 카메라의 각도가 변화함을 인지하지 못하고 동일한 화면을 시청할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른, 열화상 카메라의 구성도를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른, 열화상 카메라의 제어 방법의 순서도를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른, 열화상 카메라의 제어 방법의 순서도를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른, 열화상 카메라를 소정 각도만큼 회전한 경우, 열화상 센서의 상태를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른, 이미지의 로우 데이터와 로우 데이터에 IPS를 적용한 이미지를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른, 오리지널 이미지와 특정 방향으로 오리지널 이미지를 소정 각도만큼 회전한 이미지를 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른, 정확하게 초점이 맞는 이미지와 초점이 맞지 않는 이미지를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른, 열화상 카메라의 구조를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른, 이미지에 정확하게 초점이 맞는 경우를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른, 이미지에 초점이 맞지 앉는 경우를 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른, 차량에 열화상 카메라를 장착한 것 을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른, 열화상 카메라의 구성도를 도시한 도면이다. 도 1을 참조하면, 열화상 카메라(100)는 제어 모터(110), 열화상 센서(120), 센서부(130), 렌즈(140), 제어부(150), 디스플레이(160)를 포함한다.
제어 모터(110)는 열화상 카메라(100)의 구동을 제어한다. 제어 모터(110)는 제어부(150)로부터의 제어 명령에 따라 열화상 카메라(100)의 회전을 제어한다. 회전 방향은 상하, 좌우 방향을 포함한다.
열화상 센서(120)는 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱한다. 제어부(150)는 센싱된 적외선을 기초로 육안 식별이 가능한 제 1 이미지로 생성한다.
센서부(130)는 열화상 카메라의 이동을 센싱한다. 센서부(130)는 차량에 장착된 열화상 카메라(100)가 이동한 경우, 그러한 차량이 운행된 것을 센싱한다. 이에 대하여, 도 11에서 후술한다.
제어부(150)는 매 프레임마다 로우 데이터(raw data)를 확인하고, 복수의 픽셀 중 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하고, 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하고, 센서부(130)가 열화상 카메라의 이동을 센싱하면, 제어 모터(110)가 열화상 카메라(100)를 제 1 방향으로 소정 각도만큼 회전하도록 제어한다.
디스플레이(120)는 제어부(150)로부터의 제어 명령에 따라 제 1 이미지를 화면에 디스플레이한다.
도 2는 본 발명의 일 실시 예에 따른, 열화상 카메라의 제어 방법의 순서도를 도시한 도면이다. 본 발명은 제어부(150)에 의하여 수행된다.
먼저, 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱한다(S210).
적외선 센싱 결과를 기초로 육안 식별이 가능한 제 1 이미지를 생성한다(S220).
열화상 카메라의 움직임을 센싱한다(S230).
매 프레임마다 로우 데이터(raw data)를 확인한다(S240).
복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인한다(S250).
소정 개수의 픽셀이 화면의 특정 위치에 있으면, 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식한다(S260). 여기서, 픽셀이 특정 위치에 있다는 것은 픽셀이 연속적으로 동일한 위치에 있다는 것을 의미한다.
센서부(140)가 열화상 카메라(100)의 이동을 센싱하면, 제어 모터(110)가 열화상 카메라(100)를 제 1 방향으로 소정 각도만큼 회전하도록 제어한다(S270).
제어부(150)로부터의 제어 명령에 따라 제 1 이미지를 화면에 디스플레이한다(S280).
도 3은 본 발명의 일 실시 예에 따른, 열화상 카메라의 제어 방법의 순서도를 도시한 도면이다. 본 발명은 제어부(150)에 의하여 수행된다.
도 3을 참조하면, 먼저, 매 프레임마다 이미지의 로우 데이터(RAW 데이터)를 확인한다(S310).
매 프레임마다 프레임의 상위 20개 픽셀의 위치를 확인한다(S320). 제어부(150)는 프레임의 위쪽 부분에서 20 개 픽셀의 위치를 매 프레임마다 확인한다.
20 개 픽셀의 위치가 특정 위치에 몰려 있는 경우(S330), 30 초간 프레임마다 상위 20개 픽셀의 위치를 확인한다(S340).
20개 픽셀의 위치가 특정 위치에 몰려있지 않은 경우(S330), 다시 매 프레임마다 이미지의 로우 데이터를 확인한다(S310).
20 개 픽셀 위치가 동일한 위치를 유지하는 경우(S350), 20 개 픽셀을 특정 오브젝트로 인식한다(S360). 여기서, 특정 오브젝트는 태양이 될 수 있다.
예를 들어, 제어부(150)는 소정 시간 간격으로 매 프레임 마다 소정 개수의 픽셀이 화면의 특정 위치에 집중되어 있으면, 소정 개수의 픽셀이 태양에 대응됨을 인식한다.
20 개 픽셀 위치가 동일한 위치를 유지하지 않는 경우(S350), 다시 매 프레임마다 이미지의 로우 데이터를 확인한다(S310).
열화상 카메라(100)가 장착된 차량이 이동되는지 확인하고 차량이 이동하면(S370), 카메라를 소정 각도만큼 회전한다(S380). 여기서, 소정 각도는 1 도는 태양의 노출을 피하기 위한 최소한의 회전 각도를 의미한다. 소정 각도는 1 도가 될 수 있다.
열화상 카메라(100)가 장착된 차량이 이동되는지 확인하고 차량이 이동하지 않으면(S370), 열화상 카메라의 렌즈의 초점이 맞지 않도록 제어한다(S390).
도 4는 본 발명의 일 실시 예에 따른, 열화상 카메라를 소정 각도만큼 회전한 경우, 열화상 센서의 상태를 도시한 도면이다. 도 4는 도 4(a), 도 4(b)를 포함한다.
도 4(a)는 열화상 카메라(100)를 소정 각도만큼 회전하기 전의 열화상 센서(120)의 상태를 도시한 도면이다.
도 4(a)를 참조하면, 태양(10)은 열화상 센서(120)의 제 1 영역(410)에 빛을 방사한다. 이러한 경우, 열화상 센서(120)의 제 1 영역(410)은 태양의 강한 빛에 오랜 시간 동안 노출되면, 노출된 픽셀들이 지나치게 많은 전하가 저장되어 열화상 센서(120)에 손상이 가게 된다. 이렇게 손상된 픽셀은 복구되는데 상당히 오랜 시간이 걸리고, 이 손상에 의해 정확한 데이터를 시스템에 전달하지 못하게 되어 문제를 일으킬 가능성이 높다.
도 4(b)는 열화상 카메라(100)를 소정 각도만큼 회전한 후의 열화상 센서(120)의 상태를 도시한 도면이다.
도 4(b)를 참조하면, 태양은 열화상 센서(120)의 제 1 영역(410)에 빛을 방사하다 열화상 카메라(100)를 소정 각도만큼 회전하면, 태양(10)은 열화상 센서(120)의 제 2 영역(420)에 빛을 방사하게 된다.
본 발명에 따르면, 소정 시간이 경과하면, 태양 빛을 받는 위치를 변경하게 되어, 열화상 센서(120)의 특정 영역이 태양(10)의 강한 빛에 오랜 시간 동안 노출되는 것을 방지할 수 있어서, 열화상 센서(120)의 손상을 방지할 수 있다.
다음으로, 제 2 위치(420)에서 제 1 위치(410)로 변경하는 것에 대하여 설명한다.
도 4(b)를 참조하면, 제어부(150)는 열 화상 카메라(100)를 제 1 방향으로 소정 각도만큼 회전하도록 제어한 후, 소정 시간이 경과하면, 열화상 카메라(100)를 제 1 방향과 상이한 제 2 방향으로 소정 각도와 동일한 각도만큼 회전하도록 제어한다.
즉, 제어부(150)는 태양 빛(10)를 받는 영역을 제 2 영역(420)에서 제 1 영역(410)으로 변경할 수 있다. 여기서, 제 1 방향과 제 2 방향은 수평 방향인 것을 의미한다.
열 화상 카메라(100)를 수직 방향으로 이동하는 것도 본 발명의 권리 범위에 속하게 되나, 열화상 카메라(100)를 수직 방향으로 이동하게 되면, 운전할 때, 사용자의 시야가 변경되어 불편하게 된다. 따라서, 열화상 카메라(100)를 수평 방향으로 이동하는 것이 수직 방향으로 이동하는 것보다 더 사용자 편의성을 향상 시킬 수 있다.
다음으로, 소정 각도의 물리적 의미에 대하여 설명한다.
소정 각도는 태양의 노출을 피하기 위한 최소한의 회전 각도를 의미한다.
일반적으로, 태양은 사람의 시야에서, 약 0.5 도의 각도 안에 위치한다. 그러나, 태양 이미지 번짐 현상 등으로 인해, 사람은 최대 소정 각도까지는 태양을 시야에서 볼 수 있다.
따라서, 소정 각도를 어떻게 구하는 지에 대하여 설명한다. 본 발명의 실시 예에 따르면, 열화상 카메라로 테스트를 진행한 경우, 태양이 수평 라인 기준 7 ~ 8 픽셀 정도 차지하고 있다.
예를 들어, QVGA 센서, 320 x 240 해상도, 30도 렌즈의 실험 환경에서, 태양은 7 ~ 8 픽셀을 차지한다. 이 경우, 8 픽셀 x (30 도 / 320 픽셀) = 0.75 도가 된다. 여기서, 30 도 / 320 픽셀은 열화상 카메라의 한 개의 픽셀이 볼 수 있는 각도를 의미한다.
따라서, 태양의 시야각이 0.75 도로 1 도보다 작으므로, 열화상 카메라를 1 도만 회전을 해도 태양의 노출을 피할 수 있다. 즉, 1 도의 의미는 태양의 노출을 피하기 위한 최소한의 회전 각도가 될 수 있다.
다음으로, 소정 픽셀에 대하여 설명한다.
소정 픽셀은 열화상 센서(120)의 복수의 픽셀 중 전압 크기가 기설정된 전압 크기보다 높은 픽셀이다. 태양은 기본적으로 높은 온도를 가지게 되는데, 태양에 노출된 픽셀은 수많은 전하를 저장하게 되어, 변환된 전기적 신호를 열화상 카메라(100)의 제어부(150)로 전송한다.
도 4(a)를 참조하면, 소정 픽셀의 위치는 태양광(10)을 받는 영역인 제 1 영역(410)이 될 수 있고, 도 4(b)를 참조하면 소정 픽셀의 위치는 태양광(10)을 받는 영역인 제 2 영역(420)이 될 수 있다.
본 발명의 일 실시 예에 따르면, 열화상 센서(120) 자체를 움직여서, 태양광이 받는 위치를 조절할 수 있다.
도 4(a)를 참조하면, 태양(10)은 열화상 센서(120)의 제 1 영역(410)에 빛을 방사한다. 이러한 경우, 열화상 센서(120)의 제 1 영역(410)은 태양의 강한 빛에 오랜 시간 동안 노출되면, 노출된 픽셀들이 지나치게 많은 전하가 저장되어 열화상 센서(120)에 손상이 가게 된다. 이렇게 손상된 픽셀은 복구되는데 상당히 오랜 시간이 걸리고, 이 손상에 의해 정확한 데이터를 시스템에 전달하지 못하게 되어 문제를 일으킬 가능성이 높다.
도 4(b)는 열화상 센서(120)를 소정 각도만큼 회전한 후의 열화상 센서(120)의 상태를 도시한 도면이다.
도 4(b)를 참조하면, 태양은 열화상 센서(120)의 제 1 영역(410)에 빛을 방사하다 열화상 센서(120)를 소정 각도만큼 회전하면, 태양(10)은 열화상 센서(120)의 제 2 영역(420)에 빛을 방사하게 된다.
본 발명에 따르면, 소정 시간이 경과하면, 태양 빛을 받는 위치를 변경하게 되어, 열화상 센서(120)의 특정 영역이 태양(10)의 강한 빛에 오랜 시간 동안 노출되는 것을 방지할 수 있어서, 열화상 센서(120)의 손상을 방지할 수 있다.
다음으로, 제 2 위치(420)에서 제 1 위치(410)로 변경하는 것에 대하여 설명한다.
도 4(b)를 참조하면, 제어부(150)는 열화상 센서(120)를 제 1 방향으로 소정 각도만큼 회전하도록 제어한 후, 소정 시간이 경과하면, 열화상 센서(120)를 제 1 방향과 상이한 제 2 방향으로 소정 각도와 동일한 각도만큼 회전하도록 제어한다.
즉, 제어부(150)는 태양 빛(10)를 받는 영역을 제 2 영역(420)에서 제 1 영역(410)으로 변경할 수 있다. 여기서, 제 1 방향과 제 2 방향은 수평 방향인 것을 의미한다.
도 5는 본 발명의 일 실시 예에 따른, 이미지의 로우 데이터와 로우 데이터에 IPS를 적용한 이미지를 도시한 도면이다. 도 5는 도 5(a), 도 5(b)를 포함한다.
도 5(a)는 열화상 센서(120)에 정확하게 초점이 맞는 경우를 도시한 로우 데이터(Raw data)를 도시한 이미지이다. 태양광이 열화상 센서(120)의 제 1 영역(510)에 집중됨을 알 수 있다.
도 5(b)는 로우 데이터에 IPS(Image signal processing)를 적용한 이미지를 의미한다. 도 5(b)를 참조하면, 로우 데이터에 ISP 를 적용하면, 초점이 정확하게 맞기 때문에 실제 이미지와 유사하게 출력된다.
도 6은 본 발명의 일 실시 예에 따른, 오리지널 이미지와 특정 방향으로 오리지널 이미지를 소정 각도만큼 회전한 이미지를 도시한 도면이다. 도 6은 도 6(a), 도 6(b)를 포함한다.
도 6(a)는 오리지널 이미지를 특정 방향으로 소정 각도만큼 회전한 이미지를 도시한 도면이다.
먼저, 오리지널 이미지를 왼쪽으로 소정 각도만큼 회전한 경우에 대하여 설명한다.
도 6(a)를 참조하면, 제어부(150)는 오리지널 이미지(610)에서 왼쪽 소정 각도에 대응하는 영역 이미지(620)를 제외한다. 여기서, 소정 각도는 1 도가 될 수 있다.
다음으로, 소정 시간 경과 후, 열화상 센서 (610)를 오른쪽으로 소정 각도만큼 회전한 경우에 대하여 설명한다.
도 6(a)를 참조하면, 제어부(150)는 오리지널 이미지(610)에서 오른쪽 소정 각도에 대응하는 영역 이미지(630)를 제외한다.
도 6(b)는 실제 디스플레이되는 화면 이미지를 도시한 도면이다.
도 6(b)를 참조하면, 제어부(150)는 디스플레이(160)가 오리지널 이미지(610)에서 왼쪽 소정 각도에 대응하는 영역 이미지(620)와 오른쪽 소정 각도에 대응하는 영역 이미지(630)을 제외한 영역 이미지(640)를 디스플레이한다.
카메라를 소정 각도만큼 회전하게 되면, 사용자 입장의 경우, 사용자는 보이는 화면이 달라져서 혼란을 느낄 수 있다. 따라서, 카메라를 소정 각도만큼 회전하여도 사용자가 계속 같은 화면을 볼 수 있는 기능이 필요하다.
본 발명에 따르면, 왼쪽 소정 각도에 대응하는 영역과 오른쪽 소정 각도에 대응하는 영역을 제외한 영역 이미지를 디스플레이하므로, 열화상 카메라를 회전한 경우에도 사용자는 계속 동일한 이미지를 보는 것 같은 효과가 있다.
도 7은 본 발명의 일 실시 예에 따른, 정확하게 초점이 맞는 이미지와 초점이 맞지 않는 이미지를 도시한 도면이다. 도 7은 도 7(a), 도 7(b)를 포함한다.
도 7(a)는 열화상 센서에 정확하게 초점이 맞는 이미지를 도시한 도면이다.
도 7(a)를 참조하면, 왼쪽 이미지는 열화상 센서에 정확하게 초점이 맞는 경우를 도시한 로우 데이터(Raw data)를 의미하고, 오른쪽 이미지는 로우 데이터에 IPS(Image signal processing)를 적용한 이미지를 의미한다. 왼쪽 이미지에서 태양광이 열화상 센서(120)의 제 1 영역(710)에 집중됨을 알 수 있다. 오른쪽 이미지의 경우, 로우 데이터에 ISP 를 적용하면, 초점이 정확하게 맞기 때문에 실제 이미지와 유사하게 출력된다.
도 7(b)는 열화상 센서에 정확하게 초점이 맞지 않는 이미지를 도시한 도면이다.
도 7(b)를 참조하면, 왼쪽 이미지는 열화상 센서에 정확하게 초점이 맞지 않는 경우를 도시한 로우 데이터(Raw data)를 의미하고, 오른쪽 이미지는 로우 데이터에 IPS(Image signal processing)를 적용한 이미지를 의미한다. 왼쪽 이미지에서 태양광이 열화상 센서(120)의 제 1 영역(720)에 집중되지 않고, 분산되어 있음을 알 수 있다. 오른쪽 이미지의 경우, 로우 데이터에 ISP 를 적용하면, 초점이 정확하게 맞지 않기 때문에 실제 이미지와 다르게 출력된다.
초점이 맞지 않는 이미지(out-focusing)의 실시 예에 대하여 설명한다. 초점이 맞지 않는 기능은 열화상 카메라(100)가 장착된 차량(200)이 정차 시에 사용된다. 예를 들어, 차량은 신호 대기로 정차할 수 있고, 차량은 주차 상태가 될 수 있다. 이에 대하여 상세한 설명은 도 10에서 후술한다.
도 8은 본 발명의 일 실시 예에 따른, 열화상 카메라의 구조를 도시한 도면이다.
도 8을 참조하면, 열화상 카메라(100)는 열화상 센서(120), 셔터(122), 렌즈(140)를 포함한다.
열화상 센서(120)는 복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 감지하고, 감지된 적외선을 육안 식별이 가능한 제 1 이미지로 생성한다.
셔터(122)는 렌즈(140)를 통과한 빛이 열화상 카메라(100) 속으로 들어가도록 만들어진 문이며 여닫는 시간에 따라 노출을 조절하는 장치를 의미한다. 보통 렌즈와 CCD 사이에서 여닫는 시간을 길게 또는 짧게 조절함으로써 렌즈를 통해 CCD에 들어가는 빛의 양을 조절하는 기계장치로, 조리개와 함께 카메라의 노출 조절 기구를 이룬다
렌즈(140)는 태양(10)으로부터 오는 빛을 모으거나 발산시켜 광학적 이미지를 맺게 한다.
도 9는 본 발명의 일 실시 예에 따른, 이미지에 정확하게 초점이 맞는 경우를 도시한 도면이다.
도 9를 참조하면, 태양광(10)이 렌즈(140)를 투과하여, 열화상 센서(120)에 정확하게 초점이 맞는다.
따라서, 이러한 경우, 열화상 센서(120)의 개별 센서에 수신되는 광량은 최대가 된다. 태양광(10)에 열화상 센서(120)가 오랜 시간 노출되게 되면, 노출된 픽셀에 많은 전하가 저장되어 열화상 센서(120)에 손상이 가게 된다.
도 10은 본 발명의 일 실시 예에 따른, 이미지에 초점이 맞지 앉는 경우를 도시한 도면이다. 도 10은 도 10(a), 도 10(b)를 포함한다.
도 10(a)는 태양광(10)이 렌즈(140)를 투과하여, 열화상 센서(120) 뒤에 초점이 맞는 것을 도시한 도면이다.
도 10(a)를 참조하면, 태양으로부터 오는 빛을 모으거나 발산시켜 광학적 이미지를 맺게 하는 렌즈(140)를 더 포함한다.
제어부(150)는 센서부(130)가 열화상 카메라(100)의 이동을 센싱하지 않으면, 열화상 센서(120)에 초점을 맞추지 않도록 렌즈(140)를 제어한다.
열화상 카메라(100)의 이동을 센싱하지 않는다는 것은 열화상 카메라(100)가 장착된 차량이 정지 상태 또는 차량 운행 속도가 기설정된 속도 미만인 것을 의미한다. 또는 차량이 정차한 상태, 주차 상태가 될 수 있다.
예를 들어, 제어부(150)는 센서부(130)가 열화상 카메라(100)의 이동을 센싱하지 않으면, 태양광(10)이 열화상 센서(120)의 뒷 부분에 초점이 맞도록 렌즈(140)를 제어한다.
도 10(b)는 태양광(10)이 렌즈(140)를 투과하여, 렌즈(140)와 열화상 센서(120) 사이에 초점이 맞는 것을 도시한 도면이다.
도 10(b)를 참조하면, 센서부(130)가 열화상 카메라(100)의 이동을 센싱하지 않으면, 제어부(150)는 태양광(10)이 렌즈(140)와 열화상 센서(120) 사이에 초점이 맞도록 렌즈(140)를 제어한다.
다음으로, 열화상 센서(120)에 초점을 맞추지 않도록 렌즈를 제어하는 것에 대하여 설명한다.
열화상 센서(120)에 수신되는 태양의 전체 광량은 고정되어 있으므로, 초점이 맞지 않도록 (out of focusing)렌즈를 조정하여 열화상 센서(120)의 픽셀 하나에 수신되는 광량을 감소시킨다.
열화상 센서(120)에 수신되는 태양의 전체 광량 = 태양이 맺히는 센서 면적 x 픽셀 하나에 맺히는 광량이 된다.
먼저, 열화상 센서의 면적이 증가하도록 조절할 수 있다.
제어부(150)는 광이 수신되는 상기 열화상 센서(120)의 면적이 증가되도록 렌즈(140)를 제어한다.
다음으로, 픽셀 하나에 맺히는 광량이 감소하도록 조절할 수 있다.
제어부(150)는 열화상 센서(120)의 개별 픽셀에 수신되는 광량이 감소되도록 렌즈(140)를 제어한다.
도 11은 본 발명의 일 실시 예에 따른, 차량에 열화상 카메라를 장착한 것을 도시한 도면이다. 도 11은 도 11(a), 도 11(b)를 포함한다.
도 11(a)는 정면에서 바라본 차량(200)에 열화상 카메라(100)가 장착된 것을 도시한 도면이다. 도 11(a)를 참조하면, 열화상 카메라는 차량의 앞부분에 장착될 수 있고, 차량 정면의 이미지를 캡쳐할 수 있다. 열화상 카메라(100)의 제어부(150)는 제어 모터(110)가 열화상 카메라(100)를 회전하도록 제어한다.
도 11(b)는 측면에서 바라본 차량(200)에 열화상 카메라(100)가 장착된 것을 도시한 도면이다.
도 11(b)를 참조하면, 태양이 비출 때, 열화상 카메라(100)의 열화상 센서(120)는 태양광에 의하여 손상될 수 있다.
본 발명의 일 실시 예에 따르면, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라를 소정 각도만큼 회전시켜서 특정 픽셀이 태양광에 오랜 시간 동안 노출되는 것을 방지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 다른 일 실시 예에 따르면, 열화상 센서의 소정 개수의 픽셀이 특정 위치에 몰려 있으면, 소정 개수의 픽셀을 태양으로 인식하고, 열화상 카메라의 렌즈를 초점이 맞지 않도록 제어해서 특정 픽셀이 태양광에 오랜 시간 동안 노출되는 것을 방지할 수 있으므로 사용자 편의성을 향상 시킬 수 있다.
본 발명의 또 다른 일 실시 예에 따르면, 디스플레이가 제 1 이미지에서 소정 각도에 대응하는 영역 이미지를 제외한 이미지를 화면에 디스플레이하도록 제어해서 사용자는 열화상 카메라의 각도가 변화함을 인지하지 못하므로 사용자 편의성을 향상 시킬 수 있다.
본 발명에 따른 열화상 카메라 및 그 제어 방법은 상기한 바와 같이 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 열화상 카메라의 동작방법은 열화상 카메라에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
다양한 실시 예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 카메라를 소정 각도만큼 회전시켜 센서의 픽셀이 태양광에 노출되어 손상되는 것을 방지하는 열화상 카메라의 관련 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (15)

  1. 열화상 카메라에 있어서,
    상기 열화상 카메라의 구동을 제어하는 제어 모터;
    복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱하는 열화상 센서;
    상기 열화상 카메라의 이동을 센싱하는 센서부;
    적외선 센싱 결과를 기초로 육안 식별이 가능한 제 1 이미지를 생성하고,
    매 프레임마다 로우 데이터(raw data)를 확인하고,
    상기 복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하고,
    상기 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 상기 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하고,
    상기 센서부가 상기 열화상 카메라의 이동을 센싱하면, 상기 제어 모터가 상기 열화상 카메라를 제 1 방향으로 소정 각도만큼 회전하도록 제어하는 제어부; 및
    상기 제어부로부터의 제어 명령에 따라 상기 제 1 이미지를 화면에 디스플레이하는 디스플레이
    를 포함하는 열화상 카메라.
  2. 제 1 항에 있어서, 상기 제어부는
    소정 시간 간격으로 매 프레임 마다 상기 소정 개수의 픽셀이 화면의 특정 위치에 집중되어 있으면, 상기 소정 개수의 픽셀이 태양에 대응됨을 인식하는,
    열화상 카메라.
  3. 제 1 항에 있어서, 상기 제어부는
    상기 열화상 카메라를 제 1 방향으로 상기 소정 각도만큼 회전하도록 제어한 후, 소정 시간이 경과하면, 상기 열화상 카메라를 상기 제 1 방향과 상이한 제 2 방향으로 상기 소정 각도와 동일한 각도만큼 회전하도록 제어하는,
    열화상 카메라.
  4. 제 3 항에 있어서,
    상기 제 1 방향과 상기 제 2 방향은 수평 방향인 것을 의미하는,
    열화상 카메라.
  5. 제 1 항에 있어서, 상기 소정 각도는
    태양의 노출을 피하기 위한 최소한의 회전 각도를 의미하는,
    열화상 카메라.
  6. 제 1 항에 있어서,
    상기 소정 픽셀은 복수의 픽셀 중 전압 크기가 기설정된 전압 크기보다 높은 픽셀인 것인,
    열화상 카메라.
  7. 제 1 항에 있어서, 상기 제어부는
    상기 디스플레이가 상기 제 1 이미지에서 상기 소정 각도에 대응하는 영역 이미지를 제외한 이미지를 화면에 디스플레이하도록 제어하는,
    열화상 카메라.
  8. 제 1 항에 있어서,
    상기 피사체로부터 오는 빛을 모으거나 발산시켜 광학적 이미지를 맺게 하는 렌즈를 더 포함하고,
    상기 제어부는
    상기 센서부가 상기 열화상 카메라의 이동을 센싱하지 않으면, 상기 열화상 센서에 초점을 맞추지 않도록 상기 렌즈를 제어하는,
    열화상 카메라.
  9. 제 8 항에 있어서, 상기 제어부는
    광이 수신되는 상기 열화상 센서의 면적이 증가되도록 상기 렌즈를 제어하는,
    열화상 카메라.
  10. 제 8 항에 있어서, 상기 제어부는,
    상기 열화상 센서의 개별 픽셀에 수신되는 광량이 감소되도록 상기 렌즈를 제어하는,
    열화상 카메라.
  11. 열화상 카메라의 제어 방법에 있어서,
    복수의 픽셀을 포함하고, 피사체가 방출하는 적외선을 센싱하는 단계;
    적외선 센싱 결과를 기초로 육안 식별이 가능한 제 1 이미지를 생성하는 단계;
    상기 열화상 카메라의 움직임을 센싱하는 단계;
    매 프레임마다 로우 데이터(raw data)를 확인하는 단계;
    상기 복수의 픽셀 중 상기 로우 데이터에 대응하는 소정 개수의 픽셀의 위치를 확인하는 단계;
    상기 소정 개수의 픽셀이 화면의 특정 위치에 있으면, 상기 소정 개수의 픽셀이 특정 오브젝트에 대응함을 인식하는 단계;
    상기 센서부가 상기 열화상 카메라의 이동을 센싱하면, 상기 제어 모터가 상기 열화상 카메라를 제 1 방향으로 소정 각도만큼 회전하도록 제어하는 단계; 및
    상기 제어부로부터의 제어 명령에 따라 상기 제 1 이미지를 화면에 디스플레이하는 단계
    를 포함하는 열화상 카메라의 제어 방법.
  12. 제 11 항에 있어서,
    소정 시간 간격으로 매 프레임 마다 상기 소정 개수의 픽셀이 화면의 특정 위치에 집중되어 있으면, 상기 소정 개수의 픽셀이 태양에 대응됨을 인식하는 단계를 더 포함하는,
    열화상 카메라의 제어 방법.
  13. 제 11 항에 있어서,
    상기 열화상 카메라를 제 1 방향으로 상기 소정 각도만큼 회전하도록 제어한 후, 소정 시간이 경과하면, 상기 열화상 카메라를 상기 제 1 방향과 상이한 제 2 방향으로 상기 소정 각도와 동일한 각도만큼 회전하도록 제어하는 단계를 더 포함하는,
    열화상 카메라의 제어 방법.
  14. 제 11 항에 있어서,
    상기 디스플레이가 상기 제 1 이미지에서 상기 소정 각도에 대응하는 영역 이미지를 제외한 이미지를 화면에 디스플레이하도록 제어하는 단계를 더 포함하는,
    열화상 카메라의 제어 방법.
  15. 제 11 항에 있어서, 상기 소정 각도는,
    태양의 노출을 피하기 위한 최소한의 회전 각도를 의미하는,
    열화상 카메라의 제어 방법.
PCT/KR2019/005877 2019-05-16 2019-05-16 열화상 카메라 및 그 제어 방법 WO2020230930A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005877 WO2020230930A1 (ko) 2019-05-16 2019-05-16 열화상 카메라 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/005877 WO2020230930A1 (ko) 2019-05-16 2019-05-16 열화상 카메라 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2020230930A1 true WO2020230930A1 (ko) 2020-11-19

Family

ID=73289116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005877 WO2020230930A1 (ko) 2019-05-16 2019-05-16 열화상 카메라 및 그 제어 방법

Country Status (1)

Country Link
WO (1) WO2020230930A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139565A (zh) * 2021-12-08 2022-03-04 湖北恒子工程技术有限公司 一种新型高温罐号识别系统
CN114245022A (zh) * 2022-02-23 2022-03-25 浙江宇视系统技术有限公司 一种场景自适应拍摄方法、电子设备和存储介质
CN114353954A (zh) * 2021-12-13 2022-04-15 浙江兆晟科技股份有限公司 一种红外热像仪防太阳灼烧的方法及系统
WO2024171810A1 (ja) * 2023-02-14 2024-08-22 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274874A (ja) * 2004-03-24 2005-10-06 Hiroo Iwata 全方位静止画撮影装置
JP2010219810A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd 撮像装置、撮像方法、プログラム及び記録媒体
US20140049640A1 (en) * 2011-03-02 2014-02-20 Disicon Forest fire video monitoring system and method
KR20160056179A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 영상 보정 장치
JP2018056786A (ja) * 2016-09-28 2018-04-05 京セラ株式会社 画像処理装置、撮像装置、移動体、及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274874A (ja) * 2004-03-24 2005-10-06 Hiroo Iwata 全方位静止画撮影装置
JP2010219810A (ja) * 2009-03-16 2010-09-30 Ricoh Co Ltd 撮像装置、撮像方法、プログラム及び記録媒体
US20140049640A1 (en) * 2011-03-02 2014-02-20 Disicon Forest fire video monitoring system and method
KR20160056179A (ko) * 2014-11-11 2016-05-19 현대모비스 주식회사 영상 보정 장치
JP2018056786A (ja) * 2016-09-28 2018-04-05 京セラ株式会社 画像処理装置、撮像装置、移動体、及び画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139565A (zh) * 2021-12-08 2022-03-04 湖北恒子工程技术有限公司 一种新型高温罐号识别系统
CN114353954A (zh) * 2021-12-13 2022-04-15 浙江兆晟科技股份有限公司 一种红外热像仪防太阳灼烧的方法及系统
CN114245022A (zh) * 2022-02-23 2022-03-25 浙江宇视系统技术有限公司 一种场景自适应拍摄方法、电子设备和存储介质
CN114245022B (zh) * 2022-02-23 2022-07-12 浙江宇视系统技术有限公司 一种场景自适应拍摄方法、电子设备和存储介质
WO2024171810A1 (ja) * 2023-02-14 2024-08-22 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
WO2020230930A1 (ko) 열화상 카메라 및 그 제어 방법
WO2016043423A1 (en) Method for capturing image and image capturing apparatus
WO2021201450A1 (en) Image projecting apparatus and controlling method thereof
WO2012067423A2 (ko) 적외선 어레이 센서를 이용한 휴대용 온도측정장치
WO2017007096A1 (en) Image capturing apparatus and method of operating the same
WO2013058474A1 (en) Photographing apparatus and method
WO2016167499A1 (ko) 촬영 장치 및 촬영 장치의 제어 방법
WO2020159165A1 (ko) 적외선 스테레오 카메라
WO2012115408A2 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2016036059A1 (en) Photographing apparatus and photographing method
WO2017204406A1 (ko) 운전자의 눈 위치 검출 장치와 방법, 및 롤링 셔터 구동 방식의 이미지 센서를 구비한 촬상 장치와 그 조명 제어 방법
WO2017078280A1 (ko) 멀티스케일 이미징 시스템
WO2016204371A1 (en) Photographing apparatus for preventing light leakage and image sensor thereof
WO2022039323A1 (ko) 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
WO2020096263A1 (ko) 이동체에 포함된 카메라 시스템 및 그 제어방법
WO2015122604A1 (en) Solid-state image sensor, electronic device, and auto focusing method
WO2015158284A1 (zh) 具有动态追拍功能的移动终端及其动态追拍方法
WO2017023151A1 (ko) 이미지 처리 장치
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2015023038A1 (ko) 복수의 투사 영상을 중첩되지 않게 표시 가능한 디스플레이 장치
WO2013151273A1 (en) Digital image processing apparatus and controlling method thereof
WO2018030795A1 (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
JP5105907B2 (ja) 撮像システム
WO2020096192A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19928654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19928654

Country of ref document: EP

Kind code of ref document: A1