WO2014035050A1 - 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 - Google Patents

영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 Download PDF

Info

Publication number
WO2014035050A1
WO2014035050A1 PCT/KR2013/006248 KR2013006248W WO2014035050A1 WO 2014035050 A1 WO2014035050 A1 WO 2014035050A1 KR 2013006248 W KR2013006248 W KR 2013006248W WO 2014035050 A1 WO2014035050 A1 WO 2014035050A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
brightness value
left image
right image
value
Prior art date
Application number
PCT/KR2013/006248
Other languages
English (en)
French (fr)
Inventor
김현우
권순
이장우
하재욱
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to CN201380020190.7A priority Critical patent/CN104285443B/zh
Priority to US14/129,042 priority patent/US20150042761A1/en
Publication of WO2014035050A1 publication Critical patent/WO2014035050A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Definitions

  • the present invention relates to an image brightness adjustment technique.
  • two cameras may be used as different model cameras, or two cameras may have different initial settings, and different characteristics from a single camera may be obtained. Therefore, the image obtained through each of the two cameras has a problem that the difference between the brightness can be significantly large.
  • Another object of the present invention is to provide a stereo camera capable of obtaining two images having a small brightness error.
  • the image input unit for receiving a left image and a right image photographed through a stereo camera;
  • An average brightness value obtaining unit obtaining an average brightness value for each of the left image and the right image;
  • an image adjusting the image brightness of at least one of the left image and the right image by controlling the exposure time of the stereo camera based on an average brightness value and a target brightness value obtained for each of the left image and the right image.
  • an image brightness adjusting device including a brightness adjusting unit.
  • the average brightness value obtaining unit obtains an average brightness value for the left image by grasping an area where the left image and the right image correspond to each other, and averaging brightness values of respective points in the corresponding area in the left image.
  • the average brightness value of the right image may be obtained by averaging brightness values of respective points in the region corresponding to the right image.
  • the present invention provides an image brightness adjusting method provided by an image brightness adjusting apparatus, comprising: receiving a left image and a right image captured by a stereo camera; Obtaining an average brightness value for each of the left image and the right image; And adjusting an image brightness of at least one of the left image and the right image by controlling an exposure time of the stereo camera based on an average brightness value and a target brightness value obtained for each of the left image and the right image. It provides a method for adjusting the image brightness comprising a.
  • FIG. 1 is a block diagram of an image brightness adjusting apparatus according to an embodiment of the present invention.
  • FIG. 2 is a detailed block diagram of an image brightness adjusting apparatus according to an embodiment of the present invention.
  • 3 is a diagram illustrating a structure of a stereo camera.
  • FIG. 4 is a diagram illustrating a process of obtaining a depth image.
  • FIG. 5 is a diagram illustrating an exposure time control process by way of example.
  • FIG. 6 is a flowchart illustrating an image brightness adjusting method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an average brightness value obtaining step in the image brightness adjusting method according to an embodiment of the present invention.
  • FIG. 8 is another flowchart of a method of controlling image brightness according to an embodiment of the present invention.
  • FIG. 9 is a block diagram of a stereo camera according to an embodiment of the present invention.
  • Image brightness adjustment apparatus a device for reducing the brightness error of the left image and the right image captured by the stereo camera.
  • the image brightness adjusting apparatus can reduce the brightness error of the left image and the right image by controlling the increase and decrease of the exposure time for photographing each of the left image and the right image.
  • the image brightness adjusting apparatus determines whether the exposure time for photographing the left image and the exposure time for photographing the right image are long or short. You may need to decide, and in some cases, how long or short you need to adjust.
  • the image brightness controller according to an embodiment of the present invention, the left image of which the image brightness controller is currently photographed And the degree of brightness of each of the right images is compared with the reference brightness information (target brightness value).
  • the image brightness control apparatus the brightness degree of each of the left image and the right image currently photographed as "average brightness value for the left image” and "average brightness value for the right image”.
  • the average brightness value for the left image and the average brightness value for the left image are compared with the target brightness value. If the difference does not occur within the brightness value and the tolerance range, at least one of the average brightness value for the left image and the average brightness value for the right image is different from the target brightness value and the tolerance range.
  • the left and right images are controlled by increasing or decreasing the exposure time and further increasing or decreasing the exposure time, which affects the brightness of the image when one or more of the right images are taken. It can reduce the brightness of the error.
  • FIG. 1 is a block diagram of an image brightness adjusting apparatus 100 according to an embodiment of the present invention.
  • the apparatus 100 for controlling brightness of an image may include an image input unit 110 that receives a left image and a right image captured by a stereo camera, and a left image and a right image, respectively. At least one of the left image and the right image by controlling the exposure time of the stereo camera based on the average brightness value obtaining unit 120 for obtaining the average brightness value for the left and right image, respectively; And an image brightness controller 130 for adjusting the image brightness for the image.
  • the average brightness value obtaining unit 120 and the image brightness adjusting unit 130 are detailed block diagrams of the image brightness adjusting device 100. It will be described in more detail with reference to FIG.
  • the average brightness value obtaining unit 120 acquires brightness information in the entire area of the left image in order to obtain more accurate brightness information. Instead of acquiring brightness information from the entire area of the right image, an average brightness value (brightness information) is obtained from a region corresponding to the right image among all regions of the left image, and corresponding to the left image from the entire region of the right image. An average brightness value (brightness information) may be obtained in the region.
  • the average brightness value obtaining unit 120 does not acquire brightness information in the entire areas 310 and 320 of the left image and the right image.
  • brightness information is obtained in an area 300 in which the left image and the right image correspond to each other.
  • the average brightness value obtaining unit 120 includes a corresponding area grabbing unit 210 that grasps an area 300 in which a left image and a right image correspond to each other, and an area 300 corresponding to a right image in a left image.
  • the left image average brightness value obtaining unit 220 obtains a brightness value of each of the inner points and obtains the average brightness value of the left image by averaging the obtained brightness values, and the region 300 corresponding to the left image in the right image. It may include a right image average brightness value acquisition unit 230 to obtain a brightness value of each of the inner points, and to obtain the average brightness value for the right image by averaging the obtained brightness value.
  • the corresponding region determiner 210 may identify the region 300 corresponding to the left image and the right image in a step of performing a stereo matching process associated with a process of obtaining a depth image.
  • stereo matching In order to calculate a parallax value in a stereo camera, finding a region where the left image and the right image correspond, that is, a region where the left image and the right image correspond, is referred to as "stereo matching". Calculate the similarity between the corresponding regions to be compared at, and determine that the point where the calculated similarity is the highest is the region where the match is made.
  • the similarity between the corresponding candidate candidates in the left image and the right image is obtained, and then only the correspondence region having high reliability of matching is selected and used by applying a threshold value. That is, the average brightness value is obtained by only bringing the brightness value with high reliability in the corresponding region.
  • the corresponding area determining unit 210 determines that the point is inferior in reliability and excludes it from the area for obtaining the brightness value.
  • the corresponding region grasping unit 210 moves the coordinates of the remaining image (right image or left image) based on one image (left image or right image) of the left image and the right image, and the left image and the right image.
  • the difference information between the left image and the right image is calculated based on the obtained difference information, and the region including the points where the similarity is calculated above the threshold is identified as the region where the left image and the right image correspond to each other. Can be.
  • FIG. 4 which illustrates a process of obtaining a depth image
  • a method of identifying a region in which a left image and a right image correspond to each other will be described as an example. That is, by changing the coordinates of the right image based on the pixel p), the point in the right image is changed (that is, the pixels p + d and d are the distance between the point in the left image and the point in the right image), and the changed point in the right image.
  • the difference information between the pixel value L (p) at any point in the left image and the changed second pixel value R (p + d) in the right image is obtained, and based on this, the point in the left image
  • the similarity s between the points in the right image and the right image is calculated, and the sums are similar to the points in the left image according to the change of the distance d between the point in the left image and the point in the right image, that is, Similarity information between points in the right image may be calculated.
  • a graph showing the calculated similarity information with various points in the right image in which coordinates are changed with respect to one point in one left image may be confirmed through FIG. 4.
  • the correspondence region determiner 210 performs the above-described similarity information calculation method on all points in the left image, and among the points in the left image, the similarity S of the threshold value S th or more. If there is a point in the right image that can be calculated, an area including all of the points in the right image (or points in the left image corresponding thereto) existing at this time may be identified as a corresponding area.
  • Equation 1 For each of the left and right images, the brightness value of each point in the corresponding area identified above is obtained using Equation 1 below, and the average brightness value is obtained by averaging the brightness values of each point using Equation 2 below. Can be obtained.
  • S i is a brightness value of a trusted similarity position (a point at which similarity is calculated above a threshold value in the left image)
  • S j is a trusted similarity position (a threshold value in the left image).
  • L (x, y) is the pixel value of the left image
  • R (x + d, y) is the pixel value of the right image
  • S v is similarity
  • S th is Threshold
  • n is the number of trusted similarity positions (points where similarity above the threshold is calculated in the left image) in the left image / right image.
  • S avg1 is an average brightness value of the similarity brightness trusted in the left image
  • S avg2 is an average brightness value of the similarity brightness trusted in the right image.
  • the above-described image brightness controller 130 compares the average brightness value obtained for the left image with the target brightness value and compares the difference between the target brightness value and the average brightness value acquired for the left image. If it is outside this tolerance range, the stereo camera controls the increase and decrease of the exposure time associated with the shooting of the left image so that an average brightness value is obtained for the left image so that the difference with the target brightness value falls within the tolerance range.
  • the left image brightness controller 240 compares the average brightness value obtained for the right image with the target brightness value, and the difference between the target brightness value and the average brightness value obtained for the right image is outside the tolerance range. If the average brightness value is obtained for the right image, the difference between the target brightness value and the target brightness value is within the tolerance range. It may include one or more of the right image brightness controller 250 for controlling the increase and decrease of the exposure time.
  • the left image brightness adjusting unit 240 determines that the difference between the target brightness value and the average brightness value obtained for the left image is less than the lower limit value (-k) of the tolerance range (-k or more and k or less). If the exposure time related to the shooting of the image is reduced and the difference between the target brightness value and the average brightness value obtained for the left image is greater than the upper limit value (+ k) of the tolerance range (-k or more and k or less), the stereo camera Can increase the exposure time associated with the shooting of the left image.
  • the stereo image is displayed in the right image. If the difference between the target brightness value and the average brightness value obtained for the right image is greater than the upper limit value (+ k) of the tolerance range (-k or more and k or less), the stereo camera This can extend the exposure time associated with taking pictures.
  • the "target brightness value” referred to herein is a value set based on a default setting value, a value set based on an average brightness value obtained for the left image and an average brightness value obtained for the right image, or a user setting.
  • the value may be set based on a value or may be set based on ambient brightness information detected by a brightness sensor.
  • target brightness value may be one of an average brightness value obtained for the left image and an average brightness value obtained for the right image.
  • the image brightness controller 130 may include only the left image brightness controller 240 without the right image brightness controller 250.
  • the above-mentioned tolerance range is information for determining whether the difference between the target brightness value and the average brightness value is an allowable error, and the difference between the target brightness value and the average brightness value (measured value) is allowed. If it is in the error range, it is not necessary to adjust the image brightness for the corresponding image, and if the difference between the target brightness value and the average brightness value (measured value) is out of the tolerance range, it is necessary to adjust the image brightness for the corresponding image.
  • This tolerance range may be set in consideration of various factors in actual situations, such as a possibility of occurrence of an error in obtaining an average brightness value for each image.
  • This tolerance range may be expressed as a range of -k (lower limit) or more to + k (upper limit) or less.
  • the image brightness control unit 130 according to the magnitude of the difference value (T avg -S avg1 ) between the target brightness value (T avg ) and the average brightness value (S avg1 ) obtained for the left image, in the stereo camera
  • the amount of increase or decrease of the exposure time associated with the left image capture may be controlled differently.
  • the image brightness controller 130 may be configured according to the magnitude of the difference value T avg -S avg2 between the target brightness value T avg and the average brightness value S avg2 obtained for the right image.
  • the amount of increase or decrease of the exposure time associated with the right image may be controlled differently.
  • the tolerance range corresponds to a case where 0 is zero as a special example. That is, it is allowed only when the brightness of the left image 510 and the brightness of the right image 520 are the same.
  • the image brightness adjusting apparatus 100 may determine the depth through the captured left image 510 and the right image 520.
  • the similarity between each of the captured left image 510 and the right image 520 is greater than or equal to a threshold value, so as to identify a highly reliable point (position), thereby photographing the left image 510.
  • the area 300 corresponding to each other in the right image 520, and the brightness value of each point in the area 300 corresponding to the right image 520 in the left image 510 is averaged.
  • the average brightness value for the left image 510 is obtained as 120
  • the average brightness value for the right image 520 is obtained as 110
  • the exposure time associated with the shooting of the right image 520 is calculated relative to the currently set exposure time such that the average brightness value becomes the target brightness value, that is, the average brightness value for the right image 520 falls within the tolerance range. It is made longer by the difference (18).
  • the right image 520 should be brighter than the left image 510.
  • the brightness of 520 becomes equal. That is, in order for the brightness of the left image 510 and the right image 520 to be the same, an increase amount in which the exposure time associated with the photographing of the right image 520 is increased is the exposure time associated with photographing the left image 510.
  • the control is greater than this lengthening increase.
  • FIG. 6 is a flowchart illustrating an image brightness adjusting method according to an embodiment of the present invention.
  • the image input unit 110 receives a left image and a right image captured by a stereo camera.
  • the average brightness value obtaining unit 120 obtains an average brightness value for the left image and the right image, respectively (S602)
  • the image brightness adjusting unit 130 performs the left image and the right image, respectively. Controlling the exposure time of the stereo camera based on the average brightness value obtained for the operation (S604);
  • the average brightness value obtaining unit 120 may determine the remaining image (right image or left image) based on one image (left image or right image) of a left image and a right image. By moving the coordinates of), the difference information between the left image and the right image is obtained, the similarity between the left image and the right image is calculated based on the obtained difference information, and the region including the points where the calculated similarity is greater than or equal to the threshold value is corresponded. It can grasp
  • the image brightness controller 130 compares the average brightness value obtained for the left image with the target brightness value, and obtains the target brightness value and the average brightness value obtained for the left image. If the difference between the values is out of the tolerance range, the stereo camera is responsible for the exposure time associated with the shooting of the left image so that an average brightness value is obtained for the left image such that the difference with the target brightness value falls within the tolerance range. If the difference between the target brightness value and the average brightness value obtained for the right image is out of the tolerance range, the increase and decrease is controlled, the average brightness value obtained for the right image is compared with the target brightness value. The brightness associated with the shooting of the right image in the stereo camera is obtained so that an average brightness value is obtained for the right image so that the difference value of the value falls within the tolerance range. And it controls the increase and decrease with respect to time.
  • the allowable error range corresponds to the case where 0 (zero) is a special example. That is, it is allowed only when the brightness of the left image and the brightness of the right image are the same.If not, the exposure time is set so that the average brightness value of the left image and the average brightness value of the right image are both equal to the target brightness value. You need to control the brightness.
  • FIG. 8 is another flowchart of a method of controlling image brightness according to an embodiment of the present invention.
  • the image brightness adjusting apparatus 100 adjusts the exposure time according to a default value or detected ambient brightness (S800), and the left image captured by the stereo camera according to the adjusted exposure time. And the right image is input (S801, S802).
  • the image brightness adjusting apparatus 100 obtains a depth image using the input left image and the right image, and in this process, obtains similarity information between the left image and the right image, as described with reference to FIG. 4. (S803).
  • the image brightness adjusting apparatus 100 performs a process of obtaining a depth image in operation S803, and based on the similarity information obtained in this process, the image brightness adjusting apparatus 100 may identify a region in which the input left and right images correspond to each other.
  • the image brightness adjusting apparatus 100 obtains an average brightness value from the similarity information of the left image (ie, the area corresponding to the right image), and obtains the average brightness value from the similarity information of the right image (ie, the area corresponding to the left image).
  • An average brightness value can be obtained (S805 and S806).
  • the image brightness adjusting apparatus 100 calculates a difference value between the target brightness value T avg and the average brightness value S avg obtained with respect to the left image, and further, the target brightness value T avg and the right brightness value T avg .
  • the difference value of the average brightness value S avg obtained for the image is calculated (S807 and S808).
  • the image brightness adjusting apparatus 100 determines whether a difference value between the target brightness value T avg and the average brightness value S avg obtained with respect to the left image is zero (S809).
  • step S809 when the difference between the target brightness value T avg and the average brightness value S avg obtained for the left image is 0 (zero), that is, the target brightness value T avg and the left image are obtained. If the obtained average brightness value S avg is the same, the image brightness adjusting apparatus 100 may terminate the image brightness adjusting method, and the stereo camera may proceed to photograph the subject.
  • step S809 if the difference between the target brightness value T avg and the average brightness value S avg obtained for the left image is not zero, that is, the target brightness value T avg and the left image If the obtained average brightness value S avg is not equal to the image brightness adjusting apparatus 100, the difference value between the target brightness value T avg and the obtained average brightness value S avg is obtained for the left image. It is determined whether it is positive (S810).
  • step S810 when the difference between the target brightness value T avg and the average brightness value S avg obtained for the left image is positive, that is, the target brightness value T avg is applied to the left image. If the average brightness value S avg is obtained, the left image is darker than the target brightness, and thus the image brightness adjusting apparatus 100 adjusts the exposure time (S800).
  • step S810 when the difference between the target brightness value T avg and the average brightness value S avg obtained for the left image is negative, that is, the target brightness value T avg is applied to the left image. If the average brightness value S avg is less than that, since the left image is too bright than the target brightness, the image brightness adjusting device 100 adjusts the exposure time (S800). As a result, the brightness of the left image is set equal to the target brightness.
  • the brightness of the right image may be adjusted as described below in the same manner as the brightness of the left image.
  • step S809 when the difference between the target brightness value T avg and the average brightness value S avg obtained for the right image is not zero, that is, the target brightness value T avg and the right image If the obtained average brightness value S avg is not the same, the image brightness adjusting apparatus 100 determines that the difference between the target brightness value T avg and the average brightness value S avg obtained for the right image is different. It is determined whether it is positive (S810).
  • the image brightness adjusting apparatus 100 adjusts the exposure time (S800).
  • the image brightness adjusting device 100 adjusts the exposure time (S800). As a result, the brightness of the right image is set equal to the target brightness.
  • the brightness of the left image and the right image are the same so that the brightness error may be eliminated or much reduced.
  • the image brightness adjusting method according to an embodiment of the present invention has been described as being performed by the same procedure as in FIGS. 6, 7 and 8, but this is only for convenience of description and does not depart from the essential concept of the present invention. As long as it does not, the implementation procedure of each step may be changed, two or more steps may be integrated, or one step may be performed in two or more steps depending on the implementation manner.
  • the image brightness adjusting apparatus 100 may be a module related to auto exposure adjustment included in a stereo camera, or may be a stereo camera itself.
  • FIG. 9 is a block diagram of a stereo camera 900 according to an embodiment of the present invention.
  • FIG. 9 is a stereo camera 900 according to an embodiment of the present invention, two image sensing unit (910, 920) for obtaining a left image and a right image, the two image sensing unit (910, 920) is obtained Brightness correction information for each of the left and right images, based on an average brightness value obtaining unit 930 for obtaining an average brightness value for each of the left and right images, and an average brightness value for each of the left and right images
  • a brightness correction processing unit 940 for determining a control unit and an exposure time adjusting unit for adjusting an exposure time related to acquisition of each of the left and right images based on the brightness correction information obtained for each of the left and right images ( 950, 960, and the like.
  • the average brightness values for each of the left and right images may not be obtained in the entire region of the left image and the entire region of the right image, but may be obtained only in a region where the left image and the right image correspond to each other.
  • the brightness correction information for each of the above-mentioned left and right images includes at least one of a difference between the target brightness value and the average brightness value, information on whether brightness is increased or not, brightness increase information or brightness decrease information. can do.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Exposure Control For Cameras (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 영상 밝기 조절 기술에 관한 것으로서, 더욱 상세하게는, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과 그 장치, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라에 관한 것이다.

Description

영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
본 발명은 영상 밝기 조절 기술에 관한 것이다.
최근 카메라의 발전과 보급으로 디지털 카메라뿐 아니라 PC웹캠, 보안, 차량용 블랙박스, 스마트 폰에 걸쳐 다양하게 사용되고 있다. 현재 시중에 나와 있는 대부분의 카메라는 단일 카메라를 사용하고 있다. 기존의 방법은 단일 카메라에서 어두운 영역과 밝은 영역에 맞게 촬영할 수 있는 자동밝기 조절 방법을 사용하고 있다.
최근 스테레오 카메라를 이용하여 보안이나 자동차, 로봇, 3D측정 등 다양한 분야에서 연구와 활용이 이루어지고 있다.
하지만, 종래의 이러한 스테레오 카메라의 구조에서, 두 대의 카메라를 다른 모델의 카메라로 사용하거나, 두 대의 카메라는 초기 설정이 다를 수 있으며, 각기 다른 위치에서 영상을 획득하는 등과 같이 단일 카메라와 다른 특성이 있기 때문에, 두 대의 카메라 각각을 통해 획득되는 영상은 밝기 간의 차이가 상당히 커질 수 있는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 데 있다.
본 발명의 다른 목적은, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 데 있다.
전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부; 상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부; 및 상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부를 포함하는 영상 밝기 조절 장치를 제공한다.
상기 평균 밝기값 획득부는, 상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하고, 상기 좌 영상에서 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하며, 상기 우 영상에서 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득할 수 있다.
다른 측면에서, 본 발명은, 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 있어서, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계; 상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 단계; 및 상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 단계를 포함하는 영상 밝기 조절 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 효과가 있다.
또한, 본 발명에 의하면, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 밝기 조절 장치에 대한 상세 블록도이다.
도 3은 스테레오 카메라의 구조를 나타낸 도면이다.
도 4는 깊이 영상을 얻는 과정을 나타낸 도면이다.
도 5는 노출 시간 제어 과정을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에서 평균 밝기값 획득 단계에 대한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 다른 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라에 대한 블록도이다.
본 발명의 일 실시예에 따른 영상 밝기 조절 장치는, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상의 밝기 오차를 줄여주는 장치이다.
이러한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는 좌 영상 및 우 영상 각각의 촬영을 위한 노출 시간의 증감을 제어함으로써 좌 영상 및 우 영상의 밝기 오차를 줄여줄 수 있다.
또한, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는 좌 영상 및 우 영상의 밝기 오차를 줄여주기 위하여, 좌 영상의 촬영을 위한 노출 시간과 우 영상의 촬영을 위한 노출 시간을 길게 할지 짧게 할지를 결정해야 하고, 경우에 따라서는, 얼마나 길게 또는 짧게 조절해야 하는지를 결정해야할 수도 있다.
이와 같이, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치가 노출 시간의 조절 정도(증가(+), 감소(-), 조절량 등)를 결정하기 위해서는, 영상 밝기 조절 장치가 현재 촬영된 좌 영상 및 우 영상 각각의 밝기 정도가 기준이 되는 밝기 정보(목표 밝기값)에 비해 어느 정도가 되는지를 알아야 한다.
이에 따라, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치는, 현재 촬영된 좌 영상 및 우 영상 각각의 밝기 정도를 "좌 영상에 대한 평균 밝기값"과 "우 영상에 대한 평균 밝기값"으로서 획득하고, 획득된 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 각각을 목표 밝기값과 비교하여, 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 중 어느 하나 이상이 목표 밝기값과 허용 오차 범위 이내에서 차이가 발생하지 않으면, 좌 영상에 대한 평균 밝기값과 우 영상에 대한 평균 밝기값 중 어느 하나 이상이 목표 밝기값과 허용 오차 범위 이내에서 차이가 나도록, 좌 영상 및 우 영상 중 하나 이상의 촬영시 영상 밝기에 영향을 끼치는 노출 시간의 증가 또는 감소, 더 나아가, 증가량 또는 감소량 등을 제어함으로써, 좌 영상 및 우 영상 간의 밝기 오차를 줄여줄 수 있다.
이상에서 간략하게 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치와, 이 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 대하여, 이하에서, 예시적인 도면을 통해 더욱 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)에 대한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)는, 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부(110)와, 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부(120)와, 좌 영상 및 우 영상 각각에 대하여 획득된 평균 밝기값을 토대로 스테레오 카메라의 노출 시간을 제어함으로써, 좌 영상 및 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부(130) 등을 포함한다.
전술한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)에서 평균 밝기값 획득부(120) 및 영상 밝기 조절부(130)에 대하여, 영상 밝기 조절 장치(100)에 대한 상세 블록도인 도 2를 참조하여 더욱 상세하게 설명한다.
도 2를 참조하면, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상 각각에 대한 밝기 정보를 획득함에 있어서, 더욱 정확한 밝기 정보를 획득하기 위하여, 좌 영상의 전체 영역에서 밝기 정보를 획득하고 우 영상의 전체 영역에서 밝기 정보를 획득하는 것이 아니라, 좌 영상의 전체 영역 중에서 우 영상과 대응되는 영역에서 평균 밝기값(밝기 정보)을 획득하고, 우 영상의 전체 영역 중에서 좌 영상과 대응되는 영역에서 평균 밝기값(밝기 정보)을 획득할 수 있다.
스테레오 카메라의 구조를 개략화하여 나타낸 도 3을 참조하여, 다시 설명하면, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상의 전체 영역(310, 320)에서 밝기 정보를 획득하는 것이 아니라, 좌 영상과 우 영상의 상호 관계를 고려하여 좌 영상 및 우 영상이 서로 대응되는 영역(300)에서 밝기 정보를 획득한다.
이를 위해, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상이 서로 대응되는 영역(300)을 파악하는 대응 영역 파악부(210)와, 좌 영상에서 우 영상과 대응되는 영역(300) 내 지점 각각의 밝기값을 얻고, 이렇게 얻어진 밝기값을 평균하여 좌 영상에 대한 평균 밝기값을 획득하는 좌 영상 평균 밝기값 획득부(220)와, 우 영상에서 좌 영상과 대응되는 영역(300) 내 지점 각각의 밝기값을 얻고, 이렇게 얻어진 밝기값을 평균하여 우 영상에 대한 평균 밝기값을 획득하는 우 영상 평균 밝기값 획득부(230) 등을 포함할 수 있다.
대응 영역 파악부(210)는, 깊이 영상을 얻는 과정과 연계되는 스테레오 정합(Stereo Matching) 프로세스를 수행하는 단계에서, 좌 영상 및 우 영상이 서로 대응되는 영역(300)을 파악할 수 있다.
여기서, 스테레오 카메라에서 시차값을 계산하기 위해 좌 영상과 우 영상이 일치하는 영역, 즉, 좌 영상과 우 영상이 대응되는 영역을 찾는 것을 "스테레오 정합"이라고 하며, 이러한 방법은 좌 영상 및 우 영상에서 비교하고자 하는 대응 영역 간의 유사도를 계산하며, 계산된 유사도가 가장 높은 지점을 정합이 이루어지는 영역이라고 판단한다. 하지만, 이러한 방법에는 좌 영상 및 우 영상에서 비교하는 영역들의 구분성이 떨어질 경우 실제로 대응되지 않는 영역이 선택되는 오류의 가능성도 존재할 수 있다. 따라서, 본 발명에서는, 좌 영상 및 우 영상에서 대응영역 후보들 간의 유사도를 구한 후 임계값을 적용하여 정합의 신뢰성이 높은 대응영역만을 선별하여 사용한다. 즉, 대응되는 영역에서 신뢰성이 높은 밝기값만을 가져와서 평균 밝기값을 획득한다.
대응 영역 파악부(210)는, 스테레오 정합을 통해 얻어진 대응되는 영역에서 오류가 발생하는 지점이 있으면, 이는 신뢰성이 떨어지는 지점으로 판단하여 밝기값을 획득하는 영역에서 제외한다.
이러한 대응 영역 파악부(210)는, 좌 영상 및 우 영상 중 어느 하나의 영상(좌 영상 또는 우 영상)을 기준으로 나머지 영상(우 영상 또는 좌 영상)의 좌표를 움직여 가면서, 좌 영상과 우 영상 간의 차이 정보를 구하고, 구해진 차이 정보를 토대로 좌 영상과 우 영상 간의 유사도를 산출하고, 이렇게 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 좌 영상 및 우 영상이 서로 대응되는 영역으로서 파악할 수 있다.
깊이 영상을 얻는 과정을 나타낸 도 4를 참조하여, 좌 영상 및 우 영상이 서로 대응되는 영역을 파악하는 방식을 예를 들어 설명하면, 대응 영역 파악부(210)는, 좌 영상 내 어느 한 지점(즉, 픽셀 p)을 기준으로, 우 영상의 좌표를 움직여서 우 영상 내 지점(즉, 픽셀 p+d, d는 좌 영상 내 지점과 우 영상 내 지점의 거리)을 변경하고, 우 영상 내 변경된 지점(픽셀 p+d)에 대하여, 좌 영상 내 어느 한 지점의 픽셀값 L(p)과 우 영상 내 변경된 제2의 픽셀값 R(p+d) 간의 차이 정보를 구하여, 이를 토대로 좌 영상 내 지점과 우 영상 내 지점 간의 유사도(s)를 산출하고, 이를 종합하여, 좌 영상 내 지점과 우 영상 내 지점 간의 거리 d의 변화에 따른, 즉, 우 영상 내 지점의 변경에 따른 좌 영상 내 지점과 우 영상 내 지점 간의 유사도 정보를 산출할 수 있다. 이와 같이, 하나의 좌 영상 내 한 지점에 대하여 좌표가 변경된 우 영상 내 여러 지점들과의 산출된 유사도 정보를 나타낸 그래프는 도 4를 통해 확인할 수 있다.
도 4를 참조하면, 대응 영역 파악부(210)는, 전술한 유사도 정보 산출 방식을 좌 영상 내 모든 지점에 대하여 수행하여, 좌 영상 내 모든 지점 중, 임계값(Sth) 이상의 유사도(S)가 산출될 수 있는 우 영상 내 지점이 존재하면, 이때 존재하는 우 영상 내 지점들(또는 이와 대응되는 좌 영상 내 지점들)을 모두 포함하는 영역을 대응되는 영역으로서 파악할 수 있다.
좌 영상과 우 영상 각각에 대하여, 하기 수학식 1을 이용하여, 앞에서 파악된 대응되는 영역 내 각 지점의 밝기값을 얻고, 하기 수학식 2를 이용하여 각 지점의 밝기값을 평균하여 평균 밝기값을 획득할 수 있다.
수학식 1
Figure PCTKR2013006248-appb-M000001
수학식 2
Figure PCTKR2013006248-appb-M000002
수학식 1 및 2에서, Si는 좌 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 밝기값, Sj는 우 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 밝기값, L(x, y)는 좌 영상의 픽셀값, R(x+d, y)는 우 영상의 픽셀값, Sv는 유사도(Similarity), Sth는 임계값(Threshold), n은 좌 영상/우 영상에서 신뢰 되는 유사성 위치(좌 영상에서 임계값 이상의 유사도가 산출되는 지점)의 개수이다. 그리고, Savg1은 좌 영상에서 신뢰 되는 유사성 밝기의 평균 밝기값, Savg2는 우 영상에서 신뢰 되는 유사성 밝기의 평균 밝기값이다.
도 2를 참조하면, 전술한 영상 밝기 조절부(130)는, 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 좌 영상에 대하여 획득되도록 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 좌 영상 밝기 조절부(240)와, 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 우 영상에 대하여 획득되도록 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 우 영상 밝기 조절부(250) 중 하나 이상을 포함할 수 있다.
좌 영상 밝기 조절부(240)는, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 하한값(-k)보다 작으면 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간을 줄여주고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 상한값(+k)보다 크면, 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간을 늘여줄 수 있다.
우 영상 밝기 조절부(250), 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 하한값(-k)보다 작으면 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간을 줄여주고, 목표 밝기값과 우영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위(-k 이상 k 이하)의 상한값(+k)보다 크면, 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간을 늘여줄 수 있다.
본 명세서에서 언급되는 "목표 밝기값"은, 디폴트 설정 값을 토대로 설정되는 값이거나, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값을 토대로 설정되는 값이거나, 사용자 설정 값을 토대로 설정되는 값이거나, 밝기 감지 센서 등을 통해 감지된 주변 밝기 정보를 토대로 설정되는 값일 수 있다.
또한, "목표 밝기값"은, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값 중 하나일 수 있다.
이 경우, 좌 영상과 우 영상 중 어느 하나의 촬영과 관련된 노출 시간만을 제어하기만 하면 된다. 이에 따라, 영상 밝기 조절부(130)는, 우 영상 밝기 조절부(250)를 포함하지 않고 좌 영상 밝기 조절부(240)만을 포함할 수도 있다.
한편, 위에서 언급한 허용 오차 범위는 목표 밝기값과 평균 밝기값 간의 차이값이 허용 가능 오차인지 아닌지를 판단하는데 기준이 되는 정보로서, 목표 밝기값과 평균 밝기값(측정값) 간의 차이값이 허용 오차 범위에 속하면, 해당 영상에 대한 영상 밝기 조절이 불필요하고, 목표 밝기값과 평균 밝기값(측정값) 간의 차이값이 허용 오차 범위를 벗어나면, 해당 영상에 대한 영상 밝기 조절이 필요하다.
이러한 허용 오차 범위는, 각 영상에 대한 평균 밝기값의 획득 오차의 발생 가능성 등의 실제 상황에서의 여러 요인을 고려하여 설정될 수 있다.
이러한 허용 오차 범위는 -k(하한치) 이상에서 +k(상한치) 이하의 범위로 표현될 수 있다.
허용 오차 범위는, 특수한 예로, k=0인 경우, 상수값 0(zero)이 될 수도 있다. 이는, 목표 밝기값과 획득된 평균 밝기값 간의 차이값이 0(zero)인 경우에만 영상 밝기 조절을 하지 않도록 허용하는 이상적 상황만으로 고려하는 것으로서, 좌 영상의 밝기와 우 영상의 밝기를 목표 밝기에 완전히 동일하게 맞추어야 하는 경우에 설정될 수 있다.
한편, 영상 밝기 조절부(130)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg1) 간의 차이값(Tavg-Savg1)의 크기에 따라, 스테레오 카메라에서 좌 영상 촬영과 관련된 노출 시간의 증가량 또는 감소량을 다르게 제어할 수 있다.
그리고, 동일하게, 영상 밝기 조절부(130)는, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg2) 간의 차이값(Tavg-Savg2)의 크기에 따라, 스테레오 카메라에서 우 영상 촬영과 관련된 노출 시간의 증가량 또는 감소량을 다르게 제어할 수 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)가 노출 시간 제어를 통해 영상 밝기를 조절하는 방법에 대하여, 노출 시간 제어 과정을 예시적으로 나타낸 도 5를 참조하여 다시 설명한다.
단, 도 5의 예시에서는, 허용 오차 범위가 특수한 예로서 0(zero)이 경우에 해당한다. 즉, 좌 영상(510)의 밝기와 우 영상(520)의 밝기가 동일한 경우에만 허용하고, 동일하지 않은 경우에는 밝기 조절을 해야 하는 상황을 관리한다.
도 5를 참조하면, 영상 밝기 조절 장치(100)는, 스테레오 카메라를 통해 좌 영상(510)과 우 영상(520)이 촬영되면, 촬영된 좌 영상(510)과 우 영상(520)을 통해 깊이 영상(530)을 얻는 과정을 통해, 촬영된 좌 영상(510)과 우 영상(520) 각각에서 서로 유사도가 임계값 이상이 되어 신뢰성이 높은 지점(위치)을 파악함으로써, 촬영된 좌 영상(510)과 우 영상(520)에서 서로 대응되는 영역(300)을 파악하고, 좌 영상(510)에서 우 영상(520)과 대응되는 영역(300) 내 각 지점의 밝기값을 평균하여 좌 영상(510)에 대한 평균 밝기값을 획득하고, 우 영상(520)에서 좌 영상(510)과 대응되는 영역(300) 내 각 지점의 밝기값을 평균하여 우 영상(520)에 대한 평균 밝기값을 획득한다.
이에 따라, 좌 영상(510)에 대한 평균 밝기값이 120으로 획득되고, 우 영상(520)에 대한 평균 밝기값이 110으로 획득된 경우, 그리고, 만약 목표 밝기값이 128인 경우, 목표 밝기값과 좌 영상(510)에 대한 평균 밝기값 간의 차이값(8=128-120)이 0(k=0인 경우의 허용 오차 범위)보다 크므로, 현재 설정된 노출 시간에 비해, 좌 영상(510)에 대한 평균 밝기값이 목표 밝기값이 되도록, 즉, 좌 영상(510)에 대한 평균 밝기값이 허용 오차 범위에 속하도록, 좌 영상(510)의 촬영과 관련된 노출 시간을 계산된 차이(8)에 해당하는 만큼 더 길게 해준다.
그리고, 목표 밝기값과 우 영상(520)에 대한 평균 밝기값 간의 차이값(18=128-110)이 0(k=0인 경우의 허용 오차 범위)보다 크므로, 우 영상(520)에 대한 평균 밝기값이 목표 밝기값이 되도록, 즉, 우 영상(520)에 대한 평균 밝기값이 허용 오차 범위에 속하도록, 현재 설정된 노출 시간에 비해, 우 영상(520)의 촬영과 관련된 노출 시간을 계산된 차이(18)에 해당하는 만큼 더 길게 해준다.
이때, 목표 밝기값과 획득된 평균 밝기값의 차이값이 우 영상(520)에서 더 크기 때문에, 우 영상(520)을 좌 영상(510)보다 더 많이 밝게 해주어야, 좌 영상(510)과 우 영상(520)의 밝기가 동일해진다. 즉, 좌 영상(510)과 우 영상(520)의 밝기가 동일해지도록 해주기 위하여, 우 영상(520)의 촬영과 관련된 노출 시간이 길어지는 증가량은, 좌 영상(510)의 촬영과 관련된 노출 시간이 길어지는 증가량보다 더 크게 제어한다.
이상에서는 본 발명의 일 실시예에 따른 영상 발기 조절 장치(100)에 대하여 설명하였으며, 이하에서는, 본 발명의 일 실시예에 따른 영상 발기 조절 장치(100)가 제공하는 영상 밝기 조절 방법에 대하여 설명한다.
도 6은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 흐름도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)가 제공하는 영상 밝기 조절 방법은, 영상 입력부(110)가 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계(S600)와, 평균 밝기값 획득부(120)가 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 단계(S602)와, 영상 밝기 조절부(130)가 좌 영상 및 우 영상 각각에 대하여 획득된 평균 밝기값을 토대로 스테레오 카메라의 노출 시간을 제어하는 단계(S604) 등을 포함한다.
두 영상(좌 영상, 우 영상) 각각에 대한 평균 밝기값을 획득하는 단계(S602)는, 도 7에 도시된 바와 같이, 좌 영상 및 우 영상이 서로 대응되는 영역을 파악하는 단계(S700)와, 좌 영상에서 우 영상과 대응되는 영역 내 지점 각각의 밝기값을 평균하여 좌 영상에 대한 평균 밝기값을 획득하고, 우 영상에서 좌 영상과 대응되는 영역 내 지점 각각의 밝기값을 평균하여 우 영상에 대한 평균 밝기값을 획득하는 단계(S702) 등을 포함한다.
대응되는 영역을 파악하는 단계(S700)에서, 평균 밝기값 획득부(120)는, 좌 영상 및 우 영상 중 어느 하나의 영상(좌 영상 또는 우 영상)을 기준으로 나머지 영상(우 영상 또는 좌 영상)의 좌표를 움직여 가면서, 좌 영상과 우 영상 간의 차이 정보를 구하고, 구해진 차이 정보를 토대로 좌 영상과 우 영상 간의 유사도를 산출하고, 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 대응되는 영역으로서 파악할 수 있다.
노출 시간을 제어하는 단계(S604)에서, 영상 밝기 조절부(130)는, 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위 이내에 들어오도록 하는 평균 밝기값이 좌 영상에 대하여 획득되도록 스테레오 카메라에서 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하고, 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 목표 밝기값과 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 목표 밝기값과의 차이값이 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 우 영상에 대하여 획득되도록 스테레오 카메라에서 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어한다.
도 6 및 도 7을 참조하여 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대하여 도 8을 참조하여 다시 설명한다. 단, 도 8에서는, 허용 오차 범위가 특수한 예로서 0(zero)이 경우에 해당한다. 즉, 좌 영상의 밝기와 우 영상의 밝기가 동일한 경우에만 허용하고, 동일하지 않은 경우에는 좌 영상의 평균 밝기값과 우 영상의 평균 밝기값이 목표 밝기값과 모두 동일해지도록 각각의 노출 시간을 제어하여 밝기 조절을 해야 한다.
도 8은 본 발명의 일 실시예에 따른 영상 밝기 조절 방법에 대한 다른 흐름도이다.
도 8을 참조하면, 영상 밝기 조절 장치(100)는, 노출 시간을 디폴트값 또는 감지된 주변 밝기 등에 따라 노출 시간을 조절하고(S800), 이렇게 조절된 노출 시간에 따라 스테레오 카메라에 촬영된 좌 영상 및 우 영상을 입력받는다(S801, S802).
이후, 영상 밝기 조절 장치(100)는, 입력받은 좌 영상 및 우 영상을 이용하여 깊이 영상을 구하고, 이 과정에서, 도 4를 참조하여 설명한 바와 같이, 좌 영상과 우 영상 간의 유사성 정보를 획득한다(S803).
영상 밝기 조절 장치(100)는, S803 단계에서 깊이 영상을 구하는 과정을 수행하고, 이 과정에서 획득된 유사성 정보를 토대로, 입력받은 좌 영상 및 우 영상이 서로 대응되는 영역을 파악할 수 있다.
이후, 영상 밝기 조절 장치(100)는, 좌 영상의 유사성 정보(즉, 우 영상과 대응되는 영역)에서 평균 밝기값을 획득하고, 우 영상의 유사성 정보(즉, 좌 영상과 대응되는 영역)에서 평균 밝기값을 획득할 수 있다(S805, S806).
이후, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값을 산출하고, 또한, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값을 산출한다(S807, S808).
이후, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)인지를 판단한다(S809).
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이면, 즉, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하면, 영상 밝기 조절 장치(100)는, 영상 밝기 조절 방법을 종료하고, 스테레오 카메라가 피사체 촬영을 진행하면 된다.
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이 아니면, 즉, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하지 않으면, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)인지를 판단한다(S810).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)이면, 즉, 목표 밝기값(Tavg)이 좌 영상에 대하여 획득된 평균 밝기값(Savg)보다 크면, 좌 영상이 목표로 하는 밝기보다 어둡다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 증가시키는 조절을 한다(S800).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 좌 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 음(-)이면, 즉, 목표 밝기값(Tavg)이 좌 영상에 대하여 획득된 평균 밝기값(Savg)보다 작으면, 좌 영상이 목표로 하는 밝기보다 너무 밝다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 감소시키는 조절을 한다(S800). 이로써, 좌 영상의 밝기는 목표로 하는 밝기와 동일하게 맞추어진다.
전술한 좌 영상 밝기 조절과 동일한 방식으로 아래와 같이 우 영상 밝기 조절을 하면 된다.
S809 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 0(zero)이 아니면, 즉, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)이 동일하지 않으면, 영상 밝기 조절 장치(100)는, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)인지를 판단한다(S810).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 양(+)이면, 즉, 목표 밝기값(Tavg)이 우 영상에 대하여 획득된 평균 밝기값(Savg)보다 크면, 우 영상이 목표로 하는 밝기보다 어둡다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 증가시키는 조절을 한다(S800).
S810 단계의 판단 결과, 목표 밝기값(Tavg)과 우 영상에 대하여 획득된 평균 밝기값(Savg)의 차이값이 음(-)이면, 즉, 목표 밝기값(Tavg)이 우 영상에 대하여 획득된 평균 밝기값(Savg)보다 작으면, 우 영상이 목표로 하는 밝기보다 너무 밝다는 것이므로, 영상 밝기 조절 장치(100)는 노출 시간을 감소시키는 조절을 한다(S800). 이로써, 우 영상의 밝기는 목표로 하는 밝기와 동일하게 맞추어진다.
이러한 좌 영상과 우 영상 밝기 조절을 통해, 좌 영상과 우 영상의 밝기가 동일해져서 밝기 오차가 없어지거나 많이 줄어들 수 있다.
이상에서는 본 발명의 일 실시예에 따른 영상 밝기 조절 방법이 도 6, 도 7, 도 8에서와 같은 절차로 수행되는 것으로 설명되었으나, 이는 설명의 편의를 위한 것일 뿐, 본 발명의 본질적인 개념을 벗어나지 않는 범위 내에서, 구현 방식에 따라 각 단계의 수행 절차가 바뀌거나 둘 이상의 단계가 통합되거나 하나의 단계가 둘 이상의 단계로 분리되어 수행될 수도 있다.
이상에서 설명한 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(100)는, 스테레오 카메라에 포함되는 자동노출(Auto Exposure) 조절 관련 모듈일 수 있으며, 스테레오 카메라 그 자체일 수도 있다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라(900)에 대한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 스테레오 카메라(900)는, 좌 영상 및 우 영상을 획득하는 2개의 이미지 센싱부(910, 920)와, 2개의 이미지 센싱부(910, 920)에서 획득된 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부(930)와, 좌 영상 및 우 영상 각각에 대한 평균 밝기값을 토대로, 좌 영상 및 우 영상 각각에 대한 밝기 보정 정보를 파악하는 밝기 보정 처리부(940)와, 좌 영상 및 우 영상 각각에 대하여 파악된 밝기 보정 정보에 근거하여, 좌 영상 및 우 영상 각각에 대한 획득에 관계되는 노출 시간을 조절하는 노출 시간 조절부(950, 960) 등을 포함한다.
좌 영상 및 우 영상 각각에 대한 평균 밝기값은, 좌 영상의 전체 영역과 우 영상의 전체 영역에서 획득되는 것이 아니라, 좌 영상과 우 영상이 서로 대응되는 영역에서만 제한적으로 획득될 수 있다.
위에서 언급한 좌 영상 및 우 영상 각각에 대한 밝기 보정 정보는, 목표 밝기값과 평균 밝기값의 차이값, 밝기 증가 여부 정보 또는 밝기 감소 여부 정보, 밝기 증가량 정보 또는 밝기 감소량 정보 등 중 하나 이상을 포함할 수 있다.
이상에서 설명한 바와 같이 본 발명에 의하면, 스테레오 카메라를 통해 촬영되는 두 영상 간의 밝기 오차를 줄여주는 영상 밝기 조절 방법과, 이를 위한 영상 밝기 조절 장치를 제공하는 효과가 있다.
또한, 본 발명에 의하면, 밝기 오차가 작은 두 영상을 획득할 수 있는 스테레오 카메라를 제공하는 효과가 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 08월 30일 한국에 출원한 특허출원번호 제 10-2012-0095537 호에 대해 미국 특허법 119(a)조 (35 U.S.C § 119(a))에 따라 우선권을 주장하며, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (12)

  1. 스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 영상 입력부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 영상 밝기 조절부를 포함하는 영상 밝기 조절 장치.
  2. 제1항에 있어서,
    상기 평균 밝기값 획득부는,
    스테레오 정합을 통해 상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하는 대응 영역 파악부;
    상기 좌 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하는 좌 영상 평균 밝기값 획득부; 및
    상기 우 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득하는 우 영상 평균 밝기값 획득부를 포함하는 영상 밝기 조절 장치.
  3. 제2항에 있어서,
    상기 대응 영역 파악부는,
    상기 좌 영상 및 상기 우 영상 중 어느 하나의 영상을 기준으로 나머지 영상의 좌표를 움직여 가면서, 상기 좌 영상과 상기 우 영상 간의 차이 정보를 구하고, 상기 구해진 차이 정보를 토대로 상기 좌 영상과 우 영상 간의 유사도를 산출하고, 상기 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 상기 대응되는 영역으로서 파악하는 것을 특징으로 하는 영상 밝기 조절 장치.
  4. 제1항에 있어서,
    상기 영상 밝기 조절부는,
    상기 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 좌 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 좌 영상 밝기 조절부; 및
    상기 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 우 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 우 영상 밝기 조절부 중 하나 이상을 포함하는 것을 특징으로 하는 영상 밝기 조절 장치.
  5. 제4항에 있어서,
    상기 좌 영상 밝기 조절부는,
    상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 하한값보다 작으면 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간을 줄여주고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 상한값보다 크면, 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간을 늘여주며,
    상기 우 영상 밝기 조절부는,
    상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 하한값보다 작으면 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간을 줄여주고, 상기 목표 밝기값과 상기 우영상에 대하여 획득된 평균 밝기값 간의 차이값이 상기 허용 오차 범위의 상한값보다 크면, 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간을 늘여주는 것을 특징으로 하는 영상 밝기 조절 장치.
  6. 제1항에 있어서,
    상기 목표 밝기값은,
    디폴트 설정 값을 토대로 설정되는 값이거나, 좌 영상에 대하여 획득된 평균 밝기값과 우 영상에 대하여 획득된 평균 밝기값을 토대로 설정되는 값이거나, 사용자 설정 값을 토대로 설정되는 값이거나, 감지된 주변 밝기 정보를 토대로 설정되는 값인 것을 특징으로 하는 영상 밝기 조절 장치.
  7. 제1항에 있어서,
    상기 목표 밝기값은,
    상기 좌 영상에 대하여 획득된 평균 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 중 하나인 것을 특징으로 하는 영상 밝기 조절 장치.
  8. 영상 밝기 조절 장치가 제공하는 영상 밝기 조절 방법에 있어서,
    스테레오 카메라를 통해 촬영된 좌 영상 및 우 영상을 입력받는 단계;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 단계; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 획득된 평균 밝기값과 목표 밝기값을 토대로 상기 스테레오 카메라의 노출 시간을 제어함으로써, 상기 좌 영상 및 상기 우 영상 중 하나 이상에 대한 영상 밝기를 조절하는 단계를 포함하는 영상 밝기 조절 방법.
  9. 제8항에 있어서,
    상기 획득하는 단계는,
    상기 좌 영상 및 상기 우 영상이 서로 대응되는 영역을 파악하는 단계; 및
    상기 좌 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 좌 영상에 대한 평균 밝기값을 획득하고, 상기 우 영상에서 상기 대응되는 영역 내 지점 각각의 밝기값을 평균하여 상기 우 영상에 대한 평균 밝기값을 획득하는 단계를 포함하는 영상 밝기 조절 방법.
  10. 제9항에 있어서,
    상기 대응되는 영역을 파악하는 단계는,
    상기 좌 영상 및 상기 우 영상 중 어느 하나의 영상을 기준으로 나머지 영상의 좌표를 움직여 가면서,
    상기 좌 영상과 상기 우 영상 간의 차이 정보를 구하고, 상기 구해진 차이 정보를 토대로 상기 좌 영상과 우 영상 간의 유사도를 산출하고,
    상기 산출된 유사도가 임계값 이상이 되는 지점들이 포함된 영역을 상기 대응되는 영역으로서 파악하는 것을 특징으로 하는 영상 밝기 조절 방법.
  11. 제8항에 있어서,
    상기 제어하는 단계는,
    상기 좌 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 좌 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 좌 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 좌 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하고,
    상기 우 영상에 대하여 획득된 평균 밝기값을 목표 밝기값과 비교하고, 상기 목표 밝기값과 상기 우 영상에 대하여 획득된 평균 밝기값 간의 차이값이 허용 오차 범위를 벗어나면, 상기 목표 밝기값과의 차이값이 상기 허용 오차 범위이내에 들어오도록 하는 평균 밝기값이 상기 우 영상에 대하여 획득되도록 상기 스테레오 카메라에서 상기 우 영상의 촬영과 관계되는 노출 시간에 대한 증감을 제어하는 것을 특징으로 하는 영상 밝기 조절 방법.
  12. 좌 영상 및 우 영상을 획득하는 2개의 이미지 센싱부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 획득하는 평균 밝기값 획득부;
    상기 좌 영상 및 상기 우 영상 각각에 대한 평균 밝기값을 토대로, 상기 좌 영상 및 상기 우 영상 각각에 대한 밝기 보정 정보를 파악하는 밝기 보정 처리부; 및
    상기 좌 영상 및 상기 우 영상 각각에 대하여 파악된 밝기 보정 정보에 근거하여, 상기 좌 영상 및 상기 우 영상 각각에 대한 획득에 관계되는 노출 시간을 조절하는 노출 시간 조절부를 포함하는 스테레오 카메라.
PCT/KR2013/006248 2012-08-30 2013-07-12 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라 WO2014035050A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380020190.7A CN104285443B (zh) 2012-08-30 2013-07-12 影像亮度调节方法及其装置、立体摄像机
US14/129,042 US20150042761A1 (en) 2012-08-30 2013-07-12 Method, apparatus, and stereo camera for controlling image lightness

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120095537A KR101207343B1 (ko) 2012-08-30 2012-08-30 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
KR10-2012-0095537 2012-08-30

Publications (1)

Publication Number Publication Date
WO2014035050A1 true WO2014035050A1 (ko) 2014-03-06

Family

ID=47906715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006248 WO2014035050A1 (ko) 2012-08-30 2013-07-12 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라

Country Status (4)

Country Link
US (1) US20150042761A1 (ko)
KR (1) KR101207343B1 (ko)
CN (1) CN104285443B (ko)
WO (1) WO2014035050A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3067011B1 (de) * 2015-03-09 2022-05-25 Renfert GmbH Dentalbilderfassungsvorrichtung
CN106657974B (zh) * 2017-02-27 2024-02-09 北京图森智途科技有限公司 双目摄像机的控制方法及装置、双目摄像机
WO2019104622A1 (zh) * 2017-11-30 2019-06-06 深圳市大疆创新科技有限公司 差异校准方法、双目视觉系统和计算机可读存储介质
KR102053307B1 (ko) * 2018-07-31 2020-01-07 주식회사 아이알웨이브 멀티 열상 카메라의 멀티 감응 보정 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158751A (ja) * 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2006279239A (ja) * 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR20100043608A (ko) * 2008-10-20 2010-04-29 현대모비스 주식회사 자동차 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035434B2 (ja) * 1993-10-13 2000-04-24 キヤノン株式会社 複眼撮像装置
JP2001028056A (ja) * 1999-07-14 2001-01-30 Fuji Heavy Ind Ltd フェールセーフ機能を有するステレオ式車外監視装置
US7162074B2 (en) * 2001-11-20 2007-01-09 Fuji Jukogyo Kabushiki Kaisha Adjusting apparatus for stereoscopic camera
JP4275378B2 (ja) * 2002-09-27 2009-06-10 富士重工業株式会社 ステレオ画像処理装置およびステレオ画像処理方法
JP3945430B2 (ja) * 2003-03-19 2007-07-18 コニカミノルタホールディングス株式会社 画像による対象物の計測方法および撮像装置
US7791640B2 (en) * 2004-01-23 2010-09-07 Olympus Corporation Electronic camera and image generating apparatus generating stereo image
JP4522307B2 (ja) * 2005-04-08 2010-08-11 キヤノン株式会社 画像撮像装置、画像撮像方法
JP4398969B2 (ja) * 2006-11-07 2010-01-13 富士フイルム株式会社 多眼撮影装置および多眼撮影装置における露出設定方法並びにプログラム
JP5256060B2 (ja) * 2009-01-23 2013-08-07 トヨタ自動車株式会社 撮像装置
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
JP5450200B2 (ja) * 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8654195B2 (en) * 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP4983905B2 (ja) * 2009-12-25 2012-07-25 カシオ計算機株式会社 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
CN102362487B (zh) * 2010-03-31 2014-09-10 富士胶片株式会社 立体成像设备
GB2479932A (en) * 2010-04-30 2011-11-02 Sony Corp Stereoscopic camera system with two cameras having synchronised control functions
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
WO2012002157A1 (ja) * 2010-06-28 2012-01-05 富士フイルム株式会社 立体視用画像撮影装置およびその制御方法
EP2589216A4 (en) * 2010-06-30 2015-08-05 Lg Innotek Co Ltd CAMERA MODULE AND DRIVE PROCESS THEREFOR
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
JP2012065204A (ja) * 2010-09-16 2012-03-29 Toshiba Corp 複眼撮像装置、信号処理装置、複眼撮像装置の制御方法
JP5411842B2 (ja) * 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
KR101694292B1 (ko) * 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
JP5644489B2 (ja) * 2010-12-28 2014-12-24 ソニー株式会社 制御装置、制御方法及び制御プログラム
JP2012142748A (ja) * 2010-12-28 2012-07-26 Sony Corp 撮像制御装置、撮像制御方法及び撮像制御プログラム並びに撮像装置
JP5786412B2 (ja) * 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR20130127867A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 스테레오 비전 장치와 이의 제어 방법
KR101864829B1 (ko) * 2012-05-30 2018-07-04 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158751A (ja) * 2001-11-20 2003-05-30 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2006279239A (ja) * 2005-03-28 2006-10-12 Toyota Motor Corp ステレオカメラの補正方法、ステレオカメラ補正装置
KR20100019804A (ko) * 2008-08-11 2010-02-19 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
KR20100043608A (ko) * 2008-10-20 2010-04-29 현대모비스 주식회사 자동차 시스템

Also Published As

Publication number Publication date
CN104285443A (zh) 2015-01-14
KR101207343B1 (ko) 2012-12-04
CN104285443B (zh) 2016-09-07
US20150042761A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
WO2019164267A1 (en) Electronic device for recording image as per multiple frame rates using camera and method for operating same
WO2013085148A1 (en) Apparatus and method for eliminating noise in stereo image
WO2016048020A1 (ko) 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
WO2017034220A1 (en) Method of automatically focusing on region of interest by an electronic device
WO2020204659A1 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
US8009202B2 (en) Device and method for capturing an image of a human face
EP3320676A1 (en) Image capturing apparatus and method of operating the same
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2018053908A1 (zh) 一种双摄像头拍摄方法、系统及终端
WO2019235903A1 (en) Methods and apparatus for capturing media using plurality of cameras in electronic device
WO2022039323A1 (ko) 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
WO2012161384A1 (ko) 오토포커스 카메라 시스템 및 그 제어방법
WO2021172833A1 (ko) 물체 인식 장치, 물체 인식 방법 및 이를 수행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2020111750A1 (ko) 이미지 처리 방법 및 이를 지원하는 전자 장치
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2019125074A1 (en) Method of generating composite image using plurality of images with different exposure values and electronic device supporting the same
WO2020190008A1 (en) Electronic device for auto focusing function and operating method thereof
WO2020246710A1 (ko) 뎁스 맵 결정 방법 및 그 방법을 적용한 전자 장치
EP3135029A1 (en) Imaging device and photographing apparatus
WO2014058234A1 (ko) 편광 차분 카메라를 이용한 영상처리 시스템
JP2015204532A (ja) 画像処理装置および撮像装置
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2012157995A2 (ko) 카메라 모듈 및 그의 구동 방법
WO2021235884A1 (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14129042

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833846

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13833846

Country of ref document: EP

Kind code of ref document: A1