KR20090127602A - 엔트로피를 이용한 영상 획득 방법 및 장치 - Google Patents

엔트로피를 이용한 영상 획득 방법 및 장치 Download PDF

Info

Publication number
KR20090127602A
KR20090127602A KR1020080053662A KR20080053662A KR20090127602A KR 20090127602 A KR20090127602 A KR 20090127602A KR 1020080053662 A KR1020080053662 A KR 1020080053662A KR 20080053662 A KR20080053662 A KR 20080053662A KR 20090127602 A KR20090127602 A KR 20090127602A
Authority
KR
South Korea
Prior art keywords
image
entropy
exposure time
images
calculating
Prior art date
Application number
KR1020080053662A
Other languages
English (en)
Inventor
권재현
석 이
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080053662A priority Critical patent/KR20090127602A/ko
Priority to US12/479,041 priority patent/US8094211B2/en
Publication of KR20090127602A publication Critical patent/KR20090127602A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 획득 방법 및 장치에 관한 것으로, 본 발명의 영상 획득 방법은 입력되는 영상의 엔트로피를 계산하는 단계; 상기 계산된 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및 상기 결정된 최적 노출 시간을 기초로 노출을 제어하여 영상을 획득하는 단계를 포함한다. 본 발명에 따르면, 신호의 평균 정보량의 척도인 엔트로피를 이용하여 장면의 정보량을 최대로 가지는 영상을 획득할 수 있다.
노출 제어, 자동 노출, 카메라, 엔트로피, 밝기값

Description

엔트로피를 이용한 영상 획득 방법 및 장치{Method and apparatus for obtaining images using entropy}
본 발명은 영상 획득 장치 및 방법에 관한 것으로, 특히 노출 제어를 통해 많은 정보량을 가진 영상을 얻기 위한 영상 획득 장치 및 방법에 관한 것이다.
디지털 카메라와 같은 영상 처리 장치에서 자동 노출(Auto Exposure) 기능이 있다. 자동 노출 기능은 영상 처리 장치에서 자동으로 노출을 제어하는 방식으로 디지털 카메라 내의 노출 제어 알고리즘에 의해 동작한다. 일반적으로, 자동 노출 제어 알고리즘은 검출되는 밝기가 적정 밝기보다 높으면 셔터 스피드를 높여주고 낮으면 셔터 스피드를 낮춰줌으로써 촬영되는 사진의 밝기가 적정하도록 한다.
그러나, 적정 밝기를 찾기 어렵고, 이러한 방법만으로 사용자가 만족할 정도의 영상을 얻기 어렵다. 예를 들어, 태양 및 태양을 배경으로 사진을 찍거나, 창가에서 사진을 찍는 경우와 같은 밝은 환경에서 사진을 찍게되면 피사체는 어둡게 촬영되고, 배경이 하얗게 촬영되어 전체적으로 선명한 영상을 얻기 어렵다.
본 발명은 엔트로피가 최대가 되는 노출로 영상을 촬영함으로써 촬영 장면에서 가장 많은 정보를 획득할 수 있는 영상 획득 장치 및 방법을 제안한다.
본 발명의 일 양상에 따른 영상 획득 방법은 입력되는 영상의 엔트로피를 계산하는 단계; 상기 계산된 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및 상기 결정된 최적 노출 시간을 기초로 노출을 제어하여 영상을 획득하는 단계를 포함한다.
본 발명의 다른 양상에 따른 영상 획득 방법은, 입력되는 장면을 적어도 하나의 영역으로 분할하는 단계; 상기 장면에 대하여 노출 시간이 상이한 적어도 하나의 영상을 획득하는 단계; 상기 적어도 하나의 영상에 대하여 상기 분할된 영역별로 엔트로피를 계산하는 단계; 상기 분할된 영역별로 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및 엔트로피가 최대가 되는 최적 노출 시간이 되는 상기 분할된 영역별 영상을 획득하여, 상기 획득된 분할된 영역별 영상을 합성하는 단계를 포함한다.
본 발명의 또 다른 양상에 따른 영상 획득 방법은, 상이한 수광 대역을 가지는 적어도 2개의 영상 센서로부터 영상을 획득하는 단계; 상기 영상 센서별로 획득된 영상들 각각의 엔트로피를 계산하는 단계; 상기 영상 센서별로 획득된 영상들 각각의 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및 상기 분할된 영역별로 결정된 최적 노출 시간을 기초로 각 영상 센서별 노출 시간을 제어하여 상기 영상 센서별 영상을 획득하는 단계; 및 상기 획득된 영상들을 합성하는 단계 를 포함한다.
본 발명의 또 다른 양상에 따른 영상 획득 장치는 영상을 촬상하는 촬상부; 상기 촬상된 영상의 엔트로피를 계산하는 엔트로피 계산부; 상기 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 노출 시간 결정부; 및 상기 결정된 최적 노출 시간을 기초로 노출이 수행된 영상이 획득되도록 상기 촬상부를 제어하는 노출 제어부를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
정보 엔트로피를 이용하여 영상의 정보량을 계산할 수 있다. 정보 엔트로피는 신호나 사건에 있는 정보의 양을 엔트로피의 개념을 빌려 설명한 것으로, 영상에서의 엔트로피는 평균 정보량의 척도로 카메라 노출에 따라 값이 변한다. 너무 어둡거나 밝지 않은 적정 노출 환경에서 영상의 엔트로피가 가장 높아진다.
엔트로피는 정보의 평균으로 계산된다. 정보는 임의의 사건 E가 발생할 확률이 P(E)일 때 다음의 수학식 1로 계산된다.
[수학식 1]
Figure 112008040944700-PAT00001
가능한 사건이 {a1, a2, ..., aJ)와 같을 때 해당 사건의 확률은 {P(a1), P(a2),...P(aJ)}이고 엔트로피 H는 다음의 수학식 2로 계산된다.
[수학식 2]
Figure 112008040944700-PAT00002
영상에서 가능한 사건은 밝기값이 될 수 있다. 예를 들어, 흑백 영상인 경우 j는 0에서 255까지의 밝기값이 되며, 확률은 0에서 1 사이의 값이 된다. 컬러 영상의 경우 RGB 각 채널의 엔트로피를 구하여 평균값을 최종 엔트로피 값으로 이용할 수 있다. 또는, 컬러 영상인 경우 영상을 흑백 영상으로 변환한 후 흑백 영상에서 엔트로피를 계산하는 방법과 동일하게 엔트로피가 계산될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 영상의 엔트로피를 계산할 때에는 영상을 적어도 하나 이상의 영역으로 분할한 후, 각 영역별 엔트로피를 계산한 다음 계산된 각 영역별 엔트로피를 평균하여 영상의 최종 엔트로피 값으로 이용할 수 있다.
도 1은 노출 시간과 엔트로피 값의 관계를 나타내는 도면이다.
노출 시간과 엔트로피 값은 도 1에 도시된 바와 같이 최적 노출 시간 t에서 최대가 되며, 노출 시간이 최적 노출 시간 t보다 짧거나 긴 경우에는 엔트로피 값 이 낮아진다. 또한, 노출 시간과 엔트로피 값은 수학식 3과 같이 2차 함수로 나타낼 수 있다.
[수학식 3]
Figure 112008040944700-PAT00003
변수 α,β 및 γ의 값을 알면 수학식 3을 이용하여 엔트로피가 최대인 노출 시간 t를 계산할 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 획득 방법를 나타내는 도면이다.
입력되는 영상의 엔트로피를 계산한다(S 210). 엔트로피는 전술한 바와 같이, 수학식 2를 이용하여 계산될 수 있다. 영상의 엔트로피를 계산하기 위하여 흑백 영상인 경우, 각 밝기값별 픽셀의 개수를 히스토그램으로 생성하여 각 밝기값별 확률을 계산할 수 있다. 또한, 카메라와 같은 영상 획득 장치에서 엔트로피를 계산하기 위해서, 로그(log) 계산을 효율적으로 수행하기 위하여 입력 값에 대한 로그 값을 포함하는 룩업 테이블을 이용할 수 있다.
계산된 엔트로피가 최대가 되는 최적 노출 시간을 결정한다(S 220). 결정된 최적 노출 시간을 기초로 노출을 제어하여 영상을 획득한다(S 230).
엔트로피를 계산하는 단계(S 210)는 다음과 같은 단계로 수행될 수 있다. 입력되는 영상을 적어도 하나 이상의 영역으로 분할하고, 상기 분할된 영역별로 엔트로피를 계산한다. 그런 다음, 영역별 엔트로피를 평균하여 평균 엔트로피 값을 영상의 엔트로피 값으로 결정할 수 있다. 평균 엔트로피 값을 구할 때에는 분할된 영역 중 적어도 하나 이상의 영역에 부여된 가중치를 기초하여 입력되는 영상의 평균 엔트로피를 계산할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 엔트로피 계산을 위해 입력되는 영상은 일반 촬영을 위한 고해상도 영상이 아니라, 입력되는 영상이 축소 변환된 프리뷰 영상일 수 있다. 엔트로피는 영상의 크기에는 무관하고 영상에서의 밝기값 분포와 관계되므로 원래 입력 영상을 축소시킨 프리뷰 영상을 이용하여 엔트로피를 계산하더라도 원래의 영상에 대한 엔트로피를 구할 수 있다. 따라서, 엔트로피를 계산할 때 카메라와 같은 영상 획득 장치의 프리뷰 모드에서 획득한 프리뷰 영상을 이용하여 엔트로피 계산의 계산량을 감소시킬 수 있다.
도 3은 본 발명의 일 실시예에 따라 분할된 영상의 예를 나타내는 도면이다.
전술한 바와 같이, 본 발명의 일 실시예에 따르면 영상의 엔트로피 값은 영상을 2개 이상의 영역으로 나눈 다음, 원하는 영역에 다른 영역보다 가중치를 두어 계산할 수 있다.
도 3을 참조하면, 영상(300)이 중심 영역(301) 및 주변 영역(302)으로 나누어져 있음을 나타낸다. 통상적으로, 중심 영역(301)에 원하는 피사체가 위치하게 되므로 중심 영역(301)에 주변 영역(302)보다 가중치를 두어 엔트로피 계산에 이용할 수 있다.
또한, 영상(310)은 3개의 영역(311, 312, 313)으로 나누어 중심 영역(311), 하부 영역(312), 주변 영역(313) 순으로 가중치를 두어 엔트로피 값을 계산할 수 있다. 영상(310)과 같은 영상 분할에 따른 엔트로피 계산은 인물 사진에 유용할 것이다.
영상(300, 310)은 일예에 불과하고, 영상(300, 310)은 여러 개로 등분되는 등 다양한 형태로 분할될 수 있고, 분할된 영역별로 엔트로피 값을 계산한 다음 계산된 영역별 엔트로피 값을 평균하여 획득되는 평균 엔트로피 값을 영상(300, 310)의 엔트로피 값으로 결정할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 영상 획득 방법을 나타내는 도면이다.
영상을 획득하면(S 410), 입력되는 영상의 평균 밝기값을 계산하고(S 420), 계산된 평균 밝기값이 목표 밝기 범위에 포함되는지 확인한다(S 430).
입력되는 영상의 평균 밝기값이 상기 목표 밝기 범위에 포함되면, 입력되는 영상의 엔트로피를 계산한다(S 440).
영상의 엔트로피는 노출 시간을 증가시키면서 획득되는 영상 중 최대 엔트로피를 가지는 영상에 대한 노출 시간을 최적 노출 시간으로 결정할 수 있다. 최적 노출 시간은 노출 시간을 증가시키면서 획득되는 영상들의 엔트로피가 증가되다가 감소되는 지점을 찾는 힐 클라이밍(Hill Climbing) 방식으로 최대 엔트로피를 가지는 노출 시간을 찾을 수 있다.
도 4를 참조하면, 현재 입력되는 영상에서 계산된 제1 엔트로피(Hn)와 이전 입력 영상에 계산된 제2 엔트로피(Hn -1)를 비교하여(S 450), 제1 엔트로피(Hn)가 제2 엔트로피(Hn -1)보다 크면 노출 시간을 증가시켜서(S 460), 노출 시간이 증가된 영상 을 획득하는 단계(S 410)로 되돌아간다.
제1 엔트로피(Hn)가 제2 엔트로피(Hn -1)와 같으면 제1 엔트로피(Hn)를 최대 엔트로피로 결정할 수 있다. 제1 엔트로피(Hn)가 제2 엔트로피(Hn -1)보다 작으면 제2 엔트로피(Hn -1)를 최대 엔트로피로 결정할 수 있으며, 또는 단계 S 460에서 노출 시간을 감소시킨 다음 획득된 영상의 엔트로피와 제1 엔트로피(Hn) 또는 제2 엔트로피(Hn -1)와 비교하여 최대 엔트로피를 결정할 수도 있다. 그러면, 최대 엔트로피에 해당하는 최적 노출 시간을 결정할 수 있다(S 470). 그런 다음, 결정된 최적 노출 시간을 기초로 영상을 획득함으로써 엔트로피가 최대인 영상을 획득할 수 있다(S 480).
단계 S 410 내지 단계 S 430은 영상의 목표 밝기 범위 예를 들어 흑백 영상의 밝기값 0 내지 255의 중간 정도의 목표 밝기 범위내에 드는 경우 엔트로피를 이용한 노출 제어를 수행하는 것으로 선택적으로 수행될 수 있다. 예를 들어, 영상의 밝기가 매우 낮거나 높은 경우에는 엔트로피를 이용한 노출 제어의 효용성이 떨어질 수 있기 때문이다. 또한, 노출 시간을 증가시키면서 영상을 획득할 때, 영상 획득 장치로 포착되는 장면이 이전 장면과 크게 달라지게 되어 영상의 밝기가 목표 밝기 범위에서 벗어나게 될 수 있으며, 이런 경우에는 엔트로피를 이용한 노출 제어가 필요 없어지게 될 수 있기 때문이다.
도 5는 본 발명의 또 다른 실시예에 따른 영상 획득 방법을 나타내는 도면이 다.
도 5에 도시된 영상 획득 방법에서는 도 4에 도시된 영상 획득 방법에서 이용된 최적 노출 시간을 결정하는 방법과 다른 방법이 개시된다. 영상을 획득하면(S 510), 입력되는 영상의 평균 밝기값을 계산하고(S 520), 계산된 평균 밝기값이 목표 밝기 범위에 포함되는지 확인한다(S 530).
평균 밝기값이 목표 밝기 범위에 포함되면 노출 시간이 상이한 3개의 영상을 획득하고, 상기 획득된 영상들의 엔트로피를 각각 계산한다(S 540).
3개의 노출 시간 및 3개의 노출 시간에 대한 3개의 엔트로피 값을 이용하여 엔트로피가 최대가 되는 최적 노출 시간을 계산한다(S 550).
구체적으로는, 3개의 영상의 3개의 노출 시간 및 3개의 노출 시간에 따른 3개의 엔트로피 값을 엔트로피와 노출 시간에 관한 수학식 3과 같은 2차 함수에 대입하면 3개의 연립 방정식이 얻어진다. 이 연립 방정식을 이용하여 α, β 및 γ의 값이 계산될 수 있다. α,β 및 γ의 값을 수학식 3에 대입하면 엔트로피가 최대인 최적 노출 시간 t를 계산할 수 있다.
결정된 최적 노출 시간을 기초로 노출을 제어하여 영상을 획득한다(S 560). 도 5를 참조하여 설명한 바와 같이 단계 S 610 내지 단계 S 630은 선택적으로 수행될 수 있다.
도 6은 본 발명의 일 실시예에 따른 다중 노출 영상을 이용하여 엔트로피가 최대가 되는 영상을 획득하는 방법을 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 다중 노출을 통하여 영상의 분할된 영역별로 최대의 엔트로피 값을 가지는 영역별 영상을 이용하여 영상을 획득할 수 있다. 영상의 분할된 영역별로 최대의 엔트로피 값을 가지는 영상을 합성하면 HDR(High Dynamic Range)의 영상을 생성할 수 있다.
도 6을 참조하면, 입력되는 장면을 적어도 하나의 영역으로 분할한다(S 610). 예를 들어, 카메라와 같은 영상 획득 장치는 입력되는 장면에 대한 프리뷰 영상을 획득하여, 입력되는 장면에 대하여 밝은 부분과 어두운 부분으로 장면에 대한 영상을 분할할 수 있다. 또는, 입력되는 알려진 오브젝트 세그멘테이션 알고리즘(object segmentation algorithm)을 이용하여 장면을 오브젝트와 배경으로 분할할 수 있다.
입력되는 장면에 대하여 노출 시간이 상이한 적어도 하나의 영상을 획득한다(S 620). 적어도 하나의 영상에 대하여 분할된 영역별로 엔트로피를 계산한다(S 630).
적어도 하나의 영상 각각에 대하여 분할된 영역별로 최적 노출 시간을 결정한다(S 640). 최적 노출 시간을 결정하는 방법은 전술한 도 4 또는 도 5에 도시된 방법으로 수행될 수 있다.
분할된 영역별로 결정된 최적 노출 시간을 기초로 노출을 제어하여 결정된 최적 노출 시간의 개수에 대응되는 영상을 획득하고, 분할된 영역별로 최적 노출 시간으로 획득된 영상을 합성하여 영상을 생성한다(S 650).
예를 들어, 장면이 영역 1, 영역 2로 분할되고, 영역 1에 대한 최적 노출 시간은 t1이고, 영역 2에 대한 최적 노출 시간은 t2일 때, 영상 획득 장치는 t1 및 t2로 노출 시간을 제어하여 2개의 영상을 획득하고, 노출 시간이 t1일 때의 영역 1의 영상과 노출 시간이 t2일 때의 영역 2의 영상을 이용하여 합성된 영상을 생성할 수 있다.
이와 같이, 각 영역별 최대 엔트로피를 가지는 영상을 합성하면 최대의 정보를 가지는 HDR(High Dynamic Range) 영상을 생성할 수 있게 된다. 노출 시간이 상이한 적어도 하나의 노출 영상은 카메라가 움직이거나 피사체가 움직인 경우에는 각 영역별 영상을 합성할 때 움직임을 보상하기 위한 영상 정합 과정이 수행될 수 있다.
도 7은 본 발명의 일 실시예에 따른 다중 영상 센서를 이용하여 엔트로피가 최대가 되는 영상을 획득하는 방법을 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 상이한 수광대역을 가지는 적어도 2개의 영상 센서로부터 2 이상의 노출 영상을 획득하고, 각각의 노출 영상별로 최대의 엔트로피 값을 가지는 영상을 합성하여 최대의 엔트로피 값을 가지는 영상을 생성할 수 있다. 상이한 수광 대역을 가지는 영상 센서는 예를 들어, 가시광선 감지 영상 센서 및 적외선 감지 영상 센서일 수 있으며, 컬러별 영상 센서이거나, 또는 자외선 감지 영상 센서일 수 있다.
도 7을 참조하면, 상이한 수광대역을 가지는 적어도 2개의 영상 센서 예를 들어, 가시광선 감지 영상 센서 및 적외선 감지 영상 센서로부터 영상을 각각 획득한다(S 710). 그런 다음, 각각의 영상 센서별로 획득된 영상 각각의 엔트로피를 계산하고(S 720), 획득된 영상들 각각의 엔트로피가 최대가 되는 최적 노출 시간을 영상 센서별로 결정한다(S 730). 획득된 영상들 각각의 엔트로피가 최대가 되는 최적 노출 시간은 영상 센서별로 입력되는 장면에 대하여 노출 시간이 상이한 적어도 하나의 영상을 획득하여 도 4 또는 도 5를 참조하여 설명한 바와 같은 방법으로 결정될 수 있다.
최적 노출 시간을 기초로 각각의 영상 센서별 노출 시간을 제어하여 영상 센서별 영상을 획득하고, 획득된 영상을 합성하여 정보량이 많은 영상을 획득할 수 있다(S 740).
예를 들어, 가시광선 감지 영상 센서에서 획득되는 영상에 대한 최적 노출 시간이 t3이고, 적외선 감지 영상 센서에서 획득되는 영상에 대한 최적 노출 시간이 t4인 경우, 가시광선 감지 영상 센서를 이용하여 노출 시간이 t3인 영상을 획득하고, 적외선 영상 센서를 이용하여 최적 노출 시간이 t4인 영상을 획득한 다음 2개의 영상을 합성할 수 있다. 가시광선 영상 센서와 적외선 영상 센서는 위치 및 특성이 서로 다르므로, 2개의 영상을 합성할 때에는 시계(field of view), 시차(disparity) 등을 보정하기 위하여 영상 정합 과정이 필요할 것이다.
또한, 소정의 오브젝트에 대한 정보가 많은 영상을 획득하기 위하여, 각 영상 센서별 노출 시간을 제어하여 획득되는 영상 센서별 영상에 포함되는 적어도 하나의 오브젝트를 추출하고, 오브젝트에 대한 엔트로피가 높은 영상에 가중치를 부여하여 영상을 합성할 수 있다. 예를 들어, 가시광선 감지 영상 센서에서 획득된 영상 및 적외선 감지 영상 센서에서 획득되는 영상을 합성할 때, 적외선 감지 영상 센서에서 획득되는 오브젝트의 엔트로피가 더 높은 경우, 적외선 감지 영상 센서에 서 획득되는 영상에 더 큰 가중치를 부여하여 영상을 합성할 수 있다.
상이한 수광 대역을 가지는 영상 센서에서 획득된 영상을 합성하여 엔트로피가 최대가 되는 영상을 생성하는 방법은 여러 가지로 변형될 수 있다. 이와 같은 정보량이 많은 영상은 나이트 비전, 레인(lane) 검출, 보행자 인식 등 오토모티브 애플리케이션에 이용되며, 인간 시력 이상의 정보를 제공하는데 유용하게 이용될 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 획득 장치를 나타내는 도면이다.
본 발명의 일 실시예에 따른 영상 획득 장치는, 촬상부(810), 노출 설정부(820), 영상 처리부(830), 저장부(840) 및 출력부(850)를 포함한다. 촬상부(810)는 노출 설정부(820)에 의해 설정된 노출 시간 동안 입력되는 장면을 감지하면, 감지된 영상은 영상 처리부(830)를 거쳐 저장부(840)에 저장되거나 출력부(850)를 통해 출력될 수 있다.
촬상부(810)는 렌즈 및 필터를 포함하는 광학부(도시되지 않음) 및 광학부로부터 전달된 빛을 전기적 아날로그 신호로 변환하는 CCD(Charge Coupled Device) 또는 CMOS(Complenetary Metal-Oxide-Semiconductor)를 포함하는 광전 변환부(도시되지 않음)을 포함한다. 촬상부(810)는 자동 초점 또는 자동 화이트 밸런싱을 더 수행하도록 구성될 수 있다.
노출 설정부(820)는 본 발명의 일 실시예에 따라 엔트로피가 최대가 되는 최적 노출 시간을 결정하고, 최적 노출 시간 노출되도록 촬상부(810)를 제어한다. 노출 설정부(820)에 의해 노출 제어됨으로써 엔트로피가 최대가 되는 영상을 획득 할 수 있다.
본 발명의 일 실시예에 따르면, 노출 설정부(820)는 엔트로피 계산부(822), 노출 시간 결정부(824) 및 노출 제어부(826)를 포함한다. 엔트로피 계산부(822)는 입력되는 영상의 엔트로피를 계산한다. 노출 시간 결정부(824)는 엔트로피가 최대가 되는 최적 노출 시간을 결정한다. 노출 제어부(924)는 결정된 최적 노출 시간을 기초로 노출이 수행된 영상이 획득되도록 촬상부(810)를 제어한다.
본 발명의 일 실시예에 따르면, 노출 시간 결정부(824)는 힐 클라이밍 방법에 의해 노출 시간을 결정할 수 있다. 또는, 노출 시간 결정부(824)는 엔트로피 계산부(822)가 노출 시간이 상이한 3개의 영상을 촬상부(810)로부터 획득하여, 획득된 영상들의 엔트로피를 각각 계산한 결과를 이용하여 노출 시간이 결정될 수 있다. 이 경우, 노출 시간 계산부(824)는 상기 영상들의 3개의 노출 시간 및 3개의 엔트로피 값을 엔트로피와 노출 시간에 관한 2차 함수에 대입하여 엔트로피가 최대가 되는 노출 시간을 계산할 수 있다.
도 6에 도시된 다중 노출 영상을 이용한 영상 획득 방법을 수행하기 위해서는 노출 제어부(826)는 상이한 노출 시간으로 촬영된 영상을 획득하도록 촬영부(810)를 제어할 수 있다. 이 경우, 엔트로피 계산부(822)는 획득된 영상을 적어도 하나의 영역으로 분할한 다음, 각 분할된 영역별로 상이한 노출 시간으로 획득된 영상 각각에 대하여 엔트로피를 계산할 수 있다. 노출 시간 결정부(824)는 각 분할된 영역별로 최대 엔트로피를 가지는 최적 노출 시간을 결정할 수 있다. 그러면, 영상 처리부(830)는 각 분할된 영역별로 결정된 최적 노출 시간에 따라 획득된 영상을 합성할 수 있다. 영상 처리부(830)는 움직임 보상을 위한 영상 정합 과정을 수행할 수 있다.
도 7에 도시된 다중 영상 센서를 이용한 영상 획득 방법을 수행하기 위해서는, 촬상부(810)는 각 촬상 방식에 따른 촬상부를 별도로 구비할 수 있으며, 영상 처리부(830)는 각 촬상부에서 촬영된 영상을 정합하여 합성하는 과정을 수행할 수 있다.
본 발명의 일 실시예에 따르면, 신호의 평균 정보량의 척도인 엔트로피를 이용하여 장면의 정보량을 최대로 가지는 영상을 획득하는 방법 및 장치를 제공할 수 있다. 본 발명에 따른 영상 획득 방법 및 장치는 디지털 카메라와 같은 영상 획득 장치, 영상 신호 처리 장치, 출력 장치 및 신호 처리 칩 등에 이용될 수 있다.
본 발명의 다른 실시예에 따른 노출 시간이 상이한 하나 이상의 영상들을 획득하여 다중 노출 영상 합성에 의해 광대역(HDR) 영상 생성할 수 있다. 본 발명의 또 다른 실시예에 따른 다양한 영상 획득 장치로부터 입력받은 영상들을 생성하는 방법을 이용하여, 예를 들어, 가시광선 및 적외선 감지 영상 센서로 획득한 영상 간의 합성으로 HDR 이미징, 나이트 비전, 레인(lane) 검출, 보행자 인식 등 오토모티브 애플리케이션에 적용할 수 있으며, 인간 시력 이상의 정보를 제공하는데 유용하게 이용될 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽 을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
도 1은 노출 시간과 엔트로피 값의 관계를 나타내는 도면이고,
도 2는 본 발명의 일 실시예에 따른 영상 획득 방법을 나타내는 도면이고,
도 3은 본 발명의 일 실시예에 따라 분할된 영상의 예를 나타내는 도면이고,
도 4는 본 발명의 다른 실시예에 따른 영상 획득 방법을 나타내는 도면이고,
도 5는 본 발명의 또 다른 실시예에 따른 영상 획득 방법을 나타내는 도면이고,
도 6은 본 발명의 일 실시예에 따른 다중 노출 영상을 이용하여 엔트로피가 최대가 되는 영상을 획득하는 방법을 나타내는 도면이고,
도 7은 본 발명의 일 실시예에 따른 다중 영상 센서를 이용하여 엔트로피가 최대가 되는 영상을 획득하는 방법을 나타내는 도면이고,
도 8은 본 발명의 일 실시예에 따른 영상 획득 장치를 나타내는 도면이다.

Claims (10)

  1. 입력되는 영상의 엔트로피를 계산하는 단계;
    상기 계산된 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및
    상기 결정된 최적 노출 시간을 기초로 노출을 제어하여 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  2. 제1항에 있어서,
    상기 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계는,
    노출 시간을 증가시키면서 획득되는 영상 중 최대 엔트로피를 가지는 영상에 대한 노출 시간을 최적 노출 시간으로 결정하는 것을 특징으로 하는 영상 획득 방법.
  3. 제1항에 있어서,
    상기 엔트로피가 최대가 되는 노출 시간을 결정하는 단계는,
    노출 시간이 상이한 3개의 영상을 획득하고, 상기 획득된 영상들의 엔트로피를 각각 계산하는 단계;
    상기 영상들의 3개의 노출 시간 및 3개의 엔트로피 값을 엔트로피와 노출 시간에 관한 2차 함수에 대입하여 엔트로피가 최대가 되는 노출 시간을 계산하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 엔트로피가 최대가 되는 노출 시간을 결정하는 단계 이전에,
    입력되는 영상의 평균 밝기값이 목표 밝기 범위에 포함되는지 확인하는 단계를 더 포함하고,
    상기 평균 밝기값이 목표 밝기 범위에 포함되는 경우 상기 입력되는 영상의 엔트로피를 계산하는 단계를 수행하는 것을 특징으로 하는 영상 획득 방법.
  5. 제1항에 있어서,
    상기 엔트로피를 계산하는 단계는,
    상기 입력되는 영상을 적어도 하나 이상의 영역으로 분할하는 단계;
    상기 분할된 영역별로 엔트로피를 계산하는 단계; 및
    상기 분할된 영역별 엔트로피를 이용하여 상기 입력되는 영상의 평균 엔트로피를 계산하는 단계를 포함하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  6. 제5항에 있어서,
    상기 평균 엔트로피를 계산하는 단계는,
    상기 분할된 영역별 중 적어도 하나 이상의 영역에 부여된 가중치에 기초하여 상기 평균 엔트로피를 계산하는 것을 특징으로 하는 영상 획득 방법.
  7. 입력되는 장면을 적어도 하나의 영역으로 분할하는 단계;
    상기 장면에 대하여 노출 시간이 상이한 적어도 하나의 영상을 획득하는 단계;
    상기 적어도 하나의 영상에 대하여 상기 분할된 영역별로 엔트로피를 계산하는 단계;
    상기 분할된 영역별로 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계; 및
    엔트로피가 최대가 되는 최적 노출 시간이 되는 상기 분할된 영역별 영상을 획득하여, 상기 획득된 분할된 영역별 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  8. 상이한 수광 대역을 가지는 적어도 2개의 영상 센서로부터 영상을 획득하는 단계;
    상기 영상 센서별로 획득된 영상 각각의 엔트로피를 계산하는 단계;
    상기 영상 센서별로 획득된 영상들 각각의 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 단계;
    상기 최적 노출 시간을 기초로 각 영상 센서별 노출 시간을 제어하여 상기 영상 센서별 영상을 획득하는 단계; 및
    상기 획득된 영상들을 합성하는 단계를 포함하는 것을 특징으로 하는 영상 획득 방법.
  9. 제8항에 있어서,
    상기 획득된 영상들을 합성하는 단계는,
    상기 각 영상 센서별 노출 시간을 제어하여 획득되는 영상 센서별 영상에 포함되는 적어도 하나의 오브젝트를 추출하고, 상기 획득된 영상을 합성할 때 상기 영상 센서별 영상 중에서 상기 오브젝트에 대한 엔트로피가 높은 영상에 가중치를 부여하여 영상을 합성하는 것을 특징으로 하는 영상 획득 방법.
  10. 영상을 촬상하는 촬상부;
    상기 촬상된 영상의 엔트로피를 계산하는 엔트로피 계산부;
    상기 엔트로피가 최대가 되는 최적 노출 시간을 결정하는 노출 시간 결정부; 및
    상기 결정된 최적 노출 시간을 기초로 노출이 수행된 영상이 획득되도록 상기 촬상부를 제어하는 노출 제어부를 포함하는 것을 특징으로 하는 영상 획득 장치.
KR1020080053662A 2008-06-09 2008-06-09 엔트로피를 이용한 영상 획득 방법 및 장치 KR20090127602A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080053662A KR20090127602A (ko) 2008-06-09 2008-06-09 엔트로피를 이용한 영상 획득 방법 및 장치
US12/479,041 US8094211B2 (en) 2008-06-09 2009-06-05 Method and apparatus for obtaining image using entropy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080053662A KR20090127602A (ko) 2008-06-09 2008-06-09 엔트로피를 이용한 영상 획득 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20090127602A true KR20090127602A (ko) 2009-12-14

Family

ID=41399953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080053662A KR20090127602A (ko) 2008-06-09 2008-06-09 엔트로피를 이용한 영상 획득 방법 및 장치

Country Status (2)

Country Link
US (1) US8094211B2 (ko)
KR (1) KR20090127602A (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8743235B2 (en) * 2009-11-04 2014-06-03 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
GB2492956A (en) * 2011-07-14 2013-01-23 St Microelectronics Res & Dev Method and system for image quality learning with solid state image sensors
US8995727B2 (en) 2012-08-14 2015-03-31 International Business Machines Corporation Image advocacy in portable computing devices
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
US9319605B2 (en) 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN108353133B (zh) * 2015-11-11 2021-06-15 华为技术有限公司 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法
CN109803092A (zh) * 2017-11-17 2019-05-24 林肯环球股份有限公司 在双光谱数字成像焊接头盔中实现高动态范围
CN108174114B (zh) * 2017-12-08 2020-06-30 上海集成电路研发中心有限公司 熵值计算装置及熵值计算方法
US11366738B2 (en) * 2018-03-12 2022-06-21 Headspin, Inc. System to determine performance based on entropy values
WO2020006078A1 (en) * 2018-06-26 2020-01-02 Gopro, Inc. Entropy maximization based auto-exposure
US11412154B2 (en) 2018-09-07 2022-08-09 Dolby Laboratories Licensing Corporation Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensor metric and adjustment
JP7150979B2 (ja) * 2018-09-07 2022-10-11 ドルビー ラボラトリーズ ライセンシング コーポレイション エントロピー分散に基づくイメージセンサの自動露出
CN110602414B (zh) * 2019-09-19 2021-04-27 天地伟业技术有限公司 一种基于环境亮度和图像信息熵的相机自动曝光方法
US11386663B1 (en) 2020-08-28 2022-07-12 Headspin, Inc. Reference-free system for determining quality of video data
CN113079323B (zh) * 2021-03-31 2022-02-11 中国科学院长春光学精密机械与物理研究所 一种基于二维熵的航天遥感载荷自动曝光方法
CN113206949B (zh) * 2021-04-01 2023-04-28 广州大学 基于熵加权图像梯度的半直接单目视觉slam方法
CN114255177B (zh) * 2021-11-25 2022-09-23 北京百度网讯科技有限公司 成像中的曝光控制方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991019262A1 (en) * 1990-05-25 1991-12-12 Axiom Innovation Ltd. An image acquisition system
US6151564A (en) * 1995-08-03 2000-11-21 Interval Research Corporation Coded object system and code recognition methods

Also Published As

Publication number Publication date
US8094211B2 (en) 2012-01-10
US20090303347A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
KR20090127602A (ko) 엔트로피를 이용한 영상 획득 방법 및 장치
CN110072051B (zh) 基于多帧图像的图像处理方法和装置
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
US7444075B2 (en) Imaging device, camera, and imaging method
US8472671B2 (en) Tracking apparatus, tracking method, and computer-readable storage medium
US9628768B2 (en) Image processing apparatus, image capturing apparatus, image correction method, and storage medium
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
US8237854B2 (en) Flash emission method and flash emission apparatus
US20120218459A1 (en) Electronic camera that adjusts the distance from an optical lens to an imaging surface
US9122125B2 (en) Image-capturing apparatus and method of controlling the same
US7880804B2 (en) High frequency information detecting device and imaging device
US10104323B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
US10944929B2 (en) Imaging apparatus and imaging method
JP2018201156A (ja) 画像処理装置および画像処理方法
US20120188437A1 (en) Electronic camera
JP2009017427A (ja) 撮像装置
JP2006211650A (ja) 撮像装置及びそれに用いる画像処理方法
US8498494B2 (en) Method and apparatus for processing a digital image signal, and a recording medium having recorded thereon a program for executing the method
US20110292249A1 (en) Electronic camera
JP2021153229A (ja) 情報処理装置、撮像装置、方法、プログラム及び記憶媒体
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP4964062B2 (ja) 電子カメラ
JP2021093694A (ja) 情報処理装置およびその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20141128

Effective date: 20150331