KR101327228B1 - 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 - Google Patents

피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 Download PDF

Info

Publication number
KR101327228B1
KR101327228B1 KR1020090108517A KR20090108517A KR101327228B1 KR 101327228 B1 KR101327228 B1 KR 101327228B1 KR 1020090108517 A KR1020090108517 A KR 1020090108517A KR 20090108517 A KR20090108517 A KR 20090108517A KR 101327228 B1 KR101327228 B1 KR 101327228B1
Authority
KR
South Korea
Prior art keywords
image
focus
fusion
pixel
value
Prior art date
Application number
KR1020090108517A
Other languages
English (en)
Other versions
KR20090125029A (ko
Inventor
백준기
하동환
조두희
마이크 비벡
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090108517A priority Critical patent/KR101327228B1/ko
Publication of KR20090125029A publication Critical patent/KR20090125029A/ko
Application granted granted Critical
Publication of KR101327228B1 publication Critical patent/KR101327228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B9/00—Exposure-making shutters; Diaphragms
    • G03B9/02—Diaphragms

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

피사체의 거리정보를 추정할 수 있는 조리개를 구비하는 촬상장치가 개시된다. 본 발명에 따른 촬상장치에 구비된 조리개는 복수의 개구부가 형성된 플레이트 및 각각의 개구부에 결합된 서로 상이한 색상을 가진 컬러 필터를 구비한다. 본 발명에 따른 촬상장치에 의해 생성된 영상을 복원하기 위해 입력된 원영상을 구성하는 각각의 화소의 초점값을 산출하고, 초점값을 기초로 복원영역을 결정하여 컬러 채널의 이동에 의해 복원영역에서 초점이 일치된 중간영상들을 생성한 후, 각각의 원영상 및 중간영상에서 융합영역을 결정하여 융합영역들의 융합으로 전영역에서 초점이 복원된 복원영상을 생성한다. 본 발명에 따르면, 컬러 채널의 이동을 기반으로 한 자동초점복원으로 열화된 영상을 더욱 빠르게 복원하면서도 복원된 영상의 품질이 저하되지 않고 리블러링이나 울림과 같은 현상을 막을 수 있으며, 영상을 적색, 녹색, 청색의 컬러 채널별로 분리하였을 때 각각의 영상으로부터 피사체의 거리 정보를 추정할 수 있다.
컬러 필터, 조리개, 컬러 채널, 이동

Description

피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치{Image pick-up device with an aperture estimating distance information of object}
본 발명은 피사체의 거리 정보를 추정할 수 있는 조리개를 구비한 촬상장치에 관한 것이다.
최근 캠코더, 디지털 카메라, 비디오 감시 시스템과 같은 영상기술분야의 발전에 따라 자동초점기술에 대한 요구가 빠르게 증가하고 있다. 즉, 영상 기기들의 해상도와 정밀도가 증가하면서 촬영시 피사체나 촬상기기의 미세한 움직임에 의해 영상의 초점이 흐려지게 된다. 특히 렌즈로부터 서로 다른 거리에 위치한 복수의 피사체가 존재하는 경우 초점거리상에 위치한 피사체를 제외하고는 초점이 정확하게 맞지 않으므로 영상에서 열화(blur) 현상이 발생한다. 따라서 이를 복원할 수 있는 자동초점기술의 필요성이 증대되고 있다.
자동초점조절에 대한 종래의 기술들은 보통 분석과 제어 두 개의 모듈로 구성된다. 분석 모듈은 영상평면상에서 영상의 초점도를 추정하고, 제어 모듈은 분석 모듈에서 추정한 초점도 정보를 기초로 렌즈 어셈블리를 광학 초점 위치로 움직여 초점을 맞추는 기능을 수행한다. 이러한 자동초점기술을 적용한 시스템에는 적외선 자동초점(infrared autofocusing:IRAF), TTL 자동초점(through-the-lens autofocusig:TTLAF), 세미디지털 자동초점(semi-digital autofocusing:SDAF) 및 완전디지털 자동초점(fully digital autofocusing:FDAF) 시스템이 있다. 이들 시스템은 여러 개의 원본 영상을 기초로 하는 복원 및 융합 방법을 사용하고 있다. 그러나, 서로 다른 피사계심도를 가지는 복수의 피사체가 존재하는 영상을 복원할 때 리블러링(reblurring)이나 울림(ringing)과 같은 현상이 유발될 수 있으며, 영상복원으로 인해 영상 품질의 심각한 저하를 초래할 수 있다. 또한 반복되는 복원 공정으로 인해 완전히 복원된 영상을 얻기까지 많은 시간이 소요되는 문제가 있다.
도 1은 렌즈로부터 서로 다른 거리에 위치한 복수의 피사체가 존재하는 경우 일반적인 렌즈에 있어서 피사체의 위치에 따른 촬영광의 수렴 패턴을 도시한 도면이다. 도 1을 참조하면, 렌즈(110)의 광축(130) 상에 조리개(120)의 중심이 위치하고 있으며, 피사체의 촬영광은 그에 상응하여 촬영 소자(140) 상에 점 또는 원의 형상으로 수렴하는 패턴을 형성한다. 이러한 경우 영상의 수렴 패턴은 2축 평면(bi-axial plane)으로만 표현 가능하다. 따라서 렌즈로부터 서로 다른 거리에 복수의 피사체(150, 160, 170)가 위치하는 경우에도 촬영 소자상의 같은 지점에서 촬영광이 수렴하는 패턴을 형성하게 되므로 피사체까지의 거리 정보가 필요한 경우에 영상으로부터 피사계심도를 추정하는 것이 불가능하다.
도 2는 광이 통과하는 개구부가 한 개 형성된 조리개를 사용하여 얻어진 영상을 도시한 도면이고, 도 3은 종래의 자동초점기술 중 하나인 정칙화 복원 방법을 사용하여 초점을 복원한 영상을 도시한 도면이다. 도 2를 참조하면, 일반적인 조리 개를 사용하는 경우에는 영상의 열화된 영역에서 고르게 흐려진 현상을 보이므로 열화된 영역의 피사체가 렌즈로부터 가까운 곳에 위치하는지 또는 먼 곳에 위치하는지 여부를 알 수 없다. 또한 도 3을 참조하면, 열화된 영역의 초점은 복원되었으나 원래 초점이 맞아 있던 영역에 열화 현상이 발생하였고, 상기 언급한 바와 같이 전체적으로 영상의 품질이 크게 저하되었다.
본 발명이 해결하고자 하는 기술적 과제는, 영상으로부터 피사체의 거리 정보를 추정할 수 있고, 종래의 자동초점기술에서 나타나는 리블러링이나 울림 현상 및 영상 복원에 의한 영상 품질 저하의 문제를 해결할 수 있는 촬상장치를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위한, 본 발명에 따른 촬상장치는 서로 상이한 색상을 가진 컬러 필터가 설치된 복수의 개구부가 형성되어 있는 조리개; 및 상기 각각의 컬러 필터를 투과한 피사체의 촬영광이 결상되는 촬상 소자;를 구비한다.
본 발명에 따르면, 서로 상이한 색상을 가진 컬러 필터가 설치된 복수의 개구부가 형성되어 있는 조리개를 사용하면 각각의 컬러 필터의 초점거리가 다르므로 생성된 영상을 적색, 녹색, 청색의 컬러 채널별로 분리하였을 때 각각의 영상으로부터 피사체의 거리 정보를 추정할 수 있다. 그리고 컬러 채널의 이동을 기반으로 한 자동초점복원에 의해 한 개의 원본영상만으로 영상 복원이 이루어지므로 열화된 영상을 더욱 빠르게 복원하면서도 복원된 영상의 품질이 저하되지 않고 이미 초점이 맞은 영역에서 리블러링이나 울림과 같은 현상이 나타나는 것을 막을 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치의 바람직한 실시예에 대해 상세하게 설명한다. 우선 각 도면의 구성요소들에 참조번호를 부여함에 있어서, 동일한 구성요소들에 있어서는 비록 다른 도면상에 표시되더라도 동일한 번호를 가지도록 한다.
도 4는 본 발명에 따른 촬상장치에 구비된 조리개의 바람직한 일 실시예에 대한 대략적인 구조를 도시한 도면이다.
도 4를 참조하면, 조리개(400)는 복수의 개구부(420, 430, 440)가 형성되어 있는 플레이트(410) 및 각각의 개구부(420, 430, 440)에 설치된 컬러 필터(450, 460, 470)를 구비한다.
플레이트(410)의 중심선(C)상에 제1개구부(420)가 형성되며, 중심선(C)에 대칭되도록 제2개구부(430) 및 제3개구부(440)가 형성된다. 바람직하게는, 플레이트(410)의 중심으로부터 각 개구부의 중심에 이르는 거리가 모두 동일하도록 개구부가 형성된다.
컬러 필터(450, 460, 470)는 각 개구부에 설치되며, 제1개구부(420)에 녹색의 컬러 필터(460), 제2개구부(430)에 적색의 컬러 필터(450), 제3개구부(440)에 청색의 컬러 필터(470)가 각각 설치된다. 조리개(400)에서 각 컬러 필터(450, 460, 470)의 위치가 서로 상이하므로 각 컬러 필터(450, 460, 470)를 투과한 촬영광이 생성하는 영상에서도 서로 다른 위치에 촬영광의 수렴 패턴이 형성된다.
도 5는 조리개(400)에 의하여 생성된 영상을 도시한 도면이다. 도 2에 도시된 영상과 비교할 때, 조리개(400)에 의하여 생성된 영상은 각 컬러 필터(450, 460, 470)를 투과한 피사체의 촬영광이 수렴 패턴을 형성하는 위치가 다르므로, 초점이 빗나간 영역에서 피사체의 형상이 분리된다. 따라서, 분리된 패턴을 기초로 하여 렌즈로부터 피사체가 위치하는 곳까지의 거리를 추정할 수 있다.
도 6은 본 발명에 따른 촬상장치의 구성을 도시한 블록도이고, 도 7은 본 발명에 따른 촬상장치(600)의 바람직한 일 실시예에 대한 대략적인 구조를 나타내는 도면이다.
도 6 및 도 7을 참조하면, 본 발명에 따른 촬상장치(600)는 조리개(400), 촬상 소자(610) 및 초점복원부(620)를 포함한다.
조리개(400)는 촬상장치(600) 전단의 렌즈부(710) 내에 설치되고, 촬상 소자(610)는 촬상장치 본체(720)의 내부에 설치된다. 조리개(400)의 컬러 필터(450, 460, 470)를 투과한 피사체의 촬영광은 촬상 소자(610)에 결상되어 영상을 생성하며, 촬영광의 수렴 패턴은 영상에서 추출한 적색, 녹색, 청색의 컬러 채널에 대하여 서로 다르게 나타난다.
도 8에는 조리개에 설치된 각각의 컬러 필터에 대응하는 컬러 채널의 수렴 패턴이 도시되어 있다. 도 8을 참조하면, 렌즈(830)로부터 먼 거리에 위치한 피사체(840)의 촬영광은 조리개(400)의 적색(450), 녹색(460), 청색(470)의 컬러 필터를 투과하여 그에 상응하는 적색(850), 녹색(860), 청색(870)의 컬러 채널에 수렴 패턴을 형성한다. 이때, 각 컬러 채널에서의 수렴 패턴은 상응하는 컬러 필터(450, 460, 470)의 위치에서 상, 하, 좌, 우가 바뀐 위치에 나타난다. 즉, 적색 컬러필터(450)를 투과한 촬영광은 적색 컬러채널(850)의 참조번호 855로 표시되는 위치에 서 수렴 패턴을 형성하며, 녹색 컬러필터(460)를 투과한 촬영광은 녹색 컬러채널(860)의 참조번호 865로 표시되는 위치에서, 청색 컬러필터(470)를 투과한 촬영광은 청색 컬러채널(870)의 참조번호 875로 표시되는 위치에서 수렴 패턴을 형성한다. 따라서 컬러 필터의 배치 및 컬러 채널에 나타난 수렴 패턴을 기초로 피사체까지의 거리를 추정할 수 있다.
초점복원부(620)는 촬상 소자(610)에 연결되어 촬상장치(600) 본체(720) 내부에 설치되며, 촬상 소자(610)로부터 영상을 입력받아 열화된 영역의 초점을 복원한다. 이를 위해 초점복원부(620)는 초점값 산출부(630), 채널정렬부(640) 및 화상융합부(650)를 구비한다.
초점값 산출부(630)는 촬상 소자(610)로부터 입력받은 원영상을 구성하는 각 화소에 대하여 주변 화소와의 화소 강도의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내의 화소에 대응하는 돌출도 값의 합으로 각각의 화소의 초점값을 산출한다.
채널정렬부(640)는 산출한 초점값을 근거로 원영상에서 초점값이 주변 영역과 비교하여 낮은 소정 크기의 복원영역들을 결정하여 조리개(400)의 컬러 필터(450, 460, 470)의 위치 정보로부터 산출한 컬러 채널(850, 860, 870)의 이동 벡터를 기초로 컬러 채널(850, 860, 870)의 이동에 의해 각각의 복원영역에서 초점이 일치된 중간영상들을 생성한다.
화상융합부(650)는 원영상 및 중간영상들 중에서 일치된 초점이 영상의 중심부에 위치하는 영상을 기준 영상으로 하여 나머지 영상들을 기준 영상에 정합시키 고, 초점이 일치된 화소를 중심으로 하는 융합영역을 각각의 원영상 및 중간영상에서 결정한 후, 융합영역들을 융합하여 전 영역에서 초점이 복원된 복원영상을 생성한다.
초점복원부(620)를 별도의 장치로 구현하고, 초점값 산출부(630)의 전단에 서로 상이한 색상을 가진 컬러 필터(450, 460, 470)가 설치된 복수의 개구부(420, 430, 440)가 형성되어 있는 조리개(400)에 의하여 생성된 영상을 입력받는 입력 인터페이스(미도시)가 구비되고, 화상융합부(650)의 후단에 초점이 복원된 영상이 출력되는 출력 인터페이스(미도시)가 구비되는 경우에는 별도의 독점적인 자동초점복원장치로 구현될 수 있다.
도 9는 본 발명에 따른 촬상장치(600) 및 자동초점복원장치에 의해 초점이 복원된 영상을 도시한 도면이다.
도 9를 참조하면, 본 발명에 따른 촬상장치(300) 및 자동초점복원장치를 사용한 경우 피사체의 형상이 분리되었던 영역에서 초점이 완전히 복원되었으며 전체적으로 영상의 품질이 유지되고 원래 초점이 맞아 있던 영역에는 복원 과정이 아무런 영향을 미치지 않는다.
도 10은 본 발명에 따른 자동초점복원방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 초점값 산출부(630)는 서로 상이한 색상을 가진 컬러 필터가 설치된 복수의 개구부가 형성되어 있는 조리개에 의하여 생성된 원영상이 입력되면 원영상을 구성하는 각각의 화소의 돌출도 값을 계산한다(S1000). 돌출도 값 은 영상에서 초점이 잘 맞는 경우에 증가하며, 다음과 같은 절대 라플라시안 연산자를 사용하여 계산될 수 있다.
Figure 112009069238371-pat00001
여기서, Lk는 라플라시안 값을 구하고자 하는 함수, x는 함수 Lk의 수평 방향 성분, 그리고 y는 함수 Lk의 수직 방향 성분을 나타낸다.
x와 y 방향의 2차 도함수는 반대의 부호를 가지고 서로를 상쇄하는 경우가 있으므로 이를 막기 위해 절대 라플라시안 연산자를 사용한다. 돌출도 값은 돌출도 값을 구하고자 하는 화소와 해당 화소에 대하여 수평 및 수직 방향으로 위치하는 화소들과의 화소 강도(pixel intensity)의 차를 합산한 값으로 정의된다. 이러한 돌출도 값은 다음의 수학식에 의해 구해진다.
Figure 112009069238371-pat00002
여기서, MLk(i,j)는 영상에서 (i,j)의 좌표를 갖는 화소의 돌출도 값을 나타내는 변형된 라플라시안 값이고, I(i,j)는 (i,j)의 좌표를 갖는 화소의 화소 강도를 나타낸다.
초점값 산출부(630)는 수학식 2를 이용하여 영상을 구성하는 모든 화소에 대한 돌출도 값을 계산한 후 이를 기초로 다음의 수학식에 의해 각 화소의 초점값을 산출한다(S1010). 화소의 초점값은 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내의 화소들 중에서 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산하여 산출된다.
Figure 112009069238371-pat00003
여기서, f(i,j)는 영상에서 (i,j)의 좌표를 갖는 화소의 초점값, N은 초점값을 구하고자 하는 화소를 중심으로 하는 윈도우의 크기, MLk(p,q)는 (p,q)의 좌표를 갖는 화소의 돌출도 값, 그리고 T1은 사전에 설정된 돌출도 값의 임계치를 나타낸다.
임계치 T1은 실험적으로 결정되며, 40~60의 범위에서 선택하는 경우에 대부분 수용 가능한 결과를 제공한다. 한편 초점값 산출을 위한 윈도우의 크기는 높은 정확도를 얻기 위해 3*3(픽셀) 크기로 설정되는 것이 바람직하다.
채널정렬부(640)는 상기에서 산출된 초점값을 기초로 초점 복원을 위해 원영상에서 초점값이 주변 영역과 비교하여 낮은 소정 크기의 복원영역을 결정한다(S1020). 이 과정은 원영상을 소정 크기, 예를 들면 원영상의 1/16 크기의 영역들로 균등분할하고 각각의 영역에 포함되는 화소들의 평균 초점값을 계산한 후, 평균 초점값이 가장 높은 영역과 비교하여 그 차이가 사전에 설정된 값 이상인 평균 초점값을 가지는 영역을 복원영역으로 결정함으로써 이루어진다. 복원영역의 수는 영상에 존재하는 피사체의 수 및 렌즈에서 피사체까지의 거리에 따라 달라진다.
다음으로 채널정렬부(640)는 조리개(400)의 컬러 필터(450, 460, 470)의 위치 정보로부터 적색(850), 녹색(860), 청색(870) 컬러 채널의 이동 벡터를 산출하고, 이동 벡터에 의해 컬러 채널(850, 860, 870)을 이동시켜 각각의 복원영역에서 초점이 일치된 중간영상을 생성한다(S1030). 도 8에 도시된 영상의 경우 녹색 컬러 필터(460)의 위치가 나머지 컬러 필터(450, 470)의 사이에 있으므로, 녹색 컬러 채널(860)에 나머지 컬러 채널(860, 870)들이 정렬된다.
도 11에는 녹색 컬러 채널(860)을 기준으로 적색 및 청색 컬러 채널(850, 870)의 이동 벡터가 도시되어 있다. 도 11을 참조하면, ri 및 cj는 각각 적색 컬러 필터(450)의 녹색 컬러 필터(460)에 대한 위치로부터 산출한 적색 컬러 채널(850)의 수직 및 수평 방향의 이동량이고, rk 및 cl은 각각 청색 컬러 필터(470)의 녹색 컬러 필터(470)에 대한 위치로부터 산출한 청색 컬러 채널(870)의 수직 및 수평 방향의 이동량이다.
채널정렬부(640)는 도 11을 참조하여 설명한 바와 같은 방법에 의해 산출한 이동 벡터를 기초로 다음의 수학식에 의해 적색 및 청색 컬러 채널(850, 870)을 이동시켜 중간 영상을 생성한다.
Figure 112009069238371-pat00004
여기서, IRGB는 생성된 중간 영상, S는 이동 연산자, IR, IB 및 IG는 각각 적 색(850), 청색(870), 녹색(860)의 컬러 채널을 나타내며, 이동 벡터 (r1,c1) 또는 (r2,c2)는 적색(850) 또는 청색(860) 컬러 채널의 수직, 수평 방향으로의 이동량을 나타낸다.
도 12a 및 도 12b는 원영상 및 컬러 채널의 정렬에 의하여 생성된 중간영상을 도시한 도면이다. 도 12a를 참조하면, 영상의 중간 부분에 초점이 맞추어져 있고, 참조번호 1210으로 표시된 영역은 초점이 맞지 않아 컬러 채널에서 촬영광이 수렴하는 위치가 서로 다르므로 피사체의 형상이 분리되어 있다. 이때 참조번호 1210으로 표시된 영역을 복원영역으로 결정하고 컬러 채널(850, 860, 870)의 이동 및 정렬을 수행하면 도 12b에 도시된 바와 같이 참조번호 1220으로 표시된 복원영역의 초점이 복원된다. 결과적으로 원래 초점이 맞추어져 있던 중간 부분에서는 피사체의 형상이 분리되어 초점이 흐려지는 현상이 발생하지만 참조번호 1220으로 표시된 영역에서는 초점이 일치된 중간영상이 생성된다.
다음으로 화상융합부(650)는 원영상 및 중간영상들 중에서 일치된 초점이 영상의 중심부에 위치하는 영상을 기준 영상으로 하여 나머지 영상들을 기준 영상에 정합시킨다(S1040). 컬러 채널의 이동으로 생성된 영상들은 특정 화소가 모두 같은 위치에 존재하지 않으므로 영상을 융합하는 과정에서 서로 겹치거나 누락되는 경우가 발생한다. 이러한 경우를 막기 위해서 어느 하나의 영상을 기준으로 나머지 영상들을 정합시키는 과정이 필요하며, 이는 다음의 수학식과 같이 기준 영상에 대해 나머지 영상들을 역이동하여 이루어진다. 이와 같은 정합 과정에 의하여 새로운 영 상이 생성되는 것은 아니며, 영상 자체의 이동으로 영상들간의 화소의 위치를 일치시키게 된다.
Figure 112009069238371-pat00005
여기서, Ir은 기준 영상, S-1은 역이동 동작, 그리고 Ik는 그 자신을 기준 영상에 정합시킨 이미지를 나타낸다.
화상융합부(650)는 영상을 정합한 후 각각의 원영상 및 중간영상들 중에서 초점이 일치된 화소를 중심으로 하는 소정 크기의 융합영역을 결정하고, 융합영역들을 융합하여 전 영역에서 초점이 복원된 복원영상을 생성한다(S1050). 융합영역은 복원영역과 동일하거나 비슷한 영역으로 결정할 수 있으며, 각각의 융합영역들을 융합하는 과정은 다음의 수학식에 의해 수행된다.
Figure 112009069238371-pat00006
*여기서, Ick는 복원영상, Fk는 융합영역, 그리고 Iak와 Ibk는 융합을 위한 원영상 또는 중간영상이다. 수학식 6은 영상 Iak와 Ibk를 융합하여 복원영상 Ick를 생성하는 과정을 나타낸 식이다. 수학식 6에 따르면, Iak의 융합영역과 Ibk에서 Iak의 융합영역에 해당하는 영역을 제외한 영역을 결합하여 복원영상이 생성된다. 영상융합 에 의해 나타날 수 있는 융합영역 사이의 부자연스러운 경계를 제거하기 위하여 각각의 융합영역에 평활화(smoothing) 또는 저역통과필터링(low pass filtering)을 적용하는 것이 바람직하다.
마지막으로 화상융합부(650)는 다음의 수학식에 의해 융합 과정에서 누락된 화소를 대체한다(S1060). 이 과정에서 화상융합부(650)는 복원영상에서 누락된 화소의 위치를 파악하고, 원영상 및 중간영상들 중에서 누락된 화소와 가장 가까운 위치에 일치된 초점을 가지는 영상을 선택하여 누락된 화소와 같은 지점에 위치하는 화소를 복원영상의 누락된 화소의 위치에 정합시킨다.
Figure 112009069238371-pat00007
여기서, mindis{x,y}는 x와 y간의 최단거리를 나타내는 함수, I(x,y)는 (x,y)의 좌표를 가지는 복원영상의 누락된 화소, 그리고 fp(x,y)는 원영상 및 중간영상들 중에서 (x,y)와 가장 가까운 좌표에 일치된 초점이 위치하는 영상의 화소이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 종래 기술에 따른 일반적인 조리개에 의하여 생기는 촬영광의 수렴 패턴을 도시한 도면,
도 2는 종래 기술에 따른 일반적인 조리개에 의하여 생성된 영상을 도시한 도면,
도 3은 종래 기술에 따른 자동초점기술에 의하여 초점이 복원된 영상을 도시한 도면,
도 4는 본 발명에 따른 촬상장치에 구비된 조리개에 대한 바람직한 실시예의 구성을 도시한 도면,
도 5는 조리개 장치에 의하여 생성된 영상을 도시한 도면,
도 6은 본 발명에 따른 촬상장치에 대한 바람직한 실시예의 동작을 설명하기 위한 블록도,
도 7은 본 발명에 따른 촬상장치에 대한 바람직한 실시예의 구성을 도시한 도면,
도 8은 본 발명에 따른 촬상장치에 의하여 형성되는 촬영광의 수렴 패턴을 도시한 도면,
도 9는 본 발명에 따른 촬상장치 및 자동초점복원장치에 의하여 초점이 복원된 영상을 도시한 도면,
도 10은 본 발명에 따른 자동초점복원방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 11은 조리개(400)의 컬러 필터(450, 460, 470)의 위치 정보로부터 컬러 채널(850, 860, 870)의 이동 벡터를 산출하는 일 예를 도시한 도면, 그리고
도 12a 및 도 12b는 각각 원영상 및 컬러 채널(850, 860, 870)의 이동에 의하여 생성된 중간영상을 도시한 도면이다.

Claims (7)

  1. 서로 상이한 색상을 가진 컬러 필터가 설치된 복수의 개구부가 형성되어 있는 조리개; 및
    상기 각각의 컬러 필터를 투과한 피사체의 촬영광이 결상되는 촬상 소자;를 포함하는 것을 특징으로 하는 촬상장치.
  2. 제 1항에 있어서,
    상기 조리개의 중심선상에 한 개의 개구부가 형성되고, 상기 중심선에 대칭되도록 나머지 개구부가 형성되는 것을 특징으로 하는 촬상장치.
  3. 제 2항에 있어서,
    상기 촬상 소자로부터 입력받은 원영상을 구성하는 각 화소의 초점값을 산출하고, 상기 초점값을 근거로 초점이 복원될 복원영역들을 결정하여 상기 원영상으로부터 추출한 적색, 녹색 및 청색의 컬러 채널의 이동에 의해 상기 각각의 복원영역에서 초점이 일치된 중간영상들을 생성하고, 상기 각각의 원영상 및 중간영상에서 영상 융합을 위한 융합영역을 결정한 후 상기 융합영역들의 융합으로 전 영역에서 초점이 복원된 복원영상을 생성하는 초점복원부;를 더 포함하는 것을 특징으로 하는 촬상장치.
  4. 제 3항에 있어서,
    상기 초점복원부는,
    상기 촬상 소자에 결상된 원영상을 입력받아 상기 원영상을 구성하는 각 화소에 대하여 주변 화소와의 화소 강도의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 사전에 설정된 크기의 윈도우 내에 위치하는 화소들에 대응하는 돌출도 값의 합으로 각각의 화소에 대한 초점값을 산출하는 초점값 산출부;
    상기 산출한 초점값을 근거로 하여 상기 원영상에서 초점값이 사전에 설정된 기준보다 작은 화소들로 이루어진 복원영역을 결정하고, 상기 조리개의 컬러 필터의 위치 정보로부터 산출한 상기 컬러 채널 각각에 대응하는 이동 벡터를 기초로 상기 각각의 컬러 채널의 이동 및 정렬을 수행하여 상기 복원영역에서 초점이 일치된 중간영상을 생성하는 채널정렬부; 및
    상기 원영상 및 중간영상들 중에서 상기 일치된 초점이 영상의 중심부에 위치하는 영상을 기준 영상으로 하여 나머지 영상들을 상기 기준 영상에 정합시키고, 상기 초점이 일치된 화소를 중심으로 하는 융합영역을 상기 각각의 원영상 및 중간영상에서 결정하고, 상기 융합영역들을 융합하여 전 영역에서 초점이 복원된 복원영상을 생성하는 화상융합부;를 포함하는 것을 특징으로 하는 촬상장치.
  5. 제 4항에 있어서,
    상기 초점값 산출부는 상기 화소를 중심으로 하는 상기 윈도우 내의 화소들 중에서 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산하여 초점값을 산출하는 것을 특징으로 하는 촬상장치.
  6. 제 4항에 있어서,
    상기 채널정렬부는 상기 원영상을 복수의 분할영역으로 나누고 상기 각각의 분할영역에 포함되는 화소들의 평균 초점값을 계산한 후, 상기 평균 초점값이 가장 높은 분할영역과의 차이가 사전에 설정된 값 이상인 평균 초점값을 가지는 분할영역을 상기 복원영역으로 결정하는 것을 특징으로 하는 촬상장치.
  7. 제 4항 내지 제 6항 중 어느 한 항에 있어서,
    상기 화상융합부는 상기 원영상과 상기 중간영상들 중에서 상기 융합 과정에서 누락된 화소와 가장 가까운 위치에 일치된 초점을 가지는 영상을 선택하여 상기 누락된 화소와 같은 지점에 위치하는 화소를 상기 복원영상의 누락된 화소의 위치에 정합시키는 것을 특징으로 하는 촬상장치.
KR1020090108517A 2009-11-11 2009-11-11 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치 KR101327228B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090108517A KR101327228B1 (ko) 2009-11-11 2009-11-11 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090108517A KR101327228B1 (ko) 2009-11-11 2009-11-11 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080008957A Division KR100935392B1 (ko) 2008-01-29 2008-01-29 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090125029A KR20090125029A (ko) 2009-12-03
KR101327228B1 true KR101327228B1 (ko) 2013-11-11

Family

ID=41686795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090108517A KR101327228B1 (ko) 2009-11-11 2009-11-11 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치

Country Status (1)

Country Link
KR (1) KR101327228B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9872012B2 (en) 2014-07-04 2018-01-16 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
US20150029312A1 (en) * 2012-02-21 2015-01-29 Chung-Ang University Industry-Academy Cooperation Foundation Apparatus and method for detecting object automatically and estimating depth information of image captured by imaging device having multiple color-filter aperture
KR101290197B1 (ko) * 2012-02-21 2013-07-30 중앙대학교 산학협력단 영상의 깊이 정보 추정 장치 및 방법
KR101371369B1 (ko) * 2012-04-24 2014-03-12 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
US10613417B2 (en) 2015-06-03 2020-04-07 Center For Integrated Smart Sensors Foundation Multi-aperture camera system having auto focusing function and/or depth estimation function

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060061209A (ko) * 2004-12-01 2006-06-07 삼성테크윈 주식회사 카메라 및 노출 제어 방법
KR20060133773A (ko) * 2005-06-21 2006-12-27 삼성전자주식회사 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060061209A (ko) * 2004-12-01 2006-06-07 삼성테크윈 주식회사 카메라 및 노출 제어 방법
KR20060133773A (ko) * 2005-06-21 2006-12-27 삼성전자주식회사 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9872012B2 (en) 2014-07-04 2018-01-16 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction

Also Published As

Publication number Publication date
KR20090125029A (ko) 2009-12-03

Similar Documents

Publication Publication Date Title
KR101327228B1 (ko) 피사체의 거리정보를 추정하는 조리개를 구비한 촬상장치
US9118842B2 (en) Producing focused videos from single captured video
JP5066851B2 (ja) 撮像装置
US8203645B2 (en) Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
CN102457681B (zh) 图像处理设备和图像处理方法
US5602584A (en) Apparatus for producing a panoramic image using a plurality of optical systems
US9083879B2 (en) Focus detection apparatus, control method thereof, and image pickup apparatus
US8836765B2 (en) Apparatus and method for generating a fully focused image by using a camera equipped with a multi-color filter aperture
US9369693B2 (en) Stereoscopic imaging device and shading correction method
JPH10271379A (ja) 改善された性能特性を有するディジタル画像を生成する方法
EP3383023B1 (en) Imaging apparatus, control method, and non-transitory storage medium
JP6506560B2 (ja) フォーカス制御装置及びその方法、プログラム、記憶媒体
EP3879811B1 (en) Determining whether a camera is out-of-focus
JP4823167B2 (ja) 撮像装置
JP2012124555A (ja) 撮像装置
KR20100040643A (ko) 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
JP5348258B2 (ja) 撮像装置
JP2009044637A (ja) 撮像装置
WO2019146419A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4823169B2 (ja) 撮像装置
KR100935392B1 (ko) 조리개 장치 및 이를 구비한 촬상장치, 컬러 채널의 이동을기반으로 한 자동초점복원장치 및 방법
JP2019016975A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
KR101695987B1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 화질 개선 장치 및 방법, 그리고 이를 구현한 다중 컬러 필터 조리개를 구비한 촬상 장치
JP2009047735A (ja) 撮像装置及び画像処理プログラム
KR20110042936A (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20091111

Patent event code: PA01071R01D

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20130128

Comment text: Request for Examination of Application

Patent event code: PA02011R04I

Patent event date: 20091111

Comment text: Divisional Application of Patent

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130403

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131017

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131105

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20161004

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20171011

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20181122

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200923

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20211006

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230206

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 11

End annual number: 11