KR20090041993A

KR20090041993A - 영상 초점 복원 방법

Info

Publication number: KR20090041993A
Application number: KR1020070107824A
Authority: KR
Inventors: 박운기; 홍윤표
Original assignee: 엘지전자 주식회사
Priority date: 2007-10-25
Filing date: 2007-10-25
Publication date: 2009-04-29
Anticipated expiration: 2027-10-25
Also published as: KR101371925B1

Abstract

본 발명은 촬상장치에서 촬상되는 영상의 전체에 대해서 초점을 복원하는 방법에 관한 것이다.

본 발명에 일 실시예에 따른 영상 초점 복원 방법은, 영상의 초점을 복원하는 방법에 있어서, 입력되는 영상을 소정의 영역으로 분할하는 단계; 상기 분할된 각 영역별로 외곽선을 분석하여 초점 정도를 산출하는 단계; 상기 산출된 초점 정도를 기반으로 상기 각 영역을 차등적으로 블러링(blurring)시키는 단계; 및 상기 차등적으로 블러링된 각 영역을 포함하는 전체 영상을 디블러링(deblurring)시키는 단계를 포함한다.

본 발명의 다른 실시예에 따른 인물 중심의 영상 초점 복원 방법은, 입력되는 영상에서 인물의 얼굴을 검출하여 상기 검출된 얼굴의 크기를 측정하는 단계; 상기 측정된 얼굴의 크기를 기반으로 상기 인물과의 거리를 산출하는 단계; 상기 산출된 인물과의 거리를 기반으로 점확산함수(PSF)를 산출하는 단계; 및 상기 영상을 디컨벌루션하는 단계를 포함한다.

본 발명은 특수 블러링 렌즈를 사용하지 않고, 일반 렌즈를 사용하여 전체적으로 초점이 고른 영상으로 복원할 수 있도록 하는 영상 초점 복원 방법에 관한 것이다. 또한, 본 발명은 인물 중심의 영상에서 인물 중심으로 초점을 복원시키는 방법에 관한 것이다.

촬상장치, 초점, 외곽선, 블러링, 디블러링, 복원

Description

영상 초점 복원 방법{RESTORATION METHODS OF IMAGE FOCUSING}

일반적으로, 렌즈의 초점 조절은 크게 적외선을 투사하여 피사체와의 거리를 이용하여 측정하는 방법과, 입력된 이미지 데이터를 영상 처리하여 그 결과를 토대로 렌즈의 초점 거리를 재조정하는 방법으로 나눌 수 있다.

최근에는 CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 소자의 이용도가 높아지고 영상 칩의 가격 하락 및 성능 향상이 이루어지면서 소형 전자제품의 경우 적외선 소자를 이용하여 초점 조절하는 방식이 보다 많이 이용되고 있다.

예를 들어, 디지털 카메라의 초점을 조절하는 오토 포커스(AF) 방법으로서, CCD 등의 촬상 소자에 의해 피사체 상을 광전 변환하여 화상 신호를 생성하고, 촬상 화상 중의 소정 AF 영역의 화상 신호로부터 고주파 성분을 추출함으로써 화상의 콘트라스트 값인 AF 평가값을 산출하고, 그 AF 산출값에 기초하여 촬영 렌즈의 합조 위치를 검출하는 방법이 알려져 있다.

이 방법에서는, 초점 렌즈를 광축 방향으로 이동시키면서 초점 렌즈의 각 위치에서 AF 평가값을 산출하고, AF 평가값이 극대화되는 위치를 합초 위치로 검출한다.

최근 디지털 영상을 취득하기 위해, 촬상장치, 예컨대 휴대폰, PDA, MP3, PMP, UMPC 등의 다양한 모바일 기기에 상기의 초점 렌즈를 구비한 카메라가 장착되어 사용자의 커다란 호응을 얻고 있다. 상기와 같은 모바일 기기는 이동성 및 컨버전스(convergence) 측면에서 많은 장점을 지니고 있지만, 제품의 단가 및 기술적인 문제의 한계로 인해 어느 정도의 화질 차이가 발생한다.

이러한 문제를 해결하기 위해서, 종래에는 저조도에서의 화질 향상, 노이즈 제거, 영상의 초점을 보정하기 위한 다양한 후처리 기술 등이 연구되고 있다.

도1a는 일반적인 카메라 렌즈를 개략적으로 나타낸 전개도이다. 도1a에 도시된 바와 같이, 일반적인 카메라 렌즈는 여러 장의 렌즈를 이용하여 센서에 정확한 상이 맺도록 구성된다. 그러나 이러한 구성은 상기와 같은 문제를 갖는 문제를 가지고 있어서, 특수한 구조를 갖는 새로운 렌즈 구조가 제안되었다.

도1b는 종래의 렌즈에 구조적으로 변경을 가한 것을 도시한 개략도이며, 도1b에 도시된 렌즈 조합을 이용하면 센서에는 정확한 상이 맺히지 않고 의도적으로 영상을 블러링(blurring)시킴으로써, 추후 신호 처리를 통해 초점을 복원하여 영상 초점을 복원한다.

도1b에 도시된 렌즈 조합은 초점 영역(Depth of field)이 넓어지도록 구성하기 때문에 일반적인 렌즈가 표현할 수 있는 초점 영역보다 더 넓은 영역에 대해서 초점을 맞출 수 있다.

도1c는 종래의 영상 초점 복원 방법에 대한 개략적인 순서도를 나타낸 것이다. 입력되는 영상이 구조적으로 변경을 가한 렌즈(이하, 블러링 렌즈)를 통과하면, 상기 입력된 영상은 전체적으로 고른 블러링 정도를 갖고, 그 상태로 센서에 상이 맺힌다.

상기의 균일한 블러링 정도를 갖는 영상을 신호처리(ISP)하고, 디블러링(deblurring) 시킴으로써 전체적으로 균일한 출력 영상을 취득할 수 있다.

도1c에 도시된 방법에 따라, 블러링 렌즈를 이용하면 전체 영상에 대해서 고르게 초점이 맞추어져 균일한 영상을 취득할 수 있다.

그러나, 이러한 초점 영역 확장을 위한 블러링 렌즈를 사용하는 방법은, 블러링된 영상을 후처리를 통해 개선하기 위해 사용되는 알고리즘의 완벽한 알고리즘 특성 및 연산 속도 때문에 완전한 실수 연산을 필요로 한다.

하지만, 완전한 실수 연산을 수행하는 것은 한계가 있고, 계산 속도에도 일정한 한계를 가지고 있어, 다른 렌즈를 이용하여 촬영한 영상에 비해 화질 열화가 발생한다. 또한 의도적 아웃포커싱(outfocusing)과 같은 촬영 기술을 적용시킬 수 없다는 문제점이 있다.

또한, 블러링 렌즈라는 새로운 구조의 렌즈를 설계/부착해야 하는 부담이 있어서 소량 생산이 어렵고 카메라 모듈의 가격 상승의 원인이 된다. 또한 초점의 자유로운 변경이 힘들기 때문에 사용자의 다양한 효과를 만들어 낼 수 없다는 단점이 있다.

또한, 일반적으로 영상에 초점을 복원하기 위한 방법으로서, 촬영된 영상이 고정된 점확산함수(PSF : Point Spread Function)을 갖도록 형성하고, 이 점확산함수의 역과정을 수행하여 초점을 복원한다.

그러나, 렌즈로 촬영된 영상에서 상기 점확산함수는 대상물체와 렌즈 사이의 거리에 다르기 때문에, 거리에 따른 물체마다 초점의 복원 정도가 달라서 특정 영역에 화질의 열화가 발생한다.

특히, 인물 중심의 영상에 있어서, 촬영자가 포착하고자 하는 인물의 영상이 열화되는 경우 심각한 문제를 초래할 수 있다.

따라서, 본 발명은 상기의 문제점을 해결하고자 안출된 것으로서, 본 발명은 영상의 초점 영역 확장을 위한 블러링 렌즈의 사용에 따른 문제점인 화질 열화, 렌즈 선택의 한계 등을 보완하는 것을 목적으로 한다.

또한, 본원 발명은 인물 영상에 있어 인물 중심으로 초점을 복원하는 방법을 제안하는 것을 목적으로 한다.

종래의 구조적으로 변경된 렌즈를 이용하지 않고, 일반적인 렌즈를 사용하되, 촬영된 영상의 초점 정도를 분석하여 영역별 차등적 블러링을 통해 입력된 영상의 초점을 복원한다.

또한, 인물과의 거리에 따라 미리 계산되어 저장된 초점복원함수를 선택/적용하여 인물 중심의 초점 복원 영상을 구현한다.

본 발명에 따라, 영역별로 선택적인 초점 복원을 통해서 국부적인 또는 선택적인 사용이 가능하며, 사용자가 다양한 효과를 낼 수 있도록 한다.

또한, 종래의 일반적인 렌즈를 이용하면서도 균일한 효과를 낼 수 있어서, 카메라 모듈의 비용 절감에도 기여를 할 수 있다.

또한, 인물 중심의 영상을 촬영함에 있어서, 인물의 얼굴 중심으로 초점을 맞추어 복원시킴으로써 영상의 품질을 향상시킬 수 있다.

또한, 본 발명은 차세대 모바일 기기에 사용되는 카메라의 화질을 향상시키기 위한 핵심기술로서, 종래 카메라 폰 및 모바일 기기와 같은 소구경 광학 기기에의 짧은 초점 영역 및 전체적으로 선명한 영상을 만들지 못하는 단점을 극복할 수 있다.

바람직하게, 상기 산출된 초점 정도를 기반으로 상기 각 영역을 차등적으로 블러링시키는 단계는, 상기 영역 중 가장 초점 정도가 낮은 영역을 기준으로 나머지 영역을 상기 가장 초점 정도가 낮은 영역의 블러링 정도를 갖도록 차등적으로 블러링시키는 단계를 포함하고, 상기 각 영역을 차등적으로 블러링시켜 영상이 전체적으로 균일한 정도의 블러링을 갖게 한다.

바람직하게, 상기 입력되는 영상을 소정의 영역으로 분할하는 단계는, 상기 입력되는 영상을 매트릭스 형태로 분할하거나, 또는 픽셀 단위로 분할하거나, 또는 상기 영상에 포착되는 대상별로 분할하고, 상기 분할된 각 영역별로 외곽선을 분석하여 초점 정도를 산출하는 단계는 상기 산출된 초점 정도에 따라 상기 영상을 소정의 그룹으로 분류하는 단계를 더 포함한다.

바람직하게, 상기 인물과의 거리는 광학 시스템의 렌즈 및 화소 수에 따라 미리 계산되어 저장되고, 상기 측정된 얼굴의 크기를 기반으로 상기 인물과의 거리를 산출하는 단계는 상기 측정된 얼굴의 크기가 소정의 임계치보다 큰 경우에 상기 인물과의 거리를 산출한다.

이하 첨부된 도면을 바탕으로 본 발명의 기술분야에 있어서 통상의 지식을 가진 자가 본 발명을 용이하게 이해하고 실시할 수 있도록 본 발명의 바람직한 실시예를 상세하게 설명한다.

도2 및 도3은 본 발명의 일 실시예에 따른 영상 초점 복원 방법을 나타내는 순서도이다.

본 발명의 일 실시예에 따른 영상 초점 복원 방법은, 보통의 일반 렌즈를 사용하여 영상의 초점을 복원하는데, 영상의 외곽선(boundary)을 분석하여 각 영역별로 초점이 잘 맞았는가의 정도를 산출하여 차등적으로 블러링시킴으로써, 균일한 블러렁 정도를 갖는 영상을 형성한 후, 이를 전체적으로 디블러링시키는 것을 특징으로 한다.

도2에 도시된 바와 같이, 촬상장치에 입력된 영상은 도1a에 도시된 바와 같은 일반적인 렌즈를 통해서 센서에 상을 형성한다. 그리고 소정의 신호처리를 거쳐 출력 영상을 획득한다.

그러나, 이 출력 영상은 전체적인 초점 복원이 되지 않은 상태이므로, 본 발명에 따른 초점 복원 방법이 적용된다.

외곽선 분석 기법을 이용하여 영상 영역별 초점이 맞은 정도를 수치화한다. 즉, 본 발명의 일 실시예에 따른 영상 초점 복원 방법은 입력되는 영상을 소정의 영역으로 분할하여 각 영역별로 초점이 맞은 정도를 산출한다.

상기 분할 방식은, 매트릭스 형태로 분할하거나, 또는 픽셀 단위로 분할하거나, 또는 상기 영상에 포착되는 대상별로 분할할 수 있다.

일반적으로, 입력되는 영상에서 초점의 열화가 심화되는 부분은 서로 다른 그레이 레벨(gray level)이 인접해 있는 곳 즉, 영상의 외곽선 부분으로서, 이 부분에서 특히 초점이 흐려져 전체적인 영상의 질을 떨어뜨린다.

따라서, 외곽선 추출 알고리즘을 이용하여 초점이 잘 맞았는지를 판단하는 것이 일반적이며, 상기 외곽선 추출 알고리즘은 다수의 특허 및 간행물 등에서 기술된 공지의 기술 영역이므로, 본 명세서에서는 상세한 설명을 생략한다.

각 분할된 영역별로 외곽선을 분석하여 초점 정도가 산출이 되면, 상기 산출된 초점 정도를 기반으로 상기 각 영역을 차등적으로 블러링시킨다. 바람직하게, 분할된 영역 중 가장 초점 정도가 낮은 영역을 기준으로 나머지 영역을 상기 가장 초점 정도가 낮은 영역의 블러링 정도를 갖도록 차등적으로 블러링시킨다.

그리하여, 상기 영상은 전체적으로 균일한 정도의 블러링을 갖도록 형성된다. 이러한 전체적으로 균일한 정도의 블러링을 갖는 영상을 디블러링시키면, 전체적으로 화질이 개선된 초점 복원 영상을 획득할 수 있다.

상기 디블러링(deblurring)은, 영상에 존재하는 블러링을 없애는 과정을 지칭하는 것으로서, 일반적으로 디블러링 필터(deblurring filter)를 이용하여 구현할 수 있다.

상기 디블러링 필터는 블러링에 사용된 필터 및 기타 초점을 보정하기 위한 필터(예컨대, 샤픈(shapen) 필터)를 조합하여 형성할 수 있다. 초점이 잘 맞지 않아 전체적으로 블러링된 영상은 상기 디블러링 과정을 통해서 영상 전체에 걸쳐 초점이 잘 맞도록 보정된다.

상기 디블러링 원리 및 방식은 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 자에게는 잘 알려지고 공지된 기술에 해당하므로 본 명세서에서는 구체적인 설명을 생략하도록 한다.

도3은 본 발명의 일 실시예에 따른 영상 초점 복원 방법을 보다 구체적으로 설명하기 위한 순서도이다.

촬상장치에 의해 외부의 영상이 촬상장치에 입력되면(S300), 상기 입력되는 영상을 소정의 영역으로 분할한다(S305). 이때, 상기한 바와 같이, 입력되는 영상을 가로 세로 소정의 크기를 갖는, 즉 N×M 매트릭스 형식으로 분할할 수 있고, 또 는 픽셀 단위로 분할할 수 있으며, 또는 상기 영상에 포착되는 대상별로 분할할 수 있다.

다음으로, 분할된 각 영상별로 외곽선을 검출/분석하여 각 영역별 초점 정도를 산출한다(S310). 상기 분할된 각 영역에는 외곽선이 존재하지 않는 영역이 있을 수 있으며, 이 경우에는 초점 정도를 산출하는 단계를 생략할 수 있다.

일정한 소정의 영역에서 외곽선이 검출되지 않는다는 것은 그 영역은 하나의 연속된 영상을 의미하므로, 그 영역에서는 일반적으로 초점이 열화 현상이 발생하지 않거나 약하게 발생한다. 따라서, 이러한 영역은 초점 정도를 산출하는 단계를 생략해도 전체적인 영상 초점 복원에 있어 큰 영향을 미치지 않을 수 있다.

다음으로, 산출된 초점 정도를 기반으로 각 영역을 차등적으로 블러링시킨다. 상기 분할된 영역을 차등적으로 블러링시키는 방법은 다양할 수 있는데, 도3에서는 상기 산출된 초점 정도에 따라 분할 영역을 그룹화하는(S315) 방식을 예시적으로 도시하였다.

즉, 초점 정도에 따라 초점이 잘 맞은 영역과 초점이 잘 맞지 않은 영역, 그리고 그 중간 영역으로 분류할 수 있다. 상기 분류 방식은 예시적인 것이며, 그룹화 개수 및 정도는 실시예에 따라 변화할 수 있음은 명확하다.

그룹화가 이루어지면, 초점이 잘 맞은 영역에는 강한 블러링을 시키고(S320), 중간 영역에는 중간 정도의 블러링을 시키며(S325), 초점이 잘 맞지 않은 영역에는 약한 블러링을 시킨다(S330).

상기의 단계를 수행하고 나면, 전체적으로 균일한 블러링 정도를 갖는 영상 이 생성된다(S335). 다음으로, 상기 기술한 바와 같이, 디블러링 기술을 이용하여 상기 영상을 디블러링하면(S340), 전체적으로 초점이 복원된 영상을 획득할 수 있다(S345).

도4는 본 발명의 일 실시예에 따른 영상 초점 복원 방법을 적용할 때, 각 분할 영상에 대한 블러링 정도의 변화를 개략적으로 나타낸 그래프이다.

(a) 그래프에 도시된 바와 같이, 촬상 장치에서 촬영되는 영상은 각 영역별로 서로 다른 크기의 블러링 정도를 갖는다. 일반적으로, 외곽선이 많이 포함된 영역의 블러링 정도가 다른 영역에 비해서 상대적으로 크며, 외곽선 영역이 없는 즉, 연속된 영상일수록 블러링 정도가 약하다.

본 발명의 일 실시예 따라 각 영역별 차등적인 블러링을 적용하면 (b) 그래트에 도시된 바와 같이, 전체 영상이 균일한 블러링 정도를 갖는다. 따라서, 이 영상을 디블러링하여 블러링을 제거하면, (c) 그래프에 도시된 바와 같이 전체적으로 아주 낮은 블러링 정도, 바람직하게는 블러링이 거의 없는 영상을 취득할 수 있게 된다.

상기 (a) 내지 (c)의 그래프는 단지 본 발명을 용이하게 설명하기 위한 예시적인 그래프이고, 본 발명을 제한하는 것이 아니며, 다른 형태의 그래프가 사용될 수 있음은 당업자에게 명확하다.

도5는 본 발명의 다른 실시예에 따른 인물 중심의 영상 초점 복원 방법을 나타내는 순서도이다.

촬상장치에 입력되는 영상에서 인물의 얼굴을 검출한다(S500). 특정 영상에 서 얼굴, 눈동자 등의 부위를 검출하는 알고리즘은 현재 기술이 매우 발전하였다. 이러한 알고리즘을 이용하여 인물의 얼굴을 검출하면 검출된 얼굴의 크기를 측정하여 인물의 거리를 측정한다(S505). 상기 인물과의 거리는 광학 시스템의 렌즈 화각 및 화소 수에 따라 미리 계산되어 시스템에 저장될 수 있다. 또는 촬영된 영상의 얼굴 크기에 따라 정량화하여 기록될 수 있거나, 촬영된 영상의 얼굴 크기와 기록된 얼굴 크기를 비교하여 거리를 산출할 수 있다.

이때, 측정된 얼굴의 크기가 소정의 임계치보다 큰 경우에만 인물과의 거리를 산출할 수 있는데, 이는 만약 얼굴의 크기가 소정 임계치보다 작은 경우에는 그 영상을 인물 영상으로 보기 어렵거나 또는 촬영자가 본래 의도하였던 대상이 아닐 가능성이 크기 때문이다.

상기 인물과의 거리가 산출되면, 거리에 따른 점확산함수(PSF)를 산출한다(S510). 상기 점확산함수는 대상물과 렌즈와의 거리에 따라 변화한다. 따라서 촬상장치의 설계시에 거리에 따른 초점 복원 계수를 미리 측정하여 시스템에 저장하고, 상기 거리가 산출되면 미리 계산되어 저장된 초점 복원 계수를 산출하여 영상 초점 복원에 사용할 수 있다.

상기 점확산함수가 산출되면, 상기 입력 영상을 디컨볼루션(deconvolution)한다(S515). 즉, 이후 영상에 상기 점확산함수를 인버스필터링(inverse filtering)하면 점확산함수의 영향을 제거할 수 있다. 이와 같은 연산은, 주파수 영역 및 공간 영역에서 수행될 수 있다.

상기의 과정을 거쳐 인물에 초점이 열화된 영상의 초점을 복원할 수 있다.

이제까지 본 발명의 바람직한 실시예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다.

여기서 본 발명의 본질적 기술 범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도1a는 일반적인 카메라 렌즈의 구성을 개략적으로 나타낸 전개도.

도1b 및 도1c는 종래에 따른 영상 초점 복원 방법에 사용되는 렌즈의 개략적인 전개도 및 순서도.

도2 및 도3은 본 발명의 일 실시예에 따른 영상 초점 복원 방법을 나타내는 순서도.

도4는 본 발명의 일 실시예에 따른 영상 초점 복원 방법을 적용할 때, 각 분할 영상에 대한 블러링 정도의 변화를 개략적으로 나타낸 그래프.

도5는 본 발명의 다른 실시예에 따른 인물 중심의 영상 초점 복원 방법을 나타내는 순서도.

Claims

영상의 초점을 복원하는 방법에 있어서,

입력되는 영상을 소정의 영역으로 분할하는 단계;

상기 분할된 각 영역별로 외곽선을 분석하여 초점 정도를 산출하는 단계;

상기 산출된 초점 정도를 기반으로 상기 각 영역을 차등적으로 블러링(blurring)시키는 단계; 및

상기 차등적으로 블러링된 각 영역을 포함하는 전체 영상을 디블러링(deblurring)시키는 단계를 포함하는 것을 특징으로 하는 영상 초점 복원 방법.
제1항에 있어서,

상기 산출된 초점 정도를 기반으로 상기 각 영역을 차등적으로 블러링시키는 단계는,

상기 영역 중 가장 초점 정도가 낮은 영역을 기준으로, 나머지 영역을 상기 가장 초점 정도가 낮은 영역의 블러링 정도를 갖도록 차등적으로 블러링시키는 단계를 포함하는 것을 특징으로 하는 영상 초점 복원 방법.
제2항에 있어서,

상기 각 영역을 차등적으로 블러링시켜 영상이 전체적으로 균일한 정도의 블러링을 갖는 것을 특징으로 하는 영상 초점 복원 방법.
제1항에 있어서,

상기 입력되는 영상을 소정의 영역으로 분할하는 단계는,

상기 입력되는 영상을 매트릭스 형식으로 분할하거나, 또는 픽셀 단위로 분할하거나, 또는 상기 영상에 포착되는 대상별로 분할하는 것을 특징으로 하는 영상 초점 복원 방법.
제1항에 있어서,

상기 분할된 각 영역별로 외곽선을 분석하여 초점 정도를 산출하는 단계는,

상기 산출된 초점 정도에 따라 상기 영상을 소정의 그룹으로 분류하는 단계를 더 포함하는 것을 특징으로 하는 영상 초점 복원 방법.
고정 초점 광학 시스템에 있어서,

입력되는 영상에서 인물의 얼굴을 검출하여 상기 검출된 얼굴의 크기를 측정하는 단계;

상기 측정된 얼굴의 크기를 기반으로 상기 인물과의 거리를 산출하는 단계;

상기 산출된 인물과의 거리를 기반으로 점확산함수(PSF)를 산출하는 단계; 및

상기 영상을 디컨벌루션(deconvolution)하는 단계를 포함하는 것을 특징으로 하는 인물 중심의 영상 초점 복원 방법.
제6항에 있어서,

상기 인물과의 거리는, 광학 시스템의 렌즈 화각 및 화소 수에 따라 미리 계산되어 저장되는 것을 특징으로 하는 인물 중심의 영상 초점 복원 방법.
제6항에 있어서,

상기 측정된 얼굴의 크기를 기반으로 상기 인물과의 거리를 산출하는 단계는,

상기 측정된 얼굴의 크기가 소정의 임계치보다 큰 경우에 상기 인물과의 거리를 산출하는 것을 특징으로 하는 인물 중심의 영상 초점 복원 방법.