KR101613528B1

KR101613528B1 - 영상 이미지 보정방법

Info

Publication number: KR101613528B1
Application number: KR1020090078909A
Authority: KR
Inventors: 오영돈
Original assignee: 엘지이노텍 주식회사
Priority date: 2009-08-25
Filing date: 2009-08-25
Publication date: 2016-04-19
Also published as: KR20110021241A

Abstract

카메라 모듈에서 다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호로 변환하고 상기 전기적 신호를 이미지 신호 처리부에서 영상 이미지 보정하는 방법에 관한 것이다. 상기 영상 이미지 보정방법은 영상 이미지에서 밝기를 높이기 위한 구역을 설정하는 단계 및 상기 설정된 구역의 RGB 휘도값의 게인(gain)을 높여주면서 상기 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들이 유사한 RGB 휘도값을 나타내도록 렌즈 셰이딩 보상하는 단계를 포함한다.

카메라 모듈, 영상 이미지, 보정, RGB 휘도값

Description

영상 이미지 보정방법{image compensating method}

본 발명은 카메라 모듈에서 영상 이미지를 보정하는 방법에 관한 것이다.

카메라 모듈은 휴대용 전화기, 노트북 컴퓨터, PDA(personal digital assistants) 등 다양한 카메라 기능을 가진 제품에 장착되는데, 최근 일반 디지털 카메라와 비교할 때에도 손색이 없을 정도로 카메라 모듈의 성능이 향상되고 있다.

일반적으로, 영상 촬상 장치 등에 의해 촬상된 영상에는 피사체에 해당하는 대상물의 여러가지 정보를 가지고 있지만, 대상물, 촬영 기기의 성능 혹은 촬영 조건등에 의해 그 영상 신호에 해당하는 휘도신호 및 색신호의 성분이 편중되거나 왜곡되는 경우가 빈번하게 발생한다. 따라서, 카메라 모듈은 피사체를 촬영시 렌즈 셰이딩 보상(lens shading correction), 노출 보정(auto exposure) 및 화이트 밸런스(auto white ) 등의 보정을 거친 후 이미지의 캡쳐를 진행한다.

특히, 역광 조건에서 촬상된 영상의 경우에는 피사체의 광원 노출 정도가 양극화되어 주변부의 밝기가 커서 피사체가 어둡게 나오는 현상이 있다. 이에 따라, 역광 보정하기 위하여 스트로브(strobe) 또는 제논-플레쉬(zenon-flash)과 같은 보 조 장치를 이용해야 하는 불편함이 있다.

본 발명은 별도의 보조 장치 없이 역광 조건에서 촬상된 영상 이미지에서 어둡게 표현되는 피사체를 밝게 표현되도록 영상 이미지를 보정하는 방법을 제공한다.

본 발명의 일 실시예에 따른 영상 이미지 보정방법은 다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호로 변환하고 상기 전기적 신호를 이미지 신호 처리부에서 영상 이미지 보정하는 방법에 있어서, 영상 이미지에서 밝기를 높이기 위한 구역을 설정하는 단계 및 상기 설정된 구역의 RGB 휘도값의 게인(gain)을 높여주면서 상기 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들이 유사한 RGB 휘도값을 나타내도록 렌즈 셰이딩 보상하는 단계를 포함한다.

역광으로 인해 영상 이미지가 왜곡되는 경우, 스트로브(strobe) 또는 제논-플레쉬(zenon-flash)와 같은 보조 장치의 도움 없이 간단하게 역광 보정할 수 있다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 실시예에 따른 카메라 모듈이 포함된 영상 시스템을 나타낸다.

도 1을 참조하면, 영상 시스템(10)은 카메라 모듈(100), 입력부(210), 메모리(230) 및 디스플레이(250)를 포함하고, 카메라 모듈(100)은 렌즈부(110), 이미지 센서부(120) 및 이미지 신호 처리부(130)를 포함한다.

렌즈부(110)는 다수의 렌즈를 포함하여 피사체의 광 이미지를 입사 받는다. 이미지 센서부(120)는 렌즈부(110)로부터 입사받은 광 이미지를 전기적 신호인 원본 영상 데이터로 변환하여 영상 시스템에서 처리가능하게 한다. 여기서, 원본 영상 데이터는 로 데이터(raw data)를 의미하고, 빛의 강약에 따른 전기적 신호의 변화만이 기록된 정보이다.

이미지 신호 처리부(130)는 이미지 센서부(120)로 부터 입력받은 원본 영상 데이터를 미리 설정된 기준에 따라 처리하여 개선된 화질의 영상 데이터를 생성한다. 예를 들어, 이미지 신호 처리부(130)는 렌즈 셰이딩 보상(Lens Shading Compensation; LSC), 적합 컬러 보간(Adaptive Color Interpolation), 컬러 보정(Color Correction), 감마 제어(GAMMA Control), 색상/게인 제어(Hue/Gain Control), 영상 효과(Image Effect), 자동 노출(Auto Exposure), 자동 화이트 밸런스(Auto White Balance), 역광 보정 등을 처리한다. 이미지 신호 처리부(130)에는 각각의 처리를 위한 레지스터가 존재하여 사용자는 입력부(210)를 통하여 각 레지스터들의 설정값을 조정함으로써 원본 영상 데이터를 처리할 수도 있다.

메모리(230)는 이미지 신호 처리부(130)에서 처리된 영상 데이터를 인코더를 거쳐 인코딩된 압축 영상 데이터를 저장한다. 여기서, 영상 데이터는 각 화소 마다의 레드(red), 그린(green), 블루(blue)에 관한 게인(gain) 등의 정보를 의미하는 RGB정보를 포함한다. 디스플레이(250)는 메모리(230)에 저장된 영상 데이터를 읽어서 화면에 출력한다. 디스플레이(250)는 액정 디스플레이(LCD) 또는 유기 발광 소자 디바이스(OLED) 등이 될 수 있다. 이러한 영상 시스템(10)은 휴대용 전화기에 탑재될 수 있다.

특히, 역광 조건에서 촬상된 영상의 경우에는 피사체의 광원 노출 정도가 양극화되어 주변부의 밝기가 커서 피사체가 어둡게 나오는 현상이 있다.

도 2는 역광 조건에서 촬상된 이미지의 일 예를 나타낸다.

도 2를 참조하면, 실제 촬영을 원하는 피사체가 역광으로 인하여 주변부와 비교하여 어둡게 나타나는 것을 확인할 수 있다.

도 3은 렌즈 셰이딩 보상(Lens Shading Compensation)의 결과를 나타내는 RGB 휘도 그래프로서, 도 3(a)는 이미지 센서의 디폴트 조건을 나타내고, 도 3(b)는 렌즈 셰이딩 보상의 결과를 나타낸다.

도 3(a)를 참조하면, 가로축은 렌즈의 필드(field)로서 렌즈의 중앙으로부터 거리를 나타내고, 세로축은 R(301)G(302)B(303)의 휘도값을 나타낸다. 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들은 서로 다른 위치에서 광원에 노출되어, 이러한 미세한 위치 차이는 조도(illumination)차이를 유발하고, 조도 차이는 빛의 파장 차이와 렌즈들의 굴절률 차이에 의해 R(301)G(302)B(303)의 휘도값에 영향을 준다. 이러한 현상은 렌즈 셰이딩 (Lens Shading)현상으로부터 기인한다.

도 3(b)를 참조하면, 렌즈 셰이딩 보상의 결과를 나타내는 그래프로서, 중심부(0F) 대비 주변부(1F)의 게인(gain)을 높혀 보상한 결과, 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들이 유사한 R(301)G(302)B(303)의 휘도값을 나타내는 것을 확인할 수 있다.

도 4는 본 실시예에 따라 영상 이미지 보정하는 방법을 설명하는 그래프로 서, 도 4(a)는 역광 조건에서 촬상된 이미지의 RGB 휘도 그래프이고, 도 4(b)는 본 실시예에 따라 영상 이미지 보정을 하는 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)을 나타내는 그래프이며, 도 4(c)는 본 실시예에 따라 영상 이미지 보정된 결과를 나타내는 RGB 휘도 그래프이다.

도 4(a)를 참조하면, 역광 조건에서 촬상된 이미지의 노출 보정을 하였으나 역광으로 인해 주변부(1F)와 비교하여 피사체 부분이 어둡게 보이는 것을 확인할 수 있다.

도 4(b)를 참조하면, 본 실시예에 따라 역광보정을 하는 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)은 렌즈 셰이딩 보상을 할 때 주변부(1F)의 게인을 높이는 것 외에 피사체가 위치하는 특정 영역의 게인을 함께 높혀준다. 본 실시예에서는 피사체가 중앙부(0F)에 위치하는 경우의 예이지만, 사용자는 프리뷰(preview)상태에서 디스플레이(250)를 통해 피사체의 위치를 확인하여 입력부(210)를 통하여 피사체가 위치하는 부분의 구역 모드를 설정하여 원하는 위치를 중심으로 본 실시예에 따른 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)처리가 되도록 할 수 있다. 즉, 사용자가 디스플레이(250)를 통해 확인하여 입력부(210)를 통하여 구역 모드를 설정하면, 이미지 신호 처리부(130)는 사용자가 설정한 구역 모드의 RGB 휘도(밝기)를 높여주면서 렌즈 셰이딩 보상(Lens Shading Compensation)을 처리한다.

도 5는 본 실시예에 따라 입력부를 통해 역광모드 렌즈 셰이딩 보상을 설정할 수 있는 구역 모드의 일 예를 나타낸다.

도 5를 참조하면, 사용자는 프리뷰(preview)상태에서 디스플레이(250)를 통해 확인한 피사체가 A부분에 위치하는 경우 해당되는 구역 모드를 설정하여 본 실시예에 따른 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)이 적용되게 할 수 있다. 본 실시예에 따른 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)을 설정할 수 있는 구역 모드는 도 5에 도시된 바 외에 4개 구역 모드 또는 16개 구역 모드 등 다양하게 설정될 수 있음은 당업자에게 자명할 것이다.

다시 도 4(c)를 참조하면, 본 실시예에 따라 역광 보정된 결과를 나타내는 RGB 휘도 그래프로서, 렌즈 셰이딩 보상(Lens Shading Compensation)이 되어 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들이 유사한 R(401)G(402)B(403)의 휘도값을 나타내는 것을 확인할 수 있으며, 역광으로 인해 어둡게 나타났던 피사체도 밝게 나타나는 것을 확인할 수 있다.

도 6은 본 실시예에 따라 영상 이미지 보정하는 방법을 나타내는 순서도이다.

도 6을 참조하면, 사용자는 역광모드 렌즈 셰이딩 보상을 적용하기 위하여 입력부(210)를 통해 역광모드 렌즈 셰이딩 보상 적용을 설정한다(S601). 그런 다음, 프리뷰상태에서 디스플레이(250)를 통해 피사체가 위치하는 부분을 확인하거나, 밝기를 높이고 싶은 특정 부분을 확인하여 입력부(210)를 통해 해당 구역 모드를 설정한다(S602). 예를 들어, 도 5에서 피사체가 A부분에 위치하는 경우 해당되는 구역 모드를 입력부(210)를 통해 설정한다.

그런 다음, 이미지 신호 처리부(130)에서는 사용자가 설정한 구역 모드를 중 심으로 역광모드 렌즈 셰이딩 보상처리한다(S603) 역광모드 렌즈 셰이딩 보상처리된 영상 데이터를 메모리(230)에 저장한다(S604).

본 실시예에 따른 역광모드 렌즈 셰이딩 보상(Lens Shading Compensation)은 역광 조건뿐만 아니라 특정 영역을 밝게 표현하고 싶을 때도 적용할 수 있다.

본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터,데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

상술한 모든 기능은 상기 기능을 수행하도록 코딩된 소프트웨어나 프로그램 코드 등에 따른 마이크로프로세서, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit) 등과 같은 프로세서에 의해 수행될 수 있다. 상기 코드의 설계, 개발 및 구현은 본 발명의 설명에 기초하여 당업자에게 자명하다고 할 것이다.

이상 본 발명에 대하여 실시예를 참조하여 설명하였지만, 해당 기술 분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 상술한 실시예에 한정되지 않고, 본 발명은 이하의 특허청구범위의 범위 내의 모든 실시예들을 포함한다고 할 것이다.

도 2는 역광 조건에서 촬상된 이미지의 일 예를 나타낸다.

도 3은 렌즈 셰이딩 보상(Lens Shading Compensation)의 결과를 나타내는 RGB 휘도 그래프이다.

도 4는 본 실시예에 따라 영상 이미지 보정하는 방법을 설명하는 그래프이다.

<도면 주요 부분에 대한 부호의 설명>

100: 카메라 모듈 110: 렌즈부

120: 이미지 센서 부 130: 이미지 신호 처리부

210: 입력부 230: 메모리

250: 디스플레이

Claims

다수의 렌즈를 포함하는 렌즈부로부터 광 이미지를 입사 받아 이미지 센서에서 전기적 신호로 변환하고 상기 전기적 신호를 이미지 신호 처리부에서 영상 이미지 보정하는 방법에 있어서,

상기 광 이미지가 역광 조건에서 촬상되어 상기 영상 이미지의 피사체가 위치하는 부분의 밝기를 높이기 위한 구역을 설정하는 단계 및

상기 설정된 구역의 RGB 휘도값의 게인(gain)을 높여주면서 상기 이미지 센서의 컬러 필터 어레이의 중앙부의 픽셀들과 외곽의 픽셀들이 유사한 RGB 휘도값을 나타내도록 렌즈 셰이딩 보상하는 단계를 포함하는 영상 이미지 보정방법.
삭제
제 1 항에 있어서,

상기 영상 이미지에서 밝기를 높이기 위한 구역을 설정하는 단계는 프리뷰(preview)상태에서 수행하는 영상 이미지 보정방법.
제 1 항에 있어서,

상기 구역의 RGB 휘도값의 게인(gain)을 높여주면서 렌즈 셰이딩 보상된 영상 이미지를 저장하는 단계를 포함하는 영상 이미지 보정방법.
제 1 항, 제 3 항 및 제 4 항 중 어느 한 항에 따른 영상 이미지 보정방법을 수행하는 이미지 신호 처리부.
제 5 항에 있어서,

상기 이미지 신호 처리부는 휴대용 전화기내 카메라 모듈에 있는 이미지 신호 처리부.