KR101146015B1 - 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법 - Google Patents

Abstract

본 발명은 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법에 관한 것으로, 휴대폰의 영상 촬영시 역광 이미지를 자동으로 보정할 것인지를 선택하는 제10단계(S10)와; 상기 역광 이미지가 자동 보정으로 선택시 이에 해당하는 명령 값을 저장하고, 자동 보정 설정 완료까지 대기하는 제20단계(S20)와; 휴대폰 카메라로 영상 촬영 및 저장되는 제30단계(S30)와; 역광 자동 보정을 선택했는지 판단하는 제40단계(S40)와; 역광 자동 보정이 선택되었다면, 촬영된 이미지가 역광 이미지인지 명암대비기반으로 자동 판단하는 제50단계(S50)와; 역광 자동 보정이 선택되지 않았다면, 촬영된 이미지를 그대로 저장하거나 또는 역광 이미지 보정을 수동으로 선택하는 제60단계(S60)와; 상기 제50단계(S50)에서 역광 이미지인지 판단되거나, 상기 제60단계(S60)에서 역광 이미지 보정을 수동으로 선택시, 역광 이미지 대비개선을 실시하여 역광 이미지를 보정하는 제70단계(S70)를 포함한다. 따라서, 본 발명은 휴대폰 카메라로 얻어진 역광 이미지를 PC상에 옮겨 처리하지 않고 휴대폰에서 간단히 보정할 수 있고, 사진을 찍는 것과 동시에 이미지가 역광으로 촬영되었는지 아닌지를 판단할 수 있어 사용자가 직접 판단하지 않고 처리할 수 있는 자동처리를 제공하며, 시스템의 이미지 처리 과정에 있어서 수행을 최소로하여 이미지 보정 처리속도가 빠른 효과가 있다.

Description

휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법{Image processing method for backlight image judgment and image compensation on cell phone camera}

본 발명은 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법에 관한 것으로, 더욱 세부적으로는 휴대폰 카메라를 사용하여 얻어진 영상의 대비를 개선하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법에 관한 것이다.

현재 휴대폰을 통한 다양한 인터페이스는 더 이상 휴대폰을 부가적인 기기가 아닌 현대 사회의 필수적인 요소로 자리매김하고 있으며, 그 중 휴대폰의 카메라 기능은 독립적인 카메라 기기 없이도 간편하게 휴대폰을 이용하여 사용할 수 있고, 작동도 간편하여 거의 모든 휴대폰에서 카메라 기능이 가능하다.

그러나, 휴대폰은 카메라 기능을 주요 목적으로 다루는 기기가 아니기 때문에 휴대폰 카메라에서 영상의 높은 질을 기대하는 데에는 어느 정도 한계가 있는데, 물론 기존의 휴대폰에도 카메라 보정기능이 있지만 도 1처럼 사용자가 눈으로 영상을 판단하여 스스로 조정해야 하기 때문에 번거롭고 불편한 문제점이 있다.

또한, 휴대폰 내에서 허용할 수 있는 메모리의 크기나 수행 속도 역시 카메라 보정 기능들을 간단하고 단순하게 내장시켰기 때문에 역광 사진들은 휴대폰 카메라 내의 보정 기능으로는 더더욱 영상을 향상시키기가 어렵다.

따라서, 휴대폰 카메라에 부가적으로 추가되어 있는 기능들은 단순하고 한 번에 한가지 처리밖에 할 수 없으며, 역광 이미지에 관련해서 개선시켜줄 만한 효과적인 기능이 기존 휴대폰에는 내장되어 있지 않기 때문에, 사용자는 역광 이미지의 사진들을 휴대폰에서 지워버리거나, 또는 순간의 추억을 기억하고자 하는 사람들은 억지로 역광 영상을 PC로 전송하여 영상개선을 할 수 있는 프로그램을 직접 이용하여 이미지를 보정하는 복잡한 과정을 거치는 단점을 갖고 있다.

상술한 바와 같은 문제점을 해결하기 위하여, 본 발명은 휴대폰 카메라를 사용하여 얻어진 영상의 대비를 개선하는 것으로, 사용자가 휴대폰으로 사진 촬영시 역광으로 인해서 촬영하려는 대상이 어둡고 화질이 떨어지는 영상이 나오는 경우 자동으로 화질의 질을 판단하고, 역광 이미지라는 것이 판단될 경우 화질을 개선하여 이미지를 선명하고 밝게 처리해주는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법을 제공하는데 목적이 있다.

또한, 본 발명은 휴대폰으로 촬영하기 전에 사용자는 미리 역광을 처리해 줄 것인지 선택할 수 있어 적응적이고, 촬영 후에는 각각의 영상 RGB 색상 대비 분포 값에 따라 스트레칭 기법의 범위를 달리 계산하여 대비를 개선할 수 있는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법을 제공하는데 목적이 있다.

목적을 달성하기 위한 방법으로는 휴대폰의 영상 촬영시 역광 이미지를 자동으로 보정할 것인지를 선택하는 제10단계와; 상기 역광 이미지가 자동 보정으로 선택시 이에 해당하는 명령 값을 저장하고, 자동 보정 설정 완료까지 대기하는 제20단계와; 휴대폰 카메라로 영상 촬영 및 저장되는 제30단계와; 역광 자동 보정을 선택했는지 판단하는 제40단계와; 역광 자동 보정이 선택되었다면, 촬영된 이미지가 역광 이미지인지 명암대비기반으로 자동 판단하는 제50단계와; 역광 자동 보정이 선택되지 않았다면, 촬영된 이미지를 그대로 저장하거나 또는 역광 이미지 보정을 수동으로 선택하는 제60단계와; 상기 제50단계에서 역광 이미지인지 판단되거나, 상기 제60단계에서 역광 이미지 보정을 수동으로 선택시, 역광 이미지 대비개선을 실시하여 역광 이미지를 보정하는 제70단계를 포함한다.

상기한 바와 같이, 본 발명은 휴대폰 카메라로 얻어진 역광 이미지를 PC상에 옮겨 처리하지 않고 휴대폰에서 간단히 보정할 수 있고, 사진을 찍는 것과 동시에 이미지가 역광으로 촬영되었는지 아닌지를 판단할 수 있어 사용자가 직접 판단하지 않고 처리할 수 있는 자동처리를 제공하며, 시스템의 이미지 처리 과정에 있어서 수행을 최소로하여 이미지 보정 처리속도가 빠른 효과가 있다.

또한, 본 발명은 기존의 스트레칭 방법을 기반으로 하여 향상된 스트레칭 방법을 제공함으로써 명암대비를 보다 향상시킬 수 있고, 휴대폰의 메모리를 추가할 필요가 없어 추가비용이 들어가지 않으며, 휴대폰에서 처리하는 방식으로 부가적인 이미지 보정 프로그램이나 도구가 필요하지 않고, 사용자가 촬영한 순간에 자동으로 보정할 것인지를 선택할 수 있기 때문에 기능면에서 적응적이고 보다 효과적으로 사용 가능하다.

도 1은 본 발명에 따른 휴대폰 기반의 역광 영상 화질 개선의 개략도.
도 2는 본 발명에 따른 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법의 순서도.
도 3은 본 발명에 따른 자동 보정 설정 과정을 나타낸 순서도.
도 4는 본 발명에 따른 자동 역광 보정 설정시 역광 이미지 판단 과정을 나타낸 순서도.
도 5는 본 발명에 따른 역광 이미지를 판별하기 위한 참고 사진.
도 6은 본 발명에 따른 역광 이미지 보정 과정을 나타낸 순서도.
도 7은 본 발명에 따른 Valley점을 찾는 방법을 나타낸 참고도.
도 8은 본 발명에 따른 원본 이미지와 스트레칭된 각각의 RGB 히스토그램을 병합하여 보정된 이미지 예를 보여주는 참고도.

도 1은 본 발명에 따른 휴대폰 기반의 역광 영상 화질 개선의 개략도이고, 도 2는 본 발명에 따른 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법의 순서도이고, 도 3은 본 발명에 따른 자동 보정 설정 과정을 나타낸 순서도이고, 도 4는 본 발명에 따른 자동 역광 보정 설정시 역광 이미지 판단 과정을 나타낸 순서도이고, 도 5는 본 발명에 따른 역광 이미지를 판별하기 위한 참고 사진이고, 도 6은 본 발명에 따른 역광 이미지 보정 과정을 나타낸 순서도이고, 도 7은 본 발명에 따른 Valley점을 찾는 방법을 나타낸 참고도이고, 도 8은 본 발명에 따른 원본 이미지와 스트레칭된 각각의 RGB 히스토그램을 병합하여 보정된 이미지 예를 보여주는 참고도이다.

이하, 도면을 참고로 본 발명의 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법을 설명하면 다음과 같다.

도 1은 본 발명의 휴대폰 기반 역광 영상 화질 개선의 개략적인 도면으로, 사용자가 휴대폰 카메라를 이용하여 영상을 촬영하고 자동 또는 역광 이미지를 판단하여 영상을 보정한다.

도 2는 본 발명의 휴대폰 기반 역광 영상 화질 개선을 위한 영상처리 방법을 나타낸 순서도로서, 휴대폰의 영상 촬영시 역광 이미지를 자동으로 보정할 것인지를 선택하는 제10단계(S10)와, 상기 역광 이미지가 자동 보정으로 선택시 이에 해당하는 명령 값을 저장하고, 자동 보정 설정 완료까지 대기하는 제20단계(S20)와, 휴대폰 카메라로 영상 촬영 및 저장되는 제30단계(S30)와, 역광 자동 보정을 선택했는지 판단하는 제40단계(S40)와, 역광 자동 보정이 선택되었다면, 촬영된 이미지가 역광 이미지인지 명암대비기반으로 자동 판단하는 제50단계(S50)와, 역광 자동 보정이 선택되지 않았다면, 촬영된 이미지를 그대로 저장하거나 또는 역광 이미지 보정을 수동으로 선택하는 제60단계(S60)와, 상기 제50단계(S50)에서 역광 이미지인지 판단되거나, 상기 제60단계(S60)에서 역광 이미지 보정을 수동으로 선택시, 역광 이미지 대비개선을 실시하여 역광 이미지를 보정하는 제70단계(S70)를 포함한다.

도 3은 상기 역광 이미지 자동 보정에 따른 설정 완료 및 대기하는 제20단계(S20)의 세부 구성도로서, 역광 이미지가 자동 보정으로 선택되는 제21단계(S21)와, 선택된 명령 값이 저장되는 제22단계(S22)와, 상기 명령 값에 의해 촬영된 이미지를 처리하도록 영상사이즈 크기의 메모리를 할당하는 제23단계(S23)와, 각 RGB 데이터 크기 메모리를 할당하는 제24단계(S24)를 포함한다.

도 4는 상기 역광 자동 보정 선택에 따른 촬영된 이미지가 역광 이미지인지 판단하는 제50단계(S50)의 세부 구성도로서, 촬영된 영상이 입력되면 RGB 컬러 영상을 회색 이미지로 변환하는 제51단계(S51)와, 변환된 회색 이미지의 명암대비 히스토그램을 생성하는 제52단계(S52)와, 히스토그램의 분포에 따른 평균값을 계산하는 제53단계(S53)와, 설정된 파라미터 값을 기준으로 역광 이미지인지를 판단하는 제54단계(S54)와, 역광 이미지일 경우 이미지 보정 후 저장하는 제55단계(S55)를 포함한다.

도 5는 역광 이미지를 판별하기 위한 참고 사진을 보여주는데, 상기 역광 이미지를 판단하는 제54단계(S54)는 회색 이미지의 히스토그램 상에서 어두운 밝기영역(도 5의 부호 A)의 분포도를 계산하여 지정한 파라미터 값(도 5의 부호 C)보다 큰지 판단하는 제54-1단계(S54-1)와, 지정한 파라미터 값(도 5의 부호 C)보다 크다면, 히스토그램 상에서 밝은 영역(도 5의 부호 B)의 분포도와 비교하는 제54-2단계(S54-2)와, 상기 어두운 밝기영역(도 5의 부호 A)의 값이 더 크면 어두운 역광 이미지로 결정하여 색상보정과 밝기를 개선하는 제54-3단계(S54-3)를 포함한다.

도 6은 상기 역광 이미지 대비개선을 실시하여 역광 이미지를 보정하는 제70단계(S70)의 세부 구성도로서, 보정할 영상이 입력되면 각 RGB 색상의 히스토그램을 생성하는 제71단계(S71)와, RGB 각 색상의 히스토그램을 병합하여 하나의 히스토그램을 생성하고 Valley점을 찾는 제72단계(S72)와, 상기 Valley점에 따른 분포도를 계산하는 제73단계(S73)와, 상기 분포도에 따른 스트레칭 적용범위를 계산하는 제74단계(S74)와, 각 RGB 적용 범위만큼 스트레칭을 연산하는 제75단계(S75)와, 상기 스트레칭된 RGB 히스토그램을 병합하여, 역광 이미지에서 보정된 영상을 생성 후 저장하는 제76단계(S76)를 포함한다.

상기 Valley점은 도 7에서와 같이, 히스토그램은 가장 어두운 0의 위치에서 가장 밝은 255의 위치까지 높이 솟은 Peak 점들과 움푹 패인 Valley 점들로 이루어져 있는데, 즉 Valley 점은 움푹 패인 지점들을 의미한다.

상기 Valley점을 찾는 제72단계(S72)는 도 7의 좌측 첫 번째 그림의 히스토그램을 보면 증가와 감소가 너무 급진적으로 변화하는 것을 볼 수 있는데, 이러한 히스토그램으로 Peak 점과 Valley 점을 찾기란 쉽지 않으므로, 히스토그램 양쪽의 이웃한 분포도와 합하여 평균이 되는 값을 구해 히스토그램을 바꾸어 주면 도 7의 좌측 두 번째 그림과 같이 부드러운 곡선의 히스토그램을 구할 수 있다(S72-1 단계).

그런 다음, 각각의 밝기 값을 누적하여 해당 히스토그램의 누적그래프를 도 7의 좌측 세 번째 그림과 같이 생성하고(S72-2 단계), 상기 누적그래프가 생성되면 도 7의 우측 첫 번째 그림과 같이 뒤에서부터 그래프의 각도를 계산하는데(S72-3 단계), 상기 도 7의 우측 첫 번째 그림에서도 볼 수 있듯이 기울기가 처음은 0이였다가 점점 증가하는 것을 볼 수 있으나, 점점 증가하는 기울기는 다시금 감소하는 구간이 나타나게 되며, 이 처음 지점이 바로 Peak 지점에서 Valley 지점으로 내려가는 위치인 즉 Peak 점이 되고, 이와 반대로 점점 기울기가 내려가다가 다시금 증가하는 지점은 Valley 지점에서 Peak 지점으로 올라가는 즉 Valley 지점이 되는 위치인 것이다.

상기 기울기의 증가와 감소가 되는 지점들을 다 찾아내면 도 7의 우측 두 번째 그림과 같이 히스토그램의 Peak 지점과 Valley 지점을 최종적으로 구할 수 있으며(S72-4 단계), 본 발명에서 필요한 것은 Valley 지점이기 때문에 상기 구해진 Peak 지점은 제거되고 도 7의 우측 세 번째 그림과 같이 필요한 Valley 지점을 찾으면 된다(S72-5 단계).

상기 도 7의 우측 세 번째 그림에서는 최종적으로 찾아진 Valley 지점이 6개임을 알 수 있다(도 7의 우측 세 번째 그림의 부호 1 내지 6).

상기 6개의 지점을 기반으로 각각의 영역에 대한 분포도를 계산하는 제73단계(S73)는 상기 도 7의 우측 세 번째 그림에서 1번 Valley 지점에서 2번 Valley 지점까지 밝기 분포도가 얼마인지 계산하고, 2번에서 3번 지점까지의 밝기 분포도도 계산하며, 이렇게 6번 지점까지 차례로 계산된 값이 각 영역을 얼마만큼 스트레칭할 것인지에 대한 비율 값이 된다.

상기 1번 지점에서 6번 지점까지의 분포율을 바탕으로 각각의 영역들을 히스토그램의 전체 길이(0에서 255까지의 밝기)에 몇 %까지 스트레칭할 것인지를 계산하여 분포도에 따른 스트레칭 적용범위를 계산하고(S74 단계), % 값이 나오면 이 값으로 전체 길이 255에서 스트레칭을 적용할 범위를 계산할 수 있으므로, 이 범위까지만 스트레칭 기법을 적용시킨다(S75 단계). 이것은 RGB 히스토그램에서 모두 이루어져야 하기 때문에 상기와 같은 작업이 3회 진행되며, 최종적으로 각각의 RGB 히스토그램 모두 스트레칭이 이루어졌으면 이 3개의 히스토그램을 병합하여 역광 이미지에서 보정된 영상을 생성하게 된다(S76 단계).

도 8은 원본 이미지와 스트레칭된 각각의 RGB 히스토그램을 병합하여 보정된 이미지의 예를 보여주는 것으로, 도 8의 좌측 첫 번째 그림인 원본 이미지의 역광으로 인해 건축물이 보이지 않고 전반적으로 어두운 이미지를 띄고 있으며, 도 8의 좌측 두 번째 그림인 히스토그램을 봐도 알 수 있듯이 RGB의 분포가 어두운 위치에 물려 있는 것을 알 수 있다.

이를 상기에서 설명한 것처럼, 부분 스트레칭을 하게 되면 도 8의 우측 첫 번째 그림과 같은 결과 값을 얻을 수 있으며, 건축물의 명암이 개선되었음을 알 수 있고, 영상이 전반적으로 밝아져서 명암대비 개선된 이미지를 얻을 수 있으며, 도 8의 우측 두 번째 그림과 같이 히스토그램에서도 분포도가 높은 곳은 넓은 간격으로 스트레칭 되고 분포도가 작은 지역은 좁은 간격으로 스트레칭 되었음을 알 수 있다.

따라서, 본 발명은 휴대폰 카메라를 사용하여 얻어진 영상의 대비를 개선하는 것으로, 사용자가 휴대폰으로 사진 촬영시 역광으로 인해서 촬영하려는 대상이 어둡고 화질이 떨어지는 영상이 나오는 경우 자동으로 화질의 질을 판단하고, 역광 이미지라는 것이 판단될 경우 화질을 개선하여 이미지를 선명하고 밝게 처리해 줄 수 있다.

또한, 본 발명은 휴대폰으로 촬영하기 전에 사용자는 미리 역광을 처리해 줄 것인지 선택할 수 있어 적응적이고, 촬영 후에는 각각의 영상 RGB 색상 대비 분포 값에 따라 스트레칭 기법의 범위를 달리 계산하여 대비를 개선할 수 있다.

본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 첨부된 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (6)

1. 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법에 있어서,
   휴대폰의 영상 촬영시 역광 이미지를 자동으로 보정할 것인지를 선택하는 제10단계(S10)와;
   상기 역광 이미지가 자동 보정으로 선택시 이에 해당하는 명령 값을 저장하고, 자동 보정 설정 완료까지 대기하는 제20단계(S20)와;
   휴대폰 카메라로 영상 촬영 및 저장되는 제30단계(S30)와;
   역광 자동 보정을 선택했는지 판단하는 제40단계(S40)와;
   역광 자동 보정이 선택되었다면, 촬영된 이미지가 역광 이미지인지 명암대비기반으로 자동 판단하는 제50단계(S50)와;
   역광 자동 보정이 선택되지 않았다면, 촬영된 이미지를 그대로 저장하거나 또는 역광 이미지 보정을 수동으로 선택하는 제60단계(S60)와;
   상기 제50단계(S50)에서 역광 이미지인지 판단되거나, 상기 제60단계(S60)에서 역광 이미지 보정을 수동으로 선택시, 역광 이미지 대비개선을 실시하여 역광 이미지를 보정하는 제70단계(S70)를 포함하는 것을 특징으로 하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법.
2. 제 1항에 있어서, 상기 제20단계(S20)는
   역광 이미지가 자동 보정으로 선택되는 제21단계(S21)와;
   선택된 명령 값이 저장되는 제22단계(S22)와;
   상기 명령 값에 의해 촬영된 이미지를 처리하도록 영상사이즈 크기의 메모리를 할당하는 제23단계(S23)와;
   각 RGB 데이터 크기 메모리를 할당하는 제24단계(S24)를 포함하는 것을 특징으로 하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법.
3. 제 1항에 있어서, 상기 제50단계(S50)는
   촬영된 영상이 입력되면 RGB 컬러 영상을 회색 이미지로 변환하는 제51단계(S51)와;
   변환된 회색 이미지의 명암대비 히스토그램을 생성하는 제52단계(S52)와;
   히스토그램의 분포에 따른 평균값을 계산하는 제53단계(S53)와;
   설정된 파라미터 값을 기준으로 역광 이미지인지를 판단하는 제54단계(S54)와;
   역광 이미지일 경우 이미지 보정 후 저장하는 제55단계(S55)를 포함하는 것을 특징으로 하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법.
4. 삭제
5. 제 1항에 있어서, 상기 제70단계(S70)는
   보정할 영상이 입력되면 각 RGB 색상의 히스토그램을 생성하는 제71단계(S71)와;
   상기 각 RGB 색상의 히스토그램을 병합하여 하나의 히스토그램을 생성하고 Valley점을 찾는 제72단계(S72)와;
   상기 Valley점에 따른 분포도를 계산하는 제73단계(S73)와;
   상기 분포도에 따른 스트레칭 적용범위를 계산하는 제74단계(S74)와;
   상기 스트레칭 적용범위만큼 상기 각 RGB 색상의 히스토그램을 스트레칭하는 제75단계(S75)와;
   상기 스트레칭된 각 RGB 히스토그램을 병합하여, 역광 이미지에서 보정된 영상을 생성 후 저장하는 제76단계(S76)를 포함하는 것을 특징으로 하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법.
6. 제 5항에 있어서, 상기 제72단계(S72)는
   히스토그램 양쪽의 이웃한 분포도와 합하여 평균이 되는 값을 구해 히스토그램을 바꾸어 곡선의 히스토그램을 구하는 제72-1단계(S72-1)와;
   각각의 밝기 값을 누적하여 해당 히스토그램의 누적그래프를 생성하는 제72-2단계(S72-2)와;
   상기 누적그래프가 생성되면 뒤에서부터 그래프의 각도를 계산하는 제72-3단계(S72-3)와;
   기울기의 증가와 감소가 되는 지점을 찾은 후 히스토그램의 Peak 지점과 Valley 지점을 최종적으로 구하는 제72-4단계(S72-4)와;
   상기 구해진 Peak 지점은 제거되고 필요한 Valley 지점을 찾는 제72-5단계(S72-5)를 포함하는 것을 특징으로 하는 휴대폰 기반의 역광 영상 화질 개선을 위한 영상처리 방법.

Images