KR20150007114A - 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 - Google Patents

화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 Download PDF

Info

Publication number
KR20150007114A
KR20150007114A KR20130081108A KR20130081108A KR20150007114A KR 20150007114 A KR20150007114 A KR 20150007114A KR 20130081108 A KR20130081108 A KR 20130081108A KR 20130081108 A KR20130081108 A KR 20130081108A KR 20150007114 A KR20150007114 A KR 20150007114A
Authority
KR
South Korea
Prior art keywords
image
brightness
light
intensity
adjusted
Prior art date
Application number
KR20130081108A
Other languages
English (en)
Other versions
KR102075456B1 (ko
Inventor
조성광
김태찬
조원호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130081108A priority Critical patent/KR102075456B1/ko
Priority to US14/246,626 priority patent/US9313413B2/en
Publication of KR20150007114A publication Critical patent/KR20150007114A/ko
Application granted granted Critical
Publication of KR102075456B1 publication Critical patent/KR102075456B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서로 다른 빛 조건에서 동일한 피사체가 촬영된 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간에 따라 제 1 영상 및 제 2 영상 각각의 밝기를 조정하는 단계, 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하는 단계; 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 단계; 및 최종 결과 영상이 가질 목표 밝기를 결정하고 목표 밝기에 기초하여 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정하는 단계를 포함하는 영상 처리 방법 및 그것을 이용한 영상 처리 장치를 제공한다. 본 발명에 따르면 조도가 낮은 환경에서 촬영된 영상들이 처리되어 선명한 화질을 갖는 영상이 얻어질 수 있고, 특히 플래시를 이용하여 촬영된 영상이 처리되어 자연스러운 밝기를 갖는 영상이 얻어질 수 있다.

Description

화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치{IMAGE PROCESSING METHOD FOR IMPROVING IMAGE QUALITY AND IMAGE PROCESSING DEVICE THEREWITH}
본 발명은 영상 처리에 관한 것으로, 좀 더 구체적으로는 서로 다른 빛 조건에서 동일한 피사체가 촬영된 두 영상을 이용하여 개선된 화질을 갖는 영상을 제공하는 영상 처리 방법과 그것을 이용한 영상 처리 장치에 관한 것이다.
디지털 카메라는 전자적 영상을 생성하기 위해 이미지 센서(Image Sensor)를 포함한다. 상용되는 이미지 센서의 예로는 CCD(Charge Coupled Device) 이미지 센서, CIS(CMOS Image Sensor) 등이 있다. 이미지 센서는 2차원으로 배열된 픽셀(Pixel)들을 포함한다. 이미지 센서에 포함되는 각각의 픽셀들은 통상적으로 적색, 녹색, 그리고 청색의 필터(Filter)들로 형성된다.
이미지 센서는 적절한 영상 신호를 얻기 위해 특정 시간 동안 빛을 받아들인다. 빛을 받아들이는 시간은 노출 시간(Exposure Time)이라고 불린다. 적절한 밝기 및 높은 신호 대 잡음 비(Signal-to-Noise Ratio, SNR)를 갖는 영상을 얻기 위해, 영상이 촬영되는 환경의 밝기에 기초하여 노출 시간이 조정되어야 한다. 디지털 카메라는 영상이 촬영되는 환경의 밝기를 검출하여 노출 시간을 자동으로 조정하는 자동 노출 조정 기능을 가질 수 있다.
빛이 적은 환경에서 영상을 촬영할 때 문제가 발생한다. 빛이 적은 환경에서 촬영된 영상은 피사체를 적절히 표현하지 못한다. 일반적으로, 이 문제를 해결하기 위해 빛을 인위적으로 방출시키는 플래시(Flash)가 이용된다. 플래시에 의해 피사체 근처에서 빛이 방출됨으로써 충분한 밝기를 갖는 영상이 촬영될 수 있다. 플래시를 이용하면 이미지 센서가 짧은 노출 시간 동안 충분한 빛을 받아들일 수 있고, SNR이 높아져 미세한 표현을 갖는 영상이 촬영될 수 있다.
그러나 플래시가 이용되는 경우 바람직하지 않은 효과들이 발생한다. 바람직하지 않은 효과의 예로서, 적목(Red-Eye) 현상 발생, 색 밸런스 붕괴 등이 있다. 게다가, 플래시에 가까운 피사체는 과도하게 빛에 노출되고 플래시에서 먼 피사체는 빛에 거의 노출되지 않게 된다. 즉, 플래시를 이용하여 촬영된 영상의 배경은 어둡고 앞 부분은 밝아서, 영상의 밝기가 부자연스러워진다. 특히, 휴대용 통신 단말기 등에 내장된 LED 플래시는 그 출력이 작고 빛을 불균일하게 방출시키는 특성을 갖는다. 이 때문에, LED 플래시의 이용은 영상의 화질을 떨어뜨리는 요인이 된다.
따라서 플래시가 이용되는 경우의 영상의 밝기를 자연스럽게 만들고 화질을 개선하기 위한 방법이 필요하다.
서로 다른 빛 조건에서 동일한 피사체가 촬영된 두 영상을 이용하여, 개선된 화질을 갖는 영상을 제공하는 영상 처리 방법과 그것을 이용한 영상 처리 장치가 제공된다. 본 발명의 실시 예에 따르면 피사체에 도달한 빛의 세기가 추정될 수 있다. 그리고, 추정된 빛의 세기에 따라 영상의 밝기가 조정될 수 있다. 특히, 본 발명의 실시 예에 따르면 영상의 밝기가 조정되는 양은 다른 밝기를 갖는 영역마다 각각 다를 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법은 서로 다른 빛 조건에서 동일한 피사체가 촬영된 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록, 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간에 따라 제 1 영상 및 제 2 영상 각각의 밝기를 조정하는 단계; 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여, 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하는 단계; 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 단계; 및 최종 결과 영상이 가질 목표 밝기를 결정하고, 목표 밝기에 기초하여 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법에서, 제 1 영상은 플래시를 사용하지 않고 촬영된 영상이고, 제 2 영상은 플래시를 사용하여 촬영된 영상일 수 있다. 이러한 실시 예에 있어서, 제 1 영상과 제 2 영상은 연속하여 촬영될 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법에서, 제 1 영상의 조정된 밝기는 제 1 영상이 촬영된 노출 시간으로 제 1 영상의 밝기를 나눈 값이고, 제 2 영상의 조정된 밝기는 제 2 영상이 촬영된 노출 시간으로 제 2 영상의 밝기를 나눈 값일 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법에서, 빛의 세기를 추정하는 단계는 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이를 산출하는 단계; 및 산출된 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출하는 단계를 포함할 수 있다. 이때 추정된 빛의 세기는 산출된 비율 값에 대응될 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법에서, 목표 밝기는 제 2 영상을 형성하는 픽셀 각각에 대해 추정된 빛의 세기 중 가장 강한 세기, 그리고 제 2 영상을 형성하는 모든 픽셀에 대한 추정된 빛의 세기의 평균 값 중 어느 하나일 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법에 있어서, 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정하는 단계에서 제 2 영상의 밝기가 조정되는 양은 피사체에서 빛이 반사된 정도를 반영하여 결정될 수 있다. 이러한 실시 예에 있어서, 피사체에서 빛이 반사된 정도는 제 1 영상을 형성하는 픽셀 각각에 대한 제 1 영상의 밝기와, 제 1 영상을 형성하는 픽셀들에 대한 제 1 영상의 밝기 중 가장 높은 밝기의 비율 값에 대응될 수 있다.
본 발명의 일 실시 예에 의한 영상 처리 방법은, 구분된 영역 중 소정의 기준보다 부족한 색 정보를 갖는 암 영역에 대해, 제 1 영상 중 암 영역에 대응되는 영역의 색 정보를 반영하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시 예에 의한 영상 처리 장치는 서로 다른 빛 조건에서 동일한 피사체로부터 반사된 빛을 감지하여 각각 제 1 영상 신호 및 제 2 영상 신호를 생성하는 영상 감지 회로; 제 1 영상 신호 및 제 2 영상 신호 각각에 기초하여 제 1 영상 및 제 2 영상을 생성하고, 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간에 따라 제 1 영상 및 제 2 영상 각각의 밝기를 조정하고, 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하고, 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하고, 최종 결과 영상이 가질 목표 밝기를 결정하고 목표 밝기에 기초하여 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정하여 최종 결과 영상을 생성하는 영상 처리 로직을 포함할 수 있다.
본 발명의 다른 실시 예에 의한 영상 처리 장치에서, 제 1 영상 신호는 플래시를 사용하지 않은 빛 조건에서 생성된 영상 신호이고, 제 2 영상 신호는 플래시를 사용한 빛 조건에서 생성된 영상 신호일 수 있다.
본 발명의 다른 실시 예에 의한 영상 처리 장치에서, 영상 처리 로직은 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이를 산출하고, 산출된 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출하고, 산출된 비율 값에 기초하여 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정할 수 있다.
본 발명의 다른 실시 예에 의한 영상 처리 장치에서, 영상 처리 로직은 구분된 영역 중 소정의 기준보다 부족한 색 정보를 갖는 암 영역에 대해, 제 1 영상 중 암 영역에 대응되는 영역의 색 정보를 반영할 수 있다.
본 발명의 또 다른 실시 예에 의한 영상 처리 시스템은 서로 다른 빛 조건에서 동일한 피사체로부터 반사된 빛을 감지하여 각각 제 1 영상 신호 및 제 2 영상 신호를 생성하는 이미지 센서; 제 1 영상 신호 및 제 2 영상 신호 각각에 기초하여 제 1 영상 및 제 2 영상을 생성하고, 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간에 따라 제 1 영상 및 제 2 영상 각각의 밝기를 조정하고, 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하고, 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하고, 최종 결과 영상이 가질 목표 밝기를 결정하고 목표 밝기에 기초하여 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정하여 최종 결과 영상을 생성하는 이미지 프로세서를 포함할 수 있다.
본 발명의 또 다른 실시 예에 의한 영상 처리 시스템에서, 제 1 영상 신호는 플래시를 사용하지 않은 빛 조건에서 생성된 영상 신호이고, 제 2 영상 신호는 플래시를 사용한 빛 조건에서 생성된 영상 신호일 수 있다.
본 발명에 따른 영상 처리 방법 및 그것을 이용한 영상 처리 장치를 사용하면, 조도가 낮은 환경에서 촬영된 영상들이 처리되어 선명한 화질을 갖는 영상이 얻어질 수 있다. 특히, 본 발명에 따르면 플래시를 이용하여 촬영된 영상이 처리되어 자연스러운 밝기를 갖는 영상이 얻어질 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 다른 흐름도이다.
도 3은 플래시를 사용하지 않고 촬영된 영상의 예시이다.
도 4는 플래시를 사용하여 촬영된 영상의 예시이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법에 의해 피사체에 도달한 빛의 세기가 추정된 결과의 예시이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 이용하여 생성한 최종 결과 영상의 예시이다.
도 7 내지 도 10은 본 발명의 일 실시 예에 따른 영상 처리 방법을 이용하여 생성한 최종 결과 영상의 다른 예시이다.
도 11은 본 발명의 다른 실시 예에 따른 영상 처리 장치가 가질 수 있는 구성을 나타낸 블록도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템이 가질 수 있는 구성을 나타낸 블록도이다.
도 13은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템이 포함된 전자 시스템이 가질 수 있는 구성과 인터페이스를 나타낸 블록도이다.
전술한 특성 및 이하 상세한 설명은 모두 본 발명의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 발명은 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 발명을 완전히 개시하기 위한 예시이며, 본 발명이 속하는 기술 분야의 통상의 기술자들에게 본 발명을 전달하기 위한 설명이다. 따라서 본 발명의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 발명의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 발명의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 발명이 속하는 기술 분야의 통상의 기술자들이 일반적으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 발명의 실시 예가 설명된다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 흐름도이다.
S110 단계에서는, 서로 다른 빛 조건에서 동일한 피사체가 촬영된 제 1 영상 및 제 2 영상 각각의 밝기가 조정될 수 있다. 실시 예로서, 제 1 영상은 플래시를 사용하지 않고 촬영된 영상이고 제 2 영상은 플래시를 사용하여 촬영된 영상일 수 있다. 이 실시 예에 있어서, 제 1 영상과 제 2 영상은 동일한 피사체를 연속으로 촬영한 영상일 수 있다. 즉, 플래시를 사용하지 않고 제 1 영상이 촬영된 후 플래시를 사용하여 제 2 영상이 연속으로 촬영될 수 있다.
이하의 설명에서, 제 1 영상은 플래시를 사용하지 않고 촬영된 영상이고 제 2 영상은 플래시를 사용하여 촬영된 영상인 것으로 가정된다. 이 가정은 본 발명의 이해를 돕기 위한 것이고, 본 발명의 개념을 제한하기 위한 것이 아니다. 즉, 제 1 영상과 제 2 영상 각각은 서로 다른 빛 조건에서 동일한 피사체가 촬영된 어떠한 영상도 될 수 있다.
제 1 영상과 제 2 영상은 서로 다른 빛 조건에서 촬영되었으므로, 서로 다른 노출 시간 하에서 촬영되었을 수 있다. 빛이 적은 환경에서 영상이 촬영되는 경우, 충분한 빛을 얻기 위해 긴 노출 시간이 필요하기 때문이다. 본 발명의 적절한 실시를 위해 제 1 영상 및 제 2 영상 각각의 밝기는, 제 1 영상 및 제 2 영상 각각이 단위 노출 시간(Unit Exposure Time) 하에서 촬영된 것에 대응하는 밝기를 갖도록 조정될 수 있다. 이를 위해, 제 1 영상 및 제 2 영상 각각의 밝기는 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간에 따라 조정될 수 있다.
실시 예로서, 제 1 영상 및 제 2 영상 각각의 밝기는 다음 수학식 1 및 수학식 2에 따라 조정될 수 있다.
Figure pat00001
Figure pat00002
수학식 1 및 수학식 2에서 Io 및 If는 각각 제 1 영상 및 제 2 영상의 밝기, eo 및 ef는 각각 제 1 영상 및 제 2 영상이 촬영된 노출 시간, 그리고 Io , norm 및 If,norm은 각각 제 1 영상 및 제 2 영상의 조정된 밝기를 의미한다. 즉, 제 1 영상의 조정된 밝기는 제 1 영상이 촬영된 노출 시간으로 제 1 영상의 밝기를 나눈 값일 수 있다. 또한, 제 2 영상의 조정된 밝기는 제 2 영상이 촬영된 노출 시간으로 제 2 영상의 밝기를 나눈 값일 수 있다. 일반적으로, 영상이 촬영된 노출 시간은 디지털 카메라 장치에 의해 자동으로 결정된다. 그러나, 사용자가 노출 시간을 임의로 조정할 수도 있다.
제 1 영상이 플래시를 사용하지 않고 촬영된 영상인 경우, 제 1 영상은 충분한 빛 확보를 위해 긴 노출 시간 하에서 촬영되었을 것이다. 제 2 영상이 플래시를 사용하여 촬영된 영상인 경우, 제 2 영상은 짧은 노출 시간 하에서 촬영되었을 것이다. 제 1 영상 및 제 2 영상 각각의 밝기를 노출 시간으로 나눔으로써, 두 영상이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기가 얻어질 수 있다. 제 1 영상 및 제 2 영상의 밝기는 각각 수학식 1 및 수학식 2에 의해 얻어진 밝기로 조정될 수 있다.
수학식 1 및 수학식 2의 연산은 제 1 영상 및 제 2 영상 각각을 형성하는 픽셀 단위로 이루어질 수 있다. 이하에서 설명되는 수학식에 의한 연산은 픽셀 단위로 이루어지는 것으로 가정된다. 그러나, 이하에서 설명되는 수학식에 따른 연산은 소정의 영역별로 또는 영상을 형성하는 층(Layer)별로 이루어질 수도 있다. 즉, 이 가정은 본 발명의 이해를 돕기 위한 것이며 발명의 개념을 제한하기 위한 것은 아니다.
S120 단계에서는, 제 2 영상에 촬영된 피사체에 도달한 빛의 세기가 추정될 수 있다. 제 2 영상에 촬영된 피사체에 도달한 빛의 세기는 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 추정될 수 있다. 예로서, 제 1 영상이 플래시를 사용하지 않고 촬영된 영상이고 제 2 영상이 플래시를 사용하여 촬영된 영상인 경우, 제 2 영상에 촬영된 피사체에 도달한 빛의 세기는 다음 수학식 3을 이용하여 추정될 수 있다.
Figure pat00003
수학식 3에서 Qf는 제 2 영상에 촬영된 피사체에 도달한 빛의 추정된 세기를 의미한다. 수학식 3의 분자는 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이를 의미한다. 즉, 플래시를 사용하여 촬영된 제 2 영상의 밝기에서 플래시를 사용하지 않고 촬영된 제 1 영상의 밝기를 빼면, 플래시에 의해 인위적으로 방출된 빛의 세기가 얻어질 수 있다.
그런데, 수학식 3의 분자는 피사체의 반사율의 영향을 받을 수 있다. 따라서, 수학식 3의 분자만으로는 피사체에 도달한 빛의 세기가 적절히 추정되기 어렵다. 이 문제점을 보완하기 위해 수학식 3의 분모에 제 1 영상의 조정된 밝기가 반영되어 있다. 즉, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이와, 제 1 영상의 조정된 밝기의 비율이 산출되면, 플래시로부터 제 2 영상에 촬영된 피사체에 도달한 빛의 세기가 간접적으로 추정될 수 있다.
S130 단계에서는, 제 2 영상이 둘 이상의 영역으로 구분될 수 있다. 제 2 영상은 S120 단계에서 추정된 빛의 세기에 따라 둘 이상의 영역으로 구분될 수 있다. 제 2 영상은 피사체에 도달한 빛의 세기가 소정의 기준보다 작은 것으로 추정된 영역과 큰 것으로 추정된 영역으로 구분될 수 있다. 또는, 피사체에 도달한 빛의 추정된 세기 값에 대해 둘 이상의 구간이 설정되고, 제 2 영상은 각각의 구간에 속하는 세기 값을 갖는 영역별로 구분될 수 있다. 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 방법은 필요에 따라 다르게 설정될 수 있다.
원거리에 있는 피사체에 도달한 빛의 세기는 작을 것이고, 근거리에 있는 피사체에 도달한 빛의 세기는 클 것이다. 즉, 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 것은 피사체와 카메라 사이의 거리에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 것일 수 있다.
S140 단계에서는, 최종 결과 영상이 가질 목표 밝기가 결정될 수 있다. 목표 밝기는 제 1 영상 또는 제 2 영상의 밝기와 같은 값으로 결정될 수 있다. 예컨대, 목표 밝기는 제 2 영상을 형성하는 픽셀 각각에 대해 추정된 빛의 세기 중 가장 강한 세기에 대응하는 값으로 결정될 수 있다.
또는, 목표 밝기는 제 1 영상과 제 2 영상의 밝기와 다른 값으로 결정될 수도 있다. 예컨대, 목표 밝기는 제 2 영상을 형성하는 모든 픽셀에 대해 추정된 빛의 세기의 평균에 대응하는 값으로 결정될 수 있다. 목표 밝기는 필요에 따라 다르게 결정될 수 있다. 따라서, 목표 밝기의 결정 기준은 위 예시의 내용으로 한정되지 않는다.
S150 단계에서는, 제 2 영상의 밝기가 조정될 수 있다. 제 2 영상의 밝기는 S140 단계에서 결정된 목표 밝기에 기초하여, S130 단계에서 구분된 영역마다 다른 양만큼 조정될 수 있다. 즉, 제 2 영상 중 목표 밝기보다 낮은 밝기를 가진 영역의 밝기는 목표 밝기까지 높아지도록 조정될 수 있다. 또한, 제 2 영상 중 목표 밝기보다 높은 밝기를 가진 영역의 밝기는 목표 밝기까지 낮아지도록 조정될 수 있다.
제 2 영상이 플래시를 사용하여 촬영된 영상인 경우, 플래시와 피사체의 거리에 따라 제 2 영상의 밝기가 불균일할 수 있다. 위 영상 처리 방법을 이용하면 제 2 영상의 밝기가 구분된 영역마다 다른 양만큼 조정됨으로써, 균일한 밝기를 가지는 최종 결과 영상이 얻어질 수 있다.
S130 단계에서 구분된 영역 중 어느 하나의 영역을 형성하는 픽셀들의 밝기는 목표 밝기에 기초하여 모두 같은 양만큼 조정될 수도 있다. 그러나, 제 2 영상의 밝기가 조정되는 양은 피사체에서 빛이 반사된 정도를 반영하여 결정될 수도 있다. 즉, 제 2 영상의 밝기는 S140 단계에서 결정된 목표 밝기 및 피사체에서 빛이 반사된 정도에 따라 조정될 수 있다. 제 2 영상의 밝기가 조정되는 양에 피사체의 반사율까지 반영된다면, 더욱 개선된 화질을 갖는 최종 결과 영상이 얻어질 수 있다.
피사체에서 빛이 반사된 정도는 제 1 영상을 형성하는 픽셀 각각의 밝기와, 제 1 영상을 형성하는 픽셀들의 밝기 중 가장 높은 밝기의 비율 값에 대응될 수 있다. 피사체에서 빛이 반사된 정도는 다음 수학식 4와 같이 표현될 수 있다.
Figure pat00004
제 1 영상을 형성하는 픽셀들 중 어느 한 픽셀의 밝기와, 제 1 영상을 형성하는 픽셀들의 밝기 중 가장 높은 밝기의 비율은, 그 어느 한 픽셀에 촬영된 피사체에서 빛이 반사된 정도로 이해될 수 있다. 피사체에서 빛이 반사된 정도를 구하기 위해 제 1 영상의 정보를 활용하면 노이즈가 영향을 미칠 수 있다. 노이즈의 영향을 줄이기 위해 제 1 영상의 조정된 밝기에 대해 양방향 필터(Bilateral Filter) 등이 적용될 수 있다.
제 2 영상의 밝기는 수학식 4의 비율이 반영된 다음 수학식 5를 통해 얻어진 값에 따라 조정될 수 있다.
Figure pat00005
수학식 5에서 Coffset은 제 2 영상의 밝기가 조정될 양을, Tf는 목표 밝기를 의미한다. 수학식 5는 목표 밝기, 제 2 영상에 촬영된 피사체에 도달한 빛의 추정된 세기, 그리고 피사체에서 빛이 반사된 정도를 반영함으로써, 제 2 영상의 밝기가 조정되는 양을 산출하기 위한 것이다. 앞서 언급된 바와 같이, 목표 밝기는 필요에 따라 다르게 결정될 수 있다.
수학식 5에서 (Tf-Qf)는 물체에 도달하기 전의 빛이 목표 밝기에 도달하기 위한 밝기 변화량을 의미할 수 있다. 수학식 5에 따르면, 물체에 반사되기 전의 빛의 밝기의 변화량이 물체에 반사된 후의 빛의 밝기의 변화량으로 변환될 수 있다. 변환된 결과는 제 2 영상의 밝기가 조정될 양, 즉 Coffset에 대응될 수 있다. 제 2 영상의 밝기가 조정될 양에 기초하여, 조정된 제 2 영상의 밝기는 다음 수학식 6을 통해 얻어질 수 있다.
Figure pat00006
수학식 6에서 I'f , norm은 조정된 제 2 영상의 밝기를 의미하고, F{Coffset}은 Coffset에 양방향 필터가 적용된 것을 의미한다. 또한, 수학식 6에서 K는 0과 1 사이의 값을 갖는 상수이다. 수학식 5에 나타난 것과 같이 Coffset은 제 1 영상의 정보를 활용하여 얻어지므로, Coffset은 노이즈의 영향을 받았을 수 있다. Coffset에 양방향 필터를 적용함으로써, 영상의 선예도(Sharpness)가 유지될 수 있고 노이즈의 영향이 최소화될 수 있다.
또한, 수학식 6에 따르면 제 2 영상의 밝기가 조정되는 양은 0과 1 사이의 값을 갖는 상수 K에 따라 조절될 수 있다. 필요에 따라, S130 단계에서 구분된 영역마다 각각 다른 K 값을 적용함으로써, 구분된 영역마다 제 2 영상의 밝기가 각각 다른 양만큼 조정되도록 할 수 있다. 수학식 5 및 수학식 6의 내용은 본 발명을 설명하기 위한 예시일 뿐이고, 제 2 영상의 밝기가 조정될 양과 조정된 제 2 영상의 밝기는 다른 다양한 방법으로 산출될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 방법을 설명하기 위한 다른 흐름도이다.
S210 단계에서는, 제 1 영상 및 제 2 영상이 얻어진다. 제 1 영상 및 제 2 영상은 서로 다른 빛 조건에서 동일한 피사체가 촬영된 영상이다. 제 1 영상 및 제 2 영상은 미리 촬영되어 메모리(미도시) 등에 저장되어 있는 영상일 수 있다. 또는, 제 1 영상 및 제 2 영상은 본 발명의 일 실시 예에 따른 영상 처리 방법이 개시된 후 사용자에 의해 촬영된 영상일 수 있다. 예로서, 제 1 영상은 플래시를 사용하지 않고 촬영된 영상이고 제 2 영상은 플래시를 사용하여 촬영된 영상일 수 있다. 이 예에 있어서, 제 1 영상과 제 2 영상은 동일한 피사체를 연속으로 촬영한 영상일 수 있다.
S220 단계에서는, 제 1 영상 및 제 2 영상 각각의 밝기가 조정될 수 있다. S220 단계에서 수행되는 절차는 S110 단계에서 수행되는 절차와 같다. 따라서, S220 단계에서 수행되는 절차에 대한 설명은 생략된다.
S230 단계에서는, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이가 산출된다. 플래시를 사용하여 촬영된 제 2 영상의 밝기에서 플래시를 사용하지 않고 촬영된 제 1 영상의 밝기를 빼면, 플래시에 의해 인위적으로 방출된 빛의 세기가 얻어질 수 있다. 그런데, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이는 피사체의 반사율의 영향을 받을 수 있다. 이 문제점에 대한 설명은 수학식 3에 대한 설명과 함께 언급된바 있다. 이 문제점을 보완하기 위해 S240 단계가 수행된다.
S240 단계에서는, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이와, 제 1 영상의 조정된 밝기의 비율이 산출된다. 산출된 비율은 플래시로부터 제 2 영상에 촬영된 피사체에 도달한 빛의 세기의 추정 값으로 이해될 수 있다. 이 부분에 대한 설명은 수학식 3에 대한 설명과 함께 언급된바 있다. 즉 S230 및 S240 단계에서는, 제 2 영상에 촬영된 피사체에 도달한 빛의 세기가 추정될 수 있다.
S250 단계에서는, 제 2 영상이 둘 이상의 영역으로 구분될 수 있다. 제 2 영상은 S240 단계에서 산출된 비율에 따라 둘 이상의 영역으로 구분될 수 있다. S250 단계에서 수행되는 절차는 S130 단계에서 수행되는 절차와 같다. 따라서, S250 단계에서 수행되는 절차에 대한 설명은 생략된다.
S260 단계에서는, 최종 결과 영상이 가질 목표 밝기가 결정될 수 있다. S260 단계에서 수행되는 절차는 S140 단계에서 수행되는 절차와 같다. 따라서, S260 단계에서 수행되는 절차에 대한 설명은 생략된다.
S270 단계에서는, 제 2 영상의 밝기가 조정될 수 있다. 제 2 영상의 밝기는 S260 단계에서 결정된 목표 밝기에 기초하여, S250 단계에서 구분된 영역마다 다른 양만큼 조정될 수 있다. 제 2 영상의 밝기가 조정될 양에는 피사체에서 빛이 반사된 정도가 더 반영될 수 있다. 피사체에서 빛이 반사된 정도에 대한 설명은 수학식 4 및 수학식 5에 대한 설명과 함께 언급된바 있다. S270 단계에서 수행되는 절차는 S150 단계에서 수행되는 절차와 같다. 따라서, S270 단계에서 수행되는 절차에 대한 설명은 생략된다.
S280 단계에서는, S250 단계에서 구분된 영역 중 소정의 기준보다 부족한 색 정보를 갖는 영역에 색 정보가 덧입혀질 수 있다. 플래시를 사용하여 영상을 촬영할 경우, 원거리에 있는 피사체에는 충분한 빛이 도달하지 못할 수 있다. 따라서, 플래시를 사용하여 촬영된 제 2 영상에는 밝기가 낮아 소정의 기준보다 부족한 색 정보를 갖는 영역이 포함될 수 있다. 소정의 기준보다 부족한 색 정보를 갖는 영역은 암 영역(Darkness Region)이라고 불릴 수 있다.
암 영역은 충분한 색 정보를 갖지 못한다. 따라서, S270 단계에서 암 영역의 밝기가 조정되더라도 암 영역의 화질이 충분히 개선되지 않을 가능성이 있다. 이 문제점을 보완하기 위해, 플래시를 사용하지 않고 촬영된 제 1 영상이 활용될 수 있다. 제 1 영상 중에서 제 2 영상의 암 영역에 대응되는 영역의 색 정보가 제 2 영상의 암 영역에 덧입혀질 수 있다.
플래시를 사용하지 않고 촬영된 제 1 영상은 비교적 균일한 밝기와 충분한 색 정보를 가질 가능성이 크다. 따라서, 제 1 영상 중에서 제 2 영상의 암 영역에 대응되는 영역의 색 정보를 제 2 영상의 암 영역에 반영함으로써, 제 2 영상의 화질이 더 개선될 수 있다. 다만, 제 1 영상의 색 정보가 제 2 영상에 덧입혀질 경우, 구분된 영역의 경계에서 영상의 연속성이 깨지는 문제가 생길 수 있다. 이 문제점은 구분된 영역의 경계 및 그 주변 픽셀들에 대해 가우시안 필터(Gaussian Filter) 등을 적용함으로써 해결될 수 있다.
도 3은 플래시를 사용하지 않고 촬영된 영상의 예시이다. 도 3의 영상은 플래시의 사용 없이 촬영되어 전체적으로 균일한 밝기를 가진다. 그러나 영상이 촬영된 환경의 조도가 낮아, 도 3의 영상은 피사체들을 선명하게 표현하지 못하고 있다.
도 4는 플래시를 사용하여 촬영된 영상의 예시이다. 도 4의 영상은 플래시를 사용하여 촬영되어 근거리에 있는 피사체를 선명하게 표현하고 있다. 그러나, 근거리에 있는 피사체의 일부는 빛에 과도하게 노출되었다. 또한, 원거리에 있는 피사체에는 빛이 충분히 도달하지 못하여, 원거리에 있는 피사체가 촬영된 영역은 충분한 색 정보를 갖지 못하고 있다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법에 의해 피사체에 도달한 빛의 세기가 추정된 결과의 예시이다. 즉, 도 5는 도 1의 S120 단계, 또는 도 2의 S230 내지 S240 단계에서 추정된 빛의 세기의 분포를 나타낸 영상이다.
도 5의 영상은 흑색에 가까운 색을 갖는 영역과 회색에 가까운 색을 갖는 영역을 포함하고 있다. 흑색에 가까운 색과 회색에 가까운 색을 나누는 기준은 필요에 따라 다른 방법으로 설정될 수 있다. 흑색에 가까운 색을 갖는 영역은 이 영역에 촬영된 피사체에 충분한 빛이 도달하지 못했음을 나타낸다. 회색에 가까운 색을 갖는 영역은 이 영역에 촬영된 피사체에 충분한 빛이 도달했음을 나타낸다. 즉, 도 1의 S130 단계, 또는 도 2의 S250 단계에서, 제 2 영상은 흑색에 가까운 색을 갖는 영역과 회색에 가까운 색을 갖는 영역으로 구분될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 이용하여 생성한 최종 결과 영상의 예시이다. 도 6의 최종 결과 영상은 목표 밝기를 도 5에서 추정된 빛의 세기 중 가장 강한 세기로 결정하고, 이 목표 밝기에 기초하여 도 4의 영상의 밝기를 조정하여 얻어진 것이다.
다만, 도 4의 영상 중 원거리에 있는 피사체가 촬영된 영역은 충분한 색 정보를 갖지 못하고 있다. 그렇기 때문에 원거리에 있는 피사체가 촬영된 영역의 밝기는 적절히 조정되기 어렵다. 따라서, 도 3의 영상 중 원거리에 있는 피사체에 대한 색 정보가 도 2의 S280 단계에 따라 도 4의 영상에 반영될 필요가 있다. 도 6의 최종 결과 영상은 도 3의 영상 중 원거리에 있는 피사체에 대한 색 정보를 반영하여 얻어진 것이다.
도 6의 최종 결과 영상은 균일한 밝기를 가지면서도 근거리 및 원거리에 있는 피사체 모두를 선명하게 표현하고 있다. 즉, 본 발명의 실시 예에 따른 영상 처리 방법을 이용하면 서로 다른 광 조건에서 동일한 피사체가 촬영된 두 영상에 의해 더 선명한 화질을 갖는 영상이 얻어질 수 있다.
도 7 내지 도 10은 본 발명의 일 실시 예에 따른 영상 처리 방법을 이용하여 생성한 최종 결과 영상의 다른 예시이다. 특히, 도 7 내지 도 10은 수학식 6에 포함된 상수 K가 구분된 영역마다 각각 다른 값을 갖도록 설정된 경우의 차이를 설명하기 위한 예시이다.
도 5 가운데 회색에 가까운 색을 갖는 영역에 대해서는 K가 1의 값을 갖도록 설정되었다. 반면, 도 5 가운데 흑색에 가까운 색을 갖는 영역에 대해서, 도 7에서는 K가 0.1의 값을, 도 8에서는 K가 0.4의 값을, 도 9에서는 K가 0.7의 값을, 그리고 도 10에서는 K가 1의 값을 각각 갖도록 설정되었다. 도 7 내지 도 10에 의하면, 수학식 6에 포함된 상수 K가 갖는 값에 따라 영상의 화질에 차이가 있음을 알 수 있다. 따라서, 영상이 촬영되는 환경에 따라 수학식 6에 포함된 상수 K 값을 조절함으로써, 선명한 화질을 갖는 영상이 얻어지도록 할 수 있다.
도 11은 본 발명의 다른 실시 예에 따른 영상 처리 장치가 가질 수 있는 구성을 나타낸 블록도이다.
본 발명의 실시 예에 따른 영상 처리 장치(200)는 영상 감지 회로(210) 및 영상 처리 로직(220)을 포함할 수 있다. 영상 처리 장치(200)는 피사체(100)를 촬영하여 최종 결과 영상(300)을 생성할 수 있다.
영상 감지 회로(210)는 피사체(100)로부터 반사된 빛을 감지하여 영상 신호를 생성할 수 있다. 특히, 영상 감시 회로(210)는 서로 다른 광 조건에서 동일한 피사체(100)로부터 반사된 빛을 감지하여 각각 제 1 영상 신호 및 제 2 영상 신호를 생성할 수 있다. 예로서, 제 1 영상 신호는 플래시를 사용하지 않은 광 조건에서 생성된 영상 신호일 수 있다. 예로서, 제 2 영상 신호는 플래시를 사용한 광 조건에서 생성된 영상 신호일 수 있다.
영상 처리 로직(220)은 제 1 영상 신호에 기초하여 제 1 영상을 생성할 수 있다. 영상 처리 로직(220)은 제 2 영상 신호에 기초하여 제 2 영상을 생성할 수 있다.
영상 처리 로직(220)은 제 1 영상 및 제 2 영상 각각의 밝기를 조정할 수 있다. 본 발명의 적절한 실시를 위해, 영상 처리 로직(220)은 제 1 영상 및 제 2 영상 각각의 밝기를, 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기로 조정할 수 있다. 이를 위해, 영상 처리 로직(220)은 제 1 영상 및 제 2 영상 각각의 밝기에 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간을 반영할 수 있다.
영상 처리 로직(220)은 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기를 추정할 수 있다. 예로서, 영상 처리 로직(220)은 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이를 산출할 수 있다. 영상 처리 로직(220)은 산출된 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출할 수 있다. 영상 처리 로직(220)은 산출된 비율 값에 기초하여 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기를 추정할 수 있다.
제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이는 플래시에 의해 인위적으로 방출된 빛의 세기를 의미할 수 있다. 그런데, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이는 피사체(100)의 반사율의 영향을 받을 수 있다. 따라서, 피사체(100)에 도달한 빛의 세기를 적절히 추정하기 위해, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출할 수 있다. 이 비율 값에 의해, 플래시로부터 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기가 간접적으로 추정될 수 있다.
영상 처리 로직(220)은 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분할 수 있다. 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 방법은 필요에 따라 다르게 설정될 수 있다. 영상 처리 로직(220)은 최종 결과 영상이 가질 목표 밝기를 결정할 수 있다. 목표 밝기는 필요에 따라 다르게 결정될 수 있다.
영상 처리 로직(220)은 결정된 목표 밝기에 기초하여, 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정할 수 있다. 제 2 영상이 플래시를 사용하여 촬영된 영상인 경우, 플래시와 피사체(100)의 거리에 따라 제 2 영상의 밝기가 불균일할 수 있다. 영상 처리 로직(220)은 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정함으로써, 균일한 밝기를 가지는 최종 결과 영상(300)을 생성할 수 있다.
예로서, 영상 처리 로직(220)은 구분된 영역 중 소정의 기준보다 부족한 색 정보를 갖는 영역에 색 정보를 덧입힐 수 있다. 플래시를 사용하여 영상을 촬영할 경우, 원거리에 있는 피사체(100)에는 충분한 빛이 도달하지 못할 수 있다. 따라서, 플래시를 사용하여 촬영된 제 2 영상에는 밝기가 낮아 소정의 기준보다 부족한 색 정보를 갖는 영역이 포함될 수 있다. 소정의 기준보다 부족한 색 정보를 갖는 영역은 암 영역(Darkness Region)이라고 불릴 수 있다.
암 영역은 충분한 색 정보를 갖지 못한다. 따라서 영상 처리 로직(220)이 암 영역의 밝기를 조정하더라도, 암 영역의 화질은 충분히 개선되지 않을 가능성이 있다. 이 문제점을 보완하기 위해, 플래시를 사용하지 않고 촬영된 제 1 영상이 활용될 수 있다. 영상 처리 로직(220)은 제 1 영상 중에서 제 2 영상의 암 영역에 대응되는 영역의 색 정보를 제 2 영상의 암 영역에 덧입힐 수 있다.
본 발명의 실시 예에 따른 영상 처리 장치(200)를 이용하면 서로 다른 광 조건에서 동일한 피사체(100)가 촬영된 두 영상에 의해 더 선명한 화질을 갖는 최종 결과 영상(300)이 얻어질 수 있다.
도 12는 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템이 가질 수 있는 구성을 나타낸 블록도이다.
본 발명의 실시 예에 따른 영상 처리 시스템(400)은 이미지 센서(410) 및 이미지 프로세서(420)를 포함할 수 있다. 영상 처리 시스템(400)은 피사체(100)를 촬영하여 최종 결과 영상(300)을 생성할 수 있다.
이미지 센서(410)는 피사체(100)로부터 반사된 빛을 감지하여 영상 신호를 생성할 수 있다. 특히, 이미지 센서(410)는 서로 다른 광 조건에서 동일한 피사체(100)로부터 반사된 빛을 감지하여 각각 제 1 영상 신호 및 제 2 영상 신호를 생성할 수 있다. 예로서, 제 1 영상 신호는 플래시를 사용하지 않은 광 조건에서 생성된 영상 신호일 수 있다. 예로서, 제 2 영상 신호는 플래시를 사용한 광 조건에서 생성된 영상 신호일 수 있다.
이미지 프로세서(420)는 제 1 영상 신호에 기초하여 제 1 영상을 생성할 수 있다. 이미지 프로세서(420)는 제 2 영상 신호에 기초하여 제 2 영상을 생성할 수 있다.
이미지 프로세서(420)는 제 1 영상 및 제 2 영상 각각의 밝기를 조정할 수 있다. 본 발명의 적절한 실시를 위해, 이미지 프로세서(420)는 제 1 영상 및 제 2 영상 각각의 밝기를, 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기로 조정할 수 있다. 이를 위해, 이미지 프로세서(420)는 제 1 영상 및 제 2 영상 각각의 밝기에 제 1 영상 및 제 2 영상 각각이 촬영된 노출 시간을 반영할 수 있다.
이미지 프로세서(420)는 제 1 영상 및 제 2 영상 각각의 조정된 밝기에 기초하여 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기를 추정할 수 있다. 예로서, 이미지 프로세서(420)는 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이를 산출할 수 있다. 이미지 프로세서(420)는 산출된 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출할 수 있다. 이미지 프로세서(420)는 산출된 비율 값에 기초하여 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기를 추정할 수 있다.
제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이는 플래시에 의해 인위적으로 방출된 빛의 세기를 의미할 수 있다. 그런데, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이는 피사체(100)의 반사율의 영향을 받을 수 있다. 따라서, 피사체(100)에 도달한 빛의 세기를 적절히 추정하기 위해, 제 1 영상 및 제 2 영상 각각의 조정된 밝기의 차이와 제 1 영상의 조정된 밝기의 비율 값을 산출할 수 있다. 이 비율 값에 의해, 플래시로부터 제 2 영상에 촬영된 피사체(100)에 도달한 빛의 세기가 간접적으로 추정될 수 있다.
이미지 프로세서(420)는 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분할 수 있다. 추정된 빛의 세기에 따라 제 2 영상을 둘 이상의 영역으로 구분하는 방법은 필요에 따라 다르게 설정될 수 있다. 이미지 프로세서(420)는 최종 결과 영상이 가질 목표 밝기를 결정할 수 있다. 목표 밝기는 필요에 따라 다르게 결정될 수 있다.
이미지 프로세서(420)는 결정된 목표 밝기에 기초하여, 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정할 수 있다. 제 2 영상이 플래시를 사용하여 촬영된 영상인 경우, 플래시와 피사체(100)의 거리에 따라 제 2 영상의 밝기가 불균일할 수 있다. 이미지 프로세서(420)는 제 2 영상의 밝기를 구분된 영역마다 다른 양만큼 조정함으로써, 균일한 밝기를 가지는 최종 결과 영상(300)을 생성할 수 있다.
본 발명의 실시 예에 따른 영상 처리 시스템(400)을 이용하면 서로 다른 광 조건에서 동일한 피사체(100)가 촬영된 두 영상에 의해 더 선명한 화질을 갖는 최종 결과 영상(300)이 얻어질 수 있다.
도 11의 영상 처리 장치(200)에 있어서, 영상 감지 회로(210) 및 영상 처리 로직(220)은 하나의 장치로 구현될 수 있다. 도 12의 영상 처리 시스템(400)에 있어서, 이미지 센서(410)와 이미지 프로세서(420)는 각각 별개의 장치로 구현될 수 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 영상 처리 시스템이 포함된 전자 시스템이 가질 수 있는 구성과 인터페이스를 나타낸 블록도이다. 도 9의 전자 시스템(1000)은 MIPI 인터페이스를 사용하거나 지원할 수 있는 데이터 처리 장치로 구현될 수 있다. 예로서, 전자 시스템(1000)은 휴대용 통신 단말기, PDA, PMP, 또는 스마트 폰 형태로 구현될 수 있다.
전자 시스템(1000)은 어플리케이션 프로세서(1100), 디스플레이(1220), 및 이미지 센서(1230)를 포함할 수 있다. 어플리케이션 프로세서(1100)는 DigRF 마스터(1110), DSI 호스트(1120), CSI 호스트(1130), 및 PHY(1140)를 포함할 수 있다.
DSI 호스트(1120)는 DSI(Display Serial Interface)를 통하여 디스플레이(1220)의 DSI 장치(1225)와 통신할 수 있다. 예로서, DSI 호스트(1120)에는 광 시리얼라이저(SER)가 구현될 수 있다. 예로서, DSI 장치(1225)에는 광 디시리얼라이저(DES)가 구현될 수 있다.
CSI 호스트(1130)는 CSI(Camera Serial Interface)를 통하여 이미지 센서(1230)의 CSI 장치(1235)와 통신할 수 있다. 예로서, CSI 호스트(1130)에는 광 디시리얼라이저(DES)가 구현될 수 있다. 예로서, CSI 장치(1235)에는 광 시리얼라이저(SER)가 구현될 수 있다.
전자 시스템(1000)은 어플리케이션 프로세서(1100)와 통신하는 RF 칩(1240)을 더 포함할 수 있다. RF 칩(1240)은 PHY(1242), DigRF 슬레이브(1244), 및 안테나(1246)를 포함할 수 있다. 예로서, RF 칩(1240)의 PHY(1242)와 어플리케이션 프로세서(1100)의 PHY(1140)는 MIPI DigRF에 의해 서로 데이터를 주고 받을 수 있다.
전자 시스템(1000)은 DRAM(1250)과 스토리지(1255)를 더 포함할 수 있다. DRAM(1250)과 스토리지(1255)는 어플리케이션 프로세서(1100)로부터 제공받은 데이터를 저장할 수 있다. 또한, DRAM(1250)과 스토리지(1255)는 저장된 데이터를 어플리케이션 프로세서(1100)로 제공할 수 있다.
예로서, 전자 시스템(1000)은 Wimax(1260), WLAN(1262), 및 UWB(1264) 등에 의해 외부 시스템(미도시)과 통신할 수 있다. 또한, 전자 시스템(1000)은 음성 정보를 처리하기 위한 스피커(1270)와 마이크(1275)를 더 포함할 수 있다. 나아가, 전자 시스템(1000)은 위치 정보를 처리하기 위한 GPS 장치(1280)를 더 포함할 수 있다.
이상에서 본 발명에 대한 실시 예를 중심으로 본 발명이 설명되었다. 다만 본 발명이 속하는 기술 분야의 특성상, 본 발명이 이루고자 하는 목적은 본 발명의 요지를 포함하면서도 위 실시 예들과 다른 형태로 달성될 수 있다. 따라서 위 실시 예들은 한정적인 것이 아니라 설명적인 측면에서 이해되어야 한다. 즉, 본 발명의 요지를 포함하면서 본 발명과 같은 목적을 달성할 수 있는 기술 사상은 본 발명의 기술 사상에 포함되는 것으로 해석되어야 한다.
따라서 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 수정 또는 변형된 기술 사상은 본 발명이 청구하는 보호 범위에 포함되는 것이다. 또한 본 발명의 보호 범위는 위 실시 예들로 한정되는 것이 아니다.
100 : 피사체 200 : 영상 처리 장치
210 : 영상 감지 회로 220 : 영상 처리 로직
300 : 최종 결과 영상 400 : 영상 처리 시스템
410 : 이미지 센서 420 : 이미지 프로세서
1000 : 이미지 센서를 포함하는 전자 시스템
1100 : 어플리케이션 프로세서 1110 : DigRF 마스터
1120 : DSI 호스트 1130 : CSI 호스트
1140 : PHY
1220 : 디스플레이 1225 : DSI 장치
1230 : 이미지 센서 1235 : CSI 장치
1240 : RF 칩 1242 : PHY
1244 : DigRF 슬레이브 1246 : 안테나
1250 : DRAM 1255 : 저장 장치
1260 : Wimax 1262 : WLAN
1264 : UWB 1270 : 스피커
1275 : 마이크 1280 : GPS

Claims (10)

  1. 서로 다른 빛 조건에서 동일한 피사체가 촬영된 제 1 영상 및 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록, 상기 제 1 영상 및 상기 제 2 영상 각각이 촬영된 노출 시간에 따라 상기 제 1 영상 및 상기 제 2 영상 각각의 밝기를 조정하는 단계;
    상기 제 1 영상 및 상기 제 2 영상 각각의 상기 조정된 밝기에 기초하여, 상기 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하는 단계;
    상기 추정된 빛의 세기에 따라 상기 제 2 영상을 둘 이상의 영역으로 구분하는 단계; 및
    최종 결과 영상이 가질 목표 밝기를 결정하고, 상기 목표 밝기에 기초하여 상기 제 2 영상의 밝기를 상기 구분된 영역마다 다른 양만큼 조정하는 단계를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 제 1 영상은 플래시를 사용하지 않고 촬영된 영상이고, 상기 제 2 영상은 상기 플래시를 사용하여 촬영된 영상인 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 제 1 영상과 상기 제 2 영상은 연속하여 촬영되는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 제 1 영상의 상기 조정된 밝기는 상기 제 1 영상이 촬영된 노출 시간으로 상기 제 1 영상의 밝기를 나눈 값이고,
    상기 제 2 영상의 상기 조정된 밝기는 상기 제 2 영상이 촬영된 노출 시간으로 상기 제 2 영상의 밝기를 나눈 값인 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 빛의 세기를 추정하는 단계는:
    상기 제 1 영상 및 상기 제 2 영상 각각의 상기 조정된 밝기의 차이를 산출하는 단계; 및
    상기 산출된 차이와 상기 제 1 영상의 상기 조정된 밝기의 비율 값을 산출하는 단계를 포함하고,
    상기 추정된 빛의 세기는 상기 산출된 비율 값에 대응되는 영상 처리 방법.
  6. 제 1 항에 있어서,
    상기 목표 밝기는 상기 제 2 영상을 형성하는 픽셀 각각에 대한 상기 추정된 빛의 세기 중 가장 강한 세기, 그리고 상기 제 2 영상을 형성하는 모든 픽셀에 대한 상기 추정된 빛의 세기의 평균 값 중 어느 하나인 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 제 2 영상의 밝기를 상기 구분된 영역마다 다른 양만큼 조정하는 단계에서, 상기 제 2 영상의 밝기가 조정되는 양은 피사체에서 빛이 반사된 정도를 반영하여 결정되는 영상 처리 방법.
  8. 제 7 항에 있어서,
    상기 피사체에서 빛이 반사된 정도는 상기 제 1 영상을 형성하는 픽셀 각각에 대한 상기 제 1 영상의 밝기와, 상기 제 1 영상을 형성하는 픽셀들에 대한 상기 제 1 영상의 밝기 중 가장 높은 밝기의 비율 값에 대응되는 영상 처리 방법.
  9. 제 1 항에 있어서,
    상기 구분된 영역 중 소정의 기준보다 부족한 색 정보를 갖는 암 영역에 대해, 상기 제 1 영상 중 상기 암 영역에 대응되는 영역의 색 정보를 반영하는 단계를 더 포함하는 영상 처리 방법.
  10. 서로 다른 빛 조건에서 동일한 피사체로부터 반사된 빛을 감지하여 각각 제 1 영상 신호 및 제 2 영상 신호를 생성하는 영상 감지 회로;
    상기 제 1 영상 신호 및 상기 제 2 영상 신호 각각에 기초하여 제 1 영상 및 제 2 영상을 생성하고, 상기 제 1 영상 및 상기 제 2 영상 각각이 단위 노출 시간 하에서 촬영된 것에 대응하는 밝기를 갖도록 상기 제 1 영상 및 상기 제 2 영상 각각이 촬영된 노출 시간에 따라 상기 제 1 영상 및 상기 제 2 영상 각각의 밝기를 조정하고, 상기 제 1 영상 및 상기 제 2 영상 각각의 상기 조정된 밝기에 기초하여 상기 제 2 영상에 촬영된 피사체에 도달한 빛의 세기를 추정하고, 상기 추정된 빛의 세기에 따라 상기 제 2 영상을 둘 이상의 영역으로 구분하고, 최종 결과 영상이 가질 목표 밝기를 결정하고 상기 목표 밝기에 기초하여 상기 제 2 영상의 밝기를 상기 구분된 영역마다 다른 양만큼 조정하여 상기 최종 결과 영상을 생성하는 영상 처리 로직을 포함하는 영상 처리 장치.
KR1020130081108A 2013-07-10 2013-07-10 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치 KR102075456B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130081108A KR102075456B1 (ko) 2013-07-10 2013-07-10 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
US14/246,626 US9313413B2 (en) 2013-07-10 2014-04-07 Image processing method for improving image quality and image processing device therewith

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130081108A KR102075456B1 (ko) 2013-07-10 2013-07-10 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20150007114A true KR20150007114A (ko) 2015-01-20
KR102075456B1 KR102075456B1 (ko) 2020-02-10

Family

ID=52276802

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130081108A KR102075456B1 (ko) 2013-07-10 2013-07-10 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치

Country Status (2)

Country Link
US (1) US9313413B2 (ko)
KR (1) KR102075456B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136110B2 (en) 2015-10-21 2018-11-20 Samsung Electronics Co., Ltd. Low-light image quality enhancement method for image processing device and method of operating image processing system performing the method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US10477087B2 (en) * 2017-11-16 2019-11-12 Duelight Llc System, method, and computer program for capturing a flash image based on ambient and flash metering
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
US10070109B2 (en) * 2016-06-30 2018-09-04 Apple Inc. Highlight recovery in images
CN107172364B (zh) * 2017-04-28 2021-01-26 努比亚技术有限公司 一种图像曝光补偿方法、装置和计算机可读存储介质
JP6646879B2 (ja) * 2018-03-13 2020-02-14 オムロン株式会社 撮像装置
US10855964B2 (en) 2018-08-29 2020-12-01 Apple Inc. Hue map generation for highlight recovery
US11100620B2 (en) 2018-09-04 2021-08-24 Apple Inc. Hue preservation post processing for highlight recovery
CN111064898B (zh) * 2019-12-02 2021-07-16 联想(北京)有限公司 图像拍摄方法及装置、设备、存储介质
CN113491099A (zh) * 2020-09-28 2021-10-08 深圳市大疆创新科技有限公司 图像处理方法、装置、系统、平台及计算机可读存储介质
CN113259595B (zh) * 2021-06-25 2021-10-08 煤炭科学研究总院 图像采集方法、装置以及存储介质
TWI789018B (zh) * 2021-09-17 2023-01-01 華碩電腦股份有限公司 影像擷取裝置與影像運算方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092955A (ja) * 1999-09-21 2001-04-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2002044512A (ja) * 2000-07-24 2002-02-08 Olympus Optical Co Ltd 電子カメラ
JP2009300811A (ja) * 2008-06-16 2009-12-24 Acutelogic Corp 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置
KR101086099B1 (ko) * 2004-07-06 2011-11-25 마이크로소프트 코포레이션 플래시 사용/플래시 미사용 확장을 갖는 디지털 사진

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4379129B2 (ja) 2004-01-23 2009-12-09 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
US7443443B2 (en) 2005-07-28 2008-10-28 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for enhancing flash and ambient images
US7590344B2 (en) 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
US7724952B2 (en) 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
WO2008078153A1 (en) 2006-12-22 2008-07-03 Nokia Corporation Removal of artifacts in flash images
KR101446779B1 (ko) 2008-07-09 2014-10-01 삼성전자주식회사 플래시 사용을 제한하는 촬영 제어 방법 및 장치
KR101589493B1 (ko) 2009-02-24 2016-01-28 삼성전자주식회사 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP5216711B2 (ja) 2009-07-30 2013-06-19 富士フイルム株式会社 複眼撮像装置、撮像方法及びプログラム
KR101750058B1 (ko) 2010-12-09 2017-07-03 엘지전자 주식회사 높은 동적 영역의 영상을 생성하는 장치 및 방법
US8224176B1 (en) 2011-01-10 2012-07-17 Eastman Kodak Company Combined ambient and flash exposure for improved image quality
US9516238B2 (en) 2011-02-10 2016-12-06 Hewlett-Packard Development Company, L.P. Noise suppression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092955A (ja) * 1999-09-21 2001-04-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2002044512A (ja) * 2000-07-24 2002-02-08 Olympus Optical Co Ltd 電子カメラ
KR101086099B1 (ko) * 2004-07-06 2011-11-25 마이크로소프트 코포레이션 플래시 사용/플래시 미사용 확장을 갖는 디지털 사진
JP2009300811A (ja) * 2008-06-16 2009-12-24 Acutelogic Corp 被写体情報測定方法及び被写体情報測定装置、並びに露光制御方法及び、露光制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10136110B2 (en) 2015-10-21 2018-11-20 Samsung Electronics Co., Ltd. Low-light image quality enhancement method for image processing device and method of operating image processing system performing the method

Also Published As

Publication number Publication date
US20150015740A1 (en) 2015-01-15
US9313413B2 (en) 2016-04-12
KR102075456B1 (ko) 2020-02-10

Similar Documents

Publication Publication Date Title
KR102075456B1 (ko) 화질 개선을 위한 영상 처리 방법 및 그것을 이용한 영상 처리 장치
CN110022469B (zh) 图像处理方法、装置、存储介质及电子设备
CN110830779B (zh) 一种图像信号的处理方法和系统
CN103945145B (zh) 处理图像的设备和方法
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US9357127B2 (en) System for auto-HDR capture decision making
CN105306806B (zh) 一种移动终端及其拍照的方法
CN108616689B (zh) 基于人像的高动态范围图像获取方法、装置及设备
CN109474770B (zh) 一种成像装置及成像方法
EP3162047B1 (en) Flash collision detection, compensation, and prevention
CN105578068A (zh) 一种高动态范围图像的生成方法、装置及移动终端
US10609265B2 (en) Methods and apparatus for synchronizing camera flash and sensor blanking
CN116416122B (zh) 图像处理方法及其相关设备
JP2015005001A (ja) 画像信号処理装置，撮像装置および画像処理プログラム
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
KR102425583B1 (ko) 영상의 화이트 밸런스를 보정하는 방법 및 전자 장치
US10977777B2 (en) Image processing apparatus, method for controlling the same, and recording medium
CN115802183A (zh) 图像处理方法及其相关设备
US8957990B2 (en) Apparatus and method for compensating for back light of image
CN115426449B (zh) 一种拍照方法和终端
JP2008005083A (ja) 撮像装置
KR101710629B1 (ko) 촬상 장치 및 촬상 방법
WO2016003623A1 (en) Flash collision detection, compensation, and prevention
JP2015037222A (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
US12170842B2 (en) Illumination control device, imaging device, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130710

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180516

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130710

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190610

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20191223

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200204

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200205

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230125

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240125

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250124

Start annual number: 6

End annual number: 6