KR102050415B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR102050415B1
KR102050415B1 KR1020130135848A KR20130135848A KR102050415B1 KR 102050415 B1 KR102050415 B1 KR 102050415B1 KR 1020130135848 A KR1020130135848 A KR 1020130135848A KR 20130135848 A KR20130135848 A KR 20130135848A KR 102050415 B1 KR102050415 B1 KR 102050415B1
Authority
KR
South Korea
Prior art keywords
image
exposure image
selection
high frequency
motion
Prior art date
Application number
KR1020130135848A
Other languages
English (en)
Other versions
KR20140133391A (ko
Inventor
츠즈키 타케루
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US14/270,851 priority Critical patent/US9460492B2/en
Publication of KR20140133391A publication Critical patent/KR20140133391A/ko
Application granted granted Critical
Publication of KR102050415B1 publication Critical patent/KR102050415B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예는 장노광 화상과 단노광 화상에서 대응하는 화소별 혼합 비율을 나타내는 선택 정보로부터 고주파 성분을 제거하는 제1 LPF; 움직임을 검출하여 움직임 검출 정보를 얻는 움직임 검출부; 상기 움직임 검출 정보로부터 고주파 성분을 제거하는 제2 LPF; 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여, 상기 제1 LPF에 의해 고주파 성분이 제거되기 전의 선택 정보와 상기 제1 LPF에 의해 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 선택부; 및 상기 선택 결과에 기초하여 상기 장노광 화상과 상기 단노광 화상을 합성하는 합성부;를 포함하는 화상 처리 장치를 개시한다.

Description

화상 처리 장치 및 화상 처리 방법{Apparatus and method for image processing.}
화상 처리 장치 및 화상 처리 방법에 관한 것이다.
최근 단시간 노광의 화상(이하, “단노광 화상”이라 한다.)과 장시간 노광의 화상(이하, “장노광 화상”이라 한다.)을 연속 촬영하여 합성함으로써, 센서가 촬영 가능한 다이나믹 레인지를 초과한 다이나믹 레인지를 포착한 화상을 얻는 WDR(와이드 다이나믹 레인지) 혹은 HDR(하이 다이나믹 레인지)이라는 촬영 기능의 사용이 증가하고 있다. 상기 촬영 기능은, 역광의 구도 등 명암비가 매우 큰 구도에서 촬영할 때 특히 큰 효과가 있다.
그러나 시간차를 두고 촬영된 단노광 화상과 장노광 화상을 합성하는 구조이므로, 피사체에 움직임이 있으면 합성 시에 부정합이 발생하여 윤곽이 이중이 되는 아티팩트(artifact)가 발생하는 문제가 있다. 움직임에 대응하여 WDR 합성을 하는 수법으로서, 특허문헌 1에 기재된 기술이 있다. 이 기술은, 노출이 다른 2매의 화상으로부터 공통 영역을 찾아내어 그 위치를 보정함으로써 움직임 보상을 한 후에 합성하는 것이다.
그러나 상기 기술은, 화상 전체에 대한 움직임이 있는 경우에는 바람직한 기술이지만, 화상을 구성하는 일부 영역에 대한 지엽적인 움직임에는 대응할 수 없어 부자연스러운 아티팩트를 발생시킨다.
특허문헌 1: 일본특개2011-004353호 공보
본 발명의 실시예들은 화상 처리 장치 및 화상 처리 방법을 제공한다. 본 실시예들이 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 실시예는 장노광 화상과 단노광 화상에서 대응하는 화소별 혼합 비율을 나타내는 선택 정보로부터 고주파 성분을 제거하는 제1 LPF; 움직임을 검출하여 움직임 검출 정보를 얻는 움직임 검출부; 상기 움직임 검출 정보로부터 고주파 성분을 제거하는 제2 LPF; 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여, 상기 제1 LPF에 의해 고주파 성분이 제거되기 전의 선택 정보와 상기 제1 LPF에 의해 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 선택부; 및 상기 선택 결과에 기초하여 상기 장노광 화상과 상기 단노광 화상을 합성하는 합성부;를 포함하는 화상 처리 장치를 개시한다.
본 실시예에 있어서, 상기 선택부는, 고주파 성분이 제거된 후의 움직임 검출 정보로부터 검출된 움직임 영역에 대해서는 고주파 성분이 제거된 후의 선택 정보를 선택하고, 고주파 성분이 제거된 후의 움직임 검출 정보로부터 검출된 비움직임 영역에 대해서는 고주파 성분이 제거되기 전의 선택 정보를 선택할 수 있다.
본 발명의 다른 실시예는 장노광 화상과 단노광 화상에서 대응하는 화소별 혼합 비율을 나타내는 선택 정보로부터 고주파 성분을 제거하는 단계; 움직임을 검출하여 움직임 검출 정보를 얻는 단계; 상기 움직임 검출 정보로부터 고주파 성분을 제거하는 단계; 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여 고주파 성분이 제거되기 전의 선택 정보와 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 단계; 및 상기 선택 결과에 기초하여 상기 장노광 화상과 상기 단노광 화상을 합성하는 단계;를 포함하는 화상 처리 방법.을 개시한다.
전술한 것 외의 다른 구현예, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다. 이러한 일반적이고 구체적인 구현예가 시스템, 방법, 컴퓨터 프로그램, 또는 어떠한 시스템, 방법, 컴퓨터 프로그램의 조합을 사용하여 실시될 수 있다.
본 발명의 일 실시예에 따른 영상 처리 방법 및 영상 처리 장치에 따르면, 지엽적인 움직임이 존재하더라도 아티팩트가 눈에 띄지 않는 WDR 합성 화상을 얻을 수 있다.
도 1은 일반적인 화상 처리 장치의 기능 구성예를 도시한 도면이다.
도 2는 일반적인 WDR 합성 기술에서의 각종 정보의 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 관한 화상 처리 장치의 기능 구성예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 관한 WDR 합성 기술에서의 각종 정보의 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 관한 화상 처리 방법의 흐름도이다.
이하에 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하기로 한다. 아울러 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는 동일 부호를 붙임으로서 중복 설명을 생략한다.
또 본 명세서 및 도면에서 실질적으로 동일한 기능 구성을 가진 복수의 구성요소를, 동일한 부호 뒤에 다른 알파벳을 붙여 구별하는 경우도 있다. 단, 실질적으로 동일한 기능 구성을 가진 복수의 구성요소 각각을 특별히 구별할 필요가 없는 경우 동일 부호만을 붙인다.
우선, 일반적인 WDR 합성 기술을 실현하기 위한 화상 처리 장치(9)의 기능 구성예를 도 1에 도시한다. 화상 처리 장치(9)는, 센서(10)의 노광 설정을 바꾸어 2매의 화상을 연속 촬영한다. 화상 처리 장치(9)는 단노광 촬영을 먼저 하고 그 다음에 장노광 촬영을 할 수 있으나, 본 발명이 이에 한정되지 않는다. 본 실시예에서는 단노광 촬영을 먼저 하는 경우의 예를 들어 설명한다. 단노광 촬영된 단노광 화상은 메모리(20)에 기입된다. 화상 처리 장치(9)는, 단노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 한다.
아울러 도 1에 도시한 예에서는, 화상 처리 장치(9)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통(系統)을 1개 가지고, 센서(10)가 장노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였다. 그러나, 장노광 화상과 단노광 화상이 동시에 촬영되어도 좋다. 이러한 경우, 화상 처리 장치(9)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 2개의 계통을 가질 수 있다.
사용 화상 선택부(30)는, 센서(10)에 의해 검출된 장노광 화상과 메모리(20)로부터 독출한 단노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하고, 단노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로서 선택하기 위한 선택 정보를 생성한다. 합성부(60)는, 사용 화상 선택부(30)로부터의 선택 정보를 받아 해당 선택 정보에 기초하여 단노광 화상과 장노광 화상을 합성함으로써 WDR 화상을 생성한다.
계조 변환부(70)는, 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지로 수렴하기 위한 압축 처리 및 사람의 눈으로 본 정경에 가깝게 하는 계조 보정을, 합성부(60)에 의해 생성된 WDR 화상에 대해 실행한다. 상기 압축 처리와 계조 보정은 동시에 이루어져도 좋고 다른 타이밍에서 이루어져도 좋다.
도 2는, 일반적인 WDR 합성 기술에서의 단노광 화상, 장노광 화상, 선택 정보 및 합성 화상 각각의 예를 도시한 도면이다. 도 2에 도시한 단노광 화상 및 장노광 화상 각각은 대낮의 밝은 실외가 보이는 창을 배경으로 하고 실내를 촬영하여 얻어진 화상이다. 바로 앞에 찍힌 인물은 왼쪽을 향해 이동하고 있다.
예를 들면, 사용 화상 선택부(30)에 의해 생성되는 선택 정보는 장노광 화상 및 단노광 화상 중 어느 것을 사용할지를 나타내는 2진 데이터의 집합일 수 있다. 이 경우, 도 2에 도시한 선택 정보와 같이 장노광 화상을 사용하는 영역을 검은색 영역, 단노광 화상을 사용하는 영역을 흰색 영역으로서 나타낼 수 있다. 도 2에 도시한 선택 정보를 참조하면, 본 발명의 일 실시예에 따른 선택 정보는 일종의 화상 데이터로써 1픽셀이 1비트로 구성되는 2치(値) 데이터일 수 있다.
계속해서 합성부(60)는, 이와 같이 생성된 선택 정보에 기초하여 단노광 화상 및 장노광 화상을 합성한다. 도 2의 합성 화상을 참조하면, 본 실시예에서 선택 정보의 생성 시에 지엽적인 움직임이 고려되지 않았기 때문에, 움직임이 존재하는 영역에서는 오브젝트의 위치가 부정합된 화상끼리 합성된다. 이에 따라 도 2에 도시한 합성 화상과 같이 밝은 창과 움직인 인물과의 경계에서 합성 시에 위치 부정합이 생겨 윤곽이 이중이 되는 현저한 아티팩트를 일으키는 문제가 발생할 수 있다.
그러나 본 발명의 실시예들에 따르면, 지엽적인 움직임이 존재하더라도 아티팩트가 눈에 띄지 않는 WDR 합성 화상을 얻을 수 있는 기술이 제공된다.
본 발명의 일 실시예에 관한 화상 처리 장치(1)의 기능 구성에 대해 설명하기로 한다. 도 3은, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 기능 구성을 도시한 도면이다. 도 3에 도시한 바와 같이 화상 처리 장치(1)는 센서(10), 메모리(20), 제1 사용 화상 선택부(31), 제2 사용 화상 선택부(32), 움직임 검출부(40), LPF(Low Pass Filter)1(51), LPF2(52), 합성부(60) 및 압축부(80)를 구비한다. 이하, 화상 처리 장치(1)가 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.
화상 처리 장치(1)는, 센서(10)의 노광 설정을 바꾸어 2매의 화상을 연속 촬영한다. 예를 들어, 단노광 촬영을 먼저 하고 그 다음으로 장노광 촬영을 할 수 있으나, 본 발명이 이에 한정되지 않는다. 본 실시예에서는 단노광 촬영을 먼저 하고 그 다음에 장노광 촬영을 하는 것으로 한다. 단노광 촬영된 단노광 화상은 메모리(20)에 기입된다. 화상 처리 장치(1)는, 단노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 한다.
도 3에 도시한 예에서는, 화상 처리 장치(1)는 장노광 화상 및 단노광 화상을 출력하기 위한 공통의 계통을 1개 가지고 센서(10)가 장노광 화상과 단노광 화상을 시분할로 출력하는 것으로 하였으나, 장노광 화상과 단노광 화상이 동시에 촬영되어도 좋다. 이러한 경우, 화상 처리 장치(1)는 센서(10)로부터 장노광 화상을 출력하기 위한 계통과 단노광 화상을 출력하기 위한 계통의 2개의 계통을 가질 수 있다. 각각의 셔터 타임은, 예를 들면 촬영 대상의 다이나믹 레인지나 센서 사양 등에 의해 정해진다.
여기서 본 발명의 실시예들을 설명함에 있어서 단노광 화상 및 장노광 화상이라는 용어를 사용하는데, 이들 용어는 촬영된 2개의 화상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서 노광 시간이 다른 2개의 화상이 촬영된 경우에 상기 2개의 화상 중 상대적으로 노광 시간이 짧은 화상이 단노광 화상에 해당하고, 상대적으로 노광 시간이 긴 화상이 장노광 화상에 해당하는 것으로 볼 수 있다.
센서(10)는 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하는 이미지 센서일 수 있다. 이미지 센서의 종류는 특별히 한정되지 않으며, 예를 들면 CCD(Charge Coupled Deｖice)여도 좋고, CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.
제1 사용 화상 선택부(31)는, 센서(10)에 의해 검출된 장노광 화상과 메모리(20)로부터 독출한 단노광 화상을 참조하여 장노광 화상 및 단노광 화상 각각의 포화 상태나 움직임 등을 검출하고 단노광 화상과 장노광 화상 중 어느 하나를 사용 화상으로서 선택하기 위한 선택 정보를 생성한다. 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘으로서는 다양한 알고리즘이 상정된다.
예를 들면, 장노광 화상에서 포화된 영역은 단노광 화상에서는 포화되지 않을 가능성이 높기 때문에 해당 영역의 사용 화상으로서는 단노광 화상을 선택하면 된다. 그러나 이 처리만으로는, 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등 아티팩트가 발생할 수 있다. 따라서 움직임을 검출하여 윤곽이 이중이 되는 현상을 저감하는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 화상과 장노광 화상 중 어느 하나를 선택하는 알고리즘은 특별히 한정되지 않는다.
상기와 같이 선택 정보는 단노광 화상 및 장노광 화상 중 어느 것을 선택할지를 나타내는 2진 데이터(0 또는 1)의 집합이어도 좋지만, 장노광 화상 및 단노광 화상 각각을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 집합이어도 좋다. 예를 들면 제1 사용 화상 선택부(31)는, 장노광 화상의 포화 정도가 강할수록 단노광 화상의 혼합 비율을 크게 해도 좋다. 또 제1 사용 화상 선택부(31)는, 단노광 화상 또는 장노광 화상의 움직임이 클수록 단노광 화상의 혼합 비율을 크게 해도 좋다. 단노광 화상과 장노광 화상의 혼합 비율을 산출하는 알고리즘은 특별히 한정되지 않는다.
이하에서는, 제1 사용 화상 선택부(31)가 장노광 화상과 단노광 화상에서 대응하는 화소별 혼합 비율을 나타내는 선택 정보를 생성하고, 해당 선택 정보를 LPF1(51) 및 제2 사용 화상 선택부(32)에 출력하는 경우를 예로 들어 설명하기로 한다.
LPF1(51)은, 선택 정보로부터 고주파 성분을 제거하는 처리를 한다. 상기 기능에 의해 선택 정보를 그라데이션 시켜, 합성부(60)에서 단노광 화상과 장노광 화상을 합성할 때에 단노광 화상 및 장노광 화상 각각의 경계를 매끄럽게 연결시킬 수 있게 된다. 여기서, 그라데이션은 화소값 등이 점진적이고 매끄럽게 변화하는 것을 의미하는 용어로 사용될 수 있다. 도 4에 도시한 「선택 정보＋LPF1」은, 고주파 성분이 제거된 후의 선택 정보의 예를 나타내고 있다.
LPF1(51)으로부터의 출력 신호의 비트 정밀도는, 단노광 화상 및 장노광 화상 각각의 경계가 매끄럽게 접속되기에 충분하도록 확보되면 된다. 선택 정보의 그라데이션 방법에는 다양한 수법이 상정되어 특별히 한정되지 않지만, 그라데이션 효과와 연산량 및 회로 규모 등을 고려하여 그라데이션 방법이 결정되는 것이 바람직하다.
움직임 검출부(40)는, 움직임을 검출한다. 움직임의 검출 수법은 특별히 한정되지 않지만, 예를 들면 장노광 화상과 단노광 화상의 차분으로부터 움직임을 검출하는 수법이어도 좋고, 복수매의 장노광 화상의 차분으로부터 움직임을 검출하는 수법이어도 좋고, 복수매의 단노광 화상의 차분으로부터 움직임을 검출하는 수법이어도 좋고, 다른 수법이어도 좋다. 장노광 화상과 단노광 화상의 차분으로부터 움직임을 검출하는 수법을 채용할 경우에는, 그대로는 장노광 화상과 단노광 화상간에 밝기가 다르기 때문에 움직임 검출부(40)는, 단노광 화상에 대해 노광량에 따른 게인(gain)을 곱한 후에 차분을 산출하는 것이 좋다.
또한 움직임 검출부(40)는, 검출한 움직임에 기초하여 움직임 영역과 비움직임 영역을 검출하여 움직임 검출 정보를 얻는다. 예를 들면, 움직임 영역은 움직임이 문턱값보다 큰 영역이며, 비움직임 영역은 움직임이 문턱값보다 작은 영역이다. 움직임이 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 도 4에 도시한 「움직임 검출 정보」를 참조하면, 움직임 영역이 흰색 영역, 비움직임 영역이 검은색 영역으로 표시되어 있다.
LPF2(52)는, 움직임 검출 정보로부터 고주파 성분을 제거하는 처리를 한다. 상기 기능에 의해 움직임 검출 정보를 그라데이션시켜 의미가 있는 영역을 확대할 수 있다. 도 4에 도시한 「움직임 검출 정보＋LPF2」는, 고주파 성분이 제거된 후의 움직임 검출 정보의 예를 나타내고 있다. 이 예를 참조하면, 움직임 검출 정보로부터 고주파 성분을 제거하는 처리에 의해 움직임 영역이 확대되는 것으로 파악된다.
또 LPF2(52)는, 움직임 검출 정보로부터 고주파 성분을 제거하는 처리를 할 뿐만 아니라 움직임 검출 정보로부터 고주파 성분을 제거하는 처리의 결과에 대해 소정의 게인을 곱해도 좋다. 그러면 의미가 있는 영역을 더 확대할 수 있다. LPF2(52)로부터의 출력 신호의 비트 정밀도는 움직임 영역 및 비움직임 영역 각각의 경계가 매끄럽게 연결되기에 충분하도록 확보되면 된다.
제2 사용 화상 선택부(32)는, 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여 고주파 성분이 제거되기 전의 선택 정보와 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는다. 예를 들면 제2 사용 화상 선택부(32)는, 고주파 성분이 제거된 후의 움직임 검출 정보로부터 검출된 움직임 영역에 대해서는 고주파 성분이 제거된 후의 선택 정보를 선택하고, 고주파 성분이 제거된 후의 움직임 검출 정보로부터 검출된 비움직임 영역에 대해서는 고주파 성분이 제거되기 전의 선택 정보를 선택하면 된다.
도 4에 도시한 「선택 결과」를 참조하면, 「움직임 검출 정보＋LPF2」에 나타난 움직임 영역(흰색 영역)에 상당하는 영역에 대해서는, 고주파 성분이 제거된 후의 「선택 정보＋LPF1」가 선택되는 것으로 파악된다. 또 「움직임 검출 정보＋LPF2」에 나타난 비움직임 영역(검은색 영역)에 상당하는 영역에 대해서는, 고주파 성분이 제거되기 전의 선택 정보가 선택되는 것으로 파악된다.
합성부(60)는, 제2 사용 화상 선택부(32)로부터의 선택 결과를 받아 해당 선택 결과에 기초하여 단노광 화상과 장노광 화상을 합성함으로써 WDR 화상을 생성한다. 예를 들면, 장노광 화상을 선택하는 취지를 나타내는 값이 「0」이며, 단노광 화상을 선택하는 취지를 나타내는 값이 「1」인 경우를 상정하기로 한다. 상기 경우에는 합성부(60)는, 선택 결과를 구성하는 혼합 비율을 α로 하여, 장노광 화상과 단노광 화상에서 대응하는 화소에 대해 α×(단노광 화상의 화소치)＋(1-α)×(장노광 화상의 화소치)를 산출하고, 산출 결과를 합성 후의 화상(WDR 화상)으로 할 수 있다. 합성부(60)에 의한 합성 수법은 특별히 한정되지 않는다.
압축부(80)는, 다이나믹 레인지가 넓은 화상 신호의 비트 레인지를 소정의 비트 레인지로 수렴하기 위한 압축 처리를, 합성부(60)에 의해 생성된 WDR 화상에 대해 실행한다. 압축부(80)의 후단은, 예를 들면 베이어 데이터로부터 RGB 플레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함한 화상 처리 엔진에 연결된다. 따라서 압축부(80)로부터의 출력 신호의 데이터량은, 예를 들면 화상 처리 엔진으로의 입력 데이터의 사이즈에 적합하도록(예를 들면, 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 사이즈를 저하시키는 것만으로는 어두운 화상으로 변환되기 때문에 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축될 수 있다.
도 4에 도시한 「합성 화상」은, 본 발명의 실시형태에 관한 화상 처리 장치(1)에 의해 출력되는 합성 화상의 예이다. 이 예를 참조하면, 움직임이 있는 오브젝트(이 예에서는 인물)의 경계에서 단노광 화상과 장노광 화상이 매끄럽게 접속되어 아티팩트가 줄어든 합성 화상이 얻어진다. 또, 움직임 영역에서는 단노광 화상과 장노광 화상의 경계가 매끄럽게 접속되는 반면, 비움직임 영역에서는 단노광 화상과 장노광 화상의 경계가 흐릿해지지 않는다.
도 5는, 본 발명의 실시형태에 관한 화상 처리 장치(1)의 동작의 흐름의 예를 도시한 도면이다. 도 5를 참조하면서, 제1 사용 화상 선택부(31)에 의해서 생성된 선택 정보가 LPF1(51) 및 제2 사용 화상 선택부(32)에 출력되는 경우를 일례로 들어 설명하기로 한다. 도 5에 도시한 바와 같이, 우선 LPF1(51)는, 선택 정보로부터 고주파 성분을 제거한다(단계S1). 계속해서 움직임 검출부(40)는, 움직임을 검출하여 움직임 검출 정보를 얻는다(단계S2). LPF2(52)는, 움직임 검출 정보로부터 고주파 성분을 제거한다(단계S3).
제2 사용 화상 선택부(32)는, 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여 고주파 성분이 제거되기 전의 선택 정보와 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는다(단계S4). 계속해서 합성부(60)는, 선택 결과에 기초하여 장노광 화상과 단노광 화상을 합성한다(단계S5). 상기와 같이 합성된 합성 화상은 압축부(80)에 의해 압축되는 것이 바람직하다.
본 발명의 일 실시예에 의하면, 장노광 화상과 단노광 화상에서 대응하는 화소 별 혼합 비율을 나타내는 선택 정보로부터 고주파 성분을 제거하는 LPF1(51)과, 움직임을 검출하여 움직임 검출 정보를 얻는 움직임 검출부(40)와, 움직여 검출 정보로부터 고주파 성분을 제거하는 LPF2(52)와, 고주파 성분이 제거된 후의 움직임 검출 정보에 기초하여 고주파 성분이 제거되기 전의 선택 정보와 고주파 성분이 제거된 후의 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 제2 사용 화상 선택부(32)와, 선택 결과에 기초하여 장노광 화상과 단노광 화상을 합성하는 합성부(60)를 구비한 화상 처리 장치(1)가 제공된다.
상기 구성에 의해, 움직임 영역에서 단노광 화상과 장노광 화상을 매끄럽게 연결할 수 있게 되어 움직이는 물체의 윤곽이 이중으로 보이는 현저한 아티팩트를 줄일 수 있게 된다. 또 피사체에 움직임이 없는 화상이나, 움직임이 있는 화상 중의 비움직임 영역에서는 단노광 화상과 장노광 화상의 경계를 급격히 전환할 수 있고, 이 경우 단노광 화상과 장노광 화상의 경계가 흐릿해지는 폐해가 잘 발생하지 않는다.
이상, 첨부 도면을 참조하여 본 발명의 바람직한 실시형태에 대해 상세히 설명하였으나 본 발명은 상기 예로 한정되지는 않는다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예를 생각해낼 수 있는 것은 명백하며, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
한편, 도 5에 도시된 본 발명의 일 실시예에 따른 영상 처리 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
1: 화상 처리 장치
9: 화상 처리 장치
10: 센서
20:　메모리
30:　사용 화상 선택부
31:　제1 사용 화상 선택부
32:　제2 사용 화상 선택부
40:　검출부
51:　LPF1
52:　LPF2
60:　합성부
70:　계조 변환부
80:　압축부

Claims (3)

  1. 장노광 화상과 단노광 화상에서 대응하는 각각의 화소별 혼합 비율을 나타내는 제1 선택 정보로부터 고주파 성분을 제거하여 제2 선택 정보를 생성하는 제1 LPF;
    움직임을 검출하여 제1 움직임 검출 정보를 얻는 움직임 검출부;
    상기 제1 움직임 검출 정보로부터 고주파 성분을 제거하여 제2 움직임 검출 정보를 생성하는 제2 LPF;
    상기 제2 움직임 검출 정보에 기초하여, 상기 제1 선택 정보 및 상기 제2 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 선택부; 및
    상기 선택 결과에 기초하여 상기 장노광 화상과 상기 단노광 화상을 합성하는 합성부;를 포함하는
    화상 처리 장치.
  2. 제1 항에 있어서,
    상기 선택부는, 상기 제2 움직임 검출 정보로부터 검출된 움직임 영역에 대해서는 상기 제2 선택 정보를 선택하고, 상기 제2 움직임 검출 정보로부터 검출된 비움직임 영역에 대해서는 상기 제1 선택 정보를 선택하는
    화상 처리 장치.
  3. 장노광 화상과 단노광 화상에서 대응하는 화소별 혼합 비율을 나타내는 제1 선택 정보로부터 고주파 성분을 제거하여 제2 선택 정보를 생성하는 단계;
    움직임을 검출하여 제1 움직임 검출 정보를 얻는 단계;
    상기 제1 움직임 검출 정보로부터 고주파 성분을 제거하여 제2 움직임 검출 정보를 생성하는 단계;
    상기 제2 움직임 검출 정보에 기초하여, 상기 제1 선택 정보 및 상기 제2 선택 정보 중 어느 하나를 화소마다 선택하여 선택 결과를 얻는 단계; 및
    상기 선택 결과에 기초하여 상기 장노광 화상과 상기 단노광 화상을 합성하는 단계;를 포함하는
    화상 처리 방법.
KR1020130135848A 2013-05-10 2013-11-08 화상 처리 장치 및 화상 처리 방법 KR102050415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/270,851 US9460492B2 (en) 2013-05-10 2014-05-06 Apparatus and method for image processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013100509A JP6173027B2 (ja) 2013-05-10 2013-05-10 画像処理装置および画像処理方法
JPJP-P-2013-100509 2013-05-10

Publications (2)

Publication Number Publication Date
KR20140133391A KR20140133391A (ko) 2014-11-19
KR102050415B1 true KR102050415B1 (ko) 2019-11-29

Family

ID=51938813

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135848A KR102050415B1 (ko) 2013-05-10 2013-11-08 화상 처리 장치 및 화상 처리 방법

Country Status (2)

Country Link
JP (1) JP6173027B2 (ko)
KR (1) KR102050415B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6529269B2 (ja) * 2015-01-26 2019-06-12 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
WO2019236626A2 (en) 2018-06-07 2019-12-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325274A (ja) 2006-09-11 2006-11-30 Olympus Corp 撮像装置
US20110058050A1 (en) * 2008-06-19 2011-03-10 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3999321B2 (ja) * 1997-12-05 2007-10-31 オリンパス株式会社 電子カメラ
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
JP5050141B2 (ja) * 2004-12-01 2012-10-17 国立大学法人徳島大学 カラー画像の露出評価方法
JP5319415B2 (ja) 2009-06-22 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006325274A (ja) 2006-09-11 2006-11-30 Olympus Corp 撮像装置
US20110058050A1 (en) * 2008-06-19 2011-03-10 Panasonic Corporation Method and apparatus for motion blur and ghosting prevention in imaging system

Also Published As

Publication number Publication date
KR20140133391A (ko) 2014-11-19
JP2014220759A (ja) 2014-11-20
JP6173027B2 (ja) 2017-08-02

Similar Documents

Publication Publication Date Title
CN104980652B (zh) 图像处理设备和图像处理方法
US9560290B2 (en) Image processing including image correction
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
JP5589446B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6678376B2 (ja) 動き検出装置および動き検出方法
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20150045877A (ko) 영상 처리 장치 및 영상 처리 방법
JP2021114696A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6227935B2 (ja) 画像処理装置および画像処理方法
US9460492B2 (en) Apparatus and method for image processing
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
KR102050415B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6324235B2 (ja) 画像処理装置および画像処理方法
JP2019047336A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
JP6376339B2 (ja) 画像処理装置および画像処理方法
JP2008136113A (ja) 画像処理装置、撮像装置及び画像処理方法
JP5146500B2 (ja) 画像合成装置、画像合成方法、及びプログラム
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2013179566A (ja) 画像処理装置および撮像装置
JP6121234B2 (ja) 画像処理装置および画像処理方法
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR102182696B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2019067268A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2021087083A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant