KR20150118003A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20150118003A
KR20150118003A KR1020140128283A KR20140128283A KR20150118003A KR 20150118003 A KR20150118003 A KR 20150118003A KR 1020140128283 A KR1020140128283 A KR 1020140128283A KR 20140128283 A KR20140128283 A KR 20140128283A KR 20150118003 A KR20150118003 A KR 20150118003A
Authority
KR
South Korea
Prior art keywords
image
exposure image
selection information
long
short
Prior art date
Application number
KR1020140128283A
Other languages
English (en)
Other versions
KR102182696B1 (ko
Inventor
타케루 스즈키
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to US14/640,191 priority Critical patent/US9544505B2/en
Priority to CN201510169329.5A priority patent/CN104980652B/zh
Publication of KR20150118003A publication Critical patent/KR20150118003A/ko
Application granted granted Critical
Publication of KR102182696B1 publication Critical patent/KR102182696B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Abstract

영상 처리 장치(1A)에 있어서, 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성하는 사용 영상 선택부(30); 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는 평균화 처리부(50); 및 평균화된 사용-영상 선택 정보에 따라 장노광 영상과 단노광 영상을 합성함으로써 합성 영상을 생성하는 WDR 합성부(70);를 포함한다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}
본 발명은, 영상 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)의 촬영 기능을 수행하기 위한 영상 처리 장치 및 방법에 관한 것이다.
최근, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 증가하고 있다. 이 촬영 기능에 의하면, 단시간 노광의 영상(이하, "단노광 영상"이라 함)과 장시간 노광의 영상(이하, "장노광 영상"이라 함)을 연속 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 벗어난 다이나믹 레인지를 얻을 수 있다. 이와 같은 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서 특히 큰 효과가 있다.
영상의 영역 즉, 화소 별로 사용될 장노광 영상 또는 단노광 영상을 선택하는 기준은 화소값 정보나 움직임 검출 정보 등을 참조하여 결정되는 것이 일반적이다. 또한, 연속적인 영상군에서 단노광 영상과 장노광 영상 한 쌍의 합성은 독립적으로 실행되는 것이 일반적이다.
여기에서, 카메라가 미소하게 진동하고 있는 장면(scene)을 살펴보기로 한다. 예를 들어, 옥외에 설치된 고정 카메라가 자동차의 통과에 수반하여(혹은 바람에 의해) 미소하게 진동하는 경우나, 휴대용 카메라가 약간의 손떨림에 의해 진동하는 경우를 살펴보기로 한다. 이러한 장면(scene)에서 WDR 합성 영상중의 어느 특정 영역에 주목했을 때, 단노광 영상과 장노광 영상의 선택이 시간 방향으로 변동하여 단노광 영상과 장노광 영상의 화질 차이가 플리커(flicker)처럼 보이는 경우가 있다.
단노광 영상과 장노광 영상의 화질 차이에 대하여 설명하기로 한다. 일반적으로 WDR 영상 합성을 행할 때에, 단노광 영상을 노광비(露光比)로 정규화하여 장노광 영상과 같은 밝기로 변환한 후에 합성을 행한다. 장노광 영상이 포화되어 있는 영역에서는 단노광 영상과 장노광 영상을 같은 밝기로 할 수 없지만, 장노광 영상이 포화되어 있지 않으면 장노광 영상과 정규화된 단노광 영상의 밝기가 일치될 수 있다. 그러나 양자의 화질을 엄밀하게 동일하게 하기는 쉽지 않다.
예를 들어, 노광비에 의한 정규화는, 의도한 노광비와 실제로 촬영된 화소값의 비가 동일하지 않은 경우가 있다. 셔터 시간의 설정 정밀도 부족이나 영상 센서의 노광 특성의 영향이 있기 때문이다. 단노광 영상의 정규화를 행한 경우에는 연산 정밀도가 문제될 수도 있다.
또한, 밝기가 일치되었다고 가정하더라도, 단노광 영상은 일반적으로 노이즈가 많으므로, 같은 피사체를 상영한 단노광 영상과 장노광 영상이 빈번히 변동되면 노이즈량의 차이가 플리커로서 검지되는 경우가 있다.
이러한 외부 진동에 의해 WDR 합성 영상에 미치는 영향을 줄이는 것을 목적으로 한 수법으로서, 이하의 특허문헌들에 개시되어 있는 기술이 있다.
일본 특허공개 2003-143484호(이하 특허문헌 1이라 함)에 기재된 기술은, 화면 전체의 위치 어긋남을 좌표 변환에 의해 흡수한 후에 합성하는 기술로서, 단노광 영상의 위치와 장노광 영상의 위치가 손떨림과 같은 진동에 의해 어긋나더라도 그 영향을 배제하고 합성할 수 있다.
일본 특허공개 2012-165213호(이하 특허문헌 2라 함)에 기재된 기술은, 단노광 영상과 장노광 영상 중에서 어느 영상을 사용할지를 결정할 때에, 장노광 영상을 참조하여 그 화소값이 문턱값 이상이면 단노광 영상을 사용하는 알고리즘을 개시하고 있다.
장노광 영상이 포화되므로 단노광 영상을 사용하는 영역과, 장노광 영상이 적정 노출이 되어 장노광 영상을 사용하는 영역이 인접한 높은 콘트라스트 영역에서, 영상 선택은 원활하게 전이되어 자연스러운 합성 영상이 생성된다. 그러나, 포화된 장노광 영상의 화소값이 혼합되기 때문에, 상기 높은 콘트라스트 영역의 포화 부분에서 색이 연해지는 현상이 발생한다. 그래서 특허문헌 2의 기술은, 장노광 영상이 밝은 화소값 영역을 진동 진폭분만큼 확대한 영상을 작성하고, 이 영상을 참조하여 선택 신호를 결정함으로써, 단노광 영상을 사용하는 영역을 확대하였다.
일본 특허공개 2011-135152호(이하 특허문헌 3이라 함)에 기재된 기술은, 진동에 의한 위치 어긋남(misalignment)를 최소한으로 억제하기 위해 짧은 셔터 시간으로 브라켓 촬영을 하도록 제어하는 기술이다.
일본 특허공개 2013-066142호(이하 특허문헌 4라 함)에 기재된 기술은, 움직임 영역에서는 단노광 영상을 사용하여 합성 아티팩트나 흔들린 영상을 억압하는 기술이다. 이 기술에서는, 피사체의 움직임에 의해 장노광 영상이 흔들려 촬영되는 경우, 흔들림 성분이 적은 단노광 영상을 사용한다.
특허문헌 1에 기재된 기술을 이용한 경우, 1 매의 WDR 합성 영상을 관찰하는 동안에 효과가 있을 것이다. 하지만, WDR 합성 영상을 연속적으로 관찰했을 때에 진동의 영향이 배제될 수 없다. 예를 들어, 장노광 영상을 기준으로 하여 단노광 영상의 위치를 이동하여 맞추기로 한 경우, 기준이 되는 장노광 영상이 진동의 영향을 받는다면 합성 영상군에도 진동의 영향이 남기 때문이다. 즉, 특허문헌 1에 기재된 기술에 의하면, 진동에 의해 단노광 영상과 장노광 영상의 선택이 시간 방향으로 변동되어 영상의 일부가 플리커처럼 보일 수 있다.
특허문헌 2에 기재된 기술에서는, 포화 장노광 영상을 합성에 사용하지 않게 되므로, 포화된 장노광 영상의 화소값을 합성에 사용함에 기인하는 부자연스러운 색의 발생이 해소될 수 있을 것이다. 하지만, 이 기술에 의하면, 단노광 영상과 장노광 영상과의 전이 영역의 위치를 공간적으로 이동시킬 뿐이다. 따라서, 시간적으로 연속된 WDR 합성 영상 중에서 특정 영역에 주목할 경우, 진동에 의해 단노광 영상과 장노광 영상이 빈번히 변동하는 현상이 발생될 수 있다.
특허문헌 3에 기재된 기술에 의하면, 빠른 진동의 영향이 배제될 수 없다. 또한, 진동의 영향을 배제할 수 있다고 가정해도, 짧은 셔터 시간에 의해 노이즈가 증가될 수 있다.
특허문헌 4에 기재된 기술은, 진동이 존재할 때에 연속되는 WDR 합성 결과에 포함되는 플리커에 관해 언급하지 않았다. 하지만, 화면 전체의 진동이 움직임으로 검출될 경우, 화면 전체적으로 단노광 영상이 선택되어 화면 전체에 노이즈가 많아진다. 또한, 진동이 움직임으로 검출되지 않을 경우, 화소값에 따라 단노광 영상 및 장노광 영상으로부터 합성에 사용되는 영상의 선택이 실행되는데, 합성에 사용되는 영상이 시간적으로 변동함으로써 플리커(flicker)가 나타날 가능성이 있다.
일본 특허공개 2003-143484호 공보 일본 특허공개 2012-165213호 공보 일본 특허공개 2011-135152호 공보 일본 특허공개 2013-066142호 공보
본 발명의 실시예는, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에, 선택되는 영상들이 미소한 진동에 의하여 빈번히 변동되는 현상을 억제할 수 있는, 영상 처리 장치 및 방법을 제공하고자 한다.
본 발명의 일 측면의 영상 처리 장치는 사용 영상 선택부, 평균화 처리부, 및 합성부를 포함한다.
상기 사용 영상 선택부는 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성한다.
상기 평균화 처리부는 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는다.
상기 합성부는, 상기 평균화된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써, 합성 영상을 생성한다.
상기 구성에 의하면, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에, 상기 사용 영상 선택부에 의해 생성된 사용-영상 선택 정보 자체가 아니라, 상기 평균화 처리부에 의해 평균화된 사용-영상 선택 정보가 참조된다. 따라서, 선택되는 영상들이 미소한 진동에 의하여 빈번히 변동되는 현상을 억제할 수 있게 된다.
바람직하게는, 상기 영상 처리 장치는, 움직임을 검출하여 움직임 검출 정보를 얻는 움직임 검출부; 및 상기 움직임 검출 정보에 따라 상기 평균화된 사용-영상 선택 정보를 갱신하는 갱신부;를 포함한다. 여기에서, 상기 합성부는, 상기 갱신된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써 합성 영상을 생성한다.
이러한 구성에 의하면, 움직임 검출부에 의해 검출된 움직임(예를 들면, 큰 진동이나 움직임 물체 등)이 합성 처리에 반영되기 때문에 합성에 의해 발생하는 아티팩트(artifact)가 줄어든다.
또한, 바람직하게는, 상기 영상 처리 장치는 상기 장노광 영상 및 상기 단노광 영상을 축소하여 축소된 장노광 영상 및 축소된 단노광 영상을 얻는 축소 처리부를 포함한다. 여기에서, 상기 사용 영상 선택부는 상기 축소된 장노광 영상 및 상기 축소된 단노광 영상에 따라 상기 사용-영상 선택 정보를 생성한다.
이러한 구성에 의하면, 축소된 단노광 영상 및 축소된 장노광 영상에 따라 사용-영상 선택 정보가 생성되고, 생성된 사용-영상 선택 정보가 평균화 처리부에 전송된다. 또한, 평균화 처리부에서는 평균화된 사용-영상 선택 정보가 과거의 사용-영상 선택 정보로서 메모리에 기입된다. 따라서, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다.
또한, 바람직하게는, 상기 움직임 검출부는 상기 축소된 장노광 영상 및 상기 축소된 단노광 영상에 따라 상기 움직임을 검출한다.
이러한 구성에 의하면, 축소 과정에서 노이즈가 감소되어 품질이 좋은 영상을 사용하여 움직임 검출이 가능하다. 또한, 축소된 영상을 참조하여 움직임 검출을 하는 것은, 일정 영역을 참조하여 움직임 검출을 하는 것과 등가(等價)이므로, 공간적으로 고성능의(robust) 검출 결과를 얻을 수 있다.
또한, 바람직하게는, 상기 갱신부는 움직임 영역에서 단노광 영상이 사용되도록 상기 평균화된 사용-영상 선택 정보를 갱신한다.
이러한 구성에 의하면, 합성 영상의 윤곽이 이중이 되는 아티팩트(artifact)가 줄어들 수 있다.
본 발명의 다른 측면의 영상 처리 방법에 의하면,
영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성하는 단계;
과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는 단계; 및
상기 평균화된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써 합성 영상을 생성하는 단계;를 포함한다.
상기 방법에 의하면, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에, 상기 사용-영상 선택 정보 자체가 아닌 상기 평균화된 사용-영상 선택 정보가 참조된다. 따라서, 선택되는 영상들이 미소한 진동에 의하여 빈번히 변동되는 현상을 억제할 수 있게 된다.
이상 설명한 것처럼 본 발명에 의하면, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에, 선택되는 영상들이 미소한 진동에 의하여 빈번히 변동되는 현상을 억제할 수 있다.
도 1은 본 발명의 제1 실시예의 영상 처리 장치의 구성 및 동작을 도시한 도면이다.
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 도시한 도면이다.
도 3은 평균화 처리부의 상세한 구성을 도시한 블록도이다.
도 4, 5, 6a, 6b 및 6c는 본 발명의 제1 실시예가 발휘하는 효과의 예들을 설명하기 위한 도면들이다.
도 7은 본 발명의 제2 실시예의 영상 처리 장치의 구성 및 동작을 도시한 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한, 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명된다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
(제1 실시예)
먼저, 본 발명의 제1 실시예의 영상 처리 장치(1A)의 구성 및 동작에 대하여 설명하기로 한다.
도 1은, 본 발명의 제1 실시예의 영상 처리 장치(1A)의 구성 및 동작을 도시한 도면이다. 도 1에 도시한 바와 같이, 영상 처리 장치(1A)는 영상 센서(10), 프레임 메모리(20A), 사용 영상 선택부(30), 움직임 검출부(40), 평균화 처리부(50), 갱신부(60), WDR 합성부(70), 및 계조 압축부(80)를 포함한다. 이하, 영상 처리 장치(1A)가 포함한 각 기능 블록의 동작에 대해 차례대로 상세히 설명하기로 한다.
영상 처리 장치(1A)는, 영상 센서(10)의 노광 설정을 바꾸어 2 매의 영상들을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 다음으로 장노광 촬영을 하는 것으로 가정한다. 그러나 장노광 촬영을 먼저 하고 그 다음에 단노광 촬영을 해도 좋다.
이와 같이 하여 촬영된 단노광 영상 및 장노광 영상은 쌍으로 하여 프레임 메모리(20A)에 기입된다. 장노광 영상 및 단노광 영상의 촬영과, 촬영된 장노광 영상 및 단노광 영상의 프레임 메모리(20A)로의 기입은, 연속적으로 이루어진다.
도 2는, 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 도시한 도면이다. 도 2를 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t), 장노광 영상(t), 단노광 영상(t＋1), 및 장노광 영상(t＋1)이 시간에 따라 촬영되는 모습이 도시되어 있다. 도 2에서, 각 영상의 촬영 시각은 괄호 안에 표시되어 있는데, 이하에서도 동일하게 각 영상의 촬영 시각을 괄호 안에 표시하는 경우가 있다.
본 실시예에서는, 적어도 현재 시각의 장노광 영상 및 현재 시각의 단노광 영상이 프레임 메모리(20A)에 남아 있으면 된다. 따라서, 장노광 영상 및 단노광 영상이 촬영되는 간격은 특별히 한정되지 않는다. 또한, 장노광 영상 및 단노광 영상은 매(每) 프레임의 주기로 프레임 메모리(20A)에 기입되어도 좋고, 복수의 프레임들의 주기로 프레임 메모리(20A)에 기입되어도 좋다.
보다 상세하게는, 도 1에 도시한 예와 같이 장노광 영상 및 단노광 영상의 쌍을 기입하는 영역이 존재하는 경우, 영상 처리 장치(1A)는 장노광 영상 및 단노광 영상의 쌍을 그 영역에 대해 연속적으로 기입하면 된다. 예를 들어, 프레임 메모리(20A)에 기입된 단노광 영상(t-1) 및 장노광 영상(t-1)은 단노광 영상(t) 및 장노광 영상(t)에 의하여 덮어 쓰기가 되어도 좋다.
아울러 도 1에 도시한 예에서는, 영상 처리 장치(1A)는 장노광 영상 및 단노광 영상을 출력하기 위한 공통의 한 계통으로서 영상 센서(10)가 장노광 영상과 단노광 영상을 시분할로 출력하는 것으로 하였으나, 장노광 영상과 단노광 영상이 동시에 출력되어도 좋다. 이 경우, 영상 처리 장치(1A)는 영상 센서(10)로부터 장노광 영상을 출력하기 위한 계통과 단노광 영상을 출력하기 위한 계통인 2 계통들을 가지면 된다. 각각의 셔터 시간은 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의해 결정된다.
본 발명의 실시예에서는, 단노광 영상 및 장노광 영상이라는 용어를 사용하는데, 이들 용어는, 촬영된 2 영상들 각각의 절대적인 노광 시간으로 한정되지 않는다. 따라서, 노광 시간이 다른 2 영상들이 촬영된 경우, 해당 2 영상들 중에서 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 해당되며, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 해당된다.
영상 센서(10)는, 외부로부터의 빛을 촬상 소자의 수광 평면에 결상시키고, 결상된 빛을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하도록 구성된다. 영상 센서의 종류는 특별히 한정되지 않으며, 예를 들어 CCD(Charge Coupled Deｖice)여도 좋고 CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.
사용 영상 선택부(30)는, 프레임 메모리(20A)로부터 독출한 단노광 영상과 장노광 영상에 대하여, 장노광 영상 및 단노광 영상 각각의 포화 상태나 움직임 등을 검출하여, 단노광 영상과 장노광 영상 중 어느 한쪽을 사용 영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 단노광 영상과 장노광 영상 중 어느 한쪽을 선택하는 알고리즘으로서 다양한 알고리즘이 상정된다.
예를 들어, 장노광 영상에서 포화된 영역은 단노광 영상에서는 포화되지 않을 가능성이 높기 때문에, 해당 영역의 사용 영상으로서는 단노광 영상을 선택하면 된다. 그러나 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 아티팩트가 발생할 수 있다. 따라서, 움직임을 검출하고 움직임에 따라 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 이러한 처리를 포함하여, 단노광 영상과 장노광 영상 중에서 어느 한쪽을 선택하는 알고리즘은 특별히 한정되지 않는다.
아울러, 상기한 바와 같이, 사용-영상 선택 정보는 단노광 영상 및 장노광 영상 중 어느 쪽을 선택할지를 나타내는 2진수 데이터의 집합이어도 좋지만, 장노광 영상 및 단노광 영상 각각을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 집합이어도 좋다. 예를 들면, 사용 영상 선택부(30)는 장노광 영상의 포화 정도가 강할수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 또한, 사용 영상 선택부(30)는 단노광 영상 또는 장노광 영상의 움직임이 클수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 단노광 영상과 장노광 영상의 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.
움직임 검출부(40)는 움직임을 검출하여 움직임 검출 정보를 생성한다. 움직임 검출의 방법은 한정되지 않지만, 단노광 영상 및 장노광 영상으로부터 움직임을 검출할 경우, 어느 한 영상에 대해 노광비에 대응한 게인(gain)을 곱해서 정규화한 다음에 차분을 산출하는 것이 좋다.
또한, 움직임 검출 정보의 생성 수법은 특별히 한정되지 않는다. 예를 들면 움직임 검출부(40)는, 단노광 영상과 장노광 영상에 따라 검출한 움직임과 문턱값과의 관계에 따라, 움직임 검출 정보를 생성하면 된다.
구체적으로는, 움직임 검출부(40)는, 단노광 영상과 장노광 영상에서 대응하는 영역의 화소값 또는 구배의 차분을 검출하여, 차분이 문턱값보다 큰 영역을 움직임 영역으로서 검출해도 좋다. 물론, 움직임 검출부(40)는, 차분이 문턱값보다 적은 영역을 비움직임 영역으로서 검출해도 좋다. 차분이 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 움직임 검출부(40)는 이러한 검출 결과를 움직임 검출 정보로서 생성할 수 있다.
평균화 처리부(50)는, 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여, 평균화된 사용-영상 선택 정보를 얻는다. 평균화 처리부(50)에 의해 이루어지는 평균화는 특별히 한정되지 않지만, 가산 평균이면 된다. 평균화 처리부(50)의 구성의 일 예에 대하여 상세히 설명하면 다음과 같다.
도 3은, 평균화 처리부(50)의 상세한 구성의 일 예를 도시한 도면이다. 도 3에 도시한 바와 같이 평균화 처리부(50)는, IIR(Infinite Impulse Response) 필터(51)와 과거의 사용-영상 선택 정보 메모리(52)를 포함하면 된다.
예를 들어, IIR 필터(51)는, 사용 영상 선택부(30)로부터 입력되는 현재 시각의 사용-영상 선택 정보와 과거의 사용-영상 선택 정보 메모리(52)로부터 독출한 과거의 사용-영상 선택 정보를 아래의 수학식 1에 의해 가산 평균한다.
Figure pat00001
상기 수학식 1에서, Out은 IIR 필터(51)에서 후단으로 출력되는 사용-영상 선택 정보를, Sprv는 과거의 사용-영상 선택 정보를, Scur은 현재 시각의 사용-영상 선택 정보를, 그리고 COEF는 혼합 계수를 각각 가리킨다. 혼합 계수는, 미리 설정되어 있어도 좋고, 사용자에 의해 설정 가능하게 해도 좋다. IIR 필터(51)로부터 후단에 출력되는 사용-영상 선택 정보는, 과거의 사용-영상 선택 정보의 메모리(52)에도 기입되어, IIR 필터(51)에 의한 다음의 평균화에 이용된다.
아울러 도 3에는, 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평평하게 하는 구성으로서 IIR 필터(51)가 이용되는 예를 도시하였다. 그러나 평균화하는 구성은 IIR 필터(51)로 한정되지 않는다. 예를 들면 IIR 필터(51) 대신에 FIR(Finite Impulse Response) 필터가 이용되어도 좋고 다른 필터가 이용되어도 좋다.
갱신부(60)는, 움직임 검출부(40)에 의해 생성된 움직임 검출 정보에 따라, 평균화 처리부(50)에 의해 평균화된 사용-영상 선택 정보를 갱신한다. 구체적으로는 갱신부(60)는, 움직임 검출 정보를 참조하여, 움직임 영역에서는 사용 영상으로서 단노광 영상이 선택되도록 평균화된 사용-영상 선택 정보를 갱신한다. 그렇게 하면 합성 영상의 윤곽이 이중이 되는 아티팩트가 줄어들 수 있다. 한편, 갱신부(60)는, 움직임 검출 정보를 참조하여, 비움직임 영역에서는 평균화 처리부(50)에 의해 평균화된 사용-영상 선택 정보를 갱신하지 않도록 동작한다.
WDR 합성부(70)는, 평균화 처리부(50)에 의해 평균화된 사용-영상 선택 정보에 따라 장노광 영상과 단노광 영상을 합성함으로써, WDR 합성 영상을 생성한다. 구체적으로는, WDR 합성부(70)는, 평균화된 사용-영상 선택 정보에 따라, 단노광 영상 사용 영역에는 단노광 영상을 사용하고, 장노광 영상 사용 영역에는 장노광 영상을 사용하여, 합성 영상을 생성한다.
WDR 합성부(70)에 의한 합성 수법은 특별히 한정되지 않는다.
예를 들어, 장노광 영상을 선택한다는 내용을 나타내는 값이 "0"이며, 단노광 영상을 선택한다는 내용을 나타내는 값이 "1"인 경우를 살펴보기로 한다.
WDR 합성부(70)는, 사용-영상 선택 정보를 구성하는 혼합 비율을 α로 하여 장노광 영상과 단노광 영상에서 대응하는 화소에 대해 "α × (단노광 영상의 화소값) + (1-α) × (장노광 영상의 화소값)"을 산출하고, 산출 결과를 합성 후의 영상(WDR 영상)으로서 출력할 수 있다.
이와 같이 하여, 본 발명의 제1 실시예에서는, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보 자체가 아닌, 평균화 처리부(50)에 의해 평균화된 사용-영상 선택 정보가 참조된다. 따라서, 선택되는 영상들이 미소한 진동에 의하여 빈번히 변동되는 현상이 억제될 수 있다.
아울러 상기한 바와 같이, WDR 합성부(70)는, 평균화 처리부(50)로부터 출력된 평균화된 사용-영상 선택 정보를 직접 참조해도 좋지만, 갱신부(60)에 의해 갱신된 사용-영상 선택 정보를 참조하면 된다. 즉, WDR 합성부(70)는, 갱신부(60)에 의해 갱신된 사용-영상 선택 정보에 따라 장노광 영상과 단노광 영상을 합성함으로써, 합성 영상을 생성하는 것이 좋다. 이러한 구성에 의하면, 움직임 검출부(40)에 의해 검출된 움직임(예를 들면, 큰 진동이나 움직임 물체 등)이 합성 처리에 반영되기 때문에, 합성에 의해 발생하는 아티팩트가 줄어든다.
계조 압축부(80)는, 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 수용하기 위한 압축 처리를, WDR 합성부(70)에 의해 생성된 WDR 영상에 대해 수행한다. 상기 압축 처리로서는, 룩업테이블(LUT : Look-Up Table)에 따른 톤 매핑이 이용되어도 좋지만, 어떠한 수법이 이용되어도 좋다.
계조 압축부(80)의 후단은, 예를 들면 베이어 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 및 컬러 매니지먼트 등을 포함한 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 신호의 데이터량은, 예를 들면 영상 처리 엔진으로의 입력 데이터 크기(size)에 적합하도록(예를 들면 12 bits 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기(size)를 줄이는 것만으로는 어두운 영상으로 변환되기 때문에, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.
이상에서 설명한 예에서는, 노광량이 다른 2 종류의 영상들(단노광 영상 및 장노광 영상)을 촬영하여 합성하는 예를 설명하였다. 그러나 합성에 사용되는 영상의 종류는 특별히 한정되지 않는다. 예를 들면 노광량이 다른 3 종류 이상의 영상들을 촬영하여 합성할 수도 있다.
보다 상세하게는, 단노광 영상, 중노광 영상 및 장노광 영상을 사용할 경우에는, 단노광 영상 및 중노광 영상으로부터 움직임을 검출하기 위한 움직임 검출부와, 중노광 영상 및 장노광 영상으로부터 움직임을 검출하기 위한 움직임 검출부가 마련되면 된다. 또한, 프레임 메모리에 중노광 영상을 기입하기 위한 영역이 마련되면 된다. 사용-영상 선택 정보의 포맷은 단노광 영상, 중노광 영상 및 장노광 영상의 3 종류로부터 사용 영상을 선택하기 위한 포맷이면 된다.
계속해서 본 발명의 제1 실시예가 발휘하는 효과의 예를 설명하기로 한다.
도 4 내지 6은, 본 발명의 제1 실시예가 발휘하는 효과의 예를 설명하기 위한 도면들이다.
도 4를 참조하면, 단노광 영상 및 장노광 영상이 도시되어 있다. 각각의 영상에는 실내에서 밝은 옥외를 촬영한 장면(scene)이 촬영되어 있다. 장노광 영상에서는, 창 영역이 완전히 포화되어 실내는 어둡게 촬영되어 있다. 단노광 영상에서는, 창 영역에 옥외의 구름이 포착되었으나 실내는 거의 새까맣다. 이러한 장면(scene)에서, "장노광 영상의 화소값이 문턱값 이상인 경우에 단노광 영상을 사용한다"라는 논리를 이용하여, 사용 영상을 선택하는 경우를 고려한다.
장노광 영상에서 점선으로 둘러싸인 평가 영역(R1)에 착안하여 장노광 영상에서의 평가 영역(R1)의 평균치를 산출하는 모습을 도 5에 도시한다. 창 영역은 12 비트 신호가 포화되어 있어서, 화소값은 4095, 어둡게 촬영된 실내는 단순화를 위해 화소값을 0으로 하고, 장노광 영상의 평가 영역(R1)의 크기(size)는 16 화소들 X 16 화소들로 한다. 여기에서 카메라가 수평으로 진동하면 평가 영역(R1)에 실내가 어두운 화소값들이 침입 및 탈출을 반복하게 된다.
예를 들면, 실내의 어두운 2 화소값들이 평가 영역(R1)에 침입했다면, 해당 영역의 장노광 영상의 평균 화소값은 3584로서 큰 폭으로 떨어진다. 4 화소값들이 침입한 경우에는 3072로서 한층 더 작은 값이 된다. 즉, 카메라가 4 화소들의 진폭으로 진동하면, 해당 영역의 장노광 영상의 평균 화소값은 4095와 3072 사이에서 변동하게 된다.
이와 같이 높은 콘트라스트의 가장자리(edge)가 존재하는 영역 부근의 장노광 영상의 화소값을 평가할 때에, 몇 개의 화소들의 약간의 진동에 의해 평가값이 크게 오르내리면서 영상 선택을 결정하기 위한 문턱값 부근을 오르내리는 경우가 있다. 도 6a에는, 장노광 영상의 화소값이 문턱값 부근을 오르내리도록 변화하는 모습이 도시되어 있다. 이 평가치에 따라 사용 영상을 선택하면, 해당 영역에 대해 단노광 영상이 선택되거나 장노광 영상이 선택되는 변동이 시간 방향으로 발생하게 된다.
도 6b는, 단노광 영상의 사용을 256, 장노광 영상의 사용을 0으로 정의한 경우, 사용-영상 선택 정보의 시간 방향의 움직임을 도시한 도면이다. 본 발명의 제1 실시예에 의하면, 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보 사이에 평균화가 이루어진다.
도 6c는, 평균화된 사용-영상 선택 정보의 시간 방향의 움직임을 도시한 도면이다. 도 6c를 참조하면, 사용-영상 선택 정보가 평균화되어 있기 때문에 사용-영상 선택 정보의 시간적인 변동이 억압된다. 사용-영상 선택 정보가 평균화되면, 단노광 영상과 장노광 영상의 혼합 비율이 작은 범위에 수용되기 때문에, 단노광 영상과 장노광 영상의 화질 차이를 쉽게 검지할 수 없다.
그러나 사용-영상 선택 정보를 시간 방향으로 가산 평균하면 움직임 물체에 대한 합성 처리가 문제가 된다. 움직임 물체를 합성할 때에 발생하는 아티팩트를 줄이기 위해 움직임 영역에서 단노광 영상을 선택하는 기술이 알려져 있는데, 움직임 영역에서 단노광 영상을 선택한 사용-영상 선택 정보를 시간 방향으로 가산 평균하면 움직임 영역에 장노광 영상이 혼합되어 합성 아티팩트가 발생한다. 이 문제에 대해 본 발명의 제1 실시예에서는, 사용-영상 선택 정보를 시간 방향으로 가산 평균한 후에 움직임 정보와 통합함으로써 움직임 물체의 합성 아티팩트의 저감도 가능하게 한다.
화면 전체가 패닝(panning) 및 틸팅(tilting) 동작이라고 볼 수 있는 광범위의 움직임을 할 경우에는 화면 전체가 움직임으로서 검출되기 때문에, 이 경우에는 WDR 합성 처리를 오프(off)시키거나 좌표 변환으로 위치를 맞추면서 합성하면 되고, 본 발명의 제1 실시예가 주목하는, 단노광 영상과 장노광 영상의 선택이 시간적으로 변동함에 따른 플리커도 눈에 띄지 않을 것이다.
그러나 몇 개의 화소들, 때로는 2 화소들 정도의 약간의 진동은 움직임으로서 검출 되지 않으며, 그러면서도 높은 콘트라스트 영역에서는 사용-영상 선택 정보를 시간적으로 변동시키는 원인이 되어, 합성 영상 중에서 플리커를 발생시킬 가능성이 있다. 특히, 화소 개수가 증가할수록 미소한 진동까지 쉽게 촬영되어 현상이 표면화될 우려가 있다. 본 발명의 제1 실시예에서는, 이러한 움직임 검출로는 검지가 어려운 미소한 진동이 WDR 합성 영상에 미치는 영향을 줄이는 기술이라는 점에서 주의가 필요하다.
(제2 실시예)
계속해서 본 발명의 제2 실시예에 대해 설명하기로 한다. 본 발명의 제1 실시예에서는, 종래 기술과 비교하여 과거의 사용-영상 선택 정보를 메모리에 보존 유지할 필요가 있으며, 메모리 영역의 증가나 데이터 전송량의 증가가 하드웨어면에서 장애물이 될 수 있다. 예를 들면, 도 6b에 도시한 사용-영상 선택 정보 포맷을 이용할 경우에는 "9 비트 × 영상 크기(size)"만큼의 정보를 보존 유지하게 된다. 본 발명의 제2 실시예에서는, 본 발명의 제1 실시예가 발휘하는 효과를 동일하게 발휘함과 동시에 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있는 구성에 대해 설명하기로 한다.
도 7은, 본 발명의 제2 실시예의 영상 처리 장치(1B)의 구성 및 동작을 도시한 도면이다. 도 7에 도시한 바와 같이 본 발명의 제2 실시예의 영상 처리 장치(1B)는, 본 발명의 제1 실시예의 영상 처리 장치(1A)와 비교하여 영상 센서(10)의 후단에 축소 처리부(15)를 더 포함한다. 이하, 축소 처리부(15)에 대해 주로 상세히 설명하기로 한다.
축소 처리부(15)는 장노광 영상 및 단노광 영상을 축소한다. 축소된 영상을 생성하는 방법은 특별히 한정되지 않지만, 영상을 구성하는 직사각형 영역별 평균치의 집합을 축소된 영상으로서 생성해도 좋다. 도 7을 참조하면, 각각의 축소된 영상은 축소된 장노광 영상 및 축소된 단노광 영상으로서 프레임 메모리(20B)에 기입되어 있다.
사용 영상 선택부(30)는, 축소된 단노광 영상 및 축소된 장노광 영상에 따라 사용-영상 선택 정보를 생성하는 것이 바람직하다. 상기 구성에 의하면, 원래의 단노광 영상 및 원래의 장노광 영상에 따라 사용-영상 선택 정보를 생성하는 경우보다 사용 영상 선택부(30)에 의해 생성되는 과거의 사용-영상 선택 정보의 크기(size)가 작아진다. 따라서, 과거의 사용-영상 선택 정보 메모리(52)의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다.
움직임 검출부(40)는 축소된 단노광 영상 및 축소된 장노광 영상에 따라 움직임 검출 정보를 생성해도 좋다. 이러한 구성에 의하면, 데이터 전송량의 증가를 억제할 수 있게 된다.
물론, 움직임 검출부(40)는 원래의 단노광 영상 및 원래의 장노광 영상에 따라 움직임 검출 정보를 생성해도 무방하다. 아울러, WDR 합성부(70)에 의해 사용되는 단노광 영상 및 장노광 영상은 축소되지 않아도 무방하다. 도 7을 참조하면, 축소되지 않은 단노광 영상 및 장노광 영상은 원래의 단노광 영상 및 원래의 장노광 영상으로서 프레임 메모리(20B)에 기입되어 있다.
본 발명의 제2 실시예가 발휘하는 효과에 대해 구체적인 예를 들어 설명하기로 한다. 예를 들어, 축소 비율을 종횡 각각 1/10로 설정하면 축소된 영상의 데이터량은 원래의 영상의 데이터량의 1/100이 된다. 따라서, 축소된 영상 2 프레임분(장노광 영상 및 단노광 영상)의 데이터량도 원래의 영상의 데이터량의 1/50(2%) 밖에 되지 않고, 과거의 사용-영상 선택 정보의 데이터량도 원래의 영상으로부터 생성되는 사용-영상 선택 정보의 데이터량의 1/100이면 된다. 따라서, 종래 기술과 비교하여 본 발명의 제2 실시예에서는 데이터량의 증가를 현저히 억제할 수 있게 된다.
움직임 검출에도 축소된 영상이 이용될 경우, 움직임 검출 정보의 공간 해상도도 1/100이 된다고 생각된다. 그러나 축소된 영상을 참조하여 움직임 검출을 하면 축소 과정에서 노이즈가 감소되어 품질이 좋은 영상을 사용하여 움직임 검출을 할 수 있다는 장점도 있다. 또한, 축소된 영상을 참조하여 움직임 검출을 하는 것은, 일정 영역을 참조하여 움직임 검출을 하는 것과 등가이므로, 공간적으로 고성능의(robust) 검출 결과를 얻을 수 있다는 장점도 있다. 또한, 움직임 검출 정보의 공간 해상도가 다소 저하되더라도, 소정의 크기를 가진 움직임 대상에 대해 움직임 적응 처리를 적용하기에 충분한 정밀도의 움직임 검출 정보를 얻을 수 있다. 따라서, 축소된 영상을 사용하는 본 구성의 실질적인 단점은 거의 없다고 볼 수 있다.
이상 본 발명의 제1 실시예 및 제2 실시예에 대해 설명하였다. 본 발명의 제1 실시예에 의하면, 장노광 영상 및 단노광 영상 중에서 어느 영상을 사용할지를 영역별로 선택하여 사용-영상 선택 정보를 생성하는 사용 영상 선택부(30)와, 과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는 평균화 처리부(50)와, 평균화된 사용-영상 선택 정보에 따라 장노광 영상과 단노광 영상을 합성함으로써 합성 영상을 생성하는 WDR 합성부(70)를 포함한, 영상 처리 장치(1A)가 제공된다.
상기 구성에 의하면, 단노광 영상 및 장노광 영상이 합성에 사용되기 위하여 선택되는 때에, 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보 자체가 아니라 평균화 처리부(50)에 의해 평균화된 사용-영상 선택 정보가 참조된다. 따라서 미소한 진동에 의해 선택되는 영상이 빈번하게 변동되는 현상을 억제할 수 있게 된다.
또한, 본 발명의 제2 실시예에 의하면, 장노광 영상 및 단노광 영상을 축소하여 축소된 장노광 영상 및 축소된 단노광 영상을 얻는 축소 처리부(15)를 포함하고, 사용 영상 선택부(30)는 축소된 장노광 영상 및 축소된 단노광 영상에 따라 사용-영상 선택 정보를 생성하는, 영상 처리 장치(1B)가 제공된다.
상기 구성에 의하면, 축소된 단노광 영상 및 축소된 장노광 영상에 따라 사용-영상 선택 정보가 생성되고, 생성된 사용-영상 선택 정보가 평균화 처리부(50)에 전송된다. 또한, 평균화 처리부(50)에서는 평균화된 사용-영상 선택 정보가 과거의 사용-영상 선택 정보로서 메모리에 기입된다. 따라서, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다.
해상도가 점점 높아지는 네트워크 카메라 분야에서, 합성 영상을 시간적으로 안정화하는 기술은 향후 더욱 중요해질 것으로 예상된다. 본 발명의 실시예는 종래 기술에서는 해결이 어려웠던, 미소한 진동에 의해 합성 영상중에 플리커가 발생하는 현상을 줄이는 것으로서, 합성 영상의 품질을 안정화시키면서도 움직임 물체의 합성 아티팩트를 줄이거나 현실적인 회로 규모로 실현할 수 있다는 점에서 우수하다.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
일반적인 동영상의 합성 분야에도 이용될 가능성이 있다.
1(1A,1B) : 영상 처리 장치, 10 : 영상 센서,
15 : 축소 처리부, 20(20A,20B) : 프레임 메모리,
30 : 사용 영상 선택부, 40 :　검출부,
50 : 평균화 처리부, 51 : IIR 필터,
52 : 메모리, 60　:　갱신부,
70 : WDR 합성부, 80 : 계조 압축부.

Claims (6)

  1. 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성하는 사용 영상 선택부;
    과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는 평균화 처리부; 및
    상기 평균화된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써, 합성 영상을 생성하는 합성부;를 포함한, 영상 처리 장치.
  2. 청구항 1에 있어서, 상기 영상 처리 장치는,
    움직임을 검출하여 움직임 검출 정보를 얻는 움직임 검출부; 및
    상기 움직임 검출 정보에 따라 상기 평균화된 사용-영상 선택 정보를 갱신하는 갱신부;를 포함하고,
    상기 합성부는,
    상기 갱신된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써 합성 영상을 생성하는, 영상 처리 장치.
  3. 청구항 2에 있어서, 상기 영상 처리 장치는,
    상기 장노광 영상 및 상기 단노광 영상을 축소하여 축소된 장노광 영상 및 축소된 단노광 영상을 얻는 축소 처리부를 포함하고,
    상기 사용 영상 선택부는,
    상기 축소된 장노광 영상 및 상기 축소된 단노광 영상에 따라 상기 사용-영상 선택 정보를 생성하는, 영상 처리 장치.
  4. 청구항 3에 있어서, 상기 움직임 검출부는,
    상기 축소된 장노광 영상 및 상기 축소된 단노광 영상에 따라 상기 움직임을 검출하는, 영상 처리 장치.
  5. 청구항 2에 있어서, 상기 갱신부는,
    움직임 영역에서 단노광 영상이 사용되도록 상기 평균화된 사용-영상 선택 정보를 갱신하는, 영상 처리 장치.
  6. 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성하는 단계;
    과거의 사용-영상 선택 정보와 현재 시각의 사용-영상 선택 정보를 평균화하여 평균화된 사용-영상 선택 정보를 얻는 단계; 및
    상기 평균화된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써 합성 영상을 생성하는 단계;를 포함한 영상 처리 방법.
KR1020140128283A 2014-04-11 2014-09-25 영상 처리 장치 및 영상 처리 방법 KR102182696B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/640,191 US9544505B2 (en) 2014-04-11 2015-03-06 Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
CN201510169329.5A CN104980652B (zh) 2014-04-11 2015-04-10 图像处理设备和图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-081999 2014-04-11
JP2014081999A JP2015204489A (ja) 2014-04-11 2014-04-11 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20150118003A true KR20150118003A (ko) 2015-10-21
KR102182696B1 KR102182696B1 (ko) 2020-11-24

Family

ID=54400308

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140128283A KR102182696B1 (ko) 2014-04-11 2014-09-25 영상 처리 장치 및 영상 처리 방법

Country Status (2)

Country Link
JP (1) JP2015204489A (ko)
KR (1) KR102182696B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200085523A (ko) * 2019-01-07 2020-07-15 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143484A (ja) 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2004229259A (ja) * 2002-11-26 2004-08-12 Keio Gijuku カラ−画像処理装置および処理方法
JP2011086275A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011135152A (ja) 2009-12-22 2011-07-07 Olympus Corp 撮像装置及び撮像方法
JP2012165213A (ja) 2011-02-07 2012-08-30 Canon Inc 画像処理装置
JP2012191360A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539280B2 (ja) * 2004-10-19 2010-09-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2012235332A (ja) * 2011-05-02 2012-11-29 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003143484A (ja) 2001-11-07 2003-05-16 Olympus Optical Co Ltd 画像合成装置
JP2004229259A (ja) * 2002-11-26 2004-08-12 Keio Gijuku カラ−画像処理装置および処理方法
JP2011086275A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2011135152A (ja) 2009-12-22 2011-07-07 Olympus Corp 撮像装置及び撮像方法
JP2012165213A (ja) 2011-02-07 2012-08-30 Canon Inc 画像処理装置
JP2012191360A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 画像合成装置、画像合成方法および画像合成プログラム
JP2013066142A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200085523A (ko) * 2019-01-07 2020-07-15 삼성전자주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Also Published As

Publication number Publication date
KR102182696B1 (ko) 2020-11-24
JP2015204489A (ja) 2015-11-16

Similar Documents

Publication Publication Date Title
CN104980652B (zh) 图像处理设备和图像处理方法
KR102127306B1 (ko) 움직임 검출 장치 및 움직임 검출 방법
US9001232B2 (en) Image processing apparatus, display apparatus and image capturing apparatus, with moving image including plural frames of images alternately captured with different exposures including correct and incorrect exposures
KR20150045877A (ko) 영상 처리 장치 및 영상 처리 방법
WO2014146605A1 (en) Video frame processing method
JP2021114696A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5882702B2 (ja) 撮像装置
JP6227935B2 (ja) 画像処理装置および画像処理方法
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
JP6543787B2 (ja) 画像処理装置および画像処理方法
JP6800806B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102182696B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102050415B1 (ko) 화상 처리 장치 및 화상 처리 방법
KR102282464B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113905185A (zh) 图像处理方法和装置
JP6603557B2 (ja) 画像処理装置および画像処理方法
JP2020197848A (ja) 画像処理装置、撮像装置、コンピュータプログラム、記憶媒体及び方法
JP2017098750A (ja) ベクトル算出装置およびベクトル算出方法
JP2006180382A (ja) 画像生成装置および画像生成方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant