KR102127306B1 - 움직임 검출 장치 및 움직임 검출 방법 - Google Patents
움직임 검출 장치 및 움직임 검출 방법 Download PDFInfo
- Publication number
- KR102127306B1 KR102127306B1 KR1020140128284A KR20140128284A KR102127306B1 KR 102127306 B1 KR102127306 B1 KR 102127306B1 KR 1020140128284 A KR1020140128284 A KR 1020140128284A KR 20140128284 A KR20140128284 A KR 20140128284A KR 102127306 B1 KR102127306 B1 KR 102127306B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- exposure image
- motion detection
- short exposure
- long exposure
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 317
- 238000000034 method Methods 0.000 title description 27
- 238000001514 detection method Methods 0.000 claims abstract description 242
- 230000010354 integration Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 description 21
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 229920006395 saturated elastomer Polymers 0.000 description 7
- 239000002131 composite material Substances 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 4
- 230000002411 adverse Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예의 움직임 검출 장치(1A)는 단노광-영상 움직임 검출부(41), 장노광-영상 움직임 검출부(42), 및 통합부(43)를 포함한다. 단노광-영상 움직임 검출부(41)는, 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성한다. 장노광-영상 움직임 검출부(42)는, 과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성한다. 통합부(3)는 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력한다.
Description
본 발명은, 움직임 검출 장치 및 움직임 검출 방법에 관한 것으로서, 보다 상세하게는, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)의 촬영 기능과 관련되어 있는 움직임 검출 장치 및 움직임 검출 방법에 관한 것이다.
최근, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)이라는 촬영 기능이 증가하고 있다. 이 촬영 기능에 의하면, 단시간 노광의 영상(이하, "단노광 영상"이라 함)과 장시간 노광의 영상(이하, "장노광 영상"이라 함)을 연속 촬영하여 합성함으로써, 영상 센서가 촬영 가능한 다이나믹 레인지를 벗어난 다이나믹 레인지를 얻을 수 있다. 이와 같은 촬영 기능은 역광의 구도 등 명암비가 매우 큰 장면에서 특히 큰 효과가 있다.
이와 같이 단노광 영상과 장노광 영상을 합성함에 있어서, 피사체에 움직임이 있으면 합성시에 어긋남이 발생하여 윤곽이 이중이 되는 아티팩트(artifact)가 발생한다. 이러한 아티팩트를 줄이기 위하여, 촬영된 영상으로부터 움직임을 검출하여 움직임 정보를 생성하고, 움직임 정보를 사용하여 적응적인 합성 처리를 하는 기법이 이용된다. 이와 같이 움직임 정보를 사용하여 아티팩트(artifact)를 줄이기 위한 기술로서 다양한 기술이 개시되어 있다.
예를 들어, 일본 특허공개 2013-066142호 공보(이하 특허 문헌 1이라 함)를 참조하면, 장노광 영상의 노광 시간이 길기 때문에 피사체의 움직임에 기인한 흐려짐(blur, bokeh, 이하 흐려짐이라 함)이 발생하는 점에 착안하여, 움직임이 있는 영역에서는 단노광 영상을 주로 사용하면서 합성 처리를 하여, 흐려짐(blur, bokeh)이나 아티팩트(artifact)가 없는 합성 결과를 얻는다.
여기에서 특허 문헌 1에 기재된 기술에서는, 움직임 검출은 단노광 영상과 장노광 영상을 노광 비율로 정규화한 다음에 양자의 차이값들을 연산함으로써 이루어진다. 또한, 특허 문헌 1에 기재된 기술에서는, 노이즈(noise)의 영향을 최대한 배제하기 위해 노이즈 성분을 추정하여 영상으로부터 노이즈 성분을 감산한 후에 차이값을 연산하는 방법도 채용하였다.
일본 특허공개 2013-240031호 공보(이하 특허 문헌 2라 함)에는, 움직임 물체의 위치 어긋남을 보정한 후에 합성함으로써 움직임 영역의 아티팩트(artifact)를 줄이는 기술이 개시되어 있다.
일본 특허공개 2013-093786호 공보(이하 특허 문헌 3이라 함)에는, 움직임량이 작을 때에는 복수매 합성 WDR의 결과를 출력하고, 움직임량이 클 때에는 1 매 영상의 계조 보정 결과를 출력함으로써 움직임 영역의 아티팩트를 줄이는 기술이 개시되어 있다.
그러나 특허 문헌 1에 기재된 기술에는 이하에 도시한 과제가 존재한다.
첫번째로, 장노광 영상 중의 포화 영역에서는 움직임 검출이 불가능하다는 점을 과제로 들 수 있다. 장노광 영상 중의 포화 영역에는 정보가 존재하지 않기 때문에 장노광 영상 중의 포화 영역과 단노광 영상을 비교하여 움직임을 검출하기 어렵다. 특히, 장노광 영상 중의 포화 영역이 크고 그 부근에 움직임이 있는 경우에는 움직임 검출의 정밀도가 저하되기 쉽다.
두번째로, 단노광 영상의 신호 진폭이 매우 작은 영역에서는 신호-잡음 비율(Signal-to-Noise Ratio)이 저하되어 움직임 검출이 어려워진다는 점을 과제로서 들 수 있다. 특허 문헌 1에 기재된 기술에서는 노이즈 성분을 추정하여 영향을 배제하였으나, 일단 신호-잡음 비율(Signal-to-Noise Ratio)이 저하된 신호를 정확하게 복원하기는 어렵고 노이즈 성분의 추정 정밀도에도 한계가 있다. 더 나아가, WDR(Wide Dynamic Range) 처리에서 다이나믹 레인지를 확장하려고 하면, 단노광 영상의 노광 시간이 매우 짧아져야 하므로, 단노광 영상 전체가 어둡게 촬영되어야 한다. 이 경우, 노이즈 진폭이 커지고, 단노광 영상과 장노광 영상을 비교하여 얻어지는 움직임 검출의 정밀도가 쉽게 저하된다.
세번째로, 장노광 영상과 단노광 영상의 화소값을 노광 비율로 정규화할 경우에 정규화의 정밀도가 확보하기 어렵다는 점을 과제로서 들 수 있다. 기본적으로, 노광 시간의 차이로써 노광 비율을 결정하는데, 실제로 촬영된 화소값로부터 산출되는 노광 비율과 설정된 노광 시간으로부터 상정된 노광 비율이 일치하지 않는 경우가 있다. 또한, 실제로 촬영된 화소값로부터 산출되는 노광 비율이 정수 정밀도가 아닌 소수점 정밀도로 얻어지는 경우가 있다. 따라서 장노광 영상과 단노광 영상의 화소값 레벨을 정확히 맞추기는 쉽지 않다. 정규화의 정밀도가 낮으면 움직임과 정규화의 정밀도 부족이 판별되지 않기 때문에 움직임 검출의 정밀도가 저하된다.
네번째로, 피사체가 플리커 광원을 포함할 경우 움직임 검출의 정밀도가 저하된다는 점을 과제로서 들 수 있다. 장노광 영상은 노광 시간이 길기 때문에 플리커의 영향을 받지는 않지만, 단노광 영상은 플리커의 영향을 받아 화면 일부의 화소값이 오르내리는 경우가 있다. 이 경우, 단노광 영상 중의 플리커가 움직임으로서 검출되어 WDR 처리에 악영향을 미치거나 WDR 출력 영상중에 플리커가 남는다. 따라서, 일반적으로, 피사체가 플리커를 포함할 경우에 움직임 검출을 무효로 한다.
또 특허 문헌 2, 3에 기재된 기술도 단노광 영상과 장노광 영상의 비교에 의해 움직임을 검출하기 때문에 특허 문헌 1에 기재된 기술이 갖는 과제와 동일한 문제를 가지고 있다.
본 발명의 실시예들은, 움직임 검출의 정밀도를 향상시킬 수 있는 움직임 검출 장치 및 방법을 제공하고자 한다.
본 발명의 일 측면의 움직임 검출 장치는 단노광-영상 움직임 검출부, 장노광-영상 움직임 검출부, 및 통합부를 포함한다.
상기 단노광-영상 움직임 검출부는, 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성한다.
상기 장노광-영상 움직임 검출부는, 과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성한다.
상기 통합부는 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력한다.
상기 구성에 의하면, 단노광 영상끼리의 비교에 의하여 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의하여 장노광 영상의 움직임 검출 정보가 생성되어, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의해 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도를 향상시킬 수 있다.
바람직하게는, 상기 단노광-영상 움직임 검출부는 상기 단노광 영상의 움직임과 제1 문턱값과의 관계에 따라 상기 단노광 영상의 움직임 검출 정보를 생성한다. 아울러, 상기 장노광-영상 움직임 검출부는 상기 제1 문턱값과 다른 제2 문턱값과 상기 장노광 영상의 움직임의 관계에 따라 상기 장노광 영상의 움직임 검출 정보를 생성한다.
물론, 상기 제1 문턱값 및 상기 제2 문턱값은 고정적으로 설정되어 있거나, 사용자에 의해 가변적으로 설정될 수 있다.
바람직하게는, 상기 통합부는, 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우, 상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보 중에서 어느 하나를 출력한다.
예를 들어, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있을 때, 상기 통합부는, 단노광 영상의 움직임 검출 정보를 출력하지 않고 장노광 영상의 움직임 검출 정보만을 출력한다. 이 경우, 상기 플리커(flicker)가 포함되어 있는 단노광 영상으로부터 생성된 단노광 영상의 움직임 검출 정보는 사용되지 않고, 플리커가 포함되지 않은 장노광 영상으로부터 생성된 장노광 영상의 움직임 검출 정보만이 사용될 수 있다.
바람직하게는, 상기 움직임 검출 장치는 사용 영상 선택부, 갱신부, 및 합성부를 포함한다.
상기 사용 영상 선택부는 영상의 영역 별로 사용될 장노광 영상 또는 단노광 영상을 선택하기 위한 사용-영상 선택 정보를 생성한다.
상기 갱신부는 상기 통합된 움직임 검출 정보에 따라 상기 사용-영상 선택 정보를 갱신한다.
상기 합성부는, 상기 갱신된 사용-영상 선택 정보에 따라 상기 장노광 영상과 상기 단노광 영상을 합성함으로써, 합성 영상을 생성한다.
상기 구성에 의하면, 생성된 사용-영상 선택 정보와 통합된 움직임 검출 정보에 따라, 보다 안정적인 합성 영상이 생성된다.
바람직하게는, 상기 움직임 검출 장치는 상기 과거의 장노광 영상, 상기 현재 시각의 장노광 영상, 상기 과거의 단노광 영상, 및 상기 현재 시각의 단노광 영상을 축소하는 축소 처리부를 구비한다. 또한, 상기 단노광-영상 움직임 검출부는 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 상기 단노광 영상의 움직임 검출 정보를 생성한다. 아울러, 상기 장노광-영상 움직임 검출부는 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 상기 장노광 영상의 움직임 검출 정보를 생성한다.
상기 구성에 의하면, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 메모리에 기입되어, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 움직임 검출부에 전송된다. 또한, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 메모리에 기입되어, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 움직임 검출부에 전송된다. 따라서 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있다.
본 발명의 다른 측면의 움직임 검출 방법은,
과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성함;
과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성함; 및
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력함;을 포함한다.
상기 방법에 의하면, 단노광 영상끼리의 비교에 의해 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의해 장노광 영상의 움직임 검출 정보가 생성되어, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의하여 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도가 향상될 수 있다.
상기한 바와 같이, 본 발명의 상기 움직임 검출 방법 및 장치에 의하면 움직임 검출의 정밀도가 향상될 수 있다.
도 1은 본 발명의 제1 실시예의 움직임 검출 장치의 구성을 보여주는 블록도이다.
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 보여주는 도면이다.
도 3은 도 1에서의 움직임 검출부의 상세한 구성을 보여주는 블록도이다.
도 4는 도 1에서의 사용 영상 선택부 및 갱신부에 의하여 수행되는 사용 영상 선택의 과정을 보여주는 흐름도이다.
도 5는 도 1의 제1 실시예가 발휘하는 효과의 제1 예를 설명하기 위한 도면이다.
도 6은 제1 실시예가 발휘하는 효과의 제2 예를 설명하기 위한 도면이다.
도 7은 본 발명의 제1 실시예의 움직임 검출 장치의 구성을 보여주는 블록도이다.
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 보여주는 도면이다.
도 3은 도 1에서의 움직임 검출부의 상세한 구성을 보여주는 블록도이다.
도 4는 도 1에서의 사용 영상 선택부 및 갱신부에 의하여 수행되는 사용 영상 선택의 과정을 보여주는 흐름도이다.
도 5는 도 1의 제1 실시예가 발휘하는 효과의 제1 예를 설명하기 위한 도면이다.
도 6은 제1 실시예가 발휘하는 효과의 제2 예를 설명하기 위한 도면이다.
도 7은 본 발명의 제1 실시예의 움직임 검출 장치의 구성을 보여주는 블록도이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한, 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명된다. 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.
(제1 실시예)
본 발명의 제1 실시예에 대해 설명하기로 한다. 우선, 본 발명의 제1 실시예에 관한 움직임 검출 장치(1A)에 대하여 설명하기로 한다.
도 1은 본 발명의 제1 실시예의 움직임 검출 장치(1A)의 구성을 보여준다.
도 1을 참조하면, 움직임 검출 장치(1A)는 영상 센서(10), 프레임 메모리(20A), 사용 영상 선택부(30), 움직임 검출부(40), 갱신부(50), WDR 합성부(70) 및 계조 압축부(80)를 구비한다. 이하, 움직임 검출 장치(1A)가 구비한 각 기능 블록의 기능에 대해 차례대로 상세히 설명하기로 한다.
움직임 검출 장치(1A)는, 영상 센서(10)의 노광 설정을 바꾸어 2매의 영상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 하고 그 다음으로 장노광 촬영을 하는 것으로 한다. 하지만, 장노광 촬영을 먼저 하고 그 다음에 단노광 촬영을 해도 좋다. 이와 같이 하여 촬영된 단노광 영상 및 장노광 영상은 쌍으로 프레임 메모리(20A)에 기입된다. 장노광 영상 및 단노광 영상의 촬영과 촬영된 장노광 영상 및 단노광 영상의 프레임 메모리(20A)로의 기입은 연속적으로 이루어진다.
도 2는 장노광 영상 및 단노광 영상의 쌍이 연속적으로 촬영되는 모습을 보여준다.
도 2를 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t), 장노광 영상(t), 단노광 영상(t＋1) 및 장노광 영상(t＋1)이 시계열을 따라 촬영되는 모습이 도시되어 있다. 도 2에서 각 영상의 촬영 시각은 괄호 안에 표시되어 있는데, 본 명세서 및 본 도면에서도 동일하게 각 영상의 촬영 시각이 괄호 안에 표시되는 경우가 있다.
여기에서 본 명세서에서는, 적어도 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상이 프레임 메모리(20A)에 남아 있으면 된다. 따라서 장노광 영상 및 단노광 영상이 촬영되는 간격은 특별히 한정되지 않는다. 또한, 장노광 영상 및 단노광 영상은 매(每)프레임이 프레임 메모리(20A)에 기입되어도 좋고, 복수 프레임으로 한 번에 프레임 메모리(20A)에 기입되어도 좋다.
예를 들어, 도 1에 도시된 예와 같이 장노광 영상 및 단노광 영상의 쌍을 기입하는 영역이 2 쌍 존재하는 경우, 움직임 검출 장치(1A)는 장노광 영상 및 단노광 영상의 쌍을 2 쌍의 영역에 대해 번갈아 기입하면 된다. 예를 들어, 프레임 메모리(20A)에 기입된 단노광 영상(t-1) 및 장노광 영상(t-1)은 단노광 영상(t+1) 및 장노광 영상(t+1)에 의해 덮어쓰여질 수 있다.
아울러, 도 1에 도시한 예에서는, 움직임 검출 장치(1A)는 장노광 영상 및 단노광 영상을 출력하기 위한 공통의 계통을 1개 가지고 영상 센서(10)가 장노광 영상과 단노광 영상을 시분할로 출력하는 것으로 하였으나, 장노광 영상과 단노광 영상이 동시에 출력되어도 좋다. 이러한 경우, 움직임 검출 장치(1A)는 영상 센서(10)로부터 장노광 영상을 출력하기 위한 계통과 단노광 영상을 출력하기 위한 계통, 2 개의 계통들을 가지면 된다. 각각의 셔터 타임은, 예를 들어 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 의해 결정된다.
본 발명의 실시예에서는, 단노광 영상 및 장노광 영상이라는 용어를 사용하는데, 이들 용어는, 촬영된 2 개의 영상 각각의 절대적인 노광 시간으로 한정되지는 않는다. 따라서 노광 시간이 다른 2 개의 영상이 촬영된 경우에 해당 2 개의 영상 중 상대적으로 노광 시간이 짧은 영상이 단노광 영상에 상당하며, 상대적으로 노광 시간이 긴 영상이 장노광 영상에 상당한다.
영상 센서(10)는, 외부로부터의 광을 촬상 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하여 해당 전하량을 전기 신호로 변환하는 영상 센서로 구성된다. 영상 센서의 종류는 특별히 한정되지 않으며, 예를 들어 CCD(Charge Coupled Deｖice)여도 좋고 CMOS(Complementary Metal Oxide Semiconductor)여도 좋다.
사용 영상 선택부(30)는, 프레임 메모리(20A)로부터 독출한 단노광 영상(t)과 장노광 영상(t)을 참조하고 장노광 영상(t) 및 단노광 영상(t) 각각의 포화 상태나 움직임 등을 검출하여, 단노광 영상(t)과 장노광 영상(t) 중 어느 한쪽을 사용 영상으로서 선택하기 위한 사용-영상 선택 정보를 생성한다. 단노광 영상과 장노광 영상 중에서 어느 한쪽을 선택하는 알고리즘으로서는 다양한 알고리즘이 상정된다.
예를 들어, 장노광 영상에서 포화된 영역은 단노광 영상에서는 포화되지 않을 가능성이 높기 때문에, 해당 영역의 사용 영상으로서는 단노광 영상을 선택하면 된다. 그러나 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 아티팩트(artifact)가 발생할 수 있다. 따라서 움직임을 검출하고 움직임에 따라 윤곽이 이중이 되는 현상을 줄이는 처리를 해도 좋다. 상기 처리를 포함한, 단노광 영상과 장노광 영상 중에서 어느 한쪽을 선택하는 알고리즘은 특별히 한정되지 않는다.
아울러 상기한 바와 같이 사용-영상 선택 정보는 단노광 영상 및 장노광 영상 중에서 어느 쪽을 선택할지를 나타내는 이진 데이터의 집합이어도 좋지만, 장노광 영상 및 단노광 영상 각각을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 집합이어도 좋다. 예를 들어, 사용 영상 선택부(30)는 장노광 영상의 포화 정도가 강할수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 또한, 사용 영상 선택부(30)는 단노광 영상 또는 장노광 영상의 움직임이 클수록 단노광 영상의 혼합 비율을 크게 해도 좋다. 단노광 영상과 장노광 영상의 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.
움직임 검출부(40)는 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)을 참조하여 움직임을 검출한다. 움직임 검출부(40)가 가진 기능의 상세에 대해 도 3을 참조하여 설명하기로 한다.
도 3은 도 1에서의 움직임 검출부의 상세한 구성을 보여준다.
도 3을 참조하면, 움직임 검출부(40)는 단노광-영상 움직임 검출부(41), 장노광-영상 움직임 검출부(42) 및 통합부(43)를 구비한다. 이하, 단노광-영상 움직임 검출부(41), 장노광-영상 움직임 검출부(42) 및 통합부(43) 각각이 가진 기능에 대해 설명하기로 한다.
단노광-영상 움직임 검출부(41)는, 단노광 영상(t-1)과 단노광 영상(t)에 따라 단노광 영상의 움직임을 검출하고 단노광 영상의 움직임에 따라 단노광 영상의 움직임 검출 정보를 생성한다. 단노광 영상의 움직임 검출 정보의 생성 수법은 특별히 한정되지 않는다. 예를 들어, 단노광-영상 움직임 검출부(41)는, 검출한 단노광 영상의 움직임과 제1 문턱값(이하, "단노광-영상 움직임 검출용 문턱값이라 함)과의 관계에 따라 단노광 영상의 움직임 검출 정보를 생성하면 된다.
구체적으로는 단노광-영상 움직임 검출부(41)는 단노광 영상(t-1)과 단노광 영상(t)에서, 대응하는 영역의 화소값 또는 구배의 차이값을 검출하고, 차이값이 단노광-영상 움직임 검출용 문턱값보다 큰 영역을 움직임 영역으로서 검출해도 좋다. 한편, 단노광-영상 움직임 검출부(41)는, 차이값이 단노광-영상 움직임 검출용 문턱값보다 작은 영역을 비움직임 영역으로서 검출해도 좋다. 차이값이 단노광-영상 움직임 검출용 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 단노광-영상 움직임 검출부(41)는 이러한 검출 결과를 단노광 영상의 움직임 검출 정보로서 생성해도 좋다.
장노광-영상 움직임 검출부(42)는, 장노광 영상(t-1)과 장노광 영상(t)에 따라 장노광 영상의 움직임을 검출하고, 장노광 영상의 움직임에 따라 장노광 영상의 움직임 검출 정보를 생성한다. 장노광 영상의 움직임 검출 정보의 생성 수법은 특별히 한정되지는 않는다. 예를 들어 장노광-영상 움직임 검출부(42)는, 검출한 장노광 영상의 움직임과 제2 문턱값(이하, "장노광-영상 움직임 검출용 문턱값"이라 함)과의 관계에 따라 장노광 영상의 움직임 검출 정보를 생성하면 된다.
구체적으로는, 장노광-영상 움직임 검출부(42)는 장노광 영상(t-1)과 장노광 영상(t)에서, 대응하는 영역의 화소값 또는 구배의 차이값을 검출하고, 차이값이 장노광-영상 움직임 검출용 문턱값보다 큰 영역을 움직임 영역으로서 검출해도 좋다. 한편, 장노광-영상 움직임 검출부(42)는, 차이값이 장노광-영상 움직임 검출용 문턱값보다 작은 영역을 비움직임 영역으로서 검출해도 좋다. 차이값이 장노광-영상 움직임 검출용 문턱값과 동일한 영역은 어느 영역으로서 검출되어도 좋다. 장노광-영상 움직임 검출부(42)는 이러한 검출 결과를 장노광 영상의 움직임 검출 정보로서 생성해도 좋다.
통합부(43)는 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력한다. 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 어떻게 통합할지에 대해서는 특별히 한정되지 않는다. 예를 들어 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 적어도 어느 한쪽에서 움직임 영역으로 되어 있는 영역을 움직임 영역으로 해도 좋다. 한편, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 양쪽에서 비움직임 영역으로 되어 있는 영역을 비움직임 영역으로 해도 좋다.
이와 같이 하여 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보가 통합됨으로써, 움직임 검출의 정밀도가 향상될 것으로 기대된다. 아울러, 상기 단노광-영상 움직임 검출용 문턱값 및 장노광-영상 움직임 검출용 문턱값은 미리 고정적으로 설정되거나, 사용자에 의해 가변적으로 설정될 수 있다. 또한, 단노광-영상 움직임 검출용 문턱값과 장노광-영상 움직임 검출용 문턱값은 서로 다른 값이 설정되어도 좋다. 여기에서 단노광-영상 움직임 검출용 문턱값과 장노광-영상 움직임 검출용 문턱값은 어느 쪽이 큰 값이든 상관없다.
예를 들어, 화소값의 차이값과 문턱값의 관계에 따라 움직임 검출 정보가 생성되는 경우, 단노광-영상 움직임 검출용 문턱값은 장노광-영상 움직임 검출용 문턱값보다 큰 값이면 좋다. 장노광 영상의 경우, 포함되는 노이즈가 적기 때문에, 미소한 화소값의 차이값이 발생하는 영역도 움직임 영역이라고 판정되면 움직임 검출의 정밀도가 높아진다. 왜냐하면, 단노광 영상은 진폭이 큰 노이즈(noise)를 포함하는 경향이 있기 때문에, 노이즈가 생기는 영역이 움직임 영역으로 잘못 판정되는 것을 방지할 수 있기 때문이다.
또한, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 항상 통합해도 좋지만, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는 경우가 있어도 좋다. 예를 들어, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우에, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 어느 쪽을 출력해도 좋다. 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용의 설정은 사용자에 의해 이루어지도록 해도 좋다.
장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보 중 어느 쪽을 출력할지는 특별히 한정되지 않는다. 여기에서, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는 경우의 예로서, 피사체가 플리커(flicker)를 포함할 때 등을 들 수 있다. 일반적으로, 장노광 영상은 노광 시간이 길기 때문에 플리커를 포함하지 않고, 단노광 영상에만 플리커가 포함된다. 또한, 플리커는 이동하는 경우가 많아 실제로는 오브젝트가 전혀 이동하지 않았는데도 플리커가 움직임으로 검출되는 경우가 있다. 그 결과, 단노광 영상의 움직임 검출 정보를 사용하면 WDR 합성 결과에 악영향을 주는 경우가 있다.
이러한 악영향을 방지하기 위하여, 통합부(43)는, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용이 설정되어 있을 때에, 단노광 영상의 움직임 검출 정보를 출력하지 않고 장노광 영상의 움직임 검출 정보만을 출력하면 된다. 이 경우, 통합부(43)의 후단에서는, 플리커가 포함되어 있는 단노광 영상으로부터 생성된 단노광 영상의 움직임 검출 정보는 사용되지 않고, 플리커가 포함되지 않은 장노광 영상으로부터 생성된 장노광 영상의 움직임 검출 정보만이 사용된다.
갱신부(50)는, 움직임 검출부(40)의 통합부(43)에 의해 통합된 움직임 검출 정보에 따라, 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보를 갱신한다. 구체적으로는, 갱신부(50)는, 통합된 움직임 검출 정보를 참조하여 움직임 영역에서는 사용 영상으로서 단노광 영상이 선택되도록 사용-영상 선택 정보를 갱신하면 된다. 그러면 합성 영상의 윤곽이 이중이 되는 아티팩트(artifact)가 줄어들 수 있다. 한편, 갱신부(50)는, 통합된 움직임 검출 정보를 참조하여, 비움직임 영역에서 사용 영상 선택부(30)에 의해 생성된 사용-영상 선택 정보를 갱신하지 않도록 하면 된다.
여기에서 사용 영상 선택의 동작에 대해 더욱 상세히 설명하기로 한다.
도 4는 도 1에서의 사용 영상 선택부(30) 및 갱신부(50)에 의하여 수행되는 사용 영상 선택의 과정을 보여준다. 도 4에 도시된 사용 영상 선택의 과정은 일 예에 불과하다. 즉, 사용 영상 선택의 과정은 도 4에 도시한 예로 한정되지 않는다.
도 4를 참조하면, 통합된 움직임 검출 정보가 참조되어, 대상의 화소가 움직임 영역이면(단계 S11에서 "예"이면), 단노광 영상이 선택된다(단계 S13). 한편 대상의 화소가 비움직임 영역인 경우(단계 S11에서 "아니오"인 경우), 장노광 영상이 포화되어 있으면(단계 S12에서 "예"이면) 단노광 영상이 선택되고(단계 S13), 장노광 영상이 포화되어 있지 않으면(단계 S12에서 "아니오"이면) 장노광 영상이 선택된다(단계 S14).
여기에서 모든 화소들에 대한 사용 영상 선택의 동작이 아직 종료되지 않은 경우(단계 S15에서 "아니오"인 경우), 단계 S11로 동작이 이행되고, 다음 화소에 대한 사용 영상 선택의 동작이 계속해서 이루어진다. 모든 화소들에 대한 사용 영상 선택의 동작이 종료된 경우(단계 S15에서 "예"인 경우), 사용 영상 선택의 동작이 종료된다.
WDR 합성부(70)는, 갱신부(50)로부터의 갱신된 사용-영상 선택 정보를 받아 해당 갱신된 사용-영상 선택 정보에 따라 단노광 영상과 장노광 영상을 합성함으로써 WDR 영상을 생성한다. 구체적으로는, WDR 합성부(70)는, 갱신된 사용-영상 선택 정보를 참조하여 단노광 영상 사용 영역에는 단노광 영상을 사용하고, 장노광 영상 사용 영역에는 장노광 영상을 사용하여 합성 영상을 생성한다.
WDR 합성부(70)에 의한 합성 기법은 특별히 한정되지 않는다. 예를 들어, 장노광 영상을 선택한다는 내용을 나타내는 값이 영(0)이며, 단노광 영상을 선택한다는 내용을 나타내는 값이 일(1)일 수 있다. 이 경우, WDR 합성부(70)는, 사용-영상 선택 정보를 구성하는 혼합 비율을 α로 하여, 장노광 영상과 단노광 영상에서 대응하는 화소에 대해 "α × (단노광 영상의 화소값) + (1-α) × (장노광 영상의 화소값)"을 산출하고 산출 결과를 합성 후의 영상(WDR 영상)으로 출력할 수 있다.
계조 압축부(80)는, 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 수용하기 위한 압축 처리를, WDR 합성부(70)에 의해 생성된 WDR 영상에 대해 행한다. 상기 압축 처리로서는, 룩-업 테이블(Look-Up Table)에 따른 톤 매핑(tone mapping)이 이용되어도 좋지만, 어떠한 기법이 이용되어도 좋다.
계조 압축부(80)의 후단은, 예를 들어 베이어 데이터로부터 RGB 프레인을 생성하는 디모자이크부, 윤곽 강조부, 컬러 매니지먼트 등을 포함한 영상 처리 엔진에 접속된다. 따라서, 계조 압축부(80)로부터의 출력 신호의 데이터 양은, 예를 들어 영상 처리 엔진으로의 입력 데이터 크기(size)에 적합하게(예를 들어 12bit 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기(size)를 줄이는 것만으로는 어두운 영상으로 변환되기 때문에, 인간의 시각 특성에 가깝게 고휘도측이 강하게 압축되면 좋다.
이상에서 설명한 예에서는, 노광량이 다른 2 종류의 영상(단노광 영상 및 장노광 영상)을 촬영하여 합성하는 예를 설명하였다. 그러나 합성에 사용되는 영상의 종류는 특별히 한정되지 않는다. 예를 들어, 노광량이 다른 3종류 이상의 영상을 촬영하여 합성하는 예에도 본 실시예는 적용될 수 있다.
예를 들어, 단노광 영상, 중노광 영상 및 장노광 영상을 사용할 경우, 3 개의 영상 각각에 대응하는 움직임 검출부가 마련되어 3 개의 움직임 검출 정보가 통합된다. 이 때 움직임 검출 정보를 통합하지 않는다고 설정되어 있는 경우, 플리커가 포함되지 않은 영상의 움직임 검출 정보만을 사용하도록 하면 된다. 플리커가 포함되지 않은 영상은, 플리커의 주파수 등에 의해 변화될 가능성이 있기 때문에 특별히 한정되지는 않지만, 장노광 영상이어도 좋다.
계속해서 본 발명의 제1 실시예가 발휘하는 효과의 예를 설명하기로 한다.
도 5는 도 1의 제1 실시예가 발휘하는 효과의 제1 예를 설명하기 위한 도면이다.
도 5를 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)이 도시되어 있다. 각각의 영상에는 실내에서 밝은 옥외를 촬영한 장면(scene)이 촬영되어 있다. 그리고, 단노광 영상에는 창 밖의 구름이 이동하고 있는 모습이 촬영되었으나, 장노광 영상에서는 창 영역이 포화되었다.
이러한 장면(scene)에서는, 단노광 영상과 장노광 영상을 비교하는 종래 기술을 이용한 경우에는 구름의 움직임을 검출할 수 없다. 구체적으로는, 종래 기술을 이용한 경우에는 장노광 영상의 포화 영역에는 정보가 존재하지 않기 때문에, 단노광 영상에 찍혀 있는 구름이 움직이고 있는지 정지되어 있는지를 구별할 수 없다. 도 5를 참조하면, 종래 기술을 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "종래 기술의 움직임 검출 정보"로서 도시되어 있다.
한편, 본 발명의 제1 실시예에서는, 같은 노광량으로 촬영된 과거 및 현재 시각의 영상으로부터 움직임을 검출한다. 따라서 과거 및 현재 시각의 단노광 영상을 비교함으로써 구름의 움직임을 검출할 수 있다. 도 5를 참조하면, 본 발명의 실시예를 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "본 실시예의 움직임 검출 정보"로서 도시되어 있다. 또한, 본 발명의 제1 실시예에 의하면, 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합됨으로써, 정확도가 높은 움직임 검출 정보를 얻을 수 있다.
이와 같이 본 발명의 제1 실시예에서 같은 노광 조건으로 촬영한 영상끼리 움직임 검출을 하는 것은 포화 이외의 방해에 대해서도 유효하게 적용될 수 있다. 예를 들어, 장노광 영상에 흐려짐(blur, bokeh)이 존재하는 경우라 해도, 단노광 영상끼리의 비교에 의해 움직임을 검출하면 흐려짐(blur, bokeh)이 없는 영상끼리의 비교에 의해 움직임을 검출할 수 있기 때문에, 정확도가 높은 움직임 검출 결과를 얻을 수 있다.
또한, 단노광 영상이 진폭이 큰 노이즈를 포함한 경우에도, 노이즈가 적은 장노광 영상끼리의 비교에 의해 움직임을 검출함으로써, 노이즈의 영향을 고려하지 않은 정확한 움직임을 검출할 수 있다. 또한, 노이즈를 포함한 단노광 영상끼리의 비교에 의해 움직임을 검출함으로써, 노이즈에 의한 오류 검출을 포함하지 않은 명확한 움직임을 검출할 수 있다. 그리고 양자의 움직임 검출 정보를 통합함으로써 정확도가 높은 움직임 검출 정보를 얻을 수 있다.
나아가 종래 기술에서는, 단노광 영상과 장노광 영상을 노광 비율에 따라 정규화하고 나서 비교할 필요가 있었기 때문에, 정규화의 정밀도가 문제가 되는 경우가 있었다. 한편 본 발명의 제1 실시예에서는, 같은 노광 조건으로 촬영한 영상끼리 움직임 검출을 하면 되므로, 정규화의 정밀도가 문제가 되지 않아, 노광 비율에 의하지 않고 항상 정확한 움직임 검출 정보를 얻을 수 있다.
도 6은 제1 실시예가 발휘하는 효과의 제2 예를 설명하기 위한 도면이다.
도 6을 참조하면, 단노광 영상(t-1), 장노광 영상(t-1), 단노광 영상(t) 및 장노광 영상(t)이 도시되어 있다. 각각의 영상에는 실내에서 밝은 옥외를 촬영한 장면(scene)이 촬영되어 있다. 그리고, 단노광 영상(t-1)의 벽 영역에는 실내등이 플리커 광원이 되어 플리커 밴드가 나타나 있으며, 단노광 영상(t)에서는 플리커 밴드의 위치가 수직 방향으로 이동되어 있다. 한편 장노광 영상에는 플리커 밴드는 촬영되지 않았다.
이러한 장면(scene)에서는, 단노광 영상과 장노광 영상을 비교하는 종래 기술을 이용한 경우, 플리커 밴드를 움직임으로서 검출하기 때문에 넓은 범위에서 오류 검출이 발생한다. 도 6을 참조하면, 종래 기술을 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "종래 기술의 움직임 검출 정보"로서 도시되어 있다. 이 "종래 기술의 움직임 검출 정보"를 참조하면 플리커 밴드가 움직임으로서 검출된다.
한편 본 발명의 제1 실시예를 이용한 경우에는, 같은 노광 조건으로 촬영된 영상끼리의 비교에 의해 움직임 검출을 행한다. 따라서, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하지 않는다는 내용을 설정하여 플리커의 영향을 받지 않은 장노광 영상의 움직임 검출 정보만을 사용하면, 플리커 밴드를 움직임으로 판정하지 않아 정확한 움직임 검출 결과를 얻을 수 있다. 도 6을 참조하면, 본 발명의 실시예를 이용한 경우에 얻어지는 움직임 검출 정보의 예가 "본 실시예의 움직임 검출 정보"로서 도시되어 있다. 이 "본 실시예의 움직임 검출 정보"를 참조하면 플리커 밴드가 움직임으로서 검출되지 않는다.
(제2 실시예)
계속해서 본 발명의 제2 실시예에 대해 설명하기로 한다. 본 발명의 제1 실시예의 경우, 과거의 단노광 영상 및 장노광 영상을 메모리에 보존 유지할 필요가 있으며, 메모리 영역의 증가나 데이터 전송량의 증가가 하드웨어면에서 장애물이 될 수도 있다. 본 발명의 제2 실시예에 의하면, 본 발명의 제1 실시예가 발휘하는 효과를 동일하게 발휘함과 동시에, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있다.
도 7은 본 발명의 제1 실시예의 움직임 검출 장치(1B)의 구성을 보여준다. 도 7을 참조하면, 본 발명의 제2 실시예에 관한 움직임 검출 장치(1B)는, 본 발명의 제1 실시예의 움직임 검출 장치(1A)와 비교하여 영상 센서(10)의 후단에 축소 처리부(15)를 더 구비한다. 이하, 축소 처리부(15)에 대해 주로 상세히 설명하기로 한다.
축소 처리부(15)는 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상을 축소한다. 축소 영상을 생성하는 수법은 특별히 한정되지 않지만, 영상을 구성하는 직사각형 영역마다의 평균치의 집합을 축소 영상으로서 생성해도 좋다. 도 7을 참조하면, 각각의 축소 영상으로서 축소 장노광 영상(t-1), 축소 장노광 영상(t), 축소 단노광 영상(t-1) 및 축소 단노광 영상(t)이 프레임 메모리(20B)에 기입되어 있다.
장노광-영상 움직임 검출부(42)는, 축소 장노광 영상(t-1) 및 축소 장노광 영상(t)에 따라 장노광 영상의 움직임 검출 정보를 생성한다. 또한, 단노광-영상 움직임 검출부(41)는, 축소 단노광 영상(t-1) 및 축소 단노광 영상(t)에 따라 단노광 영상의 움직임 검출 정보를 생성한다. 상기 구성에 의하면, 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다. 아울러, 사용 영상 선택부(30)에 의해 참조되는 단노광 영상 및 장노광 영상은 축소되지 않아도 된다. 도 7을 참조하면, 축소되지 않은 단노광 영상 및 장노광 영상은 원래의 단노광 영상(t) 및 원래의 장노광 영상(t)으로서 프레임 메모리(20B)에 기입되어 있다.
본 발명의 제2 실시예가 발휘하는 효과에 대해 구체적인 예를 들어 설명하기로 한다. 예를 들어, 축소 비율을 종횡 각각 1/10로 설정하면 축소 영상의 데이터 양은 원래의 영상의 데이터 양의 1/100이 된다. 따라서 축소 영상 4 프레임들(과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상, 및 현재 시각의 단노광 영상)의 데이터 양도 원래의 영상의 데이터 양의 1/25(4%) 밖에 되지 않기 때문에, 종래 기술과 비교하여 본 발명의 제2 실시예에서는 데이터 양의 증가를 현저히 억제할 수 있게 된다.
물론 움직임 검출 정보의 공간 해상도도 1/100이 된다고 생각된다. 그러나, 축소 영상을 참조하여 움직임 검출을 하면 축소 과정에서 노이즈가 감소되어 고품질의 영상을 사용하여 움직임 검출을 할 수 있다는 장점도 있다. 또한, 축소 영상을 참조하여 움직임 검출을 하는 것은, 일정 영역을 참조하여 움직임 검출을 하는 것과 등가(等價)이므로, 공간적으로 고성능의(robust) 검출 결과를 얻을 수 있다는 장점도 있다. 또한, 움직임 검출 정보의 공간 해상도가 다소 저하되더라도, 소정의 크기를 가진 움직임 오브젝트에 대해 움직임 적응 처리를 적용하기에 충분한 정밀도의 움직임 검출 정보를 얻을 수 있기 때문에, 축소 영상을 사용하는 본 구성의 실질적인 단점은 거의 없다고 볼 수 있다.
이상, 본 발명의 제1 실시예 및 제2 실시예에 대해 설명하였다. 본 발명의 제1 실시예에 의하면, 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여 단노광 영상의 움직임 검출 정보를 생성하는 단노광-영상 움직임 검출부(41)와, 과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여 장노광 영상의 움직임 검출 정보를 생성하는 장노광-영상 움직임 검출부(42)와, 장노광 영상의 움직임 검출 정보 및 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력하는 통합부(43)를 구비한 움직임 검출 장치(1A)가 제공된다.
상기 구성에 의하면, 단노광 영상끼리의 비교에 의해 단노광 영상의 움직임 검출 정보가 생성되고, 장노광 영상끼리의 비교에 의해 장노광 영상의 움직임 검출 정보가 생성되어 단노광 영상의 움직임 검출 정보와 장노광 영상의 움직임 검출 정보가 통합된다. 따라서, 노광 조건이 같은 영상끼리의 비교에 의해 생성된 움직임 검출 정보가 통합되기 때문에, 움직임 검출의 정밀도를 향상시킬 수 있다.
또한, 본 발명의 제2 실시예에 의하면, 과거의 장노광 영상, 현재 시각의 장노광 영상, 과거의 단노광 영상 및 현재 시각의 단노광 영상을 축소하는 축소 처리부(15)를 구비하고, 단노광-영상 움직임 검출부(41)는, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임 검출 정보를 생성하고, 장노광-영상 움직임 검출부(42)는, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임 검출 정보를 생성하는 움직임 검출 장치(1B)가 제공된다.
상기 구성에 의하면, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 메모리에 기입되고, 축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상이 움직임 검출부에 전송된다. 또한, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 메모리에 기입되고, 축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상이 움직임 검출부에 전송된다. 따라서 메모리 영역의 증가나 데이터 전송량의 증가를 억제할 수 있게 된다.
본 발명의 기술 분야에 있어서, 움직임 대상의 영상들을 합성할 때에 발생하는 아티팩트(artifact)는 매우 큰 문제로서, 이 아티팩트 저감에 사용하는 움직임 검출 정보의 정밀도가 중요하다. 본 발명의 실시예들에 의하면, 촬영 영상이 다양한 방해를 포함하고 있는 경우라 해도 안정적인 움직임 검출이 가능하다. 더 나아가 본 발명의 실시예들은 그것을 현실적인 회로 규모로 실현할 수 있다는 점에서 우수하다.
이제까지 본 발명에 대하여 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range)의 촬영 기능이 없는 촬영 장치에도 이용될 가능성이 있다.
1(1A,1B) : 움직임 검출 장치, 10 : 영상 센서,
15 : 축소 처리부, 20(20A,20B) : 프레임 메모리,
30 : 사용 영상 선택부, 40 : 움직임 검출부,
41 : 단노광-영상 움직임 검출부,
42 : 장노광-영상 움직임 검출부, 43 : 통합부,
50 : 갱신부, 70 : WDR 합성부,
80 : 계조 압축부.
15 : 축소 처리부, 20(20A,20B) : 프레임 메모리,
30 : 사용 영상 선택부, 40 : 움직임 검출부,
41 : 단노광-영상 움직임 검출부,
42 : 장노광-영상 움직임 검출부, 43 : 통합부,
50 : 갱신부, 70 : WDR 합성부,
80 : 계조 압축부.
Claims (6)
- 삭제
- 삭제
- 삭제
- 삭제
- 과거의 단노광 영상과 현재 시각의 단노광 영상에 따라 단노광 영상의 움직임을 검출하여, 단노광 영상의 움직임 검출 정보를 생성하는 단노광-영상 움직임 검출부;
과거의 장노광 영상과 현재 시각의 장노광 영상에 따라 장노광 영상의 움직임을 검출하여, 장노광 영상의 움직임 검출 정보를 생성하는 장노광-영상 움직임 검출부;
상기 장노광 영상의 움직임 검출 정보 및 상기 단노광 영상의 움직임 검출 정보를 통합하여 통합된 움직임 검출 정보를 출력하는 통합부; 및
상기 과거의 장노광 영상, 상기 현재 시각의 장노광 영상, 상기 과거의 단노광 영상, 및 상기 현재 시각의 단노광 영상을 축소하는 축소 처리부;를 구비하고,
상기 단노광-영상 움직임 검출부는,
축소된 과거의 단노광 영상 및 축소된 현재 시각의 단노광 영상에 따라 상기 단노광 영상의 움직임 검출 정보를 생성하며,
상기 장노광-영상 움직임 검출부는,
축소된 과거의 장노광 영상 및 축소된 현재 시각의 장노광 영상에 따라 상기 장노광 영상의 움직임 검출 정보를 생성하는, 움직임 검출 장치. - 삭제
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014081995A JP6678376B2 (ja) | 2014-04-11 | 2014-04-11 | 動き検出装置および動き検出方法 |
| JPJP-P-2014-081995 | 2014-04-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150118004A KR20150118004A (ko) | 2015-10-21 |
| KR102127306B1 true KR102127306B1 (ko) | 2020-06-26 |
Family
ID=54400309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140128284A KR102127306B1 (ko) | 2014-04-11 | 2014-09-25 | 움직임 검출 장치 및 움직임 검출 방법 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6678376B2 (ko) |
| KR (1) | KR102127306B1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6700028B2 (ja) * | 2015-11-24 | 2020-05-27 | ハンファテクウィン株式会社 | ベクトル算出装置およびベクトル算出方法 |
| US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
| JP6601351B2 (ja) * | 2016-09-13 | 2019-11-06 | 株式会社デンソー | 視線計測装置 |
| KR102587431B1 (ko) * | 2016-10-26 | 2023-10-11 | 한화비전 주식회사 | 광역 역광 보정 장치 및 방법 |
| JP7374630B2 (ja) | 2019-07-09 | 2023-11-07 | キヤノン株式会社 | 撮像装置及びその駆動方法 |
| US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
| CN114173064B (zh) * | 2021-12-07 | 2024-04-09 | 天地伟业技术有限公司 | 一种多重曝光方法、装置及电子设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010116731A1 (ja) * | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | 撮像装置、再生装置、撮像方法及び再生方法 |
| JP2010239277A (ja) * | 2009-03-30 | 2010-10-21 | Fujifilm Corp | 撮像装置および撮像方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311367A (ja) * | 2005-04-28 | 2006-11-09 | Toshiba Corp | 撮像装置及び撮像方法 |
| JP2011166535A (ja) * | 2010-02-10 | 2011-08-25 | Mitsubishi Electric Corp | 撮像装置 |
| JP5682434B2 (ja) * | 2011-04-26 | 2015-03-11 | 株式会社ニコン | 撮像装置 |
| KR101962121B1 (ko) | 2011-12-12 | 2019-03-28 | 삼성디스플레이 주식회사 | 렌즈, 및 이를 포함하는 백라이트 어셈블리 및 표시 장치 |
| KR20130093786A (ko) | 2011-12-30 | 2013-08-23 | 한국전자통신연구원 | 광모뎀의 변조 방법 및 이를 수행하는 신호 전송 장치 |
| JP6046966B2 (ja) | 2012-04-19 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
| JP5837463B2 (ja) * | 2012-07-06 | 2015-12-24 | 株式会社東芝 | 画像処理装置および画像処理システム |
| JP6055224B2 (ja) * | 2012-07-27 | 2016-12-27 | クラリオン株式会社 | レンズ洗浄装置 |
-
2014
- 2014-04-11 JP JP2014081995A patent/JP6678376B2/ja active Active
- 2014-09-25 KR KR1020140128284A patent/KR102127306B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010239277A (ja) * | 2009-03-30 | 2010-10-21 | Fujifilm Corp | 撮像装置および撮像方法 |
| WO2010116731A1 (ja) * | 2009-04-08 | 2010-10-14 | パナソニック株式会社 | 撮像装置、再生装置、撮像方法及び再生方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150118004A (ko) | 2015-10-21 |
| JP6678376B2 (ja) | 2020-04-08 |
| JP2015204488A (ja) | 2015-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102127306B1 (ko) | 움직임 검출 장치 및 움직임 검출 방법 | |
| US9544505B2 (en) | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof | |
| US10007967B2 (en) | Temporal and spatial video noise reduction | |
| US9124811B2 (en) | Apparatus and method for processing image by wide dynamic range process | |
| US9288392B2 (en) | Image capturing device capable of blending images and image processing method for blending images thereof | |
| JP5102374B2 (ja) | 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 | |
| JP5213670B2 (ja) | 撮像装置及びぶれ補正方法 | |
| KR20110032344A (ko) | 고대비 영상 생성 장치 및 방법 | |
| JP2012234393A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US9589339B2 (en) | Image processing apparatus and control method therefor | |
| KR20150045877A (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| EP3891974B1 (en) | High dynamic range anti-ghosting and fusion | |
| KR20150145725A (ko) | Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치 | |
| KR20150035315A (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
| CN115104120A (zh) | 将低动态范围图像合并为单幅图像的方法及装置 | |
| KR20170026375A (ko) | 이미지 프로세싱 방법 및 디바이스 | |
| US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
| JP6227935B2 (ja) | 画像処理装置および画像処理方法 | |
| KR101778461B1 (ko) | 저조도 영상의 노이즈 제거 방법 및 이의 제조 장치 | |
| KR102199472B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| KR102247597B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| KR102282464B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| KR102050415B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| KR102182696B1 (ko) | 영상 처리 장치 및 영상 처리 방법 | |
| KR102170697B1 (ko) | 영상 처리 장치 및 영상 처리 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |