KR102315471B1

KR102315471B1 - 영상 처리 방법과 장치

Info

Publication number: KR102315471B1
Application number: KR1020190087930A
Authority: KR
Inventors: 후아 레이; 카이 첸; 리젠 왕
Original assignee: 아크소프트 코포레이션 리미티드
Priority date: 2018-08-22
Filing date: 2019-07-19
Publication date: 2021-10-20
Also published as: KR20200022334A; TWI741305B; JP6814849B2; CN110858895B; US11373279B2; JP2020031422A; CN110858895A; US20200065949A1; TW202009876A

Abstract

본 발명의 실시예는 영상 처리 방법과 장치를 공개한다. 당해 방법은 비디오의 각 프레임 영상에 대해 밝기를 조정하는 단계; 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행하는 단계; 오프셋 보상을 거친 각 프레임 영상의 화소에 시간 필터링을 수행하는 단계를 포함한다. 당해 실시예 방안을 통해 비디오에 존재하는 밝기나 색 변동을 효과적으로 제거한다.

Description

영상 처리 방법과 장치{IMAGE PROCESSING METHOD AND DEVICE}

본 발명의 실시예는 영상(image) 처리 기술을 다루며, 특히 영상 처리 방법과 장치를 의미한다.

광원이 불안정하기 때문에(예를 들어 일상적인 조명에서는 전원이 교류전이므로 광원의 밝기가 교류전원의 진폭 변동에 따라 변화), 카메라(디지털 카메라, 휴대전화 카메라 등 포함)가 촬영하는 비디오는 광원의 변화에 따른 프레임과 프레임 사이의 명암 파동, 심지어 색상 파동까지 나타난다. 특히 프레임률(영상 촬영 시 사용하는 프레임률, 비디오를 재생할 때 사용하는 프레임률 구분으로 사용)이 높은 프레임률(초당 240프레임보다 크거나 같음)인 비디오를 촬영할 때 이러한 현상이 현저하게 나타난다.

현재 광원에 대한 주파수가 60㎐이고 프레임률이 240프레임 초당인 비디오는 인접한 두 프레임에 대한 중첩을 통해 평균적으로 영상의 밝기와 색 변동을 눈에 띄게 개선할 수 있다. 원리적으로는 프레임률이 광원 주파수의 정수배인 비디오이면 인접한 여러 프레임에 겹쳐진 방법으로 밝기 파동(비디오의 각 프레임당 영상의 평균 밝기 또는 영상당 화소의 밝기가 프레임 수에 따라 명암 변동을 보이는 현상)과 색 변동(채널색상 채널마다 밝기 변동이 일치하지 않아 밝기에 따라 색이 변하는 현상)을 개선할 수 있다.

그러나 이는 광원 주파수의 정수배수 비디오만을 촬영하는 데 효과가 있어 다른 비디오에 효과가 크지 않다. 또한 이 방법으로 처리된 비디오는 비디오 촬영 시 빠른 운동 물체가 존재할 때 움직이는 물체의 겹쳐진 영상이 나타날 수 있다.

본 발명의 실시예는 비디오에 존재하는 밝기나 색 변동을 제거할 수 있는 영상 처리 방법과 장치를 제공한다.

본 발명의 일 실시예는,

（1） 비디오의 각 프레임 영상에 대해 밝기를 조정하는 단계;

밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행하는 단계;

오프셋 보상을 거친 각 프레임 영상의 화소에 시간 필터링을 수행하는 단계;

를 포함하는 영상 처리 방법과 장치를 제공한다.

본 발명의 다양한 실시형태에서,

（2） (1)에서 기술된 영상 처리 방법에 따라 비디오의 각 프레임 영상에 대해 밝기를 조정하는 단계는,

적색 R채널, 녹색 G채널 및 남색 B채널 세 개 색상 채널의 색상 평균값을 각각 집계하는 단계;

사전 설정된 제1필터링 방안을 적용하여 각각의 색상 채널의 색상 평균값에 따라 해당 색상 채널에 제1 시간 필터링을 수행하는 단계;

를 포함한다.

（3）(1)에서 기술된 영상 처리 방법에 따라, 상기 밝기 조정을 거친 각 프레임 영상에 대한 오프셋 보상을 수행하는 단계는,

사전 설정된 오프셋 보상 알고리즘을 사용하여 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 간의 오프셋을 획득하고, 상기 오프셋에 대한 보상에 의해, 상기 비디오 중 임의로 인접한 두 프레임 영상이 동일한 영상 좌표에서 위치하는 영상 내용이 일치하도록 하는 단계를 포함한다.

（4）(1)에서 기술된 영상 처리 방법에 따라, 상기 오프셋 보상을 거친 각 프레임 영상의 화소에 대해 시간 필터링을 수행하는 단계는,

사전 설정된 제2필터링 방안을 적용하여 영상 각 프레임 비디오 영상의 각 화소에 제2 시간 필터링을 수행함으로써, 현재 프레임 영상과 현재 영상 앞서 프레임 영상이 선형 중첩할 수 있도록 하는 단계를 포함한다.

（5）(3)에서 기술된 영상 처리 방법에 따라, 상기 방법은 밝기 조정을 거친 각 프레임 영상에 대한 오프셋 보상을 진행한 후 영상에 운동하는 물체가 포함되어 있는지를 판단하는 단계를 더 포함한다.

（6）(5)에서 기술된 영상 처리 방법에 따라, 상기 영상에 운동하는 물체가 포함되어 있는지 판단하는 단계는,

현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제1분할 영상을 획득하는 단계;

사전 설정된 차이 계산 알고리즘에 따라 상기 현재 프레임 영상과 상기 앞 프레임 영상에서 대응되는 두 개의 제1분할 영상의 차이를 각각 계산하는 단계;

상기 두 개의 제1분할 영상의 차이를 사전 설정된 차이 한계치와 비교하는 단계를 포함하는데,

상기 두 개의 제1 분할 영상의 차이가 차이 한계치보다 크거나 같은 경우, 상기 두 개의 제1분할 영상은 비슷하지 않다고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 프레임 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에 운동하는 물체를 포함한다고 판정하며;

상기 두 개의 제1분할 영상의 차이가 차이 한계치보다 작은 경우, 상기 두 개의 제1 영상은 비슷하다고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에서 운동하는 물체를 포함하지 않는다고 판정한다.

（7）(3)에서 기술된 영상 처리 방법에 따라, 상기 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 간의 오프셋을 획득하는 단계는,

오프셋 보상 후의 현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제2분할 영상을 획득하는 단계;

상기 현재 프레임 영상과 상기 앞 프레임 영상 중 대응되는 두 개의 제2분할 영상 사이의 오프셋을 각각 계산하는 단계;

상기 복수의 제2분할 영상에서 운동하는 물체를 포함하는 제2분할 영상을 제거하고 나머지 제2분할 영상의 오프셋의 평균값을 상기 현재 프레임 영상과 상기 앞 프레임 영상 사이의 오프셋으로 삼는 단계를 포함한다.

（8）(6)에서 기술된 영상 처리 방법에 따라, 상기 방법은 어느 한 프레임 영상 중 운동하는 물체가 포함되어 있다고 판단한 후, 상기 운동하는 물체가 포함된 영상 영역의 화소치는 1이고, 상기 운동하는 물체가 포함되지 않은 영상 영역의 화소치는 0인 당해 프레임 영상의 마스크 영상을 생성하는 단계;

사전 설정된 융합 알고리즘에 따라, 상기 마스크 영상을 이용하여 화소에 시간 필터링을 수행한 상응한 프레임 영상과 화소에 시간 필터링을 수행하지 않은 상응한 프레임 영상을 융합시킴으로써 상기 운동하는 물체가 포함된 영상 영역이 보류되도록 하는 단계를 더 포함한다.

（9） (8)에서 기술된 영상 처리 방법에 따라, 상기 방법은 융합된 각 프레임 영상에 공간 필터링(spatial filtering)을 수행하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시예에서는,

（10）명령 실행 시 청구항 1 내지 청구항 9 중 어느 한 항의 상기 영상 처리 방법을 구현하는 프로세서; 상기 명령을 포함하는 컴퓨터 판독 가능 기록 매체를 포함하는 것을 특징으로 하는 영상 처리 장치를 제공한다.

본 발명의 실시예는 비디오의 각 프레임 영상에 대해 밝기를 조정하는 단계; 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행하는 단계; 오프셋 보상을 거친 각 프레임 영상의 화소에 시간 필터링을 수행하는 단계를 포함한다. 당해 실시예 방안을 통해 비디오에 존재하는 밝기나 색 변동을 효과적으로 제거한다.

본 발명 실시예의 기타 특징과 장점은 뒤따르는 설명서에서 설명될 것이다. 또한, 부분적으로 명세서에서 눈에 띄게 되거나 본 발명을 실시함으로써 알게 될 것이다. 본 발명 실시예의 목적과 기타 장점들은 명세서, 청구항, 그리고 첨부 도면에서 특별히 지적된 구조를 통해 실현되고 얻을 수 있다.

첨부도면은 본 발명의 기술 방안에 대한심층 이해를 제공하고 명세서의 일부를 구성하는데 사용되며, 본 출원의 실시예와 함께 본 발명의 기술 방안을 설명하는데 사용되며, 본 발명의 기술 방안에 대한 한정이 아니다.
도 1은 본 발명 실시예의 영상 처리 방법의 흐름도이다.
도 2는 본 발명 실시예의 비디오에 있는 각 프레임 영상에 대해 밝기를 조정하는 방법의 흐름도이다.
도 3은 본 발명 실시예의 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 사이의 오프셋을 얻는 방법 흐름도이다.
도 4는 본 발명 실시예의 영상에서 운동 물체가 포함되어 있는지 여부를 판단하는 방법의 흐름도이다.
도 5는 본 발명의 실시예의 운동할 물체가 포함된 영상에 대한 영상 융합을 수행하는 방법의 흐름도이다.
도 6은 본 발명의 실시예의 비디오 영상 축소에 기초한 비디오 영상 처리 방법 흐름도이다.
도 7은 본 발명의 실시예의 영상 처리 장치 구성 블록도이다.

본 발명의 목적, 기술적 방안과 장점을 보다 분명하게 하기 위해, 아래의 글에서는 첨부된 도면을 결합하여 본 발명의 실시예에 대해 자세히 설명할 것이다. 설명해야 할 것은 충돌하지 않는 경우, 본 출원에서의 실시예 및 실시예에서의 특징을 서로 임의로 조합할 수 있다는 것이다.

첨부된 도면의 흐름도에 표시된 단계는 한 조의 컴퓨터 명령을 실행할 수 있는 컴퓨터 시스템에서 수행할 수 있다.

또한 흐름도에 논리적인 순서가 나와 있지만 어떤 경우에는 여기에 표시된 것과 다른 순서로 나와 있거나 묘사된 단계를 수행할 수 있습니다.

실시예 1

영상 처리 방법에 있어서, 도 1에 도시된 바와 같이, S101 내지 S103을 포함할 수 있다.

S101, 비디오의 각 프레임 영상에 대해 밝기를 조정한다.

S102, 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행한다.

S103, 오프셋 보상을 거친 각 프레임 영상의 화소에 시간 필터링을 수행한다.

본 발명의 실시예에서는, 비디오의 각 프레임 영상에 대해서, 우선 전체의 밝기 조정을 실시하고. 그 후에 영상 매칭을 실시. 즉 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행한다.

영상 매칭 후의 결과에 따라 시간 필터링을 진행함으로써 고속촬영 비디오의 파동광원 아래에서 발생하는 밝기 변동 효과를 효과적으로 줄이고 비디오에 존재하는 밝기나 색 변동을 제거한다.

본 발명의 실시예에서, 구체적인 밝기 조정, 영상 매칭 및 시간 필터링의 방법, 알고리즘과 장치에 대해서는 제한이 없다. 서로 다른 응용 시나리오에 의해 현재 존재하는 임의의 방법, 알고리즘 또는 장치를 통해 구현될 수 있다.

본 발명의 실시예에서, 설명해야 할 것은, 이 실시예 방안은 높은 프레임률(초당 240프레임 보다 크거나 같은 프레임률)에 응용될 수 있다는 것이다.

프레임률이 초당 240프레임보다 크거나 같거나, 초당 960프레임보다 작거나 같은 비디오를 포함할 수 있지만 이에 제한되지 않다. 광원의 주파수는 60㎐와 50㎐를 포함할 수 있지만 제한되지 않다. 본 발명의 실시예 방안을 채택할 수 있는 어떠한 비디오든지 본 발명 실시예의 보호 범위에 속한다.

실시예 2

이 실시예는 실시예 1의 기초에서 밝기 조정의 구체적인 실시형태를 제시한다.

본 발명의 실시예에서, 도 2에 도시된 바와 같이, 비디오에서의 각 프레임 영상에 대한 밝기 조정은 상기 각 프레임 영상에 대한 S201 내지 S202 단계를 포함할 수 있다.

S201, 적색 R채널, 녹색 G채널 및 남색 B채널 세 개 색상 채널의 색상 평균값을 각각 집계한다.

S202, 사전 설정된 제1필터링 방안을 적용하여 각각의 색상 채널의 색상 평균값에 따라 해당 색상 채널에 제1 시간 필터링을 수행한다.

본 발명의 실시예에서, 각 프레임 영상에 대해, 세 개의 채널색상 채널의 색상 평균값을 집계한다.

현재 프레임 영상의 RGB 세 채널의 색상 평균값을

,

로 가정한다. 사전 설정된 제1필터링 방안을 사용하여 세 채널 색상 채널의 색상 평균값에 대해 각각 제1 시간 필터링을 실행할 수 있다.

본 발명 실시예에서 이 제1필터링 방안은 유한 임펄스 응답 필터 또는 무한 임펄스 응답 필터를 포함할 수 있지만 제한되지 않는다.

본 발명의 실시예에서, 여기서는

를 예로 유한 임펄스 응답 필터를 통해 시간 필터링을 수행하는 방법을 설명한다.

가 현재 프레임 영상 i보다 먼저인 R채널의 색상 평균값이라고 가정한다. R채널의 색상 평균값에 대해 시간 필터링의 진행은 다음과 같은 관계식으로 묘사할 수 있다.

이 중

는 R채널 시간 필터링의 결과이며

는 필터링 계수이다.

로, 현재 프레임 영상에서 각 화소에서 R채널의 화소치를

에 곱하여 이 프레임 영상에서 각 화소에서 채널의 화소치로 사용한다.

본 발명 실시예에서는 다른 채널(G 채널와 B 채널)에 유사한 조작을 하여 현재 프레임 영상에서 각 화소에서 채널색상 채널의 색상 평균값에 대한 시간 필터링 진행을 구현하고, 시간 필터링 후의 결과를 사용하여 각 화소의 각 색상 채널에 대한 화소치를 조정함으로써 비디오에 있는 각 화소에 대해 밝기 조정을 구현한다. 여기서 일일이 장황하게 설명하지 않을 것이다.

실시예 3

본 실시예는 실시예 1과 실시예 2에 기초하여 영상 매칭의 구체적인 실시형태를 제시한다.

본 발명 실시예에서 서술된 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행하는 단계는, 사전 설정된 오프셋 보상 알고리즘을 사용하여 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 간의 오프셋을 획득하고, 상기 오프셋에 대한 보상에 의해, 상기 비디오 중 임의로 인접한 두 프레임 영상이 동일한 영상 좌표에서 위치하는 영상 내용이 일치하도록 하는 단계를 포함한다.

본 발명의 실시예에서, 카메라의 흔들림(예를 들어 카메라를 손에 쥘 때 손의 떨림이 카메라의 흔들림을 야기할 수 있음) 때문에, 현재 프레임 영상은 앞 프레임 영상에 비해 어느 정도 오프셋이 있다. 이렇게 하면 두 프레임 영상에서 동일한 영상 좌표 하에 있는 영상의 내용이 일치하지 않음을 초래한다. 이러한 현상은 후속 영상 시간 필터링에 나쁜 영향을 미칠 수 있다. 오프셋 외에도 카메라 회전이 있을 수 있지만 인접한 두 프레임 영상만 고려한다면 카메라 회전은 무시해도 된다. 영상 매칭의 목적은 영상 간의 오프셋을 찾고 오프셋에 대한 보상을 통해 영상 내용 불일치를 제거하기 위한 것이다.

본 발명의 실시예에서, 비디오 중 임의로 인접한 두 프레임 영상이 동일한 영상 좌표하에 위치하는 영상의 내용이 일치한 것은, 임의로 인접한 두 프레임 영상 사이에 임의의 두 영상 내용이 동일한 영역의 동일한 영상 좌표에서 위치하는 위치가 같거나 위치의 편차량이 사전 설정된 편차 한계치와 작거나 같은 것이다.

본 발명 실시예에서, 이 오프셋 보상 알고리즘은 템플릿 매칭 알고리즘과/또는 특징점에 기반한 매칭 알고리즘을 포함할 수 있지만 제한되지는 않다. 두 가지 오프셋 보상 알고리즘에 대해 각각 자세히 설명할 것이다.

본 발명 실시예에서 가장 단순한 오프셋 보상 알고리즘은 전형적인 템플릿 매칭 알고리즘일 수 있다. 그 기본 원리는 다음과 같이 간단히 묘사할 수 있다. 참조 영상에서 템플릿 맵 크기와 같은 블록을 캡처하고 캡처 맵으로 템플릿도와 절취도를 비교하여 이들의 차이를 계산한다. 그 중에서 영상의 차이를 평가하는 기술 지표는 정규 교차 상관, 평균 절대차, 오차 제곱합 및 절대 오차합 등을 포함하지만 이에 한정되지 않다. 절취도가 참조도에 있는 시작 위치의 범위를 인위적으로 설정하여 이 범위에서 모든 절취도와 템플릿도의 차이를 계산하고 최소 차이가 대응하는 절취도의 시작 위치를 템플릿도와 참조도의 오프셋으로 지정할 수 있다.

본 발명의 실시예에서, 특징점에 기초한 정합 알고리즘의 기본 원리는 다음과 같이 간단히 묘사할 수 있다. 매칭될 두 개의 프레임 영상에서 각각 특징점을 추출하고, 특징점 매칭 알고리즘을 통해 특징점 매칭을 구하며, 이러한 특징점 매칭에 따라 두 영상 사이의 오프셋을 계산한다.

본 발명 실시예에서는 특징점을 추출하는 알고리즘도 여러 가지가 있는데, 예를 들어 전형적인 SIFT 알고리즘(SIFT, 즉 Scale-invariant feature transform, 척도불변, 특징변환), HARRIS 알고리즘 등을 포함하지만 이에 제한되지 않는다.

본 발명 실시예에서 특징점 매칭 알고리즘은 SIFT 알고리즘, SURF(Speed Up Robust Features 빠른 증강을 위한 건장한 특성) 알고리즘 등을 포함하지만 이에 한정되지 않는다.

본 발명 실시예에서는 이러한 특징점 매칭에 따라 두 프레임 영상 사이의 오프셋을 계산하는 것 외에 특징점의 광속(예를 들어, 전형적인 Lucas-Kanade 알고리즘을 채택)도 구할 수 있다. 이상을 배제하는 광속(간단한 방법으로 하나의 한계치를 설정할 수 있으며, 이 한계치보다 크거나 같은 광속은 이상 광속이고, 이 한계치보다 작은 광속은 비이상 광속으로 인정됨)로 나머지 특징점의 광속을 전체 영상의 오프셋으로 정한다.

실시예 4

이 실시예는 실시예 3에 기초하여, 이동 물체가 오프셋 보상 과정에 미치는 영향을 제거하기 위해 영상 오프셋의 획득에 대한 또 다른 구체적인 실시형태를 제시한다.

본 발명 실시예에서 도 3에서와 같이 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 사이의 오프셋 획득은 S301 내지 S303을 포함할 수 있다.

S301, 오프셋 보상 후의 현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제2분할 영상을 획득한다.

S302, 상기 현재 프레임 영상과 상기 앞 프레임 영상 중 대응되는 두 개의 제2분할 영상 사이의 오프셋을 각각 계산한다.

S303, 상기 복수의 제2분할 영상에서 운동하는 물체를 포함하는 제2분할 영상을 제거하고 나머지 제2분할 영상의 오프셋의 평균값을 상기 현재 프레임 영상과 상기 앞 프레임 영상 사이의 오프셋으로 삼는다.

본 발명 실시예에서는, 운동 물체가 오프셋 보상에 미치는 영향을 제거하기 위해 영상을 먼저 분할하여 각각의 영상 블록(즉, 상기의 제2분할 영상)에 대응하는 오프셋을 각각 계산할 수 있다.

실시예 5

본 실시예는 실시예 3과 실시예 4에 기초하여 오프셋 보상 후의 비디오에 추가 시간 필터링을 수행하는 구체적인 실시형태를 제시한다.

본 발명의 실시예에서는, 상기 오프셋 보상을 거친 각 프레임 영상의 화소에 대한 시간 필터핑은, 사전 설정된 제2 필터링 방안을 적용하여 각 프레임 비디오 영상의 각 화소에 대해 제2 시간 필터링을 수행함으로써 현재 프레임 영상과 앞 프레임 영상을 선형적으로 중첩할 수 있다.

본 발명의 실시예에서는, 이 단계에서의 시간 필터링(즉, 제2 시간 필터링)은 S101단계에서의 시간 필터링(즉, 제1 시간 필터링)과 유사하다. 이 단계는 각각의 픽셀에 대해 시간 필터링을 수행하는 것이 다른 점이다.

본 발명의 실시예에서는, 설명이 필요한 경우 제1 시간 필터링과 제2 시간 필터링은 두 개의 서로 다른 단계 중 시간 필터링을 구분하는 데만 사용되며 두 번의 시간 필터링을 제한하는 구체적인 방안과 실시 순서 등에는 사용되지 않는다. 제1 시간 필터링과 제2 시간 필터링은 동일하거나 다른 시간 필터링 방안을 사용할 수 있다.

본 발명의 실시예에서는, 이 제2 필터링 방안은 유한 임펄스 응답 필터 또는 무한 임펄스 응답 필터를 포함할 수 있지만 제한되지 않다.

본 발명의 실시예에서는, 유한 임펄스 응답 필터를 적용한 경우를 예로 자세히 설명한다. 구체적으로, 유한 임펄스 응답 필터를 통한 필터는 다음과 같은 관계식을 통해 실현할 수 있다:

식 중,

는 현재 프레임 영상,

는 현재 프레임 영상 i의 앞 프레임 영상,

은 비디오의 제1 프레임 영상,

는 시간 필터링 후 결과,

는 영상 화소 좌표,

는 필터링 계수이다.

본 발명의 실시예에서는, 비디오의 각 프레임 영상에 대해 시간 필터링을 적용한 결과는 현재 프레임 영상과 역사 프레임 영상(즉, 현재 프레임 영상보다 먼저 표시되는 프레임 영상)의 선형 중첩이다.

실시예 6

본 실시예는 실시예 3과 실시예 4에 기초하여 비디오 속의 운동 물체가 희미해지거나 그림자가 드리워지지 않도록 보호하고, 상기 실시예 중의 4가지 방안을 원활하게 실시하기 위해 영상에 운동 물체가 포함됐는지를 판단하는 실행 예안을 제시하고 구체적인 실시형태를 제시한다.

본 발명 실시예에서, 기술된 방법은 또한 밝기 조정을 거친 각각의 프레임 영상에 오프셋 보상 이후 영상에 있는 운동 물체에 대한 판단을 포함할 수 있다.

본 발명의 실시예에서, 도 4에 도시된 바와 같이, 영상에 운동 물체가 포함되어 있는지를 판단하는 것은 S401 내지 S404를 포함할 수 있다.

S401, 현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제1분할 영상을 획득한다.

S402, 사전 설정된 차이 계산 알고리즘에 따라 상기 현재 프레임 영상과 상기 앞 프레임 영상에서 대응되는 두 개의 제1분할 영상의 차이를 각각 계산한다.

S403, 상기 두 개의 제1분할 영상의 차이를 사전 설정된 차이 한계치와 비교한다.

S404, 상기 두 개의 제1 분할 영상의 차이가 차이 한계치보다 크거나 같은 경우, 상기 두 개의 제1분할 영상은 비슷하지 않고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 프레임 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에 운동하는 물체를 포함한다고 판정하며; 상기 두 개의 제1분할 영상의 차이가 차이 한계치보다 작은 경우, 상기 두 개의 제1 영상은 비슷하다고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에서 운동하는 물체를 포함하지 않는다고 판정한다.

본 발명의 실시예에서, 현재 프레임 영상을 앞 프레임 영상과 비교하기 전에 먼저 현재 프레임 영상과 앞 프레임 영상을 분할하고, 각각의 작은 블록에서 현재 프레임 영상과 앞 프레임 영상 간의 차이(그 차이의 획득은 정규 교차 상관, 평균 절대차, 오차 제곱합 및 절대 오차합 등 알고리즘의 구현을 채택할 수 있지만 제한되지는 않음)를 계산한다. 또한 한계치를 사전 한계치 설정해 두 프레임 영상이 이 작은 블록 내에서 유사한지를 판단한다.

이 중 차이가 이 한계치보다 크거나 같을 경우 비슷하지 않다고 판단할 수 있고, 그렇지 않을 경우 유사하다고 판단할 수 있다. 결과가 비슷하지 않다고 판단되면 해당 영역에 운동 물체가 포함되어 있다고 생각할 수 있으며, 그렇지 않으면 해당 영역에 운동 물체가 포함되어 있지 않다고 판단할 수 있다.

본 발명 실시예에서, 설명해야 할 것은, 이 실시예에서의 제1 분할 영상과 이전 실시예에서의 제2 분할 영상은 단지 두 개의 다른 호칭 또는 표시일 뿐이라는 것이다. 주로 서로 다른 목적으로 사용되는 두 번의 분할 조작에서 얻은 블록 분할 영상을 구별한다. 혼동을 피하기 위해 아무런 순서, 크기 등의 속성 구분이 없다.

본 발명 실시예에서 설명해야 할 것은 이 단계가 밝기 조정을 거친 각각의 프레임 영상에 대한 오프셋 보상 이후에 수행될 수도 있고 밝기 조정을 거친 각각의 프레임 영상에 대한 오프셋 보상이 시행되기 전에 수행될 수도 있다는 것이다. 구체적인 실시 시기와 순서에 대해서는 상세하게 제한하지 않는다.

실시예 7

이 실시예는 실시예 6에 기초하여 비디오 속의 운동 물체가 희미해지거나 그림자가 드리워지지 않도록 보호하기 위해 보다 구체적인 실시형태를 제시한다.

본 발명 실시에서는 도 5에 도시된 바와 같이 이 방법에 S501 내지 S502도 포함될 수 있다.

S501, 어느 한 프레임 영상 중 운동하는 물체가 포함되어 있다고 판단한 후, 상기 운동하는 물체가 포함된 영상 영역의 화소치는 1이고 상기 운동하는 물체가 포함되지 않은 영상 영역의 화소치는 0인 당해 프레임 영상의 마스크 영상을 생성한다.

S502, 사전 설정된 융합 알고리즘에 따라, 상기 마스크 영상을 이용하여 화소에 시간 필터링을 수행한 상응한 프레임 영상과 화소에 시간 필터링을 수행하지 않은 상응한 프레임 영상을 융합시킴으로써 상기 운동하는 물체가 포함된 영상 영역이 보류되도록 한다.

본 발명의 실시예에서, 어떤 한 프레임 영상이 운동 물체를 포함하고 있다고 판단될 때, 이 운동 영상의 마스크 영상

를 생성할 수 있으며, 이 마스크 영상

는 2 값 영상이다. 이 중 운동 물체가 있는 영역의 화소치는 1, 운동 물체가 없는 영역의 화소치는 0이다.

본 발명의 실시예에서는 운동 물체의 판단 결과에 따라 시간 필터링을 수행한 후의 해당 프레임 영상과 시간 필터링을 수행하지 않은 해당 프레임 영상을 마스크 영상

에 융합시킬 수 있다. 운동 물체가 포함된 영상 영역을 그대로 유지함으로써 시간 필터링이 운동 물체에 미치는 모호함, 그림자 등을 제거한다.

본 발명의 실시예에서 이 화소에 대해 상기 시간 필터링(즉, 제2 시간 필터링)을 수행한 이후의 해당 프레임 영상, 그리고 해당 화소에 대해 시간 필터링을 하지 않은 해당 프레임 영상은 모두 위와 같은 마스크 영상에 상대적인 프레임 영상을 말한다.

본 발명 실시예에서, 이 마스크 영상에 따라 다음과 같은 관계식을 사용하여 영상 융합을 수행할 수 있다:

식 중,

는 융합 후의 결과이고,

는 영상 시간 필터링의 결과이며,

는 현재 프레임 영상,

는 영상의 좌표이다.

본 발명의 실시예에서, 상기 관계식을 통해 시간 필터링 후의 현재 프레임 영상과 시간 필터링을 거치지 않은 현재 프레임 영상을 간단히 중첩할 수 있다. 즉, 운동 물체가 포함된 영역은 현재 프레임 영상의 화소치를 사용하는 반면, 운동 물체가 포함되지 않은 영역은 시간 필터링을 적용한 후 얻은 결과의 화소치를 사용한다.

본 발명의 실시예에서, 이 사전 설치된 융합 알고리즘은 또한 전형적인 라플라스 피라미드 융합 알고리즘을 포함할 수 있다.

본 발명의 실시예에서, 전형적인 라플라스 피라미드 융합 알고리즘의 기본 원리는 다음과 같다. 우선 일련의 흐릿한 영상

,

…*

이 생성된다. 그 중

가 원도이고, 그 뒤에 있는 각 층의 영상은 윗 층의 영상

을 컨볼루션 블러하여 하향 샘플링해 생성하는데, 예를 들어

은

을 컨볼루션 블러하고 하향 샘플링하여 얻은 것이다. 컨볼루션 블러핵은 보통 가우스 핵을 사용한다. 그래서 이 시리즈를 가우스 피라미드라고도 한다.

간단하게 하면, 여기서는 가우스 피라미드로 흐릿한 영상

,

…*

서열을 표시하는데, 때때로 흐릿한 영상 서열이 가우스 블러 핵에 의해 생성되는 것도 아님에도 불구하고 말이다. 라플라스 피라미드가

,

…*

으로 표시되어 있다고 가정하면, 그러면 라플라스 피라미드의 각 층의 영상은 아래와 같은 등식으로 얻을 수 있다.

. 그 중 함수

는 상향 샘플링으로 이해할 수 있다. 즉, 라플라스 피라미드의 각 층은 가우스 피라미드의 이 층과 대응한 영상에서 가우스 피라미드의 다음 층을 빼고 상향 샘플링하여 얻은 영상이다. 주목할 만한 것은 마지막 층

이다. 라플라스 피라미드를 통한 영상 재구성은 상기 과정의 역과정이다. 그래서 라플라스 피라미드를 통해 융합되는 단계는 다음과 같이 묘사된다.

1. 시간 필터링 후의 결과

와 현재 프레임

에 대해 라플라스 피라미드를 세운 것은 각각

와

이다.

2. 마스크 영상에 가우스 피라미드를 세워

로 기록한다.

3. 새로운 라플라스 피라미드

를 구축한다.

. 그 중

는 피라미드 층수를 위해 표시되고 정수이며,

는 영상의 좌표이다.

4. 영상 재구성을 통해 결과도를 얻는다.

실시예 8

이 실시예는 실시예 7에 기초하여 위와 같은 단계를 거쳐 남겨진 잔상을 제거하기 위해 보다 구체적인 실시형태를 제시한다.

본 발명의 실시예에서, 상기 방법은 또한 융합을 거친 각각의 프레임 영상에 대해 공간 필터링을 수행할 수 있다.

본 발명의 실시예에서 시간 필터링은 프레임과 프레임 사이의 필터링을 묘사한 반면, 공간 필터링은 단일 프레임 영상에 대해 필터링을 하는 것으로 위 단계를 거쳐 남아 있는 잔영을 제거하는 것을 주된 목적으로 한다.

본 발명의 실시예에서, 공간 필터링 방법은 다음과 같이 포함할 수 있으나 이에 제한되지는 않는다. 에지 필터(edge preserved filter). 예를 들어, 유도 필터(guided filter), 양방향 필터(bilateral filter)와 같은 필터는 영상이 융합된 결과에 대해 영상 공간 필터링을 수행하여 최종 결과를 얻을 수 있다.

실시예 9

이 실시예는 상기 임의 실시예에 기초하여, 비디오 영상 축소에 기초한 비디오 영상 처리의 구체적인 실시형태를 제시하고 있다.

본 발명의 실시예에서, 실시예 9는 실시예 1 내지 실시예 8에서의 주요한 과정과 기본적으로 일치하며, 주요 차이점은 실시예 9에서의 대부분의 조작이 작은 영상에서 이루어진다는 것이다. 그 흐름도는 도 6에 도시된 바와 같으며, 구체적인 것은 다음과 같다. 전체 밝기 조정 후 영상을 축소하고 전체 밝기 조정 후의 영상을

로,

축소한 후의 영상을

로 표시한다. 다음에는 영상 맞춤(즉, 오프셋 보상), 제2 시간 필터링, 운동 물체 판단, 영상 융합, 공간 필터링(이러한 단계들은 실시예 1 내지 실시예 8에서와 같음)를 수행하고 그 결과는

로 표시된다. 이로부터 차이도

를 구할 수 있다.

, 그 중

는 영상의 좌표이다. 그리고 차이도

를

와 같은 치수로 확대하여 확대된 차이도

를 얻고

를

에 추가하여 최종 결과

을 얻는다. 그 중

는 영상의 좌표이다.

본 발명의 실시예에서는, 축소된 영상에 대부분의 처리를 한 후 처리 결과와 처리 전의 작은 영상의 차이도를 확대하여 큰 영상에 적용함으로써 이 실시예 방안은 효과를 보장하는 전제하에서 연산 시간을 크게 줄일 수 있다.

실시예 10

영상 처리 장치(1)는, 도 7에 표시된 바와 같이, 명령 실행 시 상술한 어느 한 항의 상기 영상 처리 방법을 구현하는 프로세서(11)와 상기 명령을 포함하는 컴퓨터 판독 가능 기록 매체(12)를 포함한다.

본 발명의 실시예는, 비디오의 각 프레임 영상에 대해 밝기를 조정하는 단계; 밝기 조정을 거친 각 프레임 영상에 오프셋 보상을 수행하는 단계; 오프셋 보상을 거친 각 프레임 영상의 화소에 시간 필터링을 수행하는 단계를 포함한다. 이 실시예 방안을 통해 비디오에 존재하는 밝기나 색 변동을 효과적으로 제거한다. 또한 운동 물체가 희미하지 않게, 잔영이나 중첩된 영상이 없도록 잘 보류한다.

본 발명의 실시예에서 공개된 기술은 정적 영상, 운동 영상(예를 들어 비디오)에 사용될 수 있으며 디지털 카메라, 휴대폰, 집적 디지털 카메라를 갖춘 전자 장치, 보안 또는 비디오 감시 시스템 등 어떤 적합한 유형의 영상 처리 장치에도 사용할 수 있다.

하드웨어와의 결합

당업자들은 위의 글에 공개된 방법 중 전부 또는 어떤 단계, 시스템, 장치에 있는 기능 모듈/유닛이 소프트웨어, 펌웨어, 하드웨어 및 그 적절한 조합으로 실시될 수 있다는 것을 이해할 것이다. 하드웨어 실시 방식에서, 위 기술에서 언급한 기능 모듈/유닛 간의 구분이 반드시 물리적 유닛의 구분에 대응되는 것은 아니다. 예를 들어, 하나의 물리적 유닛이 여러 개의 기능을 가질 수 있거나, 하나의 기능 또는 단계를 약간의 물리적 유닛이 협력하여 수행할 수 있다. 어떤 유닛 또는 모든 유닛은 디지털 신호 프로세서 또는 마이크로프로세서가 실행하는 소프트웨어와 같은 프로세서로 실행되거나, 또는 하드웨어로 실행되거나, 전용 집적 회로와 같은 프로세서로 실행될 수 있다. 이러한 소프트웨어는 컴퓨터 컴퓨터 판독 가능 기록 매체에 분포할 수 있으며, 컴퓨터 판독 가능 매체는 컴퓨터 기록 매체(또는 비일시적 매체)와 통신 매체(또는 일시적 매체)를 포함할 수 있다. 당업자가 알고 있는 바와 같이, 용어 컴퓨터 기록 매체는 정보 저장(컴퓨터가 읽을 수 있는 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터)에 사용되는 어떤 방법이나 기술에서 실시하는 휘발성과 비휘발성, 제거 가능 및 제거 불가 매체를 포함한다.

컴퓨터 기록 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 비디오 디스크(DVD) 또는 기타 광 디스크 스토리지, 디스크 박스, 자기 테이프, 디스크 스토리지 또는 기타 디스크 스토리지 장치를 포함하며, 또는 원하는 정보를 저장하고 컴퓨터에 의해 방문될 수 있는 어떤 다른 매체를 포함할 수 있으나 이에 한정되지 않다. 또한 당업자들은 통신 매체는 일반적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파 또는 기타 전송 메커니즘과 같은 변조 데이터 신호에 포함된 기타 데이터를 포함할 수 있으며, 어떠한 정보 전달 매체를 포함할 수 있다는 것을 잘 알 것이다.

Claims

영상 처리 방법으로서,
비디오의 각 프레임 영상에 대해 밝기 조정을 수행하는 단계;
밝기를 조정한 후 각 프레임 영상에 축소 처리를 수행하는 단계;
밝기 조정을 거친 축소된 각 프레임 영상에 대해 오프셋 보상을 수행하는 단계;
오프셋 보상을 거친 축소된 각 프레임 영상의 화소에 대해 시간 필터링, 운동 물체 판단, 영상 융합, 공간 필터링의 다중의 처리를 수행하고, 다중의 처리를 거친 축소된 각 프레임 영상을 얻는 단계;
상기 다중의 처리를 거친 축소된 각 프레임 영상과 상기 밝기 조정을 거친 축소된 각 프레임 영상을 이용하여 차이도를 얻는 단계;
상기 차이도를 밝기 조정을 거친 각 프레임 영상과 같은 치수로 확대하여 확대된 차이도를 얻는 단계; 및
상기 확대된 차이도를 상기 밝기 조정을 거친 각 프레임 영상에 추가하여 최종 결과를 얻는 단계를 포함하는 영상 처리 방법.
청구항 1에 있어서,
각 프레임 영상에 대해 밝기 조정을 수행하는 단계는,
적색 R채널, 녹색 G채널 및 남색 B채널 세 개 색상 채널의 색상 평균값을 각각 집계하는 단계;
사전 설정된 제1필터링 방안을 적용하여 각각의 색상 채널의 색상 평균값에 따라 해당 색상 채널에 제1 시간 필터링을 진행하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
청구항 1에 있어서,
밝기 조정을 거친 각 프레임 영상에 대해 오프셋 보상을 수행하는 단계는,
사전 설정된 오프셋 보상 알고리즘을 사용하여 밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 간의 오프셋을 획득하고, 상기 오프셋에 대한 보상에 의해, 상기 비디오 중 임의로 인접한 두 프레임 영상이 동일한 영상 좌표에서 위치하는 영상 내용이 일치하도록 하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
청구항 1에 있어서,
다중의 처리를 거친 축소된 각 프레임 영상을 얻는 단계에서, 시간 필터링을 수행할 때,
사전 설정된 제2필터링 방안을 적용하여 각 프레임 비디오 영상의 각 화소에 제2 시간 필터링을 수행함으로써, 현재 프레임 영상과 현재 프레임 영상의 앞에 위치한 프레임 영상이 선형 중첩할 수 있도록 하는 것을 특징으로 하는 영상 처리 방법.
삭제
청구항 1에 있어서,
다중의 처리를 거친 축소된 각 프레임 영상을 얻는 단계에서, 운동 물체 판단을 수행할 때,
현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제1분할 영상을 획득하고,
사전 설정된 차이 계산 알고리즘에 따라 상기 현재 프레임 영상과 상기 앞 프레임 영상에서 대응되는 두 개의 제1분할 영상의 차이를 각각 계산하고,
상기 두 개의 제1분할 영상의 차이를 사전 설정된 차이 한계치와 비교하되,
상기 두 개의 제1 분할 영상의 차이가 차이 한계치보다 크거나 같은 경우, 상기 두 개의 제1분할 영상은 비슷하지 않다고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 프레임 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에 운동 물체를 포함한다고 판정하며,
상기 두 개의 제1분할 영상의 차이가 상기 차이 한계치보다 작은 경우, 상기 두 개의 제1 영상은 비슷하다고 판정하고, 상기 두 개의 제1분할 영상은 상기 현재 프레임 영상 및 상기 앞 프레임 영상과 대응되는 영상 영역에서 운동 물체를 포함하지 않는다고 판정하는 것을 특징으로 하는 영상 처리 방법.
청구항 3에 있어서,
밝기 조정을 거친 비디오에서 임의로 인접한 두 프레임 영상 간의 오프셋을 획득하는 단계는,
오프셋 보상 후의 현재 프레임 영상과 앞 프레임 영상을 각각 분할하여 복수의 제2분할 영상을 획득하는 단계;
상기 현재 프레임 영상과 상기 앞 프레임 영상 중 대응되는 두 개의 제2분할 영상 사이의 오프셋을 각각 계산하는 단계;
상기 복수의 제2분할 영상에서 운동 물체를 포함하는 제2분할 영상을 제거하고 나머지 제2분할 영상의 오프셋의 평균값을 상기 현재 프레임 영상과 상기 앞 프레임 영상 사이의 오프셋으로 삼는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
청구항 6에 있어서,
상기 방법은,
어느 한 프레임 영상 중 운동 물체가 포함되어 있다고 판단한 후, 당해 프레임 영상의 마스크 영상을 생성하는 단계; 상기 마스크 영상에서 상기 운동 물체가 포함된 영상 영역의 화소치는 1이고 상기 운동 물체가 포함되지 않은 영상 영역의 화소치는 0이고;
다중의 처리를 거친 축소된 각 프레임 영상을 얻는 단계에서, 영상 융합을 수행할 때,
사전 설정된 융합 알고리즘에 따라, 상기 마스크 영상을 이용하여 화소에 시간 필터링을 수행한 상응한 프레임 영상과 화소에 시간 필터링을 수행하지 않은 상응한 프레임 영상을 융합시킴으로써 상기 운동 물체가 포함된 영상 영역이 보류되도록 하는 것을 특징으로 하는 영상 처리 방법.
청구항 8에 있어서,
다중의 처리를 거친 축소된 각 프레임 영상을 얻는 단계에서, 영상 융합에 의해 융합된 각 프레임 영상에 대해 공간 필터링을 수행하는 것을 특징으로 하는 영상 처리 방법.
명령이 기록되는 컴퓨터 판독 가능 기록 매체 및 프로세서를 포함하는 영상 처리 장치로서,
상기 프로세서가 명령 실행 시 청구항 1 내지 4 및 청구항 6 내지 9 중 어느 한 항의 영상 처리 방법을 구현하는 것을 특징으로 하는 영상 처리 장치.