KR20160118947A - 영상 안정화를 위한 방법 및 시스템 - Google Patents

Abstract

영상 안정화를 위한 방법에서, 영상을 안정화시키고 초점 길이 값을 출력하기 위해 다수의 동작들이 수행된다. 이러한 방법의 단계들은, 초점 길이가 알려져 있지 않은 비디오 카메라에 의해 비디오를 촬영하는 것, 그리고 카메라의 변위를 검출하는 하드웨어 검출기로부터의 입력에 관해 동작함과 아울러 조정가능한 초점 길이 값에 관해 동작하는 영상 안정화 프로세스를 실행하는 것을 포함한다. 영상-간 변위가 하드웨어 검출기로부터의 입력 및 조정가능한 초점 길이 값에 근거하여 정정된다. 만족스러운 영상 안정화가 달성될 때까지 변위를 평가하고 초점 길이 값을 조정함으로써, 초점 길이의 값이 출력될 수 있다.

Description

영상 안정화를 위한 방법 및 시스템{METHOD AND SYSTEM FOR IMAGE STABILIZATION}

본 개시내용은 영상 안정화(image stabilization)를 위한 방법 및 시스템에 관한 것으로, 특히 비디오 카메라(video camera)(이러한 비디오 카메라로는 디지털 비디오 카메라(digital video camera)가 제안됨)에 의해 촬영(capture)되는 비디오 영상 스트림(video image stream)과 관련되어 있다.

본 개시내용은 영상 안정화 분야와 관련될 수 있는바, 즉 카메라 움직임에 의해 저하(deteriorate)될 수 있는 비디오 영상의 품질을 개선하는 것과 관련될 수 있다. 디지털-영상 안정화의 수많은 버전(version)들이 존재하는바, 즉 저장된 영상 스트림들을 프로세싱하여 임의의 프로세싱된 영상 스트림에서 흔들림(shakes) 혹은 진동(vibrations)이 최소화되도록 하는 소프트웨어 애플리케이션들이 존재한다. 카메라에 있어서, 흔들림 혹은 진동은 운용자(operator)에 의해 유발될 수 있거나, 혹은 진동이 일어나지 않도록 카메라를 현가(suspend)시킬 수 없는 현가장치(suspension)의 결과일 수 있다. 오로지 소프트웨어-알고리즘에만 의존하는 해법들은, 스트림 내에서 영상으로부터 영상에 이르는 유한 개의 특징들(features)을 추적하는 것, 그리고 이러한 특징들이 임의의 디스플레이되는 영상에서 정지된 상태로 유지되도록 보장하는 것에 종종 기반을 두고 있다. 이러한 소프트웨어 해법들이 흔들림 및 진동의 영향을 매우 효과적으로 감소시킬 수는 있지만, 이들은 모니터링 애플리케이션들(monitoring applications) 혹은 감시 애플리케이션들(surveillance applications)에서 단점을 가질 수 있는바, 여기서 이들은 상당량의 연산력을 소모하는 것과는 별개로 임의의 원치않는 시간 지연(temporal lag)을 일으킬 수 있다.

이에 대한 대안예는 예를 들어, 영상면(image plane)에 평행하게 영상이 천이(shift)되도록 일 세트의 렌즈들을 천이시키고 이에 따라 진동 혹은 흔들림의 영향을 상쇄시킴으로써, 광학적 영상 안정화를 사용하는 것일 수 있다. 이러한 일 세트의 렌즈들의 천이는 소형 감지기(sensor)들에 의해 정량화되는 진동에 대한 응답으로서 수행되고, 이것은 일반적으로 초점-길이 설정(focal-length settings)의 입력을 요구할 것이다. 이러한 기법은 시스템을 복잡하게 하면서 진동 혹은 흔들림의 영향을 최소화시킬 수 있다. 또한, 이러한 기법은 블러링(blurring)을 없앨 수 있다(그렇지 않은 경우 노출 시간 동안 렌즈 움직임의 영향이 있게 됨).

또 하나의 다른 대안예는, 카메라의 움직임에 의해 유발되는 영상의 천이를 따르도록 실제 영상 감지기(image sensor)가 천이되는 감지기-천이 기술을 사용하는 것일 수 있다.

이러한 제시된 방법들은 모두 그들의 장점들 및 단점들을 가지고 있다. 본 개시내용은 팬 방향(pan direction) 및/또는 틸트 방향(tilt direction)에서의 각운동(angular movement)과 관련하여 나타나는 문제들에 주로 대처할 것이다. 이러한 것의 수 가지 양상들이 존재하며, 그러나 팬/틸트 기능을 가지며 고정된 위치에 장착되는 모니터링 카메라 혹은 감시 카메라에 있어서, 극심한 교통량 등의 결과로서 팬/틸트 차원에서의 진동은 특히 바람이 많이 부는 상태 동안 일반적으로 일어날 수 있다. 본 명세서에서 개시되는 바와 같은 본 발명은 임의의 비디오 카메라에 적용될 수 있다.

일부 렌즈들은 현재의 초점 길이를 추적하기 위해 줌 모터(zoom motor)들로부터의 피드백(feedback)을 사용한다. 하지만, 이러한 특징을 갖지 않는 줌 렌즈(zoom lense)들, 예를 들어, 줌 설정이 수동으로 행해지는 렌즈들 및 줌 모터들과 관련된 피드백 기능이 없는 다른 줌 렌즈들이 또한 존재한다. "줌 렌즈들"의 범주는 전형적으로 가변초점 렌즈들(varifocal lenses) 및 비가변초점 렌즈들(parfocal lenses)로 나누어지며, 본 개시내용의 목적을 위해, 용어 "줌 렌즈"가 주로 사용될 것이며, 줌 설정(zoom setting) 및 초점 설정(focus setting) 혹은 초점 길이 설정(focal length setting)이 병행되어 사용될 것이다.

초점-길이 설정의 추론(deduction) 및 영상 안정화를 위한 방법을 제공하기 위해서, 본 발명은 신규한 방법을 제공한다. 이러한 방법은, 비디오 카메라에 의해 비디오를 촬영(capturing)하는 것; 카메라의 변위(displacement)를 검출하는 하드웨어 검출기(hardware detector)로부터의 입력에 관해 동작함과 아울러 조정가능한 초점 길이 값(adjustable focal length value)에 관해 동작하는 영상 안정화 프로세스를 실행하는 것; 하드웨어 검출기로부터의 입력 및 조정가능한 초점 길이 값에 근거하여 변위를 정정(correcting)하는 것; 현재 설정된 초점 길이 값에서의 영상 안정화 프로세스의 현재 동작에서 장면(scene)의 정지된 물체들(stationary objects)의 촬영된 비디오에서의 변위를 평가(evaluating)하는 것; 그리고 촬영된 영상에서 식별된 이러한 변위가 임계값(threshold value)보다 작게 될 때까지, 조정가능한 초점 길이 값을 조정하는 것을 포함한다. 선택에 따라서, 본 방법은 최소 변위를 찾도록 설정될 수 있다.

본 방법은 현재 설정이 알려져 있지 않은 카메라에 대한 초점-길이 설정의 간단한 추론을 제공할 것이다. 이에 따라, 본 발명은 또한 신속하고 정확한 영상 안정화를 제공할 것이다.

하나 이상의 실시예들에서, 조정가능한 초점 길이 값은 사용자 입력에 근거하여 조정된다. 임계값은 미리설정(preset)될 수 있거나, 혹은 운용자에 의해 설정될 수 있으며, 이들의 조합이 또한 사용될 수 있다.

일 실시예 혹은 수개의 실시예에서, 조정가능한 초점 길이 값은 미리결정된 임계값(predetermined threshold value)보다 변위가 작게 될 때까지 반복적 최적화 프로세스(iterative optimization process)에 따라 조정될 수 있다.

이러한 반복적 최적화 프로세스에서는, 임계값에 도달할 때까지 영상 스트림에서의 연속적인 영상들이 사용될 수 있고, 또 하나의 다른 실시예에서는, 영상들의 더 작은 세트가 반복적 프로세스에서 사용될 수 있다.

하드웨어 검출기는 바람직하게는 비디오 카메라의 팬 방향 및 틸트 방향에서의 천이를 검출할 수 있고, 이러한 하드웨어 검출기는 각천이(angular shift)를 검출할 수 있다.

하나 이상의 실시예들에서, 하드웨어 검출기는 자이로스코프 장치(gyroscopic device) 혹은 틸트 측정기(tilt meter)와 같은 경사측정기(inclinometer)이다.

일 실시예 혹은 수개의 실시예에서, 하드웨어 검출기는 비디오 카메라의 변위를 연속적으로 검출하며, 여기서 변위의 타임 스탬프(time stamp)는 개개의 프레임(frame)의 데이터와 상관(correlate)될 수 있다.

본 발명의 임의의 실시예에서, 본 방법의 출력은, 카메라에서 수행되는 다른 프로세스들에서 사용하기 위한, 또는 그들의 다운스트림(downstream)에서 사용하기 위한, 또는 단지 운용자에게 제시(presentation)하기 위한, 초점 길이의 정량적 값(quantitative value)일 수 있다.

본 발명의 제 2 실시형태에 따르면, 앞서의 방법의 임의의 실시예에 따른 그러한 방법을 사용하는 것이다. 이러한 사용은 비디오 카메라에 대한 흔들림 또는 진동을 추론(inducing)하는 것으로 이루어지며, 이러한 추론 이후에 본 방법은 초점-길이 설정의 값을 출력할 수 있다. 이와 같이, 본 발명의 사용은 또한 비디오 카메라를 교정(calibrating)하기 위한 방법을 포함하는 것으로 볼 수 있다.

또 하나의 다른 실시형태에 따르면, 비디오 카메라로부터의 출력 영상들의 영상 안정화를 위한 시스템이 제공된다. 이러한 시스템은, 비디오 카메라의 천이를 검출하는 하드웨어 검출기의 출력, 그리고 조정가능한 초점 길이 값을 포함하는 다수 개의 입력 파라미터(input parameter)들을 가지며, 아울러 하드웨어 검출기로부터의 출력 및 조정가능한 초점 길이 값에 근거하여 임의의 영상을 정정하기 위한 프로세싱 유닛(processing unit)을 구비한다. 이러한 시스템은 바람직하게는 내부적으로 초점-길이 설정의 값을 추론하기 위해 본 명세서에서 언급되는 하나 이상의 실시예들에 따른 방법을 수행하도록 구성될 수 있다.

도 1은 본 발명의 일 실시예에 따른 카메라 헤드(camera head)의 도식적 블록도이다.
도 2는 본 발명의 실시예가 적용될 수 있는 상황의 도식적 측면도이다.
도 3은 도 2의 상황의 평면도이다.
도 4a는 도 2 및 도 3에 따른, 장면으로부터 획득되는 제 1 영상 프레임이다.
도 4b는 도 4b의 영상 프레임에 연속적으로 이어지는 제 2 영상 프레임이다.
도 5는 본 발명의 제 1 실시예에 따른 프로세스를 보여주는 흐름도이다.
도 6은 본 발명의 제 2 실시예에 따른 프로세스를 보여주는 흐름도로서 도 5와 유사한 흐름도이다.
도 7은 본 발명의 제 3 실시예에서 사용되는 슬라이더(slider)를 도식적으로 나타낸 도면이다.

도 1은 본 발명의 수 개의 실시예들에서 사용되는 바와 같은 카메라 헤드의 블록도이다. 카메라(10)는 영상화될 영역으로부터 영상 감지기(16)로 광(light)을 투영(projecting)시키는 렌즈(14)(일 세트의 렌즈들, 대물렌즈, 등)를 구비한다. 영상 감지기(16)로부터의 정보는 영상 프로세서(18)에서 프로세싱되는데, 영상 프로세서(18)는 중앙 프로세싱 유닛(Central Processing Unit, CPU)(20)의 일부를 형성할 수도 있고 혹은 형성하지 않을 수도 있다. 영상 프로세서(18)는 하나 이상의 실시예들에서 휘발성 메모리(22)에 연결될 수 있고 아울러 휘발성 메모리(22)와 통신하도록 구성될 수 있으며, 휘발성 메모리(22)는 중앙 프로세싱 유닛(20)에 연결될 수 있고 아울러 중앙 프로세싱 유닛(20)과 통신하도록 구성될 수 있다. 비-휘발성 메모리(24)는 통상적인 방식으로 CPU(20)와 통신하도록 구성될 수 있다. 비디오 카메라는 또한 네트위크 내에서의 통신을 위한 네트위크 인터페이스(network interface)(26)를 포함할 수 있다.

이러한 특징들에 추가하여, 하드웨어 검출기(28)가 비디오 카메라의 움직임을 추적하도록 구성된다. 본 실시예에서, 하드웨어 검출기는 팬 방향 및/또는 틸트 방향과 관련하여 비디오 카메라의 기울기(inclination)를 모니터링하는 자이로스코프 장치 혹은 일 세트의 자이로스코프 장치들이다. 하드웨어 검출기로부터의 출력은 영상 프로세서(18) 및/또는 CPU(20)로 전송될 수 있고, 여기서 영상에 관한 다수의 자동적 사용자-정의 동작들이 수행되게 되며, 이러한 동작들 중 하나는 원시 영상(raw image)의 픽셀(pixel)들이 예를 들어, 감지기들로부터의 입력에 근거하여 올바른 위치로 이동되게 되는 임의의 변환(어파인 변환(affine transformation))이다. 이러한 변환은 또한, 술통형 왜곡(barrel distortion)과 같은 광학적 왜곡을 처리하는 왜곡 정정에서 픽셀들을 재정렬(rearranging)하는 것을 포함할 수 있다. 검출기는 일반적으로 자이로스코프 장치 혹은 임의의 장치이며, 이러한 장치로부터 그 대응하는 파라미터들이 추론될 수 있는데, 왜냐하면 회전 혹은 기울기는 고려해야 할 중요한 파라미터이기 때문이다.

팬/틸트 천이를 발생시키는 진동의 영향은 영상에서의 상당량의 변위가 일어나게 할 수 있고, 반면 수직으로 혹은 수평으로 일어나는 병진 천이(translational shift)는 단지 약간의 변위만이 일어나게 한다. 후자의 예를 들어보면, 10 ㎝ 병진은 물체면(object plane)에서 시계(field of view)의 10 ㎝ 천이가 일어나게 할 수 있고(즉, 결과적으로 영상 감지기에서의 무시가능한 변위를 발생시킬 것이고), 반면 1 도(degree) 기울어짐은 물체면에서 시계에 상당량의 천이가 일어나게 할 수 있으며 이것은 결과적으로 영상 감지기의 평면(plane)에서의 허용할 수 없는 변위가 일어나게 할 수 있다. 명백한 것으로, 틸트 감지기(tilt sensor) 혹은 다른 타입의 경사측정기들과 같은 유사한 특성의 출력을 생성할 수 있는 다른 하드웨어 검출기들(28)이 대신 사용될 수 있거나 결합되어 사용될 수 있다. 또한, 언급될 수 있는 것으로, 이처럼 본 발명이 이용될 수 있는 임의의 상황으로부터 병진 천이가 배제되는 것은 아니다.

도 2 내지 도 4에서는 본 발명의 하나 이상의 실시예들에 따른 방법 및 시스템으로부터 혜택을 받을 수 있는 상황이 예시된다. 도 2는 건물(30) 및 그 인접 환경을 모니터링하기 위해 설정된 카메라(10)의 도식적 측면도이다. 카메라는 단지 개략적으로 그려져 있는 카메라 홀더(camera holder)(28)에서 현가되어 있다. 카메라는 수직 방향에서 편향(T)될 수 있고, 줌 렌즈(Z)는 적절한 초점 길이 및 이에 따른 시계가 간단하게 설정될 수 있게 한다. 도 3은 앞서 언급된 도 2에서의 장면과 동일한 장면을 예시하며, 주로 팬 특징(pan feature)(P)을 예시하고 있는바, 이러한 팬 특징(P)은 카메라에 의해 영상화되는 장면의 바람직한 뷰(view)가 간단하게 설정될 수 있게 한다. 이러한 상황에서, 지적될 수 있는 것으로, 비록 운용자에 의해 원격으로 제어되는 팬, 틸트, 줌을 실행할 수 있는 비디오 카메라들이 존재하지만, 관련된 본 개시내용에 있어서 비디오 카메라가 반드시 이러한 타입일 필요는 없다. 카메라에 대해 사용되는 카메라 홀더는 특정 상태 동안 그 획득된 비디오 스트림을 왜곡시킬 수 있는 어느 정도의 진동 혹은 흔들림을 허용하는 임의 타입의 현가장치일 수 있다.

도 4a 및 도 4b에서 제시된 것은 임의의 프레임으로 도식적으로 제공되는 비디오 스트림의 두 개의 연속적인 프레임들을 예시한다고 할 수 있다. 도 4a의 제 1 뷰는 건물(30)과, 그리고 램프 기둥(lamp post) 및 몇 그루의 나무들을 포함하고 있는 주변환경의 일부를 나타내고 있다. 제 2 프레임에서, 도 4b의 뷰는 진동 혹은 흔들림의 결과로 인한 변위를 보여준다. 건물(30)의 본래 위치는 점선(30')으로 보여지고 있으며, 실제 제 2 프레임에서의 건물(30)의 위치는 실선으로 보여지고 있다.

시계에서의 천이는 팬 방향 및/또는 틸트 방향에서의 카메라의 각천이(Δang)의 결과로 인한 것일 수 있고, 이러한 시계에서의 천이는 영상 감지기 상의 영상의 위치에서의 변위(Δis)가 일어나게 하기 때문에, 문제가 일어난다. 만약 각천이의 값과 함께 줌 설정이 알려져 있다면, 혹은 보다 특정적으로, 영상화를 위해 사용되는 렌즈 시스템의 현재 초점 길이가 알려져 있다면, 감지기 상의 영상의 실제 변위는 각천이로부터 직접적으로 도출가능할 것이다. 이것은 Δis가 초점 길이 및 각천이의 함수로서 표현될 수 있기 때문이다.

이러한 것의 이해를 위한 간단한 방법은 시계를 도입하는 것일 수 있다. 시계는 카메라 전방에 있는 장면 중 영상화될 부분이 어느 정도인지를 보여주는 영상화 렌즈부터 확장되는 각섹터(angular sector)로서 정의될 수 있다. 이러한 시계는 영상화 렌즈의 초점 길이, 혹은 줌 렌즈가 사용되는 경우에는 초점 길이 설정, 그리고 영상화 감지기의 크기에 의해 정의될 수 있다. 이처럼, 카메라의 알려진 각천이는 영상화 감지기 상의 픽셀 위치에서의 천이로 변환될 수 있다.

앞서의 파라미터들 간의 관계를 직접적으로 사용함으로써 빠르고 간단하게 진동을 보상할 수 있으며, 이러한 것은 비디오 스트림의 상당량의 그 어떤 지연도 유발함이 없이 실시간으로 수행될 수 있다. 영상 안정화를 위한 실제 영상 분석은 수행될 필요가 없게 되며, 이것은 프로세스 속도를 훨씬 더 빠르게 할 수 있다.

본 발명의 실시예에서, 각천이는 하드웨어 검출기로부터 알려져 있지만, 초점 길이는 알려져 있지 않다. 흔들림 혹은 진동의 영향을 최소화시키는 것이 목적이며, 따라서 또 하나의 다른 입력이 존재하게 되는데, 이것은 영상 감지기 상의 변위에 대해 허용가능한 것으로서 고려될 것에 관한 임계치에 대한 값이다. 이러한 허용가능한 것으로서 고려될 것에 관한 값은 미리설정될 수 있으며, 하지만 이러한 값은 또한 운용자에 의해 결정될 수 있는데, 예를 들어, 비디오 정정을 고려하는 운용자는 임계값을 상향으로 혹은 하향으로 천이시킬 수 있다. 이후의 실시예들에서, "허용가능한" 것으로서 고려될 것이 어떤 정성적 고려(qualitative considerations)를 포함할 수 있음은 명백할 것이다.

따라서, 이제 도 5를 참조하면, 제 1 실시예에서, 프로세스는 첫 번째 단계(32)에서 영상을 획득하는 것, 그리고 이러한 영상을 하드웨어 검출기(36)로부터의 입력(Δang)을 사용하여 변위-정정 알고리즘에서 프로세싱하는 것(34)을 포함할 것이다. 이러한 프로세싱은 또한 초점 길이 설정(38)의 값에 근거하여 수행된다. 이때, 실제 초점 길이는 알려져 있지 않은 것으로서 고려되며, 제 1 설정은 사용자 입력(40) 혹은 임의의 다른 값에 근거하는 것일 수 있다. 시작 지점은 초점-길이 설정에 대한 최근 평가된 값일 수 있다. 만약 이러한 값이 이용가능하지 않다면, 혹은 만약 이러한 값의 사용을 바라지 않는다면, 초점 길이에 대한 가능한 설정은 카메라에서 사용되는 특정 렌즈에 대한 가능한 초점-길이 설정에 의해 정의되는 바와 같은 그러한 임의의 특정 범위로 제한될 수 있고, 그리고 편의상 이러한 범위 내에서 입력 값이 선택될 수 있음을 이해해야 한다.

후속 단계(42)에서는, 획득되고 프로세싱된 영상이 이전의 영상과 비교되고, 그리고 변위 정정 이후의 잔존하는 변위가, 허용가능한 것으로서 고려되는 범위 내에 있는지가 결정된다. 다시 언급하면, 허용가능한 것으로서 고려될 것은 임계값과의 비교에 근거할 수 있고, 이러한 임계값은 또한 단계(48)에서 운용자에 의해 미리설정될 수 있거나 혹은 결정될 수 있다. 만약 잔존하는 변위가 허용가능한 범위 바깥쪽에 있다면, 알고리즘이 정정에 도달하지 못했거나 혹은 정정을 지나쳐버렸다고 추론될 수 있다. 영상들을 비교하는 단계(42)에서, 임의의 기존의 방법이 사용될 수 있으며, 그리고 이러한 방법으로부터의 가능한 출력은 유한 개수의 구분가능한 형상들의 변위가 어떻게 일어났는지를 설명하는 움직임 벡터(motion vector)에 대한 평균화된 값일 수 있다.

평균화된 움직임 벡터와 관련해서, 표준 영상 분석은 전체적으로 영상에 관해 움직임 벡터들을 평가하는 것 혹은 선택된 영역의 영상에 관해 움직임 벡터들을 평가하는 것을 포함한다. 선택된 영역은 예를 들어, 정지된 배경을 포함할 수 있고, 이러한 정지된 배경은 정의하자면 어떠한 움직임도 나타내지 않아야 한다. 특정 뷰에서 배경인 것으로서 정의될 것은 잘-알려진 표준 영상 프로세싱 혹은 영상 분석에 의해 식별될 수 있으며, 사용되는 기법들이 본 명세서에서 상세히 개시되지는 않을 것이다. 배경으로서 식별되는 물체는, 집, 길, 포장도로, 램프기둥 등일 수 있는바, 즉 비디오 스트림에서의 연속적인 프레임들 간에 움직임을 나타낼 것으로 예측되지 않는 물체들일 수 있다. 언급된 물체들, 즉 인공의 정지된 물체들은 종종, 영상 분석에서 사용될 수 있는 한 가지 특징만을 언급해보자면, 뚜렷한 가장자리들을 갖는 특징이 있다.

만약 변위 정정의 결과가 임의의 허용가능한 차이를 갖는다면, 프로세스는 완료되고, 그리고 프로세스는 정상-상태에 들어가 진행되는바(44), 여기서 초점 길이 값은 후속 천이 정정에서 또한 사용하기 위해 저장될 수 있으며(46), 그리고 비디오 카메라로부터의 출력을 모니터링하는 운용자에게 보여질 수 있다. 비록 본 명세서의 설명 전체에 걸쳐 용어 "초점 길이"가 사용되고 있을지라도 프로세스에서 실제로 삽입되어 사용되는 값은 해당 치수값으로부터 초점 길이가 용이하게 추론될 수 있는 그러한 또 하나의 다른 치수값일 수 있음을 이해해야 한다.

만약 변위 정정이 부적절하다면, 앞서의 단계들은 필요한 정도로 반복될 수 있으며, 여기서 초점-길이 설정을 위한 입력 값이 변경된다. 천이 정정의 평가(42)는 초점-길이 설정이 변경돼야하는 방향을 결정할 수 있다. 프로세서는 초점 길이에 대한 최적의 값에 도달하기 위해 언덕 오르기 알고리즘(hill climbing algorithm)을 사용할 수 있으며, 하지만 초점 길이에 대한 최적의 값을 찾기 위해 사용될 수 있는 수많은 다른 알고리즘들이 존재한다.

프로세스는 허용가능한 결과가 달성될 때까지 동일 세트의 영상들에 관해 반복적으로 수행될 수 있다. 다른 실시예들에서, 프로세스는 비디오 스트림에서의 어떠한 지연도 일어나지 않도록 하기 위해, 혹은 Δang이 선택되는 범위를 변경시켜서 데이터 세트를 증가시킴으로써 평균화 효과의 도입으로 통계치를 단지 증가시키기 위해, 매번 새로운 영상을 획득할 수 있다. 또한, 프로세스는 운용자로부터의 어떠한 입력도 없이 행해질 수 있다. 선택된 사항에 상관없이, 프로세스로부터의 출력은 여전히 초점 길이를 정량화하는 값일 수 있다. 일 세트의 영상들이 재사용되는 제 1 실시예에서, 본 방법은 배경에서 실행될 수 있고, 비디오 스트림의 공급은 초점-길이 설정의 현재 값으로 계속된다. 프로세스가 임의의 결과에 도달한 경우, 현재 값은 업데이트된 값으로 교체된다.

천이 정정 알고리즘은, 이러한 알고리즘이 상이한 시간에 영상 감지기의 상이한 부분들이 노출되는 것을 설명하고 있다는 점에서, 시간 분해(time resolve)될 수 있다. 이것은 영상 감지기의 상이한 위치에 결합되는 하드웨어 검출기(자이로스코프 장치)로부터의 연속적인 출력을 허용함으로써 실행될 수 있다. 이러한 특징은 예를 들어, 상이한 로우(row)들이 상이한 천이들을 겪게 되는 롤링 셔터 메커니즘(rolling shutter mechanism)을 사용하는 경우 특히 적절할 수 있다.

더욱이, 앞에서 언급된 바와 같이, 명백한 것으로, 운용자는 임계값을 입력함으로써, 혹은 또 다른 방식으로 튜닝(tuning)을 행함으로써, 비디오 스트림에서의 잔존 천이에 대해서, "허용가능한" 것으로서 고려될 것을 결정할 수 있다. 이러한 것이 도 6에서 예시되는바, 여기서 사용자는 초점 길이 설정(단계(40))에 관하여, 그리고/또는 임계치(단계(48))에 관하여, 입력 값들을 제공할 수 있다. 만약 운용자가 결정을 하지 못한다면, 임계치에 대한 임의의 미리설정된 값이 제공되어 사용될 수 있다. 도 5의 단계들과 유사 혹은 동일한 도 6의 단계들은 더 설명되지는 않을 것이다.

제 3 실시예에서, 운용자 입력은 더 증가된다. 이것은 도 7에서 개략적으로 예시되어 있으며, 이것은 운용자가 볼 수 있는 HMI의 슬라이더(50)를 기본적으로 보여주고 있다. 슬리이더-뷰(slider-view)는 해당 비디오 카메라에 대한 가능한 초점 길이들의 전 범위를 시각화할 수 있으며, 표시자(indicator)(52)는 초점 길이에 대한 현재 설정을 나타낸다. 운용자가 영상에서의 진동 변위를 관측하는 상황에서, 운용자는 표시자를 슬라이딩(sliding)시킬 수 있을 것이면, 이것은 결과적으로 프로세스에 의해 사용될 초점 길이에 대한 값이 보정되게 한다(도 6의 흐름도의 단계(40)에서 입력됨). 이것은 진동 변위가 운용자에 의해 결정되는 바와 같은 임의의 허용가능한 레벨(acceptable level)에 있게 될 때까지 수행될 수 있으며, 이러한 실시예에서, "허용가능한 레벨"은 미리설정된 임계치가 사용되는 실시예와 비교하여 정성적(qualitative)이다. 운용자는 도 6의 단계(48)에서 변위가 허용가능한지를 검증할 수 있으며, 하지만 묵시의 허용(silent accept)은 또한 슬라이더가 더 이상 조정되지 않는 것일 수 있다. 묵시의 허용의 의미는 슬라이더의 후속 조정이 있을 때까지 초점 길이 설정에 대한 현재 설정된 값이 사용되는 것에 대응한다. 이러한 실시예는 비교의 자동화된 단계가 없다는 것 외에는 기본적으로 제 2 실시예에 대응한다. 명백한 것으로, 슬라이더의 사용은 운용자가 입력을 제공할 수 있는 다수의 예들 중 하나의 예이다.

운용자가 변위 보상에 만족하는 경우, 프로세스는 초점 길이를 정량화한 현재 설정된 값으로 진행되며, 어떤 경우에서도 최적이든 혹은 그렇지 않든 현재의 값들로 진행될 것이다. 초점 길이 값은 이러한 실시예에서, 뿐만 아니라 다른 실시예들 중 임의의 실시예에서, 저장되는 것과는 별개로, 다른 프로세스들에 의해 전달 혹은 이용될 수 있다.

실시예들 중 임의의 실시예에서, 프로세스는 다른 입력이 제공되지 않는 경우 해당 설정에 대한 현재의 값(예를 들어, 초점 길이에 대한 현재의 값)으로 진행하도록 설정될 수 있다. 운용자-보조 최적화(operator-assisted optimization)에 있어서, 운용자가 영상 감지기로부터의 판독 속도에 필적하는 속도로 초점 길이 설정을 조정할 수 있는 것이 용이하게 실현되지 않는데, 입력이 없는 경우 프로세스는 현재의 값들로 진행될 것이다.

이러한 프로세스는 또한, 단순히 강제로 카메라가 흔들리도록 혹은 진동하도록 함으로써, 비디오 카메라를 교정하는 시퀀스에서 사용될 수 있다. 이러한 교정은 비디오 카메라가 장착되는 구조(예를 들어, 포스트(post), 마운팅(mounting) 등)에 단순히 충격(impact)6을 가함으로써 행해질 수 있고, 이후에 초점 길이의 교정, 즉 진동 보상 혹은 영상 안정화를 위한 프로세스가 임의의 움직임을 검출하는 하드웨어 검출기에 의해 개시될 수 있거나 혹은 임의의 다른 적절한 수단에 의해 개시될 수 있다.

팬 기능 및/또는 틸트 기능을 갖는 카메라들, 즉 팬 움직임 혹은 틸트 움직임을 수행하도록 원격으로 제어될 수 있는 카메라들은 더 복합적인 제어 알고리즘들을 요구할 수 있다. 간단한 접근법은 팬 및/또는 틸트 동안 영상 안정화의 동작을 금지시키는 것이다. 이러한 정교하지 못한 접근법은 더 정교한 접근법으로 교체될 수 있으며, 더 정교한 접근법에서 팬 및 틸트에서의 의도된 천이(예측된 팬 및/또는 틸트 움직임으로 인한 천이)는 영상 안정화로부터 취소되며, 반면 흔들림 혹은 진동으로 인해 유발되는 움직임은 처리되게 된다.

본 방법은 또한 진동 보상을 위한 임의의 시스템을 최적화하기 위해 사용될 수 있다.

본 개시내용에 따르면, 초점 길이의 미리설정된 값을 사용하여 진동의 결과로 인한 영상이 정정된다. 그 다음에 일 세트의 영상들은 천이 영향에 관해 평가된다. 만약 천이가 적절하게 다루어지지 않았다면, 이러한 천이가 임의의 허용가능한 임계치보다 작게 될 때까지 초기 길이에 대한 값이 적절한 방향으로 변경된다. 이러한 방식으로, 회전의 영향은 취소되고 그리고 초점 길이의 값이 추론된다. 초점 길이에 대한 값은 다른 프로세스들에서 중요한 입력일 수 있다. 초점-길이 설정이 사용될 수 있는 일부 예들은, 몇 가지 언급하면, 노출 설정의 최적화, 왜곡 정정의 수행, 영상 안정화(진동 및 흔들림의 영향의 최소화), 그리고 사용자로 하여금 임의의 다른 방식으로 이용하도록 하기 위해 초점-길이 설정을 단순히 사용자에게 제시하는 능력을 포함한다.

Claims (12)

1. 영상 안정화(image stabilization)를 위한 방법으로서,
   초점 길이 설정(focal-length setting)이 알려져 있지 않은 렌즈(lens)가 구비된 비디오 카메라(video camera)에 의해 비디오를 촬영(capturing)하고, 그리고 영상 안정화 프로세스를 실행하는 단계와, 여기서 상기 영상 안정화 프로세스는 상기 카메라의 변위(displacement)를 검출하는 하드웨어 검출기(hardware detector)로부터의 입력에 관해 동작함과 아울러 조정가능한 초점 길이 값(adjustable focal length value)에 관해 동작하고;
   촬영된 비디오 내에서의 변위를 상기 하드웨어 검출기로부터의 입력 및 상기 조정가능한 초점 길이 값에 근거하여 정정(correcting)하는 단계와;
   현재 설정된 초점 길이 값에서의 상기 영상 안정화 프로세스의 현재 동작에서 장면(scene)의 정지된 물체들(stationary objects)의 상기 촬영된 비디오에서의 변위를 평가(evaluating)하는 단계와; 그리고
   상기 평가된 변위가 임계값(threshold value)보다 작게 되거나 혹은 최소치에 있게 될 때까지 상기 조정가능한 초점 길이 값을 조정하는 단계를 포함하는 것을 특징으로 하는 영상 안정화를 위한 방법.
2. 제1항에 있어서,
   상기 조정가능한 초점 길이 값은 사용자 입력에 근거하여 조정되는 것을 특징으로 하는 영상 안정화를 위한 방법.
3. 제1항에 있어서,
   상기 임계값은 미리설정(pre-set)되는 것을 특징으로 하는 영상 안정화를 위한 방법.
4. 제1항에 있어서,
   상기 임계값은 운용자(operator)에 의해 설정되는 것을 특징으로 하는 영상 안정화를 위한 방법.
5. 제1항에 있어서,
   상기 조정가능한 초점 길이 값은 미리결정된 임계값(predetermined threshold value)보다 상기 변위가 작게 될 때까지 반복적 최적화 프로세스(iterative optimization process)에 따라 조정되는 것을 특징으로 하는 영상 안정화를 위한 방법.
6. 제1항에 있어서,
   상기 조정가능한 초점 길이 값의 정량화된 값(quantification)을 출력하는 단계를 더 포함하는 것을 특징으로 하는 영상 안정화를 위한 방법.
7. 제1항에 있어서,
   상기 평가된 변위가 상기 임계값보다 작게 될 때까지 영상 스트림(image stream)에서의 연속적인 영상들에 관해 평가가 수행되는 것을 특징으로 하는 영상 안정화를 위한 방법.
8. 제1항에 있어서,
   상기 하드웨어 검출기는 각천이(angular shift)를 검출하는 것을 특징으로 하는 영상 안정화를 위한 방법.
9. 제1항에 있어서,
   상기 하드웨어 검출기는 가속도측정기(accelerometer) 또는 자이로스코프 장치(gyroscopic device) 혹은 틸트측정기(tiltmeter)/틸트감지기(tiltsensor)와 같은 경사측정기(inclinometer)인 것을 특징으로 하는 영상 안정화를 위한 방법.
10. 제1항에 있어서,
    상기 하드웨어 검출기는 상기 비디오 카메라의 변위를 연속적으로 검출하며, 상기 변위의 타임 스탬프(time stamp)는 개개의 프레임(frame)의 데이터와 상관(correlate)될 수 있는 것을 특징으로 하는 영상 안정화를 위한 방법.
11. 비디오 카메라 시스템에 대한 초점 길이를 정량화(quantifying)하는 프로세스에서 청구항 제1항에 기재된 방법을 사용하는 것으로서, 상기 프로세스는 상기 방법을 적용하는 동안 혹은 상기 방법을 적용하기 전에 상기 비디오 카메라에 대한 흔들림(shake) 또는 진동(vibration)을 직접적으로 혹은 간접적으로 추론(inducing)하는 것을 포함하는 것을 특징으로 하는 청구항 제1항에 기재된 방법의 사용.
12. 비디오 카메라로부터의 출력 영상들의 영상 안정화를 위한 시스템으로서,
    상기 시스템은,
    상기 비디오 카메라의 변위를 검출하는 하드웨어 검출기의 출력과, 그리고
    추정된 초점 길이 설정을 나타내는 조정가능한 값을
    입력으로서 사용하여 상기 비디오 카메라로부터의 상기 출력 영상들의 영상 안정화를 수행하고,
    상기 시스템은 프로세싱 유닛(processing unit)을 포함하며,
    상기 프로세싱 유닛은,
    상기 하드웨어 검출기로부터의 출력 및 상기 조정가능한 값에 근거하여 임의의 영상에서의 천이(shift)를 정정하는 것과,
    천이가 정정된 연속적인 영상들을 비교하는 것과, 그리고
    천이가 정정된 연속적인 영상들 간의 천이가 임계치보다 작게 되거나 혹은 최소치에 있게 될 때까지 상기 조정가능한 값을 조정하는 것을
    수행하도록 되어 있는 것을 특징으로 하는 영상 안정화를 위한 시스템.

Images