KR20210133133A

KR20210133133A - 통계 기반 전자식 이미지 안정화

Info

Publication number: KR20210133133A
Application number: KR1020210032105A
Authority: KR
Inventors: 나이스트롬 요한; 위안 송
Original assignee: 엑시스 에이비
Priority date: 2020-04-28
Filing date: 2021-03-11
Publication date: 2021-11-05
Also published as: EP3905659A1; US11363201B2; JP2021185658A; EP3905659B1; KR102415194B1; TW202213973A; JP7123215B2; CN113572950A; US20210337123A1; CN113572950B; TWI767592B

Abstract

카메라(302)에 의해 캡처되는 이미지 시퀀스 내 크롭 영역을 선택하기 위한, 컴퓨터 프로그램 제품들을 포함하는 방법이나 장치. 상기 카메라의 움직임에 영향을 주는 외부 요소들의 데이터를 포함하는 제1 외부 모션 데이터(202)는 상기 카메라(302)의 움직임을 설명하는 내부 모션 데이터(204)와 상관 관계를 형성한다. 상기 제1 외부 모션 데이터(202) 및 상기 내부 모션 데이터(204)는 제1 시간 구간 동안 획득된다. 제2 외부 모션 데이터(208)는 상기 제1 시간 구간 이후에 제2 시간 구간 동안 획득된다. 제3 시간 구간 동안 캡처된 이미지 시퀀스는 상기 상관 관계 및 상기 2차 외부 모션 데이터(208)를 기반으로 한 크롭 영역을 선택함으로써 안정화된다. 상기 크롭 영역은 상기 제3 시간 구간 동안 이미지 시야에 대해 일정한 최대 크기를 유지한다. 상기 제3 시간 구간은 상기 제2 시간 구간 이후에 존재하거나 혹은 부분적으로 겹친다.

Description

통계 기반 전자식 이미지 안정화{Statistics-based electronic image stabilization}

본 발명은 카메라에 관한, 보다 자세하게는 카메라에 의해 캡처되는 이미지 시퀀스의 전자식 이미지 안정화에 관한 것이다.

현장 모니터링에 사용되는 모니터링 카메라는 다양한 원인에 의한 진동에 노출된 외부 (및 간헐적으로 내부) 장소에 종종 위치해 있다. 예를 들어, 갑작스럽게 부는 바람이 카메라를 흔들리게 할 수 있으며, 가까이 지나가는 열차나 무거운 트럭도 흡사한 효과를 유발할 수 있다. 이러한 진동은 카메라의 비디오 출력을 흐리게 만들 수 있으며, 이러한 비디오는 실용적인 목적으로는 다소 사용하기가 어려워진다. 비디오 품질의 개선으로 인해 흐린 이미지가 가져오는 이러한 문제는 더욱 분명해졌다. 픽셀 밀도, 높아진 해상도와 보다 강력한 줌 기능으로 인해 카메라는 진동에 더 민감해졌고, 시청자 역시 더욱 민감해지고 이를 잘 식별할 수 있게 되었다.

진동을 줄일 수 있는 방법 중 하나는 보다 견고한 지지대를 사용하거나 카메라를 보다 덜 노출된 장소에 설치하는 것이다. 두 가지 다른 기법이 있다면 광학식 이미지 안정화(optical image stabilization, OIS)와 전자식 이미지 안정화(electronic image stabilization, EIS)이며, 둘 다 물리적 공간이 아닌 카메라 자체 내에 설치된다. OIS 시스템은 카메라의 자이로스코프나 가속도계에 의존하며 카메라 진동을 감지 및 측정하고, 카메라와 렌즈의 떨림을 보정하기 위해 렌즈나 광학 센서를 움직임으로써, 카메라가 진동하지 않을 때와 동일하게 이미지 센서가 빛을 받을 수 있도록 한다.

EIS는 본래 비디오 카메라 용으로 개발된 것이다. EIS는 카메라 모션을 모델링하는 여러 알고리즘에 의존하는데, 이는 이미지를 보정하는 데에 쓰인다. 가시 이미지 테두리 바깥쪽의 픽셀은 모션을 위한 버퍼로 쓰이고, 이러한 픽셀 내 정보는 전자식 이미지 프레임을 조금씩 변화시킨다. 이는 모션의 균형을 잡아 주는 데에 충분하며, 안정적인 비디오 흐름을 생성한다. 카메라에 의해 캡처된 이미지 시퀀스에 대해 EIS를 활성화하고자 한다면, 각 이미지는 크롭되어야 하며, 종종 블랙 픽셀이라고도 불리는 아웃오브프레임(out-of-frame) 픽셀들은 EIS 수행 중 이미지 내로 진입하지 않아야 한다.

예를 들어 바람이나 지반 진동으로 카메라가 하나 이상의 피치(pitch), 요(yaw), 롤(roll) 방향으로 움직인다면, 해당 피치, 요, 롤 방향 움직임에 대한 보정이 필요할 수 있다. 그러나 해당 보정은, 앞에서 언급했듯이 아웃오브프레임 픽셀 진입을 피하기 위한 목적으로 수행되는 크롭 처리와 비교했을 때의 이미지 크롭 방식과는 상이할 수 있다. 때문에 이미지를 크롭하고자 할 시, EIS 모드 균형과 적절한 피치, 요 및 롤 방향 움직임을 허용할 수 있는 보다 나은 기법이 필요하다. 이는 크롭, 즉 크롭 영역이 이미지 시퀀스의 시야 내의 안정적인 영역일 경우 더욱 중요하다.

본 발명의 목적은 카메라에 의해 비디오 시퀀스와 같은 이미지 시퀀스 내 크롭 영역을 동적으로 선택하는 것에 대한 기법을 제공하여, 초점거리(focal length)를 기반으로 크롭 영역이 고정되거나 변화하는 종래 시스템과 비교하여 보다 나은 EIS를 수행하기 위한 것이다.

제1 양태에 따르면 본 발명은, 컴퓨터 시스템 내에서 카메라에 의해 캡처되는 이미지 시퀀스 내 크롭 영역을 선택하는 방법과 관련된 것이다. 해당 방법은:

● 제1 외부 모션 데이터와 내부 모션 데이터의 상관 관계를 생성하는 단계 (상기 제1 외부 모션 데이터와 상기 내부 모션 데이터는 제1 시간 구간 동안 획득되고, 상기 제1 외부 모션 데이터는 상기 카메라의 움직임에 영향을 주는 외부 요소들의 데이터를 포함하며, 상기 내부 모션 데이터는 상기 카메라의 움직임을 설명하는 데이터를 포함함);

● 상기 제1 시간 구간 이후의 제2 시간 구간 동안 제2 외부 모션 데이터를 획득하는 단계; 및

● 상기 상관 관계 및 상기 제2 외부 모션 데이터를 기반으로 크롭 영역을 선택함으로써, 제3 시간 구간 동안 캡처된 이미지 시퀀스를 안정화시키는 단계 (상기 제3 시간 구간은 상기 제2 시간 구간 이후에 존재하거나 상기 제2 시간 구간과 부분적으로 겹치고, 상기 크롭 영역은 상기 제3 시간 구간 동안 상기 카메라에 의해 캡처된 상기 이미지 시퀀스 내 이미지의 시야(field of view)에 대해서 일정한 최대 크기를 유지함).

를 포함한다.

일반적인 수준에서, 이미지 안정화는 각 카메라의 기능을 끌어올려 전체 비디오 모니터링 시스템이 보다 능률적이고 비용효과적일 수 있도록 한다. 줌 샷(zoom shot) 시 진동에도 이미지 품질을 유지하는 것이 그 예이며, 이 기법이 없다면 비디오 품질이 진동에 영향을 받을 수 있다. 보다 구체적으로, 본 발명은 카메라 사용자에게 바람과 진동 등과 같은 외부 요소들과 카메라 내 센서가 읽어내는 내부 판독 사이의 상관 관계를 생성시키는 방식을 제공한다. 외부 진동이 내부 센서 판독에 어떤 영향을 주는지 이해한다면, 또한 특정 센서 판독에 어떠한 종류의 크롭이 필요한지를 이해한다면, 상기 외부 요소에 대응하여 어떠한 크롭이 필요한지를 예측할 수 있으며, 이를 선제적으로 조절할 수 있다.

다르게 표현하자면, 본 발명에 따른 기법을 사용함으로써, 이미지 크롭을 동적으로 조절하는 것이 가능하며, 특정 시간 동안 카메라에 의해 캡처되는 이미지 시퀀스 내 이미지 시야에 대해 크롭 영역을 일정한 최대 크기로 유지할 수 있는데, 이는 기설정되었거나 사용자 혹은 당면한 상황에 의해 동적으로 정의될 수 있다. 예를 들어, 강한 바람이 예측된다면, 마진(margin)은 진동에 의한 보정을 고려해 크기가 더 커질 수 있다. 반면 차분한 날씨의 경우, 해당 일자에는 카메라가 안정적으로 거치되어 있을 것이기 때문에 마진을 보다 작게 둘 수 있다. 이러한 동적 마진을 갖는 결과로, 이미지 주위 픽셀들의 마진이 기설정되어 쓰였던 종래 방법과 비교했을 때, 다양한 형식의 이미지 프로세싱에 쓰일 수 있는 이미지 내 “사용 가능한” 픽셀 수가 많아진다.

일 실시예에서, 제1 시간 구간 및 제2 시간 구간은 각각 15분 혹은 그 이상이다. 제1 시간 및 제2 시간 동안 통계적으로 유의미한 데이터 양을 수집하며, 이때 각각 외부 및 내부 모션 데이터에 대한 뚜렷한 그림이 나타난다. 일반적으로, 이는 외부 모션 센서에 의해 캡처되는 데이터 패턴의 입도(granularity)에 의존한다. 어떠한 경우 수 분 만으로 충분할 수 있으나, 타 상황에서는, 통계적으로 유의미한 데이터세트를 획득하기 위해 데이터 수집이 수 시간, 수 일, 수 주, 수 개월 혹은 수 년까지 걸릴 수 있다.

일 실시예에서, 상기 외부 모션 데이터와 상기 내부 모션 데이터의 상관 관계를 생성하는 단계는, 센서 판독이 제1 시간 구간 내에 발생할 때마다, 각 제1 외부 모션 데이터와 상응하는 내부 모션 데이터의 상관 관계를 생성하는 단계를 포함한다. 이를 통해 내부 및 외부 센서 판독 사이에 발생하는 정확한 일치를 확인할 수가 있으며, 상기 내부 및 외부 모션 데이터 사이의 상관 관계 및 통계적으로 유의미한 데이터세트를 구현할 수 있다.

일 실시예에서, 제2 외부 모션 데이터를 획득하는 단계는, 제1 외부 모션 데이터와 예측 모델을 기반으로 예측으로서 제2 외부 모션 데이터를 획득하는 단계를 포함한다. 즉, 제2 모션 데이터는 센서 세트에 의해 직접 획득될 필요가 없으나, 상기 제1 모션 데이터와 예측 모델을 기반으로 할 수 있다. 예를 들어, 기상 예보가 30노트(knot) 풍속의 바람을 예측한다면, 제1 모션 데이터는 과거에 동일한 풍속과 풍향을 가진 바람이 불었을 때 카메라가 어떻게 행동했는지에 대한 정보를 포함할 수 있다. 이후, 다가올 예보 기간 동안 상기 카메라가 흡사한 방식으로 행동할 것이라고 논리적으로 예상하며, 다가오는 기간에 해당 정보를 제2 외부 모션 데이터로 사용하는 것이다. 그러므로, 현재 센서 판독에만 의존하는 것이 아니라, 예측 모델과 조합하여 과거에 있었던 센서 판독 역시 활용하는 것이다. 이는 외부 모션 데이터를 측정하거나 해당 데이터를 전송하는 센서가, 관련된 문제들에 보다 안전하게 대응할 수 있도록 한다.

일 실시예에서, 상기 제1 외부 모션 데이터 및 제2 외부 모션 데이터는 바람 데이터 및/또는 지반 진동 데이터를 포함하고, 상기 내부 모션 데이터는 자이로 데이터, 가속도계 데이터 및/또는 이미지 프로세싱에 의한 모션 추정을 포함한다. 이들은 카메라의 움직임에 영향을 주는 일반적인 데이터 형식을 나타내는 예에 해당한다. 그러나 이는 확정적인 목록이 아니며, 카메라를 움직이게 만드는 데에는 다른 요소들이 있음을 인지해야 한다 (예를 들어, 폭풍이 치는 동안 카메라를 가격하는 우박).

일 실시예에서, 상기 이미지 프로세싱에 의한 모션 추정은 디지털 이미지 안정화 알고리즘을 사용하여 수행된다. 즉, 픽셀들이 예를 들어 각각 수평이나 수직 방향으로 얼마나 움직였는지를 결정하는 분석을 거친다. 이미지를 안정화시키는 데에 쓰이는 오프셋 역시 계산된다. 디지털 이미지 안정화를 수행하는 데에 쓰이는 몇 가지 알고리즘이 알려져 있는데, 절대값 합(Sum of Absolute Differences, SAD) 알고리즘이 그 예다. 디지털 이미지 안정화를 사용하면, 카메라 내 자이로스코프 등과 같은 내부 모션 센서의 필요성을 해소할 수 있다.

일 실시예에서, 각각 제1 외부 모션 데이터 및 제2 외부 모션 데이터를 획득하는 단계는, 모션 센서 및/혹은 외부 기상 서비스로부터 각각 상기 제1 외부 모션 데이터 및 제2 외부 모션 데이터를 수신하는 단계를 포함한다. 즉, 제1 외부 모션 데이터 및 제2 외부 모션 데이터 중 하나는 모션 센서로부터 올 수 있다. 일반적으로 이러한 모션 센서는 카메라 인근에 설치되었을 것이며, 카메라 조건을 면밀히 반영할 것이다. 대체적으로, 데이터는 기상 서비스로부터 올 수 있으며, 이럴 경우 카메라 근처에 센서를 설치하고 유지할 필요가 사라지고, 대신 인근의 지역 기상 스테이션에 의존할 수 있다. 특정한 상황에 따라 둘 중 하나의 접근 방식이 선호될 수 있으며, 때로는 제1 외부 모션 데이터 및 제2 외부 모션 데이터를 획득하는 데에 양 접근 방식을 조합해 사용할 수 있다.

일 실시예에서, 상기 모션 센서는 바람 센서, 지반 진동 센서 혹은 제2 카메라를 포함한다. 이들은 모두 외부 모션을 결정하는 데에 사용될 수 있는 센서들이다. 바람 센서와 지반 진동 센서는 여러 형식으로 된 상용화된 제품이 많으며, 통상의 기술자들에게 그 기능들이 잘 알려져 있다. 제2 카메라는 외부 모션 데이터를 결정하는 데에 사용될 수 있다. 예를 들어, 제2 카메라는 지나가는 트럭의 번호판을 판독하고, 이러한 정보를 기반으로 데이터베이스로부터 해당 자동차에 대한 크기와 같은 정보를 획득하도록 구성된 카메라일 수 있다. 이 정보는 다른 카메라의 입력(input)으로 사용될 수 있으며, 이미지 안정화가 중요하게 작용하는 교통 모니터링을 목적으로 한 작업이 예가 될 수 있다.

일 실시예에서, 제2 외부 모션 데이터 및 상관 관계를 기반으로, 이미지 안정화가 하나 이상의 피치(pitch), 요(yaw) 및 롤(roll) 방향을 기반으로 이루어질지에 대한 추천이 제공된다. 상이한 방식의 진동은 카메라를 상이한 방향으로 움직이게 만들 수 있다. 예를 들어, 카메라를 지나쳐가는 열차나 트럭은 초기에는 수직적으로 가해지는 진동을 유발할 수 있다. 반면, 강한 바람은 초기에는 수평 등으로 가해지는 진동이나 변위를 유발할 수 있다. 어떠한 상황에서, 예를 들어 카메라가 바람에 흔들리는 폴(pole) 위에 거치되어 있다면, 롤 방향 보정이 필요할 수 있다. 그러므로, 사용 가능한 다양한 형식의 이미지 안정화 기법을 갖는 것이 유익하다. 여기서의 다양한 형식은 피치, 요, 롤 방향과 같은 다양한 형식의 카메라 움직임을 기반으로 할 수 있다. 제2 외부 모션 데이터 및 상관 관계를 기반으로, 어떠한 형식의 이미지 안정화가 해당 상황에서 가장 적절할지에 대한 추천이 이루어질 수 있다.

일 실시예에서, 기설정된 임계치를 초과하는 제2 외부 모션 데이터의 변화를 감지하는 것에 대응하여, 상관 관계와 변화된 제2 외부 모션 데이터를 기반으로 상이한 크롭 영역이 선택된다. 예를 들어, 특정 크롭 영역이 선택되었으며 바람이 갑작스럽게 불어오거나 줄어든다고 가정한다. 변화가 상당히 작다면, 크롭 영역에 생기는 변화는 없다. 그러나 변화가 크다면, 예를 들어 기설정된 임계치를 상승시키는 정도라면, 상기 크롭 영역은 카메라의 움직임 변화에 의해 변화할 수 있다. 이러한 변화를 만들 수 있는 기능은 상기 크롭 영역이 항상 최대 크기를 유지하도록 하며, 양호한 이미지 품질을 유지하도록 한다.

일 실시예에서, 크롭 영역을 선택하는 것은 이미지 시퀀스 내 이미지 시야에 의존하는 가변 안정화 마진(variable stabilizer margin)을 추가로 고려한다. 즉, 안정화 마진이 현재 시야와 함께 변화하도록 정의될 수 있다. 예를 들어, 특정 제품 혹은 설비의 경우 와이드 앵글 캡처 모드에서 이미지 안정화의 필요성이 감소할 수 있고, 텔레포토(telephoto) 캡처 모드에서 이미지 안정화의 필요성이 증가할 수 있다. 이러한 시나리오에서, 최대 마진은 현재 시야를 기반으로 조절될 수 있다. 와이드 줌 렌즈 카메라가 일 예이며, 수평 시야각이, 말하자면 90도에서 30도까지 달라질 수 있다. 이러한 시나리오에서, 작은 진동은 90도 시야에서의 이미지 품질에서는 거의 영향이 없을 것이다. 그러나 30도 시야로 확대할 경우 분명한 떨림이 있을 것이며, 최대 마진은 이를 수용하기 위해 보다 높은 값을 가져야 한다. 안정화 마진의 최소 및 최대 크기 사이의 범위는 기구성되거나 특정 카메라 설비 환경을 기반으로 사용자에 의해 결정될 수 있다. 제2 양태에 따르면, 본 발명은 카메라에 의해 캡처되는 이미지 시퀀스 내 크롭 영역을 선택하는 시스템과 연관된 것이다. 프로세서에 의해 실행되었을 때 메모리는 프로세서가:

를 포함하는 방법을 수행하도록 하는 인스트럭션(instruction)을 포함한다.

시스템 이점은 상기 방법의 이점과 상응하며, 이와 흡사하게 달라질 수 있다.

제3 양태에 따르면, 본 발명은 카메라에 의해 캡처된 이미지 시퀀스 내 크롭 영역을 선택하는 컴퓨터 프로그램과 연관된 것이다. 컴퓨터 프로그램은:

와 대응하는 인스트럭션을 포함한다.

컴퓨터 프로그램은 상기 방법의 이점과 상응하는 이점을 수반하며 이와 흡사하게 달라질 수 있다.

본 발명의 하나 이상의 실시예에 대한 구체적인 내용은 첨부된 도면이나 아래의 설명에 제시되어 있다. 본 발명의 타 기능이나 이점은 설명과 도면 및 청구항에 나타나 있다.

본 발명의 효과는 카메라에 의해 비디오 시퀀스와 같은 이미지 시퀀스 내 크롭 영역을 동적으로 선택하는 것에 대한 기법을 제공하여, 초점거리(focal length)를 기반으로 크롭 영역이 고정되거나 변화하는 종래 시스템과 비교하여 보다 나은 EIS를 수행할 수 있도록 한다.

도 1은 일 실시예에 따른 크롭 영역을 선택하는 것에 대한 프로세스를 보인다.
도 2는 일 실시예에 따라, 크롭 영역을 선택하는 것에 있어서 외부 센서 데이터 및 내부 센서 데이터가 어떻게 사용되는지를 보여주는 개략도(200)이다.
도 3은 일 실시예에 따라, 발명이 적용될 수 있는 시스템을 보여주는 개략적인 블록도이다.
다양한 도면에 등장하는 유사한 참조부호는 유사한 구성 요소를 나타낸다.

위에서 설명했듯이, 본 발명의 다양한 실시예들이 갖는 목표 중 하나는 카메라에 의해 비디오 시퀀스와 같은 이미지 시퀀스 내 크롭 영역을 동적으로 선택하는 것에 대한 기법을 제공하는 것이며, 이는 초점거리(focal length)를 기반으로 크롭 영역이 고정되거나 변화하는 종래 시스템과 비교하여 보다 나은 EIS를 수행하기 위한 것이다. 크롭 영역을 동적으로 선택할 수 있다면 상기 크롭 영역이 최대화될 수 있고, 이로 인해 캡처된 이미지의 픽셀 밀도 (및 해상도)를 최대화시킨다. 본 발명의 다양한 실시예들은 도면들과 관련하여, 또한 예시들에 의해 구체적으로 설명될 것인데, 도 1은 일 실시예에 따른 크롭 영역을 선택하는 것에 대한 프로세스를 보이고, 도 2는 일 실시예에 따라, 크롭 영역을 선택하는 것에 있어서 외부 센서 데이터 및 내부 센서 데이터가 어떻게 사용되는지를 보여주는 개략도(200)이고, 도 3은 일 실시예에 따라, 발명이 적용될 수 있는 시스템을 보여주는 개략적인 블록도이다.

본 발명의 맥락을 보다 잘 이해하기 위해서, 예시 시스템(300)에 대한 간략한 설명이 먼저 제시될 것이다. 개별 시스템 구성 요소들과 이들의 작동은 도 1 및 도 2에 대해 보다 구체적으로 설명될 것이다. 도 3에서 볼 수 있듯이, 시스템(300)은 이미지 안정화를 수행하도록 한, 비디오를 캡처하는 카메라(302)를 포함한다. 카메라(302)는 카메라의 내부 모션을 측정하는 자이로스코프 및/혹은 가속도계와 같은 하나 이상의 내부 모션 센서(304)를 포함한다. 시스템(300)은 나아가 카메라(302) 외부의 모션을 측정하는 바람 센서 (308) 및 지반 진동 센서(310)와 같은 외부 모션 센서(306) 세트를 포함한다. 일반적으로, 이러한 외부 모션 센서(306)는 카메라(302)의 가까운 인근에 위치한다.

시스템(300)은 나아가 기상 스테이션(312)을 포함한다. 카메라(302)에 대한 기상 스테이션(312)의 물리적인 위치는 바뀔 수 있다. 기상 스테이션(312)은 예를 들면, 현재 조건을 측정하는 바람 센서와 같은 센서(314)를 포함한다. 몇몇 구현예에서, 기상 스테이션(312)은 과거 데이터(316)에 대한 접근이 가능하다.

몇몇 실시예들에서, 예측 모델(318)은 시스템(300)의 일부분을 형성한다. 예측 모델(318)은 아래에 보다 구체적으로 설명될 것이나, 근본적으로 카메라(302)가 특정 조건 아래 어떻게 움직일지를 “예보(forecast)”하기 위해 과거 데이터(316)와 함께 작동한다. 나아가, 아래 설명되겠지만 일부 상황에서, 기상에 의존하지 않는 카메라 움직임들이 있을 수 있다 (예를 들어, 정상적인 일정 하에 카메라(302)가 거치된 플랫폼을 지나가는 열차). 이러한 기상에 의존적이지 않은 데이터 역시 시스템(300)의 일부가 될 것이다.

마지막으로 시스템(300)은 아래에 설명될 것처럼 데이터 프로세싱을 수행할 프로세싱 유닛(322)을 포함한다. 이러한 모든 시스템 구성 요소는 유선 네트워크, 무선 네트워크 혹은 둘의 조합이 될 수 있는 네트워크(324)를 통해 서로 커뮤니케이션한다. 상기 커뮤니케이션은 표준 혹은 독점적인 커뮤니케이션 프로토콜을 사용할 수 있다. 또한 도 3 내에서 도식을 용이하게 하기 위한 목적으로 각 유형의 시스템 구성 요소가 오직 하나씩만 나타날 때가 있지만, 실 구현예에서는 여러 구성 요소들이 있을 수 있다는 점에 유념해야 한다. 예를 들어, 하나의 카메라(302), 혹은 여러 개의 카메라(302)에 데이터를 제공하는 다수의 기상 스테이션(312) 혹은 외부 모션 센서(306)가 있을 수 있다. 그러므로, 도 3에서 나타난 시스템 실시예(300)는 시스템 구성 요소의 수와 형식을 명확히 나타내는 것으로 이해되지 않아야 한다.

도 1에 나타난 것처럼, 프로세스(100)는 단계 S102로서 제1 외부 모션 데이터(202)와 제1 내부 모션 데이터(204)를 수집하며 시작한다. 제1 외부 모션 데이터(202)는 도 2에 나타난 것과 같이, 제1 시간 구간인

동안 하나 이상의 외부 모션 센서로부터 수집된다. 외부 모션 데이터(202)는 카메라의 움직임에 영향을 줄 수 있는 풍향, 풍속 및 지반 진동과 같은 외부 요소들을 대표하는 데이터를 포함한다. 여기서 이는 배타적인 목록이 아니며, 위에서 설명했듯 예를 들어 거대한 우박 같이 카메라의 움직임에 영향을 줄 수 있는 다른 요소들이 있을 수 있다는 점에 유념해야 한다. 외부 모션 데이터(202)를 수집하는 데 사용되는 센서 및 관련 방법들은 통상의 기술자들에게 잘 알려진, 상용화된 다양한 센서들 중에서 선택될 수 있다.

제1 외부 모션 데이터(202)를 수집하는 동안, 내부 모션 데이터(204) 또한 제1 시간 구간 동안 수집될 수 있다. 내부 모션 데이터(204)는 많은 카메라 내 통상적인 구성 요소인 카메라 자이로스코프 혹은 가속도계와 같은 하나 이상의 카메라 내 내부 모션 센서에서 수집된다. 일부 구현예에서, 내부 모션 데이터(204)는 또한 픽셀의 움직임을 분석하여, 그리고 이미지 프로세싱 모션 벡터 추정 값을 결정하여 도출될 수 있는데, 이러한 경우 카메라 내 내부 모션 센서를 포함할 필요성이 사라진다.

본 발명의 다양한 실시예에 나타난 방법을 사용할 때, 적용될 수 있는 통계적 데이터세트를 획득하기 위해 제1 시간 구간은 수 분, 수 일, 수 주, 수 개월 혹은 수 년까지 크게 달라질 수 있다. 도 2에 도식된 것처럼, 제1 시간 구간이 하나 이상의 추가적인 제1 시간 구간들로 이어질 수 있다는 것에 유념해야 한다. 예를 들어, 카메라가 설치된 곳을 지나가는 열차로부터의 진동 데이터를 수집하는 것은 일반적으로 매우 짧은 시간 구간을 가지는, 또한 예측 가능한 상황이다. 반면에 평균 풍속 값을 획득하기 위해 강한 바람이 부는 날에 데이터를 수집하는 것은 긴 데이터 수집 기간을 필요로 할 수 있다.

다음, 상관 관계(206)는 단계 S104로서 제1 외부 모션 데이터(202)와 제1 내부 모션 데이터(204) 간에 이루어진다. 즉, 특정 시간에 수집된 제1 외부 모션 데이터는, 동일한 시간에 수집된 제1 내부 모션 데이터와 상관 관계를 가진다. 예를 들어, 제1 시간 구간 내 일정한 시간에 획득된 바람 센서 판독 및/혹은 지반 진동 센서 판독은, 제1 시간 구간 내 동일한 시간에 획득된 자이로 판독과 상관 관계를 가진다. 그러므로, 동일한 시간대에서, 외부 모션 센서 데이터와 내부 모션 센서 데이터 간에 매핑(mapping)이 있을 수 있다.

상기 상관 관계는 센서 판독 값의 1대1 대응 관계에 국한되지 않는다는 것에 유념해야 한다. 예를 들어, 일정한 시간에 얻은 자이로 판독 값은, 동일한 시간에 발생한 풍향 및 풍속 둘 다와 상관 관계를 가질 수 있다. 흡사하게, 상이한 센서가 상이한 샘플링 주파수를 가질 수 있다. 예를 들어, 카메라 내 내부 자이로는 초당 수백 번을 샘플링하지만, 그 동안 외부 바람 센서는 초당 1번의 샘플링을 할 수 있다. 그러므로, 당면한 특정 상황에 따라 데이터가 상관 관계를 생성할 수 있는 방법은 매우 다양하다. 그러나 주요 논지는 동일하다. 즉, 외부 센서 판독이 어떻게 내부 센서 판독과 매핑을 통해 상관 관계를 형성하는가에 대한 것이다.

나아가, 많은 카메라가 자이로스코프 혹은 가속도계와 같은 내부 센서를 가지지만, 이러한 구성 요소가 없는 카메라 또한 많다는 것에 유념해야 한다. 이러한 상황에서는, 내부 센서에 대한 대안으로 이미지 프로세싱에 의한 카메라 움직임을 결정하는 방법이 있다. 이는 일반적으로 디지털 이미지 안정화(Digital Image Stabilization, DIS)라 불린다. 간단하게, DIS 구현예에서, 픽셀이 각각 수평 및 수직 방향으로 얼마나 움직였는지를 분석해 결정하는 것이다. 이미지를 안정화시키는 데 사용되는 오프셋(offset)이 계산된다. DIS를 수행하는 것과 관련해, 예를 들어 절대값 합(Sum of Absolute Differences, SAD) 알고리즘과 같이 통상의 기술자들에게 잘 알려진 다수의 방법들이 있다.

다음으로, 단계 S106으로서 제2 외부 모션 데이터(208)가 획득된다. 일반적으로 이 단계는 제1 시간 구간인

이후에 나타나는 제2 시간 구간인

동안 단계 S102와 함께 위에서 설명한 동일한 기법을 사용해 이루어진다. 그러나, 제2 외부 모션 데이터(208)가 카메라의 특정 부분에 위치한 센서에 의해 수집되는 것이 아니라 다른 프로세스를 통해 획득되는 실시예들도 있다. 예를 들어, 제2 외부 모션 데이터(208)는 외부 기상 스테이션과 같은 외부 스테이션으로부터 획득될 수 있다. 예를 들어, 기상 스테이션에서의 제2 시간 구간과 같은, 특정 시간 동안 수신한 바람에 대한 통계 자료일 수 있다. 나아가, 이는 제2 시간 구간

에 선행하는 특정 시간에 얻은 바람에 대한 과거 통계 자료와 같은, 과거 외부 모션 데이터(210)를 수신한 것일 수 있다. 과거 외부 모션 데이터(210)의 경우, 제2 시간 구간

의 외부 모션 데이터를 예측하기 위해 예측 모델(318)과 함께 과거 데이터(316)가 사용될 수 있다. 나아가, 열차 시각표와 같은 시각표에 외부 모션 데이터가 매핑될 수 있다. 예를 들어 이러한 경우는 카메라가 철로 플랫폼에 설치되어 있고, 열차가 도착하거나, 출발하거나 단순히 지나쳐갈 때 발생하는 지반 진동에 상기 열차 시각표를 매핑하고자 하는 것이다. 그러므로, 제2 모션 데이터(208)가 획득될 수 있는 방법은 다양하다.

단계 S108로서 상기 상관 관계 및 상기 제2 외부 모션 데이터를 기반으로 한 크롭 영역을 선택하고, 제3 시간 구간 동안 캡처된 일련의 이미지를 안정화시킴으로써 프로세스는 종료된다. 종래 시스템 내에서는, 캡처된 이미지의 특정 크롭 영역과 같은 특정한 크롭이 각 자이로 판독과 같은 각 내부 모션 데이터와 어떻게 결합하는지가 알려져 있다. 그러므로, 제1 외부 모션 데이터(202)와 제1 내부 모션 데이터(204) 간 상기 상관 관계(206)를 사용해 상관 관계 모델(214)이 구현될 수 있으며, 이는 제2 외부 모션 데이터(208)에 직접 적용될 수 있다. 상기 상관 관계 모델(214)을 외부 모션 데이터(208)에 적용함으로써, 도 2에 나타난 바와 같이 제3 시간 구간인

동안 캡처된 이미지들을 위한 적절한 크롭 영역을 외부 모션 데이터(208)에 직접 매핑하는 것이 가능하다. 제3 시간 구간은 제2 시간 구간과 완전히 분리되거나, 부분적으로 겹칠 수 있다. 제1 시간 구간 및 제2 시간 구간과 각각 동일하게, 제3 시간 구간은 수 분, 수 시간, 수 일, 혹은 수 주까지의 범위를 가질 수 있다.

제3 시간 구간 동안 크롭에 필요한 내부 모션 데이터는 없다는 것에 유념해야 한다. 제2 외부 모션 데이터(208)가 통계적으로 처리되었으며, 상관 관계 모델(214)의 도움으로, 제3 시간 구간 동안 이미지 안정화에 사용될 하나의 크롭에 매핑(216)했기 때문이다.

제3 시간 구간 동안 이미지 안정화를 수행할 때 동일한 하나의 크롭을 사용하는 이점은, 제3 시간 구간 동안 크롭 이미지의 픽셀 크기가 동일하게 유지된다는 것이다. 때문에, 제3 시간 구간 동안 캡처되고 안정화된 모든 이미지들은 동일한 해상도를 가질 것이다. 일반적으로 크롭은 카메라의 줌 기능에 영향을 주기 때문에 자주 변화되지 않으며, 매우 “민감한” 크롭 조건일 경우, 불필요한 다수의 줌 인/아웃이 일어나는 카메라로부터 얻은 비디오를 시청하는 사용자들은 이로 인해 상당히 “요동치는” 이미지 스트림(image stream)을 얻을 수 있다. 과도하게 자주 발생하는 줌은 특정 이미지를 분석하는 기능에 부정적인 영향을 줄 수 있다. 다수의 실시예에서 광범위한 변동이 가능하지만, 줌은 24시간을 기준으로 1회에서 2회만 변화하는 것이 바람직하다.

일 실시예에서, 결정된 단일 크롭 영역은 이미지 시퀀스의 이미지 시야 내에서 최대 크기로 선택된다. 즉, 제3 시간 구간을 위한 크롭 영역은 캡처된 이미지의 백분위를 최대한 맞추는 방향으로 생성된다. 그러므로, 제2 외부 모션 데이터가 하나 이상의 비정상치(outlier)를 포함한다면, 예를 들어 하나 이상의 데이터가 상당히 큰 움직임이나 진동을 나타낸다면, 이러한 비정상치들은 크롭 영역을 결정할 때 무시될 수 있다. 이러한 경우들에서, 카메라의 큰 움직임이나 진동이 있을 동안 캡처된 이미지는, 비록 특정 이미지에 대한 선택적인 크롭 영역이 아닐 수 있더라도, 결정된 크롭 영역에 의해 안정화될 수 있다. 그러나 크롭 영역은 여전히 제3 시간 구간 동안 캡처된 이미지의 95% 내지 99%를 선택적으로 안정화시킬 수 있으며, 종래의 EIS 방법과 비교하여 여전히 유의미한 이점을 제공할 수 있다. 나아가, 크롭 영역을 최대화할 때의 이점은 픽셀 밀도 또한 최대화된다는 것이다. 때문에, 이미지 해상도 및 이미지 품질 또한 최대화될 수 있다.

일부 실시예에서, 크롭 영역을 결정하는 것에 더하여, 수집된 외부 모션 데이터(208) 및 예측 모델(318)은 미래의 특정 시간에 카메라가 어떻게 움직이거나 진동할지를 결정할 때 사용될 수 있다. 이 정보는 즉 카메라 시스템에 의해 사용되며 롤 방향이 활성화되어야 하는지, 혹은 카메라가 피치와 요 방향을 기반으로 이미지 안정화만을 수행해야 하는지를 제안한다.

나아가, 일부 실시예에서, 카메라 시스템은 크롭 영역으로 사용될 시야 범위와 같은 안정화 범위를 제안할 수 있다. 부분적인 정보들을 기반으로, 카메라 시스템은 적절한 EIS 모드를 제안한다. 일부 실시예에서, 추가적인 요소들이 EIS 모드를 제안할 때 고려될 수 있다. 예를 들어, EIS 모드가 계절에 따라 (예를 들어 고온의 여름 기간 동안의 EIS 모드 대비 춥고 눈이 오는 날의 EIS 모드), 시간대에 따라 (예를 들어 교통량이 많은 낮 시간의 EIS 모드 대비 상대적으로 고요한 야간의 EIS 모드) 다를 수 있는 상황이 생길 수 있다. 이처럼, 통상의 기술자들에 의해 구현될 수 있는, 또한 당면한 특정 상황을 기반으로 하여 생길 수 있는 상황은 매우 다양하다.

본 발명에 나타난 시스템과 방법은 소프트웨어, 펌웨어, 하드웨어 혹은 이들의 조합으로써 구현될 수 있다. 하드웨어 구현예에서, 상기 설명에 드러난 기능적 유닛(functional unit)이나 구성 요소 간의 태스크 분할은 피지컬 유닛(physical unit)으로의 분할과 반드시 상응할 필요는 없다. 반면, 하나의 피지컬 구성 요소는 다양한 기능을 수행할 수 있고, 하나의 태스크는 다수의 피지컬 구성 요소의 협력을 통해 수행될 수 있다.

특정 구성 요소 혹은 모든 구성 요소는 디지털 신호 프로세서 혹은 마이크로프로세서에 의해 실행되는 소프트웨어로써 구현되거나, 어플리케이션 특정 통합 회로로써 혹은 하드웨어로써 구현될 수 있다. 이러한 소프트웨어는 컴퓨터 저장 매체 (혹은 비일시적인 매체) 및 커뮤니케이션 매체 (혹은 일시적인 매체)를 포함할 수 있는 컴퓨터 판독 가능 매체를 통해 배포될 수 있다. 통상의 기술자들에게 잘 알려진, 컴퓨터 저장 매체라는 이 용어는 컴퓨터 판독 가능 인스트럭션, 데이터 구조, 프로그램 모듈 혹은 여타 데이터와 같은 정보 저장용 방법 혹은 기술로 구현된 휘발성이 있는 매체와 없는 매체, 제거가 가능한 매체와 불가능한 매체를 모두 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 혹은 여타 메모리 기술, CD-ROM, 디지털 다목적 디스크 (DVD) 혹은 여타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 혹은 여타 자기 저장 기기, 혹은 컴퓨터가 접근할 수 있는 위치에 원하는 정보를 저장하는 데에 사용될 수 있는 여타 매체를 포함하되, 이에 국한하지 않는다.

도에 나타난 순서도와 블록도는 본 발명의 다양한 실시예들에 따른 시스템, 방법 및 컴퓨터 프로그램 제품의 구현 가능한 구조, 기능 및 작동을 도식화한다. 이와 관련해, 순서도와 블록도 내 각 블록은 정의된 논리 함수(들)을 구현하기 위한 하나 이상의 실행 가능한 인스트럭션을 포함하는 모듈, 세그먼트, 혹은 인스트럭션 일부분을 대표할 수 있다. 일부 대체적인 구현예에서, 블록에 기입된 함수는 도에 나타난 순서를 따르지 않을 수 있다. 예를 들어, 연속적으로 나타난 두 블록이 실제로는 실질적으로 동시에 실행될 수 있거나, 혹은 관련된 기능에 따라 종종 역순으로 실행될 수도 있다. 블록도 및/혹은 순서도 도식에 등장하는 각 블록, 그리고 블록도 및/혹은 순서도 도식 내 블록들의 조합이, 해당 함수 혹은 작업을 수행하는, 혹은 특별한 목적을 가진 하드웨어와 컴퓨터 인스트럭션을 조합하는 특별한 목적을 가진 하드웨어 기반 시스템에 의해 구현될 수 있다는 것에 유념해야 한다.

통상의 기술자가 상기 설명된 실시예들을 다양한 방식으로 변형하면서도 상기 실시예들에서 드러난 본 발명의 이점들을 활용할 수 있는 것이 가장 좋을 것이다. 그러므로, 본 발명은 앞에서 보인 실시예들에 국한될 것이 아니며, 아래 첨부된 청구항에 의해서만 정의되어야 한다. 추가적으로, 숙련된 인력의 이해 수준에 따라, 상기 실시예들은 적절히 조합될 수 있다.

Claims

카메라에 의해 캡처되는 이미지 시퀀스 내 크롭 영역(cropping area)을 선택하기 위한 방법에 있어서,
제1 외부 모션 데이터와 내부 모션 데이터의 상관 관계를 생성하는 단계 - 상기 제1 외부 모션 데이터와 상기 내부 모션 데이터는 제1 시간 구간 동안 획득되고, 상기 제1 외부 모션 데이터는 상기 카메라의 움직임에 영향을 주는 외부 요소들의 데이터를 포함하며, 상기 내부 모션 데이터는 상기 카메라의 움직임을 설명하는 데이터를 포함함 - ;
상기 제1 시간 구간 이후의 제2 시간 구간 동안 제2 외부 모션 데이터를 획득하는 단계; 및
상기 상관 관계 및 상기 제2 외부 모션 데이터를 기반으로 크롭 영역을 선택함으로써, 제3 시간 구간 동안 캡처된 이미지 시퀀스를 안정화시키는 단계 - 상기 제3 시간 구간은 상기 제2 시간 구간 이후에 존재하거나 상기 제2 시간 구간과 부분적으로 겹치고, 상기 크롭 영역은 상기 제3 시간 구간 동안 상기 카메라에 의해 캡처된 상기 이미지 시퀀스 내 이미지의 시야(field of view)에 대해서 일정한 최대 크기를 유지함 - ;
를 포함하는, 방법.
제1항에 있어서,
상기 제1 시간 구간 및 제2 시간 구간은 각각 15분 혹은 그 이상인, 방법.
제1항에 있어서,
상기 제1 외부 모션 데이터와 상기 내부 모션 데이터의 상기 상관 관계를 생성하는 단계는, 상기 제1 시간 구간 내 센서 판독(readout)이 발생할 때마다, 각 제1 외부 모션 데이터와 이에 대응하는 내부 모션 데이터의 상관 관계를 생성하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제2 외부 모션 데이터를 획득하는 단계는, 상기 제1 외부 모션 데이터 및 예측 모델을 기반으로 상기 제2 외부 모션 데이터를 예측 값으로서 획득하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 제1 외부 모션 데이터 및 제2 외부 모션 데이터는 바람 데이터 및 지반 진동 데이터 중 하나 이상을 포함하고, 상기 내부 모션 데이터는 이미지 프로세싱에 의한 모션 추정(estimation) 데이터, 자이로(gyro) 데이터 및 가속도계 데이터 중 하나 이상을 포함하는, 방법.
제5항에 있어서,
상기 이미지 프로세싱에 의한 모션 추정은 디지털 이미지 안정화 알고리즘을 사용하여 이루어지는, 방법.
제1항에 있어서,
상기 제1 외부 모션 데이터 및 제2 외부 모션 데이터를 획득하는 것은, 모션 센서 및 외부 기상 서비스 중 하나 이상으로부터 각각 상기 제1 외부 모션 데이터 및 제2 외부 모션 데이터를 수신함으로써 이루어지는, 방법.
제7항에 있어서,
상기 모션 센서가 바람 센서, 지반 진동 센서 및 제2 카메라 중 하나를 포함하는, 방법.
제1항에 있어서,
상기 제2 외부 모션 데이터 및 상기 상관 관계를 기반으로, 이미지 안정화가 피치(pitch), 요(yaw) 및 롤(roll) 중 하나 이상을 기반으로 해야 하는지 여부에 대한 추천을 제공하는 단계;를 더 포함하는, 방법.
제1항에 있어서,
기설정된 임계치를 초과하는 상기 제2 외부 모션 데이터의 변화를 감지하는 것에 응답하여, 상기 상관 관계 및 상기 변화된 제2 외부 모션 데이터를 기반으로 상이한 크롭 영역을 선택하는 단계;를 더 포함하는, 방법.
제1항에 있어서,
상기 크롭 영역의 선택은, 상기 이미지 시퀀스 내 상기 이미지의 상기 시야에 의존하는 가변 안정화 마진(variable stabilizer margin)을 더 고려하는, 방법.
카메라에 의해 캡처된 이미지 시퀀스 내 크롭 영역을 선택하기 위한 시스템에 있어서,
하나 이상의 내부 모션 센서를 포함하는 카메라;
상기 카메라의 움직임에 영향을 주는 외부 요소들을 측정하도록 구성된 하나 이상의 센서; 및
메모리와 프로세서를 포함하는 프로세싱 유닛;을 포함하되,
상기 프로세서에 의해 실행될 때, 상기 메모리는:
상기 프로세서가,
제1 외부 모션 데이터와 내부 모션 데이터의 상관 관계를 생성하는 프로세스 - 상기 제1 외부 모션 데이터와 상기 내부 모션 데이터가 제1 시간 구간 동안 획득되고, 상기 제1 외부 모션 데이터가 상기 카메라의 움직임에 영향을 주는 외부 요소들의 데이터를 포함하고, 상기 내부 모션 데이터가 상기 카메라의 움직임을 설명하는 데이터를 포함함 - ;
상기 제1 시간 구간 이후의 제2 시간 구간 동안 제2 외부 모션 데이터를 획득하는 프로세스;
상기 상관 관계 및 상기 제2 외부 모션 데이터를 기반으로 크롭 영역을 선택함으로써, 제3 시간 구간 동안 캡처된 이미지 시퀀스를 안정화시키는 프로세스 - 상기 제3 시간 구간은 상기 제2 시간 구간 이후에 존재하거나 상기 제2 시간 구간과 부분적으로 겹치고, 상기 크롭 영역은 제3 시간 구간 동안 상기 카메라에 의해 캡처된 상기 이미지 시퀀스 내 이미지의 시야(field of view)에 대해서 일정한 최대 크기를 유지함 - ;
를 포함하는 방법을 수행하도록 하는 인스트럭션(instruction)을 포함하는,
시스템.
카메라에 의해 캡처되는 이미지 시퀀스 내 크롭 영역을 선택하기 위한 컴퓨터 프로그램 제품에 있어서,
컴퓨터 판독 가능 저장 매체 - 상기 컴퓨터 판독 가능 저장 매체는 이에 의해 구현된 프로그램 인스트럭션을 포함함 - 를 포함하되, 그 자체로는 일시적인 신호가 아니며, 상기 프로그램 인스트럭션은:
프로세서에 의해,
제1 외부 모션 데이터와 내부 모션 데이터의 상관 관계를 생성하는 프로세스 - 상기 제1 외부 모션 데이터와 상기 내부 모션 데이터가 제1 시간 구간 동안 획득되고, 상기 제1 외부 모션 데이터가 상기 카메라의 움직임에 영향을 주는 외부 요소들의 데이터를 포함하고, 상기 내부 모션 데이터가 상기 카메라의 움직임을 설명하는 데이터를 포함함 - ;
상기 제1 시간 구간 이후의 제2 시간 구간 동안의 제2 외부 모션 데이터를 획득하는 프로세스;
상기 상관 관계 및 상기 제2 외부 모션 데이터를 기반으로 크롭 영역을 선택함으로써, 제3 시간 구간 동안 캡처된 이미지 시퀀스를 안정화시키는 프로세스 - 상기 제3 시간 구간은 상기 제2 시간 구간 이후에 존재하거나 상기 제2 시간 구간과 부분적으로 겹치고, 상기 크롭 영역은 제3 시간 구간 동안 상기 카메라에 의해 캡처된 상기 이미지 시퀀스 내 이미지의 시야(field of view)에 대해서 일정한 최대 크기를 유지함 - ;
를 포함하는 방법을 수행하도록 실행될 수 있는,
컴퓨터 프로그램 제품.