KR20160079900A

KR20160079900A - 비디오 안정화를 위한 동작센서 기반 가상삼각 방법

Info

Publication number: KR20160079900A
Application number: KR1020167016575A
Authority: KR
Inventors: 지안핑 조우
Original assignee: 애플 인크.
Priority date: 2011-12-15
Filing date: 2012-12-05
Publication date: 2016-07-06
Also published as: KR101683082B1; KR20140101868A; US9628711B2; CN103988491B; US20130155264A1; WO2013090097A1; CN103988491A

Abstract

동작 센서 기반 비디오 안정화를 위한 장치, 방법, 컴퓨터-판독가능 매체. 동작 센서는 비디오 시퀀스의 동작 데이터를 캡처할 수 있다. 컨트롤러는 동작 센서로부터 동작 데이터에 기초하여 비디오 시퀀스를 캡처하는 데 이용되는 카메라의 평균 동작 데이터를 계산할 수 있다. 컨트롤러는 실제 카메라 동작과 평균 카메라 동작 사이의 차이를 결정해서 비디오 시퀀스 내의 프레임들에 대한 비디오 안정화 강도 파라미터를 설정할 수 있다. 비디오 안정화 유닛은 강도 파라미터를 이용해서 비디오 시퀀스 내의 프레임들을 안정화시킬 수 있다.

Description

비디오 안정화를 위한 동작센서 기반 가상삼각 방법{MOTION SENSOR BASED VIRTUAL TRIPOD METHOD FOR VIDEO STABILIZATION}

발명자: 지앤핑 저우

본 발명은 일반적으로 이미지 프로세싱의 분야에 관한 것이다. 좀 더 상세하게는, 제한하기 위함이 아니지만, 본 발명은 비디오 화상 캡처 동작들 동안 경험된 원치않는 동작을 보정하는 것에 관한 것이다.

요즘에, 다수의 개인용 전자 장치들(personal electronic devices)은 비디오 기능있는(video capable) 디지털 카메라들이 구비된다. 예시적인 개인용 전자 장치들은, 제한되지 않지만, 이동 전화들, 개인 휴대 정보 단말기들, 휴대용 음악 재생기들, 휴대용 영상 재생기들, 및 랩탑들, 노트북들과 테블릿 컴퓨터들과 같은 휴대용 컴퓨터 시스템들을 포함한다. 비디오 캡처 관련 한가지 공통 문제는 카메라의 원치않는 동작이다. 일부 동작은 바람직할 수 있고(예를 들면, 한 장면에서 카메라의 매끄러운 평행 이동), 다른 동작은 그렇지 않다(예를 들면, 흔들리는 손들 또는 보행에 의해 도입되는 동작).

다수의 비디오 캡처 장치들(video capture devices)은 카메라에 의해 캡처된 동작을 삭제하는 것을 포함하는 다양한 장치 기능들을 지원하는 데 이용될 수 있는 자이로스코프 센서(gyroscopic sensor)를 포함한다. 그러나, 카메라에 의해 캡처된 동작을 삭제하는 때, 캡처된 동작이 의도된 동작 또는 의도되지 않은 동작인지의 여부가 항상 명확하지 않다. 따라서, 의도되지 않은 동작만이 삭제되도록, 의도된 동작과 의도되지 않은 동작을 구분하기 위한 효율적인 방법이 필요하다.

<도 1>
도 1은 본 발명의 일 실시예에 따른 카메라 이용 장치의 단순 블럭도이다.
<도 2>
도 2는 일 실시예에서 비디오 프로세싱 시스템의 기능 블럭도이다.
<도 3>
도 3은 일 실시예에서 카메라, 자이로스코프 유닛, 컨트롤러 및 안정 장치의 예시적인 동작을 예시한다.
<도 4>
도 4는 일 실시예에서 비디오 안정화 강도들과 가변 회전각 델타를 연결하는 예시적인 그래프를 도시한다.
<도 5>
도 5는 일 실시예에서 비디오 프레임들에 안정화를 선택적으로 적용하는 방법을 예시한다.
<도 6>
도 6은 일 실시예에 따른 디지털 비디오 캡처 기능을 포함하는 전자 장치의 단순 기능 블럭도이다.

본 발명의 실시예들은 동작 센서로부터 획득된 정보를 기초로 하여 비디오 프레임들을 안정화하기 위한 기술들을 제공한다. 동작 센서는 비디오 시퀀스의 동작 데이터를 캡처할 수 있다. 컨트롤러는 동작 센서로부터 동작 데이터에 기초하여 비디오 시퀀스를 캡처하기 위해 이용되는 카메라의 평균 동작 데이터(average motion data)를 계산할 수 있다. 그로 인해 컨트롤러는 실제 카메라 동작과 평균 카메라 동작 사이의 차이를 결정해서 비디오 안정화 강도 파라미터(video stabilization strength parameter)를 비디오 시퀀스 내의 프레임들에 설정할 수 있다. 비디오 안정화 유닛은 비디오 시퀀스 내의 프레임을 안정화하기 위해 강도 파라미터를 이용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 카메라 이용 장치(100)의 단순 블럭도이다. 장치(100)는 카메라(110), 동작 센서(120), 비디오 안정 장치(video stabilizer; 130) 및 컨트롤러(140)를 포함할 수 있다(도 1(a)). 카메라(100)는 시각 정보(visual information)를 캡처하고 그로부터 비디오 데이터를 생성할 수 있다. 동작 센서(120)는 장치(100)의 동작을 감지할 수 있으며(그리고, 카메라(110)의 확장에 의해), 동작 데이터를 컨트롤러(140)로 출력할 수 있다. 비디오 안정 장치(130)는 카메라 동작때문에 발생하는 비디오 시퀀스(video sequence) 내의 오류들(artifacts)을 삭제하기 위하여 입력 비디오 시퀀스 상에 비디오 안정화 기술들을 수행할 수 있다. 비디오 안정 장치(130)는 컨트롤러(140)에 의해 자신에게 공급되는 강도 파라미터(strength parameter)에 의해 제어될 수 있는 여러 가지의 동작 파라미터들(미도시)에 따라 동작할 수 있다. 컨트롤러(140)는 동작 센서에 의해 공급되는 동작 데이터의 자신의 해석에 기초하여 강도 파라미터를 전개할 수 있다.

동작 동안, 카메라(110)는 소정 크기의 비디오 프레임들을 출력할 수 있다. 비디오 안정 장치(130)는 이미지 콘텐츠(image content) 내에 감지된 동작을 보상하기 위해 프레임들로부터 이미지 데이터를 작은 크기로 추출할 수 있다. 그 이후에, 비디오 안정 장치(130)는 동작 보상 프레임들(motion compensated frames)을 원래 크기(예를 들면, 카메라(110)에 의해 출력된 프레임들의 크기)로 다시 확장할 수 있다. 컨트롤러(140)는 동작 데이터에 기초하여 데이터의 각 프레임에 대해 비디오 안정 장치(130)를 위한 동작 강도를 결정할 수 있다. 컨트롤러(140)는 카메라(110)의 동작을 3 차원(예를 들면, 피치(pitch)/롤(roll)/요(yaw), 쿼터니언 유닛들(quaternion units), 또는 x, y, z 좌표들)으로 평가할 수 있다.

카메라(110)에 의해 캡처된 비디오 및 동작 센서(120)로부터 동작 데이터는 서로 관련될 수 있다. 카메라(110) 및 동작 센서(120)는 비동기로 동작할 수 있다. 공통 클럭(common clock)은 비동기 캡처 이미지(asynchronously captured image)와 동작 데이터를 공통 시각표(common timeline) 상에 위치시켜 비동기 캡처 이미지와 동작 데이터의 동기화를 촉진시키기 위해 비디오 데이터 및 동작 데이터 모두에 타임스탬프를 찍는 데 이용될 수 있다.

동작 센서(120)는 각 프레임 동안 카메라의 동작을 표현하는 컨트롤러(140)에 데이터를 출력할 수 있다. 전형적으로, 동작 센서(120)는 각 프레임 동안 다수의 데이터 샘플들(samples of data)을 출력할 수 있다. 일 실시예에서, 동작 센서 표본 추출 비율은 200 ㎐ 일 수 있다. 따라서, 카메라가 비디오 데이터를 초당 30 프레임들로 출력하면, 동작 센서는 비디오의 각 프레임에 대해 200/30 동작 데이터 샘플들을 생성할 수 있다. 다른 실시예에서, 동작 표본 추출 비율은 50 ㎐ 내지 200 ㎐일 수 있다. 일 실시에서, 동작 센서(120)는 가속도계(accelerometer), 디지털 나침반(digital compass), MEMS 동작 센서 장치 또는 자이로스코프일 수 있다. 동작 센서(120)는 카메라(110)의 공통 하우징 내에 또는 장치(100) 내 카메라(110)와 같은 공통 보드(미도시) 상에 장착될 수 있다.

도 1에서, 장치(100)는 스마트 폰으로 예시되나, 본 발명의 원리들은 제한되지 않는다. 본 발명의 실시예들은, 예를 들면, 휴대용 컴퓨터들, 테블릿 컴퓨터들, 웹캠들, 디지털 카메라들 및/ 또는 캠코더들을 포함하는 다양한 유형들의 장치들에 적용될 수 있다. 따라서, 카메라(110)는 전면(front-facing) 카메라 또는 후면(rear-facing) 카메라를 포함할 수 있다.

관습적으로, 도 1(a)에 도시된 각 구성 요소들 사이에 저장 버퍼들이 있다. 예를 들면, 비디오 안정화 유닛(130)은 하나의 버퍼로부터 비디오 데이터를 읽고 난 다음에 안정화된 비디오 데이터를 다른 버퍼에 쓸 수 있다. 저장 버퍼들은 코딩 엔진(coding engine)의 구성 요소들 사이에 또한 존재할 수 있다(미도시). 이 버퍼들은 논의하기 쉽도록 도 1에 예시하지 않는다.

또한, 본 발명의 원리들은 다양한 이용 사례들에 적용될 수 있다. 하나의 이용 사례에서, 장치(100)에 의해 캡처된 비디오는 레이어 재생(layer playback)을 위한 장치 상에 저장될 수 있다. 따라서, 도 1(a)는 장치(100)가 비디오 안정 장치(130)에 의해 출력된 비디오 시퀀스를 압축하기 위한 비디오 코더(video coder, 150) 및 압축 비디오를 저장하기 위한 저장부(storage, 160)를 포함할 수 있는 것을 예시한다. 일 실시예에서, 비디오 안정 장치(130)에 의해 출력된 비-압축 비디오 시퀀스는 저장부(160)에 직접적으로 저장될 수 있다. 또한, 도 1(a)는 비디오 시퀀스가 필요하다면 사용자(user) 선택 및 압축해제 다음에 표시될 수 있는 디스플레이(170)를 예시한다(미도시 동작들).

다른 이용 사례에서, 도 1(b)에 예시된 바와 같이, 비디오 시퀀스는 호스트 컴퓨터에 전송될 수 있다. 이 사례에서, 또한, 장치(100)는 비디오 코더(150) 및 저장부(160)를 이용해서 압축 비디오가 통신 접속 포트(180)를 경유해서 호스트 컴퓨터에 전송될 때까지 압축 비디오를 저장할 수 있다.

또 다른 이용 사례에서, 도 1(b)에 도시된 바와 같이, 비디오 시퀀스는 장치들 사이에 실시간 통신의 일환으로 다른 장치들과 교환될 수 있다(예를 들면, 화상 회의(videoconference)). 이 사례에서, 장치(100)는 비디오 코더(150)를 이용해서 비디오 시퀀스를 압축시키고 송신기(190)를 이용해서 유선 또는 무선 통신 접속에 의해 압축 비디오를 다른 장치에 송신할 수 있다. 전형적으로, 압축 비디오가 송신 전에 버퍼링(buffered)되지만, 도 1(a)는 비디오 시퀀스가 장치(100)에 의해 지속적으로 저장될 필요가 없다는 것을 표현하기 위해 압축 비디오를 비디오 코더(150)로부터 직접적으로 수신하는 송신기(190)를 예시한다.

비디오 안정 장치(130)는 컨트롤러(140)에 의해 자신에 입력된 강도 파라미터로부터 도출될 수 있는 동작 파라미터들을 이용하여 소스 비디오(source video) 상에 비디오 안정화를 수행할 수 있다. 도 2는 비디오 데이터의 예시적인 프레임의 맥락에서 비디오 안정 장치의 동작을 예시한다. 이 예에서, 비디오 안정 장치(130)는 비디오 데이터의 프레임들을 MxN 화소들의 소정 크기로 수신할 수 있으며 비디오 데이터의 프레임으로부터 서브(sub) 프레임을 XxY 화소들의 크기로 추출할 수 있다. 비디오 안정 장치(130)는 프레임들 사이에 동작 검색들(motion searches)을 수행해서 프레임에 따라 비디오 콘텐츠의 변위를 인식할 수 있다. 비디오 안정 장치(130)는 그들을 상쇄시키기 위해서 추출 윈도우(extraction window)를 감지 변위들(detected displacements)과 정렬시킬 수 있다. 따라서, 도 2의 예에서, 비디오 안정 장치(130)는 현 프레임에 대해 X1, Y1 위치에서 크기 XxY 화소들의 추출 윈도우(210)를 정의할 수 있다. 비디오 안정 장치(130)는 이미지 콘텐츠 내에 감지 동작에 따라 다른 위치들에서 다른 프레임들(미도시)에 대한 추출 윈도우들(220, 230)을 정의할 수 있다.

본 발명의 실시예들은 컨트롤러(140)에 의해 적용된 강도 파라미터에 기초하여 비디오 안정 장치의 동작 파라미터(구어체로는, 이 "강도")를 조정할 수 있다. 예를 들면, 추출 윈도우(210)의 크기는 강도 파라미터에 기초하여 변화될 수 있다. 일반적으로 말해서, 작은 추출 윈도우는 비디오 안정 장치가 카메라에 의해 자신에 입력된 MxN 프레임 내에 추출 윈도우를 이동시키기 위해 큰 유연성을 주기 때문에 작은 추출 윈도우는 큰 추출 윈도우 보다 더 큰 비디오 안정화를 가능케 해준다. 유사하게, 동작 검색 구동에 의해 제공되는 검색 윈도우(search window)는 강도 파라미터에 반응하여 크기를 변화시킬 수 있다. 검색 윈도우의 크기는 비디오 안정 장치에 의해 감지될 수 있는 동작의 양을 한정한다.

도 3은 본 발명의 실시예에 따르는 강도 파라미터의 도출을 예시하는 데이터 흐름도이다. 새 프레임(i)에 대한 동작 데이터(302)가 도출되는 때, 컨트롤러는 동작 데이터 상에 회전 분석(박스310)을 수행해서 카메라를 위한 회전 운동을 결정할 수 있다. 컨트롤러는 새 프레임(i)을 포함하여 소정 수의 프레임들에 대해 평균 카메라 동작(박스320)을 결정할 수 있다. 그 후에, 컨트롤러는 프레임(i)에서 카메라 회전과 프레임(i)에서 평균 카메라 회전 사이에 동작 차이(motion difference, ΔROT)를 계산할 수 있다(감산기330).

컨트롤러는 동작 차이(ΔROT)와 한 쌍의 기준점들(TH_HI, TH_LOW)(박스들340, 350)을 비교할 수 있으며 비교에 기초하여 강도 파라미터를 설정할 수 있다(박스360). 일 실시예에서, 동작 차이(ΔROT)가 TH_LOW 보다 낮으면, 컨트롤러는 강도 파라미터를 최대 설정으로 설정할 수 있고, 동작 차이(ΔROT)가 TH_HI 보다 크면, 컨트롤러는 강도 파라미터를 최소 설정으로 설정할 수 있다. 동작 차이(ΔROT)가 두 개의 기준점들 사이로 떨어지면, 컨트롤러는 강도 파라미터를 입력 프레임(i 302)의 동작에 기초하여 중간 설정으로 설정할 수 있다. 컨트롤러는 각 입력 프레임에 대해 강도 설정들을 다시 계산할 수 있고 입력 프레임들을 프로세싱하는 데 이용하기 위해 강도 설정들을 비디오 안정 장치로 출력할 수 있다.

입력 프레임(i 302)에 대한 동작 데이터는 동작 속도 정보를 포함할 수 있다: 카메라가, 예를 들면, 세 개의 축(x, y 및 z)의 각각에서 움직이고 있는 속도. 속도 정보는 순간 위치 및 회전 정보(또한 세 개의 축의 각각에서)를 만들기 위해 통합될 수 있다. 회전 정보는 쿼터니언 데이터일 수 있다. 일 실시예에서, 회전 데이터는 대응하는 비디오 프레임이 캡처되는 시점에서 의도된 카메라 운동을 평가하기 위해 분석될 수 있다. 그렇게 하기 위해, 회전 데이터는 동작 데이터(302)로부터 추출될 수 있고 한 세트의 비디오 프레임들로부터 회전 데이터(320)의 평균과 비교될 수 있다. 이 세트의 비디오 프레임들은 현 프로세스된 프레임 전에 캡처된 한 세트의 비디오 프레임들일 수 있다. 회전 데이터의 평균은 현 비디오 프레임이 기록된 시점 전에 카메라의 추정 의도된 위치(estimated intended position)를 표현할 수 있다. 이전 프레임들의 평균 회전 데이터는 고 주파수 성분들(high frequency components)을 제거하기 위해 로우 패스 필터(lowpass filter)를 통하여 이전 프레임들의 회전 데이터를 입력(feeding)해서 계산될 수 있다. 로우 패스 필터는 무한 임펄스 응답(infinite impulse response (IIR)) 로우 패스 필터일 수 있다. 그 이후에, 현 프레임의 회전각 델타(rotational angle delta)는 현 프레임의 회전 데이터로부터 평균 회전 데이터를 빼서 감산기(330)에 의해 획득될 수 있다. 회전각 델타(ΔROT)는 현 프레임에 대한 의도된 카메라 운동을 표현할 수 있다. 의도된 카메라 운동은 카메라를 잡은 사용자(user)가 일 축 상에 카메라를 회전시켜서 카메라를 평행 이동시키는 것을 포함할 수 있다. 예를 들면, 사용자가 정지해 있는 동안에, 사용자는 카메라를 평행 이동시켜서 자기를 지나 이동하는 이동 차량의 비디오 시퀀스를 캡처할 수 있다.

일 실시예에서, 컨트롤러는 동작 차이(ΔROT)를 한 쌍의 기준점들(TH_HI, TH_LOW)과 비교할 수 있다(박스340 및 박스350). 다른 실시예에서, 회전각 델타(ΔROT)는 높은 기준점 비교기(high threshold comparator, 340) 및 낮은 기준점 비교기(350)로 전송될 수 있다. 높은 기준점 비교기(340)는 ΔROT가 특정 기준점과 동일하거나 특정 기준점 초과인지의 여부를 결정할 수 있다. 낮은 기준점 비교기(350)는 ΔROT가 특정 기준점과 동일하거나 특정 기준점 미만인지의 여부를 결정할 수 있다. 비교기들(350, 350)로부터 정보는 강도 파라미터를 도출하는 데 이용될 수 있다(박스360). 도출된 강도 파라미터는 비디오 안정 장치(130)에 의해 입력된 대로 이용될 수 있다(도 1). 비디오 안정화의 목적은 비디오 데이터(예를 들면, 카메라를 다루는 개인의 손의 흔들림 결과로서)에 캡처된 고의가 아닌 흔들림, 급격한 동작 또는 높은 빈도의 동작의 양을 최소화하는 것이다. 높은 강도 파라미터는 고의가 아닌 흔들림의 결과로서 도출될 수 있고, 낮은 강도 파라미터는 고의적인 운동의 결과로서 도출될 수 있다.

도 4는 일 실시예에서 상이한 강도 파라미터들과 회전각 델타(ΔROT)를 연결하는 예시적인 그래프(400)를 도시한다. 회전각 델타(410)가 그래프의 x-축 상에 있고, 강도 파타미터(420)가 그래프의 y-축 상에 있다. 그래프에 보여진 바와 같이, 두 개의 기준점들, 낮은 기준점(TH_LOW)(430), 및 높은 기준점(TH_HI)(440)이 있다. 일 실시예에서, 회전각 델타가 낮은 기준점(430)보다 낮은 때, 일정한 높은 강도 파라미터가 도출될 수 있다. 즉, 기준점보다 낮은 회전각 델타를 갖는 모든 프레임들은 동일한 비디오 안정화 강도가 적용된다. 일 실시예에서, 회전각 델타가 높은 기준점(440)보다 높은 때, 일정한 낮은 강도 파라미터가 도출될 수 있다. 일 실시예에서, 낮은 기준점 값(430)은 높은 기준점 값(440)보다 항상 낮다. 일 실시예에서, 회전각 델타가 높은 기준점과 낮은 기준점 사이에 있으면, 강도 파라미터는 회전각 델타의 함수로 도출될 수 있다. 일 실시예에서, 함수는 회전각 델타의 선형 함수(linear function)일 수 있다. 다른 실시예에서, 함수는 회전각 델타의 비선형 함수, 예를 들면, 회전각 델타의 지수 함수(exponential function)일 수 있다. 일 실시예에서, 함수는 음의 기울기(negative slope)를 가질 수 있고, 예를 들면, 강도 파라미터는 회전각 델터가 증가함에 따라 감소될 수 있다. 일 실시예에서, 함수는 수학적 계산으로 구현될 수 있다. 다른 실시예에서, 함수는 룩업 테이블(lookup table)을 통하여 구현될 수 있다.

도 5는 일 실시예에서 비디오 스트림의 프레임에 안정화를 선택적으로 적용하는 방법(500)을 예시한다. 비디오 스트림의 각 순차 프레임에 대해, 현 프로세스된 프레임의 회전 데이터는 현 프로세스된 비디오 프레임이 캡처된 대략 동일 시간에 캡처된 동작 데이터로부터 추출되고 계산된다(박스540). 회전 데이터는 쿼터니언 데이터일 수 있다. 현 프로세스된 프레임의 회전각 델타(ΔROT)는 한 세트의 프레임들의 평균 회전 데이터와 현 프로세스된 프레임의 회전 데이터를 비교해서 계산된다(박스550). 일 실시예에서, 이 세트의 프레임들은 현 프로세스된 비디오 프레임 전에 캡처된 한 세트의 비디오 프레임들일 수 있다. 이전 프레임들의 평균 회전 데이터는 동적으로 계산될 수 있으며, 각 현 프로세스된 프레임의 회전 데이터는 각 반복(iteration) 동안 평균 회전 데이터를 갱신(update)하는 데 이용된다. 회전 데이터의 평균은 현 비디오 프레임이 기록된 시점 전에 카메라의 추정 의도된 위치를 표현할 수 있다. 이전 프레임들의 평균 회전 데이터는 고 주파수 성분들을 제거하기 위해 로우 패스 필터를 통하여 이전 프레임들의 회전 데이터를 입력해서 계산될 수 있다. 로우 패스 필터는 무한 임펄스 응답(IIR) 로우 패스 필터일 수 있다. 회전각 델타는 이전 프레임들의 평균 회전 데이터와 현 프로세스된 프레임의 회전 데이터 사이의 차이일 수 있다.

회전각 델타(ΔROT)는 현 비디오 프레임에 대한 의도된 카메라 운동을 표시할 수 있다(예를 들면, 비디오를 캡처링할 경우에 사용자(user)가 카메라를 평행 이동시키는 때). 그러나, 특정 예들에서, 회전각 델타는 카메라를 쥘 때 손들의 미세한 흔들림과 같은 사용자에 의한 카메라의 고의적이 아닌 운동일 수 있다. 고의적이 아닌 카메라 운동과 고의적인 카메라 운동 사이에 독특한 인자(distinguishing factor)는 회전각 델타의 크기일 수 있다. 일 실시예에서, 회전각 델타는 낮은 기준점에 비교될 수 있다(박스560). 회전각 델타가 낮은 기준점 미만이면(박스560), 높은 비디오 안정화는 현 프로세스된 비디오 프레임에 적용될 수 있다(박스570). 낮은 회전각 델타는 카메라를 쥔 사용자가 카메라를 고의적으로 움직이게 한 것이 아니고, 운동이 카메라의 고의적이 아닌 작은 흔들림에 의해 발생되었다는 것을 표시할 수 있다. 일 실시예에서, 회전각 델타가 낮은 기준점 미만이 아니면, 회전각 델타는 높은 기준점에 비교될 수 있다(박스580). 회전각 델타가 높은 기준점 초과이면(박스580), 낮은 비디오 안정화는 현 프로세스된 비디오 프레임에 적용될 수 있다(박스590). 높은 회전각 델타는 카메라를 쥔 사용자가 카메라를 고의적으로 움직이게 했다는 것을, 예를 들면, 카메라를 평행 이동시켜서 이동 물체의 비디오를 캡처하였다는 것을 표시할 수 있다. 일 실시예에서, 회전각 델타가 높은 기준점과 낮은 기준점 사이에 있으면, 안정화는 회전각 델타의 함수로 적용될 수 있다(박스595). 일 실시예에서, 함수는 회전각 델타의 선형 함수일 수 있다. 다른 실시예에서, 함수는 회전각 델타의 비선형 함수, 예를 들면, 회전각 델타의 지수 함수일 수 있다. 또 다른 실시예에서, 함수는 룩업 테이블을 통하여 구현될 수 있다.

도 6은 일 실시예에 따라 도시된 디지털 비디오 캡처 기능을 포함하는 대표적인 전자 장치(600)의 단순 기능 블럭도이다. 전자 장치(600)는 프로세서(605), 디스플레이(610), 장치 센서들(615)(예를 들면, 자이로(gyro), 가속도계(accelerometer), 프록시미티(proximity), 및 환경 광 센서들(ambient light sensors)), 마이크로폰(620), 오디오 코덱(audio codec, 625), 스피커(630), 통신 회로(communications circuitry, 635), 연관된 카메라 및 비디오 하드웨어를 가지는 이미지 센서(640), 사용자 인터페이스(645), 메모리(650), 저장 장치(655), 비디오 코덱(들)(660) 및 통신 버스(665)를 포함할 수 있다.

프로세서(605)는 임의의 적당한 프로그래머블 제어 장치 또는 일반 또는 특수 목적 프로세서 또는 집적회로일 수 있으며 전자 장치(600)에 의해 수행되는 다른 기능들 뿐 아니라 이미지 메타데이터의 생성 및/ 또는 프로세싱과 같은 많은 기능들의 구동을 수행하거나 제어하기 위해 필요한 명령어들을 실행할 수 있다. 프로세서(605)는, 예를 들면, 디스플레이(610)를 구동할 수 있고 사용자 인터페이스(645)로부터 사용자 입력을 수신할 수 있다. 프로세서(605)는 또한, 예를 들면, 모바일 장치들 또는 전용 그래픽 프로세싱 유닛(dedicated graphics processing unit (GPU))에서 발견되는 것들과 같은 응용 프로그램의 프로세서(application's processor)와 같은 시스템-온-칩(system-on-chip)일 수 있다. 프로세서(605)는 축소 명령어 세트 컴퓨터(reduced instruction-set computer (RISC)) 또는 복합 명령어 세트 컴퓨터 구조들(complex instruction-set computer (CISC) architectures) 또는 다른 임의의 적합한 구조에 기초할 수 있으며 하나 이상의 프로세싱 코어들(processing cores)을 포함할 수 있다.

메모리(650)는 장치 기능들을 수행하기 위해 프로세서(605)에 의해 이용되는 하나 이상의 상이한 유형들의 저장 매체들을 포함할 수 있다. 메모리(650)는, 예를 들면, 캐시(cache), 읽기 전용 메모리(read-only memory (ROM)) 및/ 또는 랜덤 액세스 메모리(random access memory (RAM))를 포함할 수 있다. 통신 버스(660)는 적어도 저장 장치(655), 메모리(650), 프로세서(605) 및 카메라 회로(640)로, 적어도 저장 장치(655), 메모리(650), 프로세서(605) 및 카메라 회로(640)로부터, 또는 적어도 저장 장치(655), 메모리(650), 프로세서(605)와 카메라 회로(640) 사이에 데이터를 전송하기 위해 데이터 전송 경로를 제공할 수 있다. 사용자 인터페이스(645)는 사용자(user)가 전자 장치(600)와 상호 작용하게 해줄 수 있다. 예를 들면, 사용자 인터페이스(645)는 버튼, 키패드, 다이얼, 클릭 휠(click wheel) 또는 터치 스크린과 같은 다양한 형태들을 취할 수 있다.

비일시적 저장 장치(655)는 매체들(예를 들면, 이미지 및 비디오 파일들), 컴퓨터 프로그램 명령어들 또는 소프트웨어, 선호 정보(preference information), 장치 프로파일 정보 및 다른 임의의 적합한 데이터를 저장할 수 있다. 저장 장치(655)는, 예를 들면, 자기 디스크들(고정, 플로피 및 분리성) 및 테이프, CD-ROM 및 디지털 비디오 디스크(DVD)들과 같은 광 매체들, 그리고 Electrically Programmable Read Only Memory (EPROM) 및 Electrically Erasable Programmable Read-Only Memory (EEPROM)과 같은 반도체 기억 장치들을 포함하는 하나 이상의 저장 매체들을 포함할 수 있다.

비디오 코덱(660)은 하드웨어 장치, 소프트웨어 모듈 또는 디지털 비디오의 비디오 압축 및/ 또는 압축해제를 가능하게 하는 하드웨어 및 소프트웨어의 조합일 수 있다. 예를 들면, 비디오 코덱(660)은 H.264 비디오 표준을 구현할 수 있다. 통신 버스(665)는 임의의 하나 이상의 통신 경로들일 수 있으며 특정 구현을 위해 적합한 임의의 기술 또는 그의 조합을 이용할 수 있다.

소프트웨어는 하나 이상의 모듈들로 구성될 수 있으며 임의의 적합한 컴퓨터 프로그래밍 언어(또는 하나 이상의 언어)로 쓰여질 수 있다. 예를 들면, 프로세서(605)에 의해 실행될 때, 이러한 컴퓨터 프로그램 코드 또는 소프트웨어는 본 명세서에 기술된 하나 이상의 방법들을 구현할 수 있다.

예시된 구동 방법들의 상세한 기술 뿐 아니라, 물질들, 성분들, 회로 요소들에 다양한 변경들은 다음의 특허 청구 범위로부터 벗어남이 없이 가능하다. 예를 들면, 프로세서(605)는 통신 상으로 결합된 두 개 이상의 프로그램 제어 장치들을 이용하여 구현될 수 있다. 각 프로그램 제어 장치는 위에 인용된 프로세서들, 특수 목적 프로세서들(special purpose processors), 또는 주문형 반도체(application specific integrated circuit (ASIC)) 또는 현장 프로그래머블 게이트 어레이(field programmable gate array (FPGA))와 같은 하드웨어 장치에 구현될 수 있는 주문 설계 상태 기계들(custom designed state machines)을 포함할 수 있다. 또한, 본 명세서에 개시된 기술들은 이전에 캡처된 비디오 시퀀스들에 적용될 수 있고, 필요한 메타데이터를 제공하는 것은 각 비디오 프레임에 대해 캡처되었다.

위의 상세한 설명에서, 설명을 위해, 많은 특정 상세한 기술이 본 발명의 개념들의 철저한 이해를 제공하기 위해 설명되었다. 이러한 상세한 설명의 일부로서, 일부 구조들 및 장치들이 본 발명의 왜곡을 방지하기 위해 블럭도 형태로 도시되었을 수 있다. 본 명세서에서 일 실시예("one embodiment" 또는 "an embodiment")에 관한 언급은 실시예에 관련되어 기술되어진 특정한 특징부, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미하고, 일 실시예("one embodiment" 또는 "an embodiment")에 관한 중복 언급은 동일 실시예를 반드시 모두 참조하는 것으로 이해되어서는 안된다.

임의의 실제 구현의 개발(임의의 개발 계획에서와 같이)에 있어서, 많은 결정들이 개발자의 특정 목적들(예를 들면, 시스템 및 비지니스 관련 제약 조건을 준수)을 성취하도록 만들어져야만 하고, 이러한 목적들이 구현에 따라 변화할 것임이 이해될 것이다. 또한, 이러한 개발 노력들이 복잡하며 시간이 걸릴 수 있으나, 그럼에도 불구하고 본 발명의 이익을 갖는 디지털 비디오 캡처 및 프로세싱 분야에서 통상의 지식을 가진 자에게는 일상적인 것임이 이해될 것이다.

위의 상세한 설명이 의도적인 예시이며, 제한하려는 것이 아님이 이해될 것이다. 예를 들면, 위에 기술된 실시예들은 서로 조합하여 이용될 수 있다. 다른 많은 실시예들은 위의 상세한 설명을 검토한 후에 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 명백할 것이다. 그러므로, 본 발명의 범주는 첨부된 특허청구범위를 참조하여, 이러한 특허청구범위의 권리를 갖는 등가물들의 전체 범주에 따라 결정되어야 한다. 첨부된 특허청구범위에서, 용어 "포함하는(including)" 및 "여기서(in which)"는 각각의 용어 "포함하는(comprising)" 및 "여기서(wherein)"의 평문 영어 등가물들로서 이용된다.

Claims

비디오 시퀀스(video sequence) 내의 프레임에 대한, 비디오 안정화(video stabilization) 방법으로서,
상기 비디오 안정화 방법은, 상기 비디오 시퀀스에 연관된 동작 센서 데이터(motion sensor data)에 응답하여,
상기 프레임에 대한 캡처 기간 동안 카메라의 평균 동작(average motion)을 계산하는 단계;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 차이(difference)를 결정하는 단계;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 상기 결정된 차이를 적어도 하나의 기준점(threshold)과 비교하는 단계;
상기 프레임에 대한 비디오 안정화 강도 파라미터(video stabilization strength parameter)를, 각 프레임의 상기 결정된 차이를 상기 적어도 하나의 기준점과 비교한 것에 기초하여 설정하는 단계; 및
상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하는 단계를 포함하는, 비디오 안정화 방법.
제1 항에 있어서, 상기 비디오 안정화 강도 파라미터는
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제1 기준점 미만일 때 높은 강도 값(high strength value),
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제2 기준점 초과일 때 낮은 강도 값, 및
상기 각 프레임의 상기 차이가 상기 제1 기준점 초과이고 상기 제 2 기준점 미만일 때 상기 높은 강도 값과 상기 낮은 강도 값 사이의 중간 값(intermediate value)으로 설정되는, 비디오 안정화 방법.
제1 항에 있어서, 상기 동작 센서 데이터는 자이로스코프 센서 데이터(gyroscopic sensor data)로부터 도출되는, 비디오 안정화 방법.
제1 항에 있어서, 상기 동작 센서 데이터는 가속도계 센서 데이터(accelerometer sensor data)로부터 도출되는, 비디오 안정화 방법.
제1 항에 있어서, 상기 동작 센서 데이터는 회전 데이터인, 비디오 안정화 방법.
제1 항에 있어서, 상기 평균 동작을 계산하는 단계는 상기 동작 센서 데이터를 필터링하는 단계를 포함하는, 비디오 안정화 방법.
제1 항에 있어서, 상기 카메라는 휴대용 전자 장치인, 비디오 안정화 방법.
제2 항에 있어서, 상기 중간 값은 상기 프레임에 대한 상기 차이의 함수에 기초하는, 비디오 안정화 방법.
컴퓨터가 명령어들을 실행하도록 하기 위해 컴퓨터 실행가능 명령어들을 포함하는 물리적 컴퓨터-판독가능 매체로서, 상기 컴퓨터 명령어들은,
비디오 시퀀스에 연관된 동작 센서 데이터로부터 카메라의 평균 동작을 계산하는 것 - 상기 평균 동작은 상기 비디오 시퀀스 내의 프레임에 대한 캡처 기간 동안 계산됨 - ;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 차이를 결정하는 것;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 상기 결정된 차이를 적어도 하나의 기준점과 비교하는 것;
상기 프레임에 대한 비디오 안정화 강도 파라미터를, 각 프레임의 상기 결정된 차이를 상기 적어도 하나의 기준점과 비교한 것에 기초하여 설정하는 것; 및
상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하는 것을 포함하는, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 비디오 안정화 강도 파라미터는
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제1 기준점 미만일 때 높은 강도 값,
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제2 기준점 초과일 때 낮은 강도 값, 및
상기 각 프레임의 상기 차이가 상기 제1 기준점 초과이고 상기 제 2 기준점 미만일 때 상기 높은 강도 값과 상기 낮은 강도 값 사이의 중간 값으로 설정되는, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 동작 센서 데이터는 자이로스코프 센서 데이터로부터 도출되는, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 동작 센서 데이터는 가속도계 센서 데이터로부터 도출되는, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 동작 센서 데이터는 회전 데이터인, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 평균 동작을 계산하는 것은 상기 동작 센서 데이터를 필터링하는 것을 포함하는, 물리적 컴퓨터-판독가능 매체.
제9 항에 있어서, 상기 카메라는 휴대용 전자 장치인, 물리적 컴퓨터-판독가능 매체.
제10 항에 있어서, 상기 중간 값은 상기 프레임에 대한 상기 차이의 함수에 기초하는, 물리적 컴퓨터-판독가능 매체.
장치로서,
컴퓨터 명령어들을 실행시키는 프로세서
를 포함하며,
상기 컴퓨터 명령어들은, 상기 프로세서가, 비디오 시퀀스에 연관된 동작 센서 데이터에 응답하여,
상기 비디오 시퀀스 내의 프레임에 대한 캡처 기간 동안 카메라의 평균 동작을 계산하게 하고;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 차이를 결정하게 하고;
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 상기 결정된 차이를 적어도 하나의 기준점과 비교하게 하고;
상기 프레임에 대한 비디오 안정화 강도 파라미터를, 각 프레임의 상기 결정된 차이를 상기 적어도 하나의 기준점과 비교한 것에 기초하여 설정하게 하고;
상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하게 하는, 장치.
제17 항에 있어서, 상기 비디오 안정화 강도 파라미터는
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제1 기준점 미만일 때 높은 강도 값,
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제2 기준점 초과일 때 낮은 강도 값, 및
상기 각 프레임의 상기 차이가 상기 제1 기준점 초과이고 상기 제 2 기준점 미만일 때 상기 높은 강도 값과 상기 낮은 강도 값 사이의 중간 값으로 설정되는, 장치.
제17 항에 있어서, 상기 동작 센서 데이터는 자이로스코프 센서 데이터로부터 도출되는, 장치.
제17 항에 있어서, 상기 동작 센서 데이터는 가속도계 센서 데이터로부터 도출되는, 장치.
제17 항에 있어서, 상기 동작 센서 데이터는 회전 데이터인, 장치.
제17 항에 있어서, 상기 평균 동작을 계산하는 것은 상기 동작 센서 데이터를 필터링하는 것을 포함하는, 장치.
제17 항에 있어서, 상기 카메라는 휴대용 전자 장치인, 장치.
제18 항에 있어서, 상기 중간 값은 상기 프레임에 대한 상기 차이의 함수에 기초하는, 장치.
장치로서,
비디오 시퀀스를 캡처하는 카메라;
상기 비디오 시퀀스에 연관된 동작 데이터를 캡처하는 동작 센서;
컨트롤러로서,
상기 비디오 시퀀스 내의 프레임에 대한 캡처 기간 동안 상기 카메라의 평균 동작을 계산하고,
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 차이를 결정하고,
상기 프레임에 대한 실제 카메라 동작과 상기 평균 카메라 동작 사이의 상기 결정된 차이를 적어도 하나의 기준점과 비교하고;
상기 프레임에 대한 비디오 안정화 강도 파라미터를, 각 프레임의 상기 결정된 차이를 상기 적어도 하나의 기준점과 비교한 것에 기초하여 설정하는, 상기 컨트롤러; 및
상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하는 비디오 안정화 유닛을 포함하는, 장치.
제25 항에 있어서, 상기 비디오 안정화 강도 파라미터는
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제1 기준점 미만일 때 높은 강도 값,
상기 각 프레임의 상기 차이가 상기 적어도 하나의 기준점 중 제2 기준점 초과일 때 낮은 강도 값, 및
상기 각 프레임의 상기 차이가 상기 제1 기준점 초과이고 상기 제 2 기준점 미만일 때 상기 높은 강도 값과 상기 낮은 강도 값 사이의 중간 값으로 설정되는, 장치.
제26 항에 있어서, 상기 중간 값은 상기 프레임에 대한 상기 차이의 함수에 기초하는, 장치.
제1 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중의 하나의 기준점을 초과할 때, 상기 비디오 안정화 강도 파라미터는 사전 결정된 일정한(constant) 강도 값으로 설정되는, 비디오 안정화 방법.
제1 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중의 하나의 기준점 미만일 때, 상기 비디오 안정화 강도 파라미터는 사전 결정된 일정한 강도 값으로 설정되는, 비디오 안정화 방법.
제1 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중 제1 기준점 미만일 때 상기 비디오 안정화 강도 파라미터는 제1의 사전 결정된 일정한 강도 값으로 설정되고, 상기 결정된 차이가 상기 적어도 하나의 기준점 중 제2 기준점을 초과할 때 상기 비디오 안정화 강도 파라미터는 제2의 사전 결정된 일정한 강도 값으로 설정되는, 비디오 안정화 방법.
제30 항에 있어서, 상기 결정된 차이가 상기 제1 기준점을 초과하고 상기 제2 기준점 미만일 때 상기 비디오 안정화 강도 파라미터는 중간 강도 값으로 설정되고, 상기 중간 강도 값은 상기 결정된 차이의 함수인, 비디오 안정화 방법.
제1 항에 있어서, 상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하는 단계는, 상기 프레임의 강도 파라미터의 함수로 상기 프레임에 대한 추출 윈도우의 크기를 설정하는 단계를 포함하는, 비디오 안정화 방법.
제1 항에 있어서, 상기 프레임의 강도 파라미터에 따라 상기 프레임 상에 비디오 안정화를 수행하는 단계는, 상기 프레임의 강도 파라미터의 함수로 상기 프레임에 대한 동작 검색 구동의 검색 윈도우의 크기를 설정하는 단계를 포함하는, 비디오 안정화 방법.
제9 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중의 하나의 기준점 초과 또는 미만 중 적어도 하나일 때, 상기 비디오 안정화 강도 파라미터는 사전 결정된 일정한 강도 값으로 설정되는, 물리적 컴퓨터-판독가능 매체.
제17 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중의 하나의 기준점 초과 또는 미만 중 적어도 하나일 때, 상기 비디오 안정화 강도 파라미터는 사전 결정된 일정한 강도 값으로 설정되는, 장치.
제25 항에 있어서, 상기 결정된 차이가 상기 적어도 하나의 기준점 중의 하나의 기준점 초과 또는 미만 중 적어도 하나일 때, 상기 비디오 안정화 강도 파라미터는 사전 결정된 일정한 강도 값으로 설정되는, 장치.
제1 항에 있어서, 상기 적어도 하나의 기준점은 복수의 기준점인, 비디오 안정화 방법.
제9 항에 있어서, 상기 적어도 하나의 기준점은 복수의 기준점인, 물리적 컴퓨터-판독가능 매체.
제17 항에 있어서, 상기 적어도 하나의 기준점은 복수의 기준점인, 장치.
제25 항에 있어서, 상기 적어도 하나의 기준점은 복수의 기준점인, 장치.