KR20120051564A - 카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치 - Google Patents
카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치 Download PDFInfo
- Publication number
- KR20120051564A KR20120051564A KR1020110006488A KR20110006488A KR20120051564A KR 20120051564 A KR20120051564 A KR 20120051564A KR 1020110006488 A KR1020110006488 A KR 1020110006488A KR 20110006488 A KR20110006488 A KR 20110006488A KR 20120051564 A KR20120051564 A KR 20120051564A
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- gaze direction
- frame
- video
- adjustment angle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 139
- 230000006641 stabilisation Effects 0.000 title claims description 333
- 238000011105 stabilization Methods 0.000 title claims description 333
- 238000005259 measurement Methods 0.000 claims abstract description 42
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000002360 preparation method Methods 0.000 claims description 12
- 239000003381 stabilizer Substances 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 74
- 238000010586 diagram Methods 0.000 description 18
- 238000004141 dimensional analysis Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 4
- 208000002173 dizziness Diseases 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하고, 프레임간 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향을 보상하는 비디오 안정화 방법이 개시된다.
Description
본 발명은 비디오 카메라의 움직임 및 흔들림을 보정하기 위한 비디오 안정화 기술에 관한 것이다.
기존 비디오 안정화 기술은 2차원 분석에 기반하는 기법과 3차원 분석에 기반하는 기법으로 분류된다.
2차원 분석에 기반하는 기법은, 움직임을 추정하는 단계, 추정된 움직임을 통하여 카메라 경로를 설정하는 단계, 및 카메라 이동 경로에 따라 영상을 생성하는 단계로 구성된다. 움직임 추정 단계에서는, 촬영된 영상을 2차원 움직임 모델로 해석하여 움직임이 측정된다. 실제 카메라에서는 3차원 공간이 2차원 영상으로 투영된 영상이 획득되지만, 2차원 움직임 모델로는 실제 3차원 움직임을 정확하게 모델링할 수 없다. 따라서 2차원 분석에 기반하는 기법은 비디오 안정화 작업을 완벽하게 수행할 수는 없지만, 상대적으로 적은 연산량으로 효율적인 결과물을 도출할 수 있다.
3차원 분석에 기반하는 비디오 안정화 기법은, 일반적으로 움직임 구조 분석 기술을 이용하여, 2차원 영상으로부터 3차원 공간 정보와 카메라 위치 정보를 재구성한다. 재구성된 정보를 이용하여 새로운 카메라 위치가 정의되고, 새로운 위치에서의 영상 정보가 합성된다. 3차원 분석에 기반하는 비디오 안정화 기법은, 2차원 분석에 기반하는 기법에 비해서 상당한 계산량이 필요하지만, 정확한 비디오 안정화 작업을 도출할 수 있다. 하지만 3차원 분석에 기반하여 비디오 안정화 작업이 수행된 영상에서는, 일부 영역에서 영상 왜곡이 발생하는 문제 등이 발생할 수 있다.
본 발명은 정확하고 빠른 속도로 카메라 움직임 및 흔들림을 보정하면서 인간의 시각이 인지하는 실제 움직임과 유사한 화면을 제공하기 위한 비디오 안정화 방법 및 비디오 안정화 장치를 개시한다.
본 발명의 제 1 실시예에 따른 비디오 안정화 방법은, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 프레임마다 카메라 파라미터를 결정하는 단계; 및 상기 프레임마다 상기 카메라 파라미터를 이용하여 상기 카메라 움직임을 보상하는 단계를 포함한다.
본 발명의 제 2 실시예에 따른 비디오 안정화 방법은, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계; 상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향과 카메라 시선 방향 간의 카메라 시선 방향 조절각을 결정하는 단계; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함한다.
본 발명의 제 3 실시예에 따른 비디오 안정화 방법은, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계; 상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 단계; 상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함한다.
본 발명의 제 4 실시예에 따른 비디오 안정화 방법은, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함한다.
본 발명의 제 5 실시예에 따른 비디오 안정화 방법은, 사용자 인터페이스를 통해 사용자로부터 상기 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청을 수신하는 단계; 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함한다.
본 발명의 제 6 실시예에 따른 비디오 안정화 방법은, 사용자 인터페이스를 통해 사용자로부터 비디오 안정화를 위한 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청을 수신하는 단계; 및 상기 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 상기 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 단계를 포함한다.
본 발명의 제 7 실시예에 따른 비디오 안정화 방법은, 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 단계; 상기 비디오 카메라 안정화 단계를 수행하는 중, 안정화 관련 지표를 측정하는 단계; 및 상기 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고하는 단계를 포함한다.
본 발명의 제 1 실시예에 따른 비디오 안정화 장치는, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고 상기 카메라 이동 경로를 이용하여 상기 프레임마다 카메라 파라미터를 결정하는 카메라 파라미터 결정부; 및 상기 프레임마다 상기 카메라 파라미터를 이용하여 상기 카메라 움직임을 보상하는 카메라 움직임 보상부를 포함한다.
본 발명의 제 2 실시예에 따른 비디오 안정화 장치는, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 카메라 움직임 측정부; 상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함한다.
본 발명의 제 3 실시예에 따른 비디오 안정화 장치는, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 카메라 움직임 측정부; 상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 시선 방향 목표 영역 결정부; 상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및 상기 프레임마다 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 조절각 보상부를 포함한다.
본 발명의 제 4 실시예에 따른 비디오 안정화 장치는, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함한다.
본 발명이 제 5 실시예에 따른 비디오 안정화 장치는, 사용자 인터페이스를 통해 사용자로부터 상기 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청을 수신하는 시선 방향 목표 영역 사용자 입력부; 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부; 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및 상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함한다.
본 발명의 제 6 실시예에 따른 비디오 안정화 장치는, 사용자 인터페이스를 통해 사용자로부터 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청을 수신하는 마진 영역 사용자 입력부; 및 상기 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 비디오 카메라 안정화부를 포함한다.
본 발명의 제 7 실시예에 따른 비디오 안정화 장치는, 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 비디오 카메라 안정화부; 상기 비디오 카메라 안정화 단계를 수행하는 중, 안정화 관련 지표를 측정하는 안정화 관련 지표 측정부; 및 상기 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고하는 비디오 안정화 경고부를 포함한다.
본 발명은, 본 발명의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 개시한다.
도 1 은 제 1 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 2 는 제 2 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 3 은 제 3 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 4 는 제 4 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 5 는 제 5 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 6 은 제 6 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 7 은 제 7 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 8 은 일 실시예에 따른 카메라 움직임 측정 방식을 도시한다.
도 9 는 일 실시예에 따른 Z축 방향의 카메라 회전각 측정 방식을 도시한다.
도 10 은 카메라 이동 경로를 도시하고, 도 11 은 기존 비디오 안정화 방식을 도시한다.
도 12 는 일 실시예에 따라 카메라 이동 경로의 전역적 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다.
도 13 은 일 실시예에 따라 목표 영역을 향한 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다.
도 14 는 일 실시예에 따른 비디오 안정화 동작에 따른 마진 영역의 크기 및 비디오 안정화 정도를 조절하기 위한 사용자 인터페이스들을 예시한다.
도 15 는 일 실시예에 따라 사용자가 비디오 안정화 동작을 위해 카메라 시선 방향의 목표 영역을 설정하기 위한 사용자 인터페이스를 예시한다.
도 16 은 일 실시예에 따른 비디오 안정화 동작을 수행하던 중에, 과도한 비디오 안정화 작업을 경고하기 위한 사용자 인터페이스를 예시한다.
도 17 은 제 1 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 18 는 제 2 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 19 은 제 3 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 20 는 제 4 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 21 는 제 5 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 22 은 제 6 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 23 은 제 7 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 2 는 제 2 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 3 은 제 3 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 4 는 제 4 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 5 는 제 5 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 6 은 제 6 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 7 은 제 7 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
도 8 은 일 실시예에 따른 카메라 움직임 측정 방식을 도시한다.
도 9 는 일 실시예에 따른 Z축 방향의 카메라 회전각 측정 방식을 도시한다.
도 10 은 카메라 이동 경로를 도시하고, 도 11 은 기존 비디오 안정화 방식을 도시한다.
도 12 는 일 실시예에 따라 카메라 이동 경로의 전역적 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다.
도 13 은 일 실시예에 따라 목표 영역을 향한 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다.
도 14 는 일 실시예에 따른 비디오 안정화 동작에 따른 마진 영역의 크기 및 비디오 안정화 정도를 조절하기 위한 사용자 인터페이스들을 예시한다.
도 15 는 일 실시예에 따라 사용자가 비디오 안정화 동작을 위해 카메라 시선 방향의 목표 영역을 설정하기 위한 사용자 인터페이스를 예시한다.
도 16 은 일 실시예에 따른 비디오 안정화 동작을 수행하던 중에, 과도한 비디오 안정화 작업을 경고하기 위한 사용자 인터페이스를 예시한다.
도 17 은 제 1 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 18 는 제 2 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 19 은 제 3 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 20 는 제 4 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 21 는 제 5 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 22 은 제 6 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
도 23 은 제 7 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
이하, 도 1 내지 7을 참조하여 본 발명의 다양한 실시예들에 따른 비디오 안정화 장치들이 개시된다. 도 8 내지 13을 참조하여 다양한 실시예들에 따른 비디오 안정화 장치들의 세부적인 단계별 동작이 상술된다. 또한, 도 14 내지 16을 참조하여 다양한 실시예들에 따른 비디오 안정화 장치들을 위한 사용자 인터페이스들이 예시된다. 도 17 내지 23을 참조하여 본 발명의 다양한 실시예들에 따른 비디오 안정화 방법들이 개시된다.
도 1 및 4의 제 1 실시예 및 제 4 실시예에 따른 비디오 안정화 장치들(100, 400)은, 프레임간 카메라 움직임으로서 측정된 프레임간 상대적인 카메라 회전각만을 이용하여 카메라 움직임을 보정하는 비디오 안정화 기법을 개시한다.
도 2, 3 및 4의 제 2 실시예, 제 3 실시예 및 제 4 실시예에 따른 비디오 안정화 장치들(200, 300, 400)은, 카메라 이동 경로 중 현재 프레임의 카메라 시선 방향과 예측된 사용자 시선 방향 간의 차이만을 이용하여 카메라 흔들림을 보정하는 비디오 안정화 기법을 개시한다.
도 5, 6 및 7의 제 5 내지 7 실시예들에 따른 비디오 안정화 장치들(500, 600, 700)은, 제 1 내지 4 실시예들에 따른 비디오 안정화 장치들(100, 200, 300, 400) 중 하나를 포함하며, 사용자 인터페이스를 포함하는 비디오 안정화 기법을 개시한다.
도 1 은 제 1 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 1 실시예에 따른 비디오 안정화 장치(100)는, 프레임간 카메라 움직임 측정부(110), 카메라 파라미터 결정부(120) 및 카메라 움직임 보상부(130)를 포함한다. 제 1 실시예에 따른 비디오 안정화 장치(100)는, 카메라 움직임 정보로서 두 프레임들의 카메라 시선 방향들 간의 상대적인 움직임만을 이용하여 카메라 움직임을 보상함으로써 안정화된 비디오를 출력할 수 있다.
제 1 실시예에 따른 프레임간 카메라 움직임 측정부(110)는, 비디오의 프레임 시퀀스를 획득하고, 프레임 시퀀스의 프레임마다 프레임간 카메라 움직임을 측정한다. 제 1 실시예에 따른 카메라 파라미터 결정부(120)는, 프레임간 카메라 움직임 측정부(110)에서 측정된 프레임간 카메라 움직임을 이용하여, 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로에 따라 프레임마다 카메라 파라미터를 결정한다. 제 1 실시예에 따른 카메라 움직임 보상부(130)는, 카메라 파라미터 결정부(120)에서 결정된 카메라 파라미터를 이용하여, 프레임마다 카메라 움직임을 보상한다.
프레임간 카메라 움직임 측정부(110)는, 매 프레임마다 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향 정보를, 프레임간 카메라 움직임 정보로서 결정할 수 있다. 예를 들어, 프레임간 카메라 움직임 측정부(110)는, 현재 프레임의 카메라 시선 방향과 기준 카메라 시선 방향 간의 차이각을 프레임간 카메라 움직임 정보로서 결정할 수 있다.
현재 프레임의 카메라 시선 방향의 상대적인 카메라 움직임을 결정하기 위한 기준 카메라 시선 방향은, 이전 프레임의 카메라 시선 방향일 수 있다. 예를 들어, 프레임간 카메라 움직임 측정부(110)는, 프레임 시퀀스 중, 시간 순서에 따라 연속하는 한 쌍의 프레임들마다, 이전 프레임과 현재 프레임 간의 상대적인 카메라 시선 방향의 차이각을 결정할 수 있다.
또한, 프레임 시퀀스 전체에 대하여, 기준 카메라 시선 방향이 공통적으로 결정될 수도 있다. 예를 들어, 프레임간 카메라 움직임 측정부(110)는, 프레임 시퀀스 중 연속하는 한 쌍의 프레임들 간의 카메라 시선 방향의 차이각들의 평균을 측정하여, 카메라 시선 방향들의 평균 차이각을 모든 프레임의 기준 카메라 시선 방향으로 결정할 수도 있다. 따라서, 프레임간 카메라 움직임 측정부(110)는, 프레임 시퀀스의 카메라 시선 방향들의 평균 차이각을 기준으로, 매 프레임마다 상대적인 카메라 시선 방향, 즉 카메라 시선 방향들의 평균 차이각(A)과 현재 프레임의 카메라 시선 방향(B) 간의 차이각(A-B)을, 카메라 움직임 정보로서 측정할 수도 있다.
프레임간 카메라 움직임 측정부(110)는, 카메라 움직임 정보로서, 프레임간 카메라 시선 방향의 차이각을, X, Y, Z축 방향별 회전각으로 결정할 수 있다. 프레임간 카메라 움직임 측정부(110)는, 현재 프레임의 카메라 시선 방향과 기준 카메라 시선 방향 간의 X, Y축 방향의 상대적인 각도 변화를 측정하여, 카메라 움직임의 X, Y축 성분으로 결정할 수 있다.
프레임간 카메라 움직임 측정부(110)는, Z축 방향의 카메라 회전에 의해 Z축 평면 상의 소정 영역들에서 발생하는 직선 방향의 카메라 움직임을 이용하여, Z측 방향의 카메라 회전각을 결정할 수 있다. Z축 방향의 카메라 회전에 따라 발생하는 직선 방향의 카메라 움직임을 분석하기 위한 샘플 영역이 하나 이상 선택될 수 있다.
프레임간 카메라 움직임 측정부(110)는, Z축 방향 카메라 회전각 중, 소정 범위 내에의 회전각마다 기준 카메라 시선 방향의 기준 프레임 및 현재 프레임의 샘플 영역들 간에 발생하는 오차들을 결정하고, 샘플 영역들의 오차를 통합하여, 카메라 회전각별로 총 오차를 결정한다. 프레임간 카메라 움직임 측정부(110)는, 소정 범위 내의 Z축 방향 카메라 회전각 중에서, 샘플 영역들의 총 오차가 최소가 되는 카메라 회전각을 검출하여 Z축 방향의 상대적인 카메라 회전각으로서 결정할 수 있다.
프레임간 카메라 움직임 측정부(110)는, 비디오 시퀀스의 프레임들, 즉 영상들을 이용하여 프레임 간 카메라의 상대적인 시선 방향의 차이각을 결정할 수 있다. 또 다른 실시예에 따른 프레임간 카메라 움직임 측정부(110)는, 센서를 이용하여 카메라 움직임을 예측할 수도 있다. 예를 들어, 프레임간 카메라 움직임 측정부(110)는, 자이로 센서, G 센서, 가속도 센서(Accelerometer) 등을 이용하여 획득된 카메라 움직임 정보를 이용하여 프레임 간 카메라의 상대적인 시선 방향의 차이각을 결정할 수 있다.
카메라 파라미터 결정부(120)는, 프레임간 카메라 움직임 측정부(110)에 측정된 프레임간 카메라 움직임 정보를 누적하여, 프레임 시퀀스의 카메라 이동 경로를 생성할 수 있다. 또한, 카메라 파라미터 결정부(120)는, 카메라 이동 경로의 전역적 카메라 이동 경로를 생성할 수 있다. 예를 들어, 카메라 이동 경로에 대한 저역통과 필터링을 통해 전역적 카메라 이동 경로가 생성될 수 있다. 저역통과 필터링을 위한 윈도우의 크기 및 강도에 따라 전역적 카메라 이동 경로의 안정화 정도가 조절될 수 있다.
프레임간 카메라 움직임 측정부(110)에 측정된 프레임간 카메라 움직임은, 카메라 시선 방향의 차이각과 같은 상대적인 카메라 움직임을 이용하였기 때문에, 카메라 파라미터 결정부(120)에 의해 생성된 카메라 이동 경로의 카메라 시선 방향 및 전역적 시선 방향도, 상대적인 카메라 움직임, 예를 들어 소정 기준 카메라 시선 방향에 대한 차이각으로 정의될 수 있다.
카메라 파라미터 결정부(120)는, 프레임마다 전역적 카메라 이동 경로에 대비하여 카메라 조절값을 결정할 수 있다. 예를 들어, 비디오 안정화를 통해 카메라 이동 경로가 전역적 카메라 이동 경로로 변경하는 경우, 카메라 파라미터 결정부(120)는, 프레임간 카메라 움직임의 누적을 통해 생성된 실제 카메라 이동 경로와, 전역적 카메라 이동 경로 간의 차이를 카메라 조절값으로서 결정할 수 있다.
카메라 이동 경로는, 이동 경로 상의 카메라의 시선 벡터, 즉 카메라 위치 및 카메라 시선 방향으로 정의될 수 있다. 따라서 카메라 파라미터 결정부(120)는, 카메라 조절값으로서, 실제 카메라 이동 경로와 전역적 카메라 이동 경로 간의 카메라 위치의 변위 및 카메라 시선 방향의 상대적인 방향차를 결정할 수 있다.
카메라 파라미터 결정부(120)는, 프레임간 카메라 움직임 측정부(110)로부터 수신한 카메라 이동 경로 상의 현재 카메라 시선 방향 및 기준 카메라 시선 방향 사이의 차이각 정보를 이용하여, 실제 카메라 이동 경로와 전역적 카메라 이동 경로 간의 상대적인 차이각, 즉 회전각을 결정할 수 있다. 예를 들어, 카메라 파라미터 결정부(120)는, 카메라 이동 경로 상의 현재 카메라 시선 방향과 기준 카메라 시선 방향 간의 차이각, 및 카메라 이동 경로의 전역적 카메라 시선 방향과 기준 카메라 시선 방향 간의 회전각을 통합하여, 카메라 시선 방향 조절각으로 결정할 수 있다.
카메라 파라미터 결정부(120)에 의해 프레임마다 결정된 카메라 조절값이, 프레임별 카메라 파라미터로서 카메라 움직임 보상부(130)에게로 출력될 수 있다. 특히 프레임간 카메라 움직임 측정부(110)는, 카메라 파라미터로서, 카메라 시선 방향의 변화량, 즉 카메라 시선 방향의 회전각만을 추출하여 카메라 움직임 보상부(130)로 전송할 수 있다.
카메라 움직임 보상부(130)는, 프레임별 카메라 파라미터를 이용하여 프레임마다 카메라 움직임을 보상할 수 있다. 예를 들어 카메라 움직임 보상부(130)는, 프레임별 카메라 파라미터를 이용하여, 프레임마다 실제 카메라 이동 경로 상의 카메라 시선 방향을 시선 방향 조절값만큼 회전할 수 있다.
일 실시예에 따른 비디오 안정화 장치(100)는, 비디오의 프레임 시퀀스의 프레임 간에 상대적인 카메라 움직임을 측정하고, 프레임간 상대적인 카메라 움직임을 누적하여 카메라 이동 경로를 생성하고, 카메라 이동 경로에 대한 비디오 안정화를 수행할 수 있다. 이 때, 단일 시점 비디오의 프레임 시퀀스 중 시간적으로 선후 관계인 프레임 간의 상대적인 카메라 움직임이 측정되어, 카메라 이동 경로가 예측될 수 있다.
또한 제 1 실시예에 따른 비디오 안정화 장치(100)는, 스테레오스코픽 비디오에 대해 비디오 안정화 기법을 적용할 수 있다. 구체적으로 일 실시예에 따른 비디오 안정화 장치(100)의 프레임간 카메라 움직임 측정부(110)는, 스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임에 대하여 시점간 카메라 움직임을 측정할 수 있다. 좌시점 및 우시점 중 기준 시점 카메라 시선 방향을 기준으로 나머지 시점 카메라 시선 방향의 상대적인 방향차, 즉 차이각이 결정될 수 있다. 따라서 프레임간 카메라 움직임 측정부(110)가, 시간 순서에 따른 프레임들마다, 양 시점 간의 카메라 움직임을 측정함으로써, 비디오 안정화 장치(100)는 스테레오스코픽 비디오에 대해 비디오 안정화 동작을 수행할 수도 있다.
도 2 는 제 2 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 2 실시예에 따른 비디오 안정화 장치(200)는, 카메라 움직임 측정부(210), 카메라 시선 방향 조절각 결정부(220) 및 카메라 시선 방향 보상부(230)를 포함한다. 제 2 실시예에 따른 비디오 안정화 장치(200)는, 카메라 움직임을 이용하여 카메라 이동 경로를 생성하고, 카메라 이동 경로 중 카메라 위치는 제외하고 카메라 시선 방향만을 조절하여 카메라 움직임을 보상함으로써, 안정화된 비디오를 출력할 수 있다.
제 2 실시예에 따른 카메라 움직임 측정부(210)는, 비디오의 프레임 시퀀스를 입력받고, 프레임 시퀀스의 프레임마다 카메라 움직임을 측정한다. 제 2 실시예에 따른 카메라 시선 방향 조절각 결정부(220)는, 카메라 움직임 측정부(210)에 의해 측정된 프레임별 카메라 움직임을 이용하여, 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로 상를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정한다. 제 2 실시예에 따른 카메라 시선 방향 보상부(230)는, 카메라 시선 방향 조절각 결정부(220)에 의해 결정된 카메라 시선 방향 조절각을 이용하여, 프레임마다 카메라 시선 방향을 보상하고, 이로써 제 2 실시예에 따른 비디오 안정화 장치(200)는 비디오 안정화 작업을 완료할 수 있다.
카메라 움직임 측정부(210)는, 프레임마다 카메라 움직임을 측정하기 위해 프레임마다 카메라 시선 벡터를 결정할 수 있다. 카메라 시선 방향 조절각 결정부(220)는, 카메라 움직임 측정부(210)에 의해 결정된 프레임별 카메라 움직임을 누적하여 프레임 시퀀스의 카메라 이동 경로를 생성할 수 있다. 따라서 카메라 시선 방향 조절각 결정부(220)에 의해 생성된 카메라 이동 경로는, 프레임마다 카메라의 시선 벡터에 대한 정보를 포함할 수 있다.
카메라 시선 방향 조절각 결정부(220)는, 프레임 시퀀스의 카메라 이동 경로를 이용하여 사용자 시선 방향을 예측할 수 있다. 예를 들어, 카메라 시선 방향 조절각 결정부(220)는, 생성된 카메라 이동 경로로부터 전역적 카메라 시선 방향 및 지역적 카메라 시선 방향을 분리하고, 전역적 카메라 시선 방향을 사용자 시선 방향으로 결정할 수 있다.
프레임 시퀀스의 카메라 이동 경로로부터 전역적 카메라 시선 방향을 분리하는 방법은 다양하다. 예를 들어, 카메라 이동 경로에 대한 저역통과 필터링을 통해 프레임 시퀀스의 전역적 카메라 이동 경로가 결정되고, 이 때 전역적 이동 경로 상의 카메라 시선 방향이 전역적 카메라 시선 방향으로 결정될 수 있다. 다만, 전역적 이동 경로를 결정하는 방식이 저역통과 필터링에 한정되는 것이 아니다.
카메라 시선 방향 조절각 결정부(220)는, 카메라 이동 경로 중 카메라 위치는 제외하고, 카메라 시선 방향만을 이용하여 카메라 파라미터를 결정할 수 있다. 즉 카메라 시선 방향 조절각 결정부(220)는, 카메라 이동 경로의 사용자 카메라 시선 방향과 현재 카메라 시선 방향의 차이각을, 카메라 시선 방향 조절각으로 결정할 수 있다.
카메라 이동 경로의 카메라 시선 방향은 프레임 중심을 향하도록 조절될 수 있다. 즉, 카메라 시선 방향 조절각 결정부(220)는, 현재 카메라 시선 방향을 프레임 중심으로 이동시키기 위한 카메라 시선 방향 조절각을 검출할 수도 있다.
카메라 시선 방향 보상부(230)는, 카메라 시선 방향 조절각 결정부(220)에 의해 결정된 카메라 시선 방향 조절각만큼, 프레임의 현재 카메라 시선 방향을 회전시킴으로써, 카메라 움직임을 보상할 수 있다.
제 2 실시예에 따른 비디오 안정화 장치(200)는, 카메라 이동 경로 중 카메라 위치는 제외하고, 카메라 시선 방향만을 조정하므로, 실제 카메라 이동 경로 중 카메라 위치는 유지된 채, 카메라 시선 방향만 사용자 시선 방향으로 이동되는 효과의 비디오 안정화가 수행될 수 있다.
또한 카메라 움직임 측정부(210)가, 스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임에 대하여, 시간 순서에 따른 프레임들마다 양시점 간 카메라 움직임을 측정함으로써, 제 2 실시예에 따른 비디오 안정화 장치(200)도, 스테레오스코픽 비디오에 대해 비디오 안정화 동작을 수행할 수도 있다.
도 3 은 제 3 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 3 실시예에 따른 비디오 안정화 장치(300)는, 카메라 움직임 측정부(310), 시선 방향 목표 영역 결정부(315), 카메라 시선 방향 조절각 결정부(320) 및 카메라 시선 방향 보상부(330)를 포함한다. 제 3 실시예에 따른 비디오 안정화 장치(300)는, 제 2 실시예에 따른 비디오 안정화 장치(200)와 같이 카메라 이동 경로 중 카메라 시선 방향만을 조절하여 카메라 움직임을 보상하되, 카메라 시선 방향의 목표 영역을 임의로 선택할 수 있다.
제 3 실시예에 따른 카메라 움직임 측정부(310)는, 비디오의 프레임 시퀀스를 입력받아, 프레임 시퀀스의 매 프레임마다 카메라 움직임을 측정한다. 제 3 실시예에 따른 시선 방향 목표 영역 결정부(315)는, 프레임 시퀀스 중 카메라 시선 방향이 향하는 목표 영역을 결정한다. 제 3 실시예에 따른 카메라 시선 방향 조절각 결정부(320)는, 카메라 움직임 측정부(310)에 의해 측정된 프레임별 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로 상의 지점마다 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정한다. 제 3 실시예에 따른 카메라 시선 방향 보상부(330)는, 카메라 시선 방향 조절각 결정부(320)에 의해 결정된 카메라 시선 방향 조절각을 이용하여 매 프레임마다 카메라 시선 방향을 보상한다.
카메라 움직임 측정부(310)는, 프레임마다 카메라 움직임을 측정하기 위해 프레임마다 카메라 시선 방향 벡터를 결정할 수 있다.
시선 방향 목표 영역 결정부(315)는, 프레임 시퀀스의 프레임별 카메라 시선 방향을 분석하여, 카메라 시선 방향이 향하는 목표 영역을 결정할 수 있다. 시선 방향 목표 영역 결정부(315)는, 프레임 시퀀스의 프레임별 카메라 시선 방향을 분석하여 카메라 시선 방향의 목표 영역을 결정할 수 있다. 예를 들어, 시선 방향 목표 영역 결정부(315)는 프레임 시퀀스의 카메라 시선 방향들을 분석하여 프레임 시퀀스의 카메라 시선 방향들이 향하는 대표적인 목표 영역을 검출하거나, 전역적 카메라 시선 방향의 목표 영역을 검출할 수도 있다.
또는 시선 방향 목표 영역 결정부(315)는, 카메라 시선 방향의 목표 영역을 임의로 선택하거나, 외부로부터 수신된 카메라 시선 방향의 목표 영역을 선택하려는 요청에 기초하여, 카메라 시선 방향의 목표 영역을 결정할 수도 있다. 시선 방향 목표 영역 결정부(315)는 시선 방향의 목표 영역에 대한 정보를 카메라 시선 방향 조절각 결정부(320)로 전달할 수 있다.
카메라 시선 방향 조절각 결정부(320)는, 카메라 움직임 측정부(310)에 의해 측정된 프레임별 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로를 이용하여 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정한다.
카메라 시선 방향 조절각 결정부(320)는, 카메라 움직임 측정부(310)에 의해 결정된 프레임별 카메라 움직임을 누적하여 프레임 시퀀스의 카메라 이동 경로를 생성할 수 있다. 카메라 시선 방향 조절각 결정부(320)에 의해 생성된 카메라 이동 경로는 프레임별로 카메라 시선 벡터에 대한 정보를 포함할 수 있다.
카메라 시선 방향 조절각 결정부(320)는, 카메라 이동 경로를 이용하여 사용자 시선 방향을 예측할 수 있다. 또한, 카메라 시선 방향 조절각 결정부(320)가 시선 방향 목표 영역 결정부(315)로부터 시선 방향의 목표 영역에 대한 정보를 수신한 경우, 프레임마다 목표 영역을 향하는 시선 방향에 대비한 카메라 시선 방향 조절각을 결정할 수 있다.
카메라 시선 방향 조절각 결정부(320)는, 사용자 시선 방향 또는 전역적 카메라 시선 방향을 이용하여 목표 영역을 향하는 시선 방향에 대비한 카메라 시선 방향 조절각을 결정할 수 있다.
먼저 카메라 시선 방향 조절각 결정부(320)는, 카메라 이동 경로의 현재 카메라 시선 방향으로부터 전역적 카메라 시선 방향 및 지역적 카메라 시선 방향을 분리할 수 있다. 카메라 시선 방향 조절각 결정부(320)는, 프레임마다 전역적 카메라 시선 방향에 대비한 카메라 시선 방향의 제 1 조절각을 결정할 수 있다.
카메라 시선 방향 조절각 결정부(320)는, 시선 방향 목표 영역 결정부(315)로부터 수신한 카메라 시선 방향의 목표 영역에 대한 정보에 기초하여, 프레임 상에 전역적 카메라 시선 방향이 향하는 지점과 목표 영역 간의 변위 또는 좌표 차이를 분석할 수 있다. 카메라 시선 방향 조절각 결정부(320)는, 전역적 카메라 시선 방향이 향하는 지점과 목표 영역 간의 변위 또는 좌표 차이를 이용하여, 전역적 카메라 시선 방향 및 목표 영역을 향하는 카메라 시선 방향 간의 차이각을 검출하고, 카메라 시선 방향의 제 2 조절각으로 결정할 수 있다.
카메라 시선 방향 조절각 결정부(320)는, 매 프레임마다 카메라 시선 방향의 제 1 조절각 및 제 2 조절각을 통합하여 카메라 시선 방향 조절각할 수 있다. 카메라 시선 방향 조절각 결정부(320)로부터 출력된 카메라 시선 방향 조절각에 대한 정보에 기초하여, 카메라 움직임 보상부(330)는 카메라 시선 방향을 보상함으로써 카메라 흔들림을 보상할 수 있다.
또한 카메라 움직임 측정부(310)가 스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임에 대하여, 시간 순서에 따른 프레임들마다 양시점 간 카메라 움직임을 측정함으로써, 제 3 실시예에 따른 비디오 안정화 장치(300)도, 스테레오스코픽 비디오에 대해 비디오 안정화 동작을 수행할 수도 있다.
도 4 는 제 4 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 4 실시예에 따른 비디오 안정화 장치(400)는, 프레임간 카메라 움직임 측정부(410), 카메라 시선 방향 조절각 결정부(420) 및 카메라 시선 방향 보상부(430)를 포함한다. 제 4 실시예에 따른 비디오 안정화 장치(400)는, 두 프레임들의 카메라 시선 방향들 간의 상대적인 움직임만으로 카메라 움직임을 측정하여 카메라 이동 경로를 생성하고, 카메라 이동 경로 중 카메라 위치는 제외하고 카메라 시선 방향만을 조절하여 카메라 움직임을 보상함으로써, 안정화된 비디오를 출력할 수 있다.
제 4 실시예에 따른 프레임간 카메라 움직임 측정부(410)는 비디오의 프레임 시퀀스를 입력받아, 프레임마다 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정한다. 제 4 실시예에 따른 카메라 시선 방향 조절각 결정부(420)는, 프레임간 카메라 움직임 측정부(410)에 의해 획득된 프레임간 카메라 움직임 정보를 이용하여 프레임 시퀀스의 카메라 이동 경로를 생성하고, 카메라 이동 경로를 이용하여 목표 카메라 시선 방향에 대비한 카메라 시선 방향 조절각을 결정한다. 제 4 실시예에 따른 카메라 시선 방향 보상부(430)는, 카메라 시선 방향 조절각 결정부(420)가 결정한 카메라 시선 방향 조절각을 이용하여, 프레임마다 카메라 시선 방향을 보상한다.
제 4 실시예에 따른 프레임간 카메라 움직임 측정부(410)는, 제 2 실시예에 따른 프레임간 카메라 움직임 측정부(210)와 동일한 동작을 수행한다. 즉 프레임간 카메라 움직임 측정부(410)는, 프레임 시퀀스 중, 시간 순서에 따라 연속하는 한 쌍의 프레임들 간의 상대적인 카메라 시선 방향의 차이각을, 카메라 움직임 정보로서 결정할 수 있다. 프레임간 카메라 움직임 측정부(410)는, 프레임간 카메라 움직임 정보를 카메라 시선 방향 조절각 결정부(420)로 전달할 수 있다.
프레임간 카메라 움직임 측정부(410)는, 기준 카메라 시선 방향에 대비한 상대적인 카메라 회전각을 X, Y, Z축 방향별로 측정하여 카메라 움직임 정보로서 결정할 수 있다. 프레임간 카메라 움직임 측정부(410)는, 비디오 시퀀스의 프레임들, 즉 영상들을 이용하여 프레임 간 카메라의 상대적인 시선 방향의 차이각을 결정할 수 있다. 또한 프레임간 카메라 움직임 측정부(410)는, 센서를 이용하여 예측된 카메라 움직임을 이용하여, 프레임 간 카메라의 상대적인 시선 방향의 차이각을 결정할 수도 있다.
제 4 실시예에 따른 카메라 시선 방향 조절각 결정부(420)는, 프레임간 카메라 움직임 측정부(210)로부터 수신한 프레임간 카메라 움직임 정보에 기초하여, 프레임간 카메라 움직임을 누적하여 프레임 시퀀스의 카메라 이동 경로를 생성할 수 있다. 카메라 시선 방향 조절각 결정부(420)에 의해 생성된 카메라 이동 경로는, 카메라 위치 정보를 제외하고, 카메라 시선 방향의 상대적인 차이값만으로 정의될 수 있다.
카메라 이동 경로로부터 현재 카메라 시선 방향 정보가 추출될 수 있다. 카메라 시선 방향 조절각 결정부(420)는, 현재 카메라 시선 방향을 원하는 카메라 시선으로 변경하기 위한, 카메라 시선 방향 조절각을 결정할 수 있다.
먼저 카메라 시선 방향 조절각 결정부(420)는, 카메라 이동 경로 상의 현재 카메라 시선 방향으로부터 사용자 시선 방향을 예측할 수 있다. 카메라 시선 방향 조절각 결정부(420)는, 카메라 이동 경로를 이용하여 전역적 이동 경로를 결정하고, 전역적 이동 경로 상의 시선 방향을 사용자 시선 방향으로서 결정할 수 있다. 카메라 시선 방향 조절각 결정부(420)는, 프레임마다 사용자 시선 방향(전역적 카메라 시선 방향)에 대비한 카메라 시선 방향의 제 1 조절각을 결정할 수 있다.
제 4 실시예에 따른 비디오 안정화 장치(400)는 시선 방향 목표 영역 결정부(415)를 더 포함할 수 있다. 카메라 시선 방향 조절각 결정부(420)는, 시선 방향 목표 영역 결정부(415)로부터 목표 영역 정보를 수신한 경우, 프레임 시퀀스의 카메라 이동 경로 상의 지점마다, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정할 수 있다.
이 경우 카메라 시선 방향 조절각 결정부(420)는, 제 3 실시예에 따른 시선 방향 목표 영역 결정부(315)와 유사한 방식에 따라, 사용자 시선 방향(전역적 카메라 시선 방향)에 대비한 카메라 시선 방향의 제 1 조절각과, 사용자 시선 방향(전역적 카메라 시선 방향) 및 목표 영역을 향한 카메라 시선 방향 간의 카메라 시선 방향의 제 2 조절각을 통합하여 카메라 시선 방향 조절각으로 결정할 수도 있다.
또한, 카메라 시선 방향 조절각 결정부(420)는, 프레임간 카메라 움직임 측정부(410)로부터 수신한 카메라 이동 경로 상의 현재 카메라 시선 방향 및 기준 카메라 시선 방향 사이의 회전각 정보를 이용하여, 카메라 시선 방향 조절각을 결정할 수 있다.
예를 들어, 카메라 시선 방향 조절각 결정부(420)는, 카메라 이동 경로 상의 현재 카메라 시선 방향과 기준 카메라 시선 방향 간의 회전각, 및 기준 카메라 시선 방향과 목표 영역을 향한 카메라 시선 방향 간의 회전각을 통합하여, 카메라 시선 방향 조절각으로 결정할 수 있다. 현재 카메라 시선 방향이 기준 카메라 시선 방향에 대한 상대적인 회전각으로 정의되므로, 기준 카메라 시선 방향과 목표 영역을 향한 카메라 시선 방향 간의 상대적인 회전각을 이용하여 카메라 시선 방향 조절각이 쉽게 결정될 수 있다
카메라 시선 방향 보상부(430)는, 프레임마다, 카메라 시선 방향 조절각만큼 카메라 시선 방향을 회전함으로써 카메라 움직임을 보정할 수 있다.
시선 방향 목표 영역 결정부(415)는, 카메라 이동 경로의 전역적 카메라 시선 방향을 목표 영역을 향한 시선 방향의 초기값으로 설정할 수도 있다.
제 4 실시예에 따른 비디오 안정화 장치(400)에서도, 다른 실시예들에 따른 비디오 안정화 장치(100, 200, 300)들과 유사한 방식으로, 카메라 움직임 측정부(410)가 스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임에 대하여, 시간 순서에 따른 프레임들마다 양시점 간 카메라 움직임을 측정함으로써, 스테레오스코픽 비디오에 대해 비디오 안정화 동작을 수행할 수도 있다.
도 5 는 제 5 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 5 실시예에 따른 비디오 안정화 장치(500)는, 시선 방향 목표 영역 사용자 입력부(520) 및 비디오 안정화 장치(510)를 포함한다. 제 5 실시예에 따른 비디오 안정화 장치(510)는, 본 발명의 전술된 제 3, 4 실시예들에 따른 비디오 안정화 장치들(300, 400)일 수 있다.
제 5 실시예에 따른 시선 방향 목표 영역 사용자 입력부(520)는, 사용자 인터페이스를 통해 사용자로부터 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청을 수신한다. 제 5 실시예에 따른 비디오 안정화 장치(510)는, 시선 방향 목표 영역 사용자 입력부(520)로부터 전달된 카메라 시선 방향의 목표 영역에 대한 정보를 전달받을 수 있다. 비디오 안정화 장치(510)는, 비디오 안정화 장치들(300, 400)와 동일한 방식에 따라, 목표 영역을 향하는 카메라 시선 방향에 대비하여 카메라 시선 방향을 조절할 수 있다. 이로써 제 5 실시예에 따른 비디오 안정화 장치(500)는, 비디오의 카메라 시선 방향을 사용자가 원하는 목표 영역으로 향하도록 조정함으로써 인간이 인지하는 시각 흔들림과 유사한 결과물을 생성하는 비디오 안정화를 수행할 수 있다.
도 6 은 제 6 실시예에 따른 비디오 안정화 시스템의 블록도를 도시한다.
제 6 실시예에 따른 비디오 안정화 장치(600)는, 마진 영역 사용자 입력부(620) 및 비디오 안정화 장치(610)를 포함한다. 제 6 실시예에 따른 비디오 안정화 장치(610)는, 본 발명의 전술된 제 1, 2, 3, 4 실시예들에 따른 비디오 안정화 장치들(100, 200, 300, 400)일 수 있다.
제 6 실시예에 따른 마진 영역 사용자 입력부(620)는, 사용자 인터페이스를 통해 사용자로부터 비디오 안정화를 위한 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청을 수신한다. 마진 영역 사용자 입력부(620)는, 사용자에 의해 선택된 마진 영역의 크기에 기초하여 안정화 레벨을 결정하거나, 사용자에 의해 선택된 안정화 레벨에 기초하여 마진 영역의 크기를 결정할 수도 있다. 또한 마진 영역 사용자 입력부(620)는, 사용자로부터 소정 조합의 마진 영역의 크기 및 안정화 레벨의 선택 요청을 수신할 수도 있다.
제 6 실시예에 따른 비디오 안정화 장치(610)는, 마진 영역 사용자 입력부(620)로부터 전달된 카메라 시선 방향의 목표 영역에 대한 정보를 전달받을 수 있다. 비디오 안정화 장치(610)는, 비디오 안정화 장치들(100, 200, 300, 400)과 동일한 방식에 따라, 소정 카메라 시선 방향에 대비하여 카메라 시선 방향을 조정하여 카메라 움직임을 보상할 수 있다. 다만 비디오 안정화 장치(610)는, 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 카메라 시선 방향을 조절량을 제한할 수 있다. 예를 들어, 마진 영역의 크기 또는 안정화 레벨에 기초하여, 측정된 카메라 움직임의 크기, 카메라 시선 방향 조절각의 크기, 카메라 시선 방향 보상에 따른 변화량 등이 제한될 수 있다.
이로써 제 6 실시예에 따른 비디오 안정화 장치(600)는, 비디오의 카메라 시선 방향을 조정함으로써 인간이 인지하는 시각 흔들림과 유사한 비디오 안정화를 수행면서, 무리한 비디오 안정화를 방지할 수 있다.
도 7 은 제 7 실시예에 따른 비디오 안정화 장치의 블록도를 도시한다.
제 7 실시예에 따른 비디오 안정화 장치(700)는, 비디오 안정화 장치(710), 안정화 지표 측정부(720) 및 비디오 안정화 경고부(730)를 포함한다.
제 7 실시예에 따른 비디오 안정화 장치(710)는, 본 발명의 전술된 제 1, 2, 3, 4 ,5, 6 실시예들에 따른 비디오 안정화 장치들(100, 200, 300, 400, 500, 600)일 수 있다. 즉 비디오 안정화 장치(710)는, 비디오의 프레임마다 카메라 움직임을 측정하고, 카메라 움직임을 이용하여 카메라 이동 경로를 생성하고, 카메라 이동 경로를 이용하여 프레임마다 원하는 카메라 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여 카메라 시선 방향을 보상함으로써 비디오의 카메라 움직임을 안정화할 수 있다.
제 7 실시예에 따른 안정화 지표 측정부(720)는, 비디오 안정화 장치(710)의 비디오 카메라 안정화 동작을 실시간으로 감지하여, 안정화 관련 지표를 측정할 수 있다. 제 7 실시예에 따른 비디오 안정화 경고부(730)는, 측정된 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고할 수 있다.
일 실시예에 따른 안정화 관련 지표는, 비디오 안정화 동작을 통해 발생하는 마진 영역의 크기, 센서를 통해 감지되는 비디오 카메라의 움직임 크기, 프레임간 카메라 움직임의 크기 중 적어도 하나를 포함할 수 있다.
제 7 실시예에 따른 안정화 지표 측정부(720)는, 비디오 안정화 장치(710)의 비디오 카메라 안정화 동작을 실시간으로 감지하여, 프레임간 카메라 움직임 측정 동작, 카메라 시선 방향 조절각 결정 동작 및 카메라 시선 방향 보상 동작 중 적어도 한 단계에 대해서, 안정화 관련 지표를 측정할 수 있다.
이에 따라 제 7 실시예에 따른 비디오 안정화 장치(710)는, 비디오 안정화 동작을 실시간으로 감지하여, 동작 단계별로 비디오 안정화 지표가 위험 수위를 넘어서는 경우 사용자에게 무리한 비디오 안정화가 수행됨을 경고할 수 있다.
이상 도 1 및 4의 비디오 안정화 장치(100, 400)를 참조하여, 카메라 움직임 정보로서 프레임간 상대적인 카메라 회전각을 이용하여 카메라 흔들림을 보정하는 비디오 안정화 방식이 전술되고, 도 2, 3, 4의 비디오 안정화 장치(200, 300, 400)를 참조하여, 카메라 이동 경로 중 카메라 시선 방향만을 조정하여 소정 목표 영역을 향하도록 조절하는 비디오 안정화 방식이 전술되었다. 본 발명의 다양한 실시예들에 따른 비디오 안정화 방식에 의해, 인간이 감지하는 시각 흔들림과 유사한 카메라 움직임 보정 및 비디오 안정화가 고속으로 구현될 수 있다.
카메라로 비디오를 촬영하는 사용자 A가 카메라를 들고 뛰면서 촬영한 경우에 카메라가 흔들리거나 움직이기 때문에, 흔들리는 카메라로 촬영된 비디오를 관람하는 사용자 B는 심한 어지러움을 느낄 수 있다. 반면에 사용자 A는 뛰면서 사용자 A도 흔들리거나 움직이고 있음에도 불구하고 사용자 A가 시각적으로 인지하는 영상에 의해 크게 어지러움을 느끼지는 않는다.
그 이유는, 사용자 A의 눈의 위치는 사용자 A의 움직임에 따라 급격하게 변하지만, 사용자 A의 시선은 계속해서 초점을 맞추고 있는 대상을 향하기 때문이다. 즉, 시선 방향이 초점 대상을 향해 계속 고정되어, 초점 대상이 사용자 A의 눈이 인지하는 영상의 중심에 계속 위치하므로, 사용자 눈의 위치가 계속 움직임에도 불구하고 사용자 A는 몸이 흔들림에도 불구하고 어지러움을 느끼지 않는다.
이와 같이, 눈의 위치가 계속 움직임에 따라 사용자 눈의 시선 방향도 계속 변동시키는 인간의 눈의 움직임을 카메라에도 적용하고자 한다. 따라서, 본 발명의 다양한 실시예들에 따른 비디오 안정화 장치들(100, 200, 300, 400, 500, 600, 700)은, 카메라 움직임에 따라 카메라 시선 방향을 소정 초점 대상을 향하도록 조절함으로써, 인간 시각과 유사한 비디오 안정화를 구현할 수 있다.
이를 위해 본 발명은, 카메라 이동 경로 중 사용자 시선 방향만을 이용하여, 현재 프레임의 카메라 시선 방향과 예측된 사용자 시선 방향 간의 차이만큼 카메라 시선 방향을 보상함으로써 카메라 움직임을 보정하는 비디오 안정화 기법을 개시한다. 또한 본 발명은, 카메라 시선 방향만을 조절하므로, 카메라 움직임 중 상대적인 시선 방향, 즉 시선 방향의 회전각만을 측정하고, 이를 이용하여 카메라 이동 경로 상의 카메라 시선 방향만을 예측하는 방법을 제안한다.
먼저, 시간적으로 인접하는 프레임간 상대적인 카메라 움직임을 예측하는 방법의 실시예가 후술된다. K번째 영상과 (K+1)번째 영상사이의 시선 방향이 서로 다른 경우, K번째와 (K+1)번째 영상의 시선 방향을 일치시키기 위해, K번째 영상과 (K+1)번째 영상의 정확한 시선 방향을 알 필요는 없다. 대신에, 기준 시선 방향인 K번째 영상과 (K+1)번째 영 간의 상대적인 시선 벡터의 방향 차이, 즉 프레임간 시선 방향의 차이만 알면, 프레임간 시선 방향의 차이만큼 (K+1)번째 영상의 시선 방향을 K번째 영상의 시선 방향과 일치하도록 회전할 수 있다. 따라서, 일 실시예에 따른 비디오 안정화 장치(100, 400, 500, 600, 700)는, 두 프레임 간의 상대적인 시선 벡터 차이만을 예측할 수 있다.
또한, 상대적인 카메라 움직임을 이용하여 사용자 시선 방향을 예측하여, 현재 프레임의 카메라 시선 방향과 예측된 사용자 시선 방향 간의 차이를 측정하여 카메라 시선 방향이 조절될 수 있다. N개 프레임들의 시선 방향들을 하나의 시선 방향으로 일치시키기 위해서도, 참조 시선 방향을 기준으로 N개 프레임들의 시선 방향들이 변경되면 된다. 참조 시선 방향도 3차원 공간 상에서 정확히 정의되지 않더라도, N개 프레임들과 참조 시선 방향 간의 상대적인 방향 차이들만 이용하여 N개 프레임들의 프레임 시퀀스 동안의 카메라 움직임이 예측될 수 있다.
예를 들어 N개 프레임에 대해, 서로 인접한 프레임들 간의 상대적인 시선 방향, 즉 (N-1)개의 시선 방향들의 차이들을 구하고, (N-1)개의 시선 방향 차이들의 평균이 결정될 수 있다. 이로서 (N-1)개의 시선 방향의 평균적인 차이 정보가, N개 프레임들의 최종 참조 시선 방향으로 정의될 수 있다. 최종 참조 시선 방향도 N개 프레임들의 시선 벡터들과 같이 초기 시선 방향에 대한 상대적인 회전각으로 정의될 수 있다. 이 때, 최종 참조 시선 방향이 사용자 시선 방향일 수 있으며, 최종 참조 시선 방향은 또 다른 소정의 목표 시선 방향으로 변경될 수도 있다.
또한, 카메라 위치의 변화는 없이 최종 참조 시선 방향과 현재 카메라 시선 방향 간의 차이각만큼 카메라 시선 방향만이 조절됨으로써, 인간 시각과 유사하게 카메라 흔들림이 보정될 수 있다.
도 8 및 9 를 참조하여 프레임간 상대적인 카메라 회전각이 측정되는 본 발명의 다양한 실시예들에 따른 카메라 움직임 측정 방식이 상술된다.
도 8 은 일 실시예에 따른 카메라 움직임 측정 방식을 도시한다.
일반적인 다른 위치에서 촬영된 두 영상 사이의 상관 관계를 정확하게 구하기 위해서는, 두 카메라의 중심점 사이의 거리와 카메라 시선 벡터들의 방향에 대한 정보가 필요하다. 그러나 두 카메라의 중심점 사이의 거리와 카메라의 시선 벡터들의 방향에 대한 정보를 이용하여 두 영상에 맺힌 사물의 정확한 위치 및 좌표를 획득한 후 변위 또는 좌표 차이를 결정함으로써 두 카메라 간의 움직임을 측정하는 방법은, 상당한 계산량을 필요로 한다.
반면에 본 발명에 따른 카메라 움직임 측정 방식에 따르면, 두 카메라 시선 방향 간의 상대적인 방향, 즉 두 카메라 시선 방향 중 기준 카메라 시선 방향에 대비한 나머지 카메라 시선 방향의 회전각을 측정함으로써, 상대적인 카메라 움직임이 측정될 수 있다. 또한, 두 카메라의 시선 방향 벡터의 차이는, 각각 X, Y, Z축 방향으로 결정될 수 있다.
예를 들어, K번째 영상의 원본 영상(800) 중 현재 위치(810)를 향하는 카메라 시선 방향(820)이 영상 중앙(860)을 향하는 기준 카메라 시선 방향(830)으로 변경됨으로써, 현재 위치(810)에 놓여 있는 사물이 영상 중앙(860)에 맺힐 수 있다.
실제로 연속된 영상 사이에 카메라 움직임은 카메라와 촬영되는 물체의 거리에 비해서 크지 않으므로, 두 카메라 사이의 거리가 0에 근사화될 수 있다. 또한, 영상 중앙과 영상 상의 특정 지점들 간의 위치 관계를 통해서, 특정 지점들간의 상대적인 각도를 측정하기 위하여 삼각함수가 이용될 수 있다. 하지만, 연속된 영상들 간의 카메라 움직임에서 회전 성분은 실제로 크지 않기 때문에 삼각함수는 일반 다항식으로 근사화될 수 있다. 이러한 두 카메라들 간의 특징들을 가정하면, 카메라의 회전각을 영상 상의 특정 지점들의 좌표를 이용하여 일반 다항식으로 간단히 기술할 수 있으며, X축 및 Y축 방향의 상대적인 각도 변화값이 결과값으로서 도출될 수 있다.
따라서 현재 위치(810)의 중심 좌표 m 및 영상 중앙(860)의 중심 좌표 m'를 이용하여, 현재 카메라 시선 방향(820)과 기준 카메라 시선 방향(830) 간의 회전각 θ이 예측될 수 있다. 또한, m 및 m'간의 변위가 X축 및 Y축 방향의 성분을 가지고 있다면, 프레임 상에서의 X축 방향의 변위 및 Y축 방향의 변위에 따라 각각 X축 방향의 회전각 및 Y축 방향의 회전각이 예측될 수도 있다.
도 9 는 일 실시예에 따른 Z축 방향의 카메라 회전각 측정 방식을 도시한다.
Z축 방향의 회전각은 영상 중 다수 개의 샘플 지점들의 직선 움직임을 이용하여 측정될 수 있다. 예를 들어, 영상(900)의 Z축 방향의 회전에 의해, 4개 샘플 지점, A, B, C, D점상에서 각각의 직선 방향의 움직임이 발생할 수 있다.
동일한 회전에 의해서, A점과 C점은 서로 반대 방향의 직선 움직임을 가지며, B점과 D점은 서로 반대 방향의 직선 움직임을 가진다. 예를 들어, Z축 방향으로 시계 방향의 회전이 발생하는 경우, A점은 오른쪽, B점은 아래, C점은 왼쪽, D점은 위쪽 방향으로 직선 이동할 수 있다.
영상의 가로 길이 및 세로 길이가 다르다면, 동일한 회전에 의해서 A점 및 C점의 직선 운동 크기와, B점 및 D점의 직선 운동 크기가 다르다. 예를 들어 영상의 가로 길이 및 세로 길이가 W, H이고 영상이 회전각 θ만큼 회전할 경우, B점 및 D점은 약 W/2 * θ의 크기의 직선 운동량, A점 및 C점은 약 H/2 * θ의 크기의 직선 운동량을 갖게 된다. 따라서 영상의 가로와 세로 길이에 기초하여 각 샘플 지점의 회전 운동에 의한 직선 운동량의 크기가 결정되는 것이 바람직하다.
따라서, 동일한 회전에 의해, 샘플 지점들에서는 소정 크기 및 방향의 직선 움직임이 발생하며, 회전각에 대응하여 샘플 지점들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향은, Z축 평면의 원점으로부터 샘플 지점까지의 거리 및 방향에 기초하여 결정될 수 있다.
샘플 지점마다, 현재 프레임과 기준 프레임 상의 각각의 매칭점에서의 SAD(sum of absolute differences)와 같은 코스트 값을 결정한 후, 모든 샘플 지점의 코스값에 기초한 최종 코스트 값이 최소화되는 크기 및 방향의 움직임 벡터가, 현재 프레임과 기준 프레임 간의 움직임 벡터로 결정될 수 있다. 즉, A점, B점, C점, D점에서의 코스트 값을 각각 결정한 후 통합하여 하나의 최종 코스트값을 결정하여 통합된 최종 코스트값이 최소화되는 움직임 벡터의 운동량이, 최종 직선 운동량으로 결정될 수 있다. 그리고 직선 운동량을 회전 운동으로 변경하면 Z축 방향의 회전각이 결정될 수 있다.
샘플 지점들 A, B, C, D와 같이, 운동량 측정을 위한 샘플 지점의 수를 늘리거나 줄일 수 있다. 각 지점에서 정확한 움직임을 측정하기 위하여 샘플 지점 주변에 샘플 영역을 선택하여, 샘플 영역의 움직임 벡터를 측정하는 방식이 이용될 수도 있다.
프레임간 카메라 움직임 측정부(100, 400)는, 프레임간 Z축 방향의 카메라 움직임을 측정하기 위해, 소정 범위의 회전각 중 각각에 대응하여, Z축 평면 상의 샘플 영역들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향을 결정할 수 있다. 샘플 영역들마다, 각각의 직선 방향의 움직임 벡터만큼 이동된 영상(a)과 기준 카메라 시선 방향의 프레임의 해당 영역(b) 간의 오차(c = a-b)에 기초한 코스트가 측정되어 통합됨으로써, 샘플 영역들의 총 코스트 값이 결정될 수 있다.
프레임간 카메라 움직임 측정부(100, 400)는, 각각의 회전각마다 결정된 샘플 영역들의 총 코스트들을 비교하여, 최소의 총 코스트를 발생시키는 회전각을 검출하고, 이 회전각을 Z축 방향의 카메라 회전각으로 결정할 수도 있다.
따라서, 프레임간 카메라 움직임 측정부(100, 400)는, 프레임간 카메라 움직임 중 실제 카메라 위치 및 변위를 예측할 필요 없이 카메라 회전각만을 예측하여, 프레임간 카메라 회전각에 대한 정보를 카메라 파라미터 결정부(120) 또는 카메라 시선 방향 조절각 결정부(220, 320, 420)로 전송할 수 있다. 따라서 카메라 움직임을 측정하기 위한 연산량 중, 카메라 움직임의 정확한 변위를 측정하기 위한 연산량을 줄일 수 있으며, 카메라 파라미터 결정부(120) 또는 카메라 시선 방향 조절각 결정부(220, 320, 420)로 전송할 정보량도 줄일 수 있다.
도 10 은 카메라 이동 경로를 도시하고, 도 11은 기존 비디오 안정화 방식을 도시한다.
사용자가 카메라를 들고 이동하면서 촬영한 결과 획득된 비디오를 이용하여 카메라 이동 경로(1000)가 획득될 수 있다. 카메라 이동 경로(1000)를 따라 움직이는 카메라에 대한 정보는, 프레임별로 카메라 위치 및 카메라 시선 방향으로 정의될 수 있다.
카메라 이동 경로(1000)의 프레임 시퀀스를 분석하면, 카메라 이동 경로(1000)의 따라 발생하는 전역적 이동 경로(1030)가 획득될 수 있다. 또한 카메라 이동 경로(1000)의 각 프레임에서 발생하는 실제 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)은, 전역적 이동 경로(1030)에 기초한 전역적 시선 방향과, 각각의 프레임에서 발생하는 지역적 시선 방향으로 분리될 수 있다.
카메라 이동 경로(1000)의 두 프레임을 이용하여 구체적으로 살펴보면, 실제 카메라 시선 방향(1002, 1004)은, 각각 전역적 이동 경로(1030)를 따른 전역적 카메라 시선 방향(1032, 1034)과 지역적 카메라 시선 방향으로 분리될 수 있다.
기존의 비디오 안정화 방식에 따르면, 카메라 이동 경로(1000) 상의 실제 카메라 위치 및 시선 방향이 예측되어, 전역적 카메라 이동 경로(1030)로 일치되는 방식이 이용된다.
즉 실제 카메라 시선 방향(1002, 1004) 및 전역적 카메라 시선 방향(1032, 1034)이 각각 좌표계의 원점을 기준으로 측정된 후, 실제 카메라 시선 방향(1002, 1004) 및 전역적 카메라 시선 방향(1032, 1034) 간의 차이 θ2, θ4가 결정된다. 실제 카메라 시선 방향(1002, 1004)이 θ2, θ4만큼 회전되어 전역적 카메라 시선 방향(1032, 1034)으로 일치될 수 있다.
또한, 카메라 이동 경로(1000) 상의 카메라 시선 방향(1002, 1004)의 실제 카메라 위치와 이에 대응하는 전역적 카메라 이동 경로(1030) 상의 위치가 예측된다. 카메라 시선 방향(1002, 1004)의 실제 카메라 위치와 이에 대응하는 전역적 카메라 이동 경로(1030) 상의 위치 간의 차이 D2, D4가 결정된다. 실제 카메라 시선 방향(1002, 1004)의 위치가 위치 차이 D2, D4만큼 이동되어 전역적 이동 경로(1030) 상의 위치로 일치될 수 있다.
따라서, 기존 방식에 따른 비디오 안정화 방식은, 카메라 이동 경로 상의 살제 카메라의 위치 및 시선 방향과, 전역적 이동 경로 상의 카메라 위치 및 시선 방향을 모두 정확히 측정하여, 실제 카메라 이동 경로가 전역적 이동 경로로 일치하도록 조절되어야 한다.
제 2 실시예, 제 3 실시예 및 제 4 실시예에 따른 비디오 안정화 장치들(200, 300, 400)은, 카메라 이동 경로를 생성하여 사용자 시선 방향을 예측하고, 현재 프레임의 카메라 시선 방향과 예측된 사용자 시선 방향 간의 차이만을 이용하여 카메라 흔들림을 보정할 수 있다. 도 12 및 13 를 참조하여 소정 시선 방향을 향하도록 카메라 시선 방향을 조절하는 본 발명의 다양한 실시예들에 따른 카메라 흔들림 보정 방식이 상술된다.
도 12 는 일 실시예에 따라 카메라 이동 경로의 전역적 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다. 도 13 은 일 실시예에 따라 목표 영역을 향한 카메라 시선 방향에 기초하여 카메라 움직임이 조정된 카메라 이동 경로를 도시한다.
제 2 실시예, 제 3 실시예 및 제 4 실시예에 따른 비디오 안정화 장치들(200, 300, 400)의 카메라 시선 방향 조절각 결정부(220, 320, 420)는, 카메라 움직임 측정부(220, 320) 또는 프레임간 카메라 움직임 측정부(420)으로부터 획득된 카메라 회전각 정보를 이용하여 카메라 이동 경로(1000)를 생성할 수 있다. 카메라 이동 경로(1000)에 따라, 프레임별로 현재 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)이 정의될 수 있다.
본 발명의 제 2 실시예, 제 3 실시예 및 제 4 실시예에 따른 비디오 안정화 장치들(200, 300, 400)은 카메라의 실제 위치를 이동시키려는 것이 아니라, 카메라 시선 방향을 소정 초점에 고정하도록 조절하는 것이 목적이므로, 카메라 이동 경로 상의 정확한 카메라 위치를 예측할 필요 없이, 소정 방향에 대한 카메라 시선 방향의 상대적인 회전각만을 필요로 한다.
즉, 카메라 시선 방향 조절각 결정부(220, 320, 420)는, 카메라 이동 경로(1000)의 프레임 시퀀스를 분석하여, 카메라 이동 경로(1000)의 따라 발생하는 전역적 이동 경로(1030)를 결정하고, 카메라 이동 경로(1000)의 각 프레임에서 발생하는 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)은, 전역적 이동 경로(1030)에 기초한 전역적 시선 방향(1032, 1034, 1036, 1038, 1040, 1042, 1044, 1046, 1048)과, 각각의 프레임에서 발생하는 지역적 시선 방향으로 분리될 수 있다.
카메라 시선 방향 조절각 결정부(220, 320, 420)는, 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)과 전역적 이동 경로(1030)에 기초한 전역적 시선 방향(1032, 1034, 1036, 1038, 1040, 1042, 1044, 1046, 1048) 간의 회전각 또는 각도 차이에 기초하여, 카메라 시선 방향 조절각을 결정할 수 있다. 카메라 시선 방향 조절각 결정부(220, 320, 420)는, 프레임별로 결정된 카메라 시선 방향 조절각에 대한 정보를 카메라 시선 방향 보상부(230, 330, 430)로 전송할 수 있다.
이 때, 제 4 실시예에 따라 생성된 카메라 이동 경로가 프레임간 카메라 회전각 정보만을 기초로 생성되므로, 카메라 이동 경로 상에 프레임간 카메라 정확한 카메라 위치 및 정확한 카메라 촬영 각도가 결정되는 것은 아니며, 카메라 이동 경로에 따른 카메라 시선 방향의 지속적인 회전각이 결정될 수 있다. 따라서, 카메라 시선 방향 조절각 결정부(420)에 의해 결정된 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)는, 소정 기준 시선 방향에 대한 회전각일 수 있다. 마찬가지로, 카메라 시선 방향 조절각 결정부(420)에 의해 결정된 전역적 시선 방향, 지역적 시선 방향, 소정 시선 방향을 향한 카메라 시선 방향 조절각도, 기준 시선 방향에 대한 상대적인 방향차, 즉 회전각으로 정의될 수 있다.
제 2 실시예, 제 3 실시예 및 제 4 실시예에 따른 카메라 시선 방향 보상부(230, 330, 430)는, 카메라 시선 방향 조절각 결정부(220, 320, 420)로부터 수신한 카메라 시선 방향 조절각 정보에 기초하여, 현재 카메라 시선 방향을 카메라 시선 방향 조절각만큼 조절하여, 카메라 움직임을 보상할 수 있다.
예를 들어 카메라 시선 방향 보상부(230, 330, 430)는, 프레임마다 카메라 이동 경로(1000) 상의 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)을 카메라 시선 방향 조절각만큼 회전시킬 수 있다.
도 12 에 따르면, 카메라 시선 방향 조절각 결정부(220, 320, 420)는 전역적 시선 방향에 기초하여 카메라 시선 방향 조절각 정보를 결정할 수 있다. 카메라 시선 방향 조절각 결정부(220, 320, 420)는 카메라 이동 경로 상의 현재 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)과 각각 대응하는 전역적 시선 방향(1032, 1034, 1036, 1038, 1040, 1042, 1044, 1046, 1048) 간의 차이각을 측정하여 카메라 시선 방향 조절각으로 결정할 수 있다. 즉, 카메라 시선 방향 보상부(230, 330, 430)는, 프레임별로 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)을 카메라 시선 방향 조절각만큼 회전시켜, 전역적 시선 방향(1032, 1034, 1036, 1038, 1040, 1042, 1044, 1046, 1048)과 일치시킬 수 있다.
따라서, 카메라 시선 방향 보상부(230, 330, 430)에 의해, 카메라 이동 경로(1000) 상의 현재 프레임에서 위치 변화는 없이 카메라 시선 방향만 카메라 시선 방향(1052, 1054, 1056, 1058, 1060, 1062, 1064, 1066, 1068)으로 조절될 수 있다. 즉, 조절 후 카메라 시선 방향(1052, 1054, 1056, 1058, 1060, 1062, 1064, 1066, 1068)은, 현재 위치에서 전역적 시선 방향(1032, 1034, 1036, 1038, 1040, 1042, 1044, 1046, 1048)과 일치할 수 있다.
또한 도 13에 따르면, 카메라 시선 방향이 소정 목표 지점을 향하도록 카메라 시선 방향 조절각 정보가 결정될 수 있다. 카메라 시선 방향 조절각 결정부(220, 320, 420)는 카메라 이동 경로(1000) 상의 현재 카메라 시선 방향과 목표 지점(1330)을 향하는 목표 시선 방향 간의 차이각을 측정하여, 카메라 시선 방향 조절각으로 결정할 수 있다. 즉, 카메라 시선 방향 보상부(230, 330, 430)는, 프레임별로 현재 카메라 시선 방향(1002, 1004, 1006, 1008, 1010, 1012, 1014, 1016, 1018)을 각각의 카메라 시선 방향 조절각만큼 회전하여, 목표 지점(1330)을 향하는 시선 방향(1332, 1334, 1336, 1338, 1340, 1342, 1344, 1346, 1348)과 일치시킬 수 있다.
따라서, 카메라 시선 방향 보상부(230, 330, 430)에 의해, 카메라 움직임이 보상된 카메라 시선 방향(1332, 1334, 1336, 1338, 1340, 1342, 1344, 1346, 1348)은, 현재 위치에서 소정 목표 지점(1330)에 초점을 맞추도록 조절될 수 있다.
따라서, 일 실시예에 따른 제 2, 3, 4 실시예들에 따른 비디오 보상 장치(200, 300, 400)는, 전역적 카메라 이동 경로에 따른 전역적 시선 방향 또는 프레임 중앙을 향하는 시선 방향 뿐만 아니라, 카메라 시선 방향이 소정 목표 지점에 향하거나 목표 시선 방향에 고정되도록 조절할 수 있다. 카메라 시선 방향이 향하는 소정 목표 지점이나 목표 시선 방향은, 비디오를 촬영하는 사용자의 의도에 따라 임의로 설정될 수 있다.
또한, 일 실시예에 따른 비디오 보상 방식은, 비디오 촬영 장치 뿐만 아니라 비디오 재생 장치에도 탑재되어 비디오를 재생하는 도중에 비디오 안정화 동작이 수행될 수도 있으므로, 카메라 시선 방향이 향하는 소정 목표 지점이나 목표 시선 방향은, 비디오를 감상하는 사용자의 의도에 따라 임의로 설정될 수 있다.
일 실시예에 따른 제 2, 3, 4 실시예들에 따른 비디오 보상 장치(200, 300, 400)는, 실제 카메라 이동 경로와 위치 변화는 없이 카메라 시선 방향은 지속적으로 소정 목표 지점으로 향하도록 고정되므로, 인간이 시각적으로 인지하는 움직임과 유사한 비디오를 획득할 수 있다. 또한, 카메라 이동 경로 상의 정확한 변위를 측정할 필요 없이 카메라 시선 방향만을 이용하며, 또한 카메라 시선 방향의 상대적인 변화량 또는 회전각만을 이용하여 카메라 시선 방향을 조절함으로써 카메라 움직임을 보상할 수 있으므로 카메라 이동 경로를 정확히 복원하여 카메라 변위 및 카메라 시선 방향을 조절하는 기존 방식들에 비해 연산량이 절감될 수 있다.
이하 도 14 내지 16을 참조하여, 본 발명의 제 1, 2, 3, 4 실시예들에 따른 비디오 안정화 장치(100, 200, 300, 400)의 비디오 안정화 방식을 효과적으로 이용하기 위한 사용자 인터페이스들이 개시된다.
도 14 는 일 실시예에 따른 비디오 안정화 동작에 따른 마진 영역의 크기 및 비디오 안정화 정도를 조절하기 위한 사용자 인터페이스들을 예시한다.
제 1, 2, 3, 4 실시예들에 따른 비디오 안정화 장치(100, 200, 300, 400)의 카메라 움직임 보상부(130, 230, 330, 430)는, 현재 카메라 시선 방향을 목표 시선 방향 쪽으로 회전시킬 수 있다. 특히 카메라 시선 방향 조절각의 X, Y, Z축 방향의 회전각 성분들 중 Z축 방향의 회전각만큼, 영상을 Z축 평면과 평행하게 회전함으로써 Z축 방향의 카메라 시선 방향이 변경될 수 있다.
이러한 카메라 시선 방향의 회전에 따른 비디오 안정화가 수행되면, 각 프레임의 회전에 따른 영상 외곽 부분이 손실되거나 완벽하게 복원되지 않기 때문에 실질적으로 사용자가 볼 수 있는 화각은 원래 영상에 비해서 좁아진다. 최종적으로 비디오 재생 장치의 사용자는 중간 부분에 남겨진 화각 내의 영상만을 볼 수 있거나, 이렇게 복원된 유효한 영상만이 비디오 촬영 장치나 저장 장치에 저장될 수 있다. 비디오 안정화 정도가 더 강할수록, 비디오 안정화에 따라 손실되는 영역(마진 영역)이 커진다. 마진 영역을 고려하지 않은 채 비디오 안정화가 과도하게 수행되면 유효한 영상이 지나치게 적을 수 있다. 즉, 비디오 안정화 효과와 마진 영역의 크기 간에는 트레이드 오프가 존재할 수 있다.
따라서, 제 6 실시예에 따른 비디오 안정화 장치(600)의 비디오 안정화 장치(610)로서, 제 1, 2, 3, 4, 5, 7 실시예들에 따른 비디오 안정화 장치(100, 200, 300, 400, 500, 700)가 탑재될 수 있다. 제 6 실시예에 따른 비디오 안정화 장치(600)의 마진 영역 사용자 입력부(620)는, 사용자가 마진 영역과 비디오 안정화 정도를 조율할 수 있도록 하는 사용자 인터페이스(1400, 1420, 1440, 1460)를 제공할 수 있다.
사용자 인터페이스(1400)는, 마진 영역의 크기, 또는 전체 영상 넓이에 대비한 마진 영역의 넓이의 비율을 사용자가 자유로이 선택할 수 있는 슬라이스 바를 표시한다. 제 1, 2, 3, 4 실시예들의 마진 영역 사용자 입력부(620)는, 사용자 인터페이스(1400)를 통해 입력된 마진 영역의 넓이, 또는 전체 영상 넓이에 대비한 비율에 기초하여, 이에 대응되는 비디오 안정화 정도를 결정할 수 있다.
사용자 인터페이스(1420)는, 비디오 안정화 정도를 나타내는 비디오 안정화 레벨을 사용자가 자유로이 선택할 수 있는 슬라이스 바를 표시한다. 제 1, 2, 3, 4 실시예들의 마진 영역 사용자 입력부(620)는, 사용자 인터페이스(1420)를 통해 입력된 비디오 안정화 레벨에 기초하여, 이에 대응되는 마진 영역의 넓이 또는 전체 영상 넓이에 대비한 비율을 결정할 수 있다.
사용자 인터페이스(1440)는 마진 영역 대비 비디오 안정화 레벨의 트레이드 오프를 사용자가 자유로이 선택할 수 있는 슬라이스 바를 표시한다. 사용자 인터페이스(1460)는 마진 영역과 비디오 안정화 레벨의 트레이드 오프가 최적화된 조합을 선택할 수 있도록, 마진 영역 대비 비디오 안정화 레벨의 룩업테이블을 표시한다. 사용자는 사용자 인터페이스(1400, 1420, 1440, 1460)과 연계된 사용자 컨트롤러를 이용하여 마진 영역의 크기, 비디오 안정화 레벨, 또는 마진 영역 및 비디오 안정화의 트레이드 오프를 선택할 수 있다.
제 1, 2, 3, 4 실시예들의 마진 영역 사용자 입력부(620)는, 사용자 인터페이스(1400)를 통한 사용자 입력에 기초하여 마진 영역의 크기 또는 비디오 안정화 정도를 결정하고, 이에 기초하여 카메라 시선 방향 조절각 결정부(120, 220, 320, 420)는, 카메라 시선 방향을 조절각을 결정할 수 있다.
도 15 는 일 실시예에 따라 사용자가 비디오 안정화 동작을 위해 카메라 시선 방향의 목표 영역을 설정하기 위한 사용자 인터페이스를 예시한다.
제 5 실시예에 따른 비디오 안정화 장치(500)의 비디오 안정화 장치(510)로서, 제 3, 4, 6, 7 실시예들에 따른 비디오 안정화 장치(300, 400, 600, 700)가 탑재될 수 있다. 제 5 실시예에 따른 비디오 안정화 장치(500)의 시선 방향 목표 영역 사용자 입력부(520)는, 사용자가 카메라 시선 방향의 목표 영역 또는 목표 시선 방향을 설정하기 위한 사용자 인터페이스(1500)를 제공할 수 있다. 사용자 인터페이스(1500)는 현재 비디오 촬영 장면 또는 촬영된 비디오 영상 상에 상하좌우로 자유로이 이동할 수 있는 선택창(1510)을 표시한다. 사용자는 사용자 인터페이스(1500)와 연계된 선택창(1510)의 이동 컨트롤러를 이용하여, 카메라 시선 방향이 고정되기를 원하는 목표 지점으로 선택창(1510)을 이동시킬 수 있다.
제 3, 4 실시예들의 시선 방향 목표 영역 결정부(315, 415)는, 사용자 인터페이스(1500)를 통한 사용자 입력에 기초하여 목표 영역 및 목표 시선 방향을 결정하고, 이에 따라 카메라 시선 방향 조절각 결정부(320, 420)는, 카메라 시선 방향을 조절각을 결정할 수 있다.
도 16 은 일 실시예에 따른 비디오 안정화 동작을 수행하던 중에, 과도한 비디오 안정화 작업을 경고하기 위한 사용자 인터페이스를 예시한다.
제 7 실시예에 따른 비디오 안정화 장치(700)의 비디오 안정화 장치(710)로서, 제 1, 2, 3, 4, 5, 6 실시예들에 따른 비디오 안정화 장치(100, 200, 300, 400, 500, 600)가 탑재될 수 있다. 제 7 실시예에 따른 비디오 안정화 장치(700)의 안정화 지표 측정부(720)는, 비디오 안정화 동작 중 단계별로, 비디오 안정화 정도를 측정할 수 있다. 안정화 지표 측정부(720)는, 비디오 안정화 동작 중 비디오 안정화 정도를 실시간으로 감지하여, 안정화 관련 지표를 측정할 수 있다.
제 7 실시예에 따른 비디오 안정화 장치(700)는, 비디오 안정화 동작을 통해 발생하는 마진 영역의 크기, 센서를 통해 감지되는 비디오 카메라의 움직임 크기, 프레임간 카메라 움직임의 크기 등의 안정화 관련 지표를 실시간으로 측정할 수 있다. 예를 들어, 제 7 실시예에 따른 비디오 안정화 장치(700)에 의해 생성된 카메라 이동 경로와 누적된 프레임간 카메라 시선 방향 간의 차이가 클수록, 보정되어야 할 카메라 움직임 정보인 카메라 시선 방향 조절각이 커지므로, 과도한 비디오 안정화가 예상될 수 있다. 따라서 카메라 조절각이 안정화 지표로 이용될 수 있다.
제 7 실시예에 따른 안정화 지표 측정부(720)는, 비디오 안정화 장치(710)의 비디오 안정화 동작 중 안정화 관련 지표를 실시간으로 감지할 수 있다. 예를 들어, 비디오 안정화 동작 중, 프레임간 카메라 움직임 측정 단계, 카메라 시선 방향 조절각 결정 단계 및 카메라 시선 방향 보상 단계마다 안정화 관련 지표를 측정할 수 있다. 제 7 실시예에 따른 비디오 안정화 경고부(730)는, 비디오 안정화 동작 중, 프레임간 카메라 움직임 측정 단계, 카메라 시선 방향 조절각 결정 단계 및 카메라 시선 방향 보상 단계마다, 측정된 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고하거나 현재 안정화 관련 상태를 사용자에게 안내해줄 수 있다. 실시간 경고는 사용자 인터페이스(1600) 화면 상에 표시되는 경고창(1610) 또는 오디오 경고음(1620)으로 구현될 수 있다.
예를 들어, 프레임간 카메라 움직임 측정 동작 도중에, 안정화 지표 측정부(720)에 감지된 카메라 움직임이 임계치를 초과하는 경우, 비디오 안정화 경고부(730)는 실시간으로 경고할 수 있다. 또한, 카메라 시선 방향 조절각 결정 동작 도중에, 안정화 지표 측정부(720)에 감지된 카메라 시선 방향 조절각이 임계치를 초과하는 경우, 비디오 안정화 경고부(730)는 실시간으로 경고할 수 있다. 카메라 시선 방향 보상 동작 도중에, 안정화 지표 측정부(720)에 감지된 마진 영역이 임계치를 초과하는 경우, 비디오 안정화 경고부(730)는 실시간으로 경고할 수 있다.
또한 비디오 안정화 경고부(730)가 비디오 안정화 과정 중 프레임간 카메라 움직임 측정 단계, 카메라 시선 방향 조절각 결정 단계에서 카메라 움직임 정보, 카메라 시선 방향 조절각 정보 등을 기초로 마진 영역을 예측할 수 있다면, 안정 비디오 안정화 경고부(730)는 비디오 안정화 과정 전반에 걸쳐 마진 영역이 임계치를 초과하는 경우 실시간으로 경고할 수 있다.
사용자는 비디오 안정화 장치(700)의 비디오 안정화 상태에 따른 안내 또는 경고에 따라 사용자의 움직임 정도를 예측할 수 있다. 즉, 비디오 안정화 상태가 과도하다는 안내 또는 경고가 있다면, 비디오 안정화가 필요한 사용자 카메라의 움직임이 크다고 분석된 것이므로, 사용자는 지나친 카메라 움직임을 방지할 수 있다.
안정화 관련 지표의 임계치는, 비디오 안정화 장치가 현재 시스템 및 비디오를 분석하여 안정적으로 처리 가능한 연산량 내로 결정할 수도 있다. 안정화 관련 지표의 임계치는, 사용자가 설정한 마진 영역 및 비디오 안정화 정도의 트레이드 오프에 기초하여 설정될 수도 있다.
도 17 은 제 1 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 1710에서, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 현재 카메라 시선 방향의 차이각이 결정되고, 기준 카메라 시선 방향에 대한 현재 카메라 시선 방향의 상대적인 차이각에 기초하여 프레임간 카메라 움직임이 측정된다.
단계 1720에서, 프레임간 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로가 생성되고, 카메라 이동 경로를 이용하여 프레임마다 카메라 파라미터가 결정된다. 카메라 파라미터는 카메라 움직임 보상을 위한, 카메라 이동 경로 상의 카메라 변위 및 카메라 방향의 보상값을 포함할 수 있다.
단계 1730에서, 프레임마다 카메라 파라미터를 이용하여 카메라 움직임이 보상된다.
제 1 실시예에 따른 비디오 안정화 방법은, 제 1 실시예에 따른 비디오 안정화 장치(100)가 프레임 간 카메라 움직임에 따른 상대적 회전각 정보만을 추출하여 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다.
도 18 는 제 2 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 1810에서, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임이 측정된다. 단계 1820에서, 프레임별 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로가 생성되고, 카메라 이동 경로를 이용하여 사용자 시선 방향과 카메라 시선 방향 간의 카메라 시선 방향 조절각이 결정된다. 단계 1830에서, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향이 보상된다.
제 2 실시예에 따른 비디오 안정화 방법은, 제 2 실시예에 따른 비디오 안정화 장치(200)가 카메라 이동 경로 상에서 카메라 시선 방향만을 사용자 시선 방향으로 조절하여 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다.
도 19 은 제 3 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 1910에서, 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임이 측정된다. 단계 1920에서, 프레임 시퀀스 중 시선 방향의 목표 영역이 결정된다. 단계 1930에서, 프레임별 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로가 생성되고, 카메라 이동 경로를 이용하여 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각이 결정된다. 단계 1940에서, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향이 보상된다.
제 3 실시예에 따른 비디오 안정화 방법은, 제 3 실시예에 따른 비디오 안정화 장치(300)가 카메라 이동 경로 상에서 카메라 시선 방향만을 목표 영역을 향하는 시선 방향으로 조절함으로써 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다.
도 20 는 제 4 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 2010에서, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 현재 카메라 시선 방향의 차이각이 결정되고, 기준 카메라 시선 방향에 대한 현재 카메라 시선 방향의 상대적인 차이각에 기초하여 프레임간 카메라 움직임이 측정된다.
단계 2020에서, 프레임간 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로가 생성되고, 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각이 결정된다. 이 때 사용자 입력에 따라 사용자 시선 방향이 목표 영역을 향한 카메라 시선 방향으로 설정될 수 있다.
단계 2030에서, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향이 보상된다.
제 4 실시예에 따른 비디오 안정화 방법은, 제 4 실시예에 따른 비디오 안정화 장치(400)가 프레임 간 카메라 움직임에 따른 상대적 회전각 정보만을 추출하고, 이를 이용하여 생성된 카메라 이동 경로 상에서 카메라 시선 방향만을 목표 영역을 향하는 시선 방향으로 조절함으로써 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다.
도 21 는 제 5 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 2110에서, 사용자 인터페이스를 통해 사용자로부터 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청이 수신된다. 단계 2120에서, 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 현재 카메라 시선 방향의 차이각이 결정되고, 기준 카메라 시선 방향에 대한 현재 카메라 시선 방향의 상대적인 차이각에 기초하여 프레임간 카메라 움직임이 측정된다.
단계 2130에서, 프레임간 카메라 움직임을 이용하여 프레임 시퀀스의 카메라 이동 경로가 생성되고, 카메라 이동 경로를 이용하여 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각이 결정된다. 단계 2140에서, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향이 보상된다.
제 5 실시예에 따른 비디오 안정화 방법은, 제 5 실시예에 따른 비디오 안정화 장치(500)가 사용자 입력에 따른 시선 방향의 목표 영역을 고려하여 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다. 따라서, 제 5 실시예에 따른 비디오 안정화 방법은 사용자 입력에 따른 시선 방향의 목표 영역을 고려하여 제 1, 2, 3, 4 실시예들에 따른 비디오 안정화 방법들을 따를 수 있다.
도 22 은 제 6 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 2210에서, 사용자 인터페이스를 통해 사용자로부터 비디오 안정화를 위한 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청이 수신된다.
단계 2220에서, 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임이 측정되고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화되는 비디오 안정화 동작이 수행된다. 단계 2220의 비디오 안정화 동작은 제 1, 2, 3, 4 실시예들에 따른 비디오 안정화 방법들을 따를 수 있다.
제 6 실시예에 따른 비디오 안정화 방법은, 제 6 실시예에 따른 비디오 안정화 장치(600)가 사용자 입력에 따른 마진 영역을 고려하여 카메라 움직임을 보상하는 비디오 안정화 방식과 상응한다.
도 23 은 제 7 실시예에 따른 비디오 안정화 방법의 흐름도를 도시한다.
단계 2310에서, 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임이 측정되고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각이 결정되어, 프레임마다 카메라 시선 방향 조절각을 이용하여 카메라 시선 방향을 보상하여 비디오의 카메라가 안정화된다.
단계 2320에서, 단계 2310의 비디오 카메라 안정화 단계를 수행하는 도중, 안정화 관련 지표가 측정된다. 단계 2330에서, 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고된다.
제 7 실시예에 따른 비디오 안정화 방법은, 제 7 실시예에 따른 비디오 안정화 장치(700)의 비디오 안정화 방식과 상응한다.
기존의 2차원 분석 기반의 비디오 안정화 기법들은, 단순 평행 이동 기법이나 간단한 와핑(warping) 기법을 이용하여 원본 영상을 보정하기 때문에 영상 왜곡이 발생한다. 또한, 3차원 분석 기반의 기존 기법들은 3차원 영상을 재구성하여 새로운 영상을 만들어내기 때문에 좀더 정확한 영상을 만들어 낼 수 있지만, 3차원 영상을 재구성하는데 엄청난 계산량이 필요하며, 완벽한 재구성이 또한 어렵기 때문에 여전히 영상 왜곡이 발생한다.
반면에 본 발명의 다양한 실시예들에 따른 비디오 안정화 장치(100, 200, 300, 400) 및 도 17 내지 22의 비디오 안정화 방법들은, 기존의 2차원 분석 기법 기반에서 영상들 간의 시선 벡터 방향의 차이를 예측하고, 카메라 위치의 단순 평행이동이 아닌, 카메라 이동 경로에 따라 프레임마다 카메라의 시선 방향을 조절함으로써 3차원 기법을 구현하기 때문에 인간 시각에 대해 왜곡이 거의 없는 비디오를 출력할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
Claims (61)
- 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 프레임마다 카메라 파라미터를 결정하는 단계; 및
상기 프레임마다 상기 카메라 파라미터를 이용하여 상기 카메라 움직임을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 1 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
상기 프레임 시퀀스 중, 시간 순서에 따라 연속하는 한 쌍의 프레임들 간의 상대적인 카메라 시선 방향의 차이각을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 2 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
상기 프레임 시퀀스 중, 상기 연속하는 한 쌍의 프레임들 간의 상대적인 카메라 시선 방향의 차이각들의 평균을 측정하여 상기 기준 카메라 시선 방향으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 1 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
X, Y, Z축 방향으로 상대적인 카메라 회전각을 측정하는 것을 특징으로 하는 비디오 안정화 방법. - 제 4 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
Z축 방향의 회전에 의해 Z축 평면 상의 소정 영역들에서 발생하는 직선 운동을 이용하여 상기 Z측 방향의 카메라 회전각을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 5 항에 있어서, 상기 Z측 방향의 카메라 회전각 결정 단계는,
소정 범위의 회전각 중에서, 각각의 회전각에 대응하여, Z축 평면 상의 소정 영역들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향을 결정하는 단계;
상기 소정 영역들마다 각각의 직선 방향의 움직임 벡터만큼 이동시킨 영상과 상기 기준 카메라 시선 방향의 프레임의 해당 영역 간의 오차에 기초한 코스트를 결정하여, 상기 소정 영역별 코스트를 총합하는 단계; 및
상기 각각의 회전각마다 상기 소정 영역별 총합 코스트를 결정하여 비교하여, 최소의 총합 코스트를 발생시키는 회전각을 검출하고, 상기 검출된 회전각을 상기 Z축 방향의 카메라 회전각으로 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 6 항에 있어서,
상기 회전각에 대응하여 상기 소정 영역들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향은, 상기 Z축 평면의 원점으로부터 상기 소정 영역까지의 거리 및 방향에 기초하여 결정되는 것을 특징으로 비디오 안정화 방법. - 제 1 항에 있어서, 상기 카메라 파라미터 결정 단계는,
상기 프레임간 카메라 움직임을 누적하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하는 단계;
상기 카메라 이동 경로의 전역적 카메라 이동 경로를 생성하는 단계;
상기 전역적 카메라 이동 경로에 대비하여 상기 프레임마다 카메라 조절값을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 1 항에 있어서, 상기 카메라 움직임 보상 단계는,
상기 프레임마다, 상기 카메라 파라미터 중 시선 방향 조절값만큼 상기 카메라 시선 방향을 회전하는 단계; 및
상기 프레임마다, 상기 카메라 파라미터 중 변위 조절값만큼, 상기 카메라 위치를 이동시키는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 1 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임 간에, 기준 시점 카메라 시선 방향에 대비하여 상대적으로 나머지 시점 카메라 시선 방향의 차이각에 기초하여 프레임별로 시점간 카메라 움직임을 측정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향과 카메라 시선 방향 간의 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 11 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로로부터 전역적 카메라 시선 방향 및 지역적 카메라 시선 방향을 분리하는 단계; 및
상기 전역적 카메라 시선 방향 및 현재 카메라 시선 방향의 차이각을 상기 카메라 시선 방향 조절각으로 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 11 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로의 현재 카메라 시선 방향을 프레임 중심으로 이동시키는 위한 카메라 회전각을 카메라 시선 방향 조절각을 결정하는 것을 특징으로 하는 비디오 안정화 방법. - 제 11 항에 있어서, 상기 카메라 시선 방향 보상 단계는,
상기 카메라 시선 방향 조절각만큼, 상기 프레임의 카메라 시선 방향을 회전하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 11 항에 있어서, 상기 프레임별 카메라 움직임 측정 단계는,
스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임 간에, 기준 시점 카메라 시선 방향에 대비하여 상대적으로 나머지 시점 카메라 시선 방향의 차이각에 기초하여 프레임별로 시점간 카메라 움직임을 측정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계;
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 단계;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 16 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로를 이용하여 사용자 시선 방향을 예측하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 17 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로로부터 전역적 카메라 시선 방향 및 지역적 카메라 시선 방향을 분리하여, 상기 전역적 카메라 시선 방향을 상기 사용자 시선 방향으로 결정하는 단계;
상기 전역적 카메라 시선 방향 및 현재 카메라 시선 방향의 차이각을 상기 카메라 시선 방향의 제 1 조절각으로 결정하는 단계;
상기 프레임 상에 상기 전역적 카메라 시선 방향이 향하는 지점과 상기 목표 영역 간의 변위 또는 좌표 차이를 기초로, 상기 전역적 카메라 시선 방향 및 상기 목표 영역을 향하는 카메라 시선 방향 간의 차이각을 상기 카메라 시선 방향의 제 2 조절각을 결정하는 단계; 및
상기 카메라 시선 방향의 상기 제 1 조절각 및 상기 제 2 조절각의 총합을 상기 카메라 시선 방향 조절각으로 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 16 항에 있어서, 상기 카메라 시선 방향 보상 단계는,
상기 프레임마다, 상기 카메라 시선 방향 조절각만큼 상기 카메라 시선 방향을 회전하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 16 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임 간에, 기준 시점 카메라 시선 방향에 대비하여 상대적으로 나머지 시점 카메라 시선 방향의 차이각에 기초하여 프레임별로 시점간 카메라 움직임을 측정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 21 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
상기 프레임 시퀀스 중, 시간 순서에 따라 연속하는 한 쌍의 프레임들 간의 상대적인 카메라 시선 방향의 차이각을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 22 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
상기 프레임 시퀀스 중, 상기 연속하는 한 쌍의 프레임들 간의 상대적인 카메라 시선 방향의 차이각들의 평균을 측정하여 상기 기준 카메라 시선 방향으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 21 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
X, Y, Z축 방향으로 상대적인 카메라 회전각을 측정하는 것을 특징으로 하는 비디오 안정화 방법. - 제 24 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
Z축 방향의 회전에 의해 Z축 평면 상의 소정 영역들에서 발생하는 직선 운동을 이용하여 상기 Z측 방향의 카메라 회전각을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 25 항에 있어서, 상기 Z측 방향의 카메라 회전각 결정 단계는,
소정 범위의 회전각 중에서, 각각의 회전각에 대응하여, Z축 평면 상의 소정 영역들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향을 결정하는 단계;
상기 소정 영역들마다 각각의 직선 방향의 움직임 벡터만큼 이동시킨 영상과 상기 기준 카메라 시선 방향의 프레임의 해당 영역 간의 오차에 기초한 코스트를 결정하여, 상기 소정 영역별 코스트를 총합하는 단계; 및
상기 각각의 회전각마다 상기 소정 영역별 총합 코스트를 결정하여 비교하여, 최소의 총합 코스트를 발생시키는 회전각을 검출하고, 상기 검출된 회전각을 상기 Z축 방향의 카메라 회전각으로 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 26 항에 있어서,
상기 회전각에 대응하여 상기 소정 영역들에서 발생하는 직선 방향의 움직임 벡터들의 크기 및 방향은, 상기 Z축 평면의 원점으로부터 상기 소정 영역까지의 거리 및 방향에 기초하여 결정되는 것을 특징으로 비디오 안정화 방법. - 제 21 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 프레임간 카메라 움직임을 누적하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 28 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로를 이용하여 상기 사용자 시선 방향을 예측하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 29 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 카메라 이동 경로로부터 전역적 카메라 시선 방향 및 지역적 카메라 시선 방향을 분리하여, 상기 전역적 카메라 시선 방향을 상기 사용자 시선 방향으로 결정하는 단계; 및
상기 카메라 이동 경로 상의 지점마다 상기 전역적 카메라 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계를 더 포함하는 것을 특징으로 하는 비디오 안정화 방법.를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 21 항에 있어서, 상기 카메라 시선 방향 조절각 결정 단계는,
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 단계; 및
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 31 항에 있어서, 상기 카메라 시선 방향 보상 단계는,
상기 프레임마다, 상기 카메라 시선 방향 조절각만큼 상기 카메라 시선 방향을 회전하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 21 항에 있어서, 상기 시선 방향 목표 영역 결정 단계는,
상기 카메라 이동 경로의 전역적 카메라 시선 방향을 상기 목표 영역을 향한 시선 방향으로 설정하는 것을 특징으로 하는 비디오 안정화 방법. - 제 21 항에 있어서, 상기 프레임간 카메라 움직임 측정 단계는,
스테레오스코픽 비디오의 서로 대응하는 좌시점 프레임 및 우시점 프레임 간에, 기준 시점 카메라 시선 방향에 대비하여 상대적으로 나머지 시점 카메라 시선 방향의 차이각에 기초하여 프레임별로 시점간 카메라 움직임을 측정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 사용자 인터페이스를 통해 사용자로부터 상기 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청을 수신하는 단계;
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 사용자 인터페이스를 통해 사용자로부터 비디오 안정화를 위한 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청을 수신하는 단계; 및
상기 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 상기 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 비디오 카메라 안정화 단계는,
비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하여 상기 카메라 이동 경로의 사용자 시선 방향을 결정하고, 상기 프레임마다 상기 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 비디오 카메라 안정화 단계는,
비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 단계;
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 단계;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 비디오 카메라 안정화 단계는,
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각에 기초하여 프레임간 카메라 움직임을 측정하는 단계;
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 단계;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 단계; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 사용자로부터 선택 요청을 수신하는 단계는,
상기 사용자에 의해 선택된 마진 영역의 크기에 기초하여 안정화 레벨을 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 사용자로부터 선택 요청을 수신하는 단계는,
상기 사용자에 의해 선택된 안정화 레벨에 기초하여 마진 영역의 크기를 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 사용자로부터 선택 요청을 수신하는 단계는,
상기 사용자로부터 소정 조합의 마진 영역의 크기 및 안정화 레벨의 선택 요청을 수신하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 36 항에 있어서, 상기 비디오 카메라 안정화 단계는,
상기 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 상기 측정된 카메라 움직임의 크기, 상기 카메라 시선 방향 조절각의 크기 및 상기 카메라 시선 방향 보상에 따른 변화량 중 적어도 하나를 제한하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 단계;
상기 비디오 카메라 안정화 단계를 수행하는 중, 안정화 관련 지표를 측정하는 단계; 및
상기 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 44 항에 있어서, 상기 안정화 관련 지표를 측정하는 단계는,
상기 안정화 동작을 통해 발생하는 마진 영역의 크기, 센서를 통해 감지되는 비디오 카메라의 움직임 크기, 상기 프레임간 카메라 움직임의 크기 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 제 44 항에 있어서, 상기 안정화 관련 지표 측정 단계는,
상기 프레임간 카메라 움직임 측정 동작, 상기 카메라 시선 방향 조절각 결정 동작 및 상기 카메라 시선 방향 보상 동작 중 적어도 한 동작 중에 상기 안정화 관련 지표를 측정하는 단계를 포함하는 것을 특징으로 하는 비디오 안정화 방법. - 비디오 안정화 장치에 있어서,
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비하여 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고 상기 카메라 이동 경로를 이용하여 상기 프레임마다 카메라 파라미터를 결정하는 카메라 파라미터 결정부; 및
상기 프레임마다 상기 카메라 파라미터를 이용하여 상기 카메라 움직임을 보상하는 카메라 움직임 보상부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 카메라 움직임 측정부;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
비디오의 프레임 시퀀스의 프레임마다 카메라 움직임을 측정하는 카메라 움직임 측정부;
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 시선 방향 목표 영역 결정부;
상기 프레임별 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및
상기 프레임마다 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 조절각 보상부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 사용자 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 제 50 항에 있어서, 상기 비디오 안정화 장치는,
상기 프레임 시퀀스 중 시선 방향의 목표 영역을 결정하는 시선 방향 목표 영역 결정부를 더 포함하고,
상기 카메라 시선 방향 조절각 결정부는, 상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로 상를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하고,
상기 카메라 시선 방향 보상부는, 상기 프레임마다 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
사용자 인터페이스를 통해 사용자로부터 상기 프레임 시퀀스 중 시선 방향의 목표 영역의 선택 요청을 수신하는 시선 방향 목표 영역 사용자 입력부;
비디오의 프레임 시퀀스의 프레임마다, 기준 카메라 시선 방향에 대비한 상대적인 카메라 시선 방향의 차이각을 결정하여 프레임간 카메라 움직임을 측정하는 카메라 움직임 측정부;
상기 프레임간 카메라 움직임을 이용하여 상기 프레임 시퀀스의 카메라 이동 경로를 생성하고, 상기 카메라 이동 경로를 이용하여 상기 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하는 카메라 시선 방향 조절각 결정부; 및
상기 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하는 카메라 시선 방향 보상부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
사용자 인터페이스를 통해 사용자로부터 마진 영역의 크기 및 안정화 레벨 중 적어도 하나의 선택 요청을 수신하는 마진 영역 사용자 입력부; 및
상기 선택된 마진 영역의 크기 및 안정화 레벨 중 적어도 하나에 기초하여, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 비디오 카메라 안정화부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 비디오 안정화 장치에 있어서,
비디오의 프레임 시퀀스 중, 기준 카메라 시선 방향에 대비한 상대적인 프레임간 카메라 움직임을 측정하고, 목표 영역을 향한 시선 방향에 대비한 카메라 시선 방향 조절각을 결정하여, 프레임마다 상기 카메라 시선 방향 조절각을 이용하여 상기 카메라 시선 방향을 보상하여 비디오의 카메라를 안정화하는 비디오 카메라 안정화부;
상기 비디오 카메라 안정화 단계를 수행하는 중, 안정화 관련 지표를 측정하는 안정화 관련 지표 측정부; 및
상기 안정화 관련 지표가 소정 임계치를 초과하면 실시간으로 경고하는 비디오 안정화 경고부를 포함하는 것을 특징으로 하는 비디오 안정화 장치. - 제 1 항 내지 제 10 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 11 항 내지 제 15 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 16 항 내지 제 20 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 21 항 내지 제 34 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 35 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 36 항 내지 제 43 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
- 제 44 항 내지 제 46 항 중 어느 한 항의 비디오 안정화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2011/008518 WO2012064106A2 (en) | 2010-11-12 | 2011-11-09 | Method and apparatus for video stabilization by compensating for view direction of camera |
| CN201180064934.6A CN103314570B (zh) | 2010-11-12 | 2011-11-09 | 用于通过补偿相机的视向的视频稳定方法和设备 |
| US13/294,782 US8749644B2 (en) | 2010-11-12 | 2011-11-11 | Method and apparatus for video stabilization by compensating for view direction of camera |
| US14/279,889 US9100575B2 (en) | 2010-11-12 | 2014-05-16 | Method and apparatus for video stabilization by compensating for view direction of camera |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US41293810P | 2010-11-12 | 2010-11-12 | |
| US61/412,938 | 2010-11-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120051564A true KR20120051564A (ko) | 2012-05-22 |
| KR101737087B1 KR101737087B1 (ko) | 2017-05-17 |
Family
ID=46268625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110006488A KR101737087B1 (ko) | 2010-11-12 | 2011-01-21 | 카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101737087B1 (ko) |
| CN (1) | CN103314570B (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160034971A (ko) * | 2013-07-23 | 2016-03-30 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 안정화를 위한 적응적 경로 평활화 |
| KR102176273B1 (ko) * | 2019-07-04 | 2020-11-09 | 재단법인대구경북과학기술원 | 동영상 수평 조정 시스템, 방법 및 컴퓨터 프로그램 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104010215B (zh) * | 2014-05-14 | 2018-03-27 | 福州瑞芯微电子股份有限公司 | 一种基于Miracast的影像分享方法、源设备、终端设备和系统 |
| US20160191796A1 (en) * | 2014-12-30 | 2016-06-30 | Nokia Corporation | Methods And Apparatuses For Directional View In Panoramic Content |
| US10084962B2 (en) * | 2015-11-16 | 2018-09-25 | Google Llc | Spherical video stabilization based on accelerometer data |
| CN106331435B (zh) * | 2016-08-22 | 2019-12-06 | 北京小鸟科技股份有限公司 | 实时实现图像特效显示的方法 |
| CN109561254B (zh) | 2018-12-18 | 2020-11-03 | 影石创新科技股份有限公司 | 一种全景视频防抖的方法、装置及便携式终端 |
| CN111669499B (zh) * | 2020-06-12 | 2021-11-19 | 杭州海康机器人技术有限公司 | 一种视频防抖方法、装置及视频采集设备 |
| CN117078805B (zh) * | 2023-10-18 | 2023-12-15 | 北京华航唯实机器人科技股份有限公司 | 视向动画的生成方法及装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100703283B1 (ko) * | 2004-03-15 | 2007-04-03 | 삼성전자주식회사 | 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법 |
| US7705884B2 (en) | 2004-07-21 | 2010-04-27 | Zoran Corporation | Processing of video data to compensate for unintended camera motion between acquired image frames |
| JP4565504B2 (ja) | 2005-08-08 | 2010-10-20 | カシオ計算機株式会社 | 画像合成装置 |
| JP4961850B2 (ja) * | 2006-06-15 | 2012-06-27 | ソニー株式会社 | 動き検出方法、動き検出方法のプログラム、動き検出方法のプログラムを記録した記録媒体及び動き検出装置 |
| US8102428B2 (en) * | 2008-08-28 | 2012-01-24 | Adobe Systems Incorporated | Content-aware video stabilization |
| JP5200821B2 (ja) | 2008-09-25 | 2013-06-05 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| KR100985805B1 (ko) * | 2009-03-26 | 2010-11-09 | 중앙대학교 산학협력단 | 적응적인 칼만필터를 이용한 영상 안정화 장치 및 방법 |
-
2011
- 2011-01-21 KR KR1020110006488A patent/KR101737087B1/ko active IP Right Grant
- 2011-11-09 CN CN201180064934.6A patent/CN103314570B/zh not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160034971A (ko) * | 2013-07-23 | 2016-03-30 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 안정화를 위한 적응적 경로 평활화 |
| KR102176273B1 (ko) * | 2019-07-04 | 2020-11-09 | 재단법인대구경북과학기술원 | 동영상 수평 조정 시스템, 방법 및 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103314570B (zh) | 2017-04-26 |
| KR101737087B1 (ko) | 2017-05-17 |
| CN103314570A (zh) | 2013-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8749644B2 (en) | Method and apparatus for video stabilization by compensating for view direction of camera | |
| KR101737087B1 (ko) | 카메라 시선 방향 보상을 통한 비디오 안정화 방법 및 장치 | |
| US8913790B2 (en) | System and method for analyzing three-dimensional (3D) media content | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| KR20170069171A (ko) | 고속 비디오 진동 분석을 위한 모듈식 장치 | |
| US9092875B2 (en) | Motion estimation apparatus, depth estimation apparatus, and motion estimation method | |
| JP6020923B2 (ja) | 焦点可変レンズを有するビューア、および映像表示システム | |
| TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
| WO2011125937A1 (ja) | キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置 | |
| KR20140045873A (ko) | 시선 추적 장치 및 방법 | |
| GB2475730A (en) | Transformation of occluding objects in 2D to 3D image generation | |
| KR102279380B1 (ko) | 멀티-카메라 장치를 사용하는 거리 추정 | |
| US20190068993A1 (en) | Multi-Camera Image Coding | |
| US10567656B2 (en) | Medical observation device, information processing method, program, and video microscope device | |
| KR20120102202A (ko) | 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치 | |
| JP2006310936A (ja) | 任意視点映像生成システム | |
| US10634891B2 (en) | Medical observation device, lens driving control device, lens driving control method, and video microscope device | |
| KR101201160B1 (ko) | 3ｄ 카메라에서의 자동 주시각 제어 장치 및 자동 주시각 제어가 수행되는 방법 | |
| KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| JP2006340017A (ja) | 立体映像表示装置及び立体映像表示方法 | |
| KR101142279B1 (ko) | 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법 | |
| Wang et al. | 42‐4: Binocular Camera Eye Tracking Algorithm for Naked Eye 3D Display | |
| US9800865B2 (en) | Device and method for managing the position of the focal plane in a stereoscopic scene | |
| KR20230089497A (ko) | Ar 모션센서 기반 유아용 체험활동 에듀테크 플랫폼 | |
| Wang et al. | 86‐3: Binocular Camera Eye Tracking Algorithm for Naked Eye 3D Display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |