KR101930235B1 - 디지털 이미지 안정화 방법, 장치 및 시스템 - Google Patents

디지털 이미지 안정화 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101930235B1
KR101930235B1 KR1020120051698A KR20120051698A KR101930235B1 KR 101930235 B1 KR101930235 B1 KR 101930235B1 KR 1020120051698 A KR1020120051698 A KR 1020120051698A KR 20120051698 A KR20120051698 A KR 20120051698A KR 101930235 B1 KR101930235 B1 KR 101930235B1
Authority
KR
South Korea
Prior art keywords
motion vectors
image frames
global motion
group
background
Prior art date
Application number
KR1020120051698A
Other languages
English (en)
Other versions
KR20130127869A (ko
Inventor
김동훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120051698A priority Critical patent/KR101930235B1/ko
Priority to US13/829,139 priority patent/US9661227B2/en
Priority to CN201310179609.5A priority patent/CN103428516B/zh
Publication of KR20130127869A publication Critical patent/KR20130127869A/ko
Application granted granted Critical
Publication of KR101930235B1 publication Critical patent/KR101930235B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

디지털 이미지 안정화 방법이 개시된다. 상기 디지털 이미지 안정화 방법은 제1그룹에 포함된 이미지 프레임들 각각과 제2그룹에 포함된 이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 단계, 상기 제1그룹과 상기 제2그룹 중 어느 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제2배경 영역을 설정하는 단계, 및 상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하는 단계를 포함한다.

Description

디지털 이미지 안정화 방법, 장치 및 시스템{Method, device and system for digital image stabilization}
본 발명은 3D 디스플레이 기술에 관한 것으로, 특히, 3D 디스플레이 기술에 이용되는 디지털 이미지들을 안정화하기 위한 디지털 이미지 안정화 방법, 장치 및 시스템에 관한 것이다.
3D 디스플레이 기술은 3D 디스플레이 장치를 이용하여 3D 이미지를 보는 사람(viewer)에게 제공하는 기술이다. 예컨대, 상기 3D 디스플레이 기술은 스테레오스코픽(stereoscopic)일 수 있다. 상기 스테레오스코픽은 2개의 오프셋 이미지들(two offset images)을 보는 사람의 왼쪽 눈과 오른쪽 눈에 떨어져서 나타냄(presenting)으로써 이미지에서 영상의 깊이(illusion of depth)를 생성하거나 향상시키기 위한 기술이다.
예컨대, 상기 2개의 오프셋 이미지들은 카메라와 같은 장치에 의해 기록될 수 있다. 상기 카메라와 같은 장치에 의해 상기 2개의 오프셋 이미지들이 기록될 때, 손 흔들림(hand shaking) 또는 진동은 기록된 비디오에서 프레임과 프레임간의 지터(frame-frame jitter)를 유발할 수 있다. 따라서 상기 지터를 제거하기 위한 디지털 이미지 안정화가 요구된다.
본 발명이 이루고자 하는 기술적인 과제는 정확하게 3D 디스플레이 기술에 이용되는 디지털 이미지들을 안정화하기 위한 디지털 이미지 안정화 방법, 장치 및 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 디지털 이미지 안정화 방법은 제1그룹에 포함된 이미지 프레임들 각각과 제2그룹에 포함된 이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 단계, 상기 제1그룹과 상기 제2그룹 중 어느 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제2배경 영역을 설정하는 단계, 및 상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하는 단계를 포함한다.
실시 예에 따라 상기 디지털 이미지 안정화 방법은 이미지 해상도에 따라 상기 어느 하나의 그룹을 선택하는 단계를 더 포함할 수 있다.
상기 각각의 깊이 맵에 상기 각각의 제1배경 영역을 설정하는 단계는 상기 각각의 깊이 맵의 깊이 값을 깊이 임계 값과 비교하는 단계, 및 상기 비교 결과에 따라 상기 각각의 깊이 맵에 상기 각각의 제1배경 영역을 설정하는 단계를 포함한다.
상기 제1글로벌 모션 벡터들을 계산하는 단계는 상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 중 2개의 프레임들 사이에서 로컬 모션 벡터들(local motion vectors)을 계산하는 단계, 및 필터를 이용하여 상기 로컬 모션 벡터들에서 상기 제1글로벌 모션 벡터들 중 어느 하나를 계산하는 단계를 포함한다.
상기 필터는 가우시안 필터(gaussian filter), 중간 값 필터(median filter), 또는 평균 필터(mean filter)이다.
상기 로컬 모션 벡터들을 계산하는 단계는 블록 매칭(block matching)에 기초하여 상기 로컬 모션 벡터들을 계산한다.
상기 로컬 모션 벡터들을 계산하는 단계는 점 대응(point correspondence)에 기초하여 상기 로컬 모션 벡터들을 계산한다.
실시 예에 따라 상기 디지털 이미지 안정화 방법은 상기 제1글로벌 모션 벡터들을 인코더로 전송하는 단계를 더 포함할 수 있다.
실시 예에 따라 상기 디지털 이미지 안정화 방법은 상기 제1글로벌 모션 벡터들을 이용하여 상기 제1그룹에 포함된 상기 이미지 프레임들의 움직임과 상기 제2그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 단계를 더 포함할 수 있다.
실시 예에 따라 상기 디지털 이미지 안정화 방법은 상기 제1그룹과 상기 제2그룹 중에서 다른 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제3배경 영역을 설정하는 단계, 및 상기 각각의 제3배경 영역을 이용하여 상기 다른 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 단계를 더 포함할 수 있다.
실시 예에 따라 상기 디지털 이미지 안정화 방법은 상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 단계를 더 포함할 수 있다.
상기 선택하는 단계는 상기 제1글로벌 모션 벡터들과 상기 제2글로벌 모션 벡터들 각각에서 2개의 벡터들 사이의 크기 차이 값을 계산하는 단계, 상기 크기 차이 값을 크기 임계값과 비교하는 단계, 및 상기 비교 결과에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 단계를 포함한다.
상기 디지털 이미지 안정화 방법은 상기 선택된 글로벌 모션 벡터들을 이용하여 상기 제1그룹에 포함된 상기 이미지 프레임들의 움직임과 상기 제2그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 따른 디지털 이미지 안정화 방법은 제1그룹에 포함된 이미지 프레임들 각각과 제2그룹에 포함된 이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 제1배경 영역을 설정하는 깊이 맵 생성기, 이미지 해상도에 따라 상기 제1그룹과 상기 제2그룹 중 어느 하나의 그룹을 선택하는 선택기, 상기 각각의 제1배경 영역을 이용하여 상기 선택된 그룹에 포함된 상기 이미지 프레임들 각각에 제2배경 영역을 설정하는 배경 영역 설정 유닛, 및 상기 각각의 제2배경 영역을 이용하여 상기 선택된 그룹에 포함된 상기 이미지 프레임들 사이에서 글로벌 모션 벡터들을 계산하는 모션 추정기를 포함한다.
실시 예에 따라 상기 디지털 이미지 안정화 장치는 상기 글로벌 모션 벡터들을 이용하여 상기 제1그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 제1모션 보상기, 및 상기 글로벌 모션 벡터들을 이용하여 상기 제2그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 제2모션 보상기를 더 포함할 수 있다.
상기 모션 추정기는 상기 각각의 제2배경 영역을 이용하여 상기 선택된 그룹의 상기 이미지 프레임들 중 2개의 프레임들 사이에서 로컬 모션 벡터들(MVs)을 계산하는 로컬 모션 추정 유닛, 및 필터를 이용하여 상기 로컬 모션 벡터들에서 상기 글로벌 모션 벡터들 중 어느 하나를 계산하는 글로벌 모션 추정 유닛을 포함한다.
상기 디지털 이미지 안정화 장치는 이미지 신호 프로세서이다.
본 발명의 실시 예에 따른 디지털 이미지 안정화 시스템은 이미지 센서들, 및 상기 이미지 센서들 각각으로부터 출력되는 제1이미지 프레임들과 제2이미지 프레임들을 수신하는 상기 디지털 이미지 안정화 장치를 포함한다.
실시 예에 따라 상기 디지털 이미지 안정화 시스템은 상기 모션 보상기들 각각으로부터 출력되는 이미지 프레임들을 3D 포맷으로 변환하여 3D 디스플레이 프레임들을 출력하는 3D 포맷터, 및 상기 모션 추정기로부터 출력되는 상기 글로벌 모션 벡터들을 이용하여 상기 3D 디스플레이 프레임들을 압축하는 인코더를 더 포함할 수 있다.
상기 디지털 이미지 안정화 시스템은 3D 디스플레이 장치이다.
본 발명의 다른 실시 예에 따른 디지털 이미지 안정화 장치는 제1이미지 프레임들 각각과 제2이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 깊이 맵 생성기, 상기 각각의 제1배경 영역을 이용하여 상기 제1이미지 프레임들 각각과 상기 제2이미지 프레임들 각각에 각각의 제2배경 영역과 각각의 제3배경 영역을 설정하는 배경 설정 블록, 및 상기 각각의 제2배경 영역을 이용하여 상기 제1이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하고, 상기 각각의 제3배경 영역을 이용하여 상기 제2이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 모션 추정 블록을 포함한다.
실시 예에 따라 상기 디지털 이미지 안정화 장치는 상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 비교기, 및 각각이 상기 선택된 글로벌 모션 벡터들을 이용하여 상기 제1이미지 프레임들의 움직임과 상기 제2이미지 프레임들의 움직임을 보상하는 모션 보상기들을 더 포함할 수 있다.
상기 디지털 이미지 안정화 장치는 이미지 신호 프로세서이다.
본 발명의 다른 실시 예에 따른 디지털 이미지 안정화 시스템은 이미지 센서들, 및 상기 이미지 센서들 각각으로부터 출력되는 제1이미지 프레임들과 제2이미지 프레임들을 수신하는 상기 디지털 이미지 안정화 장치를 포함한다.
상기 디지털 이미지 안정화 시스템은 3D 디스플레이 장치이다.
본 발명의 실시 예에 따른 디지털 이미지 안정화 방법, 장치, 및 시스템은 깊이 정보에 의한 배경 영역을 이용함으로써 쉽고 정확하게 3D 디스플레이 기술에 이용되는 이미지들의 지터를 제거할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 복수의 이미지 센서들로부터 출력되는 복수의 이미지 프레임들을 나타낸다.
도 3은 도 1에 도시된 깊이 맵 생성기에 의해 생성되는 각각의 깊이 맵을 나타낸다.
도 4는 도 1에 도시된 배경 영역 설정 유닛의 동작을 설명하기 위한 깊이 맵과 이미지 프레임을 나타낸다.
도 5는 도 1에 도시된 로컬 모션 추정 유닛에 의해 추정되는 복수의 로컬 모션 벡터들의 일 실시 예를 나타낸다.
도 6은 도 1에 도시된 로컬 모션 추정 유닛에 의해 추정되는 복수의 로컬 모션 벡터들의 다른 실시 예를 나타낸다.
도 7은 도 1에 도시된 제1모션 보상기에 의해 보상되는 이미지 프레임을 나타낸다.
도 8은 도 1에 도시된 3D 포맷터에 의해 생성되는 3D 이미지 포맷을 나타낸다.
도 9는 도 1에 도시된 디지털 이미지 안정화 장치의 동작 방법을 설명하기 위한 흐름도를 나타낸다.
도 10은 본 발명의 다른 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타낸다.
도 11a와 11b는 도 10에 도시된 복수의 글로벌 모션 벡터 추정 유닛들에 의해 생성된 복수의 글로벌 모션 벡터들의 분포 그래프들을 나타낸다.
도 12는 도 10에 도시된 디지털 이미지 안정화 장치의 동작 방법을 설명하기 위한 흐름도를 나타낸다.
도 13은 본 발명의 또 다른 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타내며, 도 2는 도 1에 도시된 복수의 이미지 센서들로부터 출력되는 복수의 이미지 프레임들을 나타낸다.
도 1과 도 2를 참조하면, 디지털 이미지 안정화 시스템(10)은 3D 이미지를 보는 사람에게 제공할 수 있는 3D 디스플레이 장치일 수 있다. 예컨대, 디지털 이미지 안정화 시스템(10)은 디지털 카메라, 태블릿 PC, 또는 스마트폰일 수 있다.
디지털 이미지 안정화 시스템(10)은 복수의 이미지 센서들(11과 13), 디지털 이미지 안정화 장치(digital image stabilization device; DIS device; 20), 3D 포맷터(3D formatter; 41), 및 인코더(43)를 포함한다.
복수의 이미지 프레임들(IF1와 IF2) 각각은 복수의 이미지 센서들(11과 13)과 같은 장치에 의해 생성될 수 있다. 복수의 제1이미지 프레임들(IF1)은 제1이미지 센서(11)에 의해 생성될 수 있으며, 복수의 제2이미지 프레임들(IF2)은 제2이미지 센서(13)에 의해 생성될 수 있다. 복수의 이미지 프레임들(IF1와 IF2)은 보는 사람에게 3D 이미지를 제공하기 위해 사용된다. 예컨대, 복수의 이미지 프레임들(IF1와 IF2) 각각은 스테레오스코픽에 이용되는 복수의 왼쪽 이미지들과 복수의 오른쪽 이미지들일 수 있다. 복수의 이미지 프레임들(IF1와 IF2) 각각은 디지털 신호이다. 실시 예에 따라 복수의 이미지 프레임들(IF1와 IF2) 각각은 이미지 또는 비디오 프레임이라고 호칭될 수 있다. 본 명세서에서는 복수의 이미지 센서들(11과 13)의 개수가 2개로 도시되었으나 실시 예에 따라 복수의 이미지 센서들의 개수는 다양할 수 있다.
손 흔들림 또는 진동에 의해 지터가 복수의 이미지 프레임들(IF1와 IF2)에서 유발될 수 있다. 따라서 상기 지터를 제거하기 위해 DIS 장치(20)가 이용된다.
DIS 장치(20)는 깊이 맵 생성기(21), 선택기(23), 배경 영역 설정 유닛(25), 모션 추정기(27) 및 복수의 모션 보상기들(37과 39)을 포함한다.
깊이 맵 생성기(21)는 복수의 제1이미지 프레임들(IF1)과 복수의 제2이미지 프레임들(IF2)을 수신하고, 복수의 제1이미지 프레임들(IF1) 각각과 복수의 제2이미지 프레임들(IF2) 각각을 이용하여 각각의 깊이 맵을 생성한다. 상기 각각의 깊이 맵은 복수의 이미지 센서들(11과 13)과 객체들 사이의 거리와 관련된 정보를 포함하는 이미지이다.
도 3은 도 1에 도시된 깊이 맵 생성기에 의해 생성되는 각각의 깊이 맵을 나타낸다.
도 1 내지 도 3을 참조하면, 깊이 맵 생성기(21)는 복수의 제1이미지 프레임들(IF1) 각각과 복수의 제2이미지 프레임들(IF2) 각각을 비교하여 각각의 깊이 맵(DM)을 생성한다. 각각의 깊이 맵(DM)은 깊이 값(예컨대, 복수의 비트들)으로 나타낼 수 있다. 또한, 각각의 깊이 맵(DM)은 그레이 스케일(gray scale)로 나타낼 수 있다. 객체(예컨대, 책장)가 복수의 이미지 센서들(11과 13)과 멀어질수록, 각각의 깊이 맵(DM)은 어두워진다.
깊이 맵 생성기(21)는 각각의 깊이 맵(DM)의 깊이 값을 깊이 임계 값과 비교하고, 비교 결과에 따라 각각의 깊이 맵(DM)에 각각의 제1배경 영역(다크 그레이 영역(dark gray region); BG1)을 설정할 수 있다. 예컨대, 깊이 맵의 깊이 값보다 상기 깊이 임계 값이 클 때, 깊이 맵 생성기(21)는 상기 깊이 맵에 제1배경 영역(BG1)을 설정한다. 상기 깊이 맵의 깊이 값보다 상기 깊이 임계 값이 작을 때, 깊이 맵 생성기(21)는 상기 깊이 맵에 전경(foreground) 영역을 설정한다. 즉, 깊이 맵 생성기(21)는 비교 결과에 따라 각각의 깊이 맵(DM)을 제1배경 영역(BG1)과 전경 영역(FG)으로 나눌 수 있다. 예컨대, 도 3에서 제1배경 영역(BG1)은 책과 책장을 포함하며, 전경 영역(FG)은 석고상과 스탠드를 포함한다.
실시 예에 따라 깊이 맵의 깊이 값보다 상기 깊이 임계 값이 작을 때, 깊이 맵 생성기(21)는 상기 깊이 맵에서 제1배경 영역(BG1)을 설정할 수 있다.
도 1을 참조하면, 선택기(23)는 복수의 이미지 프레임들(IF1과 IF2) 중 어느 하나를 선택한다.
예컨대, 선택기(23)는 랜덤하게 또는 사용자의 설정에 따라 복수의 이미지 프레임들(IF1과 IF2) 중 어느 하나를 선택할 수 있다.
실시 예에 따라 선택기(23)는 이미지 해상도에 따라 복수의 이미지 프레임들(IF1과 IF2) 중 어느 하나를 선택할 수 있다. 예컨대, 복수의 제1이미지 프레임들(IF1)의 이미지 해상도가 복수의 제2이미지 프레임들(IF2)의 이미지 해상도보다 높을 때, 선택기(23)는 복수의 제1이미지 프레임들(IF1)을 선택할 수 있다.
도 4는 도 1에 도시된 배경 영역 설정 유닛의 동작을 설명하기 위한 깊이 맵과 이미지 프레임을 나타낸다.
도 1 내지 도 4를 참조하면, 배경 영역 설정 유닛(25)은 각각의 깊이 맵(DM)에 각각 설정된 제1배경 영역(BG1)을 이용하여 선택기(23)에 의해 선택된 복수의 이미지 프레임들(예컨대, IF1) 각각의 제2배경 영역을 설정한다. 선택기(23)에 의해 선택된 복수의 이미지 프레임들(예컨대, IF1) 각각은 깊이 맵(DM) 각각에 설정된 제1배경 영역(BG1)에 의해 마스킹된다.
즉, 배경 영역 설정 유닛(25)은 선택기(23)에 의해 선택된 복수의 이미지 프레임들(IF1) 각각에서 제2배경 영역을 추출할 수 있다.
도 1을 참조하면, 모션 추정기(27)는 각각의 제2배경 영역을 이용하여 선택기(23)에 의해 선택된 복수의 이미지 프레임들(예컨대, IF1) 사이에서 복수의 글로벌 모션 벡터들(GMV)을 계산한다.
모션 추정기(27)는 로컬 모션 추정 유닛(29)과 제1버퍼(31)를 포함한다.
로컬 모션 추정 유닛(29)은 각각의 제2배경 영역을 이용하여 선택된 복수의 이미지 프레임들(예컨대, IF1) 중 2개의 프레임들 사이에서 복수의 로컬 모션 벡터들(MVs)을 계산할 수 있다.
도 5는 도 1에 도시된 로컬 모션 추정 유닛에 의해 추정되는 복수의 로컬 모션 벡터들의 일 실시 예를 나타낸다.
도 1 내지 도 5를 참조하면, 복수의 로컬 모션 벡터들(MVs)은 블록 매칭 (block matching)에 기초하여 계산될 수 있다. 상기 블록 매칭은 블록 매칭 알고리즘을 의미한다.
도 5에서 복수의 이미지 프레임들(IF1-1과 IF1-2)의 각 배경 영역(BG2와 BG3)은 복수의 블록들로 나뉠 수 있다. 실시 예에 따라 각 블록의 사이즈는 다양할 수 있다. 복수의 이미지 프레임들(IF1-1과 IF1-2)은 도 2에 도시된 복수의 제1이미지 프레임들(IF1) 중 2개이다. 복수의 이미지 프레임들(IF1-1과 IF1-2)은 간략히 도시되었으며, 각 배경(BG1와 BG2)에 도시된 사각형(28-1과 28-2)은 각 배경(BG1와 BG2)의 이미지 일부(예컨대, 책 이미지의 일부 또는 책장 이미지의 일부)를 의미한다.
로컬 모션 추정 유닛(29)은 이미지 프레임(IF1-2)의 각 블록(예컨대, B1)과 가장 잘 매치되는 블록(B2)을 이미지 프레임(IF1-1)에서 찾는다. 로컬 모션 추정 유닛(29)은 이미지 프레임(IF1-1)에서 이미지 프레임(IF1-2)의 블록(B1)과 가장 잘 매칭되는 블록(B2)을 찾고, 이미지 프레임(IF1-1)의 블록의 변위(displacement)를 로컬 모션 벡터(MV)로서 추정한다.
도 5에서는 설명의 편의를 위해 하나의 로컬 모션 벡터(MV)만이 도시되었으나, 이미지 프레임(IF1-2)의 각 블록과 가장 잘 매칭되는 각 블록이 이미지 프레임(IF1-1)에 존재할 수 있다.
실시 예에 따라 로컬 모션 추정 유닛(29)은 하나의 로컬 모션 벡터(MV)를 추정할 수 있다. 이 때, 하나의 로컬 모션 벡터(MV)는 글로벌 모션 벡터로서 고려된다.
로컬 모션 추정 유닛(29)에 의해 추정된 복수의 로컬 모션 벡터들(MVs)은 제1버퍼(31)에 저장될 수 있다.
도 6은 도 1에 도시된 로컬 모션 추정 유닛에 의해 추정되는 복수의 로컬 모션 벡터들의 다른 실시 예를 나타낸다.
도 1 내지 도 4, 및 도 6을 참조하면, 복수의 이미지 프레임들(IF1-3과 IF1-4)은 간략히 도시되었으며, 각 배경에 도시된 사각형(28-3과 28-4)은 각 배경의 이미지 일부(예컨대, 책 이미지의 일부 또는 책장 이미지의 일부)를 의미한다.
실시 예에 따라 복수의 로컬 모션 벡터들(MVs)은 점 대응(point correspondence)에 기초하여 계산될 수 있다. 상기 점 대응은 점 대응 알고리즘을 의미한다. 실시 예에 따라 상기 점 대응은 특징 대응(feature correspondence), 또는 특징 대응 알고리즘이라고 호칭될 수 있다.
로컬 모션 추정 유닛(29)은 복수의 이미지 프레임들(IF1-3과 IF1-4)의 각 배경 영역에서 적어도 하나 이상의 점을 감지한다. 예컨대, 로컬 모션 추정 유닛(29)은 각 배경 영역의 에지를 감지할 수 있다. 상기 적어도 하나 이상의 점은 점 설명(point description)에 사용된다. 즉, 로컬 모션 추정 유닛(29)은 컬러로서 상기 적어도 하나 이상의 점을 설명(describe)할 수 있다. 상기 컬러는 복수의 비트들로 표현된다.
로컬 모션 추정 유닛(29)은 이미지 프레임(IF1-4)의 적어도 하나 이상의 점과 가장 잘 대응되는 점을 이미지 프레임(IF1-3)에서 찾는다. 로컬 모션 추정 유닛(29)은 이미지 프레임(IF1-4)에서 이미지 프레임(IF1-3)의 점과 가장 잘 대응되는 점을 찾고, 이미지 프레임(IF1-2)의 벡터(vector)를 로컬 모션 벡터(MV)로서 추정한다.
도 6에서는 설명의 편의를 위해 하나의 로컬 모션 벡터(MV)만이 도시되었다,
도 1을 참조하면, 실시 예에 따라 모션 추정기(27)는 글로벌 모션 추정 유닛(33)과 제2버퍼(35)를 더 포함할 수 있다.
글로벌 모션 추정 유닛(27)은 필터를 이용하여 복수의 로컬 모션 벡터들(MVs)에서 복수의 글로벌 모션 벡터들(GMVs) 중 어느 하나를 계산한다.
상기 필터는 가우시안 필터(gaussian filter), 중간 값 필터(median filter), 또는 평균 필터(mean filter)일 수 있다.
즉, 글로벌 모션 추정 유닛(27)은 선택된 복수의 이미지 프레임들(예컨대, IF1) 사이에서 복수의 글로벌 모션 벡터들(GMVs)을 계산한다.
복수의 글로벌 모션 벡터들(GMVs)은 제2버퍼(35)에 저장될 수 있다.
도 7은 도 1에 도시된 제1모션 보상기에 의해 보상되는 이미지 프레임을 나타낸다.
도 1과 도 7을 참조하면, 복수의 이미지 프레임들(IF1-1와 IF1-2)은 도 2에도시된 복수의 이미지 프레임들(IF1) 중 2개이다.
제1모션 보상기(37)는 복수의 글로벌 모션 벡터들(GMVs)을 이용하여 복수의 제1이미지 프레임들(IF1)의 움직임을 보상한다.
예컨대, 제1모션 보상기(37)는 복수의 글로벌 모션 벡터들(GMVs) 중 어느 하나(GMV)를 이용하여 제1이미지 프레임(IF1-1)의 움직임을 보상한다. 제1모션 보상기(37)는 제1이미지 프레임(IF1-1)을 이동함으로써 제1이미지 프레임(IF-1)의 움직임을 보상할 수 있다.
유사하게, 제2모션 보상기(39)도 복수의 글로벌 모션 벡터들(GMVs)을 이용하여 복수의 제2이미지 프레임들(IF2)의 움직임을 보상한다.
도 8은 도 1에 도시된 3D 포맷터에 의해 생성되는 3D 이미지 포맷을 나타낸다.
도 1과 도 8을 참조하면, 3D 포맷터(41)는 복수의 모션 보상기들(37과 39) 각각으로부터 출력되는 이미지 프레임들을 다양한 3D 포맷들 중 어느 하나로 변환한다. 예컨대, 제1모션 보상기(37)로부터 보상된 복수의 제1이미지 프레임들(IF1) 각각이 위에 위치하고, 제2모션 보상기(39)로부터 보상된 복수의 제2이미지 프레임들(IF2) 각각이 아래에 위치할 수 있다.
도 1을 참조하면, 인코더(43)는 모션 추정기(27)로부터 출력되는 복수의 글로벌 모션 벡터들(GMVs)을 이용하여 3D 포맷터(41)으로부터 출력되는 복수의 3D 디스플레이 프레임들을 압축한다.
도 9는 도 1에 도시된 디지털 이미지 안정화 장치의 동작 방법을 설명하기 위한 흐름도를 나타낸다.
도 1 내지 도 9를 참조하면, DIS 장치(20)는 복수의 이미지 센서들(11과 13)각각으로부터 제1그룹에 포함된 이미지 프레임들(IF1)과 제2그룹에 포함된 이미지 프레임들(IF2)을 수신한다(S10).
선택기(23)는 상기 제1그룹 또는 상기 제2그룹을 선택한다(S20).
깊이 맵 생성기(21)는 상기 제1그룹에 포함된 이미지 프레임들(IF1) 각각과 상기 제2그룹에 포함된 이미지 프레임들(IF2) 각각을 이용하여 각각의 깊이 맵(DM)을 생성한다(S30). 깊이 맵 생성기(21)는 각각의 깊이 맵(DM)에 각각의 제1배경 영역(BG1)을 설정한다.
배경 영역 설정 유닛(25)은 각각의 제1배경 영역(BG1)을 이용하여 선택된 그룹에 포함된 이미지 프레임들 각각에 각각의 제2배경 영역을 설정한다(S40).
모션 추정기(27)는 각각의 제2배경 영역을 이용하여 상기 선택된 그룹에 포함된 이미지 프레임들 사이에서 제1글로벌 모션 벡터들(GMVs)을 계산한다(S50).
모션 보상기들(37과 39) 각각은 제1글로벌 모션 벡터들(GMVs)을 이용하여 상기 제1그룹에 포함된 이미지 프레임들(IF1)의 움직임과 상기 제2그룹에 포함된 이미지 프레임들(IF2)의 움직임을 보상한다(S60).
도 10은 본 발명의 다른 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타낸다.
도 10을 참조하면, 디지털 이미지 안정화 시스템(100)은 복수의 이미지 센서들(110과 130), 디지털 이미지 안정화 장치(200), 3D 포맷터(410), 및 인코더(430)를 포함한다.
복수의 이미지 센서들(110과 130), 3D 포맷터(410), 및 인코더(430) 각각은 도 1에 도시된 복수의 이미지 센서들(11과 13), 3D 포맷터(41), 및 인코더(43) 각각과 명칭 및 기능이 동일하므로 이에 대한 자세한 설명은 생략한다.
DIS 장치(200)는 깊이 맵 생성기(210), 배경 영역 설정 블록(251), 모션 추정 블록(271), 비교기(365), 및 복수의 모션 보상기들(370과 390)을 포함한다.
깊이 맵 생성기(210)는 복수의 제1이미지 프레임들(IF1') 각각과 복수의 제2이미지 프레임들(IF2') 각각을 비교하여 각각의 깊이 맵을 생성하고, 각각의 깊이 맵에 각각의 제3배경 영역을 설정한다. 복수의 이미지 프레임들(IF1'과 IF2') 및 각각의 깊이 맵은 도 2와 도 3에 각각 도시된 복수의 이미지 프레임들(IF1과 IF2) 및 각각의 깊이 맵과 유사하다.
깊이 맵 생성기(210)의 동작은 도 1에 도시된 깊이 맵 생성기(21)의 동작과 유사하므로 이에 대한 자세한 설명은 생략한다.
배경 영역 설정 블록(251)은 제1배경 영역 설정 유닛(250)과 제2배경 영역 설정 유닛(251)을 포함한다.
제1배경 영역 설정 유닛(250)은 각각의 깊이 맵에 설정된 각각의 제3배경 영역을 이용하여 복수의 제1이미지 프레임들(IF1') 각각에 각각의 제4배경 영역을 설정한다.
제2배경 영역 설정 유닛(255)은 각각의 깊이 맵에 설정된 각각의 제3배경 영역을 이용하여 복수의 제2이미지 프레임들 각각에 각각의 제5배경 영역을 설정한다.
즉, 각각의 깊이 맵에 의해 복수의 제1이미지 프레임들(IF1') 각각에 각각의 제4배경 영역과 복수의 제2이미지 프레임들(IF2') 각각에 각각의 제5배경 영역이 마스킹된다.
모션 추정 블록(271)은 제1모션 추정기(270)와 제2모션 추정기(275)를 포함한다.
제1모션 추정기(270)는 각각의 제4배경 영역을 이용하여 복수의 제1이미지 프레임들(IF1') 사이에서 복수의 제1글로벌 모션 벡터들(GMVs1)을 계산한다.
제1모션 추정기(270)는 제1로컬 모션 추정 유닛(290)과 제1버퍼(310)를 포함한다.
제1로컬 모션 추정 유닛(290)은 각각의 제4배경 영역을 이용하여 복수의 제1이미지 프레임들(IF1') 중 2개의 프레임들 사이에서 복수의 제1로컬 모션 벡터들(MVs1)을 계산한다. 복수의 제1로컬 모션 벡터들(MVs1)은 제1버퍼(310)에 저장될 수 있다.
실시 예에 따라 제1로컬 모션 추정 유닛(290)은 하나의 로컬 모션 벡터를 추정할 수 있다. 이 때, 상기 하나의 로컬 모션 벡터는 글로벌 모션 벡터로서 고려된다.
실시 예에 따라 제1모션 추정기(270)는 제1글로벌 모션 추정 유닛(330)과 제2버퍼(350)를 더 포함할 수 있다.
제1글로벌 모션 추정 유닛(330)은 필터를 이용하여 복수의 제1로컬 모션 벡터들(MVs1)에서 복수의 제1글로벌 모션 벡터들(GMVs1) 중 어느 하나를 계산한다.
제1로컬 모션 추정 유닛(290)과 제1글로벌 모션 추정 유닛(330)의 동작은 도 1에 도시된 로컬 모션 추정 유닛(29)과 글로벌 모션 추정 유닛(33)의 동작과 유사하므로 이에 대한 자세한 설명은 생략한다.
복수의 제1글로벌 모션 벡터들(GMVs1)은 제2버퍼(350)에 저장될 수 있다.
제2모션 추정기(275)는 각각의 제5배경 영역을 이용하여 복수의 제2이미지 프레임(IF2') 사이에서 복수의 제2글로벌 모션 벡터들(GMVs2)을 계산한다.
제2모션 추정기(275)는 제2로컬 모션 추정 유닛(295)과 제3버퍼(315)를 포함한다.
제2로컬 모션 추정 유닛(295)은 각각의 제5배경 영역을 이용하여 복수의 제2이미지 프레임들(IF2') 중 2개의 프레임들 사이에서 복수의 제2로컬 모션 벡터들(MVs2)을 계산한다. 복수의 제2로컬 모션 벡터들(MVs2)은 제3버퍼(315)에 저장될 수 있다.
실시 예에 따라 제2로컬 모션 추정 유닛(295)은 하나의 로컬 모션 벡터를 추정할 수 있다. 이 때, 상기 하나의 로컬 모션 벡터는 글로벌 모션 벡터로서 고려된다.
실시 예에 따라 제2모션 추정기(275)는 제2글로벌 모션 추정 유닛(335)과 제4버퍼(355)를 더 포함할 수 있다.
제2글로벌 모션 추정 유닛(335)은 필터를 이용하여 복수의 제2로컬 모션 벡터들(MVs2)에서 복수의 제2글로벌 모션 벡터들(GMVs2) 중 어느 하나를 계산한다.
복수의 제2글로벌 모션 벡터들(GMVs2)은 제4버퍼(355)에 저장될 수 있다.
도 11a와 도 11b는 도 10에 도시된 복수의 글로벌 모션 벡터 추정 유닛들에 의해 생성된 복수의 글로벌 모션 벡터들의 분포 그래프들을 나타낸다. 도 11a는 복수의 제1글로벌 모션 벡터들의 크기 분포 그래프를 나타내며, 도 11b는 복수의 제2글로벌 모션 벡터들의 크기 분포 그래프를 나타낸다.
도 10 내지 도 11b를 참조하면, 비교기(365)는 복수의 제1글로벌 모션 벡터들(GMVs1) 각각의 크기와 복수의 제2글로벌 모션 벡터들(GMVs2) 각각의 크기에 따라 복수의 제1글로벌 모션 벡터들(GMVs1)과 복수의 제2글로벌 모션 벡터들(GMVs2) 중 어느 하나를 선택한다.
구체적으로 비교기(365)는 복수의 제1글로벌 모션 벡터들(GMVs1)과 복수의 제2글로벌 모션 벡터들(GMVs2) 각각에서 각각의 2개의 벡터들 사이의 크기 차이 값을 계산한다. 비교기(365)는 각각의 크기 차이 값을 크기 임계값과 비교한다. 비교기(365)는 비교 결과에 따라 복수의 제1글로벌 모션 벡터들(GMVs1)과 복수의 제2글로벌 모션 벡터들(GMVs2) 중 어느 하나를 선택한다. 예컨대, 복수의 제2글로벌 모션 벡터들(GMVs2) 중 6번째 글로벌 모션 벡터와 7번째 글로벌 모션 벡터 사이의 크기 차이 값(D1)이 크기 임계값(Th1)보다 클 때, 비교기(365)는 복수의 제1글로벌 모션 벡터들(GMVs1)을 선택한다.
도 10을 참조하면, 제1모션 보상기(370)는 선택된 복수의 글로벌 모션 벡터들을 이용하여 복수의 제1이미지 프레임들(IF1')의 움직임을 보상한다.
제2모션 보상기(390)는 선택된 복수의 글로벌 모션 벡터들을 이용하여 복수의 제2이미지 프레임들(IF2')의 움직임을 보상한다. 복수의 모션 보상기들(370과 390)의 동작은 도 1에 도시된 복수의 모션 보상기들(37과 39)의 동작과 유사하므로 이에 대한 자세한 설명은 생략한다.
도 12는 도 10에 도시된 디지털 이미지 안정화 장치의 동작 방법을 설명하기 위한 흐름도를 나타낸다.
도 10 내지 도 12를 참조하면, DIS 장치(200)는 복수의 이미지 센서들(110과 130) 각각으로부터 제1그룹에 포함된 이미지 프레임들(IF1')과 제2그룹에 포함된 이미지 프레임들(IF2')을 수신한다(S110).
깊이 맵 생성기(210)는 상기 제1그룹에 포함된 이미지 프레임들(IF1') 각각과 상기 제2그룹에 포함된 이미지 프레임들(IF2') 각각을 이용하여 각각의 깊이 맵을 생성한다(S120). 깊이 맵 생성기(210)는 각각의 깊이 맵에서 제3배경 영역을 설정한다.
배경 영역 설정 블록(251)은 각각의 상기 제3배경 영역을 이용하여 이미지 프레임들(IF1'과 IF2') 각각에 각각의 제4배경 영역과 각각의 제5배경 영역을 설정한다(S130).
모션 추정 블록(271)은 각각의 상기 제4배경 영역을 이용하여 복수의 제1이미지 프레임들(IF1') 사이에서 복수의 제1글로벌 모션 벡터들(GMVs1)을 계산하고, 각각의 상기 제5배경 영역을 이용하여 복수의 제2이미지 프레임들(IF2') 사이에서 복수의 제2글로벌 모션 벡터들(GMVs2)을 계산한다(S140).
복수의 모션 보상기들(370과 390) 각각은 선택된 복수의 글로벌 모션 벡터들을 이용하여 복수의 제1이미지 프레임들(IF1')의 움직임과 복수의 제2이미지 프레임들(IF2')의 움직임을 보상한다(S150).
도 13은 본 발명의 또 다른 실시 예에 따른 디지털 이미지 안정화 시스템의 블록도를 나타낸다.
도 13을 참조하면, 디지털 이미지 안정화 시스템(1300)은 3D 디스플레이 장치이다. 디지털 이미지 안정화 시스템(1300)은 복수의 이미지 센서들(1310과 1320), DIS 장치(1330), 인코더(1340), 메모리(1350), 디코더(1360) 및 3D 디스플레이(1370)를 포함한다.
복수의 이미지 센서들(1310과 1320), DIS 장치(1330), 및 인코더(1340)는 도 1 또는 도 10에 도시된 복수의 이미지 센서들, DIS 장치, 및 인코더와 동작이 유사하므로 이에 대한 자세한 설명은 생략한다.
메모리(1350)는 인코더(1340)로부터 출력되는 복수의 3D 디스플레이 프레임들을 저장할 수 있다. 메모리(1350)는 플래시 메모리와 같은 비휘발성 메모리로 구현될 수 있다.
디코더(1360)는 3D 디스플레이에 3D 디스플레이 이미지를 디스플레이하기 위해 인코딩된 복수의 3D 디스플레이 프레임들 디코딩한다.
3D 디스플레이(1370)는 디코딩된 3D 디스플레이 프레임들을 디스플레이하여, 보는 사람에게 3D 이미지를 제공할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 디지털 이미지 안정화 시스템 100; 디지털 이미지 안정화 시스템
11, 13; 복수의 이미지 센서들 110, 130; 복수의 이미지 센서들
20; 디지털 이미지 안정화 장치 200; 디지털 이미지 안정화 장치
21; 깊이 맵 생성기 210; 깊이 맵 생성기
23; 선택기 250, 251; 복수의 배경 영역 설정 유닛
25; 배경 영역 설정 유닛 271; 모션 추정 블록
27; 모션 추정기 365; 비교기
37, 39; 복수의 모션 보상기들 370, 390; 복수의 모션 보상기들
41; 3D 포맷터 410; 3D 포맷터
43; 인코더 430; 인코더

Claims (20)

  1. 제1그룹에 포함된 이미지 프레임들 각각과 제2그룹에 포함된 이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 단계;
    상기 제1그룹과 상기 제2그룹 중 어느 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제2배경 영역을 설정하는 단계;
    상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하는 단계;
    상기 제1그룹과 상기 제2그룹 중에서 다른 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제3배경 영역을 설정하는 단계;
    상기 각각의 제3배경 영역을 이용하여 상기 다른 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 단계; 및
    상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들 을 선택하는 단계를 포함하고,
    상기 선택하는 단계는,
    상기 제1글로벌 모션 벡터들과 상기 제2글로벌 모션 벡터들 각각에서 2개의 벡터들 사이의 크기 차이 값을 계산하는 단계;
    상기 크기 차이 값을 크기 임계값과 비교하는 단계; 및
    상기 비교 결과에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 단계를 포함하는 디지털 이미지 안정화 방법.
  2. 제1항에 있어서, 상기 디지털 이미지 안정화 방법은,
    이미지 해상도에 따라 상기 어느 하나의 그룹을 선택하는 단계를 더 포함하는 디지털 이미지 안정화 방법.
  3. 제1항에 있어서, 상기 각각의 깊이 맵에 상기 각각의 제1배경 영역을 설정하는 단계는,
    상기 각각의 깊이 맵의 깊이 값을 깊이 임계 값과 비교하는 단계; 및
    상기 비교 결과에 따라 상기 각각의 깊이 맵에 상기 각각의 제1배경 영역을 설정하는 단계를 포함하는 디지털 이미지 안정화 방법.
  4. 제1항에 있어서, 상기 제1글로벌 모션 벡터들을 계산하는 단계는,
    상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 중 2개의 프레임들 사이에서 로컬 모션 벡터들(local motion vectors)을 계산하는 단계; 및
    필터를 이용하여 상기 로컬 모션 벡터들에서 상기 제1글로벌 모션 벡터들 중 어느 하나를 계산하는 단계를 포함하는 디지털 이미지 안정화 방법.
  5. 제4항에 있어서, 상기 필터는 가우시안 필터(gaussian filter), 중간 값 필터(median filter), 또는 평균 필터(mean filter)인 디지털 이미지 안정화 방법.
  6. 제4항에 있어서, 상기 로컬 모션 벡터들을 계산하는 단계는,
    블록 매칭(block matching)에 기초하여 상기 로컬 모션 벡터들을 계산하는 디지털 이미지 안정화 방법.
  7. 제4항에 있어서, 상기 로컬 모션 벡터들을 계산하는 단계는,
    점 대응(point correspondence)에 기초하여 상기 로컬 모션 벡터들을 계산하는 디지털 이미지 안정화 방법.
  8. 제1항에 있어서, 상기 디지털 이미지 안정화 방법은,
    상기 제1글로벌 모션 벡터들을 인코더로 전송하는 단계를 더 포함하는 디지털 이미지 안정화 방법.
  9. 제1항에 있어서, 상기 디지털 이미지 안정화 방법은,
    상기 제1글로벌 모션 벡터들을 이용하여 상기 제1그룹에 포함된 상기 이미지 프레임들의 움직임과 상기 제2그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 단계를 더 포함하는 디지털 이미지 안정화 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제1그룹에 포함된 이미지 프레임들 각각과 제2그룹에 포함된 이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 단계;
    상기 제1그룹과 상기 제2그룹 중 어느 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제2배경 영역을 설정하는 단계;
    상기 각각의 제2배경 영역을 이용하여 상기 어느 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하는 단계;
    상기 제1그룹과 상기 제2그룹 중에서 다른 하나의 그룹에 포함된 상기 이미지 프레임들 각각에 상기 각각의 제1배경 영역을 이용하여 각각의 제3배경 영역을 설정하는 단계;
    상기 각각의 제3배경 영역을 이용하여 상기 다른 하나의 그룹에 포함된 상기 이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 단계;
    상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들 을 선택하는 단계; 및
    상기 선택된 글로벌 모션 벡터들을 이용하여 상기 제1그룹에 포함된 상기 이미지 프레임들의 움직임과 상기 제2그룹에 포함된 상기 이미지 프레임들의 움직임을 보상하는 단계를 포함하는 디지털 이미지 안정화 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 이미지 센서들; 및
    상기 이미지 센서들 각각으로부터 출력되는 제1그룹에 포함된 이미지 프레임들과 제2그룹에 포함된 이미지 프레임들을 수신하는 디지털 이미지 안정화 장치를 포함하며,
    제1이미지 프레임들 각각과 제2이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 깊이 맵 생성기;
    상기 각각의 제1배경 영역을 이용하여 상기 제1이미지 프레임들 각각에 제2배경 영역을 설정하고, 상기 각각의 제1배경 영역을 이용하여 상기 제2이미지 프레임들 각각에 각각의 제3배경 영역을 설정하는 배경 영역 설정 블록;
    상기 각각의 제2배경 영역을 이용하여 상기 제1이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하고, 상기 각각의 제3배경 영역을 이용하여 상기 제2이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 모션 추정 블록;
    상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 비교기; 및
    각각이 상기 선택된 글로벌 모션 벡터들을 이용하여 상기 제1이미지 프레임들의 움직임과 상기 제2이미지 프레임들의 움직임을 보상하는 모션 보상기들을 포함하는 디지털 이미지 안정화 시스템.
  18. 삭제
  19. 제1이미지 프레임들 각각과 제2이미지 프레임들 각각을 이용하여 각각의 깊이 맵을 생성하고, 상기 각각의 깊이 맵에 각각의 제1배경 영역을 설정하는 깊이 맵 생성기;
    상기 각각의 제1배경 영역을 이용하여 상기 제1이미지 프레임들 각각에 제2배경 영역을 설정하고, 상기 각각의 제1배경 영역을 이용하여 상기 제2이미지 프레임들 각각에 각각의 제3배경 영역을 설정하는 배경 영역 설정 블록;
    상기 각각의 제2배경 영역을 이용하여 상기 제1이미지 프레임들 사이에서 제1글로벌 모션 벡터들을 계산하고, 상기 각각의 제3배경 영역을 이용하여 상기 제2이미지 프레임들 사이에서 제2글로벌 모션 벡터들을 계산하는 모션 추정 블록;
    상기 제1글로벌 모션 벡터들 각각의 크기와 상기 제2글로벌 모션 벡터들 각각의 크기에 따라 상기 제1글로벌 모션 벡터들 또는 상기 제2글로벌 모션 벡터들을 선택하는 비교기; 및
    각각이 상기 선택된 글로벌 모션 벡터들을 이용하여 상기 제1이미지 프레임들의 움직임과 상기 제2이미지 프레임들의 움직임을 보상하는 모션 보상기들을 포함하는 디지털 이미지 안정화 장치.
  20. 삭제
KR1020120051698A 2012-05-15 2012-05-15 디지털 이미지 안정화 방법, 장치 및 시스템 KR101930235B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120051698A KR101930235B1 (ko) 2012-05-15 2012-05-15 디지털 이미지 안정화 방법, 장치 및 시스템
US13/829,139 US9661227B2 (en) 2012-05-15 2013-03-14 Method, circuit and system for stabilizing digital image
CN201310179609.5A CN103428516B (zh) 2012-05-15 2013-05-15 用于稳定数字图像的方法、电路和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051698A KR101930235B1 (ko) 2012-05-15 2012-05-15 디지털 이미지 안정화 방법, 장치 및 시스템

Publications (2)

Publication Number Publication Date
KR20130127869A KR20130127869A (ko) 2013-11-25
KR101930235B1 true KR101930235B1 (ko) 2018-12-18

Family

ID=49580990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051698A KR101930235B1 (ko) 2012-05-15 2012-05-15 디지털 이미지 안정화 방법, 장치 및 시스템

Country Status (3)

Country Link
US (1) US9661227B2 (ko)
KR (1) KR101930235B1 (ko)
CN (1) CN103428516B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538081B1 (en) * 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR102069269B1 (ko) * 2014-01-21 2020-01-22 한화테크윈 주식회사 영상 안정화 장치 및 방법
JP6321365B2 (ja) * 2013-12-13 2018-05-09 株式会社Ｓｏｋｅｎ 対応点探索方法および距離測定装置
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
US9998663B1 (en) 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US10277888B2 (en) * 2015-01-16 2019-04-30 Qualcomm Incorporated Depth triggered event feature
CN108141606B (zh) * 2015-07-31 2022-03-01 港大科桥有限公司 用于全局运动估计和补偿的方法和系统
US10033926B2 (en) * 2015-11-06 2018-07-24 Google Llc Depth camera based image stabilization
CN105611116B (zh) * 2015-12-23 2018-10-19 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN106060521B (zh) * 2016-06-21 2019-04-16 英华达（上海）科技有限公司 深度影像建构方法及系统
EP3534605B1 (en) * 2016-10-31 2021-04-14 EIZO Corporation Image processing device, image display device, and program
CN107424187B (zh) 2017-04-17 2023-10-24 奥比中光科技集团股份有限公司 深度计算处理器、数据处理方法以及3d图像设备
KR102385360B1 (ko) 2017-09-19 2022-04-12 삼성전자주식회사 이미지 보정을 수행하는 전자 장치 및 그 동작 방법
CN108259881A (zh) * 2018-01-30 2018-07-06 深圳市得色科技有限公司 基于视差估算的3d合成方法及其系统
KR102547085B1 (ko) * 2018-12-26 2023-06-23 엘지디스플레이 주식회사 영상 처리 방법 및 이를 이용한 표시 장치
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item
US11172139B2 (en) * 2020-03-12 2021-11-09 Gopro, Inc. Auto exposure metering for spherical panoramic content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
US20110285826A1 (en) * 2010-05-20 2011-11-24 D Young & Co Llp 3d camera and imaging method

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9217098D0 (en) * 1992-08-12 1992-09-23 British Broadcasting Corp Derivation of studio camera position and motion from the camera image
US6118475A (en) 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US6384859B1 (en) 1995-03-29 2002-05-07 Sanyo Electric Co., Ltd. Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information
US6584219B1 (en) 1997-09-18 2003-06-24 Sanyo Electric Co., Ltd. 2D/3D image conversion system
US6611268B1 (en) * 2000-05-30 2003-08-26 Microsoft Corporation System and process for generating 3D video textures using video-based rendering techniques
JP2003018604A (ja) 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
JP3971691B2 (ja) 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
KR100544677B1 (ko) 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
TWI272550B (en) 2005-01-03 2007-02-01 Quanta Comp Inc Apparatus and method for digital image stabilization
JP2007074042A (ja) 2005-09-02 2007-03-22 Ricoh Co Ltd 動画像処理装置及び方法
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
IES20060564A2 (en) * 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
KR100800653B1 (ko) 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
TW200917824A (en) * 2007-10-12 2009-04-16 Univ Nat Taiwan Shockproof method for digital imaging
US8482620B2 (en) * 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
KR101612125B1 (ko) 2009-06-12 2016-04-12 삼성전자주식회사 사용자의 손떨림 또는 의도적 움직임의 유무를 판단하는 방법
JP2011019202A (ja) 2009-07-10 2011-01-27 Sony Corp 映像信号処理装置および映像表示装置
JP2011166264A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5444065B2 (ja) 2010-03-19 2014-03-19 富士フイルム株式会社 複眼撮像装置およびその制御方法
JP2011217044A (ja) 2010-03-31 2011-10-27 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム
US9131155B1 (en) * 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
KR20110135786A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
KR101666019B1 (ko) * 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9824426B2 (en) * 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
US20110285826A1 (en) * 2010-05-20 2011-11-24 D Young & Co Llp 3d camera and imaging method

Also Published As

Publication number Publication date
CN103428516B (zh) 2017-10-27
US20130307937A1 (en) 2013-11-21
US9661227B2 (en) 2017-05-23
CN103428516A (zh) 2013-12-04
KR20130127869A (ko) 2013-11-25

Similar Documents

Publication Publication Date Title
KR101930235B1 (ko) 디지털 이미지 안정화 방법, 장치 및 시스템
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
US9525858B2 (en) Depth or disparity map upscaling
US7912298B2 (en) Video evaluation device, frame rate determination device, video process device, video evaluation method, and video evaluation program
JP4903240B2 (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
US9036007B2 (en) System and method for converting two dimensional to three dimensional video
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
US9451233B2 (en) Methods and arrangements for 3D scene representation
CN105190688A (zh) 用于查看图像的方法和装置
US20130170551A1 (en) Halo Reduction in Frame-Rate-Conversion Using Hybrid Bi-Directional Motion Vectors for Occlusion/Disocclusion Detection
US20150063717A1 (en) System and method for spatio temporal video image enhancement
KR20120072352A (ko) 적응 필터링을 이용한 디지털 이미지 안정화 방법
US8718331B2 (en) Image detecting apparatus and method thereof
CN102918846A (zh) 多视点视频编码方法、多视点视频解码方法、多视点视频编码装置、多视点视频解码装置及程序
KR20110135786A (ko) 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
CN103460242A (zh) 信息处理装置、信息处理方法、以及位置信息的数据结构
KR20130105969A (ko) 깊이 영상 필터링 방법 및 그 장치
KR100720722B1 (ko) 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
Sun et al. Novel temporal domain hole filling based on background modeling for view synthesis
KR101966920B1 (ko) 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5116602B2 (ja) 映像信号処理装置及び方法、プログラム
JP2015171097A (ja) 画像処理装置及びその制御方法
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
WO2015158570A1 (en) System, method for computing depth from video

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120515

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170502

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20120515

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180402

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20180915

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181212

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181213

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211124

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241126

Start annual number: 7

End annual number: 7