KR20150146424A - 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 - Google Patents

이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20150146424A
KR20150146424A KR1020150086270A KR20150086270A KR20150146424A KR 20150146424 A KR20150146424 A KR 20150146424A KR 1020150086270 A KR1020150086270 A KR 1020150086270A KR 20150086270 A KR20150086270 A KR 20150086270A KR 20150146424 A KR20150146424 A KR 20150146424A
Authority
KR
South Korea
Prior art keywords
image
motion vector
vector data
estimated
determining
Prior art date
Application number
KR1020150086270A
Other languages
English (en)
Inventor
센디크 옴리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150146424A publication Critical patent/KR20150146424A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G06T7/0051—
    • G06T7/0071—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H04N5/2329—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명에 따른 이미지에서 피사체의 추정된 깊이를 결정하는 방법은, 상기 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단(shear)을 결정하는 단계; 및 상기 프로세서에 의해, 상기 추정된 전단에 기초하여 상기 추정된 깊이를 결정하는 단계를 포함한다.

Description

이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템{METHOD FOR DETERMINING ESTIMATED DEPTH IN AN IMAGE AND SYSTEM THEREOF}
본 발명의 개념에 따른 실시예는 깊이 결정 방법에 관한 것으로, 보다 상세하게는 이미지 왜곡을 이용하여 이미지에서 피사체의 추정된 깊이를 결정할 수 있는 깊이 결정 방법 및 시스템에 관한 것이다.
롤링 셔터 효과(rolling shutter effect)는 일반적으로 CMOS 이미지 센서들을 포함하는 비디오 및 디지털 스틸 카메라에서 발견된다. 이러한 예시적인 장치에서, 각각의 프레임은 단일 시점의 스냅 사진이라기보다는, 프레임을 수직 또는 수평으로 스캐닝함으로써 기록된다. 이미지의 모든 부분들이 정확히 동시에 기록되는 것은 아니기 때문에, 이미지는 어느 한쪽에서 다른 쪽으로 카메라 또는 피사체가 움직이는 것처럼 어느 한 방향 또는 다른 방향으로 구부러질 수 있다. 그 결과, 이미지 왜곡이 발생할 수 있다.
본 발명이 이루고자 하는 기술적인 과제는, 이미지에서 피사체의 추정된 깊이를 결정할 수 있는 깊이 결정 방법을 제공하는 것에 있다.
본 발명의 실시예에 따라 이미지에서 피사체의 추정된 깊이를 결정하는 방법은, 프로세서에 의해, 상기 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단(shear)을 결정하는 단계; 및 상기 프로세서에 의해, 상기 추정된 전단에 기초하여 상기 추정된 깊이를 결정하는 단계를 포함한다.
실시예에 따라, 상기 깊이 결정 방법은, 상기 이미지의 이전 프레임을 수신하는 단계; 상기 이미지의 상기 현재 프레임을 수신하는 단계; 및 상기 복수의 영역들 각각에 대한 모션 벡터 데이터를 결정하는 단계를 더 포함하며, 상기 모션 벡터 데이터는 상기 이전 프레임 및 상기 현재 프레임에서 상응하는 영역들 사이의 움직임을 나타내며, 상기 추정된 전단은 상기 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 깊이 결정 방법은, 상기 복수의 영역들에 대한 상기 모션 벡터 데이터 중에서 로컬 모션 벡터 데이터 및 글로벌 모션 벡터 데이터를 결정하는 단계를 더 포함하며, 상기 추정된 전단은 상기 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 깊이 결정 방법은, 상기 모션 벡터 데이터에서 상기 로컬 모션 벡터 데이터를 제거하는 단계를 더 포함한다.
실시예에 따라, 상기 깊이 결정 방법은, 상기 글로벌 모션 벡터 데이터를 세그먼트들로 분할하는 단계를 더 포함하며, 상기 세그먼트들 각각은 다른 움직임들과 관련되며, 상기 추정된 전단은 상기 분할된 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 깊이 결정 방법은, 상기 글로벌 모션 벡터 데이터에 기초하여 상기 이전 프레임 및 상기 현재 프레임에서의 적어도 하나의 영역 사이의 변위를 결정하는 단계를 더 포함하며, 상기 추정된 깊이는 상기 결정된 변위에 기초한다.
실시예에 따라, 상기 변위는 상기 적어도 하나의 영역에 대해 추정된 전단에 비례한다.
본 발명의 실시예에 따른 시스템은, 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단을 결정하고, 상기 추정된 전단에 기초하여 상기 이미지에서 피사체의 추정된 깊이를 결정하는 프로세서를 포함한다.
실시예에 따라, 상기 프로세서는, 상기 이미지의 이전 프레임을 수신하고, 상기 이미지의 상기 현재 프레임을 수신하고, 상기 복수의 영역들 각각에 대한 모션 벡터 데이터를 결정하며, 상기 모션 벡터 데이터는 상기 이전 프레임 및 상기 현재 프레임에서 상응하는 영역들 사이의 움직임을 나타내고, 상기 추정된 전단은 상기 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 프로세서는, 상기 복수의 영역들에 대한 상기 모션 벡터 데이터 중에서 로컬 모션 벡터 데이터 및 글로벌 모션 벡터 데이터를 결정하며, 상기 추정된 전단은 상기 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 프로세서는, 상기 모션 벡터 데이터에서 상기 로컬 모션 벡터 데이터를 제거한다.
실시예에 따라, 상기 프로세서는, 상기 글로벌 모션 벡터 데이터를 세그먼트들로 분할하며, 상기 세그먼트들 각각은 다른 움직임들과 관련되며, 상기 추정된 전단은 상기 분할된 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 프로세서는, 상기 글로벌 모션 벡터 데이터에 기초하여 상기 이전 프레임 및 상기 현재 프레임에서의 적어도 하나의 영역 사이의 변위를 결정하며, 상기 추정된 깊이는 상기 결정된 변위에 기초한다.
실시예에 따라, 상기 변위는 상기 적어도 하나의 영역에 대해 추정된 전단에 비례한다.
본 발명의 실시예에 따른 디지털 신호 프로세서는, 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단을 결정하고, 상기 추정된 전단에 기초하여 상기 이미지에서 피사체의 추정된 깊이를 결정한다.
실시예에 따라, 상기 디지털 신호 프로세서는, 상기 이미지의 이전 프레임을 수신하고, 상기 이미지의 상기 현재 프레임을 수신하고, 상기 복수의 영역들 각각에 대한 모션 벡터 데이터를 결정하며, 상기 모션 벡터 데이터는 상기 이전 프레임 및 상기 현재 프레임에서 상응하는 영역들 사이의 움직임을 나타내고, 상기 추정된 전단은 상기 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 디지털 신호 프로세서는, 상기 복수의 영역들에 대한 상기 모션 벡터 데이터 중에서 로컬 모션 벡터 데이터 및 글로벌 모션 벡터 데이터를 결정하며, 상기 추정된 전단은 상기 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 디지털 신호 프로세서는, 상기 모션 벡터 데이터에서 상기 로컬 모션 벡터 데이터를 제거한다.
실시예에 따라, 상기 디지털 신호 프로세서는, 상기 글로벌 모션 벡터 데이터를 세그먼트들로 분할하며, 상기 세그먼트들 각각은 다른 움직임들과 관련되며, 상기 추정된 전단은 상기 분할된 글로벌 모션 벡터 데이터에 기초한다.
실시예에 따라, 상기 디지털 신호 프로세서는, 상기 글로벌 모션 벡터 데이터에 기초하여 상기 이전 프레임 및 상기 현재 프레임에서의 적어도 하나의 영역 사이의 변위를 결정하며, 상기 추정된 깊이는 상기 결정된 변위에 기초한다.
실시예에 따라, 상기 변위는 상기 적어도 하나의 영역에 대해 추정된 전단에 비례한다.
본 발명의 실시예에 따라 프로세서에 의해 실행될 때 컴퓨터로 읽을 수 있는 기록매체는, 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단을 결정하는 단계; 및 상기 추정된 전단에 기초하여 상기 이미지에서 피사체의 추정된 깊이를 결정하는 단계를 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.
본 발명의 실시예에 따른 깊이 결정 방법에 의하면, 이미지 왜곡을 이용하여 이미지에서 피사체의 추정된 깊이를 결정할 수 있다.
도 1a 내지 도 1b는 수평 및 수직 롤링 셔터 효과를 갖는 이미지를 나타내는 도면이다.
도 2a 내지 도 2c는 글로벌 셔터 캡쳐와 롤링 셔터 캡쳐를 비교하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다.
도 4는 도 3에 도시된 이미지 신호 프로세서의 실시 예를 나타내는 블록도이다.
도 5a 내지 도 5d는 본 발명의 실시 예에 따른 모션 벡터 필드 및 깊이 맵을 나타내는 도면이다.
도 6은 본 발명의 실시 예에 따른 이미지에서 피사체의 추정된 깊이를 결정하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 실시 예에 따른 디지털 이미지 시스템을 나타내는 블록도이다.
본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
본 발명의 개념에 따른 실시 예들은, 롤링 셔터 아티팩트(rolling shutter artifact)를 이용하여 이미지에서 피사체의 깊이를 결정하는 방법, 장치 및 이미지 시스템을 제공한다. 또한, 본 발명의 개념에 따른 실시 예들은, 롤링 셔터 아티팩트를 이용하여 이미지에서 피사체의 깊이를 결정하기 위해 컴퓨터로 실행가능한 명령을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 제공한다. 본 명세서에서는, 롤링 셔터 아티팩트 및 롤링 셔터 효과가 상호 교환적으로 사용될 수 있다.
모션은 피사체의 움직임 속도와 관련될 수 있는 전단(shear)을 일으킨다. 모든 모션이 카메라의 움직임에 의해 발생된다면, 덜 움직이는 것처럼 보이는 더 멀리 있는 피사체는 롤링 셔터 아티팩트에 약하다. 또한, 빠르게 움직이는 것처럼 보이는 더 가까이 있는 피사체는 강한 롤링 셔터 아티팩트에 의해 영향을 받는다. 이러한 정보를 이용하여, 이미지에서 피사체의 깊이가 추출될 수 있다.
도 1a 내지 도 1b는 수평 및 수직 롤링 셔터 효과를 갖는 이미지를 나타내는 도면이다. 도 1a 내지 도 1b에 나타난 이미지 왜곡은 이미지를 캡쳐(capture)하는 동안 카메라의 움직임이 원인이 될 수 있다. 도 1a에서, 카메라가 수평으로 패닝(panning)함에 따라 집이 왜곡되어 나타난다. 도 1b에서는, 카메라가 수직으로 패닝함에 따라 집이 흔들리고 크기가 변경되어 나타난다.
즉, 도 1a 내지 도 1b에 나타난 바와 같은 롤링 셔터 효과는 이미지들의 화질을 저하시킬 수 있다.
도 2a 내지 도 2c는 글로벌 셔터 캡쳐와 롤링 셔터 캡쳐를 비교하기 위한 도면이다.
롤링 셔터(rolling shutter(RS)) 효과는, 전체 프레임에 대한 단일 스냅 사진과 달리, 일반적으로 프레임의 라인마다(line-by-line) 기록이 수행되는 CMOS 이미지 센서로 구성된 비디오 카메라에서 발견된다.
도 2a에 도시된 바와 같이, 글로벌 셔터 스캐닝 방법은 동시에 모든 라인들을 스캔한다. 그러나, 도 2b에 도시된 바와 같이, 롤링 셔터 스캐닝 방법에서는 어레이에 속한 픽셀들의 각 라인이 서로 다른 시간에 스캔된다. 예를 들면, 각 라인은 수평 주기(Tline)의 배수가 되는 시간에서 스캔된다. 라인들과 이미지의 다른 부분들이 약간 다른 시간에 기록됨에 따라, 움직이는 피사체(object)들은 캡쳐된 롤링 셔터 이미지에서 전단 왜곡(shear distortion)되어 나타난다.
한 장면(scene)에 다양한 깊이(depth)들이 존재하는 경우, 무한대로 움직이는 피사체들은 큰 움직임을 나타내지 않는 반면, 카메라에 가까운 피사체들은 매우 큰 움직임을 나타낸다. 도 2c는 광범위한 깊이를 갖는 피사체(즉, 열차)를 나타낸다. 도 2c는 피사체가 무한대로 접근함에 따라 전단(shear)이 감소되는 것을 보여준다.
도 3은 본 발명의 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다. 도 3을 참조하면, 이미지 처리 시스템(1000)은 카메라를 포함하거나 카메라와 관련되거나 카메라에 연결된 디지털 카메라(digital camera), 모바일 폰(mobile phone), 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터(wearable computer) 또는 다른 전자 장치들(예를 들어, 랩탑 컴퓨터(laptop computer))과 같은 휴대용 전자 장치로 구현될 수 있다.
이미지 처리 시스템(1000)은 CMOS 이미지 센서(100), 디지털 신호 프로세서(digital signal processor(DSP); 200), 디스플레이(300), 및 광학 렌즈(500)를 포함한다. 실시예에 따라, 이미지 처리 시스템(1000)은 광학 렌즈(500)을 포함하지 않을 수 있다.
CMOS 이미지 센서(100)는 광학 렌즈(500)를 통하여 입사된 피사체(400)에 대한 이미지 데이터(IDATA)를 생성할 수 있다. CMOS 이미지 센서(100)는 후면 조사형(backside illumination(BSI)) 이미지 센서로 구현될 수 있다.
CMOS 이미지 센서(100)는 액티브 픽셀 센서(active pixel sensor) 어레이(110), 로우 드라이버(120), 상관 이중 샘플링(correlated double sampling(CDS)) 블록(130), 아날로그-디지털 변환(analog-to-digital conversion(ADC)) 블록(140), 램프 신호 생성기(150), 타이밍 생성기(160), 제어 레지스터 블록(170), 및 버퍼(180)를 포함할 수 있다.
CMOS 이미지 센서(100)는 광학 렌즈(500)를 통해 촬영된(또는 입사된) 피사체(400)의 이미지를 감지하고, 감지 결과에 상응하는 이미지 데이터(IDATA)를 생성할 수 있다.
액티브 픽셀 센서 어레이(110)는 로우(row) 및 컬럼(column)의 어레이로 배열된 복수의 픽셀들(10)을 포함한다. 로우 및 컬럼들은 총칭하여 라인(line)들로 불릴 수 있다. 복수의 리드 및 리셋 라인들 각각은 액티브 픽셀 센서 어레이(110)의 픽셀들의 라인에 상응한다. 도 3에 있어서, 각 픽셀은 액티브 픽셀 센서(active pixel sensor(APS))일 수 있다.
본 발명의 실시예들은 픽셀 어레이의 라인들(예를 들어, 로우 및/또는 컬럼)에 대해 논의될 수 있지만, 이는 동일한 원리가 임의의 방식으로 그룹화된 픽셀들에 적용될 수 있다는 것으로 이해되어야 한다.
로우 드라이버(120)는 액티브 픽셀 센서 어레이(110)에 포함된 복수의 픽셀들 각각의 동작을 제어하기 위한 제어 신호들을 생성할 수 있다. CDS 블록(130)은 램프 신호 생성기(150)로부터 출력되는 램프 신호를 이용하여 복수의 픽셀들 각각으로부터 출력된 픽셀 신호에 대해 상관 이중 샘플링 동작을 수행하고, 상관 이중 샘플링된 픽셀 신호를 출력할 수 있다. ADC 블록(140)은 CDS 블록(130)에 의해 상관 이중 샘플링된 픽셀 신호들 각각을 디지털 신호로 변환한다.
타이밍 생성기(160)는, 제어 레지스터 블록(170)의 출력 신호들에 기초하여, 로우 드라이버(120), CDS 블록(130), ADC 블록(140), 및/또는 램프 신호 생성기(150)를 제어할 수 있다. 버퍼(180)는 ADC 블록(140)으로부터 출력된 디지털 신호들을 버퍼링하고 버퍼링 결과에 따라 이미지 데이터(IDATA)를 생성할 수 있다. DSP(200)는 CMOS 이미지 센서(100)로부터 출력된 이미지 데이터(IDATA)에 상응하는 이미지 신호들을 디스플레이(300)로 출력할 수 있다.
DSP(200)는 이미지 신호 프로세서(image signal processor(ISP); 210), 카메라 컨트롤러(220), 인터페이스(interface(I/F); 230) 및 메모리(240)를 포함한다.
ISP(210)는 버퍼(180)로부터 출력된 이미지 데이터(IDATA)를 수신하고, 수신된 이미지 데이터(IDATA)를 사람이 보기 좋도록 처리하고, 처리된 이미지 데이터를 I/F(230)를 통해 디스플레이(300)로 출력하고/출력하거나 생성된 이미지를 메모리(240)에 저장한다. DSP(200)는 이미지 데이터(IDATA)를 메모리(240)에 저장할 수도 있다.
메모리(240)는 비휘발성 메모리 및/또는 휘발성 메모리와 비휘발성 메모리의 조합일 수 있다. 이러한 메모리들은 공지되어 있으므로, 상세한 설명은 생략한다.
카메라 컨트롤러(220)는 제어 레지스터 블록(170)의 동작을 제어한다. 카메라 컨트롤러(220)는 프로토콜, 예컨대 I2C(inter-integrated circuit)를 이용하여 CMOS 이미지 센서(100), 예컨대 제어 레지스터 블록(170)의 동작을 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 3에서는 ISP(210)가 DSP(200) 내부에 구현된 예를 도시하였으나, 실시 예에 따라 ISP(210)는 CMOS 이미지 센서(100) 내부에 구현될 수 있다. 다른 실시 예에 따라, CMOS 이미지 센서(100)와 ISP(210)는 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package) 또는 패키지 온 패키지(package on package)로 구현될 수 있다.
도 4는 도 3에 도시된 이미지 신호 프로세서의 실시 예를 나타내는 블록도이고, 도 5a 내지 도 5d는 본 발명의 실시 예에 따른 모션 벡터 필드 및 깊이 맵을 나타내는 도면이다.
도 4를 참조하면, 이미지 신호 프로세서(210)는 모션 추정기(motion estimator; 405), 모션 세퍼레이터(motion separator; 410), 세그멘터(segmentor; 415), 전단 추정기(shear estimator; 420) 및 깊이 맵 생성기(depth map generator; 425)를 포함한다.
모션 추정기(405), 모션 세퍼레이터(410), 세그멘터(415), 전단 추정기(420) 및 깊이 맵 생성기(425)는 하드웨어(hardware), 소프트웨어(software), 펌웨어(firmware), 미들웨어(middleware), 마이크로코드(microcode), 하드웨어 기술 언어들(Hardware Description Languages; HDL) 또는 이들의 조합에 의해 구현될 수 있다.
모션 추정기(405), 모션 세퍼레이터(410), 세그멘터(415), 전단 추정기(420) 및/또는 깊이 맵 생성기(425)가 하드웨어인 경우, 이러한 하드웨어는 하나 이상의 CPU(central processing unit), DSP(digital signal processor), ASIC(application-specific-integrated-circuit), FPGA(field programmable gate array) 컴퓨터 또는 각각의 기능을 수행하는 특수 목적의 기계들로 구성되는 것을 포함할 수 있다. CPU, DSP, ASIC 및 FPGA는 프로세서 및/또는 마이크로프로세서로 불릴 수 있다.
모션 추정기(405), 모션 세퍼레이터(410), 세그멘터(415), 전단 추정기(420) 및/또는 깊이 맵 생성기(425)가 소프트웨어를 실행하는 프로세서인 경우, DSP(200) 및/또는 ISP(210)는 모션 추정기(405), 모션 세퍼레이터(410), 세그멘터(415), 전단 추정기(420) 및/또는 깊이 맵 생성기(425)의 기능을 수행하는 소프트웨어를 실행하는 특수 목적의 기계들로 구성된다. 이러한 실시예에 따라, DSP(200) 및/또는 ISP(210)는 하나 이상의 CPU, DSP, ASIC, FPGA 컴퓨터를 포함할 수 있다.
모션 추정기(405)는 이미지 센서(100) 또는 메모리(240)로부터 현재 프레임(N)을 수신하고, 메모리(240)로부터 이전 프레임(N-k, k는 1이상의 정수)을 수신한다. 이전 프레임과 현재 프레임 각각은, 동일한 이미지 또는 제1 및 제2 이미지의 프레임들로 불릴 수 있다. 제1 및 제2 이미지는 예컨대, 연속적인 이미지들이다. 예를 들어, 제1 이미지는 현재 이미지인 제2 이미지 이전에 캡쳐된 이전 이미지이다.
모션 추정기(405)는 프레임(N)으로 이동된 프레임(N-1)에서 픽셀에 대한 위치를 추정한다. 모션 추정기(405)는 SAD(Sum of Absolute Differences) 또는 NCC(Normalized Cross Correlation)와 같은 유사성 척도(similarity measure)를 이용하여 픽셀들(10)의 각 라인의 움직임을 추정할 수 있다. 모션 추정기(405)는 각 라인에 대해 추정된 움직임을 모션 벡터(motion vector)로써 모션 세퍼레이터(410)로 출력한다. 전체의 모션 벡터는 모션 벡터 필드(motion vector field; MVF)로 일컬어진다.
도 5a는 모션 추정기(405)에 의해 출력되는 모션 벡터 필드(MVF)를 나타내는 도면이다. 도 5a를 참조하면, 픽셀들의 각 그룹은 관련된 픽셀 그룹에 대한 제1 이미지와 제2 이미지 사이의 움직임을 나타내는 모션 벡터(MV1~MVn)를 갖는다.
일 실시예에 따라, 두 개의 연속하는 프레임들 사이의 움직임은 글로벌 모션(global motion)에 의해 단독으로 발생하는 것으로 가정한다. 즉, 로컬 모션(local motion)은 극단적인 전단을 일으키는 속도로 움직이는 피사체에 의해 검출될 수 있다. 결과적으로, 로컬 모션과 관련된 전단은 카메라로부터의 거리(또는 깊이)와 관련이 없다는 것을 의미한다. 따라서, ISP(210)는 글로벌 모션을 추정하지 않는 모션 벡터들을 필터링한다.
즉, 글로벌 모션은 카메라의 움직임과 같이 이미지 전체에 영향을 주는 움직임에 의해 발생하는 움직임이고, 로컬 모션은 이미지 내의 피사체의 움직임이다.
다시 도 4를 참조하면, 모션 세퍼레이터(410)는 모션 벡터 필드(MVF)에 대해 글로벌/로컬 분리(separation)를 수행하여 글로벌 모션 벡터 필드(MVFGlobal)를 생성한다. 모션 세퍼레이터(410)는 글로벌/로컬 분리를 수행하기 위해 공지된 방법을 사용할 수 있다. 즉, 모션 세퍼레이터(410)는 글로벌 모션을 추정하지 않는 예컨대, 로컬 모션을 추정하는 모션 벡터들을 필터링하여 전경/배경(foreground/background) 분리 단계를 수행한다.
도 5b는 글로벌 모션 벡터 필드(MVFGlobal)의 실시예를 나타내는 도면이다. 도 5b를 참조하면, 모션 세퍼레이터(410)는 글로벌 모션 벡터 필드(MVFGlobal)를 생성하기 위해 모션 벡터 필드(MVF)에서 로컬 모션에 상응하는 4개의 모션 벡터들을 제거한다.
도 4에 도시된 바와 같이, 유사한 움직임은 기본적인 이동 픽셀들이 비슷한 전단 즉, 비슷한 깊이를 가지고 있음을 의미하기 때문에, 세그멘터(415)는 동일한 세그먼트에서의 모션 벡터들이 동일한 움직임을 갖도록 글로벌 모션 벡터 필드(MVFGlobal)를 세그먼트들로 분할한다.
도 5c는 분할된 모션 벡터 필드(MVFSeg)의 실시예를 나타내는 도면이다. 도 5c를 참조하면, 세그멘터(415)는 글로벌 모션 벡터 필드(MVFGlobal)에 존재하는 세 개의 세그먼트들(Seg1, Seg2, 및 Seg3)을 결정한다.
공지된 분할 방법은 예를 들어, Chung 외, "모션 벡터 일관성을 이용한 효율적인 블록 기반 모션 분할 방법", MVA 2005에 기재된 방법을 사용할 수 있으며, 전체 내용은 참조로서 포함된다.
전단 추정기(420)는 분할된 모션 벡터 필드(MVFSeg)를 이용하여 각 세그먼트(Seg1, Seg2, 및 Seg3)에 대해 추정된 전단을 결정한다. 도 5c의 실시예에서, 전단 추정기(420)는 세그먼트들(Seg1, Seg2, 및 Seg3) 각각에 대하여 세 개의 전단을 추정한다.
전단 추정기(420)는 세그먼트에서 각 픽셀에 대해 관련된 수평 속도 성분(vx) 및 수직 속도 성분(vy)에 기초하여 세그먼트들(Seg1, Seg2, 및 Seg3) 각각에 대한 전단을 결정한다. 관련된 수평 속도 성분(vx) 및 수직 속도 성분(vy)은 픽셀과 관련된 모션 벡터의 △x 및 △y 성분의 크기에 각각 비례한다.
전단 추정기(420)는 수평 이동(△x) 및 수직 이동(△y)에 따른 제2 이미지의 롤링 셔터 왜곡을 보정하기 위해 아핀 변환(affine transformation)을 사용한다. 즉, 전단 추정기(420)는 선택된 픽셀의 수평 이동(△x) 및 수직 이동(△y)에 따라 역 아핀 변환 행렬을 적용할 수 있다.
아핀 변환이 설명되지만 이는 일부 실시예에 해당하는 것으로 이해되어야 하며, 전단 값(shear value)은 롤링 셔터 왜곡의 보정 없이 깊이로 변환되므로 아핀 변환을 필요로 하지 않는다.
일반적인 아핀 변환은 수학식 1과 같이 설명될 수 있다. 이때, xin 및 yin은 이미지 센서(100)의 픽셀(10)의 좌표이고, xout 및 yout은 출력 포인트의 좌표이다.
Figure pat00001
롤링 셔터 효과는 수학식 2에 나타난 바와 같은 아핀 행렬에 의해 정해진다. 이때, a는 수평 전단(이미지를 수평으로 기울임)을 일으키고, b는 수직 축만을 스케일링(y축에 대해서만 스케일링)시킨다.
Figure pat00002
롤링 셔터 효과를 발생시키는 전단 값(a) 및 스케일링 값(b)은, 수학식 3과 같은 역행렬에 의해 주어진 역변환을 적용하여 현재 프레임을 고정하기 위해 사용될 수 있다.
Figure pat00003
전단 값(a) 및 스케일링 값(b)은, 수학식 4에서와 같은 방법으로 수평 이동(△x) 및 수직 이동(△y)에 의해 영향을 받는다. 이때, FPS는 프레임 레이트(frame rate)이고, Vblank는 각 센서에 대해 설정된 공지된 파라미터이며, #Rows 또한 공지된 이미지 센서에서의 로우(row)의 수이다.
Figure pat00004
전단 추정기(420)는 모션 추정기(405)에 의해 결정된 SAD(Sum of Absolute Differences) 값을 이용하여 수평 이동(△x) 및 수직 이동(△y)을 결정할 수 있다. 수평 이동(△x) 및 수직 이동(△y)을 결정함으로써, 전단 추정기(420)는 전단 값(a) 및 스케일링 값(b)을 결정하고 전단 값(a) 및 스케일링 값(b)을 깊이 맵 생성기(425)로 출력한다.
롤링 셔터 기반 센서에서, 전단 정도(shear degree)는 이동체(moving object)의 속도에 비례한다. 즉, 로컬 모션이 제거되기 때문에, 전단 정도에 비례하는 이동체의 속도는 깊이와 관련될 수 있다.
수학식 5에서와 같이, 깊이 맵 생성기(425)는 전단 값(a)과 스케일링 값(b)을 각각의 속도 성분과 수평 주사 기간(Tline)의 곱으로 대체할 수 있다. 이때, vx는 관련된 수평 속도 성분이고, vy는 관련된 수직 속도 성분이다.
Figure pat00005
수학식 5를 이용하여, 깊이 맵 생성기(425)는 글로벌 모션과 관련된 영역에 대한 깊이를 생성한다.
도 5d는 깊이 맵 생성기(425)에 의해 생성된 글로벌 모션 벡터 필드(MVFGlobal)에 상응하는 깊이 맵(DM)을 나타내는 도면이다. 도 5d를 참조하면, 깊이 맵(DM)은 각각의 세그먼트들(Seg1, Seg2, 및 Seg3)과 관련된 깊이(D1, D2, 및 D3)를 포함한다.
전단 값(a)이 공지된 값이면, 깊이 맵 생성기(425)는 유사한 전단을 가진 모든 피사체는 동일한 깊이를 갖는 것으로 가정한다.
따라서, 깊이 맵 생성기(425)는 이미지에서의 다른 피사체들에 관하여 피사체에 대한 깊이를 생성한다.
상술한 바와 같이, 롤링 셔터 아티팩트는 깊이의 지표로 사용되며, 깊이를 결정하기 위해 사용된다.
도 6은 본 발명의 실시 예에 따른 이미지에서 피사체의 추정된 깊이를 결정하는 방법을 나타내는 흐름도이다. 도 6에 도시된 방법은, 도 3에 도시된 이미지 처리 시스템(1000)에 의해 수행될 수 있다.
도 3 및 도 6을 참조하면, ISP(210)는 이미지의 현재 프레임의 복수의 영역에서 롤링 셔터에 따라 추정된 전단(예컨대, 전단 값(a))을 결정한다(S605). ISP(210)는 추정된 전단에 기초하여 추정된 깊이(예컨대, D1 내지 D3)를 결정한다(S610).
도 7은 본 발명의 실시 예에 따른 디지털 이미지 시스템을 나타내는 블록도이다. 도 7을 참조하면, 프로세서(602), 이미지 센서(600) 및 디스플레이 유닛(604)은 버스(606)를 통해 서로 통신한다.
프로세서(602)는 프로그램을 실행하고 디지털 이미지 시스템을 제어한다. 이미지 센서(600)는 광학 신호를 전기 신호로 변환하여 이미지 데이터를 캡쳐한다. 이미지 센서(600)는 도 3에서 상술한 바와 같은 이미지 센서일 수 있다. 프로세서(602)는, 도 3에 도시된 ISP(210)를 포함할 수 있으며, 메모리(미도시)에 저장 및/또는 디스플레이 유닛(604)에 의해 디스플레이하기 위해서 캡쳐된 이미지 데이터를 처리할 수 있다. 디지털 이미지 시스템은, 입출력 장치(미도시)를 통해 외부 장치, 예컨대 PC 또는 네트워크에 연결될 수 있으며, 외부 장치와 데이터를 교환할 수 있다.
예를 들어, 도 7에 도시된 디지털 이미지 시스템은, 이미지 센서를 포함하는 다양한 전자 제어 시스템을 구현할 수 있고, 모바일 폰(mobile phone), PDA(personal digital assistant), 랩탑 컴퓨터(laptop computer), 넷북(netbook), 태블릿(tablet) 컴퓨터, MP3 플레이어, 네비게이션 장치(navigation device), 가전 제품(household appliance), 또는 이미지 센서나 유사한 장치를 이용하는 또 다른 장치들에 사용될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1000; 이미지 처리 시스템
100; CMOS 이미지 센서
110; 액티브 픽셀 센서 어레이
120; 로우 드라이버
130; CDS 블록
140; ADC 블록
150; 램프 신호 생성기
160; 타이밍 생성기
170; 제어 레지스터 블록
180; 버퍼

Claims (10)

  1. 이미지에서 피사체의 추정된 깊이를 결정하는 방법에 있어서,
    프로세서에 의해, 상기 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단(shear)을 결정하는 단계; 및
    상기 프로세서에 의해, 상기 추정된 전단에 기초하여 상기 추정된 깊이를 결정하는 단계를 포함하는 깊이 결정 방법.
  2. 제1항에 있어서, 상기 깊이 결정 방법은,
    상기 이미지의 이전 프레임을 수신하는 단계;
    상기 이미지의 상기 현재 프레임을 수신하는 단계; 및
    상기 복수의 영역들 각각에 대한 모션 벡터 데이터를 결정하는 단계를 더 포함하며,
    상기 모션 벡터 데이터는 상기 이전 프레임 및 상기 현재 프레임에서 상응하는 영역들 사이의 움직임을 나타내며, 상기 추정된 전단은 상기 모션 벡터 데이터에 기초하는 깊이 결정 방법.
  3. 제2항에 있어서, 상기 깊이 결정 방법은,
    상기 복수의 영역들에 대한 상기 모션 벡터 데이터 중에서 로컬 모션 벡터 데이터 및 글로벌 모션 벡터 데이터를 결정하는 단계를 더 포함하며,
    상기 추정된 전단은 상기 글로벌 모션 벡터 데이터에 기초하는 깊이 결정 방법.
  4. 제3항에 있어서, 상기 깊이 결정 방법은,
    상기 모션 벡터 데이터에서 상기 로컬 모션 벡터 데이터를 제거하는 단계를 더 포함하는 깊이 결정 방법.
  5. 제3항에 있어서, 상기 깊이 결정 방법은,
    상기 글로벌 모션 벡터 데이터를 세그먼트들로 분할하는 단계를 더 포함하며,
    상기 세그먼트들 각각은 다른 움직임들과 관련되며, 상기 추정된 전단은 상기 분할된 글로벌 모션 벡터 데이터에 기초하는 깊이 결정 방법.
  6. 제3항에 있어서, 상기 깊이 결정 방법은,
    상기 글로벌 모션 벡터 데이터에 기초하여 상기 이전 프레임 및 상기 현재 프레임에서의 적어도 하나의 영역 사이의 변위를 결정하는 단계를 더 포함하며,
    상기 추정된 깊이는 상기 결정된 변위에 기초하는 깊이 결정 방법.
  7. 제6항에 있어서,
    상기 변위는 상기 적어도 하나의 영역에 대해 추정된 전단에 비례하는 깊이 결정 방법.
  8. 이미지의 현재 프레임의 복수의 영역들에서 롤링 셔터에 따라 추정된 전단을 결정하고, 상기 추정된 전단에 기초하여 상기 이미지에서 피사체의 추정된 깊이를 결정하는 프로세서를 포함하는 시스템.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 이미지의 이전 프레임을 수신하고, 상기 이미지의 상기 현재 프레임을 수신하고, 상기 복수의 영역들 각각에 대한 모션 벡터 데이터를 결정하며,
    상기 모션 벡터 데이터는 상기 이전 프레임 및 상기 현재 프레임에서 상응하는 영역들 사이의 움직임을 나타내고, 상기 추정된 전단은 상기 모션 벡터 데이터에 기초하는 시스템.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 복수의 영역들에 대한 상기 모션 벡터 데이터 중에서 로컬 모션 벡터 데이터 및 글로벌 모션 벡터 데이터를 결정하며,
    상기 추정된 전단은 상기 글로벌 모션 벡터 데이터에 기초하는 시스템.
KR1020150086270A 2014-06-23 2015-06-18 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템 KR20150146424A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/311,905 2014-06-23
US14/311,905 US9727967B2 (en) 2014-06-23 2014-06-23 Methods for determining estimated depth in an image and systems thereof

Publications (1)

Publication Number Publication Date
KR20150146424A true KR20150146424A (ko) 2015-12-31

Family

ID=54870113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150086270A KR20150146424A (ko) 2014-06-23 2015-06-18 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템

Country Status (2)

Country Link
US (1) US9727967B2 (ko)
KR (1) KR20150146424A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102352681B1 (ko) * 2015-07-27 2022-01-18 삼성전자주식회사 동영상 안정화 방법 및 이를 위한 전자 장치
CN109785376B (zh) * 2017-11-15 2023-02-28 富士通株式会社 深度估计装置的训练方法、深度估计设备及存储介质
US11527005B2 (en) 2019-07-22 2022-12-13 Samsung Electronics Co., Ltd. Video depth estimation based on temporal attention
EP4248414A1 (en) * 2020-11-18 2023-09-27 LEIA Inc. Multiview display system and method employing multiview image convergence plane tilt

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2779257B1 (fr) 1998-05-27 2000-08-11 France Telecom Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP2009141717A (ja) 2007-12-07 2009-06-25 Hitachi Ltd 撮像装置
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
TWI365662B (en) 2008-12-03 2012-06-01 Inst Information Industry Method and system for digital image stabilization and computer program product using the method thereof
TW201028964A (en) 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
JP2011135462A (ja) 2009-12-25 2011-07-07 Canon Inc 撮像装置及びその制御方法
US8179446B2 (en) * 2010-01-18 2012-05-15 Texas Instruments Incorporated Video stabilization and reduction of rolling shutter distortion
US9131155B1 (en) * 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
WO2011132364A1 (ja) * 2010-04-19 2011-10-27 パナソニック株式会社 立体画像撮影装置および立体画像撮影方法
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP2012134655A (ja) 2010-12-20 2012-07-12 Toshiba Corp 画像処理装置、画像処理方法および画像表示装置
JP2012198075A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd ステレオカメラ装置、画像補整方法
CN103002297A (zh) * 2011-09-16 2013-03-27 联咏科技股份有限公司 动态深度值产生方法及其装置
JP2013120435A (ja) 2011-12-06 2013-06-17 Canon Inc 画像処理装置および画像処理方法、プログラム
JP6285958B2 (ja) * 2013-01-15 2018-02-28 モービルアイ ビジョン テクノロジーズ リミテッド ローリングシャッターを伴うステレオ支援
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
FR3013487B1 (fr) * 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera

Also Published As

Publication number Publication date
US9727967B2 (en) 2017-08-08
US20150371395A1 (en) 2015-12-24

Similar Documents

Publication Publication Date Title
KR102103252B1 (ko) 이미지 융합 방법 및 장치, 및 단말 디바이스
JP4509917B2 (ja) 画像処理装置及びカメラシステム
US9615039B2 (en) Systems and methods for reducing noise in video streams
CN103973999B (zh) 摄像装置及其控制方法
US8559751B2 (en) Method and device for removing motion blur effects
US8810692B2 (en) Rolling shutter distortion correction
US10057538B2 (en) Apparatus and methods for the selection of one or more frame interpolation techniques
CN104284059A (zh) 用于稳定图像的设备和方法
CN108833812B (zh) 一种图像传感器及图像动态信息处理方法
US9466095B2 (en) Image stabilizing method and apparatus
US9172870B2 (en) Real-time image processing method and device enhancing the resolution of successive images
KR20150146424A (ko) 이미지에서 추정된 깊이를 결정하기 위한 방법 및 시스템
JP4250583B2 (ja) 画像撮像装置及び画像復元方法
JP2017098884A (ja) 移動検出装置、移動検出方法、及び、プログラム
JP2007281555A (ja) 撮像装置
JP6582926B2 (ja) 移動情報取得装置、移動情報取得方法、及び、プログラム
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2019114956A (ja) 画像処理装置、撮像システム、移動体
KR102687690B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2020025172A (ja) 撮像装置およびその制御方法
KR101989868B1 (ko) 전자 장치 및 제어 방법
US11838645B2 (en) Image capturing control apparatus, image capturing control method, and storage medium
JP2013020584A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
EP2747417B1 (en) Combined rectification and video stabilisation
JP6066942B2 (ja) 画像処理装置