KR20120042323A - 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 - Google Patents

텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 Download PDF

Info

Publication number
KR20120042323A
KR20120042323A KR1020100103977A KR20100103977A KR20120042323A KR 20120042323 A KR20120042323 A KR 20120042323A KR 1020100103977 A KR1020100103977 A KR 1020100103977A KR 20100103977 A KR20100103977 A KR 20100103977A KR 20120042323 A KR20120042323 A KR 20120042323A
Authority
KR
South Korea
Prior art keywords
pixels
motion
texture
temporal
region
Prior art date
Application number
KR1020100103977A
Other languages
English (en)
Other versions
KR101682137B1 (ko
Inventor
백아론
김지원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100103977A priority Critical patent/KR101682137B1/ko
Priority to US13/317,109 priority patent/US9082176B2/en
Publication of KR20120042323A publication Critical patent/KR20120042323A/ko
Application granted granted Critical
Publication of KR101682137B1 publication Critical patent/KR101682137B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

프레임 내의 픽셀들의 변이를 추정하기 위한 방법 및 장치가 제공된다. 시간적으로 일관된 변이 맵들을 획득하기 위해, 픽셀에 대해 시간적-일관성이 강압될지 여부가 결정된다. 시간적-일관성의 강압 여부를 결정하기 위해 프레임 내의 텍스처, 모션 및 매치된-모션이 감지 또는 추정된다. 시간적-일관성이 강압되는 픽셀은 이전 프레임 내의 대응하는 픽셀의 변이 값에 기반하여 변이가 계산된다.

Description

텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치{METHOD AND APPARATUS FOR TEMPORALLY-CONSISTENT DISPARITY ESTIMATION USING TEXTURE AND MOTION DETECTION}
아래의 실시예들은, 2개 이상의 뷰들로부터의 변이 추정 방법을 안출(devise)하는 방법 및 장치에 관한 것이다.
시간적으로-일관된 변이 맵들을 획득하기 위한 방법 및 장치가 개시된다.
컴퓨터 스테레오(stereo) 비젼(vision)은 컴퓨터 비젼 분야(field)의 일부이다.
일정 거리만큼 분리된 2 개의 카메라들은 각각 동일한 신(scene)의 이미지(image)를 취한다.
제1 카메라에서 획득된 이미지를 제1 이미지로, 제2 카메라에서 획득된 이미지를 제2 이미지로 명명한다.
신(scene) 내의 피사체는 제1 이미지 및 제2 이미지 내에서 각각 나타난다.
변이(disparity)는 제1 이미지 내의 피사체 및 제2 이미지 내의 피사체 간의 거리차를 의미한다.
일반적으로, 피사체 및 카메라 간의 거리는 변이와 반비례한다.
제1 이미지 및 제2 이미지를 내삽함으로써 새로운 시점에서의 제3 이미지를 생성할 때, 제3 이미지 내에서 피사체의 위치를 결정하기 위해 변이가 사용된다.
본 발명의 일 실시예는, 시간적-일관성을 강압함으로써 픽셀의 변이를 추정하는 장치 및 방법을 제공할 수 있다.
본 발명의 일 실시예는, 텍스처, 모션 및 매치된-모션의 감지 또는 추정에 기반하여 시간적-일관성의 강압 여부를 결정하는 장치 및 방법을 제공할 수 있다.
본 발명의 일측에 따르면, 프레임에 포함된 복수 개의 픽셀들의 변이를 계산하는 장치에 있어서, 상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 시간 제약부 및 상기 시간 제약부의 결정에 기반하여 상기 복수 개의 픽셀들 각각의 변이를 추정하는 변이 추정부를 포함하고, 상기 프레임 내의 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는 상기 프레임의 이전 프레임 내의 상기 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산되는, 영상 처리 장치가 제공된다.
상기 제1 픽셀의 변이는 상기 제2 픽셀의 변이와 동일할 수 있다.
상기 영상 처리 장치는 상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지부를 더 포함할 수 있다.
상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정할 수 있고, 상기 비텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정할 수 있다.
상기 영상 처리 장치는 상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지부를 더 포함할 수 있다.
상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정할 수 있고, 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정할 수 있다.
상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정할 수 있고, 상기 비텍스처 영역으로 분류되었거나 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정할 수 있다.
상기 복수 개의 픽셀들 각각은 상기 이전 프레임 내의 동일한 좌표 값을 갖는 픽셀에 대응할 수 있다.
상기 영상 처리 장치는 상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정부를 더 포함할 수 있다.
상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정할 수 있고, 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정할 수 있다.
상기 제1 픽셀이 상기 매치된 모션 영역 내의 픽셀인 경우, 상기 제2 픽셀은 상기 매치된 모션 영역 내에서의 좌표가 상기 제1 픽셀과 동일한 픽셀일 수 있다.
상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정할 수 있고, 상기 비텍스처 영역 또는 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정할 수 있다.
본 발명의 다른 일측에 따르면, 프레임에 포함된 복수 개의 픽셀들의 변이를 계산하는 방법에 있어서, 상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계 및 상기 시간적-일관성의 강압 여부의 결정에 기반하여 상기 복수 개의 픽셀들 각각의 변이를 추정하는 단계를 포함하고, 상기 프레임 내의 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는 상기 프레임의 이전 프레임 내의 상기 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산되는, 영상 처리 방법이 제공된다.
상기 영상 처리 방법은 상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지 단계를 더 포함할 수 있다.
상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 비텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정할 수 있다.
상기 영상 처리 방법은 상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지 단계를 더 포함할 수 있다.
상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정할 수 있다.
상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 비텍스처 영역으로 분류되었거나 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정할 수 있다.
상기 영상 처리 방법은 상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정 단계를 더 포함할 수 있고,
상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정할 수 있다.
상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 비텍스처 영역 또는 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정할 수 있다.
시간적-일관성을 강압함으로써 픽셀의 변이를 추정하는 장치 및 방법이 제공된다.
텍스처, 모션 및 매치된-모션의 감지 또는 추정에 기반하여 시간적-일관성의 강압 여부를 결정하는 장치 및 방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.
도 2는 본 발명의 일 실시예에 따른 시간적 제약 결정 방법을 설명한다.
도 3은 본 발명의 일 예에 따른 프레임을 텍스처 영역 및 비텍스처 영역으로 분류한 결과를 나타내는 도이다.
도 4는 본 발명의 일 예에 따른 프레임을 모션 영역 및 비모션 영역으로 분류한 결과를 나타내는 도이다.
도 5는 본 발명의 일 예에 따른 프레임에서 텍스처 및 모션 양자가 감지된 영역을 나타내는 도이다.
도 6은 본 발명의 일 실시예에 따른 모션 추정을 사용하는 영상 처리 장치의 구조도이다.
도 7은 본 발명의 일 실시예에 따른 모션 감지에 기반한 시간적 제약 결정 방법을 설명한다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
이하에서, 본 발명의 일 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 실시예들은 시간적으로-일관된 변이 맵들을 획득하기 위해 2개 이상의 뷰들로부터의 변이 추정(estimation) 방법을 안출(devise)하는 것과 관련되었다.
2개 이상의 카메라들 각각은 특정 위치에서 피사체를 촬영하여 뷰를 생성한다.
뷰는 시간이 흐름에 따라 프레임들을 생성한다. 프레임은 특정 순간에 특정 위치(즉, 프레임을 포함하는 뷰의 위치)에서 피사체가 촬영됨으로써 생성된 이미지를 나타낸다.
즉, 뷰는 촬영 시각을 달리하는 하나 이상의 프레임을 포함하는 것으로 간주될 수 있다.
전체 프레임들은 뷰의 위치에 따라 수평적으로 배열될 수 있다. 이러한 수평축은 공간적(spatial) 도메인(domain)으로 불린다.
전체 프레임들은 촬영 시각에 따라 수직적으로 배열될 수 있다. 이러한 수직축은 시간적(temporal) 도메인(domain)으로 불린다.
시간적 도메인 내의 이웃하는(neighboring) 프레임들(즉, 특정 뷰 내의 n 번째 프레임 및 n+1 번째 프레임)은 서로 유사할 가능성이 높다. 즉, 이웃하는 프레임들 내의 상호 대응하는 픽셀들은 동일 또는 유사한 변이 값을 가질 가능성이 높다.
본 발명의 실시예들은 시간적 도메인 내의 이웃하는 프레임들 사이에서 시간적-일관성(temporal consistency)을 강압(enforce)하기 위한 장치 또는 방법과 관련되었다.
시간적-일관성의 강압이란, 이전 프레임(예컨대 n-1 번째 프레임) 내의 픽셀들의 변이(즉, 변이 값)에 기반하여 현재 프레임(예컨대 n 번째 프레임) 내의 픽셀들의 변이를 추정함을 의미한다.
프레임 내의 픽셀들 전체의 변이 값들의 집합을 변이 맵(map)이라 할 때, 시간적-일관성의 강압은, 이전 프레임의 변이 맵에 기반하여 현재 프레임의 변이 맵을 생성하는 것을 의미한다.
본 발명의 실시예들은, 어떤 경우에(즉, 어떤 조건을 충족시키는 픽셀들에 대해) 시간적-일관성이 강압될 것인지를 예시한다.
시간적으로 연속하는 프레임들의 변이 맵들 간의 시간적-일관성은 결과물들로부터 원하지 않는(unwanted) 시간적(temporal) 아티팩트(artifact)를 제거하기 위해 중요하다.
본 발명의 실시예들은 임의의 변이 추정 방법과 함꼐 사용될 수 있다. 2개 이상의 뷰들이 주어졌을 때의 변이 추정의 정확한(exact) 매커니즘(mechanism)은 본 발명의 실시예들의 중점 사항(focus)이 아닐 수 있다.
본 발명의 실시예들이 중점으로 삼는 것은 텍스처 및 모션(motion) 정보에 기반하여 적절한(appropriate) 위치(location)들에서 시간적으로 일관된 제약(constraint)들을 선택적으로(selectively) 도입(introduce)함으로써 시간적으로-일관된 변이 맵들을 획득하는 방법일 수 있다
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 구조도이다.
영상 처리 장치(100)는 시간 제약(temporal constraints)부(110) 및 변이 추정(disparity estimation)부(120)를 포함한다. 영상 처리 장치(100)는 텍스처 감지(texture detection)부(130) 및 모션 감지(motion detection)부(140)를 더 포함할 수 있다.
영상 처리 장치는 프레임에 포함된 복수 개의 픽셀들의 변이를 계산한다.
시간 제약부(110)는 프레임(즉, 프레임이 나타내는 이미지) 내의 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정한다.
시간적 도메인에서, 현재 변이 추정의 대상이 되는 현재 프레임(예컨대 n 번째 프레임) 및 이전 프레임(예컨대 n-1 번째 프레임)은 서로 대응하는 픽셀들을 포함한다.
시간적-일관성의 강압이란, 현재 프레임 내에서 제1 픽셀의 변이가 이전 프레임 내의 상기 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산된다는 것을 의미한다.
즉, 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는, 제2 픽셀의 변이에 기반하여 계산된다.
시간적-일관성의 강압은 제1 픽셀에게 제2 픽셀의 변이와 동일 또는 유사한 값을 갖는 변이를 할당하는 것을 의미할 수 있다.
즉, 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는, 제2 픽셀의 변이와 동일 또는 유사할 수 있다.
시간적-일관성의 강압은 이진 또는 연속한-가중치가 부여된(continuously-weighted) 것일 수 있다.
시간적-일관성의 강압이 이진일 경우, 시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 각각에게 시간적-일관성을 강압할 것인지 또는 강압하지 않을 것인지를 결정한다.
시간적-일관성의 강압이 연속한-가중치가 부여된 것일 경우, 시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 각각에게 시간적-일관성을 어느 정도만큼 강압할 것인지를 결정한다. 즉, 제1 픽셀에게 시간적-일관성이 높게 강압되기로 결정된 겨웅, 제1 픽셀의 변이는 제2 픽셀의 변이와 더 유사한 값을 가질 수 있다.
변이 추정부(120)는 시간 제약부(110)의 결정에 기반하여 프레임 내의 복수 개의 픽셀들 각각의 변이를 추정한다.
추정된 변이는, 지역 또는 전역 최적화(optimization) 범위(scope)에서 특정 비용 함수(cost function)을 최소화하는 값일 수 있다.
따라서, 변이 추정부(120)가 변이를 추정하기 위해 사용하는 비용 함수를 전술된 시간적 제약들을 접목(incorporate)하는 것으로 변형(modify)함으로써 시간적-일관성을 강압할 수 있다.
하기의 수학식 1은 시간적 제약이 접목된 비용 함수의 일 예이다.
Figure pat00001
C는 비용 함수의 결과를 나타낸다.
매칭 텀(matching_term)은 두 대응하는 것(correspondence)들(예컨대, 스테레오 영상의 좌측 영상 및 우측 영상에서, 대응하는 픽셀들)의 색상 또는 농도(intensity) 오차가 적을수록 더 적은 값을 갖는다.
평탄 텀(smoothness_term)은 공간적으로(spatially) 이웃하는 픽셀들이 갖는 변이 값들이 유사할수록 더 적은 값을 취한다(take).
시간 텀(temporal_term)은, 만약 전면적으로 강제되면(if enforced at all), 현재(current) 및 이전의 변이들이 유사(또는 동일)할수록 더 적은 값을 취한다.
상기의 수학식 1은 단지 예시적인 것이며, 동일한 원리(principle)가 변이 추정을 위한 다른 공식(formulation)들에게 적용될 수 있다.
시간적 제약부(110)는 텍스처 감지부(130) 및 모션 감지부(140)의 출력 결과에 기반하여 프레임 내의 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정할 수 있다.
텍스처 감지부(130) 및 모션 감지부(140)는, 도 2를 참조하여 하기에서 상세히 설명된다.
도 2는 본 발명의 일 실시예에 따른 시간적 제약 결정 방법을 설명한다.
도 2에서 현재 프레임(또는, 현재 프레임의 한 행(line)과 같은, 현재 프레임의 일부)(200)가 도시되었다..
텍스처 감지부(130)는 현재 프레임(또는, 현재 프레임의 일부)(200) 내의 복수 개의 픽셀들 각각을 텍스처 영역(210 및 214) 및 비텍스처 영역(212 및 216)으로 분류한다.
텍스처는, 가장 단순한 용어로, 그라디언트(gradient) 크기(magnitude) 값들의 공간적인 군집이다.
텍스처 영역은 텍스처가 일정 임계 값 또는 임계 비율 이상 존재하는 프레임의 영역일 수 있다. 비텍스처 영역은 텍스처가 일정 임계 값 또는 임계 비율보다 더 적게 존재하는 프레임의 영역일 수 있다.
예컨대, 텍스처 영역은 프레임 내에서 모서리(edge)가 일정 임계 빈도 이상으로 존재하는 영역일 수 있다. 비텍스처 영역은 프레임 내에서 모서리가 일정 임계 빈도보다 더 적게 존재하는 영역일 수 있다.
텍스처 영역은 변이 추정의 결과가 불안정할 수 있는 영역이다. 따라서, 텍스처 영역 내의 픽셀들에게는 시간적 제약이 적용될 필요가 있다.
시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 중 텍스처 감지부(130)에 의해 텍스처 영역(210 및 214)으로 분류된 픽셀들에게는 시간적-일관성을 강압하도록 결정하고, 비텍스처 영역(212 및 214)으로 분류된 픽셀들에게는 시간적-일관성을 강압하지 않도록 결정할 수 있다.
모션 감지부(130)는 현재 프레임(또는, 현재 프레임의 일부)(200) 내의 복수 개의 픽셀들 각각을 모션 영역(222) 및 비모션 영역(220)으로 분류한다.
모션 감지는 공간적인 이웃 내에서 픽셀들의 부동성(stationarity)을 검사하는 것을 의미한다.
모션 영역은 모션이 감지되는 프레임의 영역일 수 있다. 비모션 영역은 모션이 감지되지 않는 프레임의 영역일 수 있다.
움직임(movement)이 있는 픽셀의 변이 값은 변경되었을 수 있다. 따라서, 이러한 픽셀에 대해서는 시간적 일관성이 강압되어서는 안된다. 반면, 움직임이 없는 픽셀의 변이 값은 동일하게 남을 고도의 개연성이 있다.
시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 중 모션 감지부(140)에 의해 비모션 영역(220)으로 분류된 픽셀들에게는 시간적-일관성을 강압하도록 결정하고, 모션 영역(222)으로 분류된 픽셀들에게는 시간적-일관성을 강압하지 않도록 결정할 수 있다.
또한, 시간적-일관성의 강압 여부를 결정하기 위해 전술된 두 가지 조건이 결합될 수 있다. 즉, 텍스처가 감지되고, 움직임이 없는 픽셀에 대해서만 시간적-일관성이 강압될 수 있다.
시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 중 텍스처 영역(210 및 214) 및 비모션 영역(220)으로 분류된 픽셀들(232)에게는 시간적-일관성을 강압하도록 결정하고, 비텍스처 영역(212 및 216) 또는 모션 영역(222)으로 분류된 픽셀들(230 및 234)에게는 시간적-일관성을 강압하지 않도록 결정할 수 있다.
현재 프레임 내의 제1 픽셀에 대응하는 이전 프레임 내의 제2 픽실을 찾기 위해 다양한 방법이 사용될 수 있다.
예컨대, 제1 픽셀은 이전 프레임 내에서 제1 픽셀과 동일한 좌표 값을 갖는 제2 픽셀에 대응할 수 있다. 즉, 제1 픽셀의 현재 프레임 내에서의 좌표 값은 제2 픽셀의 이전 프레임 내에서의 좌표 값과 동일할 수 있다.
저-텍스처된(low-textured) 영역들(즉, 비텍스처 영역) 내에서 모션이 있는 경우를 검토할 필요가 있다.
이러한 경우, 공간상 이웃 내에 있는(in a spatial neighborhood) 픽셀들은 대부분 변하지 않은 채 있을 것이며(remain stationary), 모션은 감지되지 않을 것이다. 그러나, 이러한 경우 시간적 일관성이 강압되어서는 안될 필요가 있다. 텍스처 영역 및 비모션 영역 내의 픽셀에게만 시간적 일관성을 강압함으로써 이러한 요건이 충족될 수 있다.
도 3은 본 발명의 일 예에 따른 프레임을 텍스처 영역 및 비텍스처 영역으로 분류한 결과를 나타내는 도이다.
도 3에서 백색으로 표시된 부분은 텍스처 영역, 흑색으로 표시된 부분은 비텍스처 영역이다.
예컨대, 첫 번째 사람의 상의(310)는 체크 무늬 등이 밀집한 텍스처 영역일 수 있다. 체크 무늬를 나타내는 모서리와 같은, 텍스처가 밀집해 있으므로, 첫 번째 사람의 상의(310)는 텍스처 영역으로 분류된다.
예컨대, 두 번째 사람의 상의(320)는 단색(solid)일 수 있다. 단색의 부분에서는 텍스처가 밀집하지 않으므로, 두 번째 사람의 상의(320)는 비텍스처 영역으로 분류된다.
따라서, 따라서, 시간 제약부(110)가 텍스처 감지부(130)에 의해 텍스처 영역(210 및 214)으로 분류된 픽셀에게만 시간적-일관성을 강압하는 경우, 백색으로 표시된 부분에만 시간적-일관성이 강압된다.
도 4은 본 발명의 일 예에 따른 프레임을 모션 영역 및 비모션 영역으로 분류한 결과를 나타내는 도이다.
도 4에서 백색으로 표시된 부분은 비모션 영역, 흑색으로 표시된 부분은 모션 영역이다.
예컨대, 악수를 나누는 사람들(410 및 420) 및 의자(430)는 전체적으로 모션 영역으로 분류되었다. 그러나, 두 번째 사람의 상의(440)는 단색이기 때문에, 두 번째 사람(420)이 움직이더라도, 테두리 외의 부분에서는 움직임이 감지되지 않을 수 있다. 따라서, 두 번째 사람의 상의(440)는 비모션 영역으로 분류되었다.
따라서, 시간 제약부(110)가 모션 감지부(140)에 의해 비모션 영역(220)으로 분류된 픽셀에게만 시간적-일관성을 강압하는 경우, 백색으로 표시된 부분에만 시간적-일관성이 강압된다.
도 5는 본 발명의 일 예에 따른 프레임에서 텍스처 및 모션 양자가 감지된 영역을 나타내는 도이다.
도 5에서 백색으로 표시된 부분은 도 3에서는 텍스처 영역으로, 도 4에서는 비모션 영역으로 분류된 부분이다.
도 5에서 흑색으로 표시된 부분은 도 3에서 비텍스처 영역으로 분류되거나, 도 4에서 모션 영역으루 분류된 부분이다.
따라서, 시간 제약부(110)가 텍스처 및 비모션 영역(232)으로 분류된 픽셀에게만 시간적-일관성을 강압하는 경우, 백색으로 표시된 부분에만 시간적-일관성이 강압된다.
도 6은 본 발명의 일 실시예에 따른 모션 추정을 사용하는 영상 처리 장치의 구조도이다.
영상 처리 장치(600)는 시간 제약부(110), 격차 추정부(120) 및 모션 추정부(610)를 포함한다. 영상 처리 장치(600)는 텍스처 감지부(130)를 더 포함할 수 있다.
시간 제약부(110), 격차 추정부(120) 및 텍스처 감지부(130)에 대해서는 도 1 및 도 2를 참조하여 전술되었다. 중복되는 설명은 생략한다.
모션 추정부(610)는 도 7을 참조하여 하기에서 상세히 설명된다.
도 7은 본 발명의 일 실시예에 따른 모션 감지에 기반한 시간적 제약 결정 방법을 설명한다.
도 2를 참조하여 전술된 실시예에서, 시간적 일관성이 강압되기 위한 요구사항들(requisities) 중 하나는 픽셀에서 모션이 감지되지 않는 것이다. 이러한 방식은 다수의 응용(application)에게 있어서는 적합한 것일 수 있다. 그러나, 이러한 방식은 특정한 다른 응용에게 있어서는 제한적인 것이 될 수 있다.
따라서, 본 실시예에서는 모션이 존재하는 픽셀에 대해서도 시간적 일관성을 강압할 수 있는 방식이 제시된다.
도 7에서, 현재 프레임(또는, 현재 프레임의 한 행과 같은, 현재 프레임의 일부)(200) 및 이전 프레임(또는, 이전 프레임의 한 행과 같은, 이전 프레임의 일부)(700)가 도시되었다.
모션 추정부(610)는 현재 프레임(또는, 현재 프레임의 일부)(200) 및 이전 프레임(또는, 이전 프레임의 일부)(700)을 비교하여 매치된 모션을 감지한다.
매치된 모션은 이전 프레임 내의 제1 부분(즉, 일부분의 픽셀들)이 현재 프레임 내의 제2 부분으로 이동한 것을 의미할 수 있다.
예컨대, 현재 프레임 및 이전 프레임이 이동하는 개체를 나타내는 픽셀들을 포함하는 경우, 현재 프레임 내에서 상기 개체를 나타내는 부분 및 이전 프레임 내에서 상기 개체를 나타내는 부분은 서로 대응하며, 양 부분들(또는 양 부분을 구성하는 픽셀들)에서 매치된 모션이 감지된다.
모션 추정부(610)는 상기 비교를 통해 현재 프레임 내의 복수 개의 픽셀들 각각을 매치된 모션 영역(712) 및 매치된 모션 외 영역(710 및 714)으로 분류한다. 매치된 모션 영역은 현재 프레임 내에서, 현재 프레임 및 이전 프레임 간에 매치되는 모션이 감지된 영역이다. 매치된 모션 외 영역은 현재 프레임 내에서, 현재 프레임 및 이전 프레임 간에 매치되는 움직임이 감지되지 않은 영역이다.
모션 추정은 일종의 충실도 계량(fidelity metric)을 포함할 수 있다. 따라서, 모션 추정부(610)는 정확하다는 것이 전적으로(quite) 확실한(certain) 추정된 움직임에게만 자격을 부여할 수 있다(qualified). 즉, 모션 추정부(610)는 특정 영역에 대해서 추정된 움직임의 정확도를 수치로 계량화 하여, 정확도가 특정 임계 값 이상일 경우에만 상기의 특정 영역(즉, 특정 영역 내의 복수 개의 픽셀들)을 매치된 모션 영역으로 분류할 수 있다.
시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 중 모션 추정부(610)에 의해 매치된 모션 영역(712)으로 분류된 픽셀들에게는 시간적-일관성을 강압하도록 결정하고, 매치된 모션 외 영역(710 및 714)으로 분류된 픽셀들에게는 시간적-일관성을 강압하지 않도록 결정할 수 있다.
본 실시예는 전술된 텍스처 감지부(130)와 결합되어 사용될 수 있다.
더 특정하게는, 텍스처가 감지되고, 고-정확도(high-fidelity)의 모션이 감지된 픽셀에 대해서만 시간적 제약이 강압될 수 있다.
즉, 텍스처 감지부(130)는 현재 프레임(200)(또는, 현재 프레임의 일부) 내의 복수 개의 픽셀들 각각을 텍스처 영역(722) 및 비텍스처 영역(720 및 724)으로 분류한다.
시간 제약부(110)는 현재 프레임 내의 복수 개의 픽셀들 중 텍스처 영역(722) 및 매치된 모션 영역(712)으로 분류된 픽셀들(732)에게는 시간적-일관성을 강압하도록 결정하고, 비텍스처 영역(720 및 724) 또는 매치된 모션 외 영역(710 및 714) 내의 픽셀들(730 및 734)에게는 시간적-일관성을 강합하지 않도록 결정할 수 있다.
변이 추정시 사용되는 시간적 제약에 대한 정보는 이전의 실시예들에서 설명된 것과 유사하다.
현재 프레임(200)의 매치된 모션 영역(712) 및 이전 프레임(700)의 매치된 모션 영역(742)은 서로 대응하는 픽셀들을 포함하고 있다.
전술된 것과 같이, 현재 프레임(200)의 매치된 모션 영역(712) 내의 제1 픽셀에 대해 시간적 일관성을 강압할 때, 변이 추정부(130)는 매치된 모션을 감안하여 제1 픽셀에 대응하는 이전 프레임(700) 내의 제2 픽셀을 결정한다. 즉, 변이 일관성은 이전 프레임 내의 움직임에 의해 옮겨진(motion-displaced) 픽셀의 변이에 기반하여 강압될 수 있다.
예컨대, 현재 프레임(200) 내의 복수 개의 픽셀들 중, 매치된 모션 영역(712) 내의 픽셀들 각각은, 이전 프레임(700)의 매치된 모션 영역(742) 내의 픽셀들 중 매치된 모션 영역 내에서의 좌표가 동일한 픽셀과 대응할 수 있다.
예컨대, 현재 프레임 내에서 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이가 이전 프레임 내의 제1 픽셀에 대응하는 제2 픽셀에 기반하여 계산될 때, 제1 픽셀이 매치된 모션 영역 내의 픽셀인 경우, 제2 픽셀은 매치된 모션 영역 내에서의 좌표가 제1 픽셀과 동일한 픽셀일 수 있다.
따라서, 모션 추정부(610)는 현재 프레임 및 이전 프레임 간의 매치된 모션 영역에 대한 정보를 변이 추정부(130)에게 제공할 수 있다.
상기 구성요소(110, 120, 130, 140 및 610)의 기능은 단일한 제어부(도시되지 않음)에서 수행될 수 있다. 이때, 상기 제어부는 단일(single) 또는 복수(multi) 칩(chip), 프로세서(processor) 또는 코어(core)를 나타낼 수 있다. 상기 구성요소들(110, 120, 130, 140 및 610) 각각은 상기 제어부에서 수행되는 함수(function), 라이브러리(library), 서비스(service), 프로세스(process), 쓰레드(thread) 또는 모듈(module)을 나타낼 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법의 흐름도이다.
텍스처 감지 단계(S810)에서, 현재 프레임 내의 복수 개의 픽셀을 각각은 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류된다.
모션 감지 단계(S820)에서, 현재 프레임 내의 복수 개의 픽셀들 각각은 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류된다.
모션 추정 단계(S830)에서, 현재 프레임 내의 복수 개의 픽셀들 각각은 현재 프레임 및 이전 프레임 간의 비교를 통해 현재 프레임 및 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류된다.
전술된 단계들(S810, S820, S830)은 선택적인 것이다. 단계들(S810, S820, S830) 중 일부는 실행되지 않을 수 있다. 또한, 단계들(S810, S820, S830) 중 일부만이 실행될 수 있다.
시간적-일관성 강압 여부 결정 단계(S840)에서, 현재 프레임 내의 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부가 결정된다.
예컨대, 복수 개의 픽셀들 중 단계(S810)에서 텍스처 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되도록 결정될 수 있고, 비텍스처 영역으로 분류된 픽셀들에게는 시간적-일관성을 강압되지 않도록 결정될 수 있다.
예컨대, 복수 개의 픽셀들 중 단계(S820)에서 비모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되도록 결정될 수 있고, 모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되지 않도록 결정될 수 있다.
예컨대, 복수 개의 픽셀들 중 단계(S810) 및 단계(S820)에서 텍스처 영역 및 비모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되도록 결정될 수 있고, 비텍스처 영역으로 분류되었거나 모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되지 않도록 결정될 수 있다.
예컨대, 복수 개의 픽셀들 중 단계(S830)에서 매치된 모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되도록 결정될 수 있고, 매치된 모션 외 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되지 않도록 결정될 수 있다.
예컨대, 복수 개의 픽셀들 중 단계(S820) 및 단계(830)에서 텍스처 영역 및 매치된 모션 영역으로 분류된 픽셀들에게는 시간적-일관성이 강압되도록 결정될 수 있고, 비텍스처 영역 또는 매치된 모션 외 영역으로 분류된 픽셀들에게는 시간적-일관성이 강합되지 않도록 결정될 수 있다.
변이 추정 단계(S850)에서, 단계(S840)에 의한 시간적-일관성의 강압 여부의 결정에 기반하여 복수 개의 픽셀들 각각의 변이가 추정된다.
현재 프레임 내의 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는 이전 프레임 내의 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산될 수 있다.
제1 픽셀의 변이는 제2 픽셀의 변이와 동일할 수 있다.
제1 픽셀이 매치된 모션 영역 내의 픽셀인 경우, 제2 픽셀은 상기 매치된 모션 영역 내에서의 좌표가 제1 픽셀과 동일한 픽셀일 수 있다.
앞서 도 1 내지 도 7을 참조하여 설명된 본 발명의 일 실시예에 따른 기술 적 내용들이 본 실시예에도 그대로 적용될 수 있다. 따라서 보다 상세한 설명은 이하 생략하기로 한다.
일반적으로, 픽셀의 깊이(depth) 및 변이는 서로 반비례한다. 따라서, 본 발명의 실시예들에 의해 설명된 변이에 대한 내용은 깊이에도 적용될 수 있다. 즉, 본 발명의 실시예들에 의해 설명된 변이 추정 장치 및 방법은 깊이 추정 장치 및 방법에도 적용될 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
600: 영상 처리 장치

Claims (19)

  1. 프레임에 포함된 복수 개의 픽셀들의 변이를 계산하는 장치에 있어서,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 시간 제약부; 및
    상기 시간 제약부의 결정에 기반하여 상기 복수 개의 픽셀들 각각의 변이를 추정하는 변이 추정부
    를 포함하고, 상기 프레임 내의 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는 상기 프레임의 이전 프레임 내의 상기 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산되는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 픽셀의 변이는 상기 제2 픽셀의 변이와 동일한, 영상 처리 장치.
  3. 제1항에 있어서,
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지부
    를 더 포함하고,
    상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 비텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지부
    를 더 포함하고,
    상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정하는, 영상 처리 장치.
  5. 제1항에 있어서
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지부; 및
    상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지부
    를 더 포함하고,
    상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 비텍스처 영역으로 분류되었거나 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하지 않도록 결정하는, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 복수 개의 픽셀들 각각은 상기 이전 프레임 내의 동일한 좌표 값을 갖는 픽셀에 대응하는, 영상 처리 장치.
  7. 제1항에 있어서
    상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정부
    를 더 포함하고, 상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정하는, 영상 처리 장치.
  8. 제7항에 있어서,
    상기 제1 픽셀이 상기 매치된 모션 영역 내의 픽셀인 경우, 상기 제2 픽셀은 상기 매치된 모션 영역 내에서의 좌표가 상기 제1 픽셀과 동일한 픽셀인, 영상 처리 장치.
  9. 제1항에 있어서,
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지부; 및
    상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정부
    를 더 포함하고, 상기 시간 제약부는 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 비텍스처 영역 또는 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정하는, 영상 처리 장치.
  10. 프레임에 포함된 복수 개의 픽셀들의 변이를 계산하는 방법에 있어서,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계; 및
    상기 시간적-일관성의 강압 여부의 결정에 기반하여 상기 복수 개의 픽셀들 각각의 변이를 추정하는 단계
    를 포함하고, 상기 프레임 내의 시간적-일관성이 강압되기로 결정된 제1 픽셀의 변이는 상기 프레임의 이전 프레임 내의 상기 제1 픽셀에 대응하는 제2 픽셀의 변이에 기반하여 계산되는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 제1 픽셀의 변이는 상기 제2 픽셀의 변이와 동일한, 영상 처리 방법.
  12. 제10항에 있어서,
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지 단계;
    를 더 포함하고,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 비텍스처 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정하는, 영상 처리 방법.
  13. 제10항에 있어서,
    상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지 단계;
    를 더 포함하고,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정하는, 영상 처리 방법.
  14. 제10항에 있어서,
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지 단계; 및
    상기 복수 개의 픽셀들 각각을 모션이 감지되는 모션 영역 또는 모션이 감지되지 않는 비모션 영역으로 분류하는 모션 감지 단계
    를 더 포함하고,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 비모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 비텍스처 영역으로 분류되었거나 상기 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정하는, 영상 처리 방법.
  15. 제10항에 있어서,
    상기 제1 픽셀이 상기 매치된 모션 영역 내의 픽셀인 경우, 상기 제2 픽셀은 상기 매치된 모션 영역 내에서의 좌표가 상기 제1 픽셀과 동일한 픽셀인, 영상 처리 방법.
  16. 제10항에 있어서
    상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정 단계
    를 더 포함하고,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되도록 결정하고, 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성이 강압되지 않도록 결정하는, 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제1 픽셀이 상기 매치된 모션 영역 내의 픽셀인 경우, 상기 제2 픽셀은 상기 매치된 모션 영역 내에서의 좌표가 상기 제1 픽셀과 동일한 픽셀인, 영상 처리 방법.
  18. 제10항에 있어서,
    상기 복수 개의 픽셀들 각각을 텍스처가 검출되는 텍스처 영역 또는 텍스처가 검출되지 않는 비텍스처 영역으로 분류하는 텍스처 감지 단계; 및
    상기 프레임 및 상기 프레임의 이전 프레임 간의 비교를 통해 상기 복수 개의 픽셀들 각각을 상기 프레임 및 상기 이전 프레임 간에 매치되는 모션이 감지되는 매치된 모션 영역 또는 매치되는 움직임이 감지되지 않은 매치된 모션 외 영역으로 분류하는 모션 추정 단계
    를 더 포함하고,
    상기 복수 개의 픽셀들 각각에 대해 시간적-일관성의 강압 여부를 결정하는 단계는, 상기 복수 개의 픽셀들 중 상기 텍스처 영역 및 상기 매치된 모션 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강압하도록 결정하고, 상기 비텍스처 영역 또는 상기 매치된 모션 외 영역으로 분류된 픽셀들에게는 상기 시간적-일관성을 강합하지 않도록 결정하는, 영상 처리 방법.
  19. 제10항 내지 제18항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100103977A 2010-10-25 2010-10-25 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 KR101682137B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100103977A KR101682137B1 (ko) 2010-10-25 2010-10-25 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
US13/317,109 US9082176B2 (en) 2010-10-25 2011-10-11 Method and apparatus for temporally-consistent disparity estimation using detection of texture and motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100103977A KR101682137B1 (ko) 2010-10-25 2010-10-25 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120042323A true KR20120042323A (ko) 2012-05-03
KR101682137B1 KR101682137B1 (ko) 2016-12-05

Family

ID=45973060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100103977A KR101682137B1 (ko) 2010-10-25 2010-10-25 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치

Country Status (2)

Country Link
US (1) US9082176B2 (ko)
KR (1) KR101682137B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101340086B1 (ko) * 2012-11-01 2013-12-09 서강대학교산학협력단 관심 영역의 자동 초점을 위해 동영상에서의 적응적 탐색 범위 예측을 이용한 디스패리티 추정 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5957359B2 (ja) * 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
EP2860975A1 (en) 2013-10-09 2015-04-15 Thomson Licensing Method for processing at least one disparity map, corresponding electronic device and computer program product
JP2015146526A (ja) 2014-02-03 2015-08-13 ソニー株式会社 画像処理装置および方法、並びにプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104360A1 (en) * 2004-11-12 2006-05-18 Stephen Gordon Method and system for using motion prediction to equalize video quality across intra-coded frames
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치
US20100194856A1 (en) * 2007-07-26 2010-08-05 Koninklijke Philips Electronics N.V. Method and apparatus for depth-related information propagation

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
WO2000057360A1 (en) 1999-03-18 2000-09-28 Koninklijke Philips Electronics N.V. Video signal processing
US6744923B1 (en) * 1999-08-30 2004-06-01 Cornell Research Foundation, Inc. System and method for fast approximate energy minimization via graph cuts
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
KR100411875B1 (ko) 2001-06-15 2003-12-24 한국전자통신연구원 스테레오 영상 시차 지도 융합 방법 및 그를 이용한 3차원영상 표시 방법
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US8000392B1 (en) * 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
KR100720722B1 (ko) 2005-06-21 2007-05-22 삼성전자주식회사 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치
KR100756034B1 (ko) 2006-01-26 2007-09-07 삼성전자주식회사 변이벡터 보정장치 및 변이벡터 보정방법
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
JP5138031B2 (ja) 2007-05-11 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深度関連情報を処理する方法、装置及びシステム
CN105979270B (zh) 2007-10-05 2019-05-28 汤姆森特许公司 将视频可用性信息并入多视图视频编码系统的方法和装置
EP2291825B1 (en) * 2008-05-28 2013-09-25 Thomson Licensing System and method for depth extraction of images with forward and backward depth prediction
US9189886B2 (en) * 2008-08-15 2015-11-17 Brown University Method and apparatus for estimating body shape
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
ES2395102B1 (es) * 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US8432434B2 (en) * 2011-07-08 2013-04-30 Mitsubishi Electric Research Laboratories, Inc. Camera and method for focus based depth reconstruction of dynamic scenes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104360A1 (en) * 2004-11-12 2006-05-18 Stephen Gordon Method and system for using motion prediction to equalize video quality across intra-coded frames
US20100194856A1 (en) * 2007-07-26 2010-08-05 Koninklijke Philips Electronics N.V. Method and apparatus for depth-related information propagation
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
텍스쳐 감지를 이용한 화소값 기울기 필터 및 중간값 필터 기반의 비디오 시퀀스 디인터레이싱, 한국통신학회논문지 34.4 (2009) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101340086B1 (ko) * 2012-11-01 2013-12-09 서강대학교산학협력단 관심 영역의 자동 초점을 위해 동영상에서의 적응적 탐색 범위 예측을 이용한 디스패리티 추정 방법 및 장치

Also Published As

Publication number Publication date
KR101682137B1 (ko) 2016-12-05
US9082176B2 (en) 2015-07-14
US20120099767A1 (en) 2012-04-26

Similar Documents

Publication Publication Date Title
US9600898B2 (en) Method and apparatus for separating foreground image, and computer-readable recording medium
US9626766B2 (en) Depth sensing using an RGB camera
US8422766B2 (en) System and method for depth extraction of images with motion compensation
US9300940B2 (en) Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
US20160133027A1 (en) Method and apparatus for separating foreground image, and non-transitory computer-readable recording medium
US20100309292A1 (en) Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
US20160275721A1 (en) 3d face model reconstruction apparatus and method
US8737769B2 (en) Reconstruction of sparse data
KR101811718B1 (ko) 영상 처리 방법 및 장치
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR20130121202A (ko) 영상에서의 객체 추적 방법, 장치 및 이를 컴퓨터 상에서 수행하는 프로그램이 기록된 기록 매체
CN108140291A (zh) 烟雾检测装置、方法以及图像处理设备
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
KR20150058071A (ko) 수퍼픽셀들을 생성하기 위한 방법 및 장치
KR20120041464A (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
KR20090008808A (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
JP2017027197A (ja) 監視プログラム、監視装置、及び監視方法
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
KR20140029689A (ko) 영상 처리 시스템에서 움직임 추정 장치 및 방법
WO2015198592A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101841966B1 (ko) 영상에서 이동 객체 그림자 제거 방법 및 장치
KR100446414B1 (ko) 계층적 변이 추정부 및 그 방법과 이를 이용한 스테레오혼합 현실 영상 합성 장치 및 그 방법
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant