KR20100132189A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20100132189A
KR20100132189A KR1020090050877A KR20090050877A KR20100132189A KR 20100132189 A KR20100132189 A KR 20100132189A KR 1020090050877 A KR1020090050877 A KR 1020090050877A KR 20090050877 A KR20090050877 A KR 20090050877A KR 20100132189 A KR20100132189 A KR 20100132189A
Authority
KR
South Korea
Prior art keywords
weight
depth value
pixel
frame depth
frame
Prior art date
Application number
KR1020090050877A
Other languages
English (en)
Other versions
KR101590767B1 (ko
Inventor
임화섭
강병민
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090050877A priority Critical patent/KR101590767B1/ko
Priority to US12/755,615 priority patent/US8810602B2/en
Priority to CN201010177672.1A priority patent/CN101924878B/zh
Priority to EP10165286.5A priority patent/EP2261853B1/en
Priority to JP2010132165A priority patent/JP5679702B2/ja
Publication of KR20100132189A publication Critical patent/KR20100132189A/ko
Application granted granted Critical
Publication of KR101590767B1 publication Critical patent/KR101590767B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

영상 처리 장치가 제공된다. 상기 영상 처리 장치는 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 취득 시간 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 제1 계산부, 및 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 제2 계산부를 포함할 수 있다.
깊이 영상, 깊이 카메라, 노이즈 제거, Depth image, Depth Camera

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
본 발명의 일부 실시예들은 깊이 영상 획득을 위한 깊이 카메라의 노이즈를 제거하여 노이즈가 감소된 깊이 영상을 제공하는 영상 처리 장치 및 방법에 관한 것이다.
최근 3-Dimensional(3D) 정보에 대한 관심이 높아지고 있다. 3D 정보는 형상(geometry) 정보와 칼라(color) 정보로 구성된다. 칼라 정보는 CCD(charged Coupled Device)나 CMOS(Complementary Metal-Oxide-Semiconductor) 센서를 채용한 카메라에 의해 취득되며, 형상 정보는 깊이 카메라(depth camera)에 의해 취득될 수 있다.
깊이 카메라는, 적외선(Infra Red, IR)과 같은 광(Light)을 오브젝트에 조사하고, 반사광을 센서로 감지하여, 광 조사와 반사광 수광 사이의 시간차(Time of Flight, TOF)를 측정함으로써 깊이 영상을 생성할 수 있다.
그런데, 일반적으로 상기 TOF 타입의 깊이 카메라에 채용되는 깊이 센서(depth sensor)는, 센서 자체의 전기적(electrical) 및/또는 열적(thermal) 노이즈(noise)의 영향뿐 아니라 주변 광원 및 물체의 재질 특성 등의 영향을 받기 때문 에, 깊이 카메라에 의해 생성되는 깊이 영상의 깊이 값들도 노이즈의 영향을 받게 된다. 그리고 이런 노이즈는 3D 모델링의 품질(quality)을 저하하는 요인으로 작용한다.
이러한 노이즈의 제거는 다양한 방법에 의해 시도될 수 있으나, 기존의 방법에 의하면, 동일한 오브젝트에 대하여 복수 회 측정에 의해 취득된 깊이 영상들을 평균함으로써 노이즈를 제거하는 방법이 제안되었다.
상기 방법은 오브젝트가 정적(static)일 때는 우수한 특성을 보이나, 오브젝트가 동적(dynamic)일 때는 오히려 왜곡(이를테면, motion blurring)을 발생시키기도 한다.
본 발명의 일부 실시예는, 동적인 오브젝트에 대한 깊이 영상을 생성하는 경우, 노이즈를 효율적으로 제거하는 영상 처리 장치 및 방법을 제공하기 위한 것이다.
또한 본 발명의 일부 실시예는, 깊이 영상에 대한 노이즈 제거에 있어서, 모션 번짐(motion blurring) 등의 왜곡을 최소화하는 영상 처리 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따르면, 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레 임 깊이 값 사이의 취득 시간 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 제1 계산부, 및 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 제2 계산부를 포함하는 영상 처리 장치가 제공된다.
이 경우, 상기 제1 계산부는, 상기 취득 시간 차이가 클수록 상기 제1 가중치 및 상기 제2 가중치의 차이를 크게 결정할 수 있다. 이를테면, 상기 제1 계산부는 상기 취득 시간 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율이 작아지도록 결정할 수 있다.
본 발명의 일부 실시예에 따르면, 상기 취득 시간 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 결정된다.
한편 본 발명의 일 실시예에 따르면, 상기 영상 처리 장치는, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여, 상기 제1 계산부에 의해 계산된 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 재조정하는 제3 계산부를 더 포함한다.
이 경우, 상기 제2 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제3 계산부에 의해 재조정된 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프 레임 깊이 값에 상기 제3 계산부에 의해 재조정된 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정할 수 있다.
한편, 상기 제3 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 작아지도록 재조정할 수 있다.
이를 테면, 상기 제3 계산부는, 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 재조정할 수 있다.
본 발명의 다른 일 실시예에 따르면, 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 제1 계산부, 및 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고, 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용한 선형 합을 이용하여 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 제2 계산부를 포함하는 영상 처리 장치가 제공된다.
이 경우, 상기 제1 계산부는, 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제 2 가중치의 비율은 작아지도록 결정할 수 있다.
이를 테면, 상기 제1 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 결정할 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 취득 시간 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 단계, 및 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계를 포함하는 영상 처리 방법이 제공된다.
여기서, 상기 취득 시간 차이가 커질수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안 곡선 분포에 따라 작아질 수 있다.
한편, 본 발명의 일부 실시예에서, 상기 영상 처리 방법은, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 재조정하는 단계를 더 포함할 수 있다.
이 경우, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계에서 는, 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 재조정된 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 재조정된 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값이 결정될 수 있다.
본 발명의 또 다른 일 실시예에 따르면, 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 단계, 및 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고, 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계를 포함하는 영상 처리 방법이 제공된다.
본 발명의 일부 실시예에 따르면, 동적인 오브젝트에 대한 깊이 영상을 생성하는 경우, 노이즈를 효율적으로 제거한 깊이 영상을 제공할 수 있다.
또한 본 발명의 일부 실시예에 따르면, 깊이 영상에 대한 노이즈 제거에 있어서, motion blurring 등의 왜곡을 최소화할 수 있다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한다.
영상 처리 장치(100)는 깊이 카메라(101)로부터 제공되는 복수 개의 프레임의 깊이 영상(또는 특정한 픽셀에 대한 복수 개의 프레임 깊이 값)을 제공받아, 버퍼 메모리(110) 내에 저장한다.
본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는 Temporal Weight를 계산하는 계산부(121)를 포함한다.
상기 계산부(121)는 제1 픽셀의 제1 프레임 깊이 값을 보정하기 위해 상기 제1 픽셀의 적어도 하나의 제2 프레임 깊이 값(들)의 각각에 적용될 Temporal Weight를 계산한다. Temporal Weight는 프레임 간 취득 시간 차이에 따라 적용되는 가중치이다.
상기 제1 픽셀에 대한 제1 프레임의 깊이 값을 d(i, j, t) 라고 하고, 제2 프레임 깊이 값을 d(i, j, t-k)라 하면, (단, k는 실수로서 프레임 간 취득 시간 차이) 상기 계산부(121)는 k가 클수록 제2 프레임에 적용될 가중치를 작은 값으로 결정한다.
본 발명의 일 실시예에 따르면, k의 증가에 따라, 상기 가중치(Temporal Weight)는 지수적으로 감소할 수 있다. 특히, 이 경우, 가우시안(Gaussian) 곡선을 따라 감소할 수도 있다. 상기 계산부(121)의 보다 상세한 동작은 도 5를 참조하여 보다 상세히 후술한다.
상기 계산부(122)는 제1 픽셀의 제1 프레임 깊이 값을 보정하기 위해 상기 제1 픽셀의 적어도 하나의 제2 프레임 깊이 값(들)의 각각에 적용될 Range Weight를 계산한다. Range Weight는 깊이 값의 차이에 따라 적용하는 가중치이다.
본 발명의 일 실시예에 따르면, d(i, j, t)와 d(i, j, t-k) 차이가 커짐에 따라, Range Weight Ratio는 지수적으로 감소할 수 있다. 또한, 가우시안 곡선을 따라 감소할 수도 있다. 이 경우, 계산부(122)가 Range Weight을 계산하는 보다 상세한 과정은, 도 6을 참조하여 보다 상세히 후술한다.
또한, 계산부(123)는 상기 계산된 Temporal Weight 및/또는 Range Weight를 적용하여, 상기 제1 픽셀의 제1 프레임 깊이 값과 적어도 하나 이상의 제2 프레임 깊이 값들의 선형 합(linear sum)으로서, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 계산한다.
상기 계산부(123)의 동작은 도 6 내지 도 7을 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치로 입력되는 복수 개의 프레임의 깊이 영상들을 도시한다.
깊이 영상(210)은 시간 t=20 에서, 칼라 영상(201)에 대응하는 오브젝트 공간으로부터 취득된 것이다. 또한, 깊이 영상(220)은 시간 t=30 에서, 칼라 영상(202)에 대응하는 오브젝트 공간으로부터 취득된 것이고, 깊이 영상(230)은 시간 t=40 에서, 칼라 영상(203)에 대응하는 오브젝트 공간으로부터 취득된 것이다.
즉, 상기 깊이 영상(210) 내지 깊이 영상(230)은 서로 동일한 오브젝트 공간에 대해, 시간을 달리하여 획득된 복수 개의 깊이 영상 프레임들이다.
깊이 영상(210)의 영역(211), 깊이 영상(220)의 영역(221), 및 깊이 영상(230)의 영역(231)을 비교하여 관찰하면, 깊이 영상들 내의 픽셀들이 상술한 바와 같이 노이즈의 영향을 받은 것을 확인 할 수 있다.
본 발명의 일 실시예에 따르면, 상기 복수 개의 프레임의 깊이 영상들(210 내지 230) 중, 어느 한 프레임의 깊이 영상(이를 테면, 깊이 영상(230))의 특정 픽셀이 선택된다.
이를 테면, t=40인 경우에 취득된 깊이 영상(230) 내에서, "X" 표시로 식별되는 제1 픽셀(232)이 선택되었다고 가정하자. 이 경우, 상기 제1 픽셀(232)은, t=20인 경우에 취득된 깊이 영상(210) 내의 "X" 표시로 식별되는 픽셀(212)에 대응한다. 또한, 상기 제1 픽셀(232)은 t=30인 경우에 취득된 깊이 영상(220) 내의 "X" 표시로 식별되는 픽셀(222)에도 대응한다.
시간의 흐름에 따라 측정된, 상기 제1 픽셀(232)의 깊이 값의 예시적인 그래프가 아래 도 3에서 도시된다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치로 입력되는, 상기 도 2의 제1 픽셀(232) 의 깊이 값의 예시적인 측정 치를 시간의 흐름에 따라 표시한 그래프이다.
가로 축은 깊이 값 측정 시간에 대응하고, 세로 축은 측정된 깊이 값이다. 깊이 값의 패턴을 관찰하면, 노이즈의 영향을 확인할 수 있다.
그런데, 측정 시간 t가 대략 25인 부분에서, 깊이 값이 크게 증가한 것이 관찰된다. 즉, t < 25인 부분과, t > 25인 부분은 깊이 값이 크게 차이 난다. 이 것은 오브젝트의 움직임에 따른 것으로 판단된다.
다시, 도 2를 참조하면, t=20에서의 픽셀(212)의 깊이 값은 오브젝트인 사람의 손(hand)에 해당하는 깊이 값인데, 상기 손이 움직여서 t=30에서의 픽셀(222) 또는 t=40에서의 픽셀(232)은 배경(background) 부분에 해당하는 깊이 값이다. 따라서, 도 3의 그래프에서, t가 대략 25인 부분에서, 깊이 값이 크게 증가한 것이다.
상기한 바와 같이, 종래에는 깊이 영상의 노이즈를 제거하기 위해, 복수 개의 프레임의 깊이 영상의 깊이 값을 단순히 평균한 값을 보정된(노이즈가 제거된, 이하 같음) 깊이 영상 값으로 제공하였다.
예를 들어, 현재의 깊이 값이 d(i, j, t)라고 하자. 여기서 i와 j는 깊이 영상 내에서 특정 픽셀을 식별시키는 row와 column 값이고, t는 현재 시간이다.
상기한 바와 같이, 종래의 Average Temporal Filtering 방법은, 현재 프레임 외의 복수 개의 프레임 중, 이를테면 2 개의 프레임의 깊이 값들을 반영하여, 현재 프레임의 깊이 값을 보정하는 방법이다.
이 경우, 이전(previous) 프레임의 깊이 값을, 깊이 값 d(i, j, t-k1)과, 깊이 값 d(i, j, t-k2) 으로 표현하는 경우(k1 및 k2는 측정 시간 차이), 상기 Average Temporal Filtering 방법은, 상기 현재 프레임의 깊이 값 d(i, j, t)과, 상기 이전 프레임의 깊이 값들 d(i, j, t-k1) 및 d(i, j, t-k2)에 동일한 가중치인 1/3을 적용하여, 보정된 깊이 값 d'(i, j, t)을 계산한다.
즉, d'(i, j, t) = 1/3 * (d(i, j, t) + d(i, j, t-k1) + d(i, j, t-k2)) 으로 계산된다.
이러한 방법은, 오브젝트의 움직임이 없는 정적인(Static) 경우에는, 노이즈가 비교적 우수하게 제거되고, 별다른 문제가 없을 수 있다.
그러나, 도 2의 실시예에서 관찰되는 바와 같이, 오브젝트의 움직임이 있는 동적인(Dynamic) 경우에는, 깊이 값 사이의 흐려짐(Blurring)이 생겨서 오히려 깊이 값을 왜곡하게 되는 문제가 있다. 이러한 현상을 Motion blurring이라고도 한다.
도 4는 상기 도 3의 그래프에 대응하는 깊이 값을 종래의 Temporal average filtering에 의해 처리한 결과, 상기 Motion blurring이 발생한 모습을 도시한다.
그래프의 일부분(410)에서 Motion blurring이 관찰된다. 원래, temporal average filtering 방법은 앞선 프레임들의 깊이 값과 현재 프레임의 깊이 값은 연관되어 있을(correlated) 것이라는 점에 착안하여 제시된 것인데, 상기 도 2의 실시예에서는, t가 대략 25인 시점에 오브젝트의 움직임으로 인하여, 픽셀의 깊이 값이 확연히 달라졌으므로, 문제가 발생한 것이다.
이러한 Motion blurring은 상기한 바와 같이, 노이즈 제거를 위해 계산에 반영하는 이전 프레임 깊이 값들에 동일한 가중치(위 예에서는 1/3)를 적용했기 때문에 현저하게 발생되었다.
본 발명의 일 실시예에 따르면, 이러한 경우에, 노이즈 제거를 위해 계산에 반영하는 이전 프레임 깊이 값들에 서로 다른 가중치를 적용한다.
이를 테면, 이전 프레임의 깊이 값이 취득된 시점이 현재 프레임의 깊이 값 이 취득된 시점과 멀리 있을수록 가중치를 작게 적용한다. 즉, 프레임 간의 취득 시간 차이가 클수록, 연관도가 작다고 가정하는 것이다. 이러한 방식을 Adaptive하게 적용하는 Temporal Weight (또는 단순히 Temporal Weight)라고 하기로 한다.
본 실시예에 대한 상세한 설명은, 도 5를 참조하여 보다 상세히 후술한다.
한편, 본 발명의 다른 일 실시예에 따르면, 상기 Temporal Weight 와 함께, 또는 별도로, 이전 프레임의 깊이 값과 현재 프레임의 깊이 값의 차이가 클수록, 상기 가중치를 작게 적용한다. 즉, 깊이 값의 차이가 클수록, 노이즈에 의한 것이 아니라, 실제 오브젝트의 상태가 변경되어서 깊이 값이 달라진 경우일 확률이 크다고 가정하는 것이다. 실제, 노이즈는 White Gaussian 특성을 가진다고 알려져 있으므로, 상기 가정은 합리적이다.
상기 실시예에 대한 보다 상세한 설명은, 도 6을 참조하여 보다 상세히 후술한다.
도 5는 본 발명의 일 실시예에 따른, 프레임 간 깊이 값 취득 시간 차이에 대한 Temporal Weight의 변화를 도시한 그래프이다.
상기한 수식에서와 같이, 제1 픽셀에 대한 현재 프레임의 깊이 값을 d(i, j, t) 라고 하고, 이전 프레임 깊이 값을 d(i, j, t-k)라 한다. 이 경우, k는 실수로서 프레임 간 취득 시간 차이이다.
k가 큰 이전 프레임일수록 낮은 가중치를 준다. 따라서, 시간적으로 가까이 인접한 프레임의 깊이 값일수록 보정된 제1 픽셀의 깊이 값에 더 크게 반영된다.
도 5의 그래프에서, 가로축은 취득 시간 차 k에 대응하고, 새로 축은, 현재 프레임의 깊이 값에 대한 가중치(제1 가중치)에 대한, 이전 프레임의 깊이 값에 대한 가중치(제2 가중치)의 비율(Temporal Weight Ratio)에 대응한다.
본 발명의 일 실시예에 따르면, k의 증가에 따라, Temporal Weight Ratio는 지수적으로 감소할 수 있다. 또한, 가우시안(Gaussian) 곡선을 따라 감소할 수도 있다. 이 경우, 이전 프레임 깊이 값 d(i, j, t-k)에 적용될 가중치 F(t, t-k)는 아래 수학식과 같이 계산된다.
[수학식 1]
F(t, t-k1) = exp(-σt * k1 2)/(Σ exp(-σt * kn 2))
σt 는 감쇄 계수로서, 양의 실수이다.
여기서, Σ exp(-σt * kn 2)는 현재 프레임을 포함하여 반영되는 n 개의 프레임에 대한 가중치 F(t, t-k)를 노말라이즈(normalize) 한다. 따라서, Σ F(t, t-k) = 1 의 등식이 보장된다.
본 수식을 도 5의 그래프와 비교하면, 상기 그래프의 가로 축은 취득 시간 차이 k에 대응하고, 상기 그래프의 세로 축은 F(t, t-k) 를 나타낸다.
도 6은 본 발명의 일 실시예에 따른, 프레임 간 깊이 값의 차이에 대한 Range Weight Ratio 의 변화를 도시한 그래프이다.
상기 도 5의 예에서와 같이, 제1 픽셀에 대한 현재 프레임의 깊이 값을 d(i, j, t) 라고 하고, 이전 프레임 깊이 값을 d(i, j, t-k)라 한다. 이 경우, k는 실수로서 프레임 간 취득 시간 차이이다.
본 발명의 일 실시예에 따르면, d(i, j, t)와 d(i, j, t-k) 차이가 커짐에 따라, Range Weight Ratio는 지수적으로 감소할 수 있다. 또한, 가우시안 곡선을 따라 감소할 수도 있다. 이 경우, 이전 프레임 깊이 값 d(i, j, t-k)에 적용될 가중치 G(d(i, j, t), d(i, j, t-k))는 아래 수학식과 같이 계산된다.
[수학식 2]
G(d(i, j, t), d(i, j, t-k1)) = exp(-σR * (d(i, j, t) - d(i, j, t-k1))2)/(Σexp(-σR * (d(i, j, t) - d(i, j, t-kn))2)
σR 는 감쇄 계수로서, 양의 실수이다. 한편, 분모 (Σexp(-σR * (d(i, j, t) - d(i, j, t-kn))2)는 는 현재 프레임을 포함하여 반영되는 n 개의 프레임에 대한 가중치 G(d(i, j, t), d(i, j, t-kn)) 를 노말라이즈(normalize) 한다. 따라서, Σ G(d(i, j, t), d(i, j, t-k)) = 1 의 등식이 보장된다.
본 수식을 도 6의 그래프와 비교하면, 상기 그래프의 가로 축은 취득 시간 깊이 값의 차이(d(i, j, t) - d(i, j, t-k1))에 대응하고, 상기 그래프의 세로 축은 G(d(i, j, t), d(i, j, t-k)) 를 나타낸다.
본 발명의 일 실시예에 따르면, 상기 Range Weight과 상기 Temporal Weight 이 곱해져서, 최종 Weight가 될 수도 있다. 몰론, 두 Weight 중 어느 하나만을 적용하여, 제1 픽셀 값을 계산하는 것도 가능하다.
이하에서는, 두 Weight를 함께 적용하는 경우에, 제1 픽셀의 보정된 깊이 값의 계산 방법이 수식을 참조하여 제시된다.
[수학식 3]
Figure 112009034743745-PAT00001
상기 수학식 3에서 d(i, j, t)는 현재 프레임인 제1 프레임의 제1 픽셀의 보정 전 깊이 값이고, d'(i, j, t)는 보정 후의 깊이 값이다.
그리고, d(i, j, t-k)는 제1 프레임과 취득 시간 차이가 k인 제2 프레임의 깊이 값이고, F(t, t-k)는 제2 프레임의 깊이 값에 적용되는 Temporal Weight이며, G(d(i, j, t), d(i, j, t-k))는 제2 프레임의 깊이 값에 적용되는 Range Weight이다. 각 Weight에 대한 상세한 설명은 상기 수학식 1 내지 수학식 2를 참조하여 전술한 바와 같다.
상기 수학 식 3이 나타내는 바는, 명확하다.
제1 픽셀의 제1 프레임 깊이 값 d(i, j, t)를 보정한 새로운 깊이 값 d(i, j, t-k)를 계산하는 경우, 상기 제1 프레임과 시간을 달리하여 취득된 다른 프레임(적어도 하나 이상의 제2 프레임)의 깊이 값 d(i, j, t-k)을 이용하여, 가중치가 곱해진 선형 합(Linear Sum of Weighted depth values)으로서 구할 수 있다.
이 때, 제2 프레임의 깊이 값 d(i, j, t-k)에 곱해지는 Temporal Weight F(t, t-k)는 제1 프레임 깊이 값과 제2 프레임 깊이 값의 취득 시간 차이 k가 커질수록 작아진다(이를 테면 도 5의 경우와 같이 k의 증가에 따라 가중치는 Gaussian 곡선에 따라 작아질 수 있다).
또한, 제2 프레임의 깊이 값 d(i, j, t-k)에 곱해지는 Range Weight G(d(i, j, t), d(i, j, t-k))는 상기 제1 프레임의 깊이 값 d(i, j, t)과 제2 프레임의 깊이 값 d(i, j, t-k) 차이가 커질수록 작아진다(마찬가지로, 도 6의 경우와 같이 k의 증가에 따라 가중치는 Gaussian 곡선에 따라 작아질 수 있다).
도 7은 본 발명의 일 실시예에 따라, 상기 수학식 3을 이용하여 도 3의 그래프에 대응하는 깊이 값을 처리한 예시적 결과를 도시한 그래프이다.
그래프에서 도시되는 제1 픽셀의 깊이 값(보정된 값)은, 노이즈가 감소되어 전체적으로 smooth한 특성을 나타내며, 오브젝트의 변화가 있는 t = 25 부근의 Motion blurring도 확연히 감소된 것을 볼 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.
깊이 카메라로부터 측정된 복수 개의 프레임의 깊이 영상으로부터 추출된 제1 픽셀의 복수 개의 프레임 깊이 값이 영상 처리 장치(100)로 입력된다.(S810)
본 발명의 일 실시예에 따르면, 단계(S820)에서 상기 제1 픽셀의 복수 개의 프레임 깊이 값들에 적용될 상기 Temporal Weight가 계산된다.
상기 Temporal Weight의 계산은 상기 수학식 1을 참조하여 상술한 바와 같다. 본 발명의 일부 실시예에서는, Temporal Weight만을 적용하여 상기 제1 픽셀의 제1 프레임 깊이 값을 보정한다.
그러나, 본 발명의 다른 실시예에서는, 상기 Temporal Weight를 대신하여, 또는 이와 함께 상기 Range Weight이 적용되어 상기 제1 픽셀의 제1 프레임 값이 보정된다.
이 경우, 단계(S830)에서 상기 제1 픽셀의 복수 개의 프레임 깊이 값들에 적용될 상기 Range Weight가 계산된다.
본 단계에서의 상세한 계산은 상기 수학식 2를 참조하여 상술한 바와 같다.
단계(S840)에서 상기 계산된 Temporal Weight 및/또는 Range Weight를 적용하여, 상기 제1 픽셀의 제1 프레임 깊이 값을 보정한 새로운 깊이 값을 계산한다. 본 단계에서 보정된 제1 픽셀의 제1 프레임 깊이 값을 계산하는 과정은, 수학식 3을 예로 들어 상술한 바와 같다.
본 발명의 일 실시예에 따르면, 제1 픽셀에 대한 단계(S810) 내지 단계(S840)의 수행 후에, 제1 프레임 내의 다른 픽셀들에 대해서도 반복적으로 단계(S810), 내지 단계(S840)을 수행할 수 있다.
이렇게 복수 개의 픽셀에 대한 노이즈 제거 과정은 순차적으로 수행될 수도 있지만, 본 발명의 다른 실시예에서는 병렬적으로 수행될 수도 있다. 이러한 경우, 깊이 값에 대한 매트릭스 연산이 이용될 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치로 입력되는 복수 개의 프레임의 깊이 영상들을 도시한다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치로 입력되는, 도 2 내의 특정 픽셀의 깊이 값 측정 치를 시간의 흐름에 따라 표시한 그래프이다.
도 4는 상기 도 3의 그래프에 대응하는 깊이 값을 종래의 temporal average filter에 의해 처리한 결과를 도시한 그래프이다.
도 5는 본 발명의 일 실시예에 따른, 프레임 간 깊이 값 취득 시간 차이에 대한 Temporal Weight의 변화를 도시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른, 프레임 간 깊이 값의 차이에 대한 Range Weight의 변화를 도시한 그래프이다.
도 7은 본 발명의 일 실시예에 따라, 상기 도 3의 그래프에 대응하는 깊이 값을 처리한 결과를 도시한 그래프이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 방법을 도시한다.

Claims (22)

  1. 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 취득 시간 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 제1 계산부; 및
    상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 제2 계산부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제1 계산부는, 상기 취득 시간 차이가 클수록 상기 제1 가중치 및 상기 제2 가중치의 차이를 크게 결정하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 제1 계산부는, 상기 취득 시간 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율이 작아지도록 결정하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 제1 계산부는, 상기 취득 시간 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율이 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 결정하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여, 상기 제1 계산부에 의해 계산된 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 재조정하는 제3 계산부를 더 포함하고,
    상기 제2 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제3 계산부에 의해 재조정된 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제3 계산부에 의해 재조정된 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 제2 계산부는, 깊이 값 차이가 클수록 상기 제1 가중치 및 상기 제2 가중치의 차이를 크게 결정하는 영상 처리 장치.
  7. 제5항에 있어서,
    상기 제3 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 작아지도록 재조정하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 제3 계산부는, 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 재조정하는 영상 처리 장치.
  9. 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 제1 계산부; 및
    상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고, 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용한 선형 합을 이용하여 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 제2 계산부
    를 포함하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 제2 계산부는, 깊이 값 차이가 클수록 상기 제1 가중치 및 상기 제2 가중치의 차이를 크게 결정하는 영상 처리 장치.
  11. 제9항에 있어서,
    상기 제1 계산부는, 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 작아지도록 결정하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 제1 계산부는, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 결정하는 영상 처리 장치.
  13. 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 취득 시간 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 단계; 및
    상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계
    를 포함하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 취득 시간 차이가 커질수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 작아지는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 취득 시간 차이가 커질수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지는 영상 처리 방법.
  16. 제13항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 재조정하는 단계를 더 포함하고,
    상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계는,
    상기 제1 픽셀의 제1 프레임 깊이 값에 상기 재조정된 제1 가중치를 적용하고 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 재조정된 제2 가중치를 적용하여 계산한 선형 합을 이용하여, 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 더 작아지도록 재조정되는 영상 처리 방법.
  18. 제17항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지도록 재조정되는 영상 처리 방법.
  19. 깊이 영상의 제1 픽셀의 복수 개의 프레임의 깊이 값 중, 상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이에 기초하여 상기 제1 프레임 깊이 값에 대한 제1 가중치 및 상기 제2 프레임 깊이 값에 대한 제2 가중치를 계산하는 단계; 및
    상기 제1 픽셀의 제1 프레임 깊이 값에 상기 제1 가중치를 적용하고, 상기 제1 픽셀의 제2 프레임 깊이 값에 상기 제2 가중치를 적용하여 계산한 선형 합을 이용하여 상기 제1 픽셀의 보정된 제1 프레임 깊이 값을 결정하는 단계
    를 포함하는 영상 처리 방법.
  20. 제19항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 커질수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 작아지는 영상 처리 방법.
  21. 제20항에 있어서,
    상기 제1 픽셀의 제1 프레임 깊이 값 및 상기 제1 픽셀의 제2 프레임 깊이 값 사이의 차이가 클수록 상기 제1 가중치에 대한 상기 제2 가중치의 비율은 가우시안(Gaussian) 곡선 분포에 따라 작아지는 영상 처리 방법.
  22. 제13항 내지 제21항 중 어느 한 항에 있어서,
    상기 영상 처리 방법을 수행하기 위한 명령어를 수록한 컴퓨터 판독 가능 기록 매체.
KR1020090050877A 2009-06-09 2009-06-09 영상 처리 장치 및 방법 KR101590767B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090050877A KR101590767B1 (ko) 2009-06-09 2009-06-09 영상 처리 장치 및 방법
US12/755,615 US8810602B2 (en) 2009-06-09 2010-04-07 Image processing apparatus, medium, and method
CN201010177672.1A CN101924878B (zh) 2009-06-09 2010-05-11 图像处理设备、介质和方法
EP10165286.5A EP2261853B1 (en) 2009-06-09 2010-06-08 Image processing apparatus, medium, and method
JP2010132165A JP5679702B2 (ja) 2009-06-09 2010-06-09 映像処理装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090050877A KR101590767B1 (ko) 2009-06-09 2009-06-09 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100132189A true KR20100132189A (ko) 2010-12-17
KR101590767B1 KR101590767B1 (ko) 2016-02-03

Family

ID=42647347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090050877A KR101590767B1 (ko) 2009-06-09 2009-06-09 영상 처리 장치 및 방법

Country Status (5)

Country Link
US (1) US8810602B2 (ko)
EP (1) EP2261853B1 (ko)
JP (1) JP5679702B2 (ko)
KR (1) KR101590767B1 (ko)
CN (1) CN101924878B (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9047681B2 (en) 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9749613B2 (en) 2013-04-08 2017-08-29 Samsung Electronics Co., Ltd. 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US9904981B2 (en) 2012-11-20 2018-02-27 Samsung Electronics Co., Ltd. Image processing apparatus and method for color-depth demosaicing
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20210026535A (ko) 2019-08-30 2021-03-10 (주)미래컴퍼니 영상 처리 장치
WO2023063500A1 (ko) * 2021-10-14 2023-04-20 울산과학기술원 최대 명암비 증강 영상 획득 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
JP5025786B2 (ja) * 2010-12-21 2012-09-12 株式会社東芝 画像処理装置、及び画像処理方法
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
KR20130001762A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 영상 생성 장치 및 방법
CN103181156B (zh) * 2011-07-12 2017-09-01 三星电子株式会社 模糊处理装置及方法
US9456152B2 (en) 2011-07-12 2016-09-27 Samsung Electronics Co., Ltd. Device and method for blur processing
US9100574B2 (en) 2011-10-18 2015-08-04 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US9213883B2 (en) * 2012-01-10 2015-12-15 Samsung Electronics Co., Ltd. Method and apparatus for processing depth image
US9495806B2 (en) * 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
KR101977711B1 (ko) 2012-10-12 2019-05-13 삼성전자주식회사 깊이 센서, 이의 이미지 캡쳐 방법, 및 상기 깊이 센서를 포함하는 이미지 처리 시스템
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
CN107979729B (zh) * 2014-01-24 2020-06-16 青岛海信移动通信技术股份有限公司 一种显示预览图像的方法及设备
US11102467B2 (en) * 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
JP6855746B2 (ja) 2016-10-18 2021-04-07 株式会社リコー 測距装置、監視カメラ、３次元計測装置、移動体、ロボット及び測距方法
JP6848364B2 (ja) 2016-11-10 2021-03-24 株式会社リコー 測距装置、移動体、ロボット、３次元計測装置、監視カメラ及び測距方法
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN107274447B (zh) * 2017-07-14 2022-06-10 梅卡曼德（北京）机器人科技有限公司 深度图像获取装置和深度图像获取方法
GB2580691B (en) * 2019-01-24 2022-07-20 Imperial College Innovations Ltd Depth estimation
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing
CN110400344B (zh) * 2019-07-11 2021-06-18 Oppo广东移动通信有限公司 深度图处理方法和装置
CN110794422B (zh) * 2019-10-08 2022-03-29 歌尔光学科技有限公司 一种含有tof成像模组的机器人数据采集系统及方法
US11663697B2 (en) 2020-02-03 2023-05-30 Stmicroelectronics (Grenoble 2) Sas Device for assembling two shots of a scene and associated method
JP7252916B2 (ja) * 2020-02-26 2023-04-05 Kddi株式会社 触感提示方法、システムおよびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028874A (ja) * 2002-06-27 2004-01-29 Matsushita Electric Ind Co Ltd レンジファインダ装置、物体検出装置および物体検出方法
KR20080078607A (ko) * 2007-02-23 2008-08-27 삼성전자주식회사 움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법
KR20090063824A (ko) * 2007-12-14 2009-06-18 엘지전자 주식회사 영상처리 방법 및 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005034035A1 (en) 2003-10-07 2005-04-14 Koninklijke Philips Electronics N.V. Depth-map improvement
KR100564592B1 (ko) * 2003-12-11 2006-03-28 삼성전자주식회사 동영상 데이터 잡음제거방법
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP4510554B2 (ja) * 2004-08-31 2010-07-28 富士重工業株式会社 立体物監視装置
KR100814638B1 (ko) 2006-06-09 2008-03-18 성균관대학교산학협력단 레이저 간섭계를 이용한 변위량 측정 시스템 및 그 오차 보정 방법
KR100843084B1 (ko) 2006-06-22 2008-07-02 삼성전자주식회사 노이즈 저감 방법 및 장치
KR101298642B1 (ko) 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
KR100888459B1 (ko) 2007-03-14 2009-03-19 전자부품연구원 피사체의 깊이 정보 검출 방법 및 시스템
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
JP5792632B2 (ja) * 2009-01-30 2015-10-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ デプスマップの符号化
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028874A (ja) * 2002-06-27 2004-01-29 Matsushita Electric Ind Co Ltd レンジファインダ装置、物体検出装置および物体検出方法
KR20080078607A (ko) * 2007-02-23 2008-08-27 삼성전자주식회사 움직임 감지 및 움직임 보상을 수반하는 적응적 시간방법을 이용하는 영상 노이즈 감소 시스템 및 방법
KR20090063824A (ko) * 2007-12-14 2009-06-18 엘지전자 주식회사 영상처리 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047681B2 (en) 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9904981B2 (en) 2012-11-20 2018-02-27 Samsung Electronics Co., Ltd. Image processing apparatus and method for color-depth demosaicing
US9749613B2 (en) 2013-04-08 2017-08-29 Samsung Electronics Co., Ltd. 3D image acquisition apparatus and method of generating depth image in the 3D image acquisition apparatus
KR20210026535A (ko) 2019-08-30 2021-03-10 (주)미래컴퍼니 영상 처리 장치
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
WO2023063500A1 (ko) * 2021-10-14 2023-04-20 울산과학기술원 최대 명암비 증강 영상 획득 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
JP2010286488A (ja) 2010-12-24
US8810602B2 (en) 2014-08-19
EP2261853B1 (en) 2015-12-02
US20100309201A1 (en) 2010-12-09
CN101924878B (zh) 2015-08-05
KR101590767B1 (ko) 2016-02-03
CN101924878A (zh) 2010-12-22
EP2261853A1 (en) 2010-12-15
JP5679702B2 (ja) 2015-03-04

Similar Documents

Publication Publication Date Title
KR101590767B1 (ko) 영상 처리 장치 및 방법
US9191589B2 (en) Image processing device
JP5315157B2 (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
JP5864958B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
US9135683B2 (en) System and method for temporal video image enhancement
RU2603529C2 (ru) Уменьшение шума в последовательностях изображений
KR101698314B1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
TW201127028A (en) Method and apparatus for image stabilization
US10470720B2 (en) Heart rate activity detecting system based on dynamic images and method thereof
US20180225803A1 (en) Method for dynamic video magnification
JP6230303B2 (ja) 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
WO2014054273A1 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
JP2015009126A5 (ko)
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
TW201429227A (zh) 雜訊估測裝置及其方法
JP6253633B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
WO2017088391A1 (zh) 视频去噪与细节增强方法及装置
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
JP5639033B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
EP3839880A1 (en) A system for performing ambient light image correction
KR20140106870A (ko) 인텐시티 영상과 깊이 영상을 이용한 컬러 영상 개선 장치 및 방법
KR101124878B1 (ko) 추정된 흐림반경에 기초한 영상보정방법 및 영상보정장치
US20210090223A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US9305336B2 (en) Apparatus and method for estimating noise

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 5