KR20130036430A - 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 - Google Patents

저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 Download PDF

Info

Publication number
KR20130036430A
KR20130036430A KR1020110100501A KR20110100501A KR20130036430A KR 20130036430 A KR20130036430 A KR 20130036430A KR 1020110100501 A KR1020110100501 A KR 1020110100501A KR 20110100501 A KR20110100501 A KR 20110100501A KR 20130036430 A KR20130036430 A KR 20130036430A
Authority
KR
South Korea
Prior art keywords
interpolation
depth map
resolution depth
frequency component
generating
Prior art date
Application number
KR1020110100501A
Other languages
English (en)
Other versions
KR101262164B1 (ko
Inventor
김만배
장성은
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020110100501A priority Critical patent/KR101262164B1/ko
Publication of KR20130036430A publication Critical patent/KR20130036430A/ko
Application granted granted Critical
Publication of KR101262164B1 publication Critical patent/KR101262164B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다. 본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다.

Description

저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 {Method for generating high resolution depth image from low resolution depth image, and medium recording the same}
본 발명은 컴퓨터 비전이나 영상 처리 분야에서 활용되는 깊이 센서(depth sensor)에 관한 것으로서, 더욱 상세하게는 깊이 센서에서 감지된 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법에 관한 것이다.
최근들어 깊이 센서(depth sensor)가 컴퓨터 비전이나 영상처리 분야에서 다양하게 활용되고 있다.
일반적으로 깊이 센서는 센서와 피사체 간의 거리에 대해서 [0, 255]의 값을 가지는 깊이 맵(depth map)으로 저장한다. 영상 깊이를 얻는 다른 방법인, 스테레오 카메라에서 얻은 좌우영상으로부터 깊이를 얻는 것은 정확도가 떨어지는 단점이 있으므로, 깊이 센서를 활용하는 방법이 향후 증가할 것으로 예상된다.
이러한 깊이 센서를 활용한 영상처리는 가격이 고가이고, 해상도가 매우 낮다는 문제점이 있다. 이러한 저 해상도(low resolution) 깊이 맵은, 디지털 카메라 등에서 촬영된 RGB 영상의 해상도와 비교하면 현저히 낮은 해상도이기 때문에, 고 해상도(high resolution) 깊이 맵으로 변환하는 것이 필수적이라고 할 수 있다.
이러한 필요에 따라, 종래 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환할 수 있는 다양한 기법들이 제안되었다. 예를 들어 양선형 보간(bilinear interpolation), 고등차수 보간(bicubic interpolation) 등이 대표적인 보간법이다. 최근에는 객체 경계를 보다 선명하게 보간하기 위한 양측 보간법(bilateral interpolation)이 많은 관심을 받고 있다.
양측 보간법은 양선형 보간과 고등차수 보간법이 영상의 에지(edge)를 열화시키는 단점을 극복하기 위하여, 에지의 선명도를 유지할 수 있는 보간법이다. 그러나, 양측 보간법을 포함하는 기존의 에지를 보존하는 다양한 보간법들은, 객체의 경계 에지(boundary edge)의 선명도 유지에만 국한되고, 객체의 내부의 선명도는 떨어진다는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하는 과정에 있어서, 경계 에지뿐만 아니라, 객체 내부에서도 깊이의 선명도가 개선되는 고 해상도 깊이 맵 생성 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명은 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서, 상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계, 상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계 및 상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함한다.
상기 고주파 성분을 추출하는 단계는, 상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,
Figure pat00001
의 수학식을 이용하여 상기 고주파 성분을 구할 수 있다.
상기 보간을 실시하는 단계는, 양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것일 수 있다.
또는, 상기 보간을 실시하는 단계는, 고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것일 수 있다.
또는, 상기 보간을 실시하는 단계는, 양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것일 수 있다.
상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은, 상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계, 깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계, 해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계, 상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계 및 상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함할 수 있다.
본 발명에 의하면 저 해상도 깊이 맵으로부터 고주파 성분을 추출하고, 고주파 성분을 이용하여 고 해상도 깊이 맵을 생성함으로써, 경계 에지 뿐만 아니라 객체 내부의 깊이의 선명도를 개선할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 4는 양선형 보간법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 깊이 센서와 영상처리장치의 블록도이다.
도 1을 참조하면, 본 발명은 영상의 깊이를 감지하여 저 해상도 깊이 맵으로 저장하는 깊이 센서(100)와, 깊이 센서(100)의 저 해상도 깊이 맵을 고 해상도 깊이 맵으로 변환하여 영상 처리하는 영상 처리 장치(200)를 포함한다.
본 발명에서 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 주체는 영상 처리 장치(200)라고 할 수 있으며, 또는 영상 처리 장치(200)를 전반적으로 제어하는 제어부나 프로세서(processor)일 수 있다. 즉, 본 발명의 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 일종의 소프트웨어인 알고리즘으로 구성되며, 소프트웨어는 영상 처리 장치(200), 영상 처리 장치(200)의 제어부 또는 프로세서(processor)에서 실행된다.
도 2는 본 발명의 일 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이다.
도 2를 참조하면, 깊이 센서(100)를 통해 저장된 저 해상도 깊이 맵에서 고주파 성분을 추출한다(S201).
그리고, 추출된 고주파 성분을 이용하여 보간(interpolation)을 실시한다(S203).
보간을 통해 고 해상도 깊이 맵을 생성한다(S205).
S201 단계에서 알 수 있는 바와 같이, 본 발명의 고 해상도 깊이 맵 생성 방법은, 우선 저 해상도 깊이 맵으로터 고주파 성분을 추출하게 된다.
저 해상도 깊이 맵에서 깊이 값의 변화가 많은 고주파(high frequency) 성분을 갖는 픽셀을 얻기 위한 방법으로 에지 추출 방법 등이 있는데, 본 발명의 실시예에서는 다음과 같은 방법을 이용하기로 한다.
고주파 성분 ΔD는 다음 [수학식 1]과 같이 구해진다.
Figure pat00002
여기서, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다.
가우시안 필터를 깊이 영상 D에 적용한 값과 원 깊이 영상 D의 차이값이 ΔD이다.
Figure pat00003
는 저주파 성분을 갖고 있으며, 따라서 D와의 차인 ΔD는 고주파 성분을 갖게 된다. ΔD는 D 값이 증가하면, 음수에서 양수로 변화하고, 반대로 감소하면, 양수에서 음수로 변화하게 된다. 이러한 현상은 에지 등의 깊이 값이 변화하는 픽셀에서 잘 발생되는 경향이 있다.
본 발명에서는 고 해상도 필터 맵을 생성하기 위한 보간법으로서 세 종류의 보간법을 제안하도록 한다. 첫번째는 양선형 보간법(Bilinear Interpolation)이고, 두번째는 고등차수 보간법(Bicubic Interpolation)이고, 세번째는 양측 보간법(Bilateral Interpolation)이다. 이제 차례대로 각 보간법을 이용한 고 해상도 깊이 맵 생성 방법에 대해 설명하기로 한다.
먼저 양선형 보간법을 이용한 고 해상도 깊이 맵 생성 방법을 설명하면 다음과 같다.
도 4는 양선형 보간법을 설명하기 위한 도면이다.
도 4를 참조하면, 도 4 (a)는 저 해상도 깊이 맵이고, 도 4 (b)는 고 해상도 깊이 맵이다.
저 해상도 깊이 맵의 해상도가 w×h이고, 고 해상도 깊이 맵의 해상도가 W×H이면, 신축값(scale factor)(Sx, Sy)는 [수학식 2]와 같이 계산된다.
Figure pat00004
이 과정에서 고 해상도 깊이 맵의 픽셀들의 개수는 저 해상도의 픽셀 개수보다 많기 때문에, 고 해상도에서는 홀(hole), 즉 비어있는 픽셀(missing pixel)들이 발생하게 된다. 보간(Interpolation)은 이런 홀인 보간 픽셀(interpolated pixel)을 적절한 값으로 채우는 방법이다.
도 4에서 보간 픽셀 Dm은 D로 매핑된다.
도 4에서 도시된 바와 같이, 양선형 보간은 4개의 픽셀 D1, D2, D3, D4를 이용하여 보간 픽셀 D를 채우는 방법으로서, 역 매핑(backward mapping)을 사용한다. 역 매핑은 고 해상도의 픽셀 값을 저 해상도 픽셀들로부터 계산하는 방식이다.
[수학식 2]를 이용하여, 고 해상도의 보간 픽셀 Dm이 저 해상도에서 D에 위치할 때, D의 인접한 4개의 픽셀의 거리를 가중치로 사용하여 Dm을 보간한다.
lx는 D와 D1 사이의 수평 거리이고, ly는 세로 길이이고, 0≤lx,ly≤1일 때, lx와 ly를 구한 후에, 다음 [수학식 3]과 같이 양선형 보간을 이용하여 D 값을 구한다.
Figure pat00005
도 5는 본 발명의 일 실시예에 따른 고주파 성분을 이용한 양선형 보간법을 설명하기 위한 도면이다.
본 발명에서 [수학식 1]의 ΔD를 이용하는 고 해상도 깊이 맵 생성 방법은 다음과 같다.
[수학식 3]과 달리, ΔD를 양선형 보간에 활용하여 고 해상도 깊이 맵을 생성한다.
저 해상도 깊이 맵 DL에 ΔD를 더한 D'L을 고 해상도 깊이 맵 DH로 확대하였을 때 발생하는 보간 픽셀 Dm은, 인접한 4개의 ΔD를 결합한 D1+ΔD1, D2+ΔD2, D3+ΔD3, D4+ΔD4를 참조하여 [수학식 4]에서 보간된다.
Figure pat00006
여기서, DX1는 수평방향의 (D1+ΔD1)과 (D2+ΔD2)의 보간 값이다. DX2도 (D3+ΔD3)과 (D4+ΔD4)의 보간 값이다. Dm는 DX1, DX2 를 수직방향으로 보간한 최종값이다. 본 발명에서는 ΔD로 인해 고주파 성분을 갖는 픽셀에서도 고 해상도 깊이 맵의 성능이 개선된다.
도 6은 본 발명의 일 실시예에 따른 고등차수 보간법을 설명하기 위한 도면이다.
도 6을 참조하면, 고등차수 보간법은 16개의 픽셀을 참조하여 보간하는 방식이다. 도 6에서 고 해상도 깊이 맵의 보간 픽셀 Dm은 고 해상도 깊이 맵의 주변 16개의 픽셀로부터 구해진다.
Dm은 다음 [수학식 5]에 의해 계산된다.
Figure pat00007
여기서 s는 저 해상도 깊이 맵 D와 주변 픽셀과의 거리이다.
도 3은 본 발명의 일 실시예에 따른 양측 보간법에서의 고 해상도 깊이 맵을 생성하는 방법을 보여주는 흐름도이고, 도 7은 본 발명의 일 실시예에 따른 양측 보간법을 설명하기 위한 도면이다.
도 3 및 도 7을 참조하면, [수학식 1]의 고주파 성분 ΔD를 양측 보간법에 적용하여 깊이맵에 존재하는 고주파 성분의 선명도를 개선하는 방법이 도시되어 있다.
먼저 저 해상도 깊이 맵 DL이 입력된다. 그리고, [수학식 1]을 이용하여 ΔD를 구한다(S301).
깊이 영상 D값에 ΔD를 더한 깊이 맵 D'L을 영상확대(unsampling) 단계에서 확대한다(S303).
다음, 해상도가 증가되면 발생하는 보간 픽셀들을 D'L을 사용하여 양선형 보간한다(S305). 도 7에서 양측 보간에서 D는 D'으로 매핑된다. 이처럼 양선형 보간으로 고 해상도 깊이 맵의 보간 픽셀들이 채워진다.
다음, 보간 픽셀을 양측 보간으로 재 보간한다(S307).
재 보간 단계 후에 고 해상도 깊이 맵이 생성된다(S309).
본 발명에서 양측 보간 단계를 상세히 설명하면 다음과 같다.
도 7에서 D'은 선형 보간 단계에서 보간된 픽셀이다. 이렇게 선형 보간으로 보간된 픽셀들은 양측보간으로 재 보간한다. 여기서 재 보간되는 픽셀들은 저 해상도 깊이 맵의 픽셀들만을 사용한다.
Figure pat00008
여기서, Di는 저해상도 깊이맵 DL의 깊이 값이고, D'H는 고 해상도 깊이 맵의 보간 픽셀이고, W는 가우시안 필터의 크기이다.
가중치 Wi는 다음 [수학식 7]과 같이 계산된다.
Figure pat00009
[수학식 7]에서의 wi는 가중치로서, 좌표값 함수 f와 깊이 값 함수 g의 곱으로 구성된다.
Figure pat00010
는 다음 [수학식 8]에서 계산된다. 이때 f는 가우시안 분포 함수를 사용한다.
Figure pat00011
여기서, σ2 a는 사용자가 지정하는 편차(variance)이다.
Figure pat00012
여기서, I=(Ix, Iy)는 D의 좌표, I=(ix, iy)는 W의 범위 내에 있는 픽셀들의 좌표값이다.
본 발명에서 f는 픽셀 간의 거리가 작을수록 가중치가 커지며, 픽셀 간의 거리가 멀수록 가중치가 작아진다.
g(D-Di)는 D와 인접 픽셀 간의 깊이 값의 차이로 깊이 영상 D와 ΔD가 더해진 값을 사용하며 다음 [수학식 10]과 같이 표현된다. 이때, g는 가우시안 분포 함수를 사용한다.
Figure pat00013
여기서, σ2 a는 사용자가 지정하는 편차(variance)이다.
한편, 본 발명의 실시예에 따른 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 깊이 센서 200 영상 처리 장치

Claims (7)

  1. 영상의 깊이를 감지하기 위한 깊이 센서(depth sensor)와, 상기 깊이 센서에서 출력된 신호를 처리하는 영상 처리 장치를 포함하는 고 해상도 깊이 맵 생성 장치에서의 고 해상도 깊이 맵 생성 방법에 있어서,
    상기 영상 처리 장치는 상기 깊이 센서에서 생성된 저 해상도 깊이 맵(low resolution depth map)에서 고주파 성분을 추출하는 단계;
    상기 고주파 성분을 이용하여 보간(interpolation) 을 실시하는 단계; 및
    상기 보간 과정을 거쳐서 고 해상도 깊이 맵(high resolution depth map)을 생성하는 단계를 포함하는 고 해상도 깊이 맵 생성 방법.
  2. 제1항에 있어서,
    상기 고주파 성분을 추출하는 단계는,
    상기 고주파 성분을 ΔD라 하고, D는 깊이 맵, G는 로우 패스 필터(low pass filter)의 한 종류인 가우시안 필터(Gaussian filer)를 의미한다고 할 때,
    Figure pat00014

    의 수학식을 이용하여 상기 고주파 성분을 구하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
  3. 제1항에 있어서,
    상기 보간을 실시하는 단계는,
    양선형 보간법(Bilinear interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
  4. 제1항에 있어서,
    상기 보간을 실시하는 단계는,
    고등차수 보간법(Bicubic interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
  5. 제1항에 있어서,
    상기 보간을 실시하는 단계는,
    양측 보간법(Bilateral interpolation)을 이용하여 보간을 실시하는 것임을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
  6. 제5항에 있어서,
    상기 양측 보간법을 이용하여 고 해상도 깊이 맵을 생성하는 방법은,
    상기 저 해상도 깊이 맵이 입력되면, 상기 저 해상도 깊이 맵으로부터 고주파 성분을 추출하는 단계;
    깊이 영상값에 상기 고주파 성분을 더한 깊이 맵을 영상확대(unsampling) 과정에서 확대하는 단계;
    해상도가 증가되면 발생하는 보간 픽셀들을 양방향 보간법으로 양선형 보간하는 단계;
    상기 보간된 픽셀을 양측 보간법으로 재 보간하는 단계; 및
    상기 재 보간 후에 고 해상도 깊이 맵이 생성되는 단계를 포함하는 것을 특징으로 하는 고 해상도 깊이 맵 생성 방법.
  7. 제1항 내지 제6항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110100501A 2011-10-04 2011-10-04 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 KR101262164B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110100501A KR101262164B1 (ko) 2011-10-04 2011-10-04 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110100501A KR101262164B1 (ko) 2011-10-04 2011-10-04 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20130036430A true KR20130036430A (ko) 2013-04-12
KR101262164B1 KR101262164B1 (ko) 2013-05-14

Family

ID=48437735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110100501A KR101262164B1 (ko) 2011-10-04 2011-10-04 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR101262164B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700071A (zh) * 2013-12-16 2014-04-02 华中科技大学 一种深度图上采样边缘增强方法
KR20160056708A (ko) * 2014-11-12 2016-05-20 엘지디스플레이 주식회사 열화보상장치 및 이를 포함하는 표시장치
KR20180015120A (ko) * 2015-03-27 2018-02-12 오비어스 엔지니어링 리미티드 자동화된 3차원 모델 생성
WO2019164239A1 (ko) * 2018-02-20 2019-08-29 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN111986124A (zh) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 一种深度图像缺失像素的填充方法及装置
CN111986124B (zh) * 2020-09-07 2024-05-28 凌云光技术股份有限公司 一种深度图像缺失像素的填充方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5366855B2 (ja) * 2010-02-16 2013-12-11 富士フイルム株式会社 画像処理方法及び装置並びにプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103700071B (zh) * 2013-12-16 2016-08-31 华中科技大学 一种深度图上采样边缘增强方法
CN103700071A (zh) * 2013-12-16 2014-04-02 华中科技大学 一种深度图上采样边缘增强方法
KR20160056708A (ko) * 2014-11-12 2016-05-20 엘지디스플레이 주식회사 열화보상장치 및 이를 포함하는 표시장치
US11010968B2 (en) 2015-03-27 2021-05-18 Snap Inc. Automated three dimensional model generation
KR20180015120A (ko) * 2015-03-27 2018-02-12 오비어스 엔지니어링 리미티드 자동화된 3차원 모델 생성
US10198859B2 (en) 2015-03-27 2019-02-05 Snap Inc. Automated three dimensional model generation
KR20190089091A (ko) * 2015-03-27 2019-07-29 오비어스 엔지니어링 리미티드 자동화된 3차원 모델 생성
US10515480B1 (en) 2015-03-27 2019-12-24 Snap Inc. Automated three dimensional model generation
US11893689B2 (en) 2015-03-27 2024-02-06 Snap Inc. Automated three dimensional model generation
US11450067B2 (en) 2015-03-27 2022-09-20 Snap Inc. Automated three dimensional model generation
WO2019164239A1 (ko) * 2018-02-20 2019-08-29 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US20200394755A1 (en) * 2018-02-20 2020-12-17 Samsung Electronics Co., Ltd. Electronic device, image processing method, and computer-readable recording medium
US11861808B2 (en) 2018-02-20 2024-01-02 Samsung Electronics Co., Ltd. Electronic device, image processing method, and computer-readable recording medium
CN111986124A (zh) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 一种深度图像缺失像素的填充方法及装置
CN111986124B (zh) * 2020-09-07 2024-05-28 凌云光技术股份有限公司 一种深度图像缺失像素的填充方法及装置

Also Published As

Publication number Publication date
KR101262164B1 (ko) 2013-05-14

Similar Documents

Publication Publication Date Title
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US9524539B2 (en) Method for edge-directed adaptive image interpolation and VLSI implementation device for the same
US9202258B2 (en) Video retargeting using content-dependent scaling vectors
JP5452116B2 (ja) 高解像度映像取得装置およびその方法
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
TWI485646B (zh) 圖轉換方法、圖轉換設備、及用於圖轉換的電腦程式產品
CN106651938A (zh) 一种融合高分辨率彩色图像的深度图增强方法
JP2015225665A (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
EP1347410A2 (en) Image processing method and apparatus
EP2466901B1 (en) Depth data upsampling
CN106780336B (zh) 一种图像缩小方法及装置
KR101262164B1 (ko) 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
JP2011081605A (ja) 画像処理装置、方法及びプログラム
CN111259841A (zh) 一种图像处理方法及相关设备
KR101828814B1 (ko) 깊이 영상 변환 장치 및 방법
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP5820716B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置
CN112767293B (zh) 获取视差图像的方法、电子设备及存储介质
KR20150141259A (ko) 이미지 센서 노이즈 모델 기반 필터링 방법 및 이를 적용한 영상 시스템
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
CN115176459A (zh) 虚拟视点合成方法、电子设备和计算机可读介质
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
KR101378190B1 (ko) 거리변환 기반 양측 보간을 이용하여 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
JP6854629B2 (ja) 画像処理装置、画像処理方法
CN113269696B (zh) 用于对图像进行去噪的方法以及电子设备、介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee