KR20230029382A - 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 - Google Patents

공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 Download PDF

Info

Publication number
KR20230029382A
KR20230029382A KR1020210111799A KR20210111799A KR20230029382A KR 20230029382 A KR20230029382 A KR 20230029382A KR 1020210111799 A KR1020210111799 A KR 1020210111799A KR 20210111799 A KR20210111799 A KR 20210111799A KR 20230029382 A KR20230029382 A KR 20230029382A
Authority
KR
South Korea
Prior art keywords
resolution
image
super
image restoration
depth image
Prior art date
Application number
KR1020210111799A
Other languages
English (en)
Other versions
KR102508384B1 (ko
Inventor
강문기
이해근
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210111799A priority Critical patent/KR102508384B1/ko
Publication of KR20230029382A publication Critical patent/KR20230029382A/ko
Application granted granted Critical
Publication of KR102508384B1 publication Critical patent/KR102508384B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 실시예들은 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 공간 가변적 정규화 항목에 관한 비용 함수를 이용하여 고해상도 깊이 영상을 복원하는 초해상도 영상 복원 방법 및 장치를 제공한다.

Description

공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 {TOF CAMERA SUPER-RESOLUTION IMAGE RESTORATION ALGORITHM AND APPARATUS BASED ON SPATIALLY-VARIANT REGULARIZATION}
본 발명이 속하는 기술 분야는 초해상도 영상 복원 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
3D ToF(Time-of-Flight)의 등장으로 인해 깊이 정보의 취득이 가능해지면서 3D 복원, 3D TV, 로보틱스 등 3D 영상 산업이 급격히 발전하고 있다. ToF 센서는 물체에 빛을 쏜 후 돌아오는데 걸리는 시간을 측정하는 방식으로 작동되며, 반사되는 빛의 에너지와 위상 변위는 각각 밝기 영상과 깊이 영상으로 획득된다.
ToF 센서를 통해 취득되는 영상은 컬러 영상에 비해 현저히 낮은 해상도 특성을 갖는다. Mesa SR4000의 경우 176 x 144의, Kinect의 경우 640 x 480의 해상도로 영상을 표현한다. 추가적으로, ToF 센서의 광원과 빛을 받는 수용체가 정확히 일치하지 않는 문제로 인해 정확도가 제한되며, 영상 획득 장치의 물리적 한계가 취득되는 영상 내의 노이즈로 표현된다. 이러한 문제들로 인해 깊이 영상 취득 과정에서 저품질의 저해상도 깊이 영상이 취득되며, 이는 재구성된 3D 영상의 성능을 제한한다.
깊이 영상에 대해 상응하는 컬러 영상의 정보를 기반으로 결합 양측 필터(Joint Bilateral Filter) 등을 활용하여 깊이 영상을 고해상도 복원하는 깊이 업샘플링(depth upsampling) 방법이 제시되어 왔으나, 두 영상의 화각이 정확히 일치하지 않아 깊이 불연속(depth discontinuity)의 치명적인 문제가 발생한다.
한국등록특허공보 제10-2114969호 (2020.05.19)
본 발명의 실시예들은 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 공간 가변적 정규화 항목에 관한 비용 함수를 이용하여 고해상도 깊이 영상을 복원하는데 주된 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면 초해상도 영상 복원 장치에 의한 초해상도 영상 복원 방법에 있어서, 영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계; 상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계; 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계를 포함하는 초해상도 영상 복원 방법을 제공한다.
상기 영상 장치는 ToF(Time-of-Flight) 센서에 해당할 수 있다.
상기 열화 모델을 모델링하는 단계는, 동일한 장면 및 위치에 대한 고주파 정보를 담고 있는 밝기 영상을 적용할 수 있다.
상기 고해상도 깊이 영상을 복원하는 단계는, 깊이 영상에 대한 특성을 정규화 기술을 위한 사전 정보로 이용할 수 있다.
상기 고해상도 깊이 영상을 복원하는 단계는, 공간 가변적 정규화 항목에 관한 비용 함수를 설계하고 상기 비용 함수를 감소시키는 반복 과정을 거쳐 영상을 복원할 수 있다.
상기 고해상도 깊이 영상을 복원하는 단계는, 공간 가변적 정규화 항목에 관한 비용 함수에 대해서 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 기준치보다 적은 가중치를 적용할 수 있다.
상기 고해상도 깊이 영상을 복원하는 단계는, 상기 공간 가변적 정규화 항목에 관한 비용 함수에 영상에서 관측되는 노이즈 항목 및 가중 행렬에 대한 고주파 에너지를 검출하는 필터 항목 간의 비율을 조정하는 정규화 파라미터를 적용할 수 있다.
상기 가중 행렬은 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하며, 에지 정보는 에지 영역에서 상기 평탄 영역보다 큰 값을 나타내며, 상기 에지의 크기를 판별하는 수단으로 기울기 연산자(gradient operator)를 적용할 수 있다.
상기 가중 행렬은 상기 에지 정보에 반비례하도록 설계될 수 있다.
상기 고해상도 깊이 영상을 복원하는 단계는, 컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 상기 공간 가변적 정규화 항목에 관한 비용 함수를 최소화할 수 있다.
본 실시예의 다른 측면에 의하면 초해상도 영상 복원 장치에 있어서, 저해상도 깊이 영상을 획득하는 영상 장치; 상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 프로세서를 포함하는 초해상도 영상 복원 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 영상의 지역적 정보 분석을 통해 에지 및 평탄 영역을 구분하고, 영역의 특성에 따라 공간 가변적 정규화를 고려하여 관찰되는 사물의 깊이 경계가 명확한 고해상도 깊이 영상을 복원할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 적용 가능한 영상 장치의 동작을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의한 동일한 배치를 갖는 깊이 영상 및 밝기 영상을 통한 부화소 정보 추정 동작을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치가 처리하는 에지 정보 및 가중 행렬을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의해 복원된 고해상도 깊이 영상을 예시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 초해상도 영상 복원 방법을 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
본 실시예는 영상 처리 시스템에 관련된 기술로서, ToF 카메라 영상에 대해 공간 가변적 정규화 방법에 기반하여 초해상도 영상을 복원하는 기술이다.
다수의 취득된 저해상도 깊이 영상으로부터 고해상도 깊이 영상을 복원하는 다중 영상 기반 초해상도 복원 기술에 해당하며, 컬러 영상, 위성 영상, 의료 영상 등 다양한 분야에서 영상 취득 장치의 물리적 한계를 극복하기 위해 활용 가능하다.
다른 영상과 구분되는 깊이 영상의 특수한 성질을 반영하지 못하며 이는 제한적인 복원 성능으로 표현되는 문제를 해결하기 위해서 ToF 카메라의 깊이 영상에 최적화된 다중 영상 초해상도 복원 알고리즘을 제안한다. 본 실시예에서는 영상의 지역적 정보 분석을 통해 에지 및 평탄 영역을 구분하고, 영역의 특성에 따라 공간 가변적 정규화 방법을 고려하여 관찰되는 사물의 깊이 경계가 명확한 고해상도 깊이 영상을 복원한다.
도 1은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치를 예시한 블록도이다.
초해상도 영상 복원 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다.
프로세서(120)는 초해상도 영상 복원 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 초해상도 영상 복원 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 초해상도 영상 복원 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 초해상도 영상 복원 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.
초해상도 영상 복원 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(150)를 통해 초해상도 영상 복원 장치(110)의 다른 컴포넌트들에 연결될 수 있다.
입출력 인터페이스(150)를 통해 영상 장치(미도시)가 연결될 수 있다. 영상 장치는 ToF(Time-of-Flight) 센서에 해당할 수 있다.
초해상도 영상 복원 장치(110)는 고해상도 깊이 영상을 복원하기 위해서, 다수의 저해상도 깊이 영상의 정보를 활용하며, 저해상도 깊이 영상 시스템의 열화 과정에 대한 모델링이 선행된다. 구성한 열화 모델에 대한 역과정을 통해 고해상도 영상 복원이 가능하다.
초해상도 영상 복원 장치(110)는 관찰된 저해상도 영상 사이의 상대적 위치 차이에 해당하는 부화소 단위 정보와 센서에 의한 공간 해상도 한계를 의미하는 다운 샘플링으로 열화 모델을 설계한다. 상대적으로 고주파 정보가 부족한 다중 깊이 영상의 부화소 정보를 추정하기 위해 각 깊이 영상에 상응하는 밝기 영상을 활용하며, 관찰된 저해상도 영상으로부터 복원하고자 하는 고해상도 영상에 대한 배율을 기반으로 다운 샘플링에 의한 열화를 구성한다. 이를 바탕으로 영상을 복원하기에 앞서, 복원 과정에서 노이즈 및 아티팩트에 의해 발생하는 부정치성(ill-posedness) 문제를 정규화 방법을 통해 해결한다.
깊이 영상 고유의 특성을 내포하는 정규화 기술을 통해 복원되는 영상의 특성을 한정할 수 있으며, 초해상도 영상 복원 장치(110)는 깊이 영상의 에지를 잘 보존하기 위한 공간 가변적 정규화 항목을 기반으로 비용 함수를 설계한다. 이후, 컨쥬게이트 기울기 감소(Conjugate Gradient Descent) 방법을 통해 설계한 비용 함수를 최소화하여 고해상도 영상을 복원한다.
초해상도 영상 복원 장치(110)는 깊이 영상 복원을 위해 다중 깊이 영상 초해상도 복원 기술로 열화 모델을 설계하고, 다중 깊이 영상 사이의 부화소 정보 추정을 위해 각 깊이 영상에 상응하는 밝기 영상을 활용하고, 수평 및 수직 기울기 연산자(Gradient operator)를 통해 깊이 영상의 에지 특성을 파악하고, 깊이 영상의 에지 크기에 따라 다른 정규화 변수를 적용하는 공간 가변적 정규화 항목을 설계한다.
초해상도 영상 복원 장치(110)는 취득된 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 과정에 대한 모델링하는 동작 및 이 모델링을 바탕으로 깊이 영상의 특성을 반영하는 고해상도 깊이 영상을 복원하는 동작을 수행한다.
먼저, 관측된 여러 저해상도 깊이 영상 사이의 부화소 정보 추정 과정을 통해 깊이 영상의 취득 과정을 모델링한다.
도 2는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 적용 가능한 영상 장치의 동작을 예시한 도면이다.
ToF 카메라는 도 2과 같이 90도 위상 차이를 가지는 서로 다른 4개의 빛 C1~C4을 쏜 후 반사되어 돌아오는 빛의 전기적 신호 E1~E4의 위상 변위와 에너지를 측정하여 깊이 영상 y 및 밝기 영상 z로 변환한다.
Figure pat00001
수학식 1에서 c와 f는 각각 빛의 속도와 주파수를 의미한다. 두 영상 모두 동일한 신호 E1~E4로부터 계산되므로 같은 위치 정보를 공유하지만, 계산 방법에 따라 서로 다른 영상 특성을 보인다. 제안하는 알고리즘을 위해서는 도 2와 같이 취득되는 깊이 영상 yk(k=1,2, ... ,n) 사이의 부화소 정보 (△ik,△jk)를 추정하는 과정이 요구되지만, 급격한 공간정보의 변화에 해당하는 에지 및 텍스쳐 등 고주파 정보가 절대적으로 부족한 깊이 영상에서는 이를 추정하는 것이 어렵다. 따라서, 본 발명에서는 동일한 장면 및 위치에 대해 상대적으로 많은 고주파 정보를 담고 있는 밝기 영상 zk을 활용하여 이를 해결한다.
도 3은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의한 동일한 배치를 갖는 깊이 영상 및 밝기 영상을 통한 부화소 정보 추정 동작을 예시한 도면이다.
Figure pat00002
수학식 2를 통해 각 깊이 영상 사이의 부화소 단위 픽셀 차이를 추정할 수 있다. 다운 샘플링은 초해상도 기술을 통해 복원하고자 하는 고해상도 영상의 배율로 정의하며, 입력 영상의 수가 많을수록 더 고배율의 영상 복원이 가능하다. k번째 깊이 영상 yk의 열화 과정 Hk를 포함하는 깊이 영상 취득 모델은 수학식 3과 같이 표현된다.
Figure pat00003
위 식에서 x는 고해상도 고품질의 깊이 영상을, nk는 k번째 영상에서 관측되는 노이즈이다.
다중 깊이 영상 초해상도 복원은 추정한 열화 모델에 대한 역 필터링 과정에 기반한다.
Figure pat00004
취득된 저해상도 영상에 존재하는 노이즈나 에일리어싱(aliasing) 등으로 발생한 아티팩트가 최적화 과정에서 높은 불확실성(uncertainty)을 야기하며, 복원 과정에 부정치성(ill-posedness) 문제를 일으킨다.
정규화 기술을 통해 넓은 범위의 가능해(feasible solution)로부터 원하는 해를 한정할 수 있으며, 본 발명에서는 깊이 영상에 대한 특성을 분석하여 이를 정규화 기술을 위한 사전정보로 활용한다.
깊이 영상은 전체적으로 부드러운 형태를 갖지만, 사물 간의 경계에 해당하는 에지는 선명하게 표현하는 특성을 보인다. 이를 복원되는 고해상도 깊이 영상의 특성에 반영하기 위해, 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 약한 가중치를 둠으로써 에지의 형태를 선명하게 보존하는 공간 가변적 정규화 항목을 설계한다.
Figure pat00005
수학식 5에서 C는 중심의 값이 1이고 상하좌우의 값이 -1/4인 3x3 크기의 라플라시안 필터로, 고주파 에너지를 검출하는 역할을 한다. λ는 정규화 파라미터로, 비용 함수의 두 항목 간의 비율을 조정하여 복원된 영상의 품질을 결정한다. λ가 클수록 보다 부드러운 영상 취득이 가능하며, 노이즈가 심한 경우 고품질의 영상 복원이 가능하다. K(x)는 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하는 가중 행렬로, 에지에 가까울수록 작은 값을 나타내어 영상 복원 과정에서 선명한 에지 보존을 가능하게 한다. 에지의 크기를 판별하기 위한 수단으로, 다음의 기울기 연산자(Gradient operator)를 사용한다.
Figure pat00006
구해낸 에지 정보 G(x)는 에지 영역에서 평탄 영역에 비해 큰 값을 나타낸다. 이를 활용한 공간 가변적 정규화 방법을 위한 가중 행렬 K(x)는 이와 반비례하도록 설계한다.
Figure pat00007
도 4는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치가 처리하는 에지 정보 및 가중 행렬을 예시한 도면이다.
도 4와 같이 K(x)는 에지 영역에서 평탄 영역에 비해 작은 값을 나타내기 때문에 평탄 영역에 선별적으로 고주파 에너지를 제한하는 공간 가변적 정규화 항목의 설계를 가능하게 한다.
본 발명에서 고해상도 깊이 영상 복원을 위해 설계한 비용 함수는 컨벡시티(convexity)의 특성을 가지므로, 컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 효과적으로 최소화할 수 있다. 이러한 방법을 통해 반복적으로 비용 함수 F(x)를 감소시키고, 영상을 복원하는 과정을 나타낸다.
Figure pat00008
Figure pat00009
은 n번째 반복의 컨쥬게이트 기울기 벡터(conjugate gradient vector)로, F(x)의 편도 함수(partial derivative)인 g(x)로부터 계산할 수 있다. 이를 수식으로 표현하면 다음과 같다.
Figure pat00010
αn은 수학식 10과 같이 표현된다.
Figure pat00011
Figure pat00012
은 컨쥬게이트 기울기 방법(conjugate gradient method)의 스텝 크기(step size)로, 설계된 비용 함수 F(x)를 가장 신속하게 수렴하기 위한 값을 추정하기 위해 F(x)를
Figure pat00013
에 대해 미분한 후 0이 되는 값을 계산하며, 수학식 11과 같이 표현이 가능하다.
Figure pat00014
위 과정을 통해 비용 함수를 효과적으로 수렴시키며, 그에 따라 고해상도 깊이 영상을 복원한다.
도 5는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의해 복원된 고해상도 깊이 영상을 예시한 도면이다.
복원된 영상에서 볼 수 있듯, 기존 방법과 제안 방법 모두 해상도를 높이는 역할을 하지만, 제안 방법으로 복원된 영상에서 사물 간의 경계가 더 명확하고, 에지가 더 잘 구분되는 것을 확인할 수 있다.
표 1은 영상 복원 시뮬레이션에 따른 지표로, PSNR(Peak Signal-to-Noise Ratio)와 SSIM(Structural Similarity Index Map) 측면에서도 제안 방법이 원본 영상에 더 가깝게 추정되는 것을 확인할 수 있다.
Figure pat00015
도 6은 본 발명의 다른 실시예에 따른 초해상도 영상 복원 방법을 예시한 흐름도이다.
초해상도 영상 복원 방법은 초해상도 영상 복원 장치에 의해 수행될 수 있다.
초해상도 영상 복원 방법은 영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계(S10), 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계(S20), 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계(S30)를 포함한다.
초해상도 영상 복원 방법은 다수의 저해상도 저품질의 깊이 영상을 활용하여 고해상도 고품질의 깊이 영상 복원을 가능하게 한다. 에지의 선명도가 증가하고, 노이즈가 감소한 고품질의 깊이 영상은 3D 영상 재구성의 정확도 및 효용성에 큰 성능 향상을 이룬다. 이를 기반으로 3D 영상이 활용되는 다양한 분야 3D 산업의 발전을 가속화한다.
초해상도 영상 복원 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
초해상도 영상 복원 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 초해상도 영상 복원 장치에 의한 초해상도 영상 복원 방법에 있어서,
    영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계;
    상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계;
    상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계를 포함하는 초해상도 영상 복원 방법.
  2. 제1항에 있어서,
    상기 영상 장치는 ToF(Time-of-Flight) 센서에 해당하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  3. 제1항에 있어서,
    상기 열화 모델을 모델링하는 단계는,
    동일한 장면 및 위치에 대한 고주파 정보를 담고 있는 밝기 영상을 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  4. 제1항에 있어서,
    상기 고해상도 깊이 영상을 복원하는 단계는,
    깊이 영상에 대한 특성을 정규화 기술을 위한 사전 정보로 이용하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  5. 제1항에 있어서,
    상기 고해상도 깊이 영상을 복원하는 단계는,
    공간 가변적 정규화 항목에 관한 비용 함수를 설계하고 상기 비용 함수를 감소시키는 반복 과정을 거쳐 영상을 복원하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  6. 제5항에 있어서,
    상기 고해상도 깊이 영상을 복원하는 단계는,
    공간 가변적 정규화 항목에 관한 비용 함수에 대해서 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 기준치보다 적은 가중치를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  7. 제5항에 있어서,
    상기 고해상도 깊이 영상을 복원하는 단계는,
    상기 공간 가변적 정규화 항목에 관한 비용 함수에 영상에서 관측되는 노이즈 항목 및 가중 행렬에 대한 고주파 에너지를 검출하는 필터 항목 간의 비율을 조정하는 정규화 파라미터를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  8. 제7항에 있어서,
    상기 가중 행렬은 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하며,
    에지 정보는 에지 영역에서 상기 평탄 영역보다 큰 값을 나타내며,
    상기 에지의 크기를 판별하는 수단으로 기울기 연산자(gradient operator)를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  9. 제8항에 있어서,
    상기 가중 행렬은 상기 에지 정보에 반비례하도록 설계되는 것을 특징으로 하는 초해상도 영상 복원 방법.
  10. 제5항에 있어서,
    상기 고해상도 깊이 영상을 복원하는 단계는,
    컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 상기 공간 가변적 정규화 항목에 관한 비용 함수를 최소화하는 것을 특징으로 하는 초해상도 영상 복원 방법.
  11. 초해상도 영상 복원 장치에 있어서,
    저해상도 깊이 영상을 획득하는 영상 장치;
    상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 프로세서를 포함하는 초해상도 영상 복원 장치.
KR1020210111799A 2021-08-24 2021-08-24 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 KR102508384B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210111799A KR102508384B1 (ko) 2021-08-24 2021-08-24 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210111799A KR102508384B1 (ko) 2021-08-24 2021-08-24 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20230029382A true KR20230029382A (ko) 2023-03-03
KR102508384B1 KR102508384B1 (ko) 2023-03-08

Family

ID=85508429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210111799A KR102508384B1 (ko) 2021-08-24 2021-08-24 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102508384B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862800A (zh) * 2023-07-11 2023-10-10 哈尔滨工业大学 一种大视场单透镜空变模糊图像复原方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005361A1 (en) * 2016-07-01 2018-01-04 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
KR102114969B1 (ko) 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114969B1 (ko) 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
US20180005361A1 (en) * 2016-07-01 2018-01-04 Analytical Mechanics Associates, Inc. Super-resolution systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Fengqiang Li et al., "MULTI-FRAME SUPER-RESOLUTION FOR TIME-OF-FLIGHT IMAGING", 2019 IEEE International Conference on Acoustics, Speech and Signal Processing, (2019.05.12-17.)* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862800A (zh) * 2023-07-11 2023-10-10 哈尔滨工业大学 一种大视场单透镜空变模糊图像复原方法和装置
CN116862800B (zh) * 2023-07-11 2024-01-30 哈尔滨工业大学 一种大视场单透镜空变模糊图像复原方法和装置

Also Published As

Publication number Publication date
KR102508384B1 (ko) 2023-03-08

Similar Documents

Publication Publication Date Title
Li et al. Fast guided global interpolation for depth and motion
US9230303B2 (en) Multi-frame super-resolution of image sequence with arbitrary motion patterns
KR101810876B1 (ko) 타일 단위를 기반으로 큰 입력 영상의 비균일 모션 블러를 제거하는 방법 및 장치
Mandal et al. Noise adaptive super-resolution from single image via non-local mean and sparse representation
Jeon et al. Reconstruction-based pairwise depth dataset for depth image enhancement using CNN
Lu et al. Deep texture and structure aware filtering network for image smoothing
JP2021520008A (ja) 車両検査システムとその方法
US11720999B2 (en) Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
Liu et al. Automatic blur-kernel-size estimation for motion deblurring
CN110097634B (zh) 一种自适应多尺度的三维鬼成像方法
KR102508384B1 (ko) 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치
Al Ismaeil et al. Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR)
Satapathy et al. Robust depth map inpainting using superpixels and non-local Gauss–Markov random field prior
Tuptewar et al. Robust exemplar based image and video inpainting for object removal and region filling
Sadek et al. A variational model for gradient-based video editing
Bahraini et al. Edge preserving range image smoothing using hybrid locally kernel-based weighted least square
Al Ismaeil et al. Real-time non-rigid multi-frame depth video super-resolution
CN110807779A (zh) 一种基于区域分割的压缩计算鬼成像方法及系统
KR102334730B1 (ko) 라이트필드 초해상도와 블러 제거의 동시 수행을 위한 적대적 신경망 모델 장치 및 그 동작 방법
KR101152525B1 (ko) 모션 블러 제거 방법 및 이러한 방법을 수행하는 장치
RU2742346C1 (ru) Устранение размытия изображения
Sarmadi et al. A new approach in single Image Super Resolution
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
Yoo et al. Bayesian approach for automatic joint parameter estimation in 3D image reconstruction from multi-focus microscope
Lukes et al. Objective image quality assessment of multiframe super-resolution methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant