KR101602747B1 - 해상도 향상 시스템 및 방법 - Google Patents

해상도 향상 시스템 및 방법 Download PDF

Info

Publication number
KR101602747B1
KR101602747B1 KR1020147004323A KR20147004323A KR101602747B1 KR 101602747 B1 KR101602747 B1 KR 101602747B1 KR 1020147004323 A KR1020147004323 A KR 1020147004323A KR 20147004323 A KR20147004323 A KR 20147004323A KR 101602747 B1 KR101602747 B1 KR 101602747B1
Authority
KR
South Korea
Prior art keywords
image
resolution
buffer
low resolution
rti
Prior art date
Application number
KR1020147004323A
Other languages
English (en)
Other versions
KR20140063609A (ko
Inventor
루트피 무라트 게브렉치
Original Assignee
아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 filed Critical 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티
Publication of KR20140063609A publication Critical patent/KR20140063609A/ko
Application granted granted Critical
Publication of KR101602747B1 publication Critical patent/KR101602747B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

본 발명은 짐벌을 사용하지 않고 깊이 해상도가 향상될 수 있게 하는 해상도 향상 시스템(1) 및 해상도 향상 방법(100)에 관한 것이며, 조명 조건과 카메라 파라미터로부터 독립적으로 깊이 표현을 고해상도로 수행한다.

Description

해상도 향상 시스템 및 방법{A SYSTEM AND METHOD FOR RESOLUTION ENHANCEMENT}
본 발명은 이미지 처리 기술에서 깊이 해상도가 증가될 수 있게 하는 해상도 향상 시스템 및 방법에 관한 것이다.
객체 운동 분석을 다루는 운동 기술로부터의 구조가 깊이 정보를 획득하는데 빈번하게 사용된다. 전술한 기술은 상이한 각도로부터 얻어진 이미지를 관련지음으로써 깊이 분석을 수행하는 것에 기초한다. 그러나, 포인트 관련화(association)는 텍스쳐가 없는(textureless) 영역에서 다루기 힘든 작업이며, 시간을 소모하는 작업이다.
구조화된 라이트닝(structured lightening), 스테레오 비젼 및 레이저 스캐닝과 같은 최신의 재구성 기술은 사용되는 시스템의 배치를 복잡하게 하는 여러 부분 또는 움직이는 짐벌(gimbal)을 포함한다. 전술한 시스템보다 컴팩트한 ToF(time of flight) 카메라 시스템에 대한 수요가 점점 증가하고 있다. 깊이 이미징 및 재구성 기술에서 진보가 있어 왔지만, 종래의 시스템은 제한된 해상도를 가지며 작업량 내에서 제한된 부분의 깊이만 획득할 수 있다. 그러나, 사용될 시스템은 조명 조건 및 카메라 파라미터에 독립적인 깊이 표현을 수행하고 높은 해상도 출력을 생성하는 것으로 기대된다.
최신 기술로 알려진 출원인 미국 특허 문헌 No. US6137566은 레이저 레이더 수신기에 대한 신호를 처리하는 방법 및 장치를 개시한다. 상기 장치는 광 검출기의 출력을 조정 가능한 임계 레벨과 비교하는 비교기를 포함한다.
최신 기술로 알려진 출원인 미국 특허 문헌 No. US7511801은 ToF 시스템에서의 센서의 자동 이득 제어 시스템 또는 방법을 개시한다. 상기 방법에서, 과노출되고 저노출된 픽셀들이 비교되고, 이에 따라 픽셀에 도달하는 빛이 적어도 하나의 파라미터를 변경함으로써 조정된다.
최신 기술로 알려진 출원인 미국 특허 문헌 No. US2009073419는 이중 해상도, 이중 범위 센서 시스템 및 방법을 개시한다. 상기 문헌에서, 시스템의 동작 모드에서 스캐닝되기 바라는 영역의 저해상도 프로파일이 생성되고, 고해상도 스캐닝이 이 프로파일을 이용하여 수행된다.

최신 기술로서 알려진 제목이 "Depth Map Super Resolution"인 논문(Gevrekci 등), 제목이 "Superresolution under Photometric Diversity of Images"인 논문(Gevrekci 등) 및 제목이 "High Resolution and High Dynamic Range Image Reconstruction from Differently Exposed Image"인 논문(Nakai 등)은 저해상도 이미지를 이용함으로써 고해상도 이미지를 획득하는 것에 관하여 개사한다.
본 발명의 과제는 이미지 처리 기술에서 깊이 해상도가 증가될 수 있게 하는 해상도 향상 시스템 및 방법을 실현하는 것이다.
본 발명의 다른 과제는, 짐벌 또는 기계적 부품을 이용하지 않는 해상도 향상 시스템 및 방법을 실현하는 것이다.
본 발명의 다른 과제는, 작업량의 상이한 부분으로부터의 깊이 정보가 상이한 카메라 누적 시간(integration time)을 이용하여 결합되는 해상도 향상 시스템 및 방법을 실현하는 것이다.
본 발명의 또 다른 과제는, 조명 조건 및 카메라 파라미터에 독립적으로 깊이 표현을 고해상도로 수행하는 해상도 향상 시스템 및 방법을 실현하는 것이다.
본 발명의 과제를 충족하기 위해 개발된 해상도 향상 시스템 및 방법은 다음과 같은 첨부된 도면에 도시된다:
도 1은 해상도 향상 시스템의 개략도이다.
도 2는 시간 인덱스에 따른 하나의 가능한 누적 시간 변화 시컨스이다.
도 3은 해상도 향상 방법의 플로우 차트이다.
도 4는 해상도 향상 방법의 단계 104의 서브 단계들의 플로우 차트이다.
도 5는 해상도 향상 방법의 단계 125의 서브 단계들의 플로우 차트이다.
이미지 획득 동안 사용되는 상이한 노출 시간은 "누적 시간(Integration Time)"이라고도 한다.
본 발명의 해상도 향상 시스템(1)은,
- 이미지를 획득할 수 있는 적어도 하나의 이미징 유닛(2);
- 획득되는 이미지에 대하여 상이한 노출 시간이 생성될 수 있게 하는 적어도 하나의 노출 생성 모듈(31), 이미징 유닛(2)의 오프셋에 대한 데이터가 생성될 수 있게 하는 적어도 하나의 오프셋 생성 모듈(32) 및 데이터가 수신 및 전송될 수 있게 하는 적어도 하나의 데이터 전송 모듈(33)을 갖는 적어도 하나의 데이터 전송 유닛(3);
- 획득된 이미지가 저장될 수 있게 하는 적어도 하나의 데이터베이스(4);
- 오프셋 생성 모듈(32)에 의해 획득된 이미지에 따라 3차원으로 이미징 유닛(2)의 이동을 가능하게 하는 적어도 하나의 모션 유닛(5);
- 획득된 이미지가 처리될 수 있게 하는 적어도 하나의 제어 유닛(6);
- 이미지들 사이의 차이가 저장되는 적어도 하나의 그래디언트 버퍼(7); 및
- 고해상도 깊이 이미지가 저장되는 적어도 하나의 이미지 버퍼(8)
를 포함한다.
본 발명의 해상도 향상 방법(100)은,
- 그래디언트 버퍼(7) 및 이미지 버퍼를 초기화하는 단계(101);
- 노출 생성 모듈(31) 및 오프셋 생성 모듈(32)로부터 수신된 데이터를 이용하여 이미징 유닛(2)으로부터 저해상도 이미지를 획득하는 단계(102);
- 수신된 이미지를 데이터베이스(4)에 등록하는 단계(103);
- 해상도 향상 처리를 구현하는 단계(104); 및
- 최종 이미지를 사용자에게 디스플레이하는 단계(105)
를 포함한다.
본 발명의 바람직한 실시예에서, 해상도 향상 처리를 구현하는 단계(104)는,
- 이전의 저해상도 이미지에 따라 이미징 유닛(2)으로부터 마지막으로 수신된 저해상도 이미지의 서브 픽셀 모션(motion)을 판단하는 단계(120);
- 단계 120에서 판단된 모션 양(motion quantity) 데이터를 이용하여, 이미지 버퍼(8)에서의 마지막 이미지를 이전 이미지와 공간적으로 정렬하는 단계(121);
- 단계 120에서 판단된 서브 픽셀 레벨 움직임을 이용하여 이미지 버퍼(8)에서의 마지막 이미지를 이전 이미지와 정렬하는 단계(122);
- 단계 120에서 예측된 모션 양을 이용함으로써, 그래디언트 버퍼(7)에서의 마지막 이미지를 이전 이미지와 정렬하는 단계(123);
- 단계 123에서 획득된 정렬된 이미지에서 포화되고 노이즈가 낀 데이터를 이용함으로써 가중 함수를 결정하는 단계(124);
- 그래디언트 버퍼(7)를 계산하고 이미지 버퍼(8) 내의 이미지들 사이의 차이를 찾는 단계(125);
- 단계 125에서 찾아진 차이를 단계 123에서 정렬된 이미지에 소정 부분 평균하는 단계(126);
- 단계 126에서 획득된 이미지를 그래디언트 버퍼(7)에 저장하는 단계(127);
- 단계 121에서 획득된 이미지와 그래디언트 버퍼(7) 내의 이미지를 소정의 콘텐트 비(content ratio)로 결합하는 단계(128);
- 획득된 이미지에서 고해상도 요소를 억제하는 단계(129); 및
- 단계 129에서 획득된 이미지를 이미지 버퍼(8)에 등록하는 단계(130)
를 포함한다.
본 발명의 바람직한 실시예에서, 이미지 버퍼(8) 내의 이미지들 사이의 차이를 찾고, 그래디언트 버퍼(7)를 계산하는 단계(125)는,
- 이미징 유닛(2)으로부터 저해상도 이미지를 획득하는 단계(150);
- 이미지 버퍼(8) 내의 이미지와 단계 150에서 획득된 이미지를 광도 측정식으로 조정하는 단계(151);
- 단계 150에서 획득된 이미지의 크기로 이미지 버퍼(8) 내의 이미지를 다운 스케일링하는 단계(152);
- 단계 152에서 획득된 이미지와 단계 150에서 획득된 이미지 사이의 깊이 차이를 판단하는 단계(153);
- 단계 153에서 판단된 차이를 이미지 버퍼(8) 내의 이미지의 크기로 다시 업 스케일링하는 단계(154); 및
- 단계 154에서 획득된 이미지와 단계 124에서 획득된 가중 함수를 곱하는 단계(155)
를 포함한다.
본 발명의 해상도 향상 시스템(1)이 활성화될 때 이미지 정보를 가지지 않기 때문에, 그래디언트 버퍼(7)와 이미지 버퍼(8)는 값 0으로 초기화된다(101). 그 다음, 모션 유닛(5)은 오프셋 생성 모듈(32)에 의해 생성된 데이터를 이용하여 이미징 유닛(2)을 이동시키고, 이미징 유닛(2)은 노출 생성 모듈(31)에 의해 생성된 데이터에 따라 저해상도 이미지를 얻는다(102). 이러한 이미지는 데이터베이스(4)에 기록된다(103). 획득된 이미지는 해상도 향상 처리로 처리된다(104). 그 다음, 해상도 향상을 처리함으로써 생성된 최종 이미지는 사용자에게 디스플레이된다(105).
본 발명의 바람직한 실시예에서, 노출 생성 모듈(31) 및 오프셋 생성 모듈(32)로부터 수신된 데이터를 이용하여 이미징 유닛(2)으로부터 저해상도 이미지를 얻는 단계(다른 말로 하면, 단계 102)는, 노출 생성 모듈(31) 및 오프셋 생성 모듈(32)에 의해 각각 생성된 상이한 노출 및 오프셋 정보를 이용하여 반복된다.
본 발명의 바람직한 실시예에서, 해상도 향상 처리를 구현하는 단계(다른 말로 하면, 단계 104)에서, 다음의 처리가 구현된다.
제어 유닛(6)은 이미징 유닛(2)으로부터 수신된 마지막의 저해상도 이미지와 데이터베이스(4) 내의 마지막으로 등록된 저해상도 이미지를 비교하고, 이러한 이미지들 사이에서의 모션 양(motion quantity)을 서브 픽셀 레벨로 판단한다(120). 수신된 마지막의 저해상도 이미지와 데이터 베이스(4) 내의 마지막의 저해상도 이미지는 예측된 모션을 이용하여 정렬된다(121). 버퍼(8)에 저장된 고해상도 이미지는 단계 120에서 판단된 오프셋 양 정보를 이용하여 이전에 획득된 이미지와 정렬된다(122). 그래디언트 버퍼(7) 내에 저장된 이미지는 단계 120에서 판단된 오프셋 양 정보를 이용하여 이전에 획득된 이미지와 정렬된다(123). 그 다음, 단계 123에서 획득된 이미지에서의 포화되고 노이즈가 낀 포인트가 추출되고, 가중 함수가 이러한 오염된 픽셀을 이용하여 결정된다(124). 그 다음, 그래디언트 버퍼(7) 내의 이미지와 이미지 버퍼(8) 내의 이미지 사이의 차이가 계산된다(125). 단계 125에서 찾아진 차이는 단계 123에서 정렬된 이미지에 소정 부분 구현된다(126). 이러한 차이를 구현하는 것으로 획득된 이미지는 그래디언트 버퍼(7)에 저장된다(127). 그 다음, 그래디언트 버퍼(7)에 저장된 이미지와 단계 121에서 획득된 이미지는 스텝 크기를 이용하여 결합된다(128). 그리고 그 후, 단계 128에서 획득된 고주파수 요소가 억제된다(129). 다음으로, 단계 129에서 획득된 이미지는 이미지 버퍼(8)에 등록된다(130).
본 발명의 바람직한 실시예에서, 그래디언트 버퍼(7) 내의 이미지와 이미지 버퍼(8) 내의 이미지 사이의 차이를 찾는 단계(다른 말로 하면, 단계 125)에서 다음의 단계들이 수행된다:
먼저, 저해상도 이미지가 이미징 유닛(2)으로부터 획득된다(150). 획득된 이미지는 이미지 버퍼(8) 내의 이미지와 광도 측정식으로(photometrically) 정렬된다(151). 그 다음, 이미지 버퍼(8) 내에 존재하는 이미지는 단계 150에서 획득된 이미지의 크기로 다운 스케일링된다(downscaled). 그 후, 단계 152에서 획득된 이미지와 단계 150에서 획득된 이미지 사이의 깊이 차이가 판단된다(153). 획득된 깊이 차이 정보는 다시 이미지 버퍼(8) 내의 이미지의 크기로 업 스케일링된다(upscaled)(154). 그 다음, 이미지 버퍼(8) 내의 이미지의 크기로 업 스케일링된 이러한 차이는 단계 124에서 획득된 가중 함수로 곱해진다(155).
본 발명의 바람직한 실시예에서, 단계 152에서의 다운 스케일링 과정은 이미지 버퍼(8) 내에 존재하는 이미지로부터 얻어진 각각의 픽셀 이후에 위치된 소정의 양의 픽셀을 스킵함으로써 실현된다. 상기 실시예에서, 스킵되는 픽셀의 수는 이미지 버퍼(8) 내의 이미지 크기와 깊이 차이 정보의 크기의 비인 해상도 향상 인자에 대응한다.
본 발명의 바람직한 실시예에서, 단계 154에서의 업 스케일링 과정은 이미지 버퍼(8) 내의 이미지와 깊이 차이 정보 내의 2개의 픽셀 사이의 깊이 차이 정보의 크기의 비만큼 0비트를 삽입함으로써 실현된다. 상기 과정은 "0 삽입을 이용한 업 스케일링"이라 한다.
본 발명의 해상도 향상 시스템(1)은 깊이 재구성 목적을 위한 이미지 획득을 가능하게 하는 적어도 하나의 이미징 유닛(2)을 포함한다. 이미징 유닛(2)이 상기 이미지를 획득하는 동안 사용할 노출 시간은 데이터 전송 유닛(3)이 가지는 노출 생성 모듈(32)에 의해 생성된 노출 정보에 따라 결정된다. 이미징 유닛(2)의 모션을 3차원으로 생성하는 모션 유닛(5)은 오프셋 생성 모듈(32)에 의해 생성된 정보를 이용하여 이미징 유닛(2)을 이동시킨다. 이러한 방법으로, 이미징 유닛(2)은 가변하는 노출 시간으로 그리고 상이한 뷰(view)로부터 이미지를 획득한다. 획득된 이미지는 데이터베이스(4)에 기록된다. 해상도 향상 방법(100)의 단계들에 따라 이미지를 처리함으로써 획득된 고해상도 이미지는 스크린(도면에는 미도시)을 통해 사용자에게 디스플레이된다.
제어 유닛(6)은 이미징 유닛(2)에 의해 획득된 이미지를 데이터베이스(4)에 전송하고, 이 이미지는 데이터베이스(4)에 저장된다.
본 발명의 바람직한 실시예에서, 이전의 저해상도 이미지에 비교하여 이미징 유닛(2)으로부터 마지막으로 수신된 저해상도 이미지의 모션 양을 판단하는데 있어서(다른 말로는 단계 120에서), 이미지는 픽셀 강도(intensity) 세트에 따른 콘트라스트 스트레칭 처리(contrast stretching process)를 받으며, 그 다음 Harris Corner Detector 알고리즘과 같은 코너(특징) 검출 알고리즘이 3차원 코너 응답 맵을 생성하기 위하여 상기 이미지에 적용된다. 본 실시예에서, 위치된 공간에서의 상관 매트릭스는 다음과 같이 계산된다:
Figure 112014016480097-pct00001

여기에서,
Figure 112014016480097-pct00002
는 각각 수직 및 수평 방향으로의 그래디언트 연산자이다. 그 다음, 코너 응답(cornerness response)이 수학식
Figure 112014016480097-pct00003
에 따라 계산된다. 여기에서, "k"는 코너 응답 계수이고, 이는 일반적으로 대략 0.04로 선택된다. 여기에서, (x, y)는 각각 속성을 위해 계산되는 포인트의 수평 및 수직 좌표이다. 그리고, (m, n)은 특징 포인트 주위에서 취해진 윈도우 이웃(N) 내의 수평 및 수직 인덱스이다. 본 실시예에서, 콘트라스트 스트레칭 처리는 다음의 식에 따라 결정된다:
Figure 112014016480097-pct00004

l c 는 콘트라스트 스트레칭이 적용되는 이미지이고, l은 원(raw) 이미지이고, f c 는 콘트라스트 스트레칭 함수를 상징하고, 그 기울기는 γ에 의해 결정되고 그 중심은 c로서 표시되고, 이는 [0, 1]의 범위 내에 있다.
본 발명의 바람직한 실시예에서, 코너의 유사성은 정규화된 교차 상관식으로 결정된다.
Figure 112014016480097-pct00005

A 및 B는 정렬될 이미지 내의 특징 주위에서 취해지는 블록을 나타낸다. n은 블록 내의 픽셀의 수에 대응한다.
본 발명의 바람직한 실시예에서, 적어도 2개의 이미지가 이미징 유닛(2)으로부터 얻어지고, 상기 이미지들은 데이터베이스(4) 내에 저장된다. 제어 유닛(6)은 상기 이미지들 중에서 이전의 이미지를 기하학적 레퍼런스로 사용하고, 나중의 이미지를 상기 레퍼런스와 정렬함으로써 나머지(residue)를 계산한다. 본 실시예에서, 이미지의 평균 깊이는 단계 153에서 다음의 수학식에 따라 계산된다.
Figure 112014016480097-pct00006

여기에서, i는 이미지 인덱스이고, l 1 , l 2 는 저해상도 이미지의 공간 인덱스이고, n 1 , n 2 는 고해상도 이미지에서의 공간 주파수이고,
Figure 112014016480097-pct00007
은 정규화된 방사 조도(irradiance) 값이다. 나머지 계산은 평균 깊이 정보와 원(raw) 깊이 D i 를 이용하여 다음의 수학식에 따라 수행된다.
Figure 112014016480097-pct00008

본 발명의 바람직한 실시예에서, 그래디언트 버퍼는 수학식
Figure 112014016480097-pct00009
에 따라 건망증 평균(amnesic mean)을 이용하여(다른 말로 하면 단계 126에서) 누적된다. 이 수학식에서,
Figure 112014016480097-pct00010
는 그래디언트 버퍼에 저장된 결과에 따른 그래디언트 값이고, l은 l = λm에 따라 계산된 값이다. m은 시간 인덱스 값이고, λ은 망각 인자(forgetting factor)를 결정하는 건망증 인자이다. 건망증 평균은 그래디언트에서의 일시적인 변화에 맞추어지고, 그래디언트가 이미지 평균을 지배하지 않는 것을 보장한다.
본 발명의 바람직한 실시예에서, 단계 123에서 정렬된 이미지에 대한 소정의 비로 단계 125에서 찾아진 차이를 평균하는 단계에서(다른 말로 하면, 단계 126에서), 언급된 비는 본 발명이 속하는 기술분야에서 알려진 "최급강하(steepest descent)" 또는 "켤레 그래디언트('conjugate gradient)" 방법으로 계산된 스텝 크기를 이용하여 획득된다. 본 실시예에서, 이미지 버퍼는 수학식
Figure 112014016480097-pct00011
에 따라(다른 말로 하면 단계 128에서) 업데이트된다. 수학식에서, α는 스텝 크기이고, x m +1 은 시간 (m+1)에서의 초해상도(super-resolution) 이미지이고, x m 은 시간 m에서의 초해상도 이미지이다.
본 발명의 바람직한 실시예에서, 획득된 이미지에서 고주파수 요소를 억제하는 단계(다른 말로 하면, 단계 129에서), 억제 과정은 다음의 수학식에 따라 실현된다.
Figure 112014016480097-pct00012

수학식에서, q는 방사 조도 값이고, n1 및 n2는 평면 좌표이고, α는 카메라 누적 시간이고, f는 노이즈가 끼고 포화된 센서 값을 억제하기 위하여 단계 124에서 계산된 가중 함수를 역시 포함하는 광전(optoelectric) 회로 함수이다.
본 발명의 해상도 향상 시스템(1) 및 해상도 향상 방법(100)에 대한 매우 다양한 실시예를 개발하는 것이 가능하다. 본 발명은 본 명세서에 설명된 예들에 한정되지 않으며, 본질적으로 특허청구범위에 따른다.
도면에 도시된 부분들은 다음과 같은 도면 부호가 주어진다:
1 해상도 향상 시스템
2 이미징 유닛
3 데이터 전송 유닛
31 노출 생성 모듈
32 오프셋 생성 모듈
33 데이터 전송 모듈
4 데이터베이스
5 모션 유닛
6 제어 유닛
7 그래디언트 유닛
8 이미지 버퍼

Claims (16)

  1. 저해상도로 획득된 이미지를 고해상도가 되게 하는 해상도 향상 방법(100)에 있어서,
    그래디언트 버퍼(7) 및 이미지 버퍼를 초기화하는 단계(101);
    노출 생성 모듈(31) 및 오프셋 생성 모듈(32)로부터 수신된 데이터를 이용하여 이미징 유닛(2)으로부터 저해상도 이미지를 획득하는 단계(102);
    수신된 상기 이미지를 데이터베이스(4)에 기록하는 단계(103);
    이전의 저해상도 이미지에 대하여 상기 이미징 유닛(2)으로부터 마지막으로 수신된 저해상도 이미지의 모션 양을 판단하는 단계(120);
    상기 단계 120에서 예측된 모션 양을 이용하여, 마지막 저해상도 이미지를 이전 저해상도 이미지와 정렬하는 단계(121);
    상기 단계 120에서 예측된 모션을 이용함으로써, 상기 이미지 버퍼(8)에서의 마지막 이미지를 이전 이미지와 정렬하는 단계(122);
    상기 단계 120에서 예측된 모션을 이용함으로써, 상기 그래디언트 버퍼(7)에서의 마지막 이미지를 이전 이미지와 정렬하는 단계(123);
    상기 단계 123에서 획득된 정렬된 이미지에서 포화되고 노이즈가 낀 데이터를 이용함으로써 가중 함수를 결정하는 단계(124);
    상기 이미지 버퍼(8) 내의 이미지들 사이의 차이를 찾고, 그래디언트 버퍼(7)를 계산하는 단계(125);
    상기 단계 125에서 찾아진 차이를 상기 단계(123)에서 정렬된 이미지에 소정 부분 평균하는 단계(126);
    상기 단계 126에서 획득된 이미지를 그래디언트 버퍼(7)에 저장하는 단계(127);
    상기 단계 121에서 획득된 이미지와 상기 그래디언트 버퍼(7) 내의 이미지를 소정의 콘텐트 비(content ratio)로 결합하는 단계(128);
    획득된 상기 이미지에서 고해상도 요소를 억제하는 단계(129);
    상기 단계 129에서 획득된 이미지를 이미지 버퍼(8)에 등록하는 단계(130); 및
    최종 이미지를 사용자에게 디스플레이하는 단계(105)
    를 포함하는 것을 특징으로 하는,
    해상도 향상 방법(100).
  2. 제1항에 있어서,
    상기 그래디언트 버퍼는, 상기 단계 126에서 획득된 이미지를 상기 그래디언트 버퍼(7)에 저장하는 단계(상기 단계 127)에서, 수학식
    Figure 112014016776310-pct00013
    에 따라 업데이트되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  3. 제1항 또는 제2항에서,
    억제 및 광도 측정식(photometric) 정규화 처리가, 상기 획득된 이미지에서 고주파수 요소를 억제하는 단계(상기 단계 129)에서
    Figure 112014016776310-pct00014
    에 따라 실현되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  4. 제1항 또는 제2항에 있어서,
    상기 이미지 버퍼(8) 내의 이미지와 상기 그래디언트 버퍼(7) 내의 이미지 사이의 차이를 찾는 단계(125)는,
    상기 이미징 유닛(2)으로부터 저해상도 이미지를 획득하는 단계(150);
    상기 단계 150에서 획득된 이미지에 대하여 상기 이미지 버퍼(8) 내의 이미지의 색조를 조정하는 단계(151);
    상기 단계 150에서 획득된 이미지의 크기로 상기 이미지 버퍼(8) 내의 이미지를 다운 스케일링하는 단계(152);
    상기 단계 152에서 획득된 이미지와 상기 단계 150에서 획득된 이미지 사이의 깊이 차이를 판단하는 단계(153);
    상기 단계 153에서 판단된 차이를 상기 이미지 버퍼(8) 내의 이미지의 크기로 다시 업 스케일링하는 단계(154); 및
    상기 단계 154에서 획득된 이미지와 상기 단계 124에서 획득된 가중 함수를 곱하는 단계(155)
    를 포함하는 것을 특징으로 하는,
    해상도 향상 방법(100).
  5. 제1항 또는 제2항에 있어서,
    상기 노출 생성 모듈(31) 및 상기 오프셋 생성 모듈(32)로부터 수신된 데이터를 이용하여 상기 이미징 유닛(2)으로부터 저해상도 이미지를 획득하는 단계(상기 단계 102)는, 상기 노출 생성 모듈(31) 및 상기 오프셋 생성 모듈(32)에 의해 생성된 상이한 노출 및 오프셋 정보를 이용하여 반복되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  6. 제1항 또는 제2항에 있어서,
    상기 이전의 저해상도 이미지에 대하여 상기 이미징 유닛(2)으로부터의 마지막으로 수신된 저해상도 이미지의 모션 양을 판단하는 단계(상기 단계 120)에서, 상기 이미지는 픽셀 강도(intensity) 세트에 따른 콘트라스트 스트레칭 처리(contrast stretching process)를 받는 것을 특징으로 하는,
    해상도 향상 방법(100).
  7. 제6항에 있어서,
    상기 콘트라스트 스트레칭 처리는,
    Figure 112014016776310-pct00015
    에 따라 수행되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  8. 제1항 또는 제2항에 있어서,
    광도 측정 변동에 변함없이 3차원 코너 응답 맵을 생성하기 위하여, 코너 검출 알고리즘이 획득된 상기 이미지에 적용되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  9. 제8항에 있어서,
    상기 코너의 유사성이
    Figure 112014016776310-pct00016
    에 따라 계산되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  10. 제4항에 있어서,
    상기 단계 152에서 획득된 이미지와 상기 단계 150에서 획득된 이미지 사이의 깊이 차이를 판단하는 단계(상기 단계 153)에서, 이미지들 사이의 상기 차이는 상기 이미지들의 평균 깊이 정보를 계산하고, 계산된 상기 차이에 따른 나머지(residual) 계산을 수행하여 결정되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  11. 제10항에 있어서,
    상기 평균 깊이의 계산은, 수학식
    Figure 112014016776310-pct00017
    에 따라 수행되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  12. 제10항에 있어서,
    상기 나머지 계산은 수학식
    Figure 112015071324096-pct00018
    에 따라 수행되는 것을 특징으로 하는,
    해상도 향상 방법(100).
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020147004323A 2011-12-12 2011-12-12 해상도 향상 시스템 및 방법 KR101602747B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2011/055614 WO2013088197A1 (en) 2011-12-12 2011-12-12 A system and method for resolution enhancement

Publications (2)

Publication Number Publication Date
KR20140063609A KR20140063609A (ko) 2014-05-27
KR101602747B1 true KR101602747B1 (ko) 2016-03-11

Family

ID=45563459

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004323A KR101602747B1 (ko) 2011-12-12 2011-12-12 해상도 향상 시스템 및 방법

Country Status (5)

Country Link
US (1) US9262806B2 (ko)
EP (1) EP2727077A1 (ko)
JP (1) JP2015510705A (ko)
KR (1) KR101602747B1 (ko)
WO (1) WO2013088197A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906717B1 (en) * 2016-09-01 2018-02-27 Infineon Technologies Ag Method for generating a high-resolution depth image and an apparatus for generating a high-resolution depth image

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010539481A (ja) 2007-09-17 2010-12-16 クオリティー ヴィジョン インターナショナル インコーポレイテッド 二分解能，二距離センサのシステムおよび方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6137566A (en) 1999-02-24 2000-10-24 Eoo, Inc. Method and apparatus for signal processing in a laser radar receiver
JP2001012912A (ja) * 1999-06-29 2001-01-19 Fuji Photo Film Co Ltd 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法
US7379163B2 (en) 2005-02-08 2008-05-27 Canesta, Inc. Method and system for automatic gain control of sensors in time-of-flight systems
JP4069940B2 (ja) * 2005-10-06 2008-04-02 セイコーエプソン株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
JP5252642B2 (ja) * 2009-04-13 2013-07-31 独立行政法人情報通信研究機構 奥行推定装置、奥行推定方法および奥行推定プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010539481A (ja) 2007-09-17 2010-12-16 クオリティー ヴィジョン インターナショナル インコーポレイテッド 二分解能，二距離センサのシステムおよび方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Murat Gevrekci, Bahadir K. Gunturk, Hindawi Publishing Corporation EURASIP Journal on Advances in Signal Processing Volume 2007
Murat Gevrekciz, Kubilay Pakin, 2011 18th IEEE International Conference on Image Processing, 2011.09.11-14, p. 3449-3452

Also Published As

Publication number Publication date
US20140193041A1 (en) 2014-07-10
WO2013088197A1 (en) 2013-06-20
JP2015510705A (ja) 2015-04-09
EP2727077A1 (en) 2014-05-07
KR20140063609A (ko) 2014-05-27
US9262806B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
US10462447B1 (en) Electronic system including image processing unit for reconstructing 3D surfaces and iterative triangulation method
US20190174028A1 (en) Systems and Methods for Capturing Digital Images
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
US7970170B2 (en) Continuous extended range image processing
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US20060119710A1 (en) Systems and methods for de-blurring motion blurred images
US8200046B2 (en) Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques
KR101505352B1 (ko) 하전 입자 현미경 장치 및 화상 촬상 방법
JP5978949B2 (ja) 画像合成装置及び画像合成用コンピュータプログラム
US10116851B2 (en) Optimized video denoising for heterogeneous multisensor system
WO2017057047A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4831760B2 (ja) ３次元情報検出方法及びその装置
JP6045378B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11282176B2 (en) Image refocusing
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
US20190052793A1 (en) Apparatus for generating a synthetic 2d image with an enhanced depth of field of an object
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
KR101602747B1 (ko) 해상도 향상 시스템 및 방법
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
Wegner et al. Image based performance analysis of thermal imagers
JP2009187138A (ja) 対応点探索装置
Schwering et al. Image enhancement technology research for army applications
JP6292947B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 5