KR20170087814A - 영상 블러링 제거 방법 및 장치 - Google Patents

영상 블러링 제거 방법 및 장치 Download PDF

Info

Publication number
KR20170087814A
KR20170087814A KR1020160107863A KR20160107863A KR20170087814A KR 20170087814 A KR20170087814 A KR 20170087814A KR 1020160107863 A KR1020160107863 A KR 1020160107863A KR 20160107863 A KR20160107863 A KR 20160107863A KR 20170087814 A KR20170087814 A KR 20170087814A
Authority
KR
South Korea
Prior art keywords
image
blurring
dvs
blur
removal processing
Prior art date
Application number
KR1020160107863A
Other languages
English (en)
Other versions
KR102563750B1 (ko
Inventor
치앙 왕
이규빈
박근주
핑 구오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/356,808 priority Critical patent/US10062151B2/en
Publication of KR20170087814A publication Critical patent/KR20170087814A/ko
Application granted granted Critical
Publication of KR102563750B1 publication Critical patent/KR102563750B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/003—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

영상 블러링 제거 방법은, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하는 단계 및 상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계를 포함한다. 영상 블러링 제거 효과가 개선된 방법이 개시된다.

Description

영상 블러링 제거 방법 및 장치{Method and Device of Image Deblurring}
아래에 설명되는 실시예들은 영상 처리 기술에 관한 것으로, 영상 블러링 제거 방법 및 장치에 관한 것이다.
카메라를 사용하여 사진을 촬영할 때 손이 흔들리는 등 각종 원인에 의해 이미지가 흐려질 수 있다. 일반적으로 카메라 운동으로 인한 영상 블러링을 제거하거나 감소시키기 위해, 형성된 블러링 이미지에 대해서 블러링 제거 처리를 수행함으로써 선명한 이미지를 획득한다.
기존의 블러링 제거 방법은 디콘볼루션 방식으로 블러링을 제거하므로 특정 영상에 대해서만 블러링을 제거하는 효과가 있다. 선명한 영상에 블러링이 발생하는 원인이 불명확할 경우 디콘볼루션을 이용하여 블러링을 제거하는 방법 자체가 문제가 될 수 있다. 영상이 블러링된 원인을 알지 못하므로 대부분의 방법은 해결하고자 하는 영상에 대해 목표하는 수치를 설정하고 실제 영상이 설정한 영상의 수치와 일치하지 않으면 블러링 제거 방법은 그 효과가 크지 않을 수 있다.
영상 블러링 제거 방법은, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하는 단계 및 상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계를 포함한다.
상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계는, 상기 DVS 이벤트 집합에 기초하여 DVS 엣지(edge) 추정 영상을 추정하고, 상기DVS 엣지 추정 영상에 기초하여 상기 블러링 제거 처리를 수행하는 단계를 포함할 수 있다.
상기DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행하는 방식은, 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하는 방식, 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고, 블러링 제거 처리 횟수가 최대 반복(iteration) 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램(Average Edge Diagram)을 결정하고, 상기 평균 엣지 다이어그램을 이용하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 제거 처리 결과를 블러링 제거 결과로 출력하는 방식, 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 횟수가 최대 반복 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식 및 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식 중 적어도 하나를 포함할 수 있다.
상기 DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계는, 상기 DVS 이벤트 집합에 기초하여, 상기 블러링 이미지가 노출되는 동안 카메라 운동 궤적 및 DVS 엣지 추정 영상을 추정하는 단계 및 상기 카메라 운동 궤적 및 DVS 엣지 추정 영상에 기초하여 상기 블러링 제거 처리를 수행하는 단계를 포함할 수 있다.
상기 카메라 운동 궤적 및 DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행하는 방식은, 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식, 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 설정된 최대 반복 횟수에 달성하지 못하면, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고 상기 평균 엣지 다이어그램을 이용하여, 설정된 최대 반복 횟수에 달성할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식 및 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고 블러링 제거 처리 횟수가 최대 반복 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 설정된 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식 중 적어도 하나를 포함할 수 있다.
상기 정렬 결과에 기초하여 블러링 제거 처리를 수행하는 단계는, 현재 정렬된 DVS 엣지 추정 영상에 기초하여 디콘볼루션 변환(deconvolution transform)을 이용하여 현재 정렬된 블러링 이미지에 대해 블러링 제거 처리를 수행하고, 현재 반복 단계에서 획득한 선명한 이미지를 블러링 제거 처리 결과로 하는 단계, 현재 반복 단계 및 이전 반복 단계에서의 이미지의 선명도 차이가 미리 정해진 임계값보다 작은 경우, 미리 정해진 블러링 제거 처리 수치를 만족한 것으로 결정하고, 상기 선명도의 차이가 상기 임계값보다 큰 경우, 미리 정해진 블러링 제거 처리 수치보다 작다고 결정하는 단계를 포함할 수 있다.
상기 DVS 이벤트 집합에 기초하여 카메라 운동 궤적을 추정하는 단계는, 상기 노출되는 시간을 시간 순서에 따라 N개의 타임 슬라이스로 분할하고, 상기 DVS 이벤트 집합 중 같은 타임 슬라이스에 위치한 DVS 이벤트를 독립적인 이미지로 형성하고, 상기 N 개의 타임 슬라이스 내에 형성된 이미지에 기초하여 상기 노출되는 동안 카메라 운동 궤적을 결정하는 단계를 포함할 수 있다.상기 카메라 운동 궤적을 결정하는 방식은, 2개의 연속된 타임 슬라이스마다 형성된 이미지 중에서, 상기 DVS 이벤트의 위치 관계에 기초하여, 상기 2개의 연속된 타임 슬라이스 내 카메라의 변위(displacement)를 결정하고, 상기 노출되는 동안 2개의 연속된 타임 슬라이스마다 카메라의 변위들을 모두 시간 순서에 따라 연결하고, 상기 노출되는 동안의 카메라 운동 궤적 형성을 포함할 수 있다.상기 DVS 이벤트 집합에 기초하여 상기 DVS 엣지 추정 영상을 추정하는 단계는, 상기 노출되는 시간을 시간 순서에 따라 N 개의 타임 슬라이스로 분할하고, 상기 DVS 이벤트 집합 중 같은 타임 슬라이스에 있는 DVS 이벤트를 통합한 이미지를 형성하고, 모든 타임 슬라이스 내에 형성된 이미지를 정렬 및 중첩(overlay)하고, 중첩된 이미지의 스켈레톤(Skeleton) 다이어그램을 상기 DVS 엣지 추정 영상으로 계산하는 단계를 포함할 수 있다.
임의의 2개의 타임 슬라이스의 이미지를 정렬하는 방식은, 임의의 2개의 타임 슬라이스의 이미지 A와B에 대해,
Figure pat00001
을 계산하고, 상기 (x,y)는 이미지 중 픽셀 포인트의 2D 좌표이고, A (x,y) 및 B (x,y)는 각각 이미지 A 및 B 의 픽셀 포인트의 값이고,
Figure pat00002
는 이미지B를 이미지A에 정렬할 경우 필요한 2D 변위 값이고,
Figure pat00003
는
Figure pat00004
가 최소일 때의 독립변수이고, 계산된
Figure pat00005
에 기초하여 이미지 B 및/또는 이미지A의 변위를 결정하고, 이미지 A 및 B의 정렬을 포함할 수 있다.
모든 타임 슬라이스 내에 형성된 이미지를 정렬 및 중첩하는 방식은, 2개의 연속된 타임 슬라이스마다 형성된 이미지들에 대해
Figure pat00006
를 계산하고, 차례에 따라 늦은 시간의 이미지를 앞선 시간의 이미지에 정렬하고 중첩하는 방식 또는 2개의 연속된 타임 슬라이스마다 형성된 이미지들에 대해
Figure pat00007
를 계산하고, 차례에 따라 앞선 시간의 이미지를 늦은 시간의 이미지에 정렬하고 중첩하는 방식 중 적어도 하나를 포함할 수 있다.
상기 블러링 제거 처리를 수행할 경우, 블러링 커널(Blurring Kernel)을 계산하는 방식의 블러링 커널은
Figure pat00008
일 수 있고, 상기
Figure pat00009
은 매트릭스 x를 벡터 형식으로 표시한 것을 의미할 수 있고,
Figure pat00010
는 경도(gradient)의 연산을 의미할 수 있으며, I는 블러링 제거 처리 후의 선명도를 의미할 수 있고, C는 현재 정렬된 블러링 이미지일 수 있고, E는 현재 정렬된 DVS 엣지 추정 영상일 수 있고,
Figure pat00011
는 벡터의 2놈(norm)을 계산한다는 의미일 수 있고,
Figure pat00012
는 벡터의 1놈을 계산하는 의미일 수 있고,
Figure pat00013
및
Figure pat00014
는 미리 정해진 2개의 가중치(weight value)일 수 있고,
Figure pat00015
는
Figure pat00016
가 최소값일 때의 독립변수를 의미할 수 있다.
평균 엣지 다이어그램을 결정하는 방식은, 현재 반복 단계에서의 이미지의 선명도에 대해, 상기 카메라 운동 궤적 중 각 세그먼트 방향에 있는 엣지 다이어그램을 계산하고, 모든 엣지 다이어그램을 중첩한 후, 스켈레톤 다이어그램을 계산한 결과를 상기 평균 엣지 다이어그램으로 하는 방식을 포함할 수 있다.
영상 블러링 제거 장치는, 획득 모듈 및 영상 블러링 제거 모듈을 포함하고, 상기 획득 모듈은, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하고, 상기 블러링 제거 모듈은, 상기 DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행한다.
카메라 운동 궤적을 추정하고 상기 운동 궤적을 이용하여 블러링 영상의 엣지를 추정하고, DVS 이벤트를 이용하여 DVS 엣지를 추정하고 블러링 영상 또는 추정된 블러링 영상의 엣지 추정 영상을 DVS 엣지 추정 결과에 정렬시키고 블러링 제거 처리를 수행함으로써, 블러링 제거 효과를 개선할 수 있다.
블러링 제거 방법 및 기존의 블러링 제거 방법으로 각각 블러링 제거 테스트를 수행하고 결과를 비교했다. 도 10은 일실시예에 따른 블러링 제거 방법의 효과를 기존의 기술의 효과와 비교한 것이다. 도 10에 도시된 바와 같이, 블러링 제거 효과를 더욱 증가시킬 수 있다.
도 1은 일실시예에 따른 영상 블러링 제거 방법을 도시한 흐름도이다.
도 2는 DVS 이벤트 집합의 이미지 형성 및 각 타임 슬라이스 내에 형성된 이미지 간의 관계를 도시한 개략도이다.
도 3은 연속된 2개의 타임 슬라이스 내의 카메라의 변위를 도시한 개략도이다.
도 4는 DVS 엣지 추정을 수행하는 개략도이다.
도 5는 RGB-DVS 영상의 정렬 처리를 도시한 개략도이다.
도 6은 선명한 이미지를 산출하는 개략도이다.
도 7은 평균 엣지 다이어그램의 생성을 도시한 개략도이다.
도 8은 영상 블러링 제거 장치의 기본 구조를 도시한 개략도이다.
도 9는 영상 블러링 제거 장치 중의 영상 블러링 제거 모듈 구조를 도시한 개략도이다.
도 10은 영상 블러링 제거 방법과 종래의 영상 블러링 제거 방법의 수행한 결과를 도시한다.
DVS 센서는 마이크로 초(microsecond) 단위 시간 해상도를 구비한 초고속 카메라로서 출력된 DVS를 기록할 수 있고 이 DVS 시간은 카메라 렌즈 내 마이크로 초 단위 시간에 발생한 모든 변화를 나타날 수 있다. 일반적으로 렌즈 내 변화는 영상의 엣지에서 발생하기 때문에, DVS 센서를 일반적인 카메라에 고정시키면, 고속으로 동작하는 일반적인 카메라가 상대적으로 선명한 엣지 영상을 획득할 수 있다. 실시예들은. DVS 센서를 통해 획득할 수 있는 상대적으로 선명한 엣지 영상을 이용하여 일반적인 카메라로 촬영된 블러링 영상에 대해 블러링 제거 처리를 수행한 것이다. 따라서 블러링 제거 효과를 개선할 수 있다.
기본적인 영상 블러링 제거 방법은 아래 단계를 포함한다.
단계1: 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득한다.
단계2: 상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행한다.
단계2에서, DVS 이벤트 집합에 기초하여 DVS 엣지 추정 영상을 추정하고, 상기DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행하거나, DVS 이벤트 집합에 기초하여 카메라 운동 궤적 및 DVS 엣지 추정 영상을 추정하고, 상기 카메라 운동 궤적 및DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행한다.
도 1은 일실시예에 따른 영상 블러링 제거 방법을 도시한 흐름도이다. 도 1에 도시된 바와 같이, 상기 방법은 아래 단계를 포함한다.
단계(101)는, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안DVS 센서가 기록한 DVS 이벤트 집합을 획득한다. 일반적인 카메라로 촬영한 RGB 블러링 이미지를 획득하고, DVS 센서를 상기 일반적인 카메라에 고정시켜, 상기 일반적인 카메라와 같은 각도의 기록을 획득할 수 있다. 또한, 기록된 DVS 이벤트는 촬영하는 카메라의 운동을 반영할 수 있다. 노출되는 동안 블러링 이미지의 DVS 이벤트 집합을 획득할 경우, 해당 노출 시간 동안의 카메라 운동 궤적을 반영할 수 있다.
단계(102)는, DVS 이벤트 집합에 기초하여, 노출 시간 안에 카메라 운동 궤적 및 DVS 엣지 추정 영상을 추정한다. 노출 시간을 시간 순서에 따라 N개의 타임 슬라이스로 나눌 수 있다. 이 때, N은 미리 설정된 양의 정수로서 필요에 따라 변경할 수 있다. 명세서에 기재된 내용으로 제한되지 않는다. 노출되는 동안의 DVS 이벤트 집합은 복수의 DVS 이벤트를 포함한다. DVS 이벤트들은 각각 시간을 표시한다. 분할된 타임 슬라이스에 따른, DVS 이벤트의 시간 표시에 기초하여 같은 타임 슬라이스에 위치한 DVS 이벤트는 독립적으로 이미지를 형성한다. 독립적으로 이미지를 형성하는 방식은 임의의 방식을 사용할 수 있고, 상기 임의의 방식은 제한이 없다. 도2는, DVS 이벤트 집합의 이미지 형성 및 각 타임 슬라이스 내에 형성된 이미지 간의 관계를 도시한다.
우선, 블러링 이미지의 생성 및 DVS 이벤트가 형성한 이미지의 역할을 분석한다. 카메라에 노출되는 동안 촬영된 대상이 정지 상태라고 가정하면 영상의 블러링은 카메라 자체가 상대적으로 정지 상태인 촬영 대상의 운동에 의해 발생한다.. 이에 기초하여, 각 타임 슬라이스마다 형성된 이미지들은, 모두 시간 범위 내에 카메라가 상대적으로 빠른 운동을 하는 상황에서의 상대적으로 선명한 엣지 영상과 대응된다. 서로 다른 타임 슬라이스 내의 이미지들은 촬영 대상이 같으므로 엣지 영상의 윤곽도 같다. 다만, 상기 엣지 영상은 배경에서 상대적인 변위가 발생하고, 이 변위가 바로 서로 다른 타임 슬라이스 간의 카메라의 상대적 운동 궤적이다. 또한, 서로 다른 타임 슬라이스에 형성된 이미지들은 서로 다른 시점의 같은 엣지 영상을 의미하지만, 노이즈(noise) 등의 영향으로 인해 각 이미지의 엣지가 정확하거나 완벽하지 않을 수 있다. 따라서 카메라의 운동 궤적에 기초하여 모두 N개의 타임 슬라이스 내의 이미지들을 같은 시점으로 회복시키고 N 개의 같은 시점의 이미지들을 중첩(overlay)함으로써 상대적으로 더 선명한 엣지 다이어그램을 획득할 수 있다.
요약하면, 2개의 서로 다른 타임 슬라이스에서 형성된 이미지들은 동일한 형상을 가질 것이고, 상기 형상들의 전체 영상에서의 위치관계 변화는 바로 상기 2개의 타임 슬라이스 내의 카메라의 직선 운동 관계를 의미한다. 그 중 하나의 이미지를 상기 운동 관계에 따라 역(reverse) 운동을 시키면 다른 이미지가 위치한 타임 슬라이스 내에 이미지를 획득할 수 있다. 이 2개의 이미지들을 중첩하면 더 높은 효과를 가진 엣지 다이어그램을 획득할 수 있다.
상기 분석된 내용에 기초하여, N개의 타임 슬라이스에 형성된 이미지들에 기초하여, 노출되는 동안의 카메라 운동 궤적 및 DVS 엣지 추정 영상을 결정한다.
구체적으로, 노출되는 동안 카메라 운동 궤적을 결정하는 방식은, DVS 이벤트의 위치 관계에 기초하여, 2개의 연속된 타임 슬라이스 내에 카메라의 변위를 결정하고, 노출되는 동안 2개의 연속된 타임 슬라이스마다 카메라의 변위들을 모두 시간 순서로 연결하고, 노출되는 동안의 카메라 운동 궤적을 구성한다. 도3은 상기 2개의 연속된 타임 슬라이스 내의 카메라의 변위를 도시한다.
일실시예에 있어서, 2개의 연속된 타임 슬라이스 내에 카메라의 변위를 결정하는 방법은, 임의의 2개의 연속된 타임 슬라이스의 이미지 A와 B에 대해 아래 계산식을 이용하여 계산할 수 있다.
Figure pat00017
（1）
상기 (x,y)는 이미지 중 픽셀 포인트의 2D 좌표이고, A (x,y)와 B (x,y)은 각각 이미지 A와B 중의 픽셀 포인트의 값이고,
Figure pat00018
는 카메라가 이미지B의 시점에서 이미지A의 시점까지의 2D 변위를 의미하고, 상기 2D 변위에 기초하여 도3에 도시한 바와 같은 운동 벡터를 획득할 수 있다. 여기서 2개의 연속된 타임 슬라이스에서 카메라는 직선 운동을 한다고 가정한다. 모두 2개의 연속된 타임 슬라이스에서의 운동 벡터를 시간 순서에 따라 연결하면 노출되는 동안의 카메라 운동 궤적을 획득할 수 있다.
도 4에 도시한 바와 같이, DVS 엣지 추정 영상을 결정하는 방식은 모든 타임 슬라이스 내에 형성된 이미지를 정렬 및 중첩하고, 중첩된 이미지의 스켈레톤 다이어그램을 DVS 엣지 추정 영상으로 하여 계산한다.
정렬을 수행할 때, 모든 타임 슬라이스의 이미지를 같은 타임 슬라이스에 정렬 시키고 통합하고 중첩하거나, 하나의 타임 슬라이스 이미지를 다른 하나의 타임 슬라이스에 정렬시키고 상기 두 개의 타임 슬라이스의 이미지를 중첩하고, 중첩된 결과를 다른 타임 슬라이스에 정렬시키는 방식으로 유추한다. 여기서 상기 계산식(1)을 이용하여 임의의 2개의 타임 슬라이스의 이미지들 간의2D 변위 값
Figure pat00019
를 계산하고, 상기 2D 변위 값은 이미지B를 이미지A에 정렬할 경우 필요한 2D 변위 값을 의미한다. 이미지B 변위
Figure pat00020
를 이미지A에 정렬시키거나, 이미지A 변위
Figure pat00021
를 이미지B 에 정렬시키거나, 이미지A와 이미지B에 대해 동시에 변위를 수행하고, 이미지A와 이미지B 간의 다른 타임 슬라이스에 정렬시킬 수 있다.
또한 계산식(1)를 이용하여 변위를 계산할 때, 2개의 타임 슬라이스 간의 이동이 직선 운동인 것으로 가정하지만, 실제로 시간 간격의 증가에 따라 직선 운동과 실제 운동의 오차가 클수록 추정이 부정확해진다. 따라서, 이미지들을 정렬 및 중첩할 경우, 2개의 연속된 타임 슬라이스마다 이미지들의
Figure pat00022
를 계산하고, 시간 순서에 따라 뒤/앞 시간의 이미지를 앞/뒤 시간의 이미지에 정렬하고 중첩한다. 이런 방법으로 추정의 정확성을 향상시킬 수 있다. "/"는 "또는"을 의미한다.
단계(102)를 수행한 후, 반복(iteration)적으로 영상 블러링을 제거한다.
단계(103)는, 획득된 블러링 이미지를 DVS 엣지 추정 영상에 정렬시키고, 정렬된 블러링 이미지 및 정렬된 DVS 엣지 추정 영상을 획득한다.
도 5에 도시된 바와 같이, RGB-DVS 영상 정렬 처리는 우선 RGB 영상 및 DVS 엣지 추정 영상에 대해 각각 왜곡(distortion) 제거를 수행한다. 그 다음, 두 영상 중 대응하는 키 포인트를 획득하고 아핀(Affine) 변환 모델을 계산하여 두 영상을 정렬한다. 왜곡 확인, 키 포인트 결정 및 모델을 통한 영상 정렬 처리는 모두 종래 기술이므로 여기서는 이에 대한 상세한 설명은 생략한다. 상기 왜곡 제거 처리를 단계(103)에 포함시켜, 복잡도 등을 고려하여 왜곡 제거 처리를 수행하지 않고, 키 포인트를 직접 결정함으로써 영상 정렬을 수행할 수도 있다. 정렬을 수행할 때 RGB 영상을 DVS 엣지 추정 영상에 정렬하거나, DVS 엣지 추정 영상을 RGB 영상에 정렬할 수 있다. RGB 영상을 DVS 엣지 추정 영상에 정렬하면 더 좋은 효과를 얻을 수 있다.
또한, 최초 반복을 수행할 때, RGB 블러링 영상과 DVS 엣지 추정 영상을 직접 이용하여 정렬 처리를 수행한다. 그 다음 반복을 수행할 때, 이전 반복을 수행할 당시 결정된 RGB 엣지 추정 영상에 기초하여, RGB 블러링 영상 및 DVS 엣지 추정 영상과 정렬 처리를 수행함으로써 RGB 과 DVS의 정합 정밀도를 향상 시킬 수 있다.
단계(104)에서, 현재 정렬된 DVS 엣지 추정 영상에 기초하여, 디콘볼루션 변환(Deconvolution transform)을 이용함으로써 정렬된 블러링 이미지에 대해서 블러링 제거 처리를 수행하고, 현재 반복 단계의 선명한 이미지를 획득한다.
영상 블러링 제거 모듈의 처리는 영상의 블러링 커널(blurring kernel)을 추정하고, 디콘볼루션 변환을 이용하여 블러링 제거를 실현할 것이다.
아래 계산식을 이용하여 블러링 커널k를 계산할 수 있다.
Figure pat00023
상기
Figure pat00024
은 매트릭스 x를 벡터 형식으로 표시함을 의미하고,
Figure pat00025
는 경도(gradient)의 연산을 의미하며, I는 블러링 제거 처리 후의 선명한 영상이고, C는 현재 정렬된 블러링 이미지이고, E는 현재 정렬된 DVS 엣지 추정 영상이고,
Figure pat00026
는 벡터의 2놈(norm)을 계산한다는 의미이고,
Figure pat00027
는 벡터의 1놈을 계산한다는 의미이고,
Figure pat00028
및
Figure pat00029
는 미리 정해진 2개의 가중치(weight value)이고,
Figure pat00030
는
Figure pat00031
가 최소일 때의 독립변수를 의미한다.
블러링 커널k를 획득한 후, 아래 계산식을 이용하여 선명한 RGB 영상 I를 구할 수 있다.
Figure pat00032
상기
Figure pat00033
은 매트릭스 x를 벡터 형식으로 하는 의미이고,
Figure pat00034
는 벡터의 2놈(norm)를 계산한다는 의미이고,
Figure pat00035
는 벡터의 1(norm)를 계산한다는 의미이며, B'는 현재 정렬된 블러링 이미지를 의미한다.
상기 블러링 커널 및 선명한 영상을 획득하는 과정을 수행한 횟수가 미리 정해진 최대 횟수에 도달하거나 획득된 선명한 이미지가 더 이상 변하지 않으면, 계산을 통해 획득된 I를 해당 반복 단계에서 획득된 선명한 이미지로 결정한다.
단계(104)에서, I를 계산하는 방식은 기존 기술과 같고, 블러링 커널 k를 계산할 경우, 정렬된 DVS 엣지 추정 영상 E에 기초하여 수행한다. 따라서, 블러링 커널 k를 계산할 때 영상 E를 이용함으로써 영상 블러링 상황을 빠짐없이 반영할 수 있고, 계산된 선명한 이미지 I는 원본 화면과 더 유사하다.
단계(104)에서는 DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행한다. 처리 가능한 범위 내에서, 아래 단계를 더 수행할 수 있다. 반복 처리 과정을 통해 블러링 제거 처리 결과를 최적화할 수 있다.
단계(105)에서, 현재 반복 단계와 이전 반복 단계에서의 이미지 간의 선명도가 일치하는지 판단하고, 판단 결과 두 이미지의 선명도가 일치할 경우, 상기 선명한 이미지를 블러링 제거 결과로 삼고 단계(105)를 종료할 수 있다. 판단 결과 일치하지 않는 경우, 단계(106)를 수행할 수 있다.
전후 2번 반복 수행되는 선명한 이미지에 변화가 없다는 것은, 목표하는 블러링 제거 수치를 이미 만족함을 의미한다. 선명한 이미지에 변화가 없는 경우, 상기 선명한 이미지를 출력하고 블러링 제거 처리를 종료할 수 있다. 선명한 이미지에 변화가 있는 경우, RGB의 엣지 다이어그램을 계산하여 다음 반복 단계를 수행할 수 있다. 전후로 2번 반복 수행되는 이미지가 같은지 판단하는 방식은 다음과 같다: 현재 반복 단계와 이전 반복 단계의 이미지 간의 선명도의 오차가 미리 설정된 임계값보다 작으면, 2번 반복 수행되는 선명한 이미지가 같고, 그렇지 않으면 2번 반복 수행되는 이미지가 다르다고 판단할 수 있다.
단계(106)에서, 현재 단계에서 획득되는 선명한 이미지에 기초하여 평균 엣지 다이어그램을 결정하고, 다시 단계(103)로 돌아간다. 다음 반복 수행 시, 상기 평균 엣지 다이어그램에 기초하여 RGB 블러링 이미지와 DVS 엣지 추정 영상을 정렬한다.
단계(106)의 처리는 RGB 영상의 디랙티드(directed) 엣지 다이어그램 생성에 이용되고, 이는 명세서에서 평균 엣지 다이어그램으로 지칭된다. 구제적으로, 현재 반복 단계 중 추정된 선명한 이미지에 기초하여, 상기 선명한 이미지가 설정한 방향에 대한 엣지 다이어그램을 구하고, 복수의 엣지 다이어그램에 기초하여 평균 엣지 다이어그램을 획득한다. 설정된 방향은 무작위로 지정된 방향이거나 카메라 운동 궤적의 방향일 수 있다.
그 다음, 평균 엣지 다이어그램에 근거하여 RGB 영상과 DVS 엣지 추정 영상을 정렬한다. 구체적으로, 평균 엣지 다이어그램을 그 다음의 반복 단계 수행 중 DVS 엣지 추정 영상과 비교하여 정렬의 변위를 획득할 수 있고, RGB 블러링 영상 및/또는 DVS 엣지 추정 영상을 이동하여 정렬함으로써 RGB와 DVS 영상의 정합 정밀도를 향상 시킬 수 있다.
방향을 카메라 운동 궤적 방향으로 설정할 경우, 평균 엣지 다이어그램을 생성하는 방식은 다음과 같다. 노출되는 동안 카메라 운동 궤적을 세그먼트(segment)화하고, 각 세그먼트 방향에 현재 반복 단계에서 획득된 선명한 이미지에 대한 엣지 다이어그램을 계산하고, 획득된 모든 엣지 다이어그램을 중첩한 후, 스켈레톤 다이어그램을 계산하여 이를 평균 엣지 다이어그램으로 한다.
카메라 운동 궤적에 대한 세그먼트화는, 단계(102) 수행 중 생성되는 운동 궤적에 따라 각각 진행할 수 있다. 평균 엣지 다이어그램을 생성하는 방법은 도7에 도시되어 있다.
위에서는 영상 블러링 제거 방법의 실시예를 설명하였다. 상기 반복 수행 과정에서, 2번 반복적으로 획득되는 선명한 이미지가 같으면 반복을 종료하고, 블러링 제거에 대한 최종 처리 결과를 획득한 것이다. 더 간단하게, 최대 반복 횟수를 설정하고, 최대 반복 횟수에 이르기 전까지 반복을 수행하고, 반복 수행 횟수가 최대 반복 횟수에 도달하면 하면 반복 수행 과정을 종료하고 블러링 제거에 대한 최종 처리 결과를 획득한다. 또는 상기 전후2번의 반복하여 획득되는 선명한 이미지를 비교하는 방법을 최대 반복 횟수를 설정하는 방법을 함께 이용하여, 그 중에서 하나의 조건에 만족하면 반복과정을 종료하고, 그렇지 않으면 반복을 수행한다. 상기 최대 반복 횟수는 실제 필요 및 장비 처리 성능에 기초하여 설정할 수 있다.
상기 블러링 제거 처리 중, DVS 센서가 기록한 DVS 이벤트를 이용하여 카메라 운동 궤적을 추정하고 상기 운동 궤적을 이용하여 블러링 영상의 엣지를 추정할 수 있다. 또한, DVS 이벤트에 대해 DVS 엣지를 추정하고 블러링 영상 또는 엣지 추정 영상을 DVS 엣지 추정 결과에 정렬한 후 블러링 제거 처리를 수행한다. 상기 처리를 통해, 카메라 운동 궤적 및 DVS 엣지 추정 영상을 이용하여 더욱 실제에 가까운 운동 가설(Hypothesis)을 제공함으로써 블러링 제거 효과를 개선할 수 있다.
일실시예에 따르면, 영상 블러링 제거 장치를 더 제공하고, 상기 영상 블러링 제거 장치는 도 1에 도시된 블러링 제거 방법의 실시에 이용될 수 있다. 상기 장치는 도 8에 도시된 바와 같이, 획득 모듈 및 영상 블러링 제거 모듈을 포함한다.
상기 획득 모듈은, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하고, 상기 블러링 제거 모듈은, 상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행한다.
도 9에 도시된 바와 같이, 영상 블러링 제거 모듈은, 궤적 추정 서브 모듈, 영상 정합(image registration) 서브 모듈, 영상 블러링 제거 서브 모듈 및 평균 엣지 다이어그램 생성 서브 모듈을 포함할 수 있다.
상기 궤적 추정 서브 모듈은, DVS 이벤트 집합에 기초하여 노출되는 동안의 카메라 운동 궤적 및 DVS 엣지 추정 영상을 추정한다. 궤적 추정 서브 모듈은 단계(101-102)를 수행할 수 있다.
상기 영상 정합 서브 모듈은, 블러링 이미지를 DVS 엣지 추정 영상에 정렬시키고, 정렬된 블러링 이미지 및 현재 정렬된 DVS 엣지 추정 영상을 획득한다. 영상 정합 서브 모듈은, 단계(103)를 수행할 수 있다.
상기 영상 블러링 제거 서브 모듈은, 정렬된 DVS 엣지 추정 영상에 기초하여, 디콘볼루션 변환을 이용하여 정렬된 블러링 이미지에 대해서 블러링 제거 처리를 수행하여, 이전 반복 단계의 선명한 이미지를 획득하고, 현재 반복 단계 및 이전 반복 단계의 선명도 차이가 미리 정해진 임계값보다 작은 경우, 상기 이전 반복 단계의 선명한 이미지를 블러링 제거 결과로 출력하고, 선명도 차이가 상기 임계값보다 큰 경우, 현재 반복 단계의 선명한 이미지를 평균 엣지 다이어그램 출력 모듈에게 전송한다. 영상 블러링 제거 서브 모듈은 단계(104-105)를 수행할 수 있다.
평균 엣지 다이어그램 출력 모듈은, 영상 블러링 제거 모듈이 입력된 선명한 이미지에 기초하여, 평균 엣지 다이어그램을 결정한다. 상기 평균 엣지 다이어그램을 영상 정합 모듈에게 전송한 후, 블러링 이미지와 DVS 엣지 추정 영상의 정렬 근거로 사용한다. 이와 같이 카메라 운동 궤적 방향의 평균 엣지 다이어그램을 결정할 수 있다. 평균 엣지 다이어그램 출력 모듈은, 단계(106)을 수행할 수 있다.
이상과 같이 실시예들을 참조하여 설명하였으나, 상술한 블러링 제거 방법은 이에 한정되지 않는다. 상기의 기재로부터 다양한 수정, 교체 및 변형이 가능하며 모두 청구범위의 보호범위에 속한다.

Claims (14)

  1. 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하는 단계; 및
    상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계
    를 포함하는,
    영상 블러링 제거 방법.
  2. 제1항에 있어서,
    상기DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계는,
    상기 DVS 이벤트 집합에 기초하여 DVS 엣지(edge) 추정 영상을 추정하고, 상기DVS 엣지 추정 영상에 기초하여 상기 블러링 제거 처리를 수행하는 단계를 포함하는,
    영상 블러링 제거 방법.
  3. 제2항에 있어서,
    상기DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행하는 방식은,
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하는 방식;
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고, 블러링 제거 처리 횟수가 최대 반복(iteration) 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램(平均邊緣圖)을 결정하고, 상기 평균 엣지 다이어그램을 이용하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 제거 처리 결과를 블러링 제거 결과로 출력하는 방식;
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 횟수가 최대 반복 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식; 및
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지, 상기 블러링 제거 처리 결과에 기초하여 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식 중 적어도 하나를 포함하는,
    영상 블러링 제거 방법.
  4. 제1항에 있어서,
    상기 DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는 단계는,
    상기 DVS 이벤트 집합에 기초하여, 상기 블러링 이미지가 노출되는 동안 카메라 운동 궤적 및 DVS 엣지 추정 영상을 추정하는 단계; 및
    상기 카메라 운동 궤적 및 DVS 엣지 추정 영상에 기초하여 상기 블러링 제거 처리를 수행하는 단계
    를 포함하는 영상 블러링 제거 방법.
  5. 제4항에 있어서,
    상기 카메라 운동 궤적 및 DVS 엣지 추정 영상에 기초하여 블러링 제거 처리를 수행하는 방식은,
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치를 만족할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식;
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 설정된 최대 반복 횟수에 달성하지 못하면, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고 상기 평균 엣지 다이어그램을 이용하여, 설정된 최대 반복 횟수에 달성할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식; 및
    상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 정렬시키고, 정렬 결과에 기초하여 블러링 제거 처리를 수행하고, 블러링 제거 처리 결과가 미리 정해진 블러링 제거 처리 수치보다 작고 블러링 제거 처리 횟수가 최대 반복 횟수보다 작은 경우, 상기 블러링 제거 처리 결과에 기초하여 상기 카메라 운동 궤적 방향상의 평균 엣지 다이어그램을 결정하고, 상기 평균 엣지 다이어그램에 기초하여, 블러링 제거 처리 결과가 미리 설정된 블러링 제거 처리 수치를 만족하거나 블러링 제거 처리 횟수가 최대 반복 횟수에 도달할 때까지 상기 블러링 이미지를 상기 DVS 엣지 추정 영상에 다시 정렬시키고, 상기 블러링 처리 결과를 블러링 제거 결과로 출력하는 방식
    중 적어도 하나를 포함하는 영상 블러링 제거 방법.
  6. 제3항 또는 제5항에 있어서,
    상기 정렬 결과에 기초하여 블러링 제거 처리를 수행하는 단계는,
    현재 정렬된 DVS 엣지 추정 영상에 기초하여 디콘볼루션 변환(deconvolution transform)을 이용하여 현재 정렬된 블러링 이미지에 대해 블러링 제거 처리를 수행하고, 현재 반복 단계에서 획득한 선명한 이미지를 블러링 제거 처리 결과로 하는 단계; 및
    현재 반복 단계 및 이전 반복 단계에서의 이미지의 선명도 차이가 미리 정해진 임계값보다 작은 경우, 미리 정해진 블러링 제거 처리 수치를 만족한 것으로 결정하고, 상기 선명도의 차이가 상기 임계값보다 큰 경우, 미리 정해진 블러링 제거 처리 수치보다 작다고 결정하는 단계
    를 포함하는
    영상 블러링 제거 방법.
  7. 제4항에 있어서,
    상기 DVS 이벤트 집합에 기초하여 카메라 운동 궤적을 추정하는 단계는,
    노출되는 시간을 시간 순서에 따라 N개의 타임 슬라이스로 분할하고, 상기 DVS 이벤트 집합 중 같은 타임 슬라이스에 위치한 DVS 이벤트를 독립적인 이미지로 형성하고, 상기 N개의 타임 슬라이스 내에 형성된 이미지에 기초하여 노출되는 동안의 카메라 운동 궤적을 결정하는 단계를 포함하는,
    영상 블러링 제거 방법.
  8. 제7항에 있어서,
    상기 카메라 운동 궤적을 결정하는 방식은,
    2개의 연속된 타임 슬라이스마다 형성된 이미지 중에서, 상기 DVS 이벤트의 위치 관계에 기초하여, 상기 2개의 연속된 타임 슬라이스 내 카메라의 변위를 결정하고, 상기 노출되는 동안 2개의 연속된 타임 슬라이스마다 카메라의 변위들을 모두 시간 순서에 따라 연결하고, 상기 노출되는 동안의 카메라 운동 궤적 형성을 포함하는,
    영상 블러링 제거 방법.
  9. 제2항 또는 제4항에 있어서,
    상기 DVS 이벤트 집합에 기초하여 상기 DVS 엣지 추정 영상을 추정하는 단계는,
    상기 노출되는 시간을 시간 순서에 N 개의 타임 슬라이스로 분할하고, 상기 DVS 이벤트 집합 중 같은 타임 슬라이스에 있는 DVS 이벤트를 통합한 이미지를 형성하고, 모든 타임 슬라이스 내에 형성된 이미지를 정렬 및 중첩(overlay)하고, 중첩된 이미지의 스켈레톤(Skeleton) 다이어그램을 상기 DVS 엣지 추정 영상으로 계산하는 단계를 포함하는,
    영상 블러링 제거 방법.
  10. 제9항에 있어서,
    임의의 2개의 타임 슬라이스의 이미지를 정렬하는 방식은,
    임의의 2개의 타임 슬라이스의 이미지 A와B에 대해,
    Figure pat00036
    을 계산하고,
    상기 (x,y)는 이미지 중 픽셀 포인트의 2D 좌표이고, A (x,y) 및 B (x,y)는 각각 이미지 A 및 B 의 픽셀 포인트의 값이고,
    Figure pat00037
    이미지 B를 이미지 A에 정렬할 경우 필요한 2D 변위 값이고,
    Figure pat00038
    는
    Figure pat00039
    가 최소값일 때의 독립변수이고, 계산된
    Figure pat00040
    에 기초하여 이미지 B 및/또는 이미지 A의 변위를 결정하고, 이미지 A 및 B의 정렬을 포함하는,
    영상 블러링 제거 방법.
  11. 제9항에 있어서,
    타임 슬라이스 내 형성된 이미지를 정렬 및 중첩하는 방식은,
    2개의 연속된 타임 슬라이스마다 형성된 이미지들에 대해
    Figure pat00041
    를 계산하고, 늦은 시간의 이미지를 앞선 시간의 이미지에 정렬하고 중첩하는 방식; 또는
    2개의 연속된 타임 슬라이스마다 형성된 이미지들에 대해
    Figure pat00042
    를 계산하고, 시간 순서에 따라 앞선 시간의 이미지를 늦은 시간의 이미지에 정렬하고 중첩하는 방식
    중 적어도 하나를 포함하는 영상 블러링 제거 방법.
  12. 제6항에 있어서,
    상기 블러링 제거 처리를 수행할 경우, 블러링 커널(Blurring Kernel)을 계산하는 방식은,
    블러링 커널
    Figure pat00043
    이고,
    상기
    Figure pat00044
    은 매트릭스 x를 벡터 형식으로 표시함을 의미하고,
    Figure pat00045
    는 경도(gradient)의 연산을 의미하며, I는 블러링 제거 처리 후의 선명한 영상이고, C는 현재 정렬된 블러링 이미지이고, E는 현재 정렬된 DVS 엣지 추정 영상이고,
    Figure pat00046
    는 벡터의 2놈(norm)을 계산한다는 의미이고,
    Figure pat00047
    는 벡터의 1놈을 계산한다는 의미이고,
    Figure pat00048
    및
    Figure pat00049
    는 미리 정해진 2개의 가중치(weight value)이고,
    Figure pat00050
    는
    Figure pat00051
    가 최소일 때의 독립변수를 의미하는,
    영상 블러링 제거 방법.
  13. 제1항에 있어서,
    평균 엣지 다이어그램을 결정하는 방식은,
    현재 반복 단계에서의 이미지의 선명도에 대해, 상기 카메라 운동 궤적 중 각 세그먼트 방향에 있는 엣지 다이어그램을 계산하고, 모든 엣지 다이어그램을 중첩한 후, 스켈레톤 다이어그램을 계산한 결과를 상기 평균 엣지 다이어그램으로 하는 방식을 포함하는,
    영상 블러링 제거 방법.
  14. 영상 블러링 제거 장치에 있어서,
    획득 모듈 및 영상 블러링 제거 모듈을 포함하고,
    상기 획득 모듈은, 처리할 블러링 이미지 및 상기 블러링 이미지가 노출되는 동안 DVS 센서가 기록한 DVS 이벤트 집합을 획득하고,
    상기 블러링 제거 모듈은, 상기 DVS 이벤트 집합에 기초하여 상기 블러링 이미지에 대해 블러링 제거 처리를 수행하는,
    영상 블러링 제거 장치.
KR1020160107863A 2016-01-21 2016-08-24 영상 블러링 제거 방법 및 장치 KR102563750B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/356,808 US10062151B2 (en) 2016-01-21 2016-11-21 Image deblurring method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610039224.2A CN106991650B (zh) 2016-01-21 2016-01-21 一种图像去模糊的方法和装置
CN201610039224.2 2016-01-21

Publications (2)

Publication Number Publication Date
KR20170087814A true KR20170087814A (ko) 2017-07-31
KR102563750B1 KR102563750B1 (ko) 2023-08-04

Family

ID=59414291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160107863A KR102563750B1 (ko) 2016-01-21 2016-08-24 영상 블러링 제거 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102563750B1 (ko)
CN (1) CN106991650B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979629B2 (en) 2018-06-19 2021-04-13 Samsung Display Co., Ltd. Image processing device and image processing method for correcting images obtained from a display surface of mass produced display device
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
CN116527407A (zh) * 2023-07-04 2023-08-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451973B (zh) * 2017-07-31 2020-05-22 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
CN108629751A (zh) * 2018-05-08 2018-10-09 深圳市唯特视科技有限公司 一种基于重加权图总变异的图像去模糊方法
KR102435519B1 (ko) 2018-06-20 2022-08-24 삼성전자주식회사 360도 영상을 처리하는 방법 및 장치
KR102584501B1 (ko) * 2018-10-05 2023-10-04 삼성전자주식회사 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치
CN110428397A (zh) * 2019-06-24 2019-11-08 武汉大学 一种基于事件帧的角点检测方法
CN111340733B (zh) * 2020-02-28 2022-07-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111369482B (zh) * 2020-03-03 2023-06-23 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN113724142B (zh) * 2020-05-26 2023-08-25 杭州海康威视数字技术股份有限公司 图像复原系统及方法
CN113784014B (zh) * 2020-06-04 2023-04-07 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN114494085B (zh) * 2022-04-14 2022-07-15 季华实验室 一种视频流复原方法、系统、电子设备及存储介质
CN117221731A (zh) * 2023-09-21 2023-12-12 思翼科技（深圳）有限公司 基于人工智能的云台相机影像处理系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011502367A (ja) * 2007-04-23 2011-01-20 テセラ テクノロジーズ アイルランド リミテッド カメラ運動の検出及び推定

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
KR102074857B1 (ko) * 2012-09-26 2020-02-10 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 근접 센서 및 근접 센싱 방법
US9696812B2 (en) * 2013-05-29 2017-07-04 Samsung Electronics Co., Ltd. Apparatus and method for processing user input using motion of object
US9349165B2 (en) * 2013-10-23 2016-05-24 Adobe Systems Incorporated Automatically suggesting regions for blur kernel estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011502367A (ja) * 2007-04-23 2011-01-20 テセラ テクノロジーズ アイルランド リミテッド カメラ運動の検出及び推定

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Chin-Chen Chang, ET AL:"Image Retrieval Using Spatial Color and Edge Detection", PCM 2005: Advances in Multimedia Information Processing - PCM 2005, Nov. 13-16, 2005, pp. 981-992(2005.11.13.) 1부.* *
D. Saner, ET AL:"High-Speed Object Tracking Using an Asynchronous Temporal Contrast Sensor", Vision, Modeling and Visualization, Darmstadt, Germany, October 8-10, 2014, pp. 87-94(2014.10.08.) 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979629B2 (en) 2018-06-19 2021-04-13 Samsung Display Co., Ltd. Image processing device and image processing method for correcting images obtained from a display surface of mass produced display device
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
CN116527407A (zh) * 2023-07-04 2023-08-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法
CN116527407B (zh) * 2023-07-04 2023-09-01 贵州毅丹恒瑞医药科技有限公司 一种用于眼底图像的加密传输方法

Also Published As

Publication number Publication date
KR102563750B1 (ko) 2023-08-04
CN106991650A (zh) 2017-07-28
CN106991650B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
KR20170087814A (ko) 영상 블러링 제거 방법 및 장치
JP7159057B2 (ja) 自由視点映像生成方法及び自由視点映像生成システム
US10789765B2 (en) Three-dimensional reconstruction method
JP4887374B2 (ja) ステレオビジョンにおいて散乱視差場を求める方法
JP7143225B2 (ja) 三次元再構成方法及び三次元再構成装置
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
WO2016074639A1 (en) Methods and systems for multi-view high-speed motion capture
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
US10062151B2 (en) Image deblurring method and apparatus
EP2521091B1 (en) Estimation of motion blur in a picture
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
JP4941565B2 (ja) 対応点探索装置および対応点探索方法
KR101266362B1 (ko) 카메라 트래킹 시스템, 트래킹 방법 및 이를 이용한 실사영상 합성 시스템
JP5901447B2 (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
JP6552256B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP6494402B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
WO2021230157A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20150088583A (ko) 영상 처리 방법 및 장치
JP2006337075A (ja) ３次元情報復元装置
WO2019211970A1 (ja) 三次元再構成方法及び三次元再構成装置
EP2953093A1 (en) Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
KR102236473B1 (ko) 영상 처리 방법 및 그 장치
JP2013069012A (ja) 多眼撮像装置
JP2002077941A (ja) 奥行き画像生成装置、奥行き画像生成方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant