KR102027392B1 - 이미지 처리 장치 및 방법 - Google Patents

이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR102027392B1
KR102027392B1 KR1020187001859A KR20187001859A KR102027392B1 KR 102027392 B1 KR102027392 B1 KR 102027392B1 KR 1020187001859 A KR1020187001859 A KR 1020187001859A KR 20187001859 A KR20187001859 A KR 20187001859A KR 102027392 B1 KR102027392 B1 KR 102027392B1
Authority
KR
South Korea
Prior art keywords
depth information
information value
current
prev
similarity measure
Prior art date
Application number
KR1020187001859A
Other languages
English (en)
Other versions
KR20180019711A (ko
Inventor
야체크 코니에츠니
마렉 도만스키
올기르드 스탠키위츠
크쥐시토프 베그너
아담 루크작
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20180019711A publication Critical patent/KR20180019711A/ko
Application granted granted Critical
Publication of KR102027392B1 publication Critical patent/KR102027392B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값(dbest)을 선택하는 이미지 처리 장치(100)에 관한 것이다. 이미지 처리 장치(100)는 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값(dprev) 및 신호 처리 로직(103)을 저장하도록 구성된 메모리(101)를 포함한다. 신호 처리 로직(103)은 디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하고, 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값(dprev)과 비교하고, 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값(dprev) 사이의 비교에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 가중화 함수를 적용하고, 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 유사성 척도에 따라 현재 프래그먼트에 대한 깊이 정보 값(dbest)으로 선택할지 여부를 결정하도록 구성된다.

Description

이미지 처리 장치 및 방법
본 발명은 이미지 처리 장치 및 방법에 관한 것이다. 특히, 본 발명은 디지털 이미지의 프래그먼트에 대한 깊이 정보 값을 선택하는 이미지 처리 장치 및 방법에 관한 것이다.
디지털 이미지의 주어진 프래그먼트, 예를 들어, 디지털 이미지의 픽셀 또는 픽셀 그룹에 대한 불일치(disparity) 또는 깊이(depth)(여기서, 집합적으로 깊이 정보 값으로 지칭됨)를 추정하기 위한 많은 공지된 알고리즘에서, 깊이 정보 값은 고려 대상인 깊이 정보 값의 세트 중 최상인 것으로 선택된다. 종종, 이러한 선택은 현재 처리되는 프래그먼트에 대한 깊이 정보 값(d)에 대한 비용 함수(Ccurrent(d))를 최소화함으로써 행해진다.
비용 함수는 잘 알려진 "Winner-Takes-All (WTA) 알고리즘", 예를 들어, D. Scharstein & R. Szeliski의 "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision 47, 7-42, 2002에서와 같이, 순전히 로컬 프래그먼트 매칭 오차 또는 매칭 비용(Mcurrent(d))일 수 있다. 이러한 알고리즘에서, 각각의 프래그먼트에 대한 깊이 정보 값은
Figure 112018006656916-pct00001
수식(1)
와 같은 다른 프래그먼트의 깊이 정보 값과 독립적으로 선택된다. 여기서,
Figure 112018006656916-pct00002
는 대괄호 내의 식이 최소인 깊이 정보 값(d)의 선택을 나타낸다.
이미지 내의 프래그먼트의 위치(x,y) 및 프래그먼트와 연관된 깊이 정보 값(d)에 대한 매칭 오차 또는 매칭 비용(Mcurrent(d))은 일반적으로 오차 함수를 사용하여 계산되며, 이는 위치(x,y) 내의 이미지(I)의 값과 위치(x+d,y) 내의 기준 이미지(I ref )(또는 이미지)의 값 사이의 차이를 결정한다. 일반적으로, 이 이미지의 항 값(term value)은 색상 채널(color channels) 또는 텍스처 이미지의 휘도 값을 나타내지만, 수평 및 수직 그라디언트(gradient)와 결합될 수도 있다. 흔히 사용되는 오차 함수는 이하의 수식(2)에 의해 주어진 절대 차의 합(SAD) 또는 이하의 수식(3)에 의해 주어진 제곱된 차의 합(SSD)이다(예를 들어, H. Hirschmueller 및 D. Scharstein, "Evaluation of Cost Functions for Stereo Matching", IEEE Conference on Computer Vision and Pattern Recognition, 2007):
Figure 112018006656916-pct00003
수식(2)
Figure 112018006656916-pct00004
수식(3)
보다 고급 알고리즘(D. Scharstein & R. Szeliski의 상술한 논문에서도 설명되어 있는, 비터비(Viterbi), 포워드(Forward) 또는 빌리프 전파(Belief Porpagation) 알고리즘에서와 같이)에서, 보다 정교한 비용 함수(
Figure 112018006656916-pct00005
)가, 결과로서 얻어지는 깊이 정보 값의 최소화 및 선택에 사용된다. 그러한 경우,
Figure 112018006656916-pct00006
는 전형적으로, 인접한 프래그먼트에서 고려된 모든 깊이 정보 값과 관련된 비용과 전환 비용 함수(transition cost function) T의 최소 컨벌루션(min-convolution)에
Figure 112018006656916-pct00007
를 더한 것이며, 부가적으로 평활화 항(smoothing term)을 포함한다. 포워드(Forward) 및 비터비(Viterbi) 알고리즘에서, 인접한 프래그먼트는 깊이 정보 값 d를 획득하기 위해 이미 처리된 것이므로, 주어진 깊이 정보 값 d에 대한
Figure 112018006656916-pct00008
는 현재의 처리되는 프래그먼트(인덱스에 의해 "current"로 지정된)의 깊이 정보 값 추정을 위해 고려되는 이전에 처리된 모든 프래그먼트(인덱스에 의해 "prev"로 지정된)로부터 비용을 누적한다:
Figure 112018006656916-pct00009
수식(4)
여기서, Mcurrent(d)은 전술한 바와 같이, 깊이 정보 값 d에 대한 로컬 프래그먼트 매칭 오차고, Cprev(d)는 깊이 정보 값 d에 대해 이전에 처리된 프래그먼트에 대한 비용이고, T(q,d)는 2개의 인수(argument) 전환 비용 함수(깊이 정보 값 q에서 깊이 정보 값 d로 전환하기 위한 비용)이며 연산자
Figure 112018006656916-pct00010
는 최소 컨벌루션을 나타내며, 이하와 같이 정의된다:
Figure 112018006656916-pct00011
수식(5)
여기서, minq은 q에 관하여 최소값을 나타내고, q와 d 모두 깊이 정보 값의 고려된 범위에 속한다(이는 일반적으로, 고려 대상인 시각적 장면의 파라미터, 즉 카메라에 대한 물체 거리에 따라, 선험적으로 설정된다). 문헌으로부터 공지된 예시적인 전환 비용 함수는 포트(Potts) 모델이다:
Figure 112018006656916-pct00012
수식(6)
현재 프래그먼트 Ccurrent(d)에 대한 비용은 현재 처리되는 프래그먼트의 깊이 정보 값 추정을 위해 고려된 모든 깊이 정보 값 d에 대해 계산된다.
빌리프 전파(Belief Propagation) 알고리즘에서, 프래그먼트에 대한 깊이 정보 값의 최종 선택은 알고리즘의 여러 번의 반복 이후에 완료될 수 있다.
포워드(Forward) 알고리즘에서, 깊이 정보 값의 선택에 대한 결정은 축적된 비용
Figure 112018006656916-pct00013
에 기초하여, 즉석에서 완료된다.
비터비(Viterbi) 알고리즘에서, 모든 비용 값을 알고 있을 때 실행되는, 백트래킹(back-tracking)의 추가 패스까지 깊이 정보 값의 최종 선택이 연기된다.
추정된 깊이 정보 값, 특히 불일치(disparity) 또는 깊이 값의 높은 신뢰도를 제공하는 현재의 알려진 알고리즘은 계산 상 복잡하며, 실시간 처리, 예를 들어 모바일 장치에 적합하지 않다. 한편, 예를 들어 모바일 장치에서 실시간으로 깊이 정보 값을 추정할 수 있는 현재의 알려진 단순 깊이 정보 값 추정 알고리즘은 획득된 결과의 신뢰도가 제한된다.
따라서, 계산상 효율적인 방식으로 추정된 높은 신뢰도의 깊이 정보 값을 제공하는 개선된 이미지 처리 장치 및 방법, 특히 이미지 처리 장치 및 방법에 대한 필요성이 있다.
본 발명의 목적은 계산적으로 효율적인 방식으로 추정 깊이 정보 값의 높은 충실도를 제공하는 개선된 이미지 처리 장치 및 방법, 특히 이미지 처리 장치 및 방법을 제공하는 것이다.
본 목적은 독립항의 주제에 의해 달성된다. 추가 구현 형태가 종속항, 상세한 설명 및 도면에서 제공된다.
본 발명의 제1 측면에 따르면, 본 발명은 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값을 선택하기 위한 이미지 처리 장치에 관한 것이며, 상기 이미지 처리 장치는 동일한 현재 디지털 이미지의 이전에 처리된 프래그먼트 또는 동일하거나 상이한 뷰 및/또는 동일하거나 이전 시간 인스턴트의 이전에 처리된 디지털 이미지에 대해 선택된 이전에 선택된 깊이 정보 값을 저장하도록 구성된 메모리를 포함한다.
또한, 이미지 처리 장치는 신호 처리 로직을 포함한다. 신호 처리 로직은 디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하고, 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값과 비교하고, 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값 사이의 비교 결과에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 가중화 함수를 적용하며, 현재 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 유사성 척도에 따라, 현재 프래그먼트에 대한 깊이 정보 값으로 선택할지 여부를 결정하도록 구성된다.
예를 들어, 현재 프래그먼트에 대한 현재 깊이 정보 값 후보와 이전 프래그먼트에 대한 이전에 선택된/결정된 깊이 정보 값의 비교에 기초하여 유사성 척도, 예를 들어 매칭 비용에 가중처리함으로써, 본 발명의 제1 측면은 현재의 처리된 프래그먼트에 대한 깊이 정보 값을 강력하지만 계산적으로 효율적인 방법으로 결정하도록 구성된 이미지 처리 장치를 제공한다.
현재 프래그먼트라는 용어는 또한 현재 처리되는 프래그먼트로 지칭될 수 있으며, 현재 디지털 이미지라는 용어는 현재 처리되는 디지털 이미지 등으로 지칭될 수도 있다.
신호 처리 로직은 프로세서, 예를 들어 다목적 프로세서 또는 디지털 신호 프로세서(DSP), ASIC, FPGA, CPU, GPU 등일 수 있다. 깊이 정보 값은, 예를 들어 깊이 값, 불일치 값, 또는 깊이 값 또는 불일치 값을 나타내는 인덱스 또는 라벨일 수 있다. 프래그먼트는 예를 들어, 현재 디지털 이미지 및/또는 디지털 기준 이미지의 픽셀 또는 픽셀 그룹일 수 있다. 유사성 척도는 예를 들어, 매칭 비용 또는 매칭 확률일 수 있으며, 상기 매칭 비용은 차이가 증가함에 따라 증가하는, 현재 프래그먼트와 기준 프래그먼트 사이의 차이를 나타내는 척도이고, 상기 매칭 확률은 차이가 증가함에 따라 감소하는, 현재 프래그먼트와 기준 프래그먼트가 일치하는 가능성/확률을 나타내는 척도이다. 이전에 처리된 프래그먼트는 동일한 현재 디지털 이미지 또는 동일한 뷰-시간적으로 선행하는 디지털 이미지- 또는 상이한 뷰- 동일하거나 이전 시간 인스턴트의 이전에 처리된 디지털 이미지일 수 있다.
신호 처리 로직은 포워드 알고리즘 또는 컨볼루션 단계가 이전 깊이 정보 값(들)에 기초하여 제안된 가중치로 대체될 수 있는 임의의 다른 최적화 알고리즘에서, 프래그먼트를 각각 순차적으로 또는 병렬 방식으로 처리하도록 구성될 수 있다.
본 발명의 제1 측면에 따른 이미지 처리 장치의 제1 가능한 구현 형태에서, 유사성 척도는 매칭 비용이고, 가중화 된 유사성 척도는 가중화 된 매칭 비용이고, 상기 가중화 함수는, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우, 매칭 비용이 증가되고, 및/또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 동일한 경우, 매칭 비용이 유지되거나 또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우와 비교하여 더 적게 증가되도록 구성된다.
따라서, 깊이 정보 값의 전환이라고도 지칭하는 변화는 비-변화(예를 들어, 비-전환) 경우보다 패널티를 받거나 최소한 패널티를 받는다.
본 발명의 제1 측면의 제1 구현 형태에 따른 이미지 처리 장치의 제2 가능한 구현 형태에서, 가중화 함수는, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우, 가중화 된 매칭 비용을 획득하기 위해, 제1 매칭 비용 패널티를 매칭 비용에 더함으로써, 또는 가중화 된 매칭 비용을 획득하기 위해, 매칭 비용을 제1 매칭 비용 패널티와 곱함으로써, 매칭 비용이 증가되고, 및/또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 동일한 경우, 예를 들어 가중화 된 매칭 비용을 획득하기 위해, 제2 매칭 비용 패널티를 매칭 비용에 더함으로써, 또는 가중화 된 매칭 비용을 획득하기 위해, 매칭 비용을 제2 매칭 비용 패널티와 곱함으로써, 매칭 비용이 유지되거나 증가되도록 구성되며, 상기 제2 매칭 비용 패널티는 제1 매칭 비용 패널티보다 더 작다.
따라서, 깊이 정보 값의 전환으로도 지칭되는 변화는 비-변화(예를 들어, 비-전환) 경우보다 패널티를 받거나 또는 최소한 패널티를 받는다.
본 발명의 제1 측면에 따른 이미지 처리 장치의 제3 가능한 구현 형태에서, 유사성 척도는 매칭 확률이고, 가중화 된 유사성 척도는 가중화 된 매칭 확률이며, 상기 가중화 함수는, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우, 매칭 확률이 감소되고, 및/또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 동일한 경우, 매칭 확률이 유지되거나 또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우와 비교하여 더 적게 감소되도록 구성된다.
따라서, 깊이 정보 값의 전환으로도 지칭되는 변화는 비-변화(예를 들어, 비-전환) 경우보다 패널티를 받거나 또는 최소한 패널티를 받는다.
본 발명의 제1 측면의 제3 구현 형태에 따른 이미지 처리 장치의 제4 가능한 구현 형태에서, 가중화 함수는, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이한 경우, 가중화 된 매칭 확률을 획득하기 위해, 매칭 확률로부터 제1 매칭 확률 패널티를 뺌으로써, 또는 가중화 된 매칭 확률을 획득하기 위해, 매칭 확률을 제1 매칭 확률 패널티로 나눔으로써, 매칭 확률이 감소되고, 및/또는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 동일한 경우, 매칭 확률이 유지되거나 또는 가중화 된 매칭 확률을 획득하기 위해, 매칭 확률로부터 제2 매칭 확률 패널티를 뺌으로써, 또는 가중화 된 매칭 확률을 획득하기 위해, 매칭 확률을 제2 매칭 확률 패널티로 나눔으로써, 매칭 확률이 감소되도록 구성된다.
따라서, 깊이 정보 값의 전환으로도 지칭되는 변화는 비-변화(예를 들어, 비-전환) 경우보다 패널티를 받거나 또는 최소한 패널티를 받는다.
본 발명의 제1 측면에 따른 이미지 처리 장치 또는 제1 내지 제4 구현 형태 중 임의의 하나의 제5 가능한 구현 형태에서, 신호 처리 로직은, 깊이 정보 값 후보의 세트의 각 깊이 정보 값 후보에 대한 유사성 척도를 계산하고 - 각각의 깊이 정보 값 후보는 동일하거나 상이한 디지털 기준 이미지의 상이한 기준 프래그먼트 후보를 정의함 -; 깊이 정보 값 후보의 세트의 깊이 정보 값 후보 각각을 이전에 선택된 깊이 정보 값과 비교하고; 각각의 깊이 정보 값 후보에 대해 현재 프래그먼트에 대해 대응하는 가중화 된 유사성 척도를 획득하기 위해, 각각의 깊이 정보 값 후보에 대해 대응하는 계산된 유사성 척도에 가중화 함수를 적용하고 - 상기 깊이 정보 값 후보 각각에 대해, 가중화 함수는 대응하는 비교의 결과에 기초하여 적용됨 -; 및 가중화 된 유사성 척도에 기초하여 깊이 정보 값 후보의 세트의 깊이 정보 값 후보로부터 현재 프래그먼트에 대한 깊이 정보 값을 선택하도록 구성된다.
따라서, 깊이 정보 값은 효율적(낮은 복잡성)으로 평가되지만, 동시에(평가 품질과 관련하여) 개선된다.
본 발명의 제1 측면의 제5 구현 형태에 따른 이미지 처리 장치의 제6 가능한 구현 형태에서, 유사성 척도는 매칭 비용이며, 신호 처리 로직은, 가장 작은 가중화 된 매칭 비용을 갖는 깊이 정보 값 후보의 세트의 깊이 정보 값 후보로부터 깊이 정보 값을 선택하도록 구성되거나; 또는 유사성 척도는 매칭 확률이며, 신호 처리 로직은, 가장 큰 가중화 된 매칭 확률을 갖는 깊이 정보 값 후보의 세트의 깊이 정보 값 후보로부터 깊이 정보 값을 선택하도록 구성된다.
따라서, 깊이 정보 값은 효율적(낮은 복잡성)으로 평가되지만, 동시에(평가 품질과 관련하여) 개선된다.
본 발명의 제1 측면에 따른 이미지 처리 장치 또는 제1 내지 제5 구현 형태 중 임의의 구현 형태의 제7 가능한 구현 형태에서, 신호 처리 로직은, 깊이 정보 값 후보의 세트의 깊이 정보 값 후보를 순차적으로 처리함으로써 현재 프래그먼트에 대한 깊이 정보 값을 결정하도록 구성되고; 신호 처리 로직은, (1) 깊이 정보 값 후보의 세트의 현재 깊이 정보 값 후보에 대한 유사성 척도를 계산하고; (2) 현재 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값과 비교하고; (3) 비교에 따라 가중화 된 유사성 척도를 획득하기 위해, 깊이 정보 값 후보의 세트의 현재 깊이 정보 값 후보의 유사성 척도에 가중화 함수를 적용하고; (4) 현재 깊이 정보 값 후보의 가중화 된 유사성 척도를 현재의 최상 깊이 정보 값과 연관된 현재의 최상 유사성 척도와 비교하고; (5-1) 현재 깊이 정보 값 후보의 가중화 된 유사성 척도가 현재의 최상 유사성 척도에 관한 업데이트 조건을 충족시키지 않는 경우, 예를 들어, 가중화 된 매칭 비용이 현재의 최상 매칭 비용(매칭 비용이 유사성 척도로 사용되는 경우)보다 큰 경우, 현재의 최상 깊이 정보 값을 현재의 최상 깊이 정보 값으로 유지하고 현재의 최상 가중화 된 유사성 척도를 현재의 최상 유사성 척도로 유지하고, 또는 (5-2) 현재 깊이 정보 값 후보의 가중화 된 유사성 척도가 현재의 최상 유사성 척도에 관한 업데이트 조건을 충족시키는 경우, 예를 들어, 가중화 된 매칭 비용이 현재의 최상 매칭 비용(매칭 비용이 유사성 척도로 사용되는 경우)보다 작거나 또는 이하인 경우, 현재 깊이 정보 값 후보를 현재의 최상 깊이 정보 값으로 메모리에 기록하고, 현재 깊이 정보 값 후보와 연관된 가중화 된 유사성 척도를 현재의 최상 유사성 척도로 메모리에 기록하고; 및 (6) 모든 깊이 정보 값 후보가 처리된 즉, 평가된 이후에, 현재의 최상 깊이 정보 값을 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값으로 선택하고 출력하도록 구성된다.
따라서, 깊이 정보 값은 효율적인(낮은 복잡성)으로 평가되지만 동시에(평가 품질에 관하여) 순차적 처리를 사용하여 개선된다.
본 발명의 제1 측면의 제7 구현 형태에 따른 이미지 처리 장치의 제8 가능한 구현 형태에서, 유사성 척도는 매칭 비용이며, 가중화 된 유사성 척도는 가중화 된 매칭 비용이고, 업데이트 조건은 가중화 된 매칭 비용이 현재의 최상 매칭 비용보다 작거나 이하라는 것이거나, 또는 유사성 척도는 매칭 확률이고 가중화 된 유사성 척도는 가중화 된 매칭 확률이며, 업데이트 조건은 가중화 된 매칭 확률이 현재의 최상 매칭 확률보다 크거나 이상이라는 것이다.
따라서, 깊이 정보 값은 효율적인(낮은 복잡성)으로 평가되지만, 동시에(평가 품질에 관하여) 순차적 처리를 사용하여 개선된다.
본 발명의 제1 측면에 따른 이미지 처리 장치 또는 제1 내지 제8 실시 형태 중 어느 하나의 제9 가능한 구현 형태에서, 메모리는 이전에 처리된 프래그먼트의 세트의 이전에 선택된 깊이 정보 값의 세트를 저장하도록 구성되고, 신호 처리 로직은 또한, 현재 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값 의 세트의 깊이 정보 값 중 적어도 하나와 비교하고; 이전에 선택된 깊이 정보 값의 세트 중 임의의 깊이 정보 값이 현재 깊이 정보 값 후보와 동일한지 여부에 따라 현재 깊이 정보 값 후보에 대한 가중화 된 유사성 척도를 획득하기 위해, 현재 깊이 정보 값 후보의 계산된 유사성 척도에 가중화 함수를 적용하도록 구성된다.
따라서, 깊이 정보 값은 효율적으로(낮은 복잡도)로 평가되지만, 동시에 이전에 선택된 깊이 정보 값의 세트에 기초하여(평가 품질에 관하여) 개선된다.
본 발명의 제1 측면에 따른 이미지 처리 장치 또는 제1 내지 제9 구현 형태 중 어느 하나의 제10 가능한 구현 형태에서, 신호 처리 로직은, 현재 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값 주위 범위 내의 깊이 정보 값의 세트와 비교하며, 이전에 선택된 깊이 정보 값 주위 범위 내의 깊이 정보 값의 세트 중 임의의 깊이 정보 값이 현재 깊이 정보 값 후보와 동일한지 여부에 따라, 현재 깊이 정보 값 후보에 대한 가중화 된 유사성 척도를 획득하기 위해, 현재 깊이 정보 값 후보의 계산된 유사성 척도에 가중화 함수를 적용하도록 구성된다.
따라서, 깊이 정보 값은 이전에 선택된 깊이 정보 값 주위 범위 내의 깊이 정보 값의 세트에 기초하여, (평가 품질과 관련하여) 효율적인(낮은 복잡성)으로 평가되지만 동시에 개선된다.
본 발명에 따른 이미지 처리 장치 또는 제1 내지 제10 구현 형태 중 어느 하나의 제1 측면의 제11 가능한 구현 형태에서, 신호 처리 로직은, 이전에 선택된 깊이 정보 값에 기초하여 현재 프래그먼트에 대한 유사성 척도를 먼저 계산하고; 유사성 척도를 임계치와 비교하며; 및 비교의 결과가 스킵 조건을 충족시키는 경우, 이전에 선택된 깊이 정보 값을 현재 디지털 이미지의 현재 프래그먼트의 깊이 정보 값으로 선택하고; 및/또는 비교의 결과가 스킵 조건을 충족시키지 않는 경우, 디지털 기준 이미지의 기준 프래그먼트 후보를 더 정의하는 추가 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하고; 추가 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값과 비교하고; 추가 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값 사이의 비교 결과에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 가중화 함수를 적용하고; 및 추가 현재 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 매칭 비용에 따라 현재 프래그먼트에 대한 깊이 정보 값으로 선택할지 여부를 결정하도록 구성된다.
임계치는, 예를 들어, 가중화 함수에서 사용되는 패널티 값 또는 예를 들어, 실험 데이터 및/또는 현재의 처리된 디지털 이미지의 알려진 또는 추정된 특성에 기초하여 유도된,다른 값일 수 있다.
따라서, 깊이 정보 값은 효율적으로(낮은 복잡성) 평가되지만, 동시에 스킵 조건이 충족되는 경우 많은 처리 단계를 스킵하거나 회피하는 것을 허용하는(평가 품질과 관련하여) 방식으로 개선된다.
본 발명의 제1 측면의 제11 구현 형태에 따른 이미지 처리 장치의 제12 가능한 구현 형태에서, 유사성 척도는 매칭 비용이며, 스킵 조건은 매칭 비용이 임계치보다 작거나, 이상인 것이거나, 또는 유사성 척도가 매칭 비용이며, 스킵 조건은 매칭 비용이 임계치보다 작거나 이하인 것이며, 상기 임계치는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이하거나, 기준 또는 이전에 선택된 깊이 정보 값 후보의 세트에 포함된 임의의 깊이 정보 값과 상이한 경우, 매칭 비용에 적용되는 가중화 함수의 패널티와 동일하거나, 또는 유사성 척도는 매칭 확률이고, 스킵 조건은 매칭 확률이 임계치보다 크거나 이상이다.
임계치는, 예를 들어, 가중화 함수에서 사용되는 패널티 값 또는 예를 들어, 실험 데이터 및/또는 현재의 처리된 디지털 이미지의 알려진 또는 추정된 특성에 기초하여 유도된 다른 값일 수 있다.
따라서, 깊이 정보 값은 효율적(낮은 복잡성)으로 평가되지만, 동시에 스킵 조건이 충족되는 경우 많은 처리 단계를 스킵하거나 회피하는 것을 허용하는 (평가 품질과 관련하여)방식으로 개선된다.
제2 측면에 따르면, 본 발명은 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값을 선택하는 이미지 처리 장치에 관한 것으로, 상기 이미지 처리 장치는 메모리 및 신호 처리 로직을 포함한다. 상기 메모리는, 동일한 현재 디지털 이미지의 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값 또는 동일하거나 상이한 뷰 및/또는 동일하거나 이전 시간 인스턴트의 이전에 처리된 디지털 이미지를 저장하도록 구성된다. 상기 신호 처리 로직은, 이전에 선택된 깊이 정보 값에 기초하여 현재 프래그먼트에 대한 유사성 척도를 먼저 계산하고; 유사성 척도를 임계치와 비교하며; 및 비교의 결과가 스킵 조건을 충족시키는 경우, 이전에 선택된 깊이 정보 값을 현재 디지털 이미지의 현재 프래그먼트의 깊이 정보 값으로 선택하도록 구성된다.
본 발명의 제2 측면에 따른 이미지 처리 장치의 제1 가능한 구현 형태에서, 신호 처리 로직은 또한, 비교의 결과가 스킵 조건을 충족시키지 않는 경우, 디지털 기준 이미지의 추가 기준 프래그먼트 후보를 정의하는 추가 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하고; 추가 깊이 정보 값 후보를 이전에 선택된 깊이 정보 값과 비교하고; 추가 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값 사이의 비교의 결과에 기초하여, 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 가중화 함수를 적용하며; 및 추가 현재 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 매칭 비용에 따라 현재 프래그먼트에 대한 깊이 정보 값으로 선택할지 여부를 결정하도록 구성된다.
임계치는 예를 들어, 가중화 함수의 패널티 값이거나, 예를 들어 현재의 처리된 디지털 이미지의 알려진 또는 추정된 특성에 기초하여 유도되는 다른 값일 수 있다.
따라서, 깊이 정보 값은 효율적(낮은 복잡성)으로 평가되지만, 동시에 스킵 조건이 충족되는 경우 많은 처리 단계를 스킵 또는 회피하는 것을 허용하는 (평가 품질과 관련하여)방식으로 개선된다.
제2 측면 또는 제1 측면의 제1 구현 형태에 따른 이미지 처리 장치의 제2 가능한 구현 형태에서, 유사성 척도는 매칭 비용이며 스킵 조건은 매칭 비용이 임계치보다 작거나 이하라는 것이거나, 또는 유사성 척도는 매칭 비용이며 스킵 조건은 매칭 비용이 임계치보다 작거나 이하라는 것이며, 상기 임계치는 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 상이하거나, 기준 또는 이전에 선택된 깊이 정보 값 후보의 세트에 포함된 임의의 깊이 정보 값과 상이한 경우, 매칭 비용에 적용되는 가중화 함수의 패널티와 동일하거나, 또는 유사성 척도는 매칭 확률이고 스킵 조건은 매칭 확률이 임계치보다 크거나 또는 이상이다.
임계치는 예를 들어, 가중화 함수에서 사용되는 패널티 값 또는 예를 들어, 실험 데이터 및/또는 현재의 처리된 디지털 이미지의 알려진 또는 추정된 특성에 기초하여 유도되는 다른 값일 수 있다.
따라서, 깊이 정보 값은 효율적(낮은 복잡성)으로 평가되지만, 동시에 스킵 조건이 충족되는 경우 많은 처리 단계를 스킵 또는 회피하는 것을 허용하는(평가 품질과 관련하여) 방식으로 개선된다.
제2 측면에 따른 추가 구현 형태는 제1 측면(및 본 발명의 실시예에 대한 이하의 상세한 설명)과 관련하여 앞서 설명된 추가 설명 및 구현 형태로부터 직접 유도될 수 있으며, 이는 제2 측면에 따른 구현 형태에 동일하게 적용된다.
제3 측면에 따르면, 본 발명은 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값을 선택하는 이미지 처리 방법에 관한 것이다. 이미지 처리 방법은, 동일한 현재 디지털 이미지의 이전에 처리된 프래그먼트 또는 동일하거나 상이한 뷰의 이전에 처리된 디지털 이미지에 대해 선택된 이전에 선택된 깊이 정보 값을 저장하는 단계; 디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하는 단계; 깊이 정보 값 후보를 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값과 비교하는 단계; 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값 사이의 비교의 결과에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해 계산된 유사성 척도에 가중화 함수를 적용하는 단계; 및 현재 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 유사성 척도에 따라 현재 프래그먼트에 대한 깊이 정보 값으로 선택할지 여부를 결정하는 단계를 포함한다.
본 발명의 제3 측면에 따른 이미지 처리 방법은 본 발명의 제1 또는 제2 측면에 따른 이미지 처리 장치에 의해 수행될 수 있다. 본 발명의 제3 측면에 따른 이미지 처리 방법의 추가 특징은 본 발명의 제1 및 제2 측면에 따른 이미지 처리 장치 및 그 상이한 구현 형태의 기능으로부터 직접 얻어진다.
제4 측면에 따르면, 본 발명은 본 발명의 제3 측면에 따른 방법 또는 컴퓨터 상에서 실행될 때 그 구현 형태 중 임의의 것을 수행하기 위한 프로그램 코드를 포함하는 컴퓨터 프로그램에 관한 것이다.
본 발명은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
본 발명의 추가 실시예는 이하의 도면에 관하여 설명될 것이다:
도 1은 일 실시예에 따른 이미지 처리 장치의 개략도를 나타낸다.
도 2는 일 실시예에 따른 이미지 처리 방법의 개략도를 나타낸다.
도 3은 일 실시예에 따른 이미지 처리 장치에서 구현되는 알고리즘의 흐름도를 나타낸다.
도 4는 다른 실시예에 따른 이미지 처리 장치에서 구현되는 알고리즘의 흐름도를 나타낸다.
도 5는 상이한 실시예에 따른 이미지 처리 장치들에서 구현되는 상이한 알고리즘의 기본 개념을 도시하는 개략도를 나타낸다.
도 6은 또 다른 실시예에 따른 이미지 처리 장치에서 구현되는 알고리즘의 흐름도를 나타낸다.
다양한 도면에서, 동일한 기준 신호는 동일하거나 적어도 기능적으로 동등한 특징을 위해 사용될 수 있다.
이하의 상세한 설명에서, 본 개시의 일부를 형성하고, 본 개시가 실시될 수 있는 특정 측면을 예시로 나타내는 첨부 도면을 참조한다. 본 개시의 범위를 벗어나지 않으면서, 다른 측면이 활용될 수 있고, 구조적 또는 논리적 변화가 이루어질 수 있음을 이해한다. 따라서, 이하의 상세한 설명은 제한적인 의미로 받아들여서는 안되며, 본 개시의 범위는 첨부된 청구범위에 의해 정의된다.
설명된 방법과 관련된 개시는 또한, 그 방법을 수행하도록 구성된 대응하는 장치, 디바이스 또는 시스템에 대해 유효할 수도 있고, 그 반대일 수도 있다. 예를 들어, 특정 방법 단계가 설명되는 경우, 대응하는 장치는 비록 그러한 유닛이 도면에 명시적으로 설명되거나 예시되어 있지 않더라도, 설명된 방법 단계를 수행하기 위한 유닛을 포함할 수 있다. 또한, 달리 명시하지 않는 한, 여기서 설명된 다양한 예시적인 측면의 특징은 서로 조합될 수 있음을 이해한다.
도 1은 일 실시예에 따른 이미지 처리 장치(100)의 개략도를 나타낸다. 이미지 처리 장치(100)는 현재 처리되는 디지털 이미지의 현재 처리되는 프래그먼트에 대한 깊이 정보 값 dbest을 선택하도록 구성된다. 깊이 정보 값 dbest은, 예를 들어 깊이 값, 불일치 값, 또는 깊이 값 또는 불일치 값을 나타내는 인덱스 또는 라벨일 수 있다. 현재 처리되는 프래그먼트는, 예를 들어 현재 처리되는 픽셀이거나 디지털 이미지의 현재 처리되는 픽셀 그룹일 수 있다.
이미지 처리 장치(100)는, 동일한 현재 디지털 이미지의 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값 dprev이나, 동일하거나 상이한 뷰의 이전에 처리된 디지털 이미지를 저장하도록 구성된 메모리(101)를 포함한다.
또한, 이미지 처리 장치(100)는 신호 처리 로직(103)을 포함한다. 신호 처리 로직(103)은, 디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보(di)에 기초하여 현재 프래그먼트에 대한 유사성 척도를 계산하고, 깊이 정보 값 후보(di)를 이전에 선택된 깊이 정보 값(dprev)과 비교하고, 깊이 정보 값 후보(di)와 이전에 선택된 깊이 정보 값(dprev) 사이의 비교 결과에 기초하여, 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 가중화 함수를 적용하고, 현재 깊이 정보 값 후보(di)를 깊이 정보 값 후보(di)의 가중화 된 유사성 척도에 따라 현재 프래그먼트에 대한 깊이 정보 값(dbest)으로 선택할지 여부를 결정하도록 구성된다.
신호 처리 로직(103)은 프로세서, 예를 들어 다목적 프로세서 또는 디지털 신호 프로세서(DSP), ASIC, FPGA, CPU, GPU 등일 수 있다.
메모리(101)는 신호 처리 로직(103)의 일부, 예를 들어 통합 메모리 또는 별도의 메모리일 수 있다.
깊이 정보 값은, 예를 들어 깊이 값, 불일치 값, 또는 깊이 값 또는 불일치 값을 나타내는 인덱스 또는 라벨일 수 있다. 프래그먼트는 예를 들어, 현재 디지털 이미지 및/또는 디지털 기준 이미지의 픽셀 또는 픽셀 그룹일 수 있다.
이하에서 보다 상세히 설명되는 바와 같이, 유사성 척도는 예를 들어, 매칭 비용 또는 매칭 확률일 수 있다. 상기 매칭 비용은 차이가 증가함에 따라 증가하는, 현재 프래그먼트와 기준 프래그먼트 사이의 차이를 나타내는 척도이고, 상기 매칭 확률은 차이가 증가함에 따라 감소하는, 현재 프래그먼트와 기준 프래그먼트가 일치하는 가능성 또는 확률을 나타내는 척도이다.
이전에 처리된 프래그먼트는 동일한 현재 디지털 이미지 또는 동일한 뷰 - 시간적으로 선행하는 디지털 이미지 - 또는 상이한 뷰 - 동일하거나 이전 시간 인스턴트의 이전에 처리된 디지털 이미지일 수 있다.
예를 들어, 현재 프래그먼트에 대한 현재 깊이 정보 값 후보와 이전 프래그먼트 실시예에 대한 이전에 선택되거나 결정된 깊이 정보 값의 비교에 기초하여 유사성 척도, 예를 들어 매칭 비용을 가중함으로써, 본 발명은 현재의 프로세스 프래그먼트에 대한 깊이 정보 값을 강력하지만 계산적으로 효율적인 방법으로 결정하도록 구성된 이미지 처리 장치를 제공한다. 가중화 함수는 현재 처리되는 프래그먼트에 대한 깊이 정보 값을 결정할 때, 깊이 정보 값의 전환에 패널티를 주도록(penalize) 구성된다.
신호 처리 로직(103)은 포워드 알고리즘 또는 컨볼루션 단계가 이전 깊이 정보 값(들)에 기초하여 제안된 가중치로 대체될 수 있는 임의의 다른 최적화 알고리즘에서, 프래그먼트를 직렬/순차 및 병렬 방식으로 처리하도록 구성될 수 있다.
신호 처리 로직은 특히 상이한 깊이 정보 값 후보를, 예를 들어 d 또는 di, 각각 연속적인 순차 방식으로 현재 프래그먼트에 대해, 예를 들어 루프 또는 병렬 방식으로 처리하도록 구성될 수 있다.
도 2는 일 실시예에 따른 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값 dbest을 선택하기 위한 이미지 처리 방법(200)의 개략도를 나타낸다.
방법(200)의 단계(201)에서, 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값이 저장된다. 방법(200)의 단계(203)에서, 유사성 척도는 디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보에 기초하여 현재 프래그먼트에 대해 계산된다. 방법(200)의 단계(205)에서, 깊이 정보 값 후보(di)는 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값과 비교된다. 방법(200)의 단계(207)에서, 가중화 함수는 깊이 정보 값 후보와 이전에 선택된 깊이 정보 값 사이의 비교에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도를 획득하기 위해, 계산된 유사성 척도에 적용된다. 방법(200)의 단계(209)에서, 깊이 정보 값 후보를 깊이 정보 값 후보의 가중화 된 유사성 척도에 따라 현재 프래그먼트에 대한 깊이 정보 값으로 선택할지 여부가 결정된다.
신호 처리 로직(103)은 메모리(101)와 결합하여, 이미지 처리 방법(200)(즉, 여기서 설명된 임의의 실시예 및 구현 형태)을 수행하도록 구성될 수 있다.
이하에서는, 이미지 처리 장치(100) 및 이미지 처리 방법(200)의 다른 실시 형태 및 실시예가 설명된다.
여기서 PREV-BEST-1으로도 지칭되는 일 실시에서, 유사성 척도는 곧 비용(cost)으로 지칭될 수 있는 매칭 비용이고, 가중화 된 유사성 척도는 곧 가중화 된 비용으로 지칭될 수 있는 가중화 된 매칭 비용이다. 특히, 가중화 함수는 조건부 패널티 함수이고, 주어진 이미지 프래그먼트 및 깊이 정보 값 후보 d에 대한 가중화 된 매칭 비용(
Figure 112018006656916-pct00014
)은, 조건적으로, 주어진 깊이 정보 값 후보가 이전에 처리된 프래그먼트, 예를 들어
Figure 112018006656916-pct00015
수식(7)
에 대해 선택된 깊이 정보 값(
Figure 112018006656916-pct00016
)과 상이한 경우, 이미지 프래그먼트 매칭 비용(
Figure 112018006656916-pct00017
) 및 일정한 패널티 값의 합으로서 정의된다.
통상의 기술자가 이해할 수 있는 바와 같이, 상기 수식(7)은 이하와 같이 표현될 수 있다:
Figure 112018006656916-pct00018
. 수식(8)
일 실시예에서, 매칭 비용(
Figure 112018006656916-pct00019
)은, 예를 들어 상기 수식(2)에 의해 주어진 절대 차의 합(SAD) 또는 상기 수식(3)에 의해 주어진 제곱된 차의 합(SSD)일 수 있다. 매칭 비용(
Figure 112018006656916-pct00020
)은 또한, 예를 들어, 현재 처리되는 프래그먼트의 근처에서, 이전에 처리된 프래그먼트에 대해 선택된 깊이 정보 값을 고려하지 않기 때문에 로컬 매칭 비용으로 지칭될 수 있으며, 따라서 이전에 처리된 프래그먼트의 깊이 정보 값과 현재 처리되는 프래그먼트 사이의 전환 또는 변화도 일어나지 않는다.
수식(7) 및 수식(8)에 의해 설명된 바와 같이, 이러한 실시예는 깊이 정보 값 후보 d(또는 di)가 이전에 선택된 깊이 정보 값
Figure 112018006656916-pct00021
과 상이한 경우(예를 들어, 이전에 처리된 프래그먼트 즉, 현재 처리되는 프래그먼트의 근처 프래그먼트에 관한 깊이 정보 값의 전환 또는 변화가 있는 경우), 패널티 값 "penalty"에 의해 매칭 비용
Figure 112018006656916-pct00022
을 패널티하고, 깊이 정보 값 후보 d(또는 di)가 이전에 선택된 깊이 정보 값
Figure 112018006656916-pct00023
과 일치하거나 동일한 경우(예를 들어, 이전에 처리된 프래그먼트 즉, 현재 처리되는 프래그먼트의 근처 프래그먼트에 관한 깊이 정보 값의 전환 또는 변화가 없는 경우), 매칭 비용
Figure 112018006656916-pct00024
을 유지하는 가중화 함수를 포함한다.
일반적으로, 이전에 선택된 깊이 정보 값
Figure 112018006656916-pct00025
은 임의의 이전에 처리된 프래그먼트와 관련될 수 있다. 일 실시예에서, 현재 처리되는 프래그먼트는 이전에 처리된 프래그먼트의 근처 내에 있으며, 이하는 또한 도 5의 내용에서 더 상세히 설명될 것이다. 예를 들어,
Figure 112018006656916-pct00026
는 가중화 된 매칭 비용
Figure 112018006656916-pct00027
이 계산되는 현재 처리되는 픽셀 또는 픽셀 그룹에 직접 인접하는 픽셀 또는 픽셀 그룹에 대한 추정된 깊이 정보 값일 수 있다.
일 실시예에서, 상기 수식(7)에서 정의된 패널티 값은 "실험적으로" 결정될 수 있다. 경험적으로, 그 값은 유사성 척도에서 나타나는 노이즈 레벨, 예를 들어 처리된 이미지에 대한 매칭 비용
Figure 112018006656916-pct00028
과 비교되어야 한다.
도 3은 PREV-BEST-1 알고리즘의 흐름도를 나타내며, 이는 도 2의 이미지 처리 방법(200)의 구현을 형성하고, 일 실시예, 예를 들어 도1에 나타난 이미지 처리 장치(100),에 따른 이미지 처리 장치에서 구현될 수 있다. 상기 알고리즘 또는 방법은 메모리(101)와 결합하여 신호 처리 로직(103)에 의해 수행될 수 있다.
본 실시예에서, N개의 적합한 깊이 정보 값 후보 세트
Figure 112018006656916-pct00029
가 고려되고, 여기서 i는 i = 0, ..., N-1인 각각의 깊이 정보 값 후보 인덱스이다. 도 3의 초기화 단계(301) (costbest 변수를 최대 값, 예를 들어 "무한대"로 설정) 및 단계(303)(반복 카운터 i를 0으로 설정) 이후에, 각각의 적합한 깊이 정보 값 후보
Figure 112018006656916-pct00030
(도 3의 단계(307))에 대해, 가중화 된 매칭 비용
Figure 112018006656916-pct00031
이 계산되고(로컬 프래그먼트 매칭 비용
Figure 112018006656916-pct00032
의 형태로 유사성 척도를 사용), 비용 변수에 할당된다(도 3의 단계(307)). 깊이 정보 값 후보
Figure 112018006656916-pct00033
는 이전 프래그먼트(도 3의 단계(309))의 깊이 정보 값 dprev과 비교된다. 깊이 정보 값 후보 di와 이전 프래그먼트의 깊이 정보 값 dprev이 동일한 경우, 비용 변수의 값, 즉 깊이 정보 값 후보 di의 비용이 costbest변수의 값과 직접 비교되며, 이는 이전에 처리된 깊이 정보 값 후보에 관하여 현재 프래그먼트에 대해 지금까지 결정된 최상 또는 최저 비용을 나타낸다. 깊이 정보 값 후보 di와 이전 프래그먼트의 깊이 정보 값 dprev이 동일하지 않은 경우, 패널티 값이 비용 변수의 값에 더해져서 패널티가 주어진 비용 값이 획득되고, 패널티가 주어진 비용 값은 비용 변수에 할당되고(도 3의 단계(311)), costbest 변수의 값과 비교된다. 비용 변수의 값이 costbest 변수의 값보다 작거나 동일한 경우(도 3의 단계(313)), 현재 깊이 정보 값 후보 di는 변수 dbest에 할당되고, 이는 이전에 처리된 깊이 정보 값 후보에 관하여 현재 프래그먼트에 대해 지금까지 결정된 최상 깊이 정보 값을 나타내며, 비용 변수의 값은 costbest 변수에 할당된다(도 3의 단계(315)). 비용 변수의 값이 costbest 변수의 값보다 큰 경우, 변수 dbest 및 costbest는 유지된다. 즉 변하거나 업데이트되지 않는다. 그 후, 깊이 정보 값 후보 인덱스 i가 증가되며(도 3의 단계(317)), 새로운 현재 깊이 정보 값 후보 인덱스 i에 대해 상기 단계가 수행된다.
일 실시예에서, 제1 반복에 대해, 즉 i=0에 대해, 예를 들어 비용 변수와 costbest변수의 값 사이의 비교가 생략될 수 있고, costbest 변수의 값은 깊이 정보 값 후보 d0에 대해 계산된 비용 값으로 설정될 수 있으며, dbest 변수의 값은 깊이 정보 값 후보 d0로 설정될 수 있다. 즉, 도 3에 나타난 탐색 루프(300a)에서, 모든 깊이 정보 값 후보 di중에서 가장 작은 가중화 된 매칭 비용
Figure 112018006656916-pct00034
이 발견되고,
Figure 112018006656916-pct00035
변수에 기록된다. 대응하는 최상 깊이 정보 값 d는
Figure 112018006656916-pct00036
에 저장되고, 출력으로 피드된다.
일단 모든 깊이 정보 값 후보 di가 루프(300a) 내에서 처리되면, 최종 dbest이 깊이 정보 값으로 출력된다(도 3의 단계(319)).
도 1 및 도 2에 기초하여 설명된 실시예를 다시 참조하면, 도 3은 발명의 실시예를 나타내고, 여기서 유사성 척도는 매칭 비용이고, 가중화 된 유사성 척도는 가중화 된 매칭 비용이고, 현재의 최상 유사성 척도는 현재의 최상 매칭 비용이며, 가중화 함수는 (로컬) 매칭 비용이 전환의 경우에만 패널티를 받도록 구성된 전환 함수이며(예를 들어, 현재 처리되는 깊이 정보 값 후보 di 와 이전에 선택된 깊이 정보 값 dprev 사이의 깊이 정보 값의 차이의 경우에서), 상이한 깊이 정보 값 후보 di는 현재의 최상 후보 값(현재의 최상 깊이 정보 값 dbest 과 대응하는 현재의 최상 매칭 비용 costbest)을 저장하고 더 나은 후보가 발견된 경우 이들을 갱신하면서 순차적으로(루프로) 처리된다.
따라서, 도 3의 단계(307)는 도 2의 단계(203)에 대응하고, 도 3의 단계(309)는 도 2의 단계(205)에 대응하고, 도 3의 단계(309) 및 단계(311)로부터 출발하는 화살표(예 및 아니오)는 도 2의 단계(207)에 대응하며, 예를 들어 단계(303, 305 및 317)(모든 깊이 정보 후보를 처리하기 위한 루프와 관련된)와 결합하는 단계(313, 315 및 319)는 도 2의 단계(209)와 대응한다.
동일한 맵핑은 도 1에 기초하여 설명되는 이미지 처리 장치에 적용된다. 메모리(101)는, 예를 들어, 이전에 선택된 깊이 정보 값 dprev에 도 3에 따른 실시예를 수행하기 위해 요구되는 다른 값 및 인덱스, 예를 들어 현재의 최상 깊이 정보 후보 dbest, 현재의 최상 매칭 비용 costbest, 깊이 정보 값 후보 인덱스 I, 현재 처리되는 프래그먼트에 대한 깊이 정보 d(또는 dbest)를 선택하기 위해 처리되는 깊이 정보 값 후보의 수를 나타내는 값 N, 패널티 값 penalty, 현재 처리되는 깊이 정보 값 후보 di 에 대한 비용 변수 비용(매칭 비용 Mcurrent(di) 및/또는 가중화 된 매칭 비용 Ccurrent(di)을 저장하기 위한)을 추가적으로 저장하도록 구성될 수 있다.
도 4는 여기서 PREV-BEST-2 알고리즘으로 지칭되며, 도 2의 이미지 처리 방법(200)의 구현을 형성하고, 일 실시예에 따른 이미지 처리 장치, 예를 들어, 도 1에 나타난 이미지 처리 장치(100)에서 구현될 수 있는 추가 알고리즘의 흐름도를 나타낸다. 여기서 알고리즘 또는 방법은 메모리(101)와 결합하여 신호 처리 로직(103)에 의해 수행될 수 있다.
도 3의 내용에서 설명된 알고리즘, 즉 PREV-BEST-1 알고리즘에서, 모든 적합한 깊이 정보 값 후보는 동등하게 고려되고, 따라서 예를 들어, 임의의 특정 순서 없이 처리된다(예를 들어, 0 ~ N-1의 인덱스 i에 따라).
도 4에 나타난 알고리즘에서, 깊이 정보 값에 대한 탐색은 이전에 처리된 프래그먼트에 대해 선택된 이전 깊이 정보 값
Figure 112018006656916-pct00037
이 먼저 처리되도록 부분(400a)("부분 평가 스킵")에서 재배열된다(도 4의 단계(401)). 이전 깊이 정보 값
Figure 112018006656916-pct00038
과 관련된 매칭 비용에 penalty가 더해지지 않기 때문에(도 4의 단계(401)), 매칭 비용
Figure 112018006656916-pct00039
과 동일한 가중화 된 매칭 비용
Figure 112018006656916-pct00040
이 계산된다. 도 4의 단계(403)는 계산된 매칭 비용
Figure 112018006656916-pct00041
이 패널티 값보다 작은 경우(또는 작거나 같은 경우), 업데이트 조건을 정의한 후, 깊이 정보 값 탐색 루프(400b)가 스킵된다. 그러한 경우,
Figure 112018006656916-pct00042
(
Figure 112018006656916-pct00043
에 또한 할당된)는 즉시 출력에 제공된다(도 4의 단계(421)). 깊이 정보 값 탐색 루프(400b)의 스킵은 계산 복잡도의 실질적인 감소를 허용한다.
루프(400b)가 도 3에 나타난 알고리즘의 루프(300a)와 동일하기 때문에, 도 4의 단계(405 내지 413)에 대응하는 루프(300a)의 단계(303 내지 311)의 상기 상세한 설명이 참조된다.
즉, 도 4에 기초하여 설명된 실시예(400)는 도 3의 초기화(301)가 도 4의 스킵 평가(400a)로 대체된 것을 제외하고는, 도 3에 기초하여 설명된 실시예(300)와 동일하다. 도 3에 대해 제공된 추가 설명은 도 4와 동등하게 적용된다.
통상의 기술자는 도 3 및 도 4에 나타난 알고리즘에서, 이전에 처리된 프래그먼트에 대해 선택된 단일 깊이 정보 값
Figure 112018006656916-pct00044
만이 도 5의 박스(501)에 개략적으로 도시된 깊이 정보 값 후보에 대한 가중화 된 유사성 척도를 계산하기 위해 사용된다는 것을 이해할 수 있다. 도 5에서, x 및 y는 수평(x) 및 수직(y) 방향으로의 프래그먼트의 좌표를 나타내고, t는 프래그먼트의 시간 인스턴트를 나타내며, 화살표는 이전에 처리된 프래그먼트로부터 현재 처리되는 프래그먼트쪽으로 향한다. 도 5에 도시된 예는, 프래그먼트가 왼쪽에서 오른쪽으로 수평적으로 처리되는 전형적인 응용 프로그램과 관련된다. 따라서, 박스(501)는, 동일한 시간 인스턴스(즉, 동일한 현재 디지털 이미지)의 수평적으로 왼쪽으로 인접하는 깊이 정보 값 dprev 만이 깊이 정보 값 후보의 가중화 된 유사성 척도를 계산하기 위해 사용되는 실시예를 도시한다. 동일한 시간 인스턴스의 왼쪽 수평으로 이웃하는 프래그먼트 대신에, 이전에 처리된 다른 프래그먼트, 예를 들어, 동일한 시간 인스턴스의 왼쪽 상부 이웃 또는 왼쪽 하부 이웃, 이전 시간 인스턴스(즉, 이전 디지털 이미지의, 예를 들어, 동일한 뷰의)의 대응하는 프래그먼트(즉, 디지털 이미지에서 동일한 x,y 좌표를 갖는 프래그먼트), 상이한 뷰의(즉, 동일한 3D 장면에 대한 상이한 뷰 또는 원근법을 나타내는 디지털 이미지의) 대응하는 프래그먼트(즉, 디지털 이미지에서 동일한 x,y 좌표를 갖는 프래그먼트), 또는 동일하거나 상이한(예를 들어, 이전) 시간 인스턴스 및/또는 동일하거나 상이한 뷰의 이웃 프래그먼트 가 사용될 수 있다.
전형적으로, 인접 프래그먼트 또는 대응하는 프래그먼트(즉, 상이한 디지털 이미지에서 동일한 위치/x,y 좌표)는 현재 처리되는 프래그먼트와의 공간적 관계로 인해 가장 의미가 있다. 그러나, 다른 실시예에서, 다른 이전에 처리된 프래그먼트의 깊이 정보 값이 사용될 수 있다. 즉, 디지털 이미지의 공간적 특성이 공지되어 있는 경우, 다른 이전에 처리된 프래그먼트의 깊이 정보 값은 깊이 정보 값 추정을 개선시키는 데 더 적합하다는 점이다.
도 4에 기초하여 설명된 PREV-BEST-2 실시예에 대해 동일한 고려사항이 적용된다.
또한, 본 발명의 실시예는 이전에 처리된 프래그먼트의 복수의 깊이 정보 값이 고려되고, 가중화 된 유사성 척도, 예를 들어 유사성 척도에 패널티가 주어질지 여부를 결정하기 위한 유사성 척도를 계산하기 위해 사용되는 구현을 포함한다.
예를 들어, 본 발명의 실시예에서, 가중화 된 유사성 척도(여기서는 가중화 된 매칭 비용)는 P개의 이전에 추정된 깊이 정보 값
Figure 112018006656916-pct00045
세트를 사용하여 이하와 같이 계산될 수 있다:
Figure 112018006656916-pct00046
수식(9)
도 5의 박스(503)에 개략적으로 도시된 바와 같이, 일 실시예에서,
Figure 112018006656916-pct00047
,
Figure 112018006656916-pct00048
,
Figure 112018006656916-pct00049
는 가중화 된 매칭 비용
Figure 112018006656916-pct00050
이 현재의 계산되는(PREV-BEST-3라 지칭됨) 현재 처리되는 프래그먼트에 인접하는 프래그먼트에 대한 3개의 예시적인 추정된/선택된 깊이 정보 값일 수 있다. 이들 인접하는 프래그먼트는 현재 처리되는 프래그먼트와 다양한 공간적 관계에 있을 수 있고, 또 다른 하나는 도 5의 박스(505)에 도시되어 있으며, 여기서 4개의 예시적인 깊이 정보 값
Figure 112018006656916-pct00051
이 고려된다(PREV-BEST-4라고 지칭됨).
박스(503)는 동일한 시간 인스턴스(즉, 동일한 현재 디지털 이미지)의 3개의 왼쪽 인접 프래그먼트의 깊이 정보 값 dprev1 내지 dprev3 이 가중화 된 유사성 척도, 즉 왼쪽 상부 이웃(dprev1), 왼쪽 수평 이웃(dprev2) 및 왼쪽 하부 이웃(dprev3)을 계산하는 데 사용되는 일 실시를 도시한다.
박스(505)는 박스(503)의 3개의 왼쪽 이웃 프래그먼트의 깊이 정보 값 dprev1 내지 dprev3 에 추가적으로, 동일한 시간 인스턴스(즉, 동일한 현재 디지털 이미지)의 상부 수직 이웃의 깊이 정보 값 dprev4 이 가중화 된 유사성 척도를 계산하기 위해 사용되는 실시예를 도시한다.
전술한 바와 같이, 실시예에서, 이전에 선택된 깊이 정보 값
Figure 112018006656916-pct00052
의 세트는 또한, 현재 처리되는 프래그먼트, 예를 들어 이전(시간상) 이미지 프레임과 관련된 프래그먼트보다 상이한 시간 인스턴스에 관련된 깊이 정보 값을 포함할 수 있다. 도 5의 박스(507)에 개략적으로 도시된 예시적인 PREV-BEST-3-T1 실시예에서, 4개의 깊이 정보 값
Figure 112018006656916-pct00053
의 세트가 사용되고, 여기서
Figure 112018006656916-pct00054
는 동일한 시간(박스(503)와 동일)에서 처리되는 프래그먼트의 공간적 이웃이며,
Figure 112018006656916-pct00055
는 시간 내에 처리된 프래그먼트와 이웃하는(즉, 직접적으로 선행하는 디지털 이미지에 포함된), 동일한 위치에 있는 프래그먼트이다(즉, 디지털 이미지에서 동일한 위치 또는 x,y 좌표를 갖는 프래그먼트).
다른 실시예에서, 이전에 선택된 깊이 정보 값
Figure 112018006656916-pct00056
의 세트는 다른 이웃 관계를 갖는 깊이 정보 값을 포함할 수 있거나, 또는 동일한 디지털 이미지 내의 다른 공간적 관계 또는 동일하거나 이전 시간 인스턴스의 디지털 이미지 및/또는 동일하거나 상이한 뷰의 디지털 이미지, 즉 처리 순서가 상이한 경우(예를 들어, 오른쪽에서 왼쪽, 또는 위에서 아래로) 및/또는 디지털 이미지의 공간적 또는 시간적 특징이 알려진 경우, 이전에 처리된 다른 프래그먼트의 깊이 정보 값이 깊이 정보 값 추정을 개선시키기에 더 적합하다.
일 실시예에서, P개의 선택된 깊이 정보 값
Figure 112018006656916-pct00057
의 세트는 이전에 처리된 프래그먼트 또는 프래그먼트들에 대해 선택된 깊이 정보 값과 유사하지만, 반드시 동일하지 않은 깊이 정보 값만큼 확장된다. 예를 들어, 도 3에 나타난 실시예의 경우에, 즉 깊이 정보 값
Figure 112018006656916-pct00058
을 갖는 이전에 처리된 단일 프래그먼트만이 고려되는 PREV-BEST-1(이에 대응하는, 도 4: PREV-BEST-2), P개의 선택된 깊이 정보 값의 세트가 이하와 같이 확장될 수 있다:
Figure 112018006656916-pct00059
수식(10)
여기서, 값 m과 n은 미리 정의되거나 적응될 수 있다.
도 6은 도 2의 이미지 처리 방법(200)의 구현을 형성하고, 일 실시예에 따른 이미지 처리 장치, 예를 들어 도1에 나타난 이미지 처리 장치(100),에서 구현될 수 있는 추가 알고리즘의 흐름도를 나타낸다. 상기 알고리즘 또는 방법은 메모리(101)와 결합하여 신호 처리 로직(103)에 의해 수행될 수 있다.
도 6에 나타난 실시예는 예를 들어 상기 수식(9) 또는 수식(10) 또는 이들의 조합에 의해 정의된 바와 같은 확장된 깊이 정보 값
Figure 112018006656916-pct00060
의 세트에 대해 도 4에 나타난 실시예의 변형예이다. 이러한 실시예에서, 이전에 처리된 프래그먼트로부터 P개의 선택된 깊이 정보 값
Figure 112018006656916-pct00061
의 세트가 먼저 고려된다(도 6의 스킵 평가 루프(600a) 참조). 최소 가중화된 매칭 비용
Figure 112018006656916-pct00062
을 갖는 최상
Figure 112018006656916-pct00063
가 발견되고(도 6의 단계(601-613) 참조), 그 가중화된 매칭 비용이 패널티 값보다 작으면(또는 작거나 같은 경우), 추가 깊이 정보 값 탐색 루프(600b)가 도 6의 단계(615)에서 정의된 스킵 조건의 결과로서 스킵된다.
최소 가중화 된 매칭 비용이 패널티 값보다 작지 않은 경우(또는 작거나 동일한), 미리 결정된 순서에서 이전에 처리된 프래그먼트로부터 P개의 선택된 깊이 정보 값
Figure 112018006656916-pct00064
과 관련하여 N개의 깊이 정보 값 후보 di를 처리함으로써, 도 6의 루프(600b)가 실행될 것이다. 예를 들어, 수식(9 또는 10)에 기초하여 각각의 깊이 정보 값 후보 di에 대해 단계(623) 및 단계(625)가 수행된다.
루프(600a)의 다른 실시예에서, 이전에 처리된 프래그먼트로부터 P개의 선택된 깊이 정보 값
Figure 112018006656916-pct00065
의 세트가 미리 결정된 순서대로 처리된다. 패널티 값보다 작고(작거나 동일한), 가중화 된 매칭 비용
Figure 112018006656916-pct00066
을 갖는 제1 깊이 정보 값
Figure 112018006656916-pct00067
이 현재 프래그먼트에 대해 dbest 로 출력되며, 추가 깊이 정보 탐색이 스킵된다. P개의 선택된 깊이 정보 값
Figure 112018006656916-pct00068
　중 어느것도 패널티 값보다 작거나(또는 작거나 같은), 가중화 된 매칭 비용을 갖지 않으면, 루프(600b)가 현재 처리되는 프래그먼트에 대해 dbest를 결정하는 데 사용된다.
루프(600b)가 도 3에 나타난 실시예의 루프(300a)와 본질적으로 동일하기 때문에(즉, 수식(9 또는 10) 또는 이들의 조합에 기초하여, 각 깊이 정보 값 후보 di에 대해 단계(623 및 625)가 수행된다는 것을 제외하고 동일함), 도 6의 단계(617 내지 631)에 대응하는 루프(300a)의 단계(303 내지 311)의 상기 상세한 설명이 참조된다.
이미지 처리 장치(100) 및 이미지 처리 방법(200)의 실시예는 유사성 척도 및 상기 깊이 정보 값 후보 di 가 이전에 선택된 깊이 정보 값과 동일한 경우 매칭 비용을 유지하고, 깊이 정보 후보 di가 이전에 선택된 깊이 정보 값(들)과 상이한 경우 패널티 값(penalty)을 추가하는 가중화 함수로서 매칭 비용을 사용하는 실시예에 기초하여 주로 설명되었다. 본 발명의 실시예는 이들에 한정되지 않는다는 것을 알아야 한다.
유사성 척도로서 매칭 비용을 사용하는 다른 실시예에서, 가중화 함수는, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값과 동일한 경우, 깊이 정보 값 후보가 이전에 선택된 깊이 정보 값(들)과 상이한 경우와 비교하여 더 작은 범위(제2 패널티 값을 더함)로 매칭 비용을 증가시키도록 구성될 수 있다. 따라서, 전환은 비전환과 비교할 때, 여전히 (더 많은) 패널티를 받는다. 그러나, 수식(7) 내지 수식(9) 및 도 3, 4 및 6에 기초하여 설명된 바와 같이 매칭 비용을 간단히 유지하는 것은 감소된 처리 능력을 제공한다.
유사성 척도로서 매칭 비용을 사용하는 다른 실시예에서, 가중화 함수는 패널티 값을 더하는 것과는 상이한 방식으로 전환에 패널티를 주도록, 즉, 예를 들어 매칭 비용을 1보다 큰 패널티 요소와 곱하도록 구성될 수 있다. 따라서, 전환은 또한 비전환과 비교하여 패널티를 받을 수 있다. 또 다른 실시예에서, 비전환의 경우도 패널티를 받지만, 전환의 경우, 즉 전환의 경우에 사용되는 제1 패널티 요소보다 더 작은 제2 패널티 요소(예를 들어, 둘 다 1보다 큰)에 의해, 그 페널티가 더 적다. 따라서, 전환은 비전환에 비해 여전히 (더 많은) 패널티를 받는다. 그러나, 패널티 값을 단순히 더하는 것은 전형적으로 곱셈보다 계산적으로 덜 복잡하다. 따라서, 수식(7) 내지 수식(9) 및 도 3, 4, 6에 기초하여 설명된 바와 같이 매칭 비용을 가중하는 것은 감소된 처리 노력을 제공한다.
다른 실시예에서, 매칭 확률은 유사성 척도로서 사용된다(매칭 비용 대신). 매칭 확률 값은 깊이 정보 값이 더 유사할수록 더 높기 때문에, 매칭 확률을 사용하는 실시예는 가장 큰 연관 매칭 확률을 갖는 깊이 정보 값을 선택하도록 구성된다. 따라서, 매칭 확률에 대한 가중화 함수는, 예를 들어 매칭 비용에 대한 가중화 함수와 비교하여 역 특징을 갖는다. 예를 들어, 전환의 경우 패널티 값을 더하는 대신(예를 들어, 매칭 비용은 수식(7) 내지 (9)를 참조), 가중화 함수는 전환의 경우 패널티 값을 빼고, 비전환의 경우 매칭 확률을 유지할 수 있다.
또한, 매칭 비용을 사용하는 실시예에 제공된 설명에 대응하여, 매칭 확률을 사용하는 실시예는 또한 예를 들어 제1 패널티 값(전환의 경우로 사용되는)보다 더 작은 제2 패널티 값을 뺌으로써, 비전환 경우를 패널티하거나, 또는 1보다 큰 패널티 값으로 매칭 확률을 나누도록 구성될 수 있다.
일 실시예에서, 유사성 척도는 Bhattacharayya계수에 기초한 매칭 확률이며, 2개의 분포가 유사하고 통상의 기술자에게 공지된 확률을 나타낸다. 다른 실시예에서, 유사성 척도는 매칭 확률이고, 매칭 확률을 예를 들어 exp("매칭 비용") 또는 유사한 수식에 비례하도록 정의함으로써 매칭 비용으로부터 도출된다. 일 실시예에서, 매칭 확률은 [0,1]의 범위 내에서 정규화된다.
본 발명의 실시예가 순차 처리(예를 들어, 도 3, 4 및 6의 루프)에 기초하여 주로 설명되었지만, 본 발명의 추가 실시예는 상이한 깊이 정보 값 후보 di를 완전히 또는 부분적으로 병렬로 처리하는 구현을 포함한다.
도 3을 참조하면, 장치(100) 및 방법(200)의 병렬 실시예는 단계(307 내지 311)를 병렬로 수행하여 가중화 된 비용을 비교하고, 가장 낮은 매칭 비용(또는 가장 높은 매칭 확률)을 갖는 깊이 정보 값 후보 di를 선택하도록 구성될 수 있다.
유사하게는, 도 4를 참조하여, 장치(100) 및 방법(200)의 병렬 실시예는 먼저, 이전에 선택된 깊이 정보 dprev (단계(401 내지 403)와 유사)의 매칭 비용(또는 매칭 확률)에 기초하여 스킵 평가를 수행하고, 스킵 기준이 충족되지 않는 경우, 상이한 깊이 정보 값 후보 di 의 병렬 처리만을 수행하도록 구성될 수 있다.
유사하게는, 도 6을 참조하여, 루프(600a)를 사용하는 대신, 매칭 비용(또는 매칭 확률)은 병렬로 계산되어 스킵 기준이 충족되는지 여부를 결정할 수 있고, 그렇지 않은 경우 루프(600b)를 사용하는 대신, (상이한 선택된 깊이 정보 값 dprev,k 에 기초하여)병렬로 상이한 깊이 정보 값 후보 di 에 대해 가중화된 매칭 비용을 결정한다.
본 발명의 실시예는 특히 이하와 같은 이점을 제공한다.
본 발명의 실시예에서, 깊이 정보 값 추정(사이클 수 또는 실리콘 영역)에 요구되는 동작 복잡성을 감소시키는 비터비(Viterbi) 또는 빌리프 전파(Belief Propagation) 알고리즘과 같은 최소 컨벌루션 계산이 필요하지 않다.
본 발명의 실시예에서, 비용 함수 값(깊이 정보 값 추정의 결과로서 이미 저장되어 있는 최상 선택된 깊이 정보 값만이 사용됨)과 같은 임의의 중간 데이터를 위한 추가적인 저장이 필요하지 않으며, 이에 따라 깊이 정보 값 추정의 메모리 소비는 비터비(Viterbi) 또는 빌리프 전파(Belief Propagation) 알고리즘과 비교하여 감소된다.
본 발명의 실시예에서, 깊이 정보 값은 단일 패스 절차로 추정될 수 있다. 따라서, 요구되는 계산 시간이 짧아지고 깊이 정보 값 맵을 즉석에서 계산할 수 있다.
본 발명의 실시예에서, 계산된 깊이 정보 값 맵의 규칙성은 WTA 알고리즘과 비교하여 매우 우수하며, 계산상 더 복잡한 비터비(Viterbi) 알고리즘의 경우보다 약간 더 떨어진다.
본 발명의 실시예에서, 생성된 깊이 정보 값 맵의 품질은 실질적으로 동일한 알고리즘 구현 복잡성을 가지면서, WTA 알고리즘에 비해 실질적으로 개선된다.
본 발명의 실시예에서, 자연 이미지의 대부분의 프래그먼트에 대해, 전체 깊이 정보 값 탐색이 필요하지 않다. 따라서, 구현 속도가 크게 개선될 수 있다. RGB 픽셀 매칭을 갖는 미들베리(Middlebury) 데이터세트의 경우에, 본 발명의 실시예는 알고리즘 처리량, 즉 초당 처리된 프레임의 증가를 초래하는 복잡성의 실질적인 감소를 가능하게 한다. WTA 알고리즘에 비해 달성된 처리량 개선의 예는, PC 컴퓨터의 경우 240%, 후아웨이 아센드 P6 모바일폰(Huawei Ascend P6 mobile phone)의 경우(1
Figure 112018006656916-pct00069
4 스레드) 200%, 삼성 갤럭시 S4 미니(Samsung Galaxy S4 mini) (1 스레드)의 경우 220%이다.
본 발명의 실시예는 적어도 컴퓨터 시스템과 같이 프로그램 가능한 장치 상에서 실행될 때 본 발명에 따른 방법의 단계를 수행하기 위한 코드 부분을 포함하거나 또는 본 발명에 따른 장치 또는 시스템의 기능을 수행하기 위한 프로그램 가능한 장치를 가능하게 하는 컴퓨터 시스템 상에서 실행하기 위한 컴퓨터 프로그램에서 구현될 수 있다.
컴퓨터 프로그램은 특정 응용 프로그램 및/또는 운영체제와 같은 명령 리스트이다. 컴퓨터 프로그램은 예를 들어, 서브루틴, 함수, 절차, 객체 메소드, 객체 구현, 실행 가능한 애플리케이션, 애플릿, 서블릿, 소스 코드, 객체 코드, 공유 라이브러리/다이나믹 로드 라이브러리 및/또는 컴퓨터 시스템 상에서 실행을 위해 설계된 다른 명령 시퀀스 중 하나 이상을 포함할 수 있다.
컴퓨터 프로그램은 컴퓨터 판독 가능 저장 매체에 내부적으로 저장되거나 컴퓨터 판독 가능 전송 매체를 통해 컴퓨터 시스템에 전송될 수 있다. 컴퓨터 프로그램의 전부 또는 일부는 정보 처리 시스템에 영구적으로, 제거 가능하게 또는 원격으로 결합된 일시적 또는 비일시적 컴퓨터 판독 가능 매체 상에 제공될 수 있다. 컴퓨터 판독 가능 매체는 예를 들어, 제한 없이, 이하의 임의의 수를 포함할 수 있다: 디스크 및 테이프 저장 매체를 포함하는 자기 저장 매체; 소형 디스크 매체(예를 들어, CD-ROM, CD-R 등) 및 디지털 비디오 디스크 저장 매체와 같은 광학 저장 매체; FLASH 메모리, EEPROM, EPROM, ROM과 같은 반도체 기반 메모리 유닛을 포함하는 비휘발성 메모리 저장 매체; 강자성 디지털 메모리; MRAM; 레지스터, 버퍼 또는 캐시, 메인 메모리, RAM 등을 포함하는 휘발성 저장 매체; 몇 가지 말하자면 컴퓨터 네트워크, 점-대-점 통신 장비 및 반송파 전송 매체를 포함하는 데이터 전송 매체를 포함할 수 있다.
컴퓨터 프로세스는 전형적으로 프로그램의 실행 프로그램 또는 부분, 현재 프로그램 값 및 상태 정보, 및 프로세스의 실행을 관리하기 위해 운영체제에 의해 사용되는 자원을 포함한다. 운영체제(OS)는 컴퓨터 자원의 공유를 관리하고, 프로그래머에게 해당 자원에 액세스하는 데 사용되는 인터페이스를 제공하는 소프트웨어이다. 운영체제는 시스템 데이터 및 사용자 입력을 처리하고, 시스템의 사용자 및 프로그램에 대한 서비스로서 작업 및 내부 시스템 자원을 할당 및 관리하여 대응한다.
컴퓨터 시스템은 예를 들어, 적어도 하나의 처리 유닛, 관련 메모리 및 다수의 입출력(I/O) 장치를 포함할 수 있다. 컴퓨터 프로그램을 실행할 때, 컴퓨터 시스템은 컴퓨터 프로그램에 따라 정보를 처리하고, I/O 장치를 통해 결과 출력 정보를 생성한다.
통상의 기술자는 논리 블록 간의 경계가 단지 예시적인 것이며, 대안적인 실시예가 논리 블록 또는 회로 소자를 병합할 수 있거나 다양한 논리 블록 또는 회로 소자 상에 기능적으로 대체 분해를 부과할 수 있다는 것을 알 것이다. 따라서, 여기에 도시된 아키텍처는 단지 예시적인 것이며, 실제로 동일한 기능을 달성하는 많은 다른 아키텍처가 구현될 수 있다는 것을 이해해야 한다.
따라서, 동일한 기능을 달성하기 위한 구성요소의 임의의 배열은 효과적으로 "관련"되어 원하는 기능이 달성된다. 따라서, 특정 기능을 달성하기 위해 결합된 임의의 2개의 구성요소는 아키텍처 또는 중간 구성요소와 관계 없이 원하는 기능이 달성되도록 서로 "관련된다"고 볼 수 있다. 마찬가지로, 이와 같이 연관된 임의의 2개의 구성요소는 원하는 기능을 달성하기 위해 "동작 가능하게 연결된" 또는 "동작 가증하게 결합된" 것으로 볼 수 있다.
또한, 통상의 기술자는 전술한 동작 간의 경계가 단지 예시적인 것임을 인식할 것이다. 다중 동작은 단일 동작으로 결합될 수 있고, 단일 동작은 추가적인 동작으로 분산될 수 있으며, 동작은 적어도 부분적으로 시간적으로 중복하여 실행될 수 있다. 또한, 다른 실시예는 특정 동작의 다수의 인스턴스를 포함할 수 있고, 동작의 순서는 다양한 다른 실시예에서 변경될 수 있다.
또한, 예를 들어, 그 예들, 또는 그 일부는 임의의 적절한 유형의 하드웨어 기술 언어와 같이, 물리적 회로 또는 물리적 회로로 변환 가능한 논리적 표현의 소프트 또는 코드 표현으로서 구현될 수 있다.
또한, 본 발명은 프로그램 가능하지 않은 하드웨어로 구현된 물리적 장치 또는 유닛에 제한되지 않지만, 메인프레임, 미니컴퓨터, 서버, 워크스테이션, 개인용 컴퓨터, 노트패드, 개인용 디지털 어시스턴트, 전자 게임, 자동차 및 기타 임베디드 시스템, 휴대전화 및 다양한 다른 무선 장치, 일반적으로 이 응용 프로그램에서 '컴퓨터 시스템'으로 나타나는 것과 같은 적절한 프로그램 코드에 따라 동작함으로써 원하는 장치 기능을 수행할 수 있는 프로그램 가능한 장치 또는 유닛에 적용될 수 있다.
그러나, 다른 수정, 변형 및 대안 또한 가능하다. 따라서, 상세한 설명 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다.

Claims (15)

  1. 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값(dbest)을 선택하기 위한 이미지 처리 장치(100)로서,
    이전에 처리 된 프래그먼트에 대해 선택된, 이전에 선택된 깊이 정보 값(dprev; dprev,k)을 저장하도록 구성된 메모리(101); 및
    신호 처리 로직(103)
    을 포함하고,
    상기 신호 처리 로직(103)은,
    디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보(di)에 기초하여, 상기 현재 프래그먼트에 대한 유사성 척도(비용(cost), MCurrent(di))를 계산하고;
    상기 깊이 정보 값 후보(di)를 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 비교하고;
    상기 깊이 정보 값 후보(di)와 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k) 사이의 비교에 기초하여 현재 프래그먼트에 대한 가중화 된 유사성 척도(비용, CCurrent(di))를 획득하기 위해, 상기 계산된 유사성 척도에 가중화 함수를 적용하며;
    상기 깊이 정보 값 후보(di)를 상기 깊이 정보 값 후보(di)의 가중화 된 유사성 척도에 따라 상기 현재 프래그먼트에 대한 상기 깊이 정보 값(dbest)으로서 선택할지 여부를 결정하도록 구성되는,
    이미지 처리 장치(100).
  2. 제1항에 있어서,
    상기 유사성 척도는 매칭 비용이고, 상기 가중화 된 유사성 척도는 가중화 된 매칭 비용이며,
    상기 가중화 함수는,
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우, 상기 매칭 비용이 증가되고(패널티), 또는
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 동일한 경우, 상기 매칭 비용이 유지되거나 또는 상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우와 비교하여 더 적게 증가되도록 구성되는,
    이미지 처리 장치(100).
  3. 제2항에 있어서,
    상기 가중화 함수는,
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우, 상기 가중화 된 매칭 비용을 획득하기 위해, 제1 매칭 비용 패널티를 상기 매칭 비용에 더함으로써, 또는 상기 가중화 된 매칭 비용을 획득하기 위해, 상기 매칭 비용을 제1 매칭 비용 패널티와 곱함으로써, 상기 매칭 비용이 증가되고, 또는
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 동일한 경우, 상기 매칭 비용이 유지되거나 또는 상기 가중화 된 매칭 비용을 획득하기 위해, 제2 매칭 비용 패널티를 상기 매칭 비용에 더함으로써, 또는 상기 가중화 된 매칭 비용을 획득하기 위해, 상기 매칭 비용을 제2 매칭 비용 패널티와 곱함으로써, 상기 매칭 비용이 증가되도록 구성되며,
    상기 제2 매칭 비용 패널티는 상기 제1 매칭 비용 패널티보다 더 작은,
    이미지 처리 장치(100).
  4. 제1항에 있어서,
    상기 유사성 척도는 매칭 확률이고, 상기 가중화 된 유사성 척도는 가중화 된 매칭 확률이며,
    상기 가중화 함수는,
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우, 상기 매칭 확률이 감소되고, 또는
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 동일한 경우, 상기 매칭 확률이 유지되거나 또는 상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우와 비교하여 더 적게 감소되도록 구성되는,
    이미지 처리 장치(100).
  5. 제4항에 있어서,
    상기 가중화 함수는,
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 상이한 경우, 상기 가중화 된 매칭 확률을 획득하기 위해, 상기 매칭 확률로부터 제1 매칭 확률 패널티를 뺌으로써, 또는 상기 가중화 된 매칭 확률을 획득하기 위해, 상기 매칭 확률을 제1 매칭 확률 패널티로 나눔으로써, 상기 매칭 확률이 감소되고, 또는
    상기 깊이 정보 값 후보(di)가 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 동일한 경우, 상기 매칭 확률이 유지되거나 또는 상기 가중화 된 매칭 확률을 획득하기 위해, 상기 매칭 확률로부터 제2 매칭 확률 패널티를 뺌으로써, 또는 상기 가중화 된 매칭 확률을 획득하기 위해, 상기 매칭 확률을 제2 매칭 확률 패널티로 나눔으로써, 상기 매칭 확률이 감소되도록 구성되고,
    상기 제1 매칭 확률 패널티는 상기 제2 매칭 확률 패널티보다 더 큰,
    이미지 처리 장치(100).
  6. 제1항에 있어서,
    상기 신호 처리 로직(103)은,
    깊이 정보 값 후보의 세트의 각 깊이 정보 값 후보에 대한 유사성 척도를 계산하고 - 각각의 깊이 정보 값 후보(di)는 상기 디지털 기준 이미지의 기준 프래그먼트 후보를 정의함 -;
    상기 깊이 정보 값 후보의 세트의 깊이 정보 값 후보(di) 각각을 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 비교하고;
    상기 각각의 깊이 정보 값 후보(di)에 대해 상기 현재 프래그먼트에 대해 대응하는 가중화 된 유사성 척도를 획득하기 위해, 상기 각각의 깊이 정보 값 후보(di)에 대해 상기 계산된 유사성 척도에 가중화 함수를 적용하고 - 상기 깊이 정보 값 후보(di) 각각에 대해, 상기 가중화 함수는 대응하는 상기 비교의 결과에 기초하여 적용됨 -; 및
    상기 가중화 된 유사성 척도에 기초하여 상기 깊이 정보 값 후보의 세트의 상기 깊이 정보 값 후보(di)로부터 상기 현재 프래그먼트에 대한 상기 깊이 정보 값(dbest)을 선택하도록 구성되는,
    이미지 처리 장치(100).
  7. 제6항에 있어서,
    상기 유사성 척도는 매칭 비용이며, 상기 신호 처리 로직(103)은, 가장 작은 가중화 된 매칭 비용을 갖는 깊이 정보 값 후보의 세트의 상기 깊이 정보 값 후보(di)로부터 상기 깊이 정보 값(dbest)을 선택하도록 구성되거나; 또는
    상기 유사성 척도는 매칭 확률이며, 상기 신호 처리 로직(103)은 가장 큰 가중화 된 매칭 확률을 갖는 상기 깊이 정보 값 후보의 세트의 상기 깊이 정보 값 후보(di)로부터 상기 깊이 정보 값(dbest)을 선택하도록 구성되는,
    이미지 처리 장치(100).
  8. 제1항에 있어서,
    상기 신호 처리 로직(103)은, 깊이 정보 값 후보의 세트의 깊이 정보 값 후보(di)를 순차적으로 처리함으로써 상기 현재 프래그먼트에 대한 상기 깊이 정보 값(dbest)을 결정하도록 구성되고;
    상기 신호 처리 로직(103)은,
    (1) 상기 깊이 정보 값 후보의 세트의 현재 깊이 정보 값 후보(di)에 대한 유사성 척도를 계산하고;
    (2) 상기 현재 깊이 정보 값 후보(di)를 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 비교하고;
    (3) 상기 비교에 따라 가중화 된 유사성 척도를 획득하기 위해, 상기 깊이 정보 값 후보의 세트의 상기 현재 깊이 정보 값 후보(di)의 유사성 척도에 상기 가중화 함수를 적용하고;
    (4) 상기 현재 깊이 정보 값 후보의 가중화 된 유사성 척도를 현재의 최상 깊이 정보 값(dbest)과 연관된 현재의 최상 유사성 척도(costbest)와 비교하고;
    (5-1) 상기 현재 깊이 정보 값 후보의 가중화 된 유사성 척도가 상기 현재의 최상 유사성 척도(costbest)에 관한 업데이트 조건을 충족시키지 않는 경우, 현재의 최상 깊이 정보 값(dbest)을 현재의 최상 깊이 정보 값으로 유지하고 상기 현재의 최상 유사성 척도를 상기 현재의 최상 유사성 척도로 유지하고, 또는
    (5-2) 상기 현재 깊이 정보 값 후보의 가중화 된 유사성 척도가 상기 현재의 최상 유사성 척도(costbest)에 관한 업데이트 조건을 충족시키는 경우, 상기 현재의 깊이 정보 값 후보(di)를 현재의 최상 깊이 정보 값(dbest)으로 메모리에 기록하고, 상기 현재의 깊이 정보 값 후보(di)의 가중화 된 유사성 척도를 현재의 최상 유사성 척도(costbest)로 상기 메모리(101)에 기록하고; 및
    (6) 모든 깊이 정보 값 후보(di)가 처리된 이후에, 상기 현재의 최상 깊이 정보 값(dbest)을 상기 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값(dbest)으로서 선택하도록 구성되는,
    이미지 처리 장치(100).
  9. 제8항에 있어서,
    상기 유사성 척도는 매칭 비용이고 상기 가중화 된 유사성 척도는 가중화 된 매칭 비용이며, 상기 업데이트 조건은 상기 가중화 된 매칭 비용이 상기 현재의 최상 매칭 비용(costbest)보다 작거나, 이하라는 것이거나, 또는
    상기 유사성 척도는 매칭 확률이고 상기 가중화 된 유사성 척도는 가중화 된 매칭 확률이며, 상기 업데이트 조건은 상기 가중화 된 매칭 확률이 상기 현재의 최상 매칭 확률보다 크거나, 이상이라는 것인,
    이미지 처리 장치(100).
  10. 제1항에 있어서,
    상기 메모리(101)는 이전에 처리된 프래그먼트의 세트의 이전에 선택된 깊이 정보 값(dprev,k)의 세트를 저장하도록 구성되고;
    상기 신호 처리 로직(103)은 또한,
    상기 현재의 깊이 정보 값 후보(di)를 상기 이전에 선택된 깊이 정보 값(dbest)의 세트의 깊이 정보 값(dprev,k) 중 적어도 하나와 비교하고;
    상기 이전에 선택된 깊이 정보 값(di)의 세트 중 임의의 상기 깊이 정보 값(dprev,k)이 상기 현재 깊이 정보 값 후보(di)와 동일한지 여부에 따라 상기 현재 깊이 정보 값 후보(di)에 대한 가중화 된 유사성 척도를 획득하기 위해, 상기 깊이 정보 값 후보(di)의 계산된 유사성 척도에 가중화 함수를 적용하도록 구성되는,
    이미지 처리 장치(100).
  11. 제1항에 있어서,
    상기 신호 처리 로직(103)은,
    상기 현재 깊이 정보 값 후보(di)를 상기 이전에 선택된 깊이 정보 값(dprev) 주위 범위 내의 깊이 정보 값의 세트와 비교하며; 및
    상기 이전에 선택된 깊이 정보 값(dprev) 주위 범위 내의 깊이 정보 값의 세트 중 임의의 깊이 정보 값(dprev,k)이 상기 현재 깊이 정보 값 후보(di)와 동일한지 여부에 따라, 상기 현재 깊이 정보 값 후보(di)에 대한 상기 가중화 된 유사성 척도를 획득하기 위해, 상기 깊이 정보 값 후보(di)의 계산된 유사성 척도에 가중화 함수를 적용하도록 구성되는,
    이미지 처리 장치(100).
  12. 제1항에 있어서,
    상기 신호 처리 로직(103)은,
    (1) 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)에 기초하여 상기 현재 프래그먼트에 대한 상기 유사성 척도(비용(cost), MCurrent(di))를 계산하고;
    (2) 상기 유사성 척도를 임계치와 비교하고; 및
    (3-1) 상기 비교의 결과가 스킵 조건을 충족시키는 경우, 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)을 상기 현재 디지털 이미지의 현재 프래그먼트의 상기 깊이 정보 값(dbest)으로 선택하도록 구성되고; 또는
    (3-2) 상기 비교의 결과가 상기 스킵 조건을 충족시키지 않는 경우,
    디지털 기준 이미지의 추가 기준 프래그먼트 후보를 정의하는 추가 깊이 정보 값 후보(di)에 기초하여 상기 현재 프래그먼트에 대한 유사성 척도(비용, MCurrent(di))를 계산하고;
    상기 추가 깊이 정보 값 후보(di)를 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 비교하고;
    상기 추가 깊이 정보 값 후보(di)와 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k) 사이의 비교에 기초하여 상기 현재 프래그먼트에 대한 가중화 된 유사성 척도(비용, CCurrent(di))를 획득하기 위해, 상기 계산된 유사성 척도에 가중화 함수를 적용하며; 및
    상기 추가 깊이 정보 값 후보(di)를 상기 깊이 정보 값 후보(di)의 가중화 된 매칭 비용에 따라 상기 현재 프래그먼트에 대한 상기 깊이 정보 값(dbest)으로 선택할지 여부를 결정하도록 구성되는,
    이미지 처리 장치(100).
  13. 제12항에 있어서,
    상기 유사성 척도는 매칭 비용이고, 상기 스킵 조건은 상기 매칭 비용이 상기 임계치보다 작거나, 또는 이하인 것이거나; 또는
    상기 유사성 척도는 매칭 비용이고, 상기 스킵 조건은 상기 매칭 비용이 상기 임계치보다 작거나, 이하인 것이며, 상기 임계치는 상기 깊이 정보 값 후보가 상기 이전에 선택된 깊이 정보 값과 상이하거나, 기준 또는 이전에 선택된 깊이 정보 값 후보의 세트에 포함된 임의의 깊이 정보 값과 상이한 경우, 상기 매칭 비용에 적용되는 상기 가중화 함수의 패널티와 동일하거나; 또는
    상기 유사성 척도는 매칭 확률이고, 상기 스킵 조건은 상기 매칭 확률이 상기 임계치보다 크거나, 또는 이상인,
    이미지 처리 장치(100).
  14. 현재 디지털 이미지의 현재 프래그먼트에 대한 깊이 정보 값(dbest)을 선택하는 이미지 처리 방법(200)으로서,
    이전에 처리된 프래그먼트에 대해 선택된, 이전에 선택된 깊이 정보 값(dprev; dprev,k)을 저장하는 단계(201);
    디지털 기준 이미지의 기준 프래그먼트 후보를 정의하는 깊이 정보 값 후보(di)에 기초하여 상기 현재 프래그먼트에 대한 유사성 척도(비용, MCurrent(di))를 계산하는 단계(203);
    상기 깊이 정보 값 후보(di)를 이전에 처리된 프래그먼트에 대해 선택된 이전에 선택된 깊이 정보 값(dprev; dprev,k)과 비교하는 단계(205);
    상기 깊이 정보 값 후보(di)와 상기 이전에 선택된 깊이 정보 값(dprev; dprev,k) 사이의 비교에 기초하여 상기 현재 프래그먼트에 대한 가중화 된 유사성 척도(비용, CCurrent(di))를 획득하기 위해, 상기 계산된 유사성 척도에 가중화 함수를 적용하는 단계(207); 및
    상기 깊이 정보 값 후보(di)를 상기 깊이 정보 값 후보(di)의 가중화 된 유사성 척도에 따라 상기 현재 프래그먼트에 대한 상기 깊이 정보 값으로 선택할지 여부를 결정하는 단계(209)
    를 포함하는,
    이미지 처리 방법(200).
  15. 비 일시적인 컴퓨터 판독 가능 매체로서,
    컴퓨터로 하여금, 제14항의 방법을 수행하게 하는 프로그램 명령을 포함하는, 비 일시적인 컴퓨터 판독 가능 매체.
KR1020187001859A 2015-07-03 2015-07-03 이미지 처리 장치 및 방법 KR102027392B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/065191 WO2017005274A1 (en) 2015-07-03 2015-07-03 An image processing apparatus and method

Publications (2)

Publication Number Publication Date
KR20180019711A KR20180019711A (ko) 2018-02-26
KR102027392B1 true KR102027392B1 (ko) 2019-10-01

Family

ID=53719745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187001859A KR102027392B1 (ko) 2015-07-03 2015-07-03 이미지 처리 장치 및 방법

Country Status (6)

Country Link
US (1) US10504234B2 (ko)
EP (1) EP3304488B1 (ko)
JP (1) JP6643368B2 (ko)
KR (1) KR102027392B1 (ko)
CN (1) CN107810520B (ko)
WO (1) WO2017005274A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
US10477200B2 (en) * 2017-04-13 2019-11-12 Facebook, Inc. Panoramic camera systems
CN110798674B (zh) * 2018-08-01 2022-04-08 中兴通讯股份有限公司 图像深度值获取方法、装置、设备、编解码器及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197314A (ja) 2013-03-29 2014-10-16 ソニー株式会社 画像処理装置及び画像処理方法
JP2014206893A (ja) 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
JP4934701B2 (ja) * 2009-06-30 2012-05-16 株式会社日立製作所 ステレオ画像処理装置およびステレオ画像処理方法
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
JP2012105130A (ja) * 2010-11-11 2012-05-31 Panasonic Corp 画像処理方法および画像処理装置
US9171372B2 (en) 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
EP2657909B1 (en) * 2012-04-24 2018-06-13 Vestel Elektronik Sanayi ve Ticaret A.S. Method and image processing device for determining disparity
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
JP5957359B2 (ja) 2012-10-19 2016-07-27 日立オートモティブシステムズ株式会社 ステレオ画像処理装置及びステレオ画像処理方法
CN104380739B (zh) * 2013-04-05 2018-10-26 索尼公司 图像处理设备和图像处理方法
CN107810520B (zh) * 2015-07-03 2020-11-10 华为技术有限公司 图像处理装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197314A (ja) 2013-03-29 2014-10-16 ソニー株式会社 画像処理装置及び画像処理方法
JP2014206893A (ja) 2013-04-15 2014-10-30 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEFENG CHANG ET AL: "Real-Time Accurate Stereo Matching Using Modified Two-Pass Aggregation and Winner-Take-All Guided Dynamic Programming", 3D IMAGING, MODELING, PROCESSING, VISUALIZATION CONFERENCE*

Also Published As

Publication number Publication date
US20180144491A1 (en) 2018-05-24
EP3304488B1 (en) 2019-05-01
JP6643368B2 (ja) 2020-02-12
JP2018521414A (ja) 2018-08-02
WO2017005274A1 (en) 2017-01-12
US10504234B2 (en) 2019-12-10
KR20180019711A (ko) 2018-02-26
EP3304488A1 (en) 2018-04-11
CN107810520A (zh) 2018-03-16
CN107810520B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
KR102027392B1 (ko) 이미지 처리 장치 및 방법
JP5969389B2 (ja) オブジェクト認識ビデオ符号化ストラテジ
KR101396618B1 (ko) 이동 물체 경계 추출
US9196021B2 (en) Video enhancement using related content
CN108509917B (zh) 基于镜头类相关性分析的视频场景分割方法和装置
CN106254885B (zh) 数据处理系统、执行运动估计的方法
JP2007181674A (ja) ブロック整合及び動き補償補間を利用した映像形成方法
JP2014511054A (ja) 画像シーケンスを圧縮するためのコーディング方法及び画像コーディング装置
JP2010532628A (ja) 画像中のアーチファクトを低減させる装置および方法
CN107968946B (zh) 视频帧率提升方法及装置
KR102008437B1 (ko) 비디오 향상의 시간적 평탄화
KR102274320B1 (ko) 영상 처리 방법 및 장치
WO2015085922A1 (zh) 一种帧率上采样的方法和装置
US10593056B2 (en) Image processing apparatus and method
KR101845174B1 (ko) 슈퍼픽셀 생성 방법 및 장치
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4945533B2 (ja) 画像処理装置及び画像処理方法
WO2014155543A1 (ja) 符号化装置、方法、プログラム、コンピュータシステム、記録媒体
WO2017162845A1 (en) Complexity control of video codec
US9471992B2 (en) Moving image processing apparatus, moving image processing method, and computer product
Günyel et al. Multi-resolution motion estimation for motion compensated frame interpolation
KR102056218B1 (ko) 특징점 기반 움직임 벡터를 이용한 움직임 추정 방법 및 장치
KR102089433B1 (ko) 영상 부호화 장치의 다방향 계층적 움직임 추정방법
JP2016178375A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20200068214A1 (en) Motion estimation using pixel activity metrics

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant