KR20130068520A - 영상 워핑 처리 방법 및 장치 - Google Patents

영상 워핑 처리 방법 및 장치 Download PDF

Info

Publication number
KR20130068520A
KR20130068520A KR1020110135755A KR20110135755A KR20130068520A KR 20130068520 A KR20130068520 A KR 20130068520A KR 1020110135755 A KR1020110135755 A KR 1020110135755A KR 20110135755 A KR20110135755 A KR 20110135755A KR 20130068520 A KR20130068520 A KR 20130068520A
Authority
KR
South Korea
Prior art keywords
image
warping
decoder
segment
variation
Prior art date
Application number
KR1020110135755A
Other languages
English (en)
Inventor
엄기문
신홍창
방건
이현
이응돈
정원식
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110135755A priority Critical patent/KR20130068520A/ko
Publication of KR20130068520A publication Critical patent/KR20130068520A/ko

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

본 발명은 영상 워핑 처리 방법 및 이를 이용한 장치에 관한 것으로서, 본 발명에 따른 영상 워핑 처리 방법은, 스테레오 영상을 수신하는 단계, 세그먼트별 변이를 산출하는 단계, 상기 산출된 세그먼트별 변이를 기반으로 변이 불연속점 및 변이 중요도를 산출하는 단계 및 상기 변이 불연속점 및 변이 중요도를 이용하여, 영상 워핑을 수행하는 단계를 포함하며, 상기 영상 워핑 수행 단계에서는, 워핑 대상 영상이 객체 이동 영상인 경우에 적용되는 워핑 파라미터를 갱신할 수 있다.

Description

영상 워핑 처리 방법 및 장치{Method And Apparatus For Warping Image}
본 발명은 입체 영상 기술에 관한 것으로서, 구체적으로는 스테레오 영상 워핑(warping) 방법에 관한 것이다.
3D 영상에 대한 관심이 증대하면서, 다양한 방식의 3D 영상 획득 장치 및 디스플레이 장치가 개발되고 있다.
효과적인 3D 영상을 위해 다시점 영상을 생성하는 방법으로서, 스테레오 영상으로부터 스테레오 정합 기법 등에 의해 변이를 계산하고, 변이 정보를 이용하여 중간 영상을 생성하는 방법이 사용되고 있다. 생성된 중간 영상을 기법으로 다시점(multi-view) 영상을 생성할 수 있다.
또한, 다시점 영상을 생성하는 다른 방법으로서, 워핑(warping)에 의해 영상들 왜곡시키고, 영상들 사이에서 발생하는 디스패러티(disparity)를 이용하는 방법이 있다. 이 디스패러티에 의해 가상 시점(view) 합성이 수행될 수 있다.
하지만, 다시점 영상을 생성하는 과정에서, 시각적으로 중요한 장면 요소들에 아티팩트(artifact)가 발생하지 않도록 해야 하므로, 깊이 불연속 지점에서 영상 중요도(saliency)를 높이고, 깊이 불연속 지점에서 영상 왜곡을 최소화할 필요가 있다.
본 발명은 영상 워핑시 깊이 불연속 지점에서도 입체감을 유지할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 세그먼트 단위로 변이를 계산하고 세그먼트 사이의 그래디언트(gradient)를 산출하여 깊이 불연속 지점에서도 깊이감을 유지할 수 있는 영상 워핑 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 영상 워핑 처리 방법은, 스테레오 영상을 수신하는 단계, 세그먼트(segment)별 변이를 산출하는 단계, 상기 산출된 세그먼트별 변이를 기반으로 변이 불연속점 및 변이 중요도를 산출하는 단계 및 상기 변이 불연속점 및 변이 중요도를 이용하여, 영상 워핑을 수행하는 단계를 포함하며, 상기 영상 워핑 수행 단계에서는, 워핑 대상 영상이 객체 이동 영상인 경우에 적용되는 워핑 파라미터를 갱신할 수 있다.
본 발명에 의하면, 영상 워핑을 수행함에 있어서 깊이 불연속 지점에서도 입체감을 유지할 수 있다.
본 발명에 의하면, 세그먼트 단위로 변이를 계산하고 세그먼트 사이의 그래디언트를 산출할 수 있으며, 이를 통해서 깊이 불연속 지점에서도 깊이감을 유지하도록 영상 워핑 기법을 적용할 수 있다.
도 1은 본 발명이 적용되는 영상 복호화기의 일 예를 개략적으로 설명하는 블록도이다.
도 2는 본 발명이 적용되는 시스템에서 수행되는 워핑 방법을 개략적으로 설명하는 순서도이다.
다시점 영상을 생성하는 방법으로서, 변이를 이용한 다시점 영상 생성 기법이 있다. 변이를 이용하여 다시점 영상을 생성하는 기법에서는 입력된 스테레오 영상으로부터 스테레오 정합 기법 등에 의해 변이를 산출해 낸다. 산출된 변이를 기반으로 중간 영상을 생성하며, 중간 영상을 여러 시점에서 생성함으로써 다시점 영상을 생성할 수 있다.
다시점 영상을 생성하는 다른 방법으로서, 영상 워핑 기반의 다시점 영상 생성 기법이 있다. 영상 워핑 기반의 다시점 영상 생성 기법에서는 스테레오 영상에서 특징점 변이/광류 계산 등을 통해 영상의 일부 영역에 대해서만 변이 정보를 산출한다. 에너지 함수의 각 항을 영상 중요도(saliency), 에지 직선 성분, 수직 에지 등에 의한 제한 조건을 이용하여 정의한다. 다시점 영상은 제한 조건에 의해 정의된 각 항의 가중 결합으로 구성되는 에너지 함수의 값을 최소화하는 영상 메쉬 그리드의 워핑 계산에 의해 생성될 수 있다.
하지만, 변이를 이용한 다시점 영상의 생성 기법에서는 깊이 불연속 지점에 발생하는 차폐 영역에 의해 깊이 불연속 지점에서의 변이 정보가 부정확하게 되는 문제가 있다. 따라서, 보간 처리된 영역에서 눈에 띄는 아티팩트가 발생할 수 있다.
또한, 영상 워핑 기반의 다시점 영상 생성 기법에서는 변이 정보의 부정확성에 의한 홀 및 아티팩트의 발생은 줄어들지만, 깊이 불연속 지점에서의 영상 왜곡으로 인한 깊이 차이의 왜곡(주로 감소)이 발생하게 된다. 따라서 스테레오 영상의 입체감이 감소하게 된다.
이를 해결하기 위해서는 영상 워핑을 수행할 때, 깊이 불연속 지점에서의 영상 중요도를 높이고, 깊이 불연속 지점에서의 영상 워핑 시에 영상 왜곡을 최소화할 필요가 있다.
본 발명에서는 스테레오 영상 간에 조밀한 변이 정보를 구하지 않고, 장면의 중요한 일부 영역에 대한 변이 등 주요 장면의 변이만을 산출한다. 주요 장면의 변이만을 산출하고, 이를 이용하여 영상 워핑을 통해 다시점 영상을 생성함으로써, 객체와 배경 경계에서의 깊이 불연속 지점에서 발생할 수 있는 깊이 차이를 감소시키고, 왜곡을 최소화 할 수 있다.
예컨대, 본 발명에서는 스테레오 영상으로부터 추출한 스파스(sparse) 변이 정보를 이용한다. 스파스 변이 정보를 이용하여 영상 워핑 시의 깊이 불연속 지점에서 입체감 유지를 위해 세그먼트(segment) 단위 변위 및 세그먼트 간 변이 그래디언트(gradient)를 산출한다. 세그먼트 단위 변위와 세그먼트 간의 변이 그래디언트는 워핑된 영상을 생성하는 영상 워핑 관계식에서 제한 조건으로 적용될 수 있다.
도 1은 본 발명이 적용되는 영상 복호화기의 일 예를 개략적으로 설명하는 블록도이다.
도 1을 참조하면, 복호화기(100)는 엔트로피 복호화부(110), 역양자화부(120), 역변환부(130), 가산부(140), 영상 처리부(150), 시차 처리부(160) 및 움직임 벡터 처리부(170)를 포함한다.
엔트로피 복호화부(110)는 부호화기(미도시)로부터 비트 스트림 등의 방식으로 전송되는 데이터를 수신해서 이를 엔트로피 복호화할 수 있다. 역양자화부(120)는 부호화기에서 양자화된 데이터를 역양자화한다. 역변환부(130)는 역양자화된 데이터에 대하여 부호화기에서 변환된 방식에 대응해서 역변환을 수행한다.
움직임 벡터 처리부(170)에서는 엔트로피 복호화된 정보로부터 움직임 벡터에 관한 정보를 수신하고, 움직임 벡터를 분석하며, 움직임 보상을 수행할 수 있다.
가산부(140)에서는 움직임 보상된 정보와 역변환된 정보를 가산하여 영상 정보를 출력한다. 시차 처리부(160)에서는 영상 사이의 시차를 결정하고 이를 기반으로 좌우 영상을 생성한다. 영상 처리부(150)에서는 움직임 벡터 유형에 따라서 가산부(140)에서 출력된 영상 정보와 시차 처리부(160)에서 출력된 좌우 영상을 이용하여 3D 영상을 생성하고 이를 디스플레이한다.
입체 영상은 양안 시차(binocular disparity)에 의해 깊이감을 제공한다. 양안 시차를 제공하는 한 방법으로서, 지연 영상을 사용하는 방법이 있다. 예컨대, 좌영상은 현재 영상을 사용하고, 우영상은 현재 영상에 대한 지연 영상을 사용하여 깊이감을 얻을 수 있다. 현재 영상과 지연 영상은 스크린 상에서 수렴점이 상이하므로, 스크린을 통해 영상을 보게 되는 사람은 깊이감을 느끼게 된다.
또한, 좌영상과 우영상 사이에 워핑에 의해 왜곡이 발생하도록 하고, 이 왜곡에 의해 좌영상과 우영상 사이의 디스패리티에 원하는 변화(change)를 더해줌으로써 깊이감을 생성할 수도 있다.
도 2는 본 발명이 적용되는 시스템에서 수행되는 워핑 방법을 개략적으로 설명하는 순서도이다. 본 발명에서는 깊이 불연속을 고려하여 스테레오 영상을 워핑한다.
도 2를 참조하면, 우선 복호화기에 스테레오 영상이 입력된다(S200). 스테레오 영상은 좌영상과 우영상을 포함하며, 부호화기로부터 전달될 수 있다.
복호화기는 좌우 스테레오 영상이 입력되면, 입력된 좌우 스테레오 영상을 분할한다(S205). 좌우 스테레오 영상은 평균 이동 기법 등을 이용하여 영상 분할되고 세그먼트(segment)가 추출될 수 있다. 영상 분할과 이에 기반한 세그먼트 추출은 좌우 영상 모두에 적용될 수도 있고, 기준 영상에만 적용될 수도 있다. 기준 영상은 일반적으로 좌영상일 수 있으나, 본 발명은 이에 한정되지 않고, 우영상을 기준 영상으로 설정할 수도 있다.
또한, 복호화기는 입력된 좌우 스테레오 영상에 대하여 변이를 산출한다(S210). 복호화기는 스테레오 영상에 SIFT(Scale Invariant Feature Transform)과 같은 특징점 추출 기법을 적용할 수 있다. 복호화기는 추출된 특징점들 간의 변이를 산출할 수 있다.
또한, 복호화기는 입력된 스테레오 영상을 저해상도 영상으로 생성하고, 생성된 저해상도 영상 간에 광류(optical flow)를 산출할 수 있다. 복호화기는 광류에 기반해서 저해상도 스테레오 영상 사이의 변이를 산출할 수도 있다.
이때, 복호화기는 저해상도 스테레오 영상 사이의 변이를 산출하는 것을 선택적으로 수행할 수도 있다.
특징점 사이의 변이만을 산출한 경우에, 복호화기는 특징점 사이의 변이에 대한 아웃라이어(outlier)를 제거하고 정확도가 높은 장면의 스파스(sparse)한 변이를 계산한다. 계산된 변이는 메모리 등에 저장할 수 있다.
특징점 사이의 변이와 함께 저해상도 영상 사이의 변이를 산출한 경우에, 복호화기는 특징점 사이의 변이와 저해상도 영상 사이의 변이를 결합할 수 있다. 복호화기는 결합된 변이에 대한 아웃라이어(outlier)를 제거하고 정확도가 높은 장면의 스파스(sparse)한 변이를 계산한다. 계산된 변이는 메모리 등에 저장할 수 있다.
복호화기는 영상 분할 단계(S205)의 세그먼트 추출 결과와 변이 산출 단계에서 생성한 스파스 변이의 결과를 결합하여 세그먼트별 변이를 산출한다(S215). 구체적으로, 복호화기는 추출한 세그먼트와 스파이스 변이를 기반으로 세그먼트별 평균 변이를 산출할 수 있다.
복호화기는 세그먼트별 평균 변이를 기반으로 세그먼트를 병합할 수 있다(S220). 구체적으로, 복호화기는 세그먼트별 평균 변이를 기반으로 인접한 세그먼트 사이의 변이 유사도를 산출할 수 있다. 복호화기는 인접한 두 세그먼트 사이에서 산출한 변이 유사도가 소정의 임계치(Th1)보다 작을 경우에는 두 세그먼트를 병합할 수 있다. 예를 들어, 서로 인접한 N 번째 세그먼트와 N+1 번째 세그먼트 사이에서 (N은 1 이상의 정수) 산출한 변이 유사도가 임계치 Th1보다 작은 경우에는, N 번째 세그먼트와 N+1 번째 세그먼트를 병합할 수 있다. 세그먼트가 병합된 경우에 복호화기는 세그먼트별 평균 변이를 병합된 세그먼트에 대하여 갱신할 수 있다.
복호화기는 변이 불연속점을 검출할 수 있다(S225). 복호화기는 세그먼트 사이의 변이 그래디언트(gradient)를 산출할 수 있다. 복호화기는 변이 그래디언트가 소정의 임계치(Th2)보다 큰 경우에는 해당 세그먼트 사이에 변이 불연속점이 존재하는 것으로 판단함으로써, 변이 불연속점을 검출할 수 있다. 예컨대, M 번째 세그먼트와 M+1 번째 세그먼트 사이에서 (M은 1 이상의 정수) 산출된 변이 그래디언트가 임계치 Th2보다 큰 경우에, 복호화기는 M 번째 세그먼트와 M+1 번째 세그먼트 사이에 변이 불연속점이 존재하는 것으로 결정할 수 있다.
이어서, 복호화기는 변이 중요도(saliency)를 산출할 수 있다(S230). 복호화기는 산출한 변이 중요도를 영상 워핑에 이용할 수 있다. 변이 중요도는 아래의 수학식 1과 같이 정의될 수 있다.
[수학식 1]
S disp = α· disp + (1-α)· disp _ grad
수학식 1에서 α는 중요도 맵(saliency map) 계산 항의 가중치(weight), disp는 세그먼트 단위로 할당되는 평균 변이, disp_grad는 인접한 세그먼트 경계 사이의 변이 그래디언트를 나타낸다. 한편 복호화기는 입력된 스테레오 영상을 기반으로 장면 전환점을 검출한다(S235). 복호화기는 동일한 시점을 갖는 두 프레임 간에 움직임 벡터를 산출하고, 산출된 움직임 벡터를 기반으로 장면 전환점을 검출할 수 있다. 구체적으로, 복호화기는 두 프레임 사이의 움직임 차이 또는 움직임 벡터가 소정의 임계치(Th3)보다 크면 장면이 전환된 것으로 판단할 수 있다. 예를 들어, 복호화기는 L 번째 프레임과 L+1 번째 프레임 사이의 (L은 1 이상의 정수) 움직임 차이 또는 움직임 벡터가 임계치 Th3보다 큰 경우에는, L 번째 프레임과 L+1 번째 프레임 사이에 장면 전환점이 존재하는 것으로 판단하고, 장면 전환점을 검출할 수 있다.
또한, 복호화기는 부호화된 동영상을 복호화할 때 얻어지는 동영상에서, P 슬라이스의 매크로 블록 정보를 이용하여 슬라이스 내에 인트라 블록이 선택된 비율이 소정의 임계치(Th4)보다 큰 경우에는 장면 전환점이 존재하는 것으로 판단할 수도 있다. 장면이 전환되는 경우에는 픽처 간의 예측인 인터 예측보다 픽처 내의 예측인 인트라 예측이 더 많아질 것이므로, 이를 기준으로 장면 전환점인지를 판단할 수 있다. 예컨대, O+1 번째 프레임(O는 1 이상의 정수)의 인트라 블록 개수가 임계치 Th4보다 더 많은 경우에는, O 번째 프레임과 O+1 번째 프레임 사이에 장면 전환점이 있는 것으로 판단하고, 장면 전환점을 검출할 수 있다.
장면 전환점을 검출한 후에, 복호화기는 장면의 운동 유형에 따라서 영상의 유형을 결정할 수 있다(S240). 영상의 유형은 장면의 운동 유형에 따라서 정지 영상, 줌 영상, 수직 운동 영상, 수평 운동 영상 등으로 분류될 수 있다. 복호화기는 현재 프레임이 어느 영상 유형에 속하는지를 현재 프레임의 장면에서 나타나는 운동 유형에 따라서 결정할 수 있다.
복호화기는 각 운동 영상별로 움직임의 대상이 무엇인지를 판단하여, 영상 내의 대상 영역이 객체 움직임 영역인지를 판단한다(S245).
예컨대, 복호화기는 수평 운동 영상에 대해서는 프레임 간 컬러 차이의 절대값을 계산하여 그 차이가 소정의 임계치(Th5)보다 작으면 해당 영역에는 객체의 움직임만 있는 것으로 판단할 수 있다. 또한, 복호화기는 프레임 간 컬러 차이의 절대값이 임계치 Th5보다 큰 영역에 대해서는 카메라만의 움직임(배경의 움직임) 또는 카메라와 객체의 움직임이 있는 것으로 판단할 수 있다.
또한, 복호화기는 프레임 간의 평균 컬러 차이와 평균 움직임 벡터를 산출할 수 있다. 복호화기는 각 화소별로 계산된 프레임 간의 컬러 차이와 움직임 벡터 차이가 모두 평균 컬러 차이와 평균 움직임 벡터 차이보다 작은 영역은 객체 움직임 영역으로 판단할 수 있다. 복호화기는 그 외의 경우, 즉 프레임 간의 컬러 차이와 움직임 벡터 차이가 모두 평균 컬러 차이와 평균 움직임 벡터 차이보다 크거나, 프레임간 컬러 차이가 평균 컬러 차이보다 크거나, 프레임 간 움직임 벡터의 차이가 평균 움직임 벡터의 차이보다 큰 경우에는 해당 영역을 정적 배경 영역으로 판단할 수 있다.
객체 움직임 영역이라고 판단된 경우에, 복호화기는 객체 움직임 영역으로 판단된 영역에 대한 워핑 식을 갱신할 수 있다(S250). 정적 배경 영역으로 판단된 영역에 대해서, 복호화기는 이전의 워핑 결과 혹은 이전의 워핑 식을 그래도 유지하고, 이를 적용할 수 있다. 이를 통해서, 프레임 간 워핑 결과의 연속성을 유지할 수 있다.
워핑은 메쉬 그리드 단위의 워핑이 사용될 수도 있고, 심 카빙(seam carving) 기법이 사용될 수도 있으며, 변이 기반 중간 영상 생성 기법이 사용될 수도 있다. 이 워핑 기법들 중에서 어떤 것을 사용할 것인지는 미리 정해질 수도 있고, 부호화기로부터 지시될 수도 있으며, 복호화기가 워핑 기법들을 선택적으로 사용할 수도 있다. 또한, 필요한 경우에는 홀 처리 기법이 적용될 수도 있다.
수학식 2는 본 발명에서 적용될 수 있는 워핑 기법의 일 예를 정의한 것이다.
[수학식 2]
Figure pat00001
복호화기는 수학식 2를 조합된 에너지 항 EW를 최소화하는 값들을 산출하여 해당 영상에 대한 워핑을 수행할 수 있다.
수학식 2에서 Ef는 이미 정해진 변이에 의한 화소의 투영 위치와 실제 투영된 위치 사이의 위치 차이를 가중합한 값으로서, 변이 조건을 나타낸다. 수학식 3으로부터 영상 워핑을 전후하여 세그먼트 SA와 SB의 변이 차이가 그대로 유지된다는 조건 하에 수학식 4 또는 5와 같이 변경될 수 있다.
[수학식 3]
Figure pat00002
[수학식 4]
Figure pat00003
[수학식 5]
Figure pat00004
한편, 분모가 될 수 있는 경우를 고려할 때, 수학식 3은 수학식 6과 같이 변경 적용할 수도 있다.
[수학식 6]
Figure pat00005
수학식 3 내지 6에서, Ef는 변이 불연속점으로서 검출된 모든 점 (i, j)들에 대해 계산된 후 합산되며, SA와 SB는 점 (i, j)에 인접한 세그먼트들이다. 또한, W 함수는 워핑식에 의해 입력 스테레오 영상을 워핑하는 것을 의미한다. 결국, Ef는 워핑된 영상과 입력 스테레오 영상 내의 세그먼트 간 변이 크기는 줄더라도, 변이 비율을 유지되도록 하는 조건을 나타낸다.
또한, 수학식 2에서 Ec는 영상 워핑에 의한 면꼭지점의 위치 이동량의 합으로서 사각형 면의 유지 조건/컨포멀(conformal) 조건을 나타낸다. Ec를 수학적으로 정의하면 수학식 7과 같다.
[수학식 7]
Figure pat00006
Eh는 영상 워핑에 의해 수지선 에지가 변형되지 않도록 하는 제한 조건으로서, 수직선 위치 차이 오차로 정의될 수 있다(수직선 유지 조건). Eh를 수학적으로 정의하면 수학식 8과 같다.
[수학식 8]
Figure pat00007
Et는 영상 워핑에 의한 프레임 간 변형 오차를 최소화하기 위한 제한 조건으로서, 시간적 일관성 유지 조건이라고 할 수 있다. Et를 수학적으로 정의하면 수학식 9와 같다.
[수학식 9]
Figure pat00008
수학식 2에서 전체 EW의 최소화는 수치 해석적 이터레이티브(iterative) 최적화에 의해 산출될 수 있다.
마지막으로 복호화기는 3D 입체 영상을 생성한다(S255). 복호화기는 스테레오 변이 중요도 Sdisp, 객체 움직임 영역 및 배경 영역 분류 정보 등을 기반으로 상술한 바와 같은 워핑식을 좌우 영상 각각에 대하여 적용할 수 있다. 복호화기는 사용자로부터 워핑으로 생성한 영상의 시점 간격, 시점 위치 등의 정보를 입력 받을 수 있다. 복호화기는 입력된 정보를 이용하여 사용자가 원하는 시점 수와 시점 간격을 가지는 영상을 생성할 수 있다.
상술한 바와 같이, 배경 영역의 경우에는 이전 워핑 결과 혹은 이전 워핑 식을 그대로 이용하고, 움직임 객체 영역에 대해서는 새로 갱신된 워핑 식을 이용하여 영상을 생성한다. 복호화기는 영상 생성 단계(S255)에서 두 워핑 결과를 하나의 워핑 영상으로 결합하고, 최종적으로 워핑된 영상을 생성할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (1)

  1. 스테레오 영상을 수신하는 단계;
    세그먼트별 변이를 산출하는 단계;
    상기 산출된 세그먼트별 변이를 기반으로 변이 불연속점 및 변이 중요도를 산출하는 단계; 및
    상기 변이 불연속점 및 변이 중요도를 이용하여, 영상 워핑을 수행하는 단계를 포함하며,
    상기 영상 워핑 수행 단계에서는, 워핑 대상 영상이 객체 이동 영상인 경우에 적용되는 워핑 파라미터를 갱신하는 것을 특징으로 하는 영상 워핑 처리 방법.
KR1020110135755A 2011-12-15 2011-12-15 영상 워핑 처리 방법 및 장치 KR20130068520A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110135755A KR20130068520A (ko) 2011-12-15 2011-12-15 영상 워핑 처리 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110135755A KR20130068520A (ko) 2011-12-15 2011-12-15 영상 워핑 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20130068520A true KR20130068520A (ko) 2013-06-26

Family

ID=48864128

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110135755A KR20130068520A (ko) 2011-12-15 2011-12-15 영상 워핑 처리 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20130068520A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170109465A (ko) * 2016-03-21 2017-09-29 한국전자통신연구원 영상 재구성 장치 및 방법
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
KR102173419B1 (ko) 2020-07-14 2020-11-03 주식회사 아프로시스템즈 관심 검지 영역 확장 기법을 이용한 적응적 물체 검지 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170109465A (ko) * 2016-03-21 2017-09-29 한국전자통신연구원 영상 재구성 장치 및 방법
CN111652900A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储装置
CN111652900B (zh) * 2020-05-29 2023-09-29 浙江大华技术股份有限公司 基于场景流的客流量的计数方法、系统及设备、存储介质
KR102173419B1 (ko) 2020-07-14 2020-11-03 주식회사 아프로시스템즈 관심 검지 영역 확장 기법을 이용한 적응적 물체 검지 시스템

Similar Documents

Publication Publication Date Title
Tian et al. NIQSV+: A no-reference synthesized view quality assessment metric
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US10789765B2 (en) Three-dimensional reconstruction method
CN108596965B (zh) 一种光场图像深度估计方法
CA2726208C (en) System and method for depth extraction of images with forward and backward depth prediction
US20140009462A1 (en) Systems and methods for improving overall quality of three-dimensional content by altering parallax budget or compensating for moving objects
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JPWO2013011608A1 (ja) 画像符号化装置とその集積回路、および画像符号化方法
KR20160062571A (ko) 영상 처리 방법 및 장치
KR20110135786A (ko) 깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법
JP2009212664A (ja) 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP6232075B2 (ja) 映像符号化装置及び方法、映像復号装置及び方法、及び、それらのプログラム
KR20130068520A (ko) 영상 워핑 처리 방법 및 장치
JP2004356747A (ja) 画像のマッチング方法および装置
US10911779B2 (en) Moving image encoding and decoding method, and non-transitory computer-readable media that code moving image for each of prediction regions that are obtained by dividing coding target region while performing prediction between different views
JP4944046B2 (ja) 映像符号化方法，復号方法，符号化装置，復号装置，それらのプログラムおよびコンピュータ読み取り可能な記録媒体
KR20140056073A (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
Yang et al. Remote dynamic three-dimensional scene reconstruction
KR101866106B1 (ko) 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
WO2012172634A1 (ja) 画像符号化装置、画像復号化装置、方法およびプログラム
Fickel et al. Multiview image and video interpolation using weighted vector median filters
Han et al. Depth estimation and video synthesis for 2D to 3D video conversion

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid