KR101393621B1

KR101393621B1 - 3차원 입체영상의 품질 분석 장치 및 방법

Info

Publication number: KR101393621B1
Application number: KR1020120002873A
Authority: KR
Inventors: 김아란; 김하윤; 정원석; 전병기; 김종옥; 최지훈; 박영환; 윤민주
Original assignee: 에스케이플래닛 주식회사; 고려대학교 산학협력단; (주)리얼디스퀘어
Priority date: 2012-01-10
Filing date: 2012-01-10
Publication date: 2014-05-12
Also published as: WO2013105720A1; KR20130081835A

Abstract

본 발명은 3차원 입체영상의 품질 분석 장치 및 방법에 관한 것으로서, 2차원 영상에 대한 깊이 정보로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 값들에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도 분포도를 나타내는 깊이 정보 히스토그램을 생성하며, 깊이 정보 히스토그램과 균등 분포 히스토그램의 유사도를 바타차리야 계수를 이용해 분석하여 입체(DF) 값을 생성하는 입체감 분석부; 상기 2차원 영상에 대한 깊이 정보를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 7가지 계수 값을 구하여 선형 조합으로 최종적인 안정성 계수(CF) 값을 생성하는 안정성 분석부; 상기 2차원 영상에 대한 깊이 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 오류성 분석부; 상기 2차원 영상을 3차원 입체영상으로 변환할 때 각 시퀀스 이미지에 대한 입체감과 안정성, 오류성의 계수 값에 대해 각각의 가중치와 상수를 주어 총 평가 점수를 산출하며, 각 시퀀스 이미지에 대한 총 평가 점수를 가지고 순위에 따라 리스트로 제공하는 분석 결과부를 포함한다.

Description

3차원 입체영상의 품질 분석 장치 및 방법{Method and system for analyzing a quality of three-dimensional image}

본 발명은 3차원 입체영상의 품질 분석 장치 및 방법에 관한 것으로서, 보다 상세하게는, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 얼마나 좋은 입체감을 가지고 있는지에 대한 입체감의 정도를 수치로 표시하도록 하고, 3차원 입체영상의 안정성에 영향을 미치는 7가지 계수(Factor) 값을 구하여 시각적 피로도는 얼마나 심한지를 표시하며, 그리고 객체를 배경으로 처리하거나 배경을 객체로 처리하는 오류는 없는지에 대한 객관적인 품질 평가를 수행할 수 있도록 하는 것이다.

최근에 3차원 입체 영상(stereoscopic image)에 대한 관심이 높아지면서 다양한 방식의 입체 영상 획득 장치와 디스플레이 장치들이 개발되고 있다. 입체 영상을 디스플레이하기 위해 입체 영상 신호를 획득하기 위한 한 가지 방법으로 영상의 획득시에 1쌍의 좌우 카메라를 이용하는 방법이 있다. 이 방법은 자연스러운 입체 영상을 디스플레이할 수 있는 장점은 있지만 영상 획득을 위하여 2대의 카메라가 필요할 뿐만 아니라 획득한 좌영상과 우영상의 필름화 또는 부호화에 따른 문제, 그리고 좌영상과 우영상의 프레임율의 차이 등과 같은 문제들을 해결해야 하는 단점이 있다.

입체 영상 신호를 획득하기 위한 다른 한 가지 방법은 하나의 카메라로 획득한 2차원 영상신호를 3차원 영상신호로 변환하는 것이다. 이 방법에 의하면, 획득한 2차원 영상(원 영상)에 대하여 소정의 신호 처리를 수행함으로써 3차원 영상, 즉 좌영상과 우영상을 생성하기 때문에, 좌우 카메라를 이용하여 입체 영상신호를 획득할 때 초래되는 전술한 문제점이 발생하지 않는다. 다만, 이 방법은 하나의 영상을 이용하여 두 개의 영상을 생성하는 것이기 때문에, 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하기가 어려운 단점이 있다. 따라서 2차원 영상신호를 3차원 영상신호로 변환하는데 있어서는 변환된 3차원 영상신호를 이용하여 더욱 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하는 것이 상당히 중요하다.

그런데, 시청자가 3차원 입체 영상을 접했을 때 느끼는 어지러움, 시각적 피로도 등을 연구하여 인간에게 가장 알맞은 시야각과 입체영상 시청거리 등에 관해서 어느 정도 객관성이 있고 타당한 연구 결과가 나와 있지만 2차원 영상에서 변환된 3차원 입체영상에 대한 자체의 품질을 측정하는 도구 및 장치는 아직까지 개발되지 않고 있다.

대한민국 공개특허공보 제10-2008-0047673호(공개일:2008.05.30)

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 얼마나 좋은 입체감을 가지고 있는지에 대한 입체감의 정도를 수치로 표시하도록 하고, 3차원 입체영상의 안정성에 영향을 미치는 7가지 계수(Factor) 값을 구하여 시각적 피로도는 얼마나 심한지를 표시하며, 그리고 객체를 배경으로 처리하거나 배경을 객체로 처리하는 오류는 없는지에 대한 객관적인 품질 평가를 수행할 수 있도록 하는, 3차원 입체영상의 품질 분석 장치 및 방법을 제공함에 그 기술적 과제가 있다.

상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 품질 분석 장치는, 2차원 영상에 대한 원본 시퀀스 이미지와 깊이정보(depth map) 시퀀스 이미지를 입력하는 입력부; 상기 2차원 영상에 대한 깊이 정보로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 값들에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도 분포도를 나타내는 깊이 정보 히스토그램을 생성하며, 깊이 정보 히스토그램과 균등 분포 히스토그램의 유사도를 바타차리야 계수를 이용해 분석하여 입체(DF) 값을 생성하는 입체감 분석부; 상기 2차원 영상에 대한 깊이 정보를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수 값을 구하여 선형 조합으로 최종적인 안정성 계수(CF) 값을 생성하는 안정성 분석부; 상기 2차원 영상에 대한 깊이 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하여 오류 계수 값을 생성하는 오류성 분석부; 상기 2차원 영상을 3차원 입체영상으로 변환할 때 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 대해 각각의 가중치와 상수(Constant)를 주어 총 평가 점수를 산출하며, 각 시퀀스 이미지에 대한 총 평가 점수를 가지고 순위(Ranking)에 따라 리스트로 제공하는 분석 결과부; 및 상기 각 시퀀스 이미지에 대해 입체값, 안정성 계수 값 및 오류 계수 값을 화면 상에 수치와 그래프로 출력하며, 각 시퀀스 이미지에 대한 총 평가 점수 및 각 총 평가 점수의 순위에 따른 리스트를 화면 상에 출력하는 출력부를 포함한다.

또한, 상기 분석 결과부는, 상기 총 평가 점수에 대해, 다음 수학식1에 따라 입체감과 안정성의 선형 조합(linear combination)으로 산출하여 총 평가 점수(QM)를 출력할 수 있다.

[수학식 1]

여기서, QM은 3D 영상의 종합적인 총 평가 점수를 나타내고, DF는 3D 영상의 입체값을 나타내며, CF는 3D 영상의 안정성 계수 값을 나타내며,

는 가중치(coefficient)를 나타내며,

는 상수(constant)를 나타낸다.

또한, 상기 분석 결과부는, 상기 입체값 DF에 대해 다음 수학식2에 따라 히스토그램 입체값과 시차(parallax) 곱의 로그함수로 결정할 수 있다.

[수학식 2]

또한, 상기 입체감 분석부는, 상기 각 프레임당 깊이 정보에 대해, 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성하는 히스토그램 생성부; 및 상기 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용하여 입체값(DF)을 산출하는 입체값 산출부를 포함한다.

또한, 상기 히스토그램 생성부는, 프레임당 각 픽셀의 깊이값들을 0 내지 255 값들의 깊이 그레이(depth gray) 값으로 전환하고, 하나의 프레임에서 각 픽셀에 대한 깊이 그레이 값의 분포도를 나타내는 깊이 정보 히스토그램을 생성할 수 있다.

또한, 상기 입체값 산출부는, 상기 깊이 정보 히스토그램(depth map histogram)의 빈도수를 전체 픽셀(pixel)의 개수로 나누어 정규화하며, 상기 깊이 정보 히스토그램의 i번째 값의 정규화(x[i])에 대해 다음 수학식4에 따라 깊이정보 히스토그램의 i번째 값을 전체 픽셀 값으로 나누어 산출할 수 있다.

[수학식 4]

또한, 상기 안정성 분석부는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 깊이정보 저장부; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 및 상기 깊이 정보와 시차 정보를 이용해 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성하는 안정성 산출부를 포함한다.

또한, 상기 안정성 산출부는 상기 7가지 계수 값들을 다음 수학식12에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF)을 산출할 수 있다.

[수학식 12]

여기서, ω1~ω7은 7가지 각 계수 값들에 대한 가중치 값을 나타낸다.

또한, 상기 안정성 산출부는, 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 상기 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식13에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(Total Compatibility Factor; T_CF), 이를 다음 수학식14에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출할 수 있다.

[수학식 13]

[수학식 14]

여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.

또한, 상기 오류성 분석부는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 깊이정보 저장부; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 및 상기 2차원 영상에 대한 각 프레임당 깊이(depth) 값을 이용하거나, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여, 객체를 배경으로 처리하거나 배경을 객체로 처리하는 깊이 역전에 대한 오류 계수 값을 생성하는 오류성 산출부를 포함한다.

또한, 상기 오류성 산출부는, 상기 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경 부분과 객체 부분으로 분리하고, 분리된 배경 부분에서 배경을 객체로 처리하는 깊이 역전을 검지해 오류 계수 값을 산출할 수 있다.

또한, 상기 오류상 산출부는, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여 오류 계수 값을 산출할 수 있다.

그리고, 상기 오류성 산출부는, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류 계수 값을 산출할 수 있다.

한편, 상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 품질 분석 방법은, (a) 2차원 영상에 대한 원본 시퀀스 이미지와 깊이정보(depth map) 시퀀스 이미지를 입력하는 단계; (b) 상기 2차원 영상에 대한 깊이 정보로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 값들에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도 분포도를 나타내는 깊이 정보 히스토그램을 생성하여, 깊이 정보 히스토그램과 균등 분포 히스토그램의 유사도를 바타차리야 계수를 이용해 분석하여 입체(DF) 값을 생성하는 단계; (c) 상기 2차원 영상에 대한 깊이 정보를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수 값을 구하여 선형 조합으로 최종적인 안정성 계수(CF) 값을 생성하는 단계; (d) 상기 2차원 영상에 대한 깊이 정보 또는 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 단계; 및 (e) 상기 2차원 영상의 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 대해 각각의 가중치와 상수(Constant)를 주어 총 평가 점수를 산출하거나, 각 시퀀스 이미지에 대한 총 평가 점수를 순위(Ranking)에 따라 리스트로 제공하는 단계를 포함한다.

한편, 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 방법을 실행하는 프로그램을 CD나 USB 매체 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.

상술한 바와 같이 본 발명의 3차원 입체영상의 품질 분석 장치 및 방법은, 3D 입체영상의 품질을 객관적으로 평가할 수 있다.

즉, 3D 입체영상의 품질을 가늠하는 한가지 요소인 입체감 중 depth level의 정도(깊이감)에 대한 품질을 수치로써 확인할 수 있고, 또한 품질을 가늠하는 요소인 안정성(편안감)에 대해 7 가지 계수 값을 산출해 평가할 수 있으며, 그리고 품질을 가늠하는 요소인 오류성에 대해 객관적으로 평가하여 3D 입체영상의 퀄리티(Quality)를 확인할 수 있다.

도 1은 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 장치의 기능 블록을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 방법을 설명하기 위한 전체적인 동작 흐름도이다.
도 3은 본 발명의 실시예에 따른 입체감 분석부의 제어 블록도이다.
도 4는 본 발명의 실시예에 따른 입체감 분석부의 입체감 분석 방법을 설명하기 위한 동작 흐름도이다.
도 5는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따라 하나의 프레임당 픽셀의 깊이값이 차지하는 분포도를 나타내는 히스토그램의 한 예를 도시한 도면이다.
도 7은 본 발명의 실시예에 따라 깊이정보 히스토그램과 균등분포 히스토그램의 유사도를 입체값으로 나타낸 예를 도시한 도면이다.
도 8은 본 발명의 실시예에 따라 산출된 입체값을 기준으로 3차원 입체영상의 하나의 프레임에 대한 입체감이 좋은 예와 나쁜 예를 나타낸 도면이다.
도 9는 본 발명의 실시예에 따른 안정성 분석부의 기능 블록을 개략적으로 나타낸 것이다.
도 10은 본 발명의 실시예에 따른 안정성 분석부의 안정성 분석 방법을 설명하기 위한 동작 흐름도이다.
도 11은 본 발명의 실시예에 따른 시차의 범위(Range)와 시차의 최대값(Max)을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 시차의 평균값과 스크린 사이의 거리를 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 시차의 분산(Spatial Complexity)을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 깊이 위치에 관한 계수 값을 산출하는 예를 설명하기 위한 도면이다.
도 15는 본 발명의 실시예에 따른 오류성 분석부의 기능 블록을 개략적으로 나타낸 것이다.
도 16은 본 발명의 실시예에 따른 오류성 분석부의 오류성 분석 방법을 설명하기 위한 동작 흐름도이다.
도 17은 본 발명의 실시예에 따른 2차원 영상에 대해 깊이 값을 이용하여 배경과 객체로 분리하는 예를 나타낸 도면이다.
도 18은 수동 변환 영상과 자동 변환 영상에 대해 깊이 값을 이용해 객체 부분과 배경 부분으로 분리한 예를 나타낸 도면이다.
도 19는 본 발명의 실시예에 따라 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하는 예를 나타낸 도면이다.
도 20은 본 발명의 실시예에 따라 객체가 배경으로 처리된 깊이 역전을 검지해 오류 계수값을 산출하는 예를 나타낸 도면이다.
도 21은 본 발명의 실시예에 따른 배경 부분에서 차영상의 값이 임계값보다 큼에 따라 깊이 역전으로 간주하여 오류를 검출하는 예를 나타낸 도면이다.
도 22는 본 발명의 실시예에 따라 각 시퀀스 이미지에 대한 입체감과 안정성 및 오류성에 대한 결과 값을 수치와 그래프 등으로 출력하는 예를 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 장치의 기능 블록을 개략적으로 나타낸 구성도이다.

도 1을 참조하면, 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 장치(100)는, 입력부(110), 입체감 분석부(120), 안정성 분석부(130), 오류성 분석부(140), 분석 결과부(150) 및 출력부(160) 등을 포함한다.

입력부(110)는 2차원 영상에 대한 원본 시퀀스 이미지와 깊이정보 시퀀스 이미지를 입력한다. 이때, 한 폴더 내에 시퀀스 이미지의 파일명 끝에 "_001, _002, _003, …" 처럼 순차적인 번호가 붙여져 있을 때, 그 폴더 내의 이미지를 모두 불러와 입력한다.

입체감 분석부(120)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 5에 도시된 바와 같이 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 정보에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성하며, 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용해 분석하여 입체값을 생성한다. 이때, 입체값이 예를 들면 0.3 이하는 저급, 0.3 ~ 0.8 사이는 중급, 0.8 이상은 고급 입체감을 가지고 있다고 볼 수 있다.

안정성 분석부(130)는 2차원 영상에 대한 깊이 지도(depth map)를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement) 등 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성한다.

오류성 분석부(140)는 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하고, 임계값에 근거해 객체를 배경으로 처리하거나 배경을 객체로 처리하는 깊이 역전(Depth map reverse)의 오류를 검출한다.

분석 결과부(150)는 2차원 영상을 3차원 입체영상으로 변환할 때 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 대해 각각의 가중치와 상수(Constant)를 주어 1(나쁨) 부터 5(좋음)까지 총 평가 점수를 산출해 디스플레이 하며, 각 시퀀스 이미지에 대한 총 평가 점수를 가지고 순위(Ranking)에 따라 리스트로 제공한다. 즉, 분석 결과부(150)는 최종적인 품질 결과값에 대해 다음 수학식1에 따라 입체감과 안정성의 선형 조합(linear combination)으로 산출하여 총 평가 점수(QM)를 출력한다.

여기서, QM은 3D 영상의 종합적인 총 평가 점수를 나타내고, DF는 3D 영상의 입체값을 나타내며, CF는 3D 영상의 안정성 계수 값을 나타낸다. 또한,

는 가중치(coefficient)를 나타내는 것으로 3D 영상의 입체값에 대한 계수값과 3D 영상의 안정성에 대한 계수값을 나타내며 수학식12 내지 수학식14와 같은 방식으로 얻을 수 있고,

는 상수(constant)를 나타내는 것으로 최종 결과로 총 평가 점수가 0 ~ 5점 사이가 나올 수 있도록 일정 값을 더하여 값을 조정하기 위해 정한 값을 나타낸다. 이때, 입체값의 경우 시차(parallax)를 증가시키다 보면 입체감이 더 이상 좋아지지 않는 지점이 발생하므로, 분석 결과부(150)는 입체값 DF에 대해 다음 수학식2에 따라 히스토그램 입체값과 시차(parallax) 곱의 로그함수로 결정하게 된다.

출력부(160)는 각 시퀀스 이미지에 대해 입체값, 안정성 계수 값 및 오류 계수 값을 화면 상에 수치와 그래프 등으로 출력하며, 각 시퀀스 이미지에 대한 총 평가 점수 및 각 총 평가 점수의 순위에 따른 리스트 등을 화면 상에 출력한다. 이때, 출력부(160)는 시퀀스 이미지에 대한 각각의 점수를 Polar Graph로 나타내어 각각의 프레임에 대한 점수를 사용자가 한 눈에 식별할 수 있도록 한다.

도 2는 본 발명의 실시예에 따른 3차원 입체영상의 품질 분석 방법을 설명하기 위한 전체적인 동작 흐름도이다.

도 2를 참조하면, 3차원 입체영상의 품질 분석 장치(100)는, 먼저 입력부(110)를 통해 원본 시퀀스 이미지(Raw sequence image)와 깊이지도 시퀀스 이미지(depth map sequence image)를 입력받는다(S210).

이에, 입체감 분석부(120)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 5에 도시된 바와 같이 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 정보에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성하며, 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용해 분석하여 입체값을 생성한다(S220).

또한, 안정성 분석부(130)는 2차원 영상에 대한 깊이 지도(depth map)를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement) 등 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성한다(S230).

즉, 안전성 분석부(130)는 사용자가 안정성에 대한 버튼을 클릭하면, 안정성 내 계수(Factor)들에 대한 프레임들의 평균 결과값의 WeightSum을 계산하여 출력하고, 각 프레임마다의 결과 값은 텍스트 파일로 저장하여 각 프레임에 대한 결과 값도 볼 수 있도록 한다.

또한, 오류성 분석부(140)는 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하고, 임계값에 근거해 객체를 배경으로 처리하거나 배경을 객체로 처리하는 깊이 역전(Depth map reverse)에 대한 오류값을 생성한다(S240).

즉, 오류성 분석부(140)는 깊이 역전을 검출하였을 때 썸네일(sumnail) 이미지로 역전된 깊이 지도를 출력하고, 오류가 있을 경우 사용자로 하여금 UI(User Interface)를 통해 해당 프레임을 선택하여 그 결과값만 제외할 수 있도록 하며, 역전된 부분은 어느 위치에 얼마만큼의 영역이 역전되었는지 8*8 픽셀 단위의 흰색 블록으로 표시한다. 이때, 하나의 프레임에서 전체 블록수 대비 흰색 블록의 비율을 점수화하여 오류값으로 생성하고, 하나의 프레임에 15 블록 이상의 역전 현상이 존재할 때 해당 프레임 영상의 이상을 표시하며, 각 프레임에 임계값 이상의 역전 현상이 일어난 프레임을 오류 프레임으로 표시할 수 있다.

이어, 분석 결과부(150)는 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 각각의 가중치와 상수(Constant)를 주어 1(나쁨) 부터 5(좋음)까지 총 평가 점수를 산출하며, 각 시퀀스 이미지에 대한 총 평가 점수를 순위(Ranking)에 따라 리스트로 제공한다(S250).

즉, 분석 결과부(150)는 도 22에 도시된 바와 같이 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값을 수치와 그래프 등으로 출력하고, 원본 시퀀스 이미지와 Depth 시퀀스 이미지를 썸네일로 출력하며, 입체감과 오류성에 대한 결과 썸네일을 출력한다.

따라서, 사용자는 원본 시퀀스 이미지에 대해서 입체감과 안정성, 오류성에 대해 각각의 값을 확인할 수 있고, 전체적인 품질에 관한 총 평가 점수를 확인할 수 있다.

[ 입체감 분석부의 상세 구성 및 동작 ]

도 3은 본 발명의 실시예에 따른 입체감 분석부의 제어 블록도이다.

도 3에 도시된 바와 같이, 본 발명의 입체감 분석부(120)는, 히스토그램(histogram) 생성부(310), 입체값 산출부(320), 입체값 저장부(330)를 포함한다.

여기서, 2차원 영상에 대한 각 프레임당 깊이 정보는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 5에 도시된 바와 같이 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하여 얻은 것이다. 깊이 지도는 2차원 영상에 대한 프레임당 각 픽셀의 깊이값(depth value)들을 저장한 데이터 구조이다. 도 5는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이다. 도 5에 도시된 바와 같이, 입체감 분석부(120)는 깊이지도로부터 (가)와 같이 프레임당 각 픽셀에 대한 깊이값들을 추출하고, 추출한 각 픽셀에 대한 깊이값들을 (나)와 같이 각 프레임별로 구분하여 임시로 저장한다. 이때, 입체감 분석부(120)는 생성한 깊이정보를 임시로 저장하기 위한 저장 기능을 갖는다.

히스토그램 생성부(310)는 추출된 각 프레임당 깊이 정보에 대해, 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성한다. 즉, 히스토그램 생성부(120)는 도 6에 도시된 바와 같이 프레임당 각 픽셀의 깊이값들을 0 내지 255 값들의 깊이 그레이(depth gray) 값으로 전환하여 가로축으로 하고, 하나의 프레임에서 각 깊이 값이 얼마나 분포되어 있는지를 나타내는 분포도를 세로축으로 하는 히스토그램을 생성하는 것이다. 도 6은 본 발명의 실시예에 따라 하나의 프레임당 픽셀의 깊이값이 차지하는 분포도를 나타내는 히스토그램의 한 예를 도시한 도면이다.

입체값 산출부(320)는 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용해 산출하여 입체값(DF)으로 출력한다. 여기서, 균등 분포 히스토그램은 입체감이 높게 나타나도록 깊이지도의 깊이 값이 다양하게 분포된 이상적인 깊이 정보 히스토그램을 의미한다. 따라서, 본 발명의 입체감 분석부(120)는 모든 각 프레임당 픽셀의 깊이 정보 히스토그램과 비교하기 위한 기준이 되는 균등 분포 히스토그램을 저장하고 있다.

즉, 입체값 산출부(320)는 깊이 정보 히스토그램과 균등 분포 히스토그램 값들의 총합이 각각 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하고, 바타차리야 계수를 이용하여 다음 수학식3에 따라 깊이 정보 히스토그램과 균등분포 히스토그램의 유사도를 히스토그램 입체값(DF_Histogram)으로 산출하는 것이다.

수학식3에서,

는 정규화 된(Normalized) 깊이 정보 히스토그램의 i번째 인덱스(index)의 값이고,

는 정규화 된 균등분포 히스토그램의 i번째 인덱스(index)의 값을 나타낸다.

여기서, 바타차리야 계수는 이전 프레임과 현재 프레임을 비교하여 두 프레임 간의 색상의 유사성을 찾아내어 최대로 유사한 픽셀들을 이전 프레임과 동일한 픽셀들로 인식하여 추적하는 것으로, -1에서 1까지의 값을 가지며, 1에 가까울수록 두 프레임 간 높은 상호 연관성을 갖고, -1에 가까울수록 연관성이 적다. 즉, 입체값이 1에 가까울수록 서로 유사하고, -1에 가까울수록 서로 다르다는 것이다.

도 4는 본 발명의 실시예에 따른 입체감 분석부의 입체감 분석 방법을 설명하기 위한 동작 흐름도이다.

먼저, 본 발명의 실시예에 따른 입체감 분석부(120)는 입력부(110)를 통해 2차원 영상에 대한 각 프레임당 깊이 정보를 입력받는다(S410).

이때, 입체감 분석부(120)는 2차원 영상의 깊이지도(depth map)로부터 도 5에 도시된 바와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장한다.

이어, 입체감 분석부(120)는 입력부(110)를 통해 입력받은 각 프레임당 깊이 정보에 대해, 히스토그램 생성부(310)를 통해 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성한다(S420).

즉, 히스토그램 생성부(310)는 도 6에 도시된 바와 같이 프레임당 각 픽셀의 깊이 값들을 0 내지 255 값들의 깊이 그레이(depth gray) 값으로 전환하여 가로축으로 하고, 하나의 프레임에서 각 픽셀에 대한 깊이 그레이 값이 얼마나 분포되어 있는지를 나타내는 분포도를 세로축으로 하는 깊이 정보 히스토그램을 생성하는 것이다.

이어, 입체감 분석부(120)는 입체값 산출부(320)를 통해 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용하여 입체값으로 산출한다(S430).

이때, 입체값 산출부(320)는 깊이정보 히스토그램과 균등분포 히스토그램 값들의 총합이 각각 1이 되도록 픽셀의 개수로 나누어 정규화(Normalization)하고, 바타차리야 계수를 이용하여 수학식1과 같이 정규화 한 깊이정보 히스토그램의 각 인덱스 값과 정규화 한 균등분포 히스토그램의 각 인덱스 값을 곱하여 루트를 취한 값들을 모두 합하여, 도 7에 도시된 바와 같이 깊이정보 히스토그램과 균등분포 히스토그램의 유사도를 입체값으로 산출하는 것이다. 도 7은 본 발명의 실시예에 따라 깊이정보 히스토그램과 균등분포 히스토그램의 유사도를 입체값으로 나타낸 예를 도시한 도면이다.

즉, 입체값 산출부(320)는 깊이 정보 히스토그램(depth map histogram)의 빈도수를 전체 픽셀(pixel)의 개수로 나누어 정규화한다. 여기서, 전체 픽셀(Total)은 예를 들면, 1920*1080의 Full HD이면 2,073,600 픽셀이라 할 수 있다. 깊이정보 히스토그램의 i번째 값의 정규화(x[i])는 다음 수학식4에 따라 깊이정보 히스토그램의 i번째 값을 전체 픽셀 값으로 나누어 산출할 수 있다.

따라서, 정규화 한 깊이정보 히스토그램 값의 i번째부터 255까지의 합은 1이라 할 수 있으며, 0부터 255까지의 깊이 그레이(depth gray) 값에 대해, 정규화 된(Normalized) 깊이정보 히스토그램의 1번째 인덱스(index)의 값(x1)과 정규화 된 균등분포 히스토그램의 1번째 인덱스(index)의 값(y1)을 곱하여 루트를 취한 값과, 정규화 된 깊이정보 히스토그램의 2번째 인덱스(index)의 값(x2)과 정규화 된 균등분포 히스토그램의 2번째 인덱스(index)의 값(y2)을 곱하여 루트를 취한 값, 동일한 과정으로 정규화 된 깊이정보 히스토그램의 256번째 인덱스(index)의 값(x256)과 정규화 된 균등분포 히스토그램의 256번째 인덱스(index)의 값(y256)을 곱하여 루트를 취한 값을 모두 합하여 입체값을 산출하게 되는 것이다.

그리고, 입체감 분석부(120)는 입체값 산출부(320)를 통해 산출된 각 프레임당 입체값을 도 8에 도시된 바와 같이 화면 상에 디스플레이하거나, 이후에 사용하기 위해 입체값 저장부(330)에 저장한다(S440).

즉, 입체값 산출부(320)는 수학식1과 같이 산출한 각 프레임당 입체값을 해당 프레임 및 히스토그램과 함께 화면 상에 출력함으로써, 사용자가 도 8에 도시된 바와 같이 입체감이 좋은 예와 입체감이 나쁜 예로 구분할 수 있다. 도 8은 본 발명의 실시예에 따라 산출된 입체값을 기준으로 3차원 입체영상의 하나의 프레임에 대한 입체감이 좋은 예와 나쁜 예를 나타낸 도면이다.

따라서, 본 발명의 실시예에 따른 입체감 분석부(120)에 의하면, 3D 입체영상이 얼마나 좋은 입체감을 가지고 있는지를 수치로써 확인할 수 있다.

[ 안정성 분석부의 상세 구성과 동작 ]

도 9는 본 발명의 실시예에 따른 안정성 분석부의 기능 블록을 개략적으로 나타낸 것이다.

안정성 분석부(130)는 입력부(110)를 통해 원본 시퀀스 이미지와 깊이지도 시퀀스 이미지를 입력받으면, 입력된 깊이지도 시퀀스 이미지를 깊이정보 저장부(910)에 저장한다.

즉, 깊이정보 저장부(910)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 5에 도시된 (가)와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 (나)와 같이 각 프레임별로 구분하여 저장하는 기능을 갖는다.

이어, 시차정보 생성부(920)는 이렇게 생성된 깊이 지도를 이용하여 시차(parallax) 정보를 생성한다. 사람은 2 개의 눈을 통해 사물의 입체감이나 거리감을 인지한다. 하나의 사물을 볼 때, 2 개의 눈을 통해 각각 다른 영상이 생성되고 이러한 영상을 적절히 합성함으로써 사람은 사물의 입체감이나 거리감을 인지하게 된다. 따라서, 3차원 입체영상은 이러한 사람의 인지 특성을 고려하여 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성하게 된다. 이러한 눈의 시각적 차이가 바로 시차이며, 깊이 지도를 이용하여 시차를 생성한다.

이어, 안정성 산출부(930)는 깊이 정보와 시차 정보를 이용해 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement) 등 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성한다.

도 10은 본 발명의 실시예에 따른 안정성 분석부의 안정성 분석 방법을 설명하기 위한 동작 흐름도이다.

먼저, 본 발명의 실시예에 따른 안정성 분석부(130)는 입력부(110)를 통해 2차원 영상에 대한 각 프레임당 깊이 정보를 입력받는다(S1010).

이때, 안정성 분석부(130)는 2차원 영상의 깊이 지도(depth map)로부터 도 5에 도시된 바와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 저장한다.

이어, 안정성 분석부(130)는 각 프레임당 깊이 지도를 이용하여 시차정보 생성부(920)를 통해 시차(parallax) 정보를 생성한다(S1020).

즉, 시차정보 생성부(920)는 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성할 때 이용하는 눈의 시각적 차이에 관한 시차 정보를 생성하는 것이다.

이어, 안정성 분석부(130)는 깊이 정보와 시차 정보를 이용해 안정성 산출부(930)를 통해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수(Factor)값을 산출한다(S1030).

즉, 안정성 산출부(930)는 첫번째 계수 값으로 다음 수학식5에 따라 시차의 범위(Range)에 관한 계수 값(CF_Range)을 산출한다.

여기서, 시차의 범위(Range)는 도 11에 도시된 바와 같이 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max(스크린 값을 0이라 할 때 disparity 값이 마이너스(-) 값 중 가장 큰 값), 뒤쪽으로 가장 많이 들어간 값을 min(disparity값이 플러스(+) 값으로 가장 큰 값)으로 한다. Range 값이 클수록 시차 폭이 크므로 안정성에 영향을 미칠 수 있다.

또한, disp(x,y)는 원 영상의 x,y 좌표값이 좌영상에서 얼마만큼 이동했는가에 대한 값으로, 깊이정보(depth map)의 x,y 좌표의 gray 값을 256(총 depth의 gray level 값)에서 뺀 값(256-depthmap(x,y좌표 gray값)에 스크린 면의 gray 값을 뺀 값[(256-depthmap(x,y좌표 gray값))-Screen면의 gray 값]이 그 정보가 된다. 즉 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보이다. 도 11은 본 발명의 실시예에 따른 시차의 범위(Range)와 시차의 최대값(Max)을 설명하기 위한 도면이다.

또한, 안정성 측정부(150)는 두번째 계수 값으로 다음 수학식6에 따라 시차 절대값의 최대값(Max)에 관한 계수 값(CF_Max)을 산출한다.

여기서, 최대값(MAX)은 도 11에 도시된 바와 같이 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값(disp(x,y)값 즉 마이너스(-) 값을 가지므로 절대값을 적용함) 중 가장 큰 값을 나타낸다. MAX 값이 클수록 스크린보다 앞으로 많이 영상이 나와 보이므로 안정성에 영향을 줄 수 있다.

또한, 안정성 산출부(930)는 세번째 계수 값으로 다음 수학식7에 따라 도 12에 도시된 바와 같이 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CF_average)을 산출한다.

여기서, disp_display는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서의 차가 없기 때문에 제로(0)이다.

이때, 도 12는 본 발명의 실시예에 따른 시차의 평균값과 스크린 사이의 거리를 설명하기 위한 도면이다. 도 12에 도시된 바와 같이 Average 값이 클수록 스크린 면에서 멀어지므로 안정성에 영향을 줄 수 있다. 또한, 절대값을 뺄 경우 Average 값이 마이너스(-) 값이 될 경우 스크린 면보다 앞으로 튀어나오는 영역이 많다는 것으로 안정성에 좋지 않은 영향을 미친다. 여기서, disp_display는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서 차가 없기 때문에 제로(0)이다.

또한, 안정성 산출부(930)는 네번째 계수 값으로 다음 수학식8에 따라 도 13에 도시된 바와 같이 시차의 분산(Spatial Complexity)에 관한 계수 값(CF_{SpatialComplexity})을 산출한다.

여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타내며, 시차의 분산은 도 13에 도시된 바와 같이 Average 면에서의 분산값으로, 평균값 면(Average point)에서 조밀하게 분산되어 있을수록 같은 영상(Average 면에서 분산값이 큰 영상)보다 어지러움이 감소될 수 있다. 도 13은 본 발명의 실시예에 따른 시차의 분산(Spatial Complexity)을 설명하기 위한 도면이다.

또한, 안정성 산출부(930)는 다섯번째 계수 값으로 다음 수학식9에 따라 도 14에 도시된 바와 같이 깊이 위치(Depth Point)에 관한 계수 값(CF_{DepthPosition})을 산출한다.

여기서, disp_display는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서 차가 없기 때문에 제로(0)이다.

즉, 깊이 위치(Depth Position)에 관한 계수 값(CF_{DepthPosition})은 도 14에 도시된 바와 같이 스크린으로부터 오브젝트 거리 제곱의 분산값이다. 도 14는 본 발명의 실시예에 따른 깊이 위치에 관한 계수 값을 산출하는 예를 설명하기 위한 도면이다.

또한, 안정성 산출부(930)는 여섯번째 계수 값으로 다음 수학식10에 따라 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CF_{TemporalComplexity})을 산출한다.

여기서, disp_i(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, disp_i _- ₁(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.

또한, 안정성 산출부(930)는 일곱번째 계수 값으로 다음 수학식11에 따라 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CF_{SceneMovement})을 산출한다.

여기서, disp_i(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, disp_i _- ₁(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.

이어, 안정성 산출부(930)는 7가지 계수 값들을 다음 수학식12에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF:Compatibility Factor)을 산출한다(S1040).

이때, 안정성 분석부(130)는 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 상기 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식13에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(Total Compatibility Factor; T_CF), 이를 다음 수학식14에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출한다. 즉, 안정성 산출부(930)는 Least Mean Square 방법을 통해 주관적인 평가와 상관도가 높도록 선형조합의 가중치 계수(coefficient)를 결정한다.

따라서, 본 발명의 실시예에 따른 안정성 분석부(130)에 의하면, 3D 입체영상이 얼마나 좋은 안정성(편안감)을 가지고 있는지를 수치로써 확인할 수 있다.

[ 오류성 분석부의 상세 구성 및 동작 ]

도 15는 본 발명의 실시예에 따른 오류성 분석부의 기능 블록을 개략적으로 나타낸 것이다.

오류성 분석부(140)는 입력부(110)를 통해 원본 시퀀스 이미지와 깊이지도 시퀀스 이미지를 입력받으면, 입력된 깊이지도 시퀀스 이미지를 깊이정보 저장부(1510)에 저장한다.

즉, 깊이정보 저장부(1510)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 5에 도시된 (가)와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 (나)와 같이 각 프레임별로 구분하여 저장하는 것이다.

이어, 시차정보 생성부(1520)는 이렇게 생성된 깊이 지도를 이용하여 시차(parallax) 정보를 생성한다. 3차원 입체영상은 사람의 인지 특성을 고려하여 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성하게 된다. 이러한 눈의 시각적 차이가 바로 시차이며, 깊이 지도를 이용하여 시차를 생성한다.

오류성 산출부(1530)는 생성된 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하고, 임계값에 근거해 객체를 배경으로 처리하거나, 배경을 객체로 처리하는 깊이 역전에 대한 오류 계수값을 생성한다.

이때, 오류성 산출부(1530)는, 깊이 정보에 대한 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리한다.

또한, 오류성 산출부(1530)는 깊이 정보에서 수평 라인(Horizontal Line)별로 예를 들면, 배경의 깊이 값을 임계값으로 설정하여, 수평 라인(Horizontal Line)별로 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리할 수 있다.

또한, 오류성 산출부(1530)는 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류 계수값을 산출한다.

또한, 오류성 산출부(1530)는 분리된 배경 부분에서 깊이 이외의 정보를 이용하여 배경을 객체로 처리하는 깊이 역전을 검지해 오류 계수값을 산출할 수 있다. 여기서, 깊이 이외의 정보는 2차원 영상의 차영상을 이용하는 것으로서, 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하는 것이다. 이는 카메라의 이동이 매우 동적이지 않는다고 가정하면, 배경 부분은 거의 변화가 없고 객체 부분만 변화가 있기 때문에, 배경 부분의 차 영상의 값은 작고, 객체 부분의 차 영상의 값은 상대적으로 큰 것을 이용하는 것이다. 따라서, 오류성 산출부(1530)는 배경 부분에서 차 영상의 값이 임계값보다 큰 부분이 존재하면 깊이 역전으로 간주하여 오류 계수값을 산출하게 된다.

그리고, 오류성 산출부(1530)는 깊이 이외의 정보로 움직임 벡터를 이용해 오류를 검출할 수 있는데, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류 계수값을 산출하게 된다.

도 16은 본 발명의 실시예에 따른 오류성 분석부의 오류성 분석 방법을 설명하기 위한 동작 흐름도이다.

도 16을 참조하면, 본 발명의 실시예에 따른 오류성 분석부(140)는, 먼저, 입력부(110)를 통해 도 5에 도시된 바와 같이 2차원 영상에 대한 각 프레임당 깊이 정보를 입력받는다(S1610).

즉, 오류성 분석부(140)는 2차원 영상의 깊이지도(depth map)로부터 도 5에 도시된 바와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이정보 저장부(1510)에 저장한다.

이어, 오류성 분석부(140)는, 각 프레임당 깊이 정보에 대해, 오류성 산출부(1530)를 통해 깊이(depth) 값을 이용하여 도 17에 도시된 바와 같이 배경(background) 부분과 객체(object) 부분으로 분리한다(S1620). 도 17은 본 발명의 실시예에 따른 2차원 영상에 대해 깊이 값을 이용하여 배경과 객체로 분리하는 예를 나타낸 도면이다. 도 18은 수동 변환 영상과 자동 변환 영상에 대해 깊이 값을 이용해 객체 부분과 배경 부분으로 분리한 예를 보여준다.

즉, 오류성 산출부(1530)는, 2차원 영상의 깊이 정보에 대한 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리하는 것이다.

또한, 오류성 산출부(1530)는, 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인(Horizontal Line)별 배경과 객체에 대한 깊이 값 중 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리할 수 있다.

또한, 오류성 산출부(1530)는, 깊이 이외의 정보로 도 19에 도시된 바와 같이 이전 영상(프레임)과 현재 영상(프레임)의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경이 객체로 처리되거나, 객체가 배경으로 처리된 오류를 검출할 수 있다. 도 19는 본 발명의 실시예에 따라 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하는 예를 나타낸 도면이다.

이어, 오류성 분석부(140)는, 오류성 산출부(1530)를 통해 객체가 배경으로 처리되거나, 배경이 객체로 처리된 깊이 역전을 검지하여 오류 계수값을 산출한다(S1630).

즉, 오류성 산출부(1530)는, 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 도 20에 도시된 바와 같이 객체가 배경으로 처리된 깊이 역전(빨간 원 안쪽 부분)을 검지해 오류 계수값을 산출하게 된다. 도 20은 본 발명의 실시예에 따라 객체가 배경으로 처리된 깊이 역전을 검지해 오류 계수값을 산출하는 예를 나타낸 도면이다.

또한, 오류성 분석부(140)는, 분리된 배경 부분에서 깊이 이외의 정보로 차 영상을 이용하여 배경이 객체로 처리된 오류를 검출할 수 있다. 즉, 오류성 분석부(140)는, 카메라 이동이 매우 동적이지 않다면 배경 부분은 거의 변화가 없고 객체 부분만 영상의 변화가 있으므로, 배경 부분의 차 영상의 값은 작고 객체(object) 부분의 값은 상대적으로 큰 것을 이용해 도 21에 도시된 바와 같이 배경 부분(검은색 부분)에서 차영상의 값이 임계값보다 큰 부분이 존재하면 깊이 역전으로 간주하여 오류를 검출하게 되는 것이다. 도 21은 본 발명의 실시예에 따른 배경 부분에서 차영상의 값이 임계값보다 큼에 따라 깊이 역전으로 간주하여 오류를 검출하는 예를 나타낸 도면이다.

그리고, 오류성 분석부(140)는, 깊이 이외의 정보로 움직임 벡터를 이용하여 오류를 검출하게 되는데, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터가 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류를 검출하게 된다.

이어, 오류성 분석부(140)는, 오류 검출을 화면 상에 디스플레이하거나 저장부 등에 저장한다(S1640).

따라서, 본 발명의 실시예에 따른 오류성 분석부(140)에 의하면, 3D 입체영상의 품질을 가늠하는 한가지 요소인 오류성에 대한 품질을 객관적으로 평가함으로써 3D 입체영상의 퀄리티(Quality)를 확인할 수 있다.

본 발명의 실시예에 의하면, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 3차원 영상이 얼마나 좋은 입체감을 가지고 있는지에 관한 입체감의 정도를 수치로 표시하도록 하고, 3차원 입체영상의 안정성에 영향을 미치는 7가지 계수(Factor) 값을 구하여 시각적 피로도는 얼마나 심한지를 표시하며, 깊이 정보에 객체를 배경으로 처리하거나 배경을 객체로 처리하는 오류는 없는지에 대한 객관적인 품질 평가를 수행할 수 있도록 하는, 3차원 입체영상의 품질 분석 장치 및 방법을 실현할 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 3차원 영상이 얼마나 좋은 입체감을 가지고 있는지에 관한 입체감의 정도를 수치로 표시하거나, 3차원 입체영상의 안정성에 영향을 미치는 7가지 계수(Factor) 값을 구하여 시각적 피로도는 얼마나 심한지를 표시하거나, 깊이 정보에 객체를 배경으로 처리하거나 배경을 객체로 처리하는 오류는 없는지에 대한 객관적인 품질 평가를 수행할 수 있도록 하는, 3차원 입체영상의 품질 분석 장치 및 방법에 이용할 수 있다.

100 : 3차원 입체영상의 품질분석장치 110 : 입력부
120 : 입체감 분석부 130 : 안정성 분석부
140 : 오류성 분석부 150 : 분석 결과부
160 : 출력부

Claims

2차원 영상에 대한 원본 시퀀스 이미지와 깊이정보(depth map) 시퀀스 이미지를 입력하는 입력부;
상기 2차원 영상에 대한 깊이 정보로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 값들에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도 분포도를 나타내는 깊이 정보 히스토그램을 생성하며, 깊이 정보 히스토그램과 균등 분포 히스토그램의 유사도를 바타차리야 계수를 이용해 분석하여 입체(DF) 값을 생성하는 입체감 분석부;
상기 2차원 영상에 대한 깊이 정보를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수 값을 구하여 선형 조합으로 최종적인 안정성 계수(CF) 값을 생성하는 안정성 분석부;
상기 2차원 영상에 대한 깊이 정보를 이용하거나, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하여 오류 계수 값을 생성하는 오류성 분석부;
상기 2차원 영상을 3차원 입체영상으로 변환할 때 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 대해 각각의 가중치와 상수(Constant)를 주어 총 평가 점수를 산출하며, 각 시퀀스 이미지에 대한 총 평가 점수를 가지고 순위(Ranking)에 따라 리스트로 제공하는 분석 결과부; 및
상기 각 시퀀스 이미지에 대해 입체값, 안정성 계수 값 및 오류 계수 값을 화면 상에 수치와 그래프로 출력하며, 각 시퀀스 이미지에 대한 총 평가 점수 및 각 총 평가 점수의 순위에 따른 리스트를 화면 상에 출력하는 출력부;
를 포함하는 3차원 입체영상의 품질 분석 장치.
제 1 항에 있어서,
상기 분석 결과부는, 상기 총 평가 점수에 대해, 다음 수학식1에 따라 입체감과 안정성의 선형 조합(linear combination)으로 산출하여 총 평가 점수(QM)를 출력하는 것을 특징으로 하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
[수학식 1]

여기서, QM은 3D 영상의 종합적인 총 평가 점수를 나타내고, DF는 3D 영상의 입체값을 나타내며, CF는 3D 영상의 안정성 계수값을 나타내며,
는 가중치(coefficient)를 나타내며,
는 상수(constant)를 나타낸다.
제 2 항에 있어서,
상기 분석 결과부는, 상기 입체값 DF에 대해 다음 수학식2에 따라 히스토그램 입체값과 시차(parallax) 곱의 로그함수로 결정하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
[수학식 2]
제 1 항에 있어서,
상기 입체감 분석부는, 상기 각 프레임당 깊이 정보에 대해, 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성하는 히스토그램 생성부; 및 상기 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용하여 입체값(DF)을 산출하는 입체값 산출부를 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 4 항에 있어서,
상기 히스토그램 생성부는, 프레임당 각 픽셀의 깊이값들을 0 내지 255 값들의 깊이 그레이(depth gray) 값으로 전환하고, 하나의 프레임에서 각 픽셀에 대한 깊이 그레이 값의 분포도를 나타내는 깊이 정보 히스토그램을 생성하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 4 항에 있어서,
상기 입체값 산출부는, 상기 깊이 정보 히스토그램(depth map histogram)의 빈도수를 전체 픽셀(pixel)의 개수로 나누어 정규화하며, 상기 깊이 정보 히스토그램의 i번째 값의 정규화(x[i])에 대해 다음 수학식4에 따라 깊이정보 히스토그램의 i번째 값을 전체 픽셀 값으로 나누어 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
[수학식 4]
제 1 항에 있어서,
상기 안정성 분석부는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 깊이정보 저장부; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 및 상기 깊이 정보와 시차 정보를 이용해 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성하는 안정성 산출부;
를 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 7 항에 있어서,
상기 안정성 산출부는 상기 7가지 계수 값들을 다음 수학식12에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF)을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
[수학식 12]

여기서, ω1~ω7은 7가지 각 계수 값들에 대한 가중치 값을 나타낸다.
삭제
제 1 항에 있어서,
상기 오류성 분석부는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 깊이정보 저장부; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 및 상기 2차원 영상에 대한 각 프레임당 깊이(depth) 값을 이용하거나, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여, 객체를 배경으로 처리하거나 배경을 객체로 처리하는 깊이 역전에 대한 오류 계수값을 생성하는 오류성 산출부;
를 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 10 항에 있어서,
상기 오류성 산출부는, 상기 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경 부분과 객체 부분으로 분리하고, 분리된 배경 부분에서 배경을 객체로 처리하는 깊이 역전을 검지해 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 10 항에 있어서,
상기 오류성 산출부는, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
제 10 항에 있어서,
상기 오류성 산출부는, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 장치.
(a) 2차원 영상에 대한 원본 시퀀스 이미지와 깊이정보(depth map) 시퀀스 이미지를 입력하는 단계;
(b) 상기 2차원 영상에 대한 깊이 정보로부터 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출된 각 프레임당 깊이 값들에 대해 깊이 그레이(depth gray) 값에 따른 깊이지도 분포도를 나타내는 깊이 정보 히스토그램을 생성하여, 깊이 정보 히스토그램과 균등 분포 히스토그램의 유사도를 바타차리야 계수를 이용해 분석하여 입체(DF) 값을 생성하는 단계;
(c) 상기 2차원 영상에 대한 깊이 정보를 이용하여 시차(parallax) 정보를 생성하고, 깊이 정보와 시차 정보를 이용해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수 값을 구하여 선형 조합으로 최종적인 안정성 계수(CF) 값을 생성하는 단계;
(d) 상기 2차원 영상에 대한 깊이 정보 또는 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하여 오류 계수 값을 생성하는 단계; 및
(e) 상기 2차원 영상의 각 시퀀스 이미지에 대한 입체값, 안정성 계수 값 및 오류 계수 값에 대해 각각의 가중치와 상수(Constant)를 주어 총 평가 점수를 산출하거나, 각 시퀀스 이미지에 대한 총 평가 점수를 순위(Ranking)에 따라 리스트로 제공하는 단계;
를 포함하는 3차원 입체영상의 품질 분석 방법.
제 14 항에 있어서,
상기 (e) 단계는, 상기 총 평가 점수에 대해, 다음 수학식1에 따라 입체감과 안정성의 선형 조합(linear combination)으로 산출하여 총 평가 점수(QM)를 출력하는 것을 특징으로 하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
[수학식 1]

여기서, QM은 3D 영상의 종합적인 총 평가 점수를 나타내고, DF는 3D 영상의 입체값을 나타내며, CF는 3D 영상의 안정성 계수값을 나타내며,
는 가중치(coefficient)를 나타내며,
는 상수(constant)를 나타낸다.
제 15 항에 있어서,
상기 (e) 단계는, 상기 입체값 DF에 대해 다음 수학식2에 따라 히스토그램 입체값과 시차(parallax) 곱의 로그함수로 결정하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
[수학식 2]
제 14 항에 있어서,
상기 (b) 단계는, 상기 각 프레임당 깊이 정보에 대해, 깊이 그레이(depth gray) 값에 따른 깊이지도(depth map) 분포도를 나타내는 깊이 정보 히스토그램을 생성하는 (가) 과정; 및 상기 깊이 정보 히스토그램(depth map histogram)과 균등 분포 히스토그램(uniform distribution histogram)의 유사도를 바타차리야 계수(Bhattacharyya Coefficient)를 이용하여 입체값(DF)을 산출하는 (나) 과정을 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 17 항에 있어서,
상기 (가) 과정은, 프레임당 각 픽셀의 깊이값들을 0 내지 255 값들의 깊이 그레이(depth gray) 값으로 전환하고, 하나의 프레임에서 각 픽셀에 대한 깊이 그레이 값의 분포도를 나타내는 깊이 정보 히스토그램을 생성하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 17 항에 있어서,
상기 (나) 과정은, 상기 깊이 정보 히스토그램(depth map histogram)의 빈도수를 전체 픽셀(pixel)의 개수로 나누어 정규화하며, 상기 깊이 정보 히스토그램의 i번째 값의 정규화(x[i])에 대해 다음 수학식4에 따라 깊이정보 히스토그램의 i번째 값을 전체 픽셀 값으로 나누어 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
[수학식 4]
제 14 항에 있어서,
상기 (c) 단계는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 (가) 과정; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 (나) 과정; 및 상기 깊이 정보와 시차 정보를 이용해 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 생성하는 (다) 과정;
을 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 20 항에 있어서,
상기 (다) 과정은, 상기 7가지 계수 값들을 다음 수학식12에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF)을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
[수학식 12]

여기서, ω1~ω7은 7가지 각 계수 값들에 대한 가중치 값을 나타낸다.
삭제
제 14 항에 있어서,
상기 (d) 단계는, 상기 2차원 영상에 대한 깊이 지도(depth map)로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 깊이 정보로 저장하는 (가) 과정; 상기 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 (나) 과정; 및 상기 2차원 영상에 대한 각 프레임당 깊이(depth) 값을 이용하거나, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여, 객체를 배경으로 처리하거나 배경을 객체로 처리하는 깊이 역전에 대한 오류 계수값을 생성하는 (다) 과정;
을 포함하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 23 항에 있어서,
상기 (다) 과정은, 상기 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경 부분과 객체 부분으로 분리하고, 분리된 배경 부분에서 배경을 객체로 처리하는 깊이 역전을 검지해 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 23 항에 있어서,
상기 (다) 과정은, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 23 항에 있어서,
상기 (다) 과정은, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류 계수값을 산출하는 것을 특징으로 하는 3차원 입체영상의 품질 분석 방법.
제 14 항 내지 제 23 항 중 제 22 항을 제외한 어느 한 항의 3차원 입체영상의 품질 분석 방법을 실행하기 위한 프로그램을 기록한, 컴퓨터로 읽을 수 있는 매체.