KR20130057147A - 3차원 입체영상의 안정성 측정 장치 및 방법 - Google Patents

3차원 입체영상의 안정성 측정 장치 및 방법 Download PDF

Info

Publication number
KR20130057147A
KR20130057147A KR1020110122920A KR20110122920A KR20130057147A KR 20130057147 A KR20130057147 A KR 20130057147A KR 1020110122920 A KR1020110122920 A KR 1020110122920A KR 20110122920 A KR20110122920 A KR 20110122920A KR 20130057147 A KR20130057147 A KR 20130057147A
Authority
KR
South Korea
Prior art keywords
value
frame
stability
parallax
quot
Prior art date
Application number
KR1020110122920A
Other languages
English (en)
Inventor
김아란
김하윤
전병기
정원석
박영환
윤민주
김종옥
최지훈
Original Assignee
에스케이플래닛 주식회사
(주)리얼디스퀘어
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사, (주)리얼디스퀘어, 고려대학교 산학협력단 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110122920A priority Critical patent/KR20130057147A/ko
Priority to PCT/KR2012/003409 priority patent/WO2013077510A1/ko
Publication of KR20130057147A publication Critical patent/KR20130057147A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 입체영상의 안정성 측정 장치 및 방법에 관한 것으로서, 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부; 상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 영상 생성부; 및 상기 깊이 정보와 상기 시차 정보를 이용해 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement) 등에 관한 7가지 계수(Factor)값을 산출하고, 상기 7가지 계수 값들을 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 안정성 측정부를 포함한다.

Description

3차원 입체영상의 안정성 측정 장치 및 방법{Method and system for measuring a stability of three-dimensional image}
본 발명은 3차원 입체영상의 안정성 측정 장치 및 방법에 관한 것으로서, 보다 상세하게는, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement) 등 7가지 계수(Factor) 값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수 값을 산출할 수 있도록 하는 3차원 입체영상의 안정성 측정 장치 및 방법에 관한 것이다.
최근에 3차원 입체 영상(stereoscopic image)에 대한 관심이 높아지면서 다양한 방식의 입체 영상 획득 장치와 디스플레이 장치들이 개발되고 있다. 입체 영상을 디스플레이하기 위해 입체 영상 신호를 획득하기 위한 한 가지 방법으로 영상의 획득 시에 1쌍의 좌우 카메라를 이용하는 방법이 있다. 이 방법은 자연스러운 입체 영상을 디스플레이할 수 있는 장점은 있지만 영상 획득을 위하여 2대의 카메라가 필요할 뿐만 아니라 획득한 좌영상과 우영상의 필름화 또는 부호화에 따른 문제, 그리고 좌영상과 우영상의 프레임율의 차이 등과 같은 문제들을 해결해야 하는 단점이 있다.
입체 영상 신호를 획득하기 위한 다른 한 가지 방법은 하나의 카메라로 획득한 2차원 영상신호를 3차원 영상, 즉 좌영상과 우영상을 생성하기 때문에, 좌우 카메라를 이용하여 입체 영상신호를 획득할 때 초래되는 전술한 문제점이 발생하지 않는다. 다만, 이 방법은 하나의 영상을 이용하여 두 개의 영상을 생성하는 것이기 때문에, 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하기가 어려운 단점이 있다. 따라서 2차원 영상신호를 3차원 영상신호로 변환하는데 있어서는 변환된 3차원 영상신호를 이용하여 더욱 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하는 것이 상당히 중요하다.
그런데, 시청자가 3차원 입체 영상을 접했을 때 느끼는 어지러움, 시각적 피로도 등을 연구하여 인간에게 가장 알맞은 시야각과 입체영상 시청거리 등에 관해서 어느 정도 객관성이 있고 타당한 연구 결과가 나와 있지만 2차원 영상에서 변환된 3차원 입체영상에 대한 자체의 품질을 측정하는 도구 및 장치는 아직까지 개발되지 않고 있다.
대한민국 공개특허공보 제10-2008-0047673호(공개일:2008.05.30)
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement) 등 7가지 계수(Factor) 값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수 값을 산출할 수 있도록 하는 3차원 입체영상의 안정성 측정 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 안정성 측정 장치는, 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부; 상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 영상 생성부; 및 상기 깊이 정보와 상기 시차 정보를 이용해 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement)에 관한 7가지 계수(Factor)값을 산출하고, 상기 7가지 계수 값들을 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 안정성 측정부를 포함한다.
또한, 상기 깊이정보 생성부는, 상기 2차원 영상의 깊이 지도로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장할 수 있다.
또한, 상기 안정성 측정부는, 다음 수학식1에 따라 상기 시차의 범위(Range)에 관한 계수 값(CFRange)을 산출한다.
[수학식 1]
Figure pat00001
여기서, 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max, 뒤쪽으로 가장 많이 들어간 값을 min으로 하고, disp(x,y)는 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보로써, 256에서 깊이정보(depthmap)의 x,y 좌표 그레이 값을 뺀 값(256-depthmap(x,y좌표 gray값))에서 스크린 면의 그레이 값을 뺀 값이다.
또한, 상기 안정성 측정부는, 다음 수학식2에 따라 시차 절대값의 최대값(Max)에 관한 계수 값(CFMax)을 산출한다.
[수학식 2]
Figure pat00002
여기서, 최대값(MAX)은 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값 중 가장 큰 값을 나타낸다
또한, 상기 안정성 측정부는, 다음 수학식3에 따라 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CFaverage)을 산출한다.
[수학식 3]
Figure pat00003
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
또한, 상기 안정성 측정부는 다음 수학식4에 따라 시차의 분산(Spatial Complexity)에 관한 계수 값(CFSpatialComplexity)을 산출한다.
[수학식 4]
Figure pat00004
여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타
또한, 상기 안정성 측정부는, 다음 수학식5에 따라 스크린으로부터 오브젝트 거리 제곱의 분산값을 나타내는 깊이 위치(Depth Point)에 관한 계수 값(CFDepthPosition)을 산출한다.
[수학식 5]
Figure pat00005
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
또한, 상기 안정성 측정부는, 다음 수학식6에 따라 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CFTemporalComplexity)을 산출한다.
[수학식 6]
Figure pat00006
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.
또한, 상기 안정성 측정부는, 다음 수학식7에 따라 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CFSceneMovement)을 산출한다.
[수학식 7]
Figure pat00007
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.
또한, 상기 안정성 측정부는, 상기 7가지 계수 값들을 다음 수학식8에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF)을 산출한다.
[수학식 8]
Figure pat00008
여기서, ω1~ω7은 7가지 각 계수 값들에 대한 각각의 가중치 값을 나타낸다.
그리고, 상기 안정성 측정부는, 상기 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 수학식8에 따라 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식9에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(TCF), 이를 다음 수학식10에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출한다.
[수학식 9]
Figure pat00009
[수학식 10]
Figure pat00010
여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.
한편, 상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 안정성 측정 방법은, (a) 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 단계; (b) 상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 단계; (c) 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 단계; (d) 상기 깊이 정보와 상기 시차 정보를 이용해 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement)에 관한 7가지 계수(Factor)값을 산출하는 단계; 및 (e) 상기 7가지 계수 값들을 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 단계를 포함한다.
또한, 상기 (a) 단계는, 상기 2차원 영상의 깊이 지도로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장할 수 있다.
또한, 상기 (d) 단계는, 다음 수학식1에 따라 상기 시차의 범위(Range)에 관한 계수 값(CFRange)을 산출한다.
[수학식 1]
Figure pat00011
여기서, 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max, 뒤쪽으로 가장 많이 들어간 값을 min으로 하고, disp(x,y)는 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보로써, 256에서 깊이정보(depthmap)의 x,y 좌표 그레이 값을 뺀 값(256-depthmap(x,y좌표 gray값))에서 스크린 면의 그레이 값을 뺀 값이다.
또한, 상기 (d) 단계는, 다음 수학식2에 따라 상기 시차 절대값의 최대값(Max)에 관한 계수 값(CFMax)을 산출한다.
[수학식 2]
Figure pat00012
여기서, 최대값(MAX)은 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값 중 가장 큰 값을 나타낸다
또한, 상기 (d) 단계는, 다음 수학식3에 따라 상기 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CFaverage)을 산출한다.
[수학식 3]
Figure pat00013
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
또한, 상기 (d) 단계는, 다음 수학식4에 따라 상기 시차의 분산(Spatial Complexity)에 관한 계수 값(CFSpatialComplexity)을 산출한다.
[수학식 4]
Figure pat00014
여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타낸다.
또한, 상기 (d) 단계는, 다음 수학식5에 따라 스크린으로부터 오브젝트 거리 제곱의 분산값을 나타내는 상기 깊이 위치(Depth Point)에 관한 계수 값(CFDepthPosition)을 산출한다.
[수학식 5]
Figure pat00015
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
또한, 상기 (d) 단계는, 다음 수학식6에 따라 상기 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CFTemporalComplexity)을 산출한다.
[수학식 6]
Figure pat00016
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.
또한, 상기 (d) 단계는, 다음 수학식7에 따라 상기 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CFSceneMovement)을 산출한다.
[수학식 7]
Figure pat00017
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.
또한, 상기 (e) 단계는, 상기 7가지 계수 값들을 다음 수학식8에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF)을 산출한다.
[수학식 8]
Figure pat00018
여기서, ω1~ω7은 7가지 각 계수 값들에 대한 각각의 가중치 값을 나타낸다.
그리고, 상기 (e) 단계는, 상기 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 수학식8에 따라 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식9에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(TCF), 이를 다음 수학식10에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출한다.
[수학식 9]
Figure pat00019
[수학식 10]
Figure pat00020
여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.
상술한 바와 같이 본 발명의 3차원 입체영상의 안정성 측정 장치 및 방법은, 3D 입체영상의 품질을 가늠하는 한가지 요소인 안정성(편안감)에 대해 7 가지 계수 값을 산출해 객관적으로 평가함으로써 3D 입체영상의 품질(Quality)을 측정할 수 있다. 따라서, 3D 입체영상이 얼마나 좋은 안정성을 가지고 있는지를 수치로써 확인할 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 입체영상의 안정성 측정 장치의 기능 블록을 개략적으로 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 3차원 입체영상의 안정성 측정 방법을 설명하기 위한 동작 흐름도이며,
도 3은 깊이지도에서 깊이값이 다양할수록 영상이 더욱 입체감 있게 보이는 예를 나타낸 도면이며,
도 4는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이며,
도 5는 본 발명의 실시예에 따른 시차의 범위(Range)와 시차 절대값의 최대값(Max)을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 시차의 평균값과 스크린 사이의 거리를 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 시차의 분산(Spatial Complexity)을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 깊이 위치에 관한 계수 값을 산출하는 예를 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 3차원 입체영상 안정성 측정 장치의 기능 블록을 개략적으로 나타낸 것이다.
도 1에 도시된 바와 같이, 2차원 영상을 입력받으면 영상 분석부(110)는 2차원 영상을 분석한다. 영상 분석 과정은 깊이 지도 생성을 위해 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특징을 추출한다.
이어, 깊이정보 생성부(120)는 분석한 영상 정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 지도(depth map)를 생성한다. 즉, 깊이정보 생성부(110)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 4에 도시된 바와 같이 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 지도는 2차원 영상에 대한 프레임당 각 픽셀의 깊이값(depth value)들을 저장한 데이터 구조이다. 도 4는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이다. 도 4에 도시된 바와 같이, 깊이정보 생성부(110)는 깊이 지도로부터 (가)와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 (나)와 같이 각 프레임별로 구분하여 임시로 저장한다. 이때, 깊이정보 생성부(120)는 생성한 깊이 정보를 임시로 저장하기 위한 저장 기능을 갖는다.
이어, 시차정보 생성부(130)는 이렇게 생성된 깊이 지도를 이용하여 시차(parallax) 정보를 생성한다. 사람은 2 개의 눈을 통해 사물의 입체감이나 거리감을 인지한다. 하나의 사물을 볼 때, 2 개의 눈을 통해 각각 다른 영상이 생성되고 이러한 영상을 적절히 합성함으로써 사람은 사물의 입체감이나 거리감을 인지하게 된다. 따라서, 3차원 입체영상은 이러한 사람의 인지 특성을 고려하여 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성하게 된다. 이러한 눈의 시각적 차이가 바로 시차이며, 깊이 지도를 이용하여 시차를 생성한다.
이어, 3D 영상 생성부(140)는 생성된 시차 정보를 이용하여 3차원 입체영상을 생성한다. 이렇게 생성된 3차원 입체영상은 도 3에 도시된 바와 같이 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다. 도 3은 깊이지도에서 깊이값이 다양할수록 영상이 더욱 입체감 있게 보이는 예를 나타낸 도면이다. 따라서, 2차원 영상에서 3차원 입체영상으로 변환할 때 깊이 정보를 이용해 입체감을 측정할 수 있고, 깊이 정보와 시차 정보를 이용해 안정성(감)을 측정할 수 있다.
여기서, 안정성 측정부(150)는 생성된 깊이 정보와 시차 정보를 이용해 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement) 등 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수(CF) 값을 산출한다.
도 2는 본 발명의 실시예에 따른 3차원 입체영상의 안정성 측정 방법을 설명하기 위한 동작 흐름도이다.
먼저, 본 발명의 실시예에 따른 3차원 입체영상의 안정성 측정 장치(100)는 깊이정보 생성부(110)를 통해 2차원 영상에 대한 각 프레임당 깊이 정보를 생성한다(S210).
즉, 깊이정보 생성부(110)는 2차원 영상의 깊이 지도(depth map)로부터 도 4에 도시된 바와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장한다.
이어, 3차원 입체영상의 안정성 측정 장치(100)는 깊이정보 생성부(110)에 의해 생성된 각 프레임당 깊이 지도를 이용하여 시차정보 생성부(120)를 통해 시차(parallax) 정보를 생성한다(S220).
즉, 시차정보 생성부(120)는 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성할 때 이용하는 눈의 시각적 차이에 관한 시차 정보를 생성하는 것이다.
이어, 3차원 입체영상의 안정성 측정 장치(100)는 생성된 깊이 정보와 시차 정보를 이용해 안정성 측정부(150)를 통해 시차의 범위(Range), 시차 절대값의 최대값(Max), 시차의 평균값과 스크린 사이의 거리(Average), 시차의 분산(Spatial Complexity), 스크린과 거리 제곱의 분산값(Depth Position), 시차 차이의 분산(Temporal Complexity), 시차 차이의 제곱의 평균(Scene Movement)에 관한 7가지 계수(Factor)값을 산출한다(S230).
즉, 안정성 측정부(150)는 첫번째 계수 값으로 다음 수학식1에 따라 시차의 범위(Range)에 관한 계수 값(CFRange)을 산출한다.
Figure pat00021
여기서, 시차의 범위(Range)는 도 5에 도시된 바와 같이 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max(스크린 값을 0이라 할 때 disparity 값이 마이너스(-) 값 중 가장 큰 값), 뒤쪽으로 가장 많이 들어간 값을 min(disparity값이 플러스(+) 값으로 가장 큰 값)으로 한다. Range 값이 클수록 시차 폭이 크므로 안정성에 영향을 미칠 수 있다.
또한, disp(x,y)는 원 영상의 x,y 좌표값이 좌영상에서 얼마만큼 이동했는가에 대한 값으로, 깊이정보(depth map)의 x,y 좌표의 gray 값을 256(총 depth의 gray level 값)에서 뺀 값(256-depthmap(x,y좌표 gray값)에 스크린 면의 gray 값을 뺀 값[(256-depthmap(x,y좌표 gray값))-Screen면의 gray 값]이 그 정보가 된다. 즉 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보이다. 도 5는 본 발명의 실시예에 따른 시차의 범위(Range)와 시차의 최대값(Max)을 설명하기 위한 도면이다.
또한, 안정성 측정부(150)는 두번째 계수 값으로 다음 수학식2에 따라 시차 절대값의 최대값(Max)에 관한 계수 값(CFMax)을 산출한다.
Figure pat00022
여기서, 최대값(MAX)은 도 5에 도시된 바와 같이 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값(disp(x,y)값 즉 마이너스(-) 값을 가지므로 절대값을 적용함) 중 가장 큰 값을 나타낸다. MAX 값이 클수록 스크린보다 앞으로 많이 영상이 나와 보이므로 안정성에 영향을 줄 수 있다.
또한, 안정성 측정부(150)는 세번째 계수 값으로 다음 수학식3에 따라 도 6에 도시된 바와 같이 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CFaverage)을 산출한다.
Figure pat00023
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서의 차가 없기 때문에 제로(0)이다.
이때, 도 6은 본 발명의 실시예에 따른 시차의 평균값과 스크린 사이의 거리를 설명하기 위한 도면이다. 도 6에 도시된 바와 같이 Average 값이 클수록 스크린 면에서 멀어지므로 안정성에 영향을 줄 수 있다. 또한, 절대값을 뺄 경우 Average 값이 마이너스(-) 값이 될 경우 스크린 면보다 앞으로 튀어나오는 영역이 많다는 것으로 안정성에 좋지 않은 영향을 미친다. 여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서 차가 없기 때문에 제로(0)이다.
또한, 안정성 측정부(150)는 네번째 계수 값으로 다음 수학식4에 따라 도 7에 도시된 바와 같이 시차의 분산(Spatial Complexity)에 관한 계수 값(CFSpatialComplexity)을 산출한다.
Figure pat00024
여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타내며, 시차의 분산은 도 7에 도시된 바와 같이 Average 면에서의 분산값으로, 평균값 면(Average point)에서 조밀하게 분산되어 있을수록 같은 영상(Average 면에서 분산값이 큰 영상)보다 어지러움이 감소될 수 있다. 도 7은 본 발명의 실시예에 따른 시차의 분산(Spatial Complexity)을 설명하기 위한 도면이다.
또한, 안정성 측정부(150)는 다섯번째 계수 값으로 다음 수학식5에 따라 도 8에 도시된 바와 같이 깊이 위치(Depth Point)에 관한 계수 값(CFDepthPosition)을 산출한다.
Figure pat00025
여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타내는 것으로, 스크린에서 차가 없기 때문에 제로(0)이다.
즉, 깊이 위치(Depth Position)에 관한 계수 값(CFDepthPosition)은 도 8에 도시된 바와 같이 스크린으로부터 오브젝트 거리 제곱의 분산값이다. 도 8은 본 발명의 실시예에 따른 깊이 위치에 관한 계수 값을 산출하는 예를 설명하기 위한 도면이다.
또한, 안정성 측정부(150)는 여섯번째 계수 값으로 다음 수학식6에 따라 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CFTemporalComplexity)을 산출한다.
Figure pat00026
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.
또한, 안정성 측정부(150)는 일곱번째 계수 값으로 다음 수학식7에 따라 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CFSceneMovement)을 산출한다.
Figure pat00027
여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.
이어, 3차원 입체영상의 안정성 측정 장치(100)는 7가지 계수 값들을 다음 수학식8에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 최종적인 안정성 계수 값(CF:Compatibility Factor)을 산출한다(S240).
Figure pat00028
여기서, ω1~ω7은 7가지 각 계수 값들에 대한 가중치 값을 나타낸다.
이때, 3차원 입체영상의 안정성 측정 장치(100)는 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 수학식8에 따라 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식9에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(Total Compatibility Factor; TCF), 이를 다음 수학식10에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출한다. 즉, 안정성 측정부(150)는 Least Mean Square 방법을 통해 주관적인 평가와 상관도가 높도록 선형조합의 가중치 계수(coefficient)를 결정한다.
Figure pat00029
Figure pat00030
여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.
따라서, 본 발명의 실시예에 따른 3차원 입체영상의 안정성 측정 장치(100)에 의하면, 3D 입체영상이 얼마나 좋은 안정성(편안감)을 가지고 있는지를 수치로써 확인할 수 있다.
본 발명의 실시예에 의하면, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)와 시차 정보(parallax)를 이용하여, 3차원 입체영상의 안정성에 영향을 미치는 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement) 등 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수 값(CF)을 산출할 수 있도록 하는 3차원 입체영상의 안정성 측정 장치 및 방법을 실현할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 2차원 영상의 깊이 정보와 시차 정보를 이용하여 3차원 입체영상의 안정성에 영향을 미치는 7가지 계수(Factor)값을 구하여 선형 조합(Linear Combination)으로 최종적인 안정성 계수 값(CF)을 산출할 수 있도록 하는 3차원 입체영상의 안정성 측정 장치 및 방법에 적용할 수 있다.
100 : 3차원 입체영상의 안정성 측정장치
110 : 영상 분석부 120 : 깊이정보 생성부
130 : 시차정보 생성부 140 : 3D영상 생성부
150 : 안정성 측정부

Claims (22)

  1. 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부;
    상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부;
    상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 영상 생성부; 및
    상기 깊이 정보와 상기 시차 정보를 이용해 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement)에 관한 7가지 계수(Factor)값을 산출하고, 상기 7가지 계수 값들을 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 안정성 측정부;
    를 포함하는 3차원 입체영상의 안정성 측정 장치.
  2. 제 1 항에 있어서,
    상기 깊이정보 생성부는, 상기 2차원 영상의 깊이 지도로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
  3. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식1에 따라 상기 시차의 범위(Range)에 관한 계수 값(CFRange)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 1]
    Figure pat00031

    여기서, 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max, 뒤쪽으로 가장 많이 들어간 값을 min으로 하고, disp(x,y)는 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보로써, 256에서 깊이정보(depthmap)의 x,y 좌표 그레이 값을 뺀 값(256-depthmap(x,y좌표 gray값))에서 스크린 면의 그레이 값을 뺀 값이다.
  4. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식2에 따라 시차 절대값의 최대값(Max)에 관한 계수 값(CFMax)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 2]
    Figure pat00032

    여기서, 최대값(MAX)은 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값 중 가장 큰 값을 나타낸다.
  5. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식3에 따라 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CFaverage)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 3]
    Figure pat00033

    여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
  6. 제 1 항에 있어서,
    상기 안정성 측정부는 다음 수학식4에 따라 시차의 분산(Spatial Complexity)에 관한 계수 값(CFSpatialComplexity)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 4]
    Figure pat00034

    여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타낸다.
  7. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식5에 따라 스크린으로부터 오브젝트 거리 제곱의 분산값을 나타내는 깊이 위치(Depth Point)에 관한 계수 값(CFDepthPosition)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 5]
    Figure pat00035

    여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
  8. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식6에 따라 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CFTemporalComplexity)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 6]
    Figure pat00036

    여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.
  9. 제 1 항에 있어서,
    상기 안정성 측정부는, 다음 수학식7에 따라 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CFSceneMovement)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 7]
    Figure pat00037

    여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.
  10. 제 1 항에 있어서,
    상기 안정성 측정부는, 상기 7가지 계수 값들을 다음 수학식8에 따라 선형 조합(Linear Combination)하여 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 8]
    Figure pat00038

    여기서, ω1~ω7은 7가지 각 계수 값들에 대한 각각의 가중치 값을 나타낸다.
  11. 제 10 항에 있어서,
    상기 안정성 측정부는, 상기 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 수학식8에 따라 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식9에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(TCF), 이를 다음 수학식10에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 장치.
    [수학식 9]
    Figure pat00039

    [수학식 10]
    Figure pat00040

    여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.
  12. (a) 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 단계;
    (b) 상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 단계;
    (c) 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 단계;
    (d) 상기 깊이 정보와 상기 시차 정보를 이용해 시차의 범위(Range), 스크린 면보다 앞쪽에 위치한 시차의 최대값(Max), 시차의 평균값, 시차의 분산(Spatial Complexity), 스크린 면에서의 분산값(Depth Position), 앞 프레임과의 시차 차이의 분산(Temporal Complexity), 앞 프레임과의 시차 차이의 평균값(Scene Movement)에 관한 7가지 계수(Factor)값을 산출하는 단계; 및
    (e) 상기 7가지 계수 값들을 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 단계;
    를 포함하는 3차원 입체영상의 안정성 측정 방법.
  13. 제 12 항에 있어서,
    상기 (a) 단계는, 상기 2차원 영상의 깊이 지도로부터 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
  14. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식1에 따라 상기 시차의 범위(Range)에 관한 계수 값(CFRange)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 1]
    Figure pat00041

    여기서, 각 프레임(frame) 별 깊이 지도(depth map)의 스크린(Screen)을 기준으로 디스패러티(disparity)의 값이 앞쪽으로 가장 많이 나온 값을 max, 뒤쪽으로 가장 많이 들어간 값을 min으로 하고, disp(x,y)는 스크린 면을 기준으로 얼마만큼 좌, 우 영상의 차가 존재하는가에 대한 정보로써, 256에서 깊이정보(depthmap)의 x,y 좌표 그레이 값을 뺀 값(256-depthmap(x,y좌표 gray값))에서 스크린 면의 그레이 값을 뺀 값이다.
  15. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식2에 따라 상기 시차 절대값의 최대값(Max)에 관한 계수 값(CFMax)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 2]
    Figure pat00042

    여기서, 최대값(MAX)은 각 frame 별 depth map에서 스크린(Screen)을 기준으로 disparity의 값이 앞쪽으로 가장 많이 나온 값 중 가장 큰 값을 나타낸다
  16. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식3에 따라 상기 시차의 평균값과 스크린 사이의 거리(Average)에 관한 계수 값(CFaverage)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 3]
    Figure pat00043

    여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
  17. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식4에 따라 상기 시차의 분산(Spatial Complexity)에 관한 계수 값(CFSpatialComplexity)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 4]
    Figure pat00044

    여기서, E(disp(x,y))는 (x,y) 좌표의 Average 면에서의 디스패러티(disp.) 값을 나타낸다.
  18. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식5에 따라 스크린으로부터 오브젝트 거리 제곱의 분산값을 나타내는 상기 깊이 위치(Depth Point)에 관한 계수 값(CFDepthPosition)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 5]
    Figure pat00045

    여기서, dispdisplay는 스크린(display)에서의 디스패러티(disp.) 값을 나타낸다.
  19. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식6에 따라 상기 시차 차이의 분산(Temporal Complexity)에 관한 계수 값(CFTemporalComplexity)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 6]
    Figure pat00046

    여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타내며, E(diff(x,y))는 스크린 면에서의 시차들의 차이(diff.) 값을 나타낸다.
  20. 제 12 항에 있어서,
    상기 (d) 단계는, 다음 수학식7에 따라 상기 시차 차이의 제곱의 평균(Scene Movement)에 관한 계수 값(CFSceneMovement)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 7]
    Figure pat00047

    여기서, dispi(x,y)는 현재 i 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내고, dispi - 1(x,y)는 이전 i-1 프레임에서의 (x,y) 좌표의 시차(disp.) 값을 나타내며, diff(x,y)는 현재 i 프레임의 시차 값과 이전 i-1 프레임의 시차 값과의 차이(diff.) 값을 나타낸다.
  21. 제 12 항에 있어서,
    상기 (e) 단계는, 상기 7가지 계수 값들을 다음 수학식8에 따라 선형 조합(Linear Combination)하여 최종적인 안정성 계수 값(CF)을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 8]
    Figure pat00048

    여기서, ω1~ω7은 7가지 각 계수 값들에 대한 각각의 가중치 값을 나타낸다.
  22. 제 21 항에 있어서,
    상기 (e) 단계는, 상기 하나의 프레임에 대한 안정성 계수 값(CF)을 산출하는 동일한 과정으로 모든 프레임에 대해 각 프레임마다 수학식8에 따라 7가지 계수 값들을 산출하여, 모든 프레임에 대한 각 프레임의 7가지 계수 값들을 다음 수학식9에 따라 프레임의 갯수대로 배열한 총 안정성 계수를 생성하고(TCF), 이를 다음 수학식10에 따라 각 프레임 별 7가지 계수 값들에 대한 가중치(ω) 값들로 배열된(ω1~ω7) 가중치 계수(X) 값을 산출하는 것을 특징으로 하는 3차원 입체영상의 안정성 측정 방법.
    [수학식 9]
    Figure pat00049

    [수학식 10]
    Figure pat00050

    여기서, X는 7x1 행렬로 이루어진 가중치 계수 값을 나타내고, S는 Nx1 주관적 평가에 관한 행렬 벡터를 나타내며, N은 프레임의 갯수를 나타낸다.
KR1020110122920A 2011-11-23 2011-11-23 3차원 입체영상의 안정성 측정 장치 및 방법 KR20130057147A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110122920A KR20130057147A (ko) 2011-11-23 2011-11-23 3차원 입체영상의 안정성 측정 장치 및 방법
PCT/KR2012/003409 WO2013077510A1 (ko) 2011-11-23 2012-05-02 3차원 입체영상의 입체감, 안정성 또는 오류성 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110122920A KR20130057147A (ko) 2011-11-23 2011-11-23 3차원 입체영상의 안정성 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130057147A true KR20130057147A (ko) 2013-05-31

Family

ID=48664954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122920A KR20130057147A (ko) 2011-11-23 2011-11-23 3차원 입체영상의 안정성 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130057147A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873855A (zh) * 2014-02-26 2014-06-18 天津大学 一种基于人类视觉基本特性的立体图像客观质量评价方法
WO2015080322A1 (ko) * 2013-11-29 2015-06-04 영산대학교 산학협력단 색상 차이에 의한 인지깊이 추정방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015080322A1 (ko) * 2013-11-29 2015-06-04 영산대학교 산학협력단 색상 차이에 의한 인지깊이 추정방법
CN103873855A (zh) * 2014-02-26 2014-06-18 天津大学 一种基于人类视觉基本特性的立体图像客观质量评价方法
CN103873855B (zh) * 2014-02-26 2016-08-17 天津大学 一种基于人类视觉基本特性的立体图像客观质量评价方法

Similar Documents

Publication Publication Date Title
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
TWI469087B (zh) 深度圖產生方法
KR101393621B1 (ko) 3차원 입체영상의 품질 분석 장치 및 방법
CN103152600B (zh) 一种立体视频质量评价方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN101247530A (zh) 增强图像的立体效果的三维图像显示设备和方法
CN107578403A (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN101729920B (zh) 一种自由视角立体视频显示方法
US8665319B2 (en) Parallax image generating apparatus and method
EP1536378A3 (en) Three-dimensional image display apparatus and method for models generated from stereo images
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
KR20110139020A (ko) 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
KR101896941B1 (ko) 스테레오 매칭 장치 및 그 방법
KR20130057147A (ko) 3차원 입체영상의 안정성 측정 장치 및 방법
KR101332628B1 (ko) 3차원 입체영상의 입체감 측정 장치 및 방법
Xing et al. Estimating quality of experience on stereoscopic images
Mahmood et al. Objective quality assessment of 3D stereoscopic video based on motion vectors and depth map features
CN102087417B (zh) 一种利用随机点立体图检测自由立体显示器立体度的方法
JP5311033B2 (ja) 対象物体の厚さの推定方法
CN110060291B (zh) 一种考虑人因的立体视在距离解算方法
CN105869172B (zh) 一种深度图可靠性评价测度方法
Zhang et al. A multiview video quality assessment method based on disparity and SSIM
Mahmoudpour et al. The effect of depth map up-sampling on the overall quality of stereopairs
Azari et al. Optimal pixel aspect ratio for enhanced 3D TV visualization
Kim et al. Simplified relative model to measure visual fatigue in a stereoscopy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right