KR20130060522A - 3차원 입체영상의 오류성 측정 장치 및 방법 - Google Patents

3차원 입체영상의 오류성 측정 장치 및 방법 Download PDF

Info

Publication number
KR20130060522A
KR20130060522A KR1020110126622A KR20110126622A KR20130060522A KR 20130060522 A KR20130060522 A KR 20130060522A KR 1020110126622 A KR1020110126622 A KR 1020110126622A KR 20110126622 A KR20110126622 A KR 20110126622A KR 20130060522 A KR20130060522 A KR 20130060522A
Authority
KR
South Korea
Prior art keywords
error
background
image
depth
value
Prior art date
Application number
KR1020110126622A
Other languages
English (en)
Inventor
김아란
김하윤
전병기
정원석
김종옥
최지훈
박영환
윤민주
Original Assignee
에스케이플래닛 주식회사
(주)리얼디스퀘어
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사, (주)리얼디스퀘어, 고려대학교 산학협력단 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110126622A priority Critical patent/KR20130060522A/ko
Priority to PCT/KR2012/003409 priority patent/WO2013077510A1/ko
Publication of KR20130060522A publication Critical patent/KR20130060522A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 입체영상의 오류성 측정 장치 및 방법에 관한 것으로서, 2차원 영상을 분석하기 위한 영상 분석부; 상기 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부; 상기 생성된 깊이 정보를 이용하여 시차 정보를 생성하는 시차정보 생성부; 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 3D 영상 생성부; 및 상기 생성된 깊이(depth) 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 오류 검출부를 포함한다.

Description

3차원 입체영상의 오류성 측정 장치 및 방법{Method and system for measuring a quality of three-dimensional image}
본 발명은 3차원 입체영상의 오류성 측정 장치 및 방법에 관한 것으로서, 보다 상세하게는, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 수평 라인(Horizontal Line)의 깊이 값이 서로 다른 배경(Background)과 객체(Object)를 분리하여 그 깊이 값이 임계(Threshold)값 보다 큰 경우에 객체로 간주하여 객체를 배경으로 처리하는 오류를 검출하고, 깊이 정보 이외에 2차원 영상의 이전 프레임과 현재 프레임의 차 영상을 이용하거나 움직임 벡터를 이용하여 객체를 배경으로 처리하는 오류를 검출할 수 있도록 하는 것이다.
최근에 3차원 입체 영상(stereoscopic image)에 대한 관심이 높아지면서 다양한 방식의 입체 영상 획득 장치와 디스플레이 장치들이 개발되고 있다. 입체 영상을 디스플레이하기 위해 입체 영상 신호를 획득하기 위한 한 가지 방법으로 영상의 획득시에 1쌍의 좌우 카메라를 이용하는 방법이 있다. 이 방법은 자연스러운 입체 영상을 디스플레이할 수 있는 장점은 있지만 영상 획득을 위하여 2대의 카메라가 필요할 뿐만 아니라 획득한 좌영상과 우영상의 필름화 또는 부호화에 따른 문제, 그리고 좌영상과 우영상의 프레임율의 차이 등과 같은 문제들을 해결해야 하는 단점이 있다.
입체 영상 신호를 획득하기 위한 다른 한 가지 방법은 하나의 카메라로 획득한 2차원 영상신호를 3차원 영상신호로 변환하는 것이다. 이 방법에 의하면, 획득한 2차원 영상(원 영상)에 대하여 소정의 신호 처리를 수행함으로써 3차원 영상, 즉 좌영상과 우영상을 생성하기 때문에, 좌우 카메라를 이용하여 입체 영상신호를 획득할 때 초래되는 전술한 문제점이 발생하지 않는다. 다만, 이 방법은 하나의 영상을 이용하여 두 개의 영상을 생성하는 것이기 때문에, 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하기가 어려운 단점이 있다. 따라서 2차원 영상신호를 3차원 영상신호로 변환하는데 있어서는 변환된 3차원 영상신호를 이용하여 더욱 자연스럽고 안정된 입체감을 갖는 입체 영상을 디스플레이하는 것이 상당히 중요하다.
그런데, 시청자가 3차원 입체 영상을 접했을 때 느끼는 어지러움, 시각적 피로도 등을 연구하여 인간에게 가장 알맞은 시야각과 입체영상 시청거리 등에 관해서 어느 정도 객관성이 있고 타당한 연구 결과가 나와 있지만 2차원 영상에서 변환된 3차원 입체영상에 대한 자체의 품질을 측정하는 도구 및 장치는 아직까지 개발되지 않고 있다.
대한민국 공개특허공보 제10-2008-0047673호(공개일:2008.05.30)
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 수평 라인(Horizontal Line)의 깊이 값이 서로 다른 배경(Background)과 객체(Object)를 분리하여 그 깊이 값이 임계(Threshold)값 보다 큰 경우에 객체로 간주하여 객체를 배경으로 처리하는 오류를 검출하고, 깊이 정보 이외에 2차원 영상의 이전 프레임과 현재 프레임의 차 영상을 이용하거나 움직임 벡터를 이용하여 객체를 배경으로 처리하는 오류를 검출할 수 있도록 하는 3차원 입체영상의 오류성 측정 장치 및 방법을 제공하는데 그 기술적 과제가 있다.
상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 오류성 측정 장치는, 2차원 영상을 분석하기 위한 영상 분석부; 상기 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부; 상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부; 상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 3D 영상 생성부; 및 상기 생성된 깊이(depth) 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 오류 검출부를 포함한다.
또한, 상기 오류 검출부는, 상기 깊이 정보에 대해 깊이 값을 이용하여 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리하고, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하게 된다.
또한, 상기 오류 검출부는, 상기 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인별 배경과 객체에 대한 깊이 값에서 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리하고, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하게 된다.
또한, 상기 오류 검출부는, 상기 분리된 객체 부분 중 배경의 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하게 된다.
또한, 상기 오류 검출부는, 상기 깊이 정보 이외의 정보에 대해, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하는 것이고, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경을 객체로 처리하거나 객체를 배경으로 처리하는 오류를 검출하게 된다.
또한, 상기 오류 검출부는, 상기 배경 부분에서 차영상의 값이 임계값보다 큰 부분이 존재하면 배경을 객체로 처리하는 오류를 검출하게 된다.
그리고, 상기 오류 검출부는, 상기 2차원 영상에 대해 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 상기 2차원 영상에 대해 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류를 검출하게 된다.
한편, 상술한 목적을 달성하기 위한 본 발명의 3차원 입체영상의 오류성 측정 방법은, (a) 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 단계; (b) 상기 생성된 각 프레임당 깊이 정보에 대해, 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하는 단계; 및 (c) 상기 생성된 깊이(depth) 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 단계를 포함한다.
또한, 상기 (b) 단계는, 상기 깊이 정보에 대해 깊이 값을 이용하여 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리하게 된다.
또한, 상기 (b) 단계는, 상기 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인별 배경과 객체에 대한 깊이 값에서 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리하게 된다.
또한, 상기 (c) 단계는, 상기 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하게 된다.
또한, 상기 (c) 단계는, 상기 분리된 객체 부분 중 배경의 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하게 된다.
또한, 상기 (c) 단계에서 상기 깊이 정보 이외의 정보를 이용해 오류를 검출하는 것은, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하게 된다.
또한, 상기 (c) 단계는, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하게 된다.
또한, 상기 (c) 단계는, 상기 배경 부분에서 차영상의 값이 임계값보다 큰 부분이 존재하면 배경을 객체로 처리하는 오류를 검출하게 된다.
그리고, 상기 (c) 단계에서, 상기 움직임 벡터를 이용하여 오류를 검출하는 것은, 상기 2차원 영상에 대해 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 상기 2차원 영상에 대해 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하게 된다.
한편, 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 방법을 실행하는 프로그램을 CD나 USB 매체 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
상술한 바와 같이 본 발명의 3차원 입체영상의 오류성 측정 장치 및 방법은, 3D 입체영상의 품질을 가늠하는 한가지 요소인 오류성에 대한 품질을 객관적으로 평가함으로써 3D 입체영상의 퀄리티(Quality)를 측정할 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 입체영상 오류성 측정 장치의 기능 블록을 개략적으로 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 방법을 설명하기 위한 동작 흐름도이며,
도 3은 깊이지도에서 깊이값이 다양할수록 영상이 더욱 입체감 있게 보이는 예를 나타낸 도면이며,
도 5는 본 발명의 실시예에 따른 2차원 영상에 대한 각 프레임당 깊이 정보를 생성한 예를 나타낸 도면이며,
도 5는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이며,
도 6은 본 발명의 실시예에 따른 2차원 영상에 대해 깊이 값을 이용하여 배경과 객체로 분리하는 예를 나타낸 도면이며,
도 7은 본 발명의 실시예에 따른 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하는 예를 나타낸 도면이며,
도 8은 본 발명의 실시예에 따라 객체가 배경으로 처리된 깊이 역전을 검지해 오류를 검출하는 예를 나타낸 도면이며,
도 9는 본 발명의 실시예에 따라 배경 부분에서 차영상의 값이 임계값보다 큼에 따라 깊이 역전으로 간주하여 오류를 검출하는 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 3차원 입체영상 오류성 측정 장치의 기능 블록을 개략적으로 나타낸 것이다.
도 1에 도시된 바와 같이, 2차원 영상을 입력받으면 영상 분석부(110)는 2차원 영상을 분석한다. 영상 분석 과정은 깊이 지도 생성을 위해 기초가 되는 정보를 수집하기 위해, 픽셀(pixel)이나 블록(block) 단위의 다양한 분석 방법을 통해 영상 내의 특징을 추출한다.
이어, 깊이정보 생성부(120)는 분석한 영상 정보에 기초하여 2차원 영상에 대한 각 프레임당 깊이 지도(depth map)를 생성한다. 즉, 깊이정보 생성부(110)는 2차원 영상에 대한 깊이 지도(depth map)로부터 도 4에 도시된 바와 같이 각 프레임당 각 픽셀에 대한 깊이 값들을 추출하는 것이다. 여기서, 깊이 지도는 2차원 영상에 대한 프레임당 각 픽셀의 깊이값(depth value)들을 저장한 데이터 구조이다. 도 4는 본 발명의 실시예에 따라 2차원 영상으로부터 생성한 각 프레임당 각 픽셀에 대한 깊이 값들의 예를 나타낸 도면이다. 도 4에 도시된 바와 같이, 깊이정보 생성부(110)는 깊이 지도로부터 (가)와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 (나)와 같이 각 프레임별로 구분하여 임시로 저장한다. 이때, 깊이정보 생성부(110)는 생성한 깊이 정보를 임시로 저장하기 위한 저장 기능을 갖는다.
이어, 시차정보 생성부(130)는 이렇게 생성된 깊이 지도를 이용하여 시차(parallax) 정보를 생성한다. 사람은 2 개의 눈을 통해 사물의 입체감이나 거리감을 인지한다. 하나의 사물을 볼 때, 2 개의 눈을 통해 각각 다른 영상이 생성되고 이러한 영상을 적절히 합성함으로써 사람은 사물의 입체감이나 거리감을 인지하게 된다. 따라서, 3차원 입체영상은 이러한 사람의 인지 특성을 고려하여 하나의 2차원 영상으로부터 좌, 우 눈의 시각적 차이를 고려한 2 개의 영상을 생성하게 된다. 이러한 눈의 시각적 차이가 바로 시차이며, 깊이 지도를 이용하여 시차를 생성한다.
이어, 3D 영상 생성부(140)는 생성된 시차 정보를 이용하여 3차원 입체영상을 생성한다. 이렇게 생성된 3차원 입체영상은 도 3에 도시된 바와 같이 각 프레임에서 각각의 픽셀에 대한 깊이(depth) 값들이 다양할수록 더욱 입체감 있게 보인다. 도 3은 깊이지도에서 깊이값이 다양할수록 영상이 더욱 입체감 있게 보이는 예를 나타낸 도면이다. 따라서, 2차원 영상에서 3차원 입체영상으로 변환할 때 깊이 정보를 이용해 배경이 객체로 처리되거나, 객체가 배경으로 처리된 오류를 측정할 수 있다.
오류 검출부(150)는 생성된 각 프레임당 깊이 정보에 대해, 그 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하고, 임계값에 근거해 객체를 배경으로 처리하는 오류나, 배경을 객체로 처리하는 오류를 검출한다.
또한, 오류 검출부(150)는, 깊이 정보에 대한 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리한다.
또한, 오류 검출부(150)는 깊이 정보에서 수평 라인(Horizontal Line)별로 예를 들면, 배경의 깊이 값을 임계값으로 설정하여, 수평 라인(Horizontal Line)별로 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리할 수 있다.
또한, 오류 검출부(150)는 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출한다.
또한, 오류 검출부(150)는 분리된 배경 부분에서 깊이 이외의 정보를 이용하여 배경을 객체로 처리하는 깊이 역전을 검지해 오류를 검출할 수 있다. 여기서, 깊이 이외의 정보는 2차원 영상의 차영상을 이용하는 것으로서, 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하는 것이다. 이는 카메라의 이동이 매우 동적이지 않는다고 가정하면, 배경 부분은 거의 변화가 없고 객체 부분만 변화가 있기 때문에, 배경 부분의 차 영상의 값은 작고, 객체 부분의 차 영상의 값은 상대적으로 큰 것을 이용하는 것이다. 따라서, 오류 검출부(150)는 배경 부분에서 차 영상의 값이 임계값보다 큰 부분이 존재하면 깊이 역전으로 간주하여 오류를 검출하게 된다.
그리고, 오류 검출부(150)는 깊이 이외의 정보로 움직임 벡터를 이용해 오류를 검출할 수 있는데, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류를 검출하게 된다.
도 2는 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 방법을 설명하기 위한 동작 흐름도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 장치(100)는, 먼저, 깊이정보 생성부(120)를 통해 도 5에 도시된 바와 같이 2차원 영상에 대한 각 프레임당 깊이 정보를 생성한다(S210).
즉, 깊이정보 생성부(120)는 도 5에 도시된 2차원 영상의 깊이지도(depth map)로부터 도 4에 도시된 바와 같이 프레임당 각 픽셀에 대한 깊이 값들을 추출하고, 추출한 각 픽셀에 대한 깊이 값들을 각 프레임별로 구분하여 임시로 저장한다. 도 5는 본 발명의 실시예에 따른 2차원 영상에 대한 각 프레임당 깊이 정보를 생성한 예를 나타낸 도면이다.
이어, 3차원 입체영상의 오류성 측정 장치(100)는, 생성된 각 프레임당 깊이 정보에 대해, 오류 검출부(150)를 통해 깊이(depth) 값을 이용하여 도 6에 도시된 바와 같이 배경(background) 부분과 객체(object) 부분으로 분리한다(S220). 도 6은 본 발명의 실시예에 따른 2차원 영상에 대해 깊이 값을 이용하여 배경과 객체로 분리하는 예를 나타낸 도면이다. 도 6에서는 수동 변환 영상과 자동 변환 영상에 대해 깊이 값을 이용해 객체 부분과 배경 부분으로 분리한 예를 보여준다.
즉, 오류 검출부(150)는, 2차원 영상의 깊이 정보에 대한 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리할 수 있다.
또한, 오류 검출부(150)는, 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인(Horizontal Line)별 배경과 객체에 대한 깊이 값 중 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리할 수 있다.
또한, 오류 검출부(150)는, 깊이 이외의 정보로 도 7에 도시된 바와 같이 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경이 객체로 처리되거나, 객체가 배경으로 처리된 오류를 검출할 수 있다. 도 7은 본 발명의 실시예에 따른 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하는 예를 나타낸 도면이다.
이어, 3차원 입체영상의 오류성 측정 장치(100)는, 오류 검출부(150)를 통해 객체가 배경으로 처리되거나, 배경이 객체로 처리된 깊이 역전을 검지하여 오류를 검출한다(S230).
즉, 오류 검출부(150)는, 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 도 8에 도시된 바와 같이 객체가 배경으로 처리된 깊이 역전(빨간 원 안쪽 부분)을 검지해 오류를 검출하게 된다. 도 8은 본 발명의 실시예에 따라 객체가 배경으로 처리된 깊이 역전을 검지해 오류를 검출하는 예를 나타낸 도면이다.
또한, 오류 검출부(150)는, 분리된 배경 부분에서 깊이 이외의 정보로 차 영상을 이용하여 배경이 객체로 처리된 오류를 검출할 수 있다. 즉, 오류 검출부(150)는, 카메라 이동이 매우 동적이지 않다면 배경 부분은 거의 변화가 없고 객체 부분만 영상의 변화가 있으므로, 배경 부분의 차 영상의 값은 작고 객체(object) 부분의 값은 상대적으로 큰 것을 이용해 도 9에 도시된 바와 같이 배경 부분(검은색 부분)에서 차영상의 값이 임계값보다 큰 부분이 존재하면 깊이 역전으로 간주하여 오류를 검출하게 되는 것이다. 도 9는 본 발명의 실시예에 따른 배경 부분에서 차영상의 값이 임계값보다 큼에 따라 깊이 역전으로 간주하여 오류를 검출하는 예를 나타낸 도면이다.
그리고, 오류 검출부(150)는, 깊이 이외의 정보로 움직임 벡터를 이용하여 오류를 검출하게 되는데, 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류를 검출하게 된다.
이어, 3차원 입체영상의 오류성 측정 장치(100)는, 오류 검출을 화면 상에 디스플레이하거나 저장부 등에 저장한다(S240).
따라서, 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 장치(100)에 의하면, 3D 입체영상의 품질을 가늠하는 한가지 요소인 오류성에 대한 품질을 객관적으로 평가함으로써 3D 입체영상의 퀄리티(Quality)를 측정할 수 있다.
한편, 본 발명의 실시예에 따른 3차원 입체영상의 오류성 측정 방법을 실행하는 프로그램을 CD나 USB 매체 등 컴퓨터로 읽을 수 있는 매체에 기록할 수 있다.
본 발명의 실시예에 의하면, 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 수평 라인(Horizontal Line)의 깊이 값이 서로 다른 배경(Background)과 객체(Object)를 분리하여 그 깊이 값이 임계(Threshold)값 보다 큰 경우에 객체로 간주하여 객체를 배경으로 처리하는 오류를 검출하고, 깊이 정보 이외에 2차원 영상의 이전 프레임과 현재 프레임의 차 영상을 이용하거나 움직임 벡터를 이용하여 객체를 배경으로 처리하는 오류를 검출할 수 있도록 하는 3차원 입체영상의 오류성 측정 장치 및 방법을 실현할 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 2차원 영상을 3차원 입체영상으로 변환할 때 생성한 깊이 정보(Depth map)를 이용하여, 수평 라인의 깊이 값이 서로 다른 배경과 객체를 분리하여 그 깊이 값이 임계값 보다 큰 경우에 객체로 간주하여 객체를 배경으로 처리하는 오류를 검출하고, 깊이 정보 이외에 2차원 영상의 이전 프레임과 현재 프레임의 차 영상을 이용하거나 움직임 벡터를 이용하여 객체를 배경으로 처리하는 오류를 검출할 수 있도록 하는 3차원 입체영상의 오류성 측정 장치 및 방법에 이용할 수 있다.
100 : 3차원 입체영상의 오류성 측정장치
110 : 영상 분석부
120 : 깊이정보 생성부
130 : 시차 생성부
140 : 3D 영상 생성부
150 : 오류 검출부

Claims (18)

  1. 2차원 영상을 분석하기 위한 영상 분석부;
    상기 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 깊이정보 생성부;
    상기 생성된 깊이 정보를 이용하여 시차(parallax) 정보를 생성하는 시차정보 생성부;
    상기 시차 정보를 이용하여 3차원 입체영상을 생성하는 3D 영상 생성부; 및
    상기 생성된 깊이(depth) 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 오류 검출부;
    를 포함하는 3차원 입체영상의 오류성 측정 장치.
  2. 제 1 항에 있어서,
    상기 오류 검출부는, 상기 깊이 정보에 대해 깊이 값을 이용하여 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리하고, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  3. 제 1 항에 있어서,
    상기 오류 검출부는, 상기 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인별 배경과 객체에 대한 깊이 값에서 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리하고, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  4. 제 2 항 또는 제 3 항에 있어서,
    상기 오류 검출부는, 상기 분리된 객체 부분 중 배경의 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  5. 제 1 항에 있어서,
    상기 오류 검출부는, 상기 깊이 정보 이외의 정보에 대해, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  6. 제 5 항에 있어서,
    상기 오류 검출부는, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경을 객체로 처리하거나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  7. 제 6 항에 있어서,
    상기 오류 검출부는, 상기 배경 부분에서 차영상의 값이 임계값보다 큰 부분이 존재하면 배경을 객체로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  8. 제 5 항에 있어서,
    상기 오류 검출부는, 상기 2차원 영상에 대해 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 상기 2차원 영상에 대해 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 장치.
  9. (a) 2차원 영상에 대한 각 프레임당 깊이 정보를 생성하는 단계;
    (b) 상기 생성된 각 프레임당 깊이 정보에 대해, 깊이(depth) 값을 이용하여 배경(background) 부분과 객체(object) 부분으로 분리하는 단계; 및
    (c) 상기 생성된 깊이(depth) 정보를 이용하거나, 상기 깊이 정보 이외의 정보를 이용해, 배경(background)을 객체(object)로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 단계;
    를 포함하는 3차원 입체영상의 오류성 측정 방법.
  10. 제 9 항에 있어서,
    상기 (b) 단계는, 상기 깊이 정보에 대해 깊이 값을 이용하여 각각의 수평 라인(Horizontal Line)에서 객체의 깊이 값이 배경의 깊이 값보다 큰 것을 이용해 배경과 객체를 분리하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  11. 제 9 항에 있어서,
    상기 (b) 단계는, 상기 깊이 정보에서 수평 라인(Horizontal Line)별로 임계값을 설정하고, 수평 라인별 배경과 객체에 대한 깊이 값에서 임계값보다 큰 것을 객체로 간주하여 배경과 객체를 분리하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  12. 제 9 항에 있어서,
    상기 (c) 단계는, 상기 분리된 객체 부분 중 배경에 대한 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  13. 제 9 항에 있어서,
    상기 (c) 단계는, 상기 분리된 객체 부분 중 배경의 깊이 값이 존재함에 따라 객체를 배경으로 처리하는 깊이 역전을 검지해 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  14. 제 9 항에 있어서,
    상기 (c) 단계에서 상기 깊이 정보 이외의 정보를 이용해 오류를 검출하는 것은, 상기 2차원 영상의 차영상 또는 움직임 벡터를 이용하여 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  15. 제 14 항에 있어서,
    상기 (c) 단계는, 상기 2차원 영상의 이전 프레임과 현재 프레임의 차영상을 이용하여 차영상의 값이 임계값보다 작으면 배경으로 간주하고, 임계값보다 크면 객체로 간주하여, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  16. 제 15 항에 있어서,
    상기 (c) 단계는, 상기 배경 부분에서 차영상의 값이 임계값보다 큰 부분이 존재하면 배경을 객체로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  17. 제 14 항에 있어서,
    상기 (c) 단계에서, 상기 움직임 벡터를 이용하여 오류를 검출하는 것은, 상기 2차원 영상에 대해 블록(Block) 단위로 배경의 움직임(Global Motion) 벡터를 설정하고, 상기 2차원 영상에 대해 블록(Block) 단위로 움직임 벡터를 산출하여, 산출한 움직임 벡터 값이 배경의 움직임 벡터와 일정 이상 차이가 발생하는 경우 객체로 간주하여, 배경을 객체로 처리하는 오류나 객체를 배경으로 처리하는 오류를 검출하는 것을 특징으로 하는 3차원 입체영상의 오류성 측정 방법.
  18. 제 9 항 내지 제 17 항에 있는 3차원 입체영상의 오류성 측정 방법을 실행하는 프로그램을 기록한, 컴퓨터로 읽을 수 있는 매체.
KR1020110126622A 2011-11-23 2011-11-30 3차원 입체영상의 오류성 측정 장치 및 방법 KR20130060522A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110126622A KR20130060522A (ko) 2011-11-30 2011-11-30 3차원 입체영상의 오류성 측정 장치 및 방법
PCT/KR2012/003409 WO2013077510A1 (ko) 2011-11-23 2012-05-02 3차원 입체영상의 입체감, 안정성 또는 오류성 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110126622A KR20130060522A (ko) 2011-11-30 2011-11-30 3차원 입체영상의 오류성 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130060522A true KR20130060522A (ko) 2013-06-10

Family

ID=48858935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110126622A KR20130060522A (ko) 2011-11-23 2011-11-30 3차원 입체영상의 오류성 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130060522A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552973B2 (en) 2016-11-14 2020-02-04 Samsung Electronics Co., Ltd. Image vision processing method, device and equipment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10552973B2 (en) 2016-11-14 2020-02-04 Samsung Electronics Co., Ltd. Image vision processing method, device and equipment

Similar Documents

Publication Publication Date Title
Zhang et al. 3D-MAD: A full reference stereoscopic image quality estimator based on binocular lightness and contrast perception
JP2017174125A5 (ko)
CN101783967A (zh) 信号处理设备、图像显示设备、信号处理方法和计算机程序
CN105654142B (zh) 基于自然场景统计的无参考立体图像质量评价方法
JP2015524915A (ja) ３ｄ情報処理装置及び方法
Kellnhofer et al. Motion parallax in stereo 3D: Model and applications
EP2787735A1 (en) Image processing device, image processing method and program
KR101720161B1 (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR101220223B1 (ko) 스테레오스코픽 영상 시스템에서의 시각적 불편감 측정 장치 및 방법, 시각적 불편감 측정 방법을 실행하기 위한 프로그램이 기록된 기록매체
US20150138613A1 (en) Apparatus and method for displaying pseudo-hologram image based on pupil tracking
KR20140029689A (ko) 영상 처리 시스템에서 움직임 추정 장치 및 방법
KR20130060522A (ko) 3차원 입체영상의 오류성 측정 장치 및 방법
KR101356427B1 (ko) 스테레오스코픽 이미지 및 영상의 시각 피로도를 시각화하는 장치 및 방법
KR101332628B1 (ko) 3차원 입체영상의 입체감 측정 장치 및 방법
KR20140004382A (ko) 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
KR101289008B1 (ko) 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치
US20120200577A1 (en) Image processing method, image processing device, and display apparatus
KR101528683B1 (ko) 과도시차 객체 검출방법
WO2020059575A1 (ja) ３次元画像生成装置、３次元画像生成方法、及びプログラム
KR20130057147A (ko) 3차원 입체영상의 안정성 측정 장치 및 방법
KR101649185B1 (ko) 시각 주의도의 산출 방법 및 장치
JP6780639B2 (ja) 画像解析装置、画像解析方法、及び、画像解析プログラム
Cho et al. Prediction of visual discomfort in watching 3D video using multiple features
KR20130085143A (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right