KR20150070629A - 스테레오스코픽 영상에서의 주요 객체 검출 방법 - Google Patents

스테레오스코픽 영상에서의 주요 객체 검출 방법 Download PDF

Info

Publication number
KR20150070629A
KR20150070629A KR1020130157077A KR20130157077A KR20150070629A KR 20150070629 A KR20150070629 A KR 20150070629A KR 1020130157077 A KR1020130157077 A KR 1020130157077A KR 20130157077 A KR20130157077 A KR 20130157077A KR 20150070629 A KR20150070629 A KR 20150070629A
Authority
KR
South Korea
Prior art keywords
importance
image
region
divided
prior knowledge
Prior art date
Application number
KR1020130157077A
Other languages
English (en)
Other versions
KR101537174B1 (ko
Inventor
강행봉
조상현
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020130157077A priority Critical patent/KR101537174B1/ko
Priority to US14/262,636 priority patent/US9262691B2/en
Publication of KR20150070629A publication Critical patent/KR20150070629A/ko
Application granted granted Critical
Publication of KR101537174B1 publication Critical patent/KR101537174B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 (A) 입력된 스테레오스코픽 영상에 이용되는 좌안 영상과 우안 영상을 칼라값의 유사도와 픽셀간의 거리에 기초하여 영상의 영역을 분할하는 단계; (B) 상기 좌안 영상과 상기 우안 영상의 픽셀차이를 이용해 획득된 시차(disparity)를 이용하여 분할된 영역의 시차맵(disparity map)을 생성하는 단계; (C) 상기 (A) 단계와 상기 (B)단계의 분할된 영역에서 대비(contrast) 기반 중요도를 산출하는 단계; (D) 시각적으로 주요하게 인식되는 영상의 특징적 요소를 사전 지식(prior knowledge)으로 이용하여 상기 분할된 영역을 상기 사전 지식(prior knowledge)에 기초하여 중요도를 산출하는 단계; 및 (E) 상기 대비 기반 중요도와 상기 사전 지식 기반 중요도에 기초하여 영상의 중요 영역을 검출하는 단계를 포함하는 것을 특징으로 함에 따라 객체 검출 성능을 개선할 수 있다.

Description

스테레오스코픽 영상에서의 주요 객체 검출 방법 {METHOD FOR EXTRACTING SALIENT OBJECT FROM STEREOSCOPIC VIDEO}
본 발명은 스테레오스코픽 영상에서의 주요 객체 검출 방법에 관한 것으로서, 보다 상세하게는 3D로 출력되는 영상의 대비(contrast)와 영상의 사전 정보를 이용하고, 시차의 품질을 반영하여 객체 검출 성능을 개선한 스테레오스코픽 영상에서의 주요 객체 검출 방법에 관한 것이다.
스테레오스코픽 영상은 일정한 거리로 이격된 카메라를 이용하여 동일한 피사체를 촬영한 좌안 영상과 우안 영상을 교대로 디스플레이함으로써 입체 영상을 재현한다. 좌안 영상과 우안 영상을 교대로 디스플레이하는 방식은 피사체를 직접 촬영하지 않더라도 가상 이미지에서도 양안 시차를 발생시킬 수 있으면 좌안 영상과 우안 영상은 망막을 통해 뇌로 전달되면, 융합되어 영상의 원근감과 실재감을 재생하여 입체영상을 느끼게 된다.
최근에는 3D 영상에 대한 관심이 높아짐에 따라 3D 영상에서 주요 물체를 검출하는 방법은 3D 영상 처리에서의 전처리 과정으로서 매우 중요하다. 이에, 영상 분할(image segmentation), 영상 검색(image retrieval), 물체 검출(object recognition)과 같은 많은 컴퓨터 비전 응용 분야에서 영상의 중요 물체나 영역을 검출하는 방식이 오랫동안 연구되어 왔다.
대한민국공개특허 제2013-0052393호(공개일 2013년05월22일, 3차원 영상을 이용한 객체 검출 장치 및 그 방법)에서는 객체에 대한 2차원 영상과 3차원영상을 획득하고, 3차원 영상을 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함을 제안하고 있다.
그런데 스테레오스코픽 영상에서 주요 영역을 검출하기 위해서는 영상 시차 정보를 주로 이용했다. 하지만 영상 시차 정보는 정확하게 계산하기 어렵기 때문에 중요 물체나 영역을 검출하는데 어려움이 있다.
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로서, 스테레오스코픽 영상에서의 적용된 시차 정보의 품질을 반영하여 중요 객체 영역을 검출하는 데 있다.
또한, 스테레오스코픽 영상에서 중요 객체를 검출하는 데 있어, 시차를 보완할 수 있는 요소를 함께 적용하여 중요 객체 검출의 정확도를 높일 수 있는 스테레오스코픽 영상에서의 주요 객체 검출 방법을 제공함에 있다.
상기의 목적은 본 발명에 따라, (A) 입력된 스테레오스코픽 영상에 이용되는 좌안 영상과 우안 영상을 칼라값의 유사도와 픽셀간의 거리에 기초하여 영상의 영역을 분할하는 단계; (B) 상기 좌안 영상과 우안 영상의 픽셀차이를 이용해 획득된 시차(disparity)를 이용하여 분할된 영역의 시차맵(disparity map)을 생성하는 단계; (C) 상기 (A) 단계와 상기 (B)단계의 분할된 영역에서 대비(contrast) 기반 중요도를 산출하는 단계; (D) 시각적으로 주요하게 인식되는 영상의 특징적 요소를 사전 지식(prior knowledge)으로 이용하여 상기 분할된 영역을 상기 사전 지식(prior knowledge)에 기초하여 중요도를 산출하는 단계; 및 (E) 상기 대비 기반 중요도와 상기 사전 지식 기반 중요도에 기초하여 영상의 중요 영역을 검출하는 단계를 포함하는 스테레오스코픽 영상의 주요 객체 검출 방법에 의해 달성된다.
본 발명에 따르면 상기 (C) 단계에서는 상기 분할된 영역들의 칼라 차이와 시차에 기초하여 분할된 영역의 대비 기반 중요를 판단하되, 상기 시차의 품질 정도에 따른 시차 신뢰측정치가 적용되어 산출될 수 있다.
여기서 상기 시차 신뢰 측정치는 시차 계산 비용 함수의 곡률에 의해 산출될 수 있다.
상기 (C) 단계에서는 상기 (A)단계와 상기 (B)단계의 분할된 영역에서 각각의 영역은 자신을 포함하지 않은 나머지 분할 영역들 간의 대비 차의 평균에 기초하여 분할 영역의 대비 기반 중요도를 산출하는 단계를 포함할 수 있다.
이때, 상기 (C) 단계에서 상기 대비 차가 산출되는 영역 간의 칼라 차이와 시차는 바타차리야 거리(Battacharyya distance)에 기초하여 대비 기반 중요도가 산출될 수 있다.
또한, 상기 (C) 단계에서는 상기 (A)단계와 상기 (B)단계의 분할된 영역에서 각각의 분할 영역은 상기 각각의 분할영역의 경계면에 인접한 분할 영역들과의 대비 차의 평균에 기초하여 분할 영역의 대비 기반 중요도를 산출하는 것이 포함될 수 있다.
한편으로, 상기 (D) 단계에서는 상기 (A) 단계와 상기 (B) 단계의 분할된 영역이 갖는 이미지 특징에 따른 이미지 기반 사전 중요도 산출 단계와, 상기 (A) 단계와 상기 (B) 단계의 분할된 영역이 갖는 공간적 특징에 따른 공간 기반 사전 중요도를 산출 단계를 포함하며; 상기 사전 지식 기반 중요도는 상기 이미지 기반 사전 중요도와 상기 공간 기반 사전 중요도가 함께 반영되어 산출될 수 있다.
여기서, 상기 이미지 기반 사전 중요도에는 영상의 주파수, 분할된 영역의 칼라 및 사이즈에 따른 사전 지식이 반영되고, 상기 공간 기반 사전 중요도에는 분할된 영역의 위치 및 시차에 따른 사전 지식이 반영될 수 있다.
이때, 상기 주파수에 따른 사전 지식 중요도는 밴드 패스 필터(band-pass filter)를 이용하며, 영상의 RGB 값을 갖는 칼라 공간을 CIELab로 변환한 후, 분할 영역에 대한 주파수 정도에 따라 사전 지식 중요도가 산출될 수 있다.
또한, 상기 칼라에 따른 사전 지식 중요도는 기 마련된 칼라별 중요도를 참조하여 분할 영역이 갖는 픽셀의 CIELab 칼라값에 기초하여 분할 영역의 사전 지식 중요도가 산출될 수 있다.
또한, 상기 사이즈에 따른 사전 지식 중요도는 분할 영역의 사이즈를 비교하여 산출하며;비교된 분할 영역의 사이즈가 클수록 중요도가 높게 부여될 수 있다.
또한, 상기 위치에 따른 사전 지식 중요도는 분할 영역이 각 영상의 중심에 위치하는 정도에 따라 산출되며; 분할 영역이 중심에 위치할수록 중요도가 높게 부여될 수 있다.
또한, 상기 시차에 따른 사전 지식 중요도는 상기 (B)단계의 분할된 영역의 시차에 따라 산출되며; 분할 영역이 음(-)의 시차를 가지는 물체일수록 중요도가 높게 부여될 수 있다.
본 발명에 따르면, 스테레오스코픽 영상에 적용된 시차 정보의 품질을 반영함으로써 시차에 기초하여 주요 객체를 검출하는 데에 보다 효과적이다.
또한, 영상의 영역을 색상과 거리에 따라 분할하고, 분할된 영역의 칼라 차이에 따른 대비를 이용하고, 영상의 주파수와 분할된 영역의 크기, 위치, 칼라, 시차를 함께 이용하여 객체를 검출함으로써 객체 검출의 정확도가 개선된다.
도 1은 본 발명에 따른 중요 객체 검출과정을 나타낸 도면이고,
도 2은 본 발명에 따른 대비 기반 중요도 산출 과정을 나타낸 도면이고,
도 3는 본 발명에 따른 대비 기반 중요도에 따른 예시 영상이고,
도 4는 본 발명에 따른 의 사전 지식 기반 중요도 산출 과정을 나타낸 도면이고,
도 5은 본 발명에 따른 사전 지식 기반 중요도에 따른 예시 영상이고,
도 6 내지 도 8는 본 발명에 따른 객체 검출 결과를 설명하기 위한 도면이다.
이하에서는 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다.
도 1은 본 발명에 따른 중요 객체 검출과정을 나타낸 도면이다. 도 1을 참조하여 설명하면 본 발명에 따른 스테레오스코픽 영상에서의 주요 객체 검출 방법은 칼라값과 픽셀간 거리에 기초한 영역 분할 단계(S110), 분할 영역의 시차맵(disparity map)을 생성하는 단계(S120), 대비 기반 중요도 산출 단계(S130), 사전 지식 기반 중요도 산출 단계(S140), 중요 영역 검출 단계(S150)를 포함한다.
그리고, 칼라값과 픽셀간 거리에 기초한 영역 분할 단계(S110)에 앞서 우선 시차맵 생성과 영상 영역 분할을 위한 스테레오스코픽 영상이 입력된다. 스테레오스코픽 영상은 양안의 시차를 이용하는 것으로 좌안 영상과 우안 영상으로 각각 준비된다. 여기서 각각의 영상은 2차원 영상이다.
칼라값과 픽셀간 거리에 기초한 영역 분할 단계(S110)는 영상을 각각의 부영역(sub region)으로 분할하는 것으로, 2차원의 좌안 영상과 우안 영상의 영역 분할은 영상의 칼라값의 유사도와 픽셀간의 거리를 이용한다. 영상에서 유사한 색상을 갖고 일정한 거리 이내에 인접할 경우 같은 영역으로 구획하는 방식으로 분할한다.
분할 영역의 시차맵(disparity map)을 생성하는 단계(S120)에서는 스테레오스코픽 영상으로 입력되는 2차원의 좌안 영상과 우안 영상을 비교하여 시차(disparity)에 따른 객체의 돌출되는 깊이의 정도에 따라 시차맵을 생성한다.
여기서 시차맵은 좌안 영상과 우안 영상간의 대응되는 픽셀간의 거리에 의해 스테레오스코픽 영상 각 픽셀의 깊이 정도를 나타내는 것으로 각 분할영역의 시차는 영역 안의 픽섹들의 평균 시차를 이용하여 계산된다. 후술된 설명에 참조되는 도 3과 도 5에서 시차맵은 색상을 통해 표시 깊이를 나타내고 있다. 그러나, 도시하고 있는 색상은 시차맵의 깊이의 이해의 용이성을 위하여 예시된 것이며, 본 발명에서는 객체의 깊이의 정도에 따라 밝기를 부여하여 시차맵을 생성하는데, 실질적으로 시차맵은 그레이 컬러의 밝기에 따라 생성되므로 일정 범위의 돌출 정도를 갖는 부분은 동일한 밝기의 그레이 컬러로 표시된다.
시차맵의 밝기에 따라 직관적인 돌출 정도 확인이 가능하고, 처리용 프로세서에서도 시차맵을 이용하여 돌출 정도를 용이하게 파악할 수 있다.
여기에서는 시차맵을 이용하여 깊이에 따라 동일한 객체로 판단되는 영역으로 분할하는 단계이다. 동일하거나 대등한 밝기를 갖는 인접한 영역을 동일한 객체의 영역으로 간주하고 분할하게 된다.
상술한 칼라값과 픽셀간 거리에 기초한 영역 분할 단계(S110)와 분할 영역의 시차맵(disparity map)을 생성하는 단계(S120)는 후술할 대비 기반 중요도 산출 단계(130)와 사전 정보 기반 중요도 산출 단계(S140)의 전처리 단계로 볼 수 있다.
도 2는 본 발명에 따른 대비 기반 중요도 산출 과정을 나타낸 도면이고, 도 3은 본 발명에 따른 대비 기반 중요도에 따른 예시 영상이다. 도 2와 도 3을 참조하여 설명하면 본 발명에 따른 대비 기반 중요도 산출 방법은 시차 신뢰 측정치 산출 단계(S131), 시차 신뢰 측정치를 반영하여 전역 대비 중요도를 산출하는 단계(S132), 신차 신뢰 측정치를 반영하여 지역 대비 중요도 산출 단계(S133), 전역 대비 중요도와 지역 대비 중요도를 반영하여 대비 기반 중요도를 산출하는 단계(S134)를 포함한다.
주어진 스테레오스코픽 영상의 칼라와 시차 정보는 영상의 주요성을 분석하는데 매우 중요한 정보이다. 이에 따라 본 발명에서는 분할된 영역에 대한 칼라 정보와 시차 정보를 이용하여 영역의 중요성을 계산한다.
시차 신뢰 측정치 산출 단계(S131)와, 시차 신뢰 측정치를 반영하여 전역 대비 중요도를 산출하는 단계(S132)를 설명하면, 시차 정보를 이용하여 영역의 중요성을 계산함에 있어 본 발명에서는 영상에 적용된 시차 정보의 품질을 반영하기 위해 다음과 같은 시차 계산 비용 함수(cost function)의 곡률(curvature)을 시차 신뢰도로 이용한다. 시차 계산 비용 함수의 곡률은 최대 유사 스코어 주변의 유사도 함수(similar function)의 변화 정도를 나타내는 것으로 낮은 값은 매칭퀄리티가 낮을 때 나타난다. 시차 계산 비용 함수의 곡률
Figure pat00001
는 [수학식 1]에 의해 산출된다.
Figure pat00002
여기서,
Figure pat00003
,
Figure pat00004
, d는 시차, W(x)는 중심이 x인 지역 윈도우(local window),
Figure pat00005
,
Figure pat00006
는 각각 채널(channel) ch에서의 정규화된(normalized) 왼쪽과 오른쪽 영상이다.
본 발명에서는 각 영역에 대한 시차 정보의 품질를 계산하기 위해 영역안의 픽셀들에 대한 평균 비용 커브 함수곡률값을 이용한다. 따라서 영역 R에 대한 시차 신뢰도
Figure pat00007
은 [수학식 2]에 의해 산출된다.
Figure pat00008
여기서,
Figure pat00009
은 영역 R에 속한 픽셀의 수,
Figure pat00010
는 파라미터이다.
따라서, 시차 신뢰 측정치가 반영된 전역 대비 기반 중요도는 [수학식 3]과 같이 계산된다.
Figure pat00011
여기서
Figure pat00012
는 두 영역 사이의 칼라 차이,
Figure pat00013
는 두 영역 사이의 시차 차이,
Figure pat00014
은 영역 R의 시차 신뢰도이다.
여기서, 두 영역 사이의 칼라 차이는 두 영역 사이의 칼라 분포의 바타차리야 거리(Battacharyya distance)를 이용한다. 일반적으로 사람들은 영역 중심 쪽으로 주의를 기울이기 때문에 본 발명에서는
Figure pat00015
의 가중치 함수를 이용한다. 이를 이용해 영역 R의 칼라 분포는 [수학식 4]로 정의된다.
Figure pat00016
여기서,
Figure pat00017
이고,
Figure pat00018
는 정규화된 픽셀 위치,
Figure pat00019
는 영역 R의 정규화된 중심 위치,
Figure pat00020
는 픽셀 위치에서 양자화된 칼라 공간에서의 빈 인덱스(bin index)로의 매핑 함수,
Figure pat00021
는 크로넥커 델타 함수(Kronecker delta function),
Figure pat00022
는 정규화 상수이다.
또한, 두 영역의 칼라 차이(color distance)도 다음과 같이 두 영역 사이의 바타차리야 거리(Battacharyya distance)를 이용해 [수학식 5]에 의해 산출된다.
Figure pat00023
여기서,
Figure pat00024
이다.
시차 차이도 칼라 차이와 비슷하게 계산되어진다. 두 영역간의 시차 차이를 계산하기 위해 칼라 차이 계산법과 비슷하게 시차 분포를 이용한다. 따라서 영역 R에 대한 시차 분포는 [수학식 6]에 의해 산출된다.
Figure pat00025
여기서,
Figure pat00026
,
Figure pat00027
는 영역 R의 중심,
Figure pat00028
는 픽셀 위치에서 양자화된 시차 공간에서의 빈 인덱스(bin index)로의 매핑 함수,
Figure pat00029
는 크로넥커 델타 함수(Kronecker delta function),
Figure pat00030
는 정규화 상수이다.
따라서, 두 영역 사이의 시차 차이
Figure pat00031
는 두 영역의 시차 분포 사이의 바타차리야 거리(Battacharyya distance)를 이용해 [수학식 7]로 계산된다.
Figure pat00032
전술한 영상 영역의 칼라 차이와 시차는 분할된 영역별로 전역에 대한 대비값을 계산한 것으로, 전역 대비는 한 영역과 나머지 모든 영역들 간의 차이값의 평균을 나타낸 것이며, 후술할 지역 대비는 분할된 한 영역과 경계를 이루는 인접 영역들간의 차이값의 평균을 나타낸 것이다. 전역 대비를 이용함으로써 영상 전체를 관점으로 봤을 때, 대비 차가 가장 큰 영역이 시각적으로 가장 도드라지게 나타나므로 이를 중요한 영역으로 판단할 수 있는 근거가 되며, 이와 유사하게 지역 대비는 주변 영역과 대비 차가 큰 영역이 영상에서 중요한 영역으로 보게 된다.
신차 신뢰 측정치를 반영하여 지역 대비 중요도 산출 단계(S133)를 설명하면, 게스탈트 원리(Gestalt Principle)에 의해 일반적으로 사람들은 비슷하게 보이거나 근처의 영역들을 그룹화해서 보는 경향이 있다. 따라서 본 발명에서는 이러한 게스탈트 원리를 반영하기 위해 한 영역과 그 주변 영역들에 대한 대비 정보를 이용한 지역 대비 중요도는 [수학식 8]로 계산한다.
Figure pat00033
여기서,
Figure pat00034
는 영역
Figure pat00035
의 인접 영역이다.
전역 대비 중요도와 지역 대비 중요도를 반영하여 대비 기반 중요도를 산출하는 단계(S134)는, 최종적으로, 각 영역 R의 대비 기반 중요도 전역 대비 중요도와 지역대비 중요도를 함께 반영하는 것으로 [수학식 9]와 같이 계산된다.
Figure pat00036
여기서,
Figure pat00037
와
Figure pat00038
는 가중치 상수이다.
이와 같이, 시차의 품질에 따른 시차의 신뢰도를 적용하여 분할된 영역간의 시차와 칼라의 차이를 전역과 지역에 대해 구하고, 전역 대비와 지역 대비를 함께 반영하여 중요영역을 검출함으로써 객체 검출의 신뢰도가 개선된다.
도 4는 본 발명에 따른 사전 지식 기반 중요도 산출 과정을 나타낸 도면이고, 도 5는 사전 지식 기반 중요도에 따른 예시 영상이다. 도 4와 도 5를 참조하여 설명하면 본 발명에 따른 사전 지식 기반 중요도 산출 단계(S140)는 분할된 영역이 갖는 이미지 특징에 따른 이미지 기반 사전 중요도 산출 단계(S141)와, 분할된 영역이 갖는 공간적 특징에 따른 공간 기반 사전 중요도 산출 단계(S142)를 포함한다.
이미지 기반 사전 중요도 산출 단계(S141)에는 주파수 기반 중요도 산출 단계(S141a), 칼라 기반 중요도 산출 단계(S141b), 사이즈 기반 중요도 산출 단계(S141c)를 포함하고, 공간 기반 중요도 산출 단계(S142)에는 위치 기반 중요도 산출 단계(S142a), 시차 기반 중요도 산출 단계(S142b)를 포함한다.
이미지 기반 사전 중요도 산출 단계(S141)를 설명하면, 이미지 기반 사전지식 중요도
Figure pat00039
는 [수학식 10]으로 정의된다.
Figure pat00040
여기서,
Figure pat00041
는 주파수 기반 중요도,
Figure pat00042
는 칼라,
Figure pat00043
크기 기반 사전 정보,
Figure pat00044
,
Figure pat00045
,
Figure pat00046
은 각각 가중치 상수이다.
그리고, 공간 기반 중요도 산출 단계(S142)를 설명하면, 공간 기반 사전 지식 중요도
Figure pat00047
는 [수학식 11]로 정의된다.
Figure pat00048
여기서,
Figure pat00049
는 위치,
Figure pat00050
는 시차 기반 사전 지식 중요도이다.
최종적으로 사전 지식 기반 중요도
Figure pat00051
는 이미지와 기반 사전 지식 중요도와 공간 사전지식 기반의 중요도가 결합되어 [수학식 12]와 같이 정의된다.
Figure pat00052
주파수 기반 중요도를 산출 단계(S141a)에서는 밴드 패스 필터(band-pass filter)를 이용한다. 여기에서 주파수는 영상처리에 사용되는 주파수로서 영상 데이터를 푸리에 변환 등을 이용하여 획득할 수 있는 영상 주파수 데이터를 의미하는 것으로, 변환된 영역 안의 픽셀값의 변화에 대응하는 주파수의 값에 따라 중요도가 부여될 수 있다. 주어진 영상에 대해서 칼라공간을 RGB 공간에서 CIELab로 변환한 후, 영역 R에 대한 주파수 기반 중요도
Figure pat00053
는 [수학식 13]에 의해 산출된다.
Figure pat00054
여기서,
Figure pat00055
,
Figure pat00056
이고, *는 컨볼루션 연산자,
Figure pat00057
,
Figure pat00058
,
Figure pat00059
는 CIELab 각 채널별 칼라 공간산술평균 픽셀값,
Figure pat00060
,
Figure pat00061
,
Figure pat00062
는 가우시안블러 영상의 CIELab 각 채널별 영상이다.
Figure pat00063
은 가버 필터(Gabor filter)로 다음과 같이 정의된다.
Figure pat00064
여기서, (u,v)는 주파수 공간에서의 좌표,
Figure pat00065
는 필터 대역폭,
Figure pat00066
는 주파수 중심이다.
칼라 기반 중요도를 산출 단계(S141b)를 설명하면, 사람들은 파란색과 같은 차가운 색보다는 빨간색과 같은 따뜻한 색에 더욱 주의를 주는 것으로 알려져 있다. 따라서, 본 발명에서는 영상의 CIELab 칼라 정보 중 a와 b 채널 값을 이용해 영상의 중요도를 계산한다.
주어진 픽셀 CIELab칼라값에 대해서, 본 발명에서는 칼라 기반의 중요도
Figure pat00067
는 [수학식 14]로 산출된다.
Figure pat00068
여기서,
Figure pat00069
,
Figure pat00070
,
Figure pat00071
는 파라미터,
Figure pat00072
는 정규화된 a 채널 값,
Figure pat00073
는 정규화된 b 채널 값이다.
사이즈 기반 중요도를 산출 단계(S141c)를 설명하면, 일반적으로 사이즈가 큰 영역이 작은 사이즈의 영역에 비해 사람들의 주목을 받으므로, 본 발명에서는 각 영역에 대한 사이즈를 영역의 사이즈 기반의 중요도로 적용하며, [수학식 15]로 산출한다.
Figure pat00074
여기서,
Figure pat00075
는 파라미터,
Figure pat00076
는 정규화된 영역의 넓이이다.
위치 기반 중요도 산출 단계(S142b)를 설명하면, 사람들은 영상의 외곽 영역보다 중심 영역에 보다 주의를 준다. 이를 이용해 위치 기반 중요도
Figure pat00077
는 [수학식 16]에 의해 산출된다.
Figure pat00078
여기서,
Figure pat00079
는 파라미터, c는 영상의 중심위치이다.
그리고, 시차 기반 중요도 산출 단계(S142b)를 설명하면, 스테레오스코픽 영상에서 음의 시차를 가지는 물체는 스크린으로부터 앞쪽으로 나와있는 것으로, 사람들은 높은 음의 시차를 가지는 물체일수록 그 물체에 주목하는 경향이 있다. 이를 이용해 시차 기반의 중요도
Figure pat00080
는 [수학식 17]에 의해 산출된다.
Figure pat00081
여기서,
Figure pat00082
,
Figure pat00083
,
Figure pat00084
는 파라미터,
Figure pat00085
와
Figure pat00086
는 각각 영상의 최대, 최소 시차,
Figure pat00087
는 시차값,
Figure pat00088
는 영역 R의 시차 신뢰도이다.
이와 같이 본 발명에서는 보다 정확한 영상의 중요도를 계산하기 위해 영상 중요도에 대한 사전 정보를 이용함을 설명하였다. 도 5에 도시된 바와 같이, 본 발명에 따른 사전 지식 기반 중요도를 이용하여 분할된 각 영역의 중요도가 계산됨을 확인할 수 있고, 사전 지식 기반의 중요도 검출 방법은 정황(context) 정보를 이용하지 않아 간단하고 효율적으로 영상의 중요도에 정보를 계산하는데 유용하다.
본 발명에 따르면 스테레오스코픽 기반 영역 중요도는 영역의 대비 기반 중요도와 사전 지식 기반의 중요도를 모두 고려하여 [수학식 18]과 같이 정의된다.
Figure pat00089
여기서,
Figure pat00090
와
Figure pat00091
는 최종 스테레오스코픽 중요도를 0부터 1사이의 값으로 표현하기 위해 계산된 대비 기반 중요도와 사전 지식 기반 중요도의 각 최대 최소값각 최대 최소값(min, max)과 [수학식 19]의 선형 변환식을 이용해 대비 기반 중요도와 사전 지식 기반 중요도 값을 0부터 1사이의 값이 되도록 한다.
Figure pat00092
이하에서는 본 발명에 따른 스테레오스코픽 영상에서 중요 객체 검출 성능을 통계적으로 평가하기 위해 Stereo Saliency Benchmark Dataset 을 이용한 결과를 설명하기로 한다. 고정 thresholding 방법과 adaptive thresholding 방법을 이용하여 객체 검출 방식의 주요 방법들과 비교한 결과에서 본 발명의 객체 검출 성능을 확인할 수 있다.
제안한 방법을 비교하는데 사용된 방법 6가지는 다음과 같다.
CA : S. Goferman, L. Zelnik-Manor, and A. Tal. “ Context-aware saliency detection ,“In CVPR’10, pages 2376-383, 2010.
GB : J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency,” Adv. Neural Information Process. Syst., vol. 19, pp.545-552, 2007.
SR : X. Hou and L. Zhang, “Saliency detection: a spectral residual approach,” In CVPR’07, pp. 1-8, 2007.
FT : R. Achanta, S. Hemami, F. Estrada, and S. Susstrunk, "Frequency-tuned salient region detection,” In CVPR’09, pp.1597-1604, 2009.
RC : M. Cheng, G. Zhang, N.J. Mitra, X. Huang, and S. Hu, “Global contrast based salient region detection,” In CVPR’11,pp. 409-416, 2011.
SS : Y. Niu, Y. Geng, X. Li, and F. Liu, “Leveraging stereopsis for saliency analysis,“ In CVPR’12,pp. 454-461, 2012.
고정 thresholding을 이용한 방법은 간단히 thresholding 값을 0부터 255까지 변환시키면서 획득된 이진 영상과 ground truth 마스크 영상을 비교해 평균 precision-recall 값을 계산하고 이를 이용해 획득된 precision-recall 커브를 비교하는 방식으로 [수학식 20]에 의해 산출된다.
Figure pat00093
여기서, W와 H는 중요도맵의 가로와 세로 길이이고, S(x,y)는 (x,y)위치의 중요도 값이다.
adaptive thresholding 방법은 다음과 같이 계산되는 adaptive thresholding 값을 이용해 얻어진 이진영상과 ground truth 마스크 영상을 비교하여 F-측정값을 비교하는 방식으로 [수학식 21]에 의해 산출된다.
Figure pat00094
여기서,
Figure pat00095
는 precision 값이고,
Figure pat00096
는 recall 값이다.
도 6 내지 도 8은 본 발명에 따른 객체 검출 결과를 나타낸 도면이다. 자세하게는 도 6은 본 발명을 이용해 실험영상에 대한 중요영역을 검출한 결과의 예를 기존의 방법과 비교해 시각적으로 나타낸 도면으로서, 도 6의 종 방향으로 5가지 입력 영상의 예에 따라 횡 방향으로 시차맵과 기존의 객체 검출 방법에 따른 객체 검출 결과를 비교하여 나타내고 있다. 도 6에서 (a)는 입력 영상의 좌안 영상, (b)는 입력 영상의 우안 영상, (c)는 입력된 좌안 영상과 우안 영상의 픽셀의 차에 따른 시차를 시차맵으로 나타낸 것이고, (d)~(i)는 상기 종래기술 CA, 상기 종래기술 GB, 상기 종래기술 SR, 상기 종래기술 FT, 상기 종래기술 RC, 상기 종래기술 SS 순서의 입력 영상별 객체 검출 결과를 나타내고 있고, (j)는 본 발명에 따른 입력 영상별 객체 검출 결과를 나타내고 있다.
그리고, 도 7은 고정 thresholding을 이용해 계산된 precision-recall 커브를 나타낸 도면이고, 도 8은 F-측정값을 비교한 도면이다. 도시된 바와 같이 본 발명에 따른 객체 검출 성능이 제시한 기존의 주요 방법에 비해 보다 좋은 결과를 보여줌을 확인할 수 있다.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

Claims (13)

  1. (A) 입력된 스테레오스코픽 영상에 이용되는 좌안 영상과 우안 영상을 칼라값의 유사도와 픽셀간의 거리에 기초하여 영상의 영역을 분할하는 단계;
    (B) 상기 좌안 영상과 상기 우안 영상의 픽셀차이를 이용해 획득된 시차(disparity)를 이용하여 분할된 영역의 시차맵(disparity map)을 생성하는 단계;
    (C) 상기 (A) 단계 및 상기 (B)단계의 분할된 영역 간 비교하여 대비(contrast) 기반 중요도를 산출하는 단계;
    (D) 시각적으로 주요하게 인식되는 영상의 특징적 요소를 사전 지식(prior knowledge)으로 이용하여, 상기 분할된 영역을 상기 사전 지식(prior knowledge)에 기초하여 중요도를 산출하는 단계; 및
    (E) 상기 대비 기반 중요도와 상기 사전 지식 기반 중요도에 기초하여 영상의 중요 영역을 검출하는 단계를 포함하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  2. 제1항에 있어서,
    상기 (C) 단계에서는 상기 분할된 영역들의 칼라 차이와 시차에 기초하여 분할된 영역의 대비 기반 중요를 판단하되, 상기 시차의 품질 정도에 따른 시차 신뢰측정치가 적용되어 산출되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  3. 제2항에 있어서,
    상기 시차 신뢰 측정치는 시차 계산 비용 함수의 곡률에 의해 산출되며;
    상기 곡률은
    Figure pat00097

    (여기서,
    Figure pat00098
    ,
    Figure pat00099
    , d는 시차, W(x)는 중심이 x인 지역 윈도우(local window),
    Figure pat00100
    ,
    Figure pat00101
    는 각각 채널(channel) ch에서의 정규화된(normalized) 왼쪽과 오른쪽 영상)인 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  4. 제3항에 있어서,
    상기 (C) 단계에서는
    상기 (A)단계와 상기 (B)단계의 분할된 영역에서 각각의 영역은 자신을 포함하지 않은 나머지 분할 영역들 간의 대비 차의 평균에 기초하여 분할 영역의 대비 기반 중요도를 산출하는 단계를 포함하는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  5. 제4항에 있어서,
    상기 (C) 단계에서
    상기 대비 차가 산출되는 영역 간의 칼라 차이와 시차는 바타차리야 거리(Battacharyya distance)에 기초하여 대비 기반 중요도가 산출되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  6. 제5항에 있어서,
    상기 (C) 단계에서는
    상기 (A)단계와 상기 (B)단계의 분할된 영역에서 각각의 분할 영역은 상기 각각의 분할영역의 경계면에 인접한 분할 영역들과의 대비 차의 평균에 기초하여 분할 영역의 대비 기반 중요도를 산출하는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  7. 제1항에 있어서,
    상기 (D) 단계에서는
    상기 (A) 단계와 상기 (B) 단계의 분할된 영역이 갖는 이미지 특징에 따른 이미지 기반 사전 중요도 산출 단계와,
    상기 (A) 단계와 상기 (B) 단계의 분할된 영역이 갖는 공간적 특징에 따른 공간 기반 사전 중요도를 산출 단계를 포함하며;
    상기 사전 지식 기반 중요도는 상기 이미지 기반 사전 중요도와 상기 공간 기반 사전 중요도가 함께 반영되어 산출되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  8. 제7항에 있어서,
    상기 이미지 기반 사전 중요도에는 분할된 영역의 갖는 주파수, 칼라 및 사이즈에 따른 사전 지식이 반영되고,
    상기 공간 기반 사전 중요도에는 분할된 영역의 위치 및 시차에 따른 사전 지식이 반영되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  9. 제8항에 있어서,
    상기 주파수에 따른 사전 지식 중요도는
    밴드 패스 필터(band-pass filter)를 이용하며, 영상의 RGB 값을 갖는 칼라 공간을 CIELab로 변환한 후, 분할 영역에 대한 픽셀값의 변화에 대응하는 주파수 정도에 기초하여 사전 지식 중요도가 산출되며;
    상기 주파수가 큰 값을 갖는 분할 영역에 중요도가 높게 부여되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  10. 제8항에 있어서,
    상기 칼라에 따른 사전 지식 중요도는
    기 마련된 칼라별 중요도를 참조하여 분할 영역이 갖는 픽셀의 CIELab 칼라값에 기초하여 분할 영역의 사전 지식 중요도가 산출되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  11. 제8항에 있어서,
    상기 사이즈에 따른 사전 지식 중요도는
    분할 영역의 사이즈를 비교하여 산출하며;
    비교된 분할 영역의 사이즈가 클수록 중요도가 높게 부여되는 것을 특징으로 하는 스테레오스코픽 영상의 주요 객체 검출 방법.
  12. 제8항에 있어서,
    상기 위치에 따른 사전 지식 중요도는
    분할 영역이 각 영상의 중심에 위치하는 정도에 따라 산출되며;
    분할 영역이 중심에 위치할수록 중요도가 높게 부여되는 것을 특징으로 하는 스트레오스코픽 영상의 주요 객체 검출 방법
  13. 제8항에 있어서,
    상기 시차에 따른 사전 지식 중요도는
    상기 (B)단계의 분할된 영역의 시차에 따라 산출되며;
    분할 영역이 음(-)의 시차를 가지는 물체일수록 중요도가 높게 부여되는 것을 특징으로 하는 스트레오스코픽 영상의 주요 객체 검출 방법.
KR1020130157077A 2013-12-17 2013-12-17 스테레오스코픽 영상에서의 주요 객체 검출 방법 KR101537174B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130157077A KR101537174B1 (ko) 2013-12-17 2013-12-17 스테레오스코픽 영상에서의 주요 객체 검출 방법
US14/262,636 US9262691B2 (en) 2013-12-17 2014-04-25 Method for extracting salient object from stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130157077A KR101537174B1 (ko) 2013-12-17 2013-12-17 스테레오스코픽 영상에서의 주요 객체 검출 방법

Publications (2)

Publication Number Publication Date
KR20150070629A true KR20150070629A (ko) 2015-06-25
KR101537174B1 KR101537174B1 (ko) 2015-07-15

Family

ID=53368874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130157077A KR101537174B1 (ko) 2013-12-17 2013-12-17 스테레오스코픽 영상에서의 주요 객체 검출 방법

Country Status (2)

Country Link
US (1) US9262691B2 (ko)
KR (1) KR101537174B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치
KR20200048413A (ko) 2018-10-30 2020-05-08 서강대학교산학협력단 샷 단위 중요 객체 추출 방법 및 장치
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661296B2 (en) * 2012-07-12 2017-05-23 Samsung Electronics Co., Ltd. Image processing apparatus and method
US9558423B2 (en) * 2013-12-17 2017-01-31 Canon Kabushiki Kaisha Observer preference model
US10032280B2 (en) * 2014-09-19 2018-07-24 Brain Corporation Apparatus and methods for tracking salient features
WO2016187124A1 (en) 2015-05-17 2016-11-24 Endochoice, Inc. Endoscopic image enhancement using contrast limited adaptive histogram equalization (clahe) implemented in a processor
CN105551060A (zh) * 2015-12-10 2016-05-04 电子科技大学 基于时空显著性和四元余弦变换的红外弱小目标检测方法
EP3403403B1 (en) * 2016-01-12 2023-06-07 Shanghaitech University Calibration method and apparatus for panoramic stereo video system
CN106127197B (zh) * 2016-04-09 2020-07-07 北京交通大学 基于显著标签排序的图像显著性目标检测方法和装置
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) * 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10593057B2 (en) * 2016-12-22 2020-03-17 Dermagenesis, Llc Touchless wound measurement, wound volume measurement, and other wound measurement
CN106651853B (zh) * 2016-12-28 2019-10-18 北京工业大学 基于先验知识和深度权重的3d显著性模型的建立方法
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
CN107067030A (zh) * 2017-03-29 2017-08-18 北京小米移动软件有限公司 相似图片检测的方法和装置
US10979687B2 (en) 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN107391661B (zh) * 2017-07-18 2020-06-16 海信集团有限公司 推荐词显示方法及装置
CN107665488B (zh) * 2017-09-14 2019-12-24 浙江科技学院 一种立体图像视觉显著提取方法
CN107680416A (zh) * 2017-09-28 2018-02-09 深圳市鑫汇达机械设计有限公司 一种智能儿童学习机系统
CN107895162B (zh) * 2017-10-17 2021-08-03 天津大学 基于物体先验的图像显著性目标检测算法
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN108734173A (zh) * 2018-04-20 2018-11-02 河海大学 基于Gestalt优化的红外视频时空显著性检测方法
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN108921130B (zh) * 2018-07-26 2022-03-01 聊城大学 基于显著性区域的视频关键帧提取方法
CN109448015B (zh) * 2018-10-30 2021-03-30 河北工业大学 基于显著图融合的图像协同分割方法
CN109670506B (zh) * 2018-11-05 2021-04-06 中国科学院计算技术研究所 基于克罗内克卷积的场景分割方法和系统
CN109523534A (zh) * 2018-11-14 2019-03-26 北京奇艺世纪科技有限公司 一种基于视觉角度的显著性区域检测方法及装置
CN112183633B (zh) * 2020-09-29 2023-07-04 西安理工大学 基于改进的ft算法的高光谱图像显著目标检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6862364B1 (en) * 1999-10-27 2005-03-01 Canon Kabushiki Kaisha Stereo image processing for radiography
KR101960844B1 (ko) * 2011-11-01 2019-03-22 삼성전자주식회사 영상 처리 장치 및 방법
KR101282742B1 (ko) 2011-11-11 2013-07-05 재단법인대구경북과학기술원 3차원 영상을 이용한 객체 검출 장치 및 그 방법
CN104736085B (zh) * 2012-10-12 2018-01-30 直观外科手术操作公司 确定医疗器械在分支解剖结构中的位置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치
KR20200048413A (ko) 2018-10-30 2020-05-08 서강대학교산학협력단 샷 단위 중요 객체 추출 방법 및 장치
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity

Also Published As

Publication number Publication date
US9262691B2 (en) 2016-02-16
US20150169983A1 (en) 2015-06-18
KR101537174B1 (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
KR101537174B1 (ko) 스테레오스코픽 영상에서의 주요 객체 검출 방법
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN105404888B (zh) 结合颜色和深度信息的显著性目标检测方法
US8989481B2 (en) Stereo matching device and method for determining concave block and convex block
JP2014096062A (ja) 画像処理方法及び画像処理装置
CN106295640A (zh) 一种智能终端的物体识别方法和装置
EP3073443A1 (en) 3D Saliency map
CN114998320B (zh) 视觉显著性检测的方法、系统、电子装置和存储介质
KR20110021500A (ko) 이동객체의 실시간 추적과 거리 측정 방법 및 그 장치
RU2370817C2 (ru) Система и способ отслеживания объекта
Haq et al. An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images
Mukherjee et al. A hybrid algorithm for disparity calculation from sparse disparity estimates based on stereo vision
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
Iatsun et al. A visual attention model for stereoscopic 3D images using monocular cues
Iatsun et al. Using monocular depth cues for modeling stereoscopic 3D saliency
San et al. Stereo matching algorithm by hill-climbing segmentation
CN110942480A (zh) 一种单目单帧多光谱三维成像方法
Howells et al. Depth maps comparisons from monocular images by MiDaS convolutional neural networks and dense prediction transformers
Aziz et al. Pre-attentive detection of depth saliency using stereo vision
US11983893B2 (en) Systems and methods for hybrid depth regularization
Zhang et al. An quality metric for 3D rendered image based on stereo saliency and structural similarity
Abd Manap et al. Disparity Depth Map Layers Representation for Image View Synthesis
Cho et al. A new saliency detection method for stereoscopic images using contrast and prior knowledge
Rajeev et al. No-reference color-depth quality measure: CDME
Iatsun et al. Spatio-temporal modeling of visual attention for stereoscopic 3D video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180709

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 5