KR101575997B1 - Dibr 3d 이미지 판별 장치 및 방법 - Google Patents

Dibr 3d 이미지 판별 장치 및 방법 Download PDF

Info

Publication number
KR101575997B1
KR101575997B1 KR1020150000218A KR20150000218A KR101575997B1 KR 101575997 B1 KR101575997 B1 KR 101575997B1 KR 1020150000218 A KR1020150000218 A KR 1020150000218A KR 20150000218 A KR20150000218 A KR 20150000218A KR 101575997 B1 KR101575997 B1 KR 101575997B1
Authority
KR
South Korea
Prior art keywords
image
hole
filling
edge
area
Prior art date
Application number
KR1020150000218A
Other languages
English (en)
Inventor
이흥규
정대진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150000218A priority Critical patent/KR101575997B1/ko
Application granted granted Critical
Publication of KR101575997B1 publication Critical patent/KR101575997B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T7/0085—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

일 실시예에 따른 이미지를 판별하는 방법은, 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정하는 단계; 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계; 및 상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계를 포함할 수 있다.

Description

DIBR 3D 이미지 판별 장치 및 방법{METHOD AND DEVICE FOR DETECTION OF DEPTH-IMAGE-BASED RENDERING 3D IMAGE}
아래의 설명은 이미지를 판별하는 기술에 관한 것으로, 3D 이미지를 판별하는 방법 및 장치에 관한 것이다.
3D 영상을 저장하는 방식에는 크게 두 가지가 존재한다. 첫째로, 좌안 영상 및 우안 영상을 저장하는 방식이 있다. 좌안 영상 및 우안 영상을 저장하는 방식은 특별한 영상 처리 없이 바로 화면에 출력을 할 수 있는 장점이 있지만, 양안에 해당하는 영상들을 저장하기 때문에 데이터 저장 공간이 많이 필요하다는 단점이 있다. 두 번째로, 중앙 영상과 깊이 영상을 저장하는 방식이 있다. 중앙 영상과 깊이 영상을 저장하는 방식은 깊이 영상의 적은 용량으로 인하여 데이터 저장 공간이 적게 필요하다는 장점이 있지만, 영상을 화면에 출력하기 전에 사람이 볼 수 있는 형태인 좌안 및 우안 영상으로 변환을 해야 한다는 단점이 있다.
최근 실감 있는 입체감으로 인해 3D 영상이 인기를 끌고 있지만, 계속되는 3D 콘텐츠와 기술 발전의 요구에도 불구하고 3D 영상에 대한 저작권 보호는 미미한 실정이다. 3D 콘텐츠의 영상 유출은 3D 콘텐츠를 위한 양안 이미지 모두가 유출되는 경우뿐만 아니라, 좌안 영상 및 우안 영상 중 하나만이라도 유출되는 경우도 포함한다. 좌안 영상 및 우안 영상 중 하나만이라도 유출되는 경우에도 콘텐츠로써의 가치를 가지기 때문에 3D 영상 저작권을 위한 기술이 필요하다. 또한, 기존 2D 영상에 적용되던 디지털 워터마킹 기술들은 DIBR을 통해서 새로운 영상을 만들어 냈을 경우, 이 영상들에 대해서는 워터마크 검출이 되지 않는 경우가 많다. DIBR이 기존 저작권 보호 기술의 회피 목적으로 사용될 가능성이 있기 때문에, DIBR로 만들어진 좌안 영상 및 우안 영상을 탐지하는 기술이 필요하다.
본 발명의 실시예들은 3D 콘텐츠 중에서도 DIBR(Depth-Image-Based Rendering)을 통해서 만들어진 3D 이미지를 위한 저작권 보호하기 위한 이미지 판별 장치 및 방법을 제안한다.
일 실시예에 따른 이미지를 판별하는 방법은, 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정하는 단계; 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계; 및 상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계를 포함할 수 있다.
일측에 따르면, 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는, 가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는, 가로 방향의 미분 필터를 적용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하고, 상기 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는, 상기 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지(False-positive) 영역을 제거하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계는, 상기 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지(False-positive) 에지를 필터링하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계는, 상기 정제 과정을 수행한 엣지에 대한 그룹화를 통하여 기설정된 크기 이하의 엣지를 제거하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계는, 상기 추정된 홀-필링이 발생한 영역과 상기 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정하는 단계를 포함할 수 있다.
또 다른 일측에 따르면, 상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계는, 상기 엣지에 매칭되지 않는 상기 추정된 홀-필링이 발생한 영역을 제거하는 단계를 포함할 수 있다.
일 실시예에 따른 이미지를 판별하는 장치는, 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정하는 홀-필링 영역 추정부; 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 엣지 추출부; 및 상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 매칭부를 포함할 수 있다.
일측에 따르면, 상기 홀-필링 영역 추정부는, 가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정할 수 있다.
또 다른 일측에 따르면, 상기 홀-필링 영역 추정부는, 가로 방향의 미분 필터를 적용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하고, 상기 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정할 수 있다.
또 다른 일측에 따르면, 상기 홀-필링 영역 추정부는, 상기 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지(False-positive) 영역을 제거할 수 있다.
또 다른 일측에 따르면, 상기 엣지 추출부는, 상기 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지(False-positive) 에지를 필터링할 수 있다.
또 다른 일측에 따르면, 상기 엣지 추출부는, 상기 정제 과정을 수행한 엣지에 대한 그룹화를 통하여 기설정된 크기 이하의 엣지를 제거할 수 있다.
또 다른 일측에 따르면, 상기 매칭부는, 상기 추정된 홀-필링이 발생한 영역과 상기 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정할 수 있다.
또 다른 일측에 따르면, 상기 매칭부는, 상기 엣지에 매칭되지 않는 상기 추정된 홀-필링이 발생한 영역을 제거할 수 있다.
일 실시예에 따른 이미지 판별 장치는 DIBR로 만들어진 3D 이미지 중 유출된 3D 이미지를 판별하고, 더 나아가 좌안 영상 또는 우안 영상을 판별할 수 있다. 또한, 2D 이미지 워터마크를 무력화시킬 수 있는 DIBR 과정의 적용 여부를 판단하여 3D뿐만 아니라 2D 멀티미디어의 저작권까지 보호할 수 있다.
일 실시예에 따른 이미지 판별 장치는 웹하드 제공 업체, 각종 UCC 및 클라우드 제공 업체에서 업로드 되는 DIBR 3D 이미지를 탐지하여 사전에 불법 배포인지 판단할 수 있다. 또한, 불법 유출되는 DIBR 3D 탐지 소프트웨어를 개발 하는데 적용될 수 있다.
도 1은 일 실시예에 따른 이미지 판별 장치의 구성을 나타낸 블록도이다.
도 2는 일 실시예에 따른 이미지 판별 장치에서 엣지를 추출한 예를 나타낸 도면이다.
도 3은 일 실시예에 따른 이미지 판별 장치에서 홀-필링이 발생한 영역을 추정한 예를 나타낸 도면이다.
도 4는 일 실시예에 따른 이미지 판별 장치의 이미지 판별 방법을 나타낸 흐름도이다.
도 5는 일 실시예에 따른 이미지 판별 장치의 홀-필링이 발생한 영역을 추출하는 방법을 나타낸 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 1은 일 실시예에 따른 이미지 판별 장치의 구성을 나타낸 블록도이다.
이미지 판별 장치(100)는 DIBR(Depth-Image-Based-Rendering)으로 인하여 생성된 좌안 영상 및 우안 영상을 탐지하기 위한 장치로서, 예를 들면, 멀티미디어 디지털 포렌식 기법을 이용하여 홀-필링(Hole-Filling)이 발생한 영역을 추출할 수 있다. 이때, 멀티미디어 포렌식 기법이란 사용자들에 의하여 주로 사용되는 디지털 영상 및 동영상 등은 객관적인 정보로써 여겨지며, 이러한 디지털 영상 및 동영상 등의 디지털 멀티미디어 콘텐츠의 무결성을 확인하고, 조작이 일어난 영역까지 추정하는 기술을 의미할 수 있다.
DIBR이란 중앙 영상과 깊이 영상으로 이루어진 3D 영상을 이용하여 좌안 및 우안 영상으로 만드는 방법을 의미한다. 상기 방법을 이용하면 깊이 정보를 이용하여 중앙 영상의 각 픽셀을 좌안 영상 및 우안 영상으로 워핑(Warping)하게 된다. 이 과정에서 각 픽셀은 좌우 방향으로 중앙 영상의 위치와는 다른 방향으로 이동을 하게 되고 수학식 1과 같이 나타낼 수 있다.
수학식 1:
Figure 112015000212410-pat00001
여기에서
Figure 112015000212410-pat00002
,
Figure 112015000212410-pat00003
,
Figure 112015000212410-pat00004
는 각각 상대 깊이, 초점 거리, 양안의 baseline 거리를 의미할 수 있다. 이 과정에 의하여 생성된 좌/우안 영상은 홀(Hole)이라는 영역이 생겨나게 되는데, 이것은 각 시점에서는 보이지만 중앙 영상에서는 보이지 않는 부분에 의해서 발생되는 영역이다. 이를 보완하기 위하여 홀-필링 알고리즘을 사용하게 되는데, 홀-필링 알고리즘은 대부분 가로 방향의 보간법을 이용한다.
이미지 판별 장치(100)는 홀-필링 영역 추정부(110), 엣지 추출부(120) 및 매칭부(130)를 포함할 수 있다.
홀-필링 영역 추정부(110)는 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정할 수 있다. 예를 들면, 홀-필링 영역 추정부(110)는 가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계를 포함할 수 있다.
홀-필링 영역 추정부(110)는 가로 방향의 미분 필터를 적용하여 이미지로부터 홀-필링이 발생한 영역을 추정하고, 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정할 수 있다. 홀-필링 영역 추정부(110)는 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지(False-Positive) 영역을 제거할 수 있다.
엣지 추출부(120)는 세로 방향의 미분 필터를 이용하여 이미지로부터 엣지(Edge)를 추출할 수 있다. 엣지 추출부(120)는 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지 엣지를 필터링할 수 있다. 엣지 추출부(120)는 정제 과정을 수행한 엣지에 대한 그룹화를 수행하여 기설정된 크기 이하의 엣지를 제거할 수 있다.
매칭부(130)는 이미지로부터 추정된 홀-필링이 발생한 영역과 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출할 수 있다. 매칭부(130)는 추정된 홀-필링이 발생한 영역과 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정할 수 있다. 매칭부(130)는 엣지에 매칭되지 않는 추정된 홀-필링이 발생한 영역을 제거할 수 있다.
도 2는 일 실시예에 따른 이미지 판별 장치에서 엣지를 추출한 예를 나타낸 도면이다.
이미지 판별 장치는 세로 방향의 미분 필터를 이용하여 이미지로부터 엣지를 추출할 수 있다. 이때, 이미지를 그레이 스케일 이미지로 변환할 수 있으며, 엣지를 추출하기 위하여 2개의 다른 1차 미분 3x3 필터를 사용할 수 있다. 이미지(210)는 DIBR에서 좌안 영상을 나타낸 것이고, 이미지(220)는 엣지를 추출한 것을 나타낸 것이다. 이때, 도면을 참고하면 더 밝은 영역은 엣지일 수 있다.
이미지 판별 장치는 추출된 엣지에 임계 과정을 수행할 수 있다. 임계 과정은 이진화를 수행할 수 있다. 이미지(230)는 엣지 임계 과정을 수행한 이진화의 결과를 나타낸 것이다.
이미지 판별 장치는 추출된 엣지에 대하여 정제 과정을 수행할 수 있다. 이때, 이미지 판별 장치는 추정된 엣지를 정제할 수 있고, 이동 객체에 속하지 않는 엣지와 오탐지된(False-Positive) 엣지는 제거될 수 있다. 추정된 엣지는 8-way connected components그룹화를 수행할 수 있다. 그룹의 크기가 기설정된 임계값보다 작다면, 임계값보다 작은 엣지들을 제거할 수 있다. 이미지(240)는 엣지 정제 과정을 수행한 결과를 나타낸 것이다.
정제 과정을 수행한 엣지는 8-way connected components를 이용한 재그룹화를 수행할 수 있다. 이에 따라 이미지 판별 장치는 엣지 그룹화 및 홀-필링 그룹화를 매칭시킴으로써 홀-필링이 발생한 영역을 추정할 수 있고, LR을 판별하는 단서가 될 수 있다.
도 3은 일 실시예에 따른 이미지 판별 장치에서 홀-필링이 발생한 영역을 추정한 예를 나타낸 도면이다.
이미지 판별 장치는 홀-필링이 발생한 영역을 추정할 수 있다. DIBR에서 생성된 이미지는 홀-필링이 발생한 영역을 포함할 수 있다. 대부분의 홀-필링 알고리즘은 중앙 이미지에서 객체가 수평 방향으로 이동되는 특성을 때문에 수평 보간을 이용할 수 있다. 그러면, 홀-필링이 발생한 영역에서 픽셀들은 수평 인접 화소와 상관될 수 있다. 이미지 판별 장치는 수평 상관을 탐지하기 위하여 3x3 2차 미분 필터가 사용될 수 있다. 이미지(310)는 좌안 영상의 홀-필링이 발생한 영역을 나타낸 것이고, 이미지(320)는 이미지(310)으로부터 수평 미분 필터링을 적용한 예를 나타낸 것이다.
이미지 판별 장치는 홀-필링이 발생한 영역의 대부분은 수평 미분 필터링의 결과로 어둡게 표시될 수 있다. 홀-필링이 발생한 영역을 제외하고 다수의 어둡게 표시된 지점은 셔터 소음 및 촬영 잡음을 포함한 영상 부품 및 센서 소음 등에 의하여 나타날 수 있다. 임계 과정은 이러한 어둡게 표시된 지점들을 필터링하기 위하여 실시될 수 있다.
임계 과정은 오탐지 영역과 추출된 엣지 및 추정된 홀-필링이 발생한 영역 사이의 매칭에 있어서 계산 복잡성을 낮출 수 있는 임계값으로 설정될 수 있다. 이미지(330)는 임계 과정을 수행한 결과를 나타낸 것으로, 여전히 오탐지 영영역을 포함할 수 있다. 오탐지 영역을 최소화하기 위하여, 다양한 이미지 처리가 수행될 수 있다.
Dilation, median 필터링 및 8-way connected component를 이용한 작은 크기의 영역 제거는 홀-필링이 발생한 영역을 획득하기 위하여 순차적으로 실행될 수 있다. 추정된 홀-필링이 발생한 영역을 추출된 엣지와 매칭시키기 위하여 8-way connected component를 이용하여 재그룹화를 수행할 수 있다.
이미지(340) 내지 이미지(360)는 연산을 수행한 결과를 나타낸 것이다. 이미지(340)는 dilation&complement를 수행한 것을 나타낸 것이고, 이미지(350)는 median 필터링을 수행한 것을 나타낸 것이고, 이미지(360)는 작은 크기의 홀-필링이 발생한 영역을 제거한 것을 나타낸 것이다.
도 4는 일 실시예에 따른 이미지 판별 장치의 이미지 판별 방법을 나타낸 흐름도이다.
단계(410)에서 이미지 판별 장치는 이미지로부터 홀-필링이 발생한 영역을 추정할 수 있다. 이때, 이미지 판별 장치는 가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정할 수 있다. 이미지 판별 장치는 가로 방향의 미분 필터를 적용하여 이미지로부터 홀-필링이 발생한 영역을 추정할 수 있고, 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정할 수 있다. 이미지 판별 장치는 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지 영역을 제거할 수 있다.
단계(420)에서 이미지 판별 장치는 세로 방향의 미분 필터를 이용하여 이미지로부터 엣지를 추출할 수 있다. 이미지 판별 장치는 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지 엣지를 필터링할 수 있다. 이미지 판별 장치는 정제 과정을 수행한 엣지에 대한 그룹화를 통하여 기설정된 크기 이하의 엣지를 제거할 수 있다.
단계(430)에서 이미지 판별 장치는 이미지로부터 추정된 홀-필링이 발생한 영역과 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출할 수 있다. 이때, 이미지 판별 장치는 추정된 홀-필링이 발생한 영역과 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정할 수 있다. 이미지 판별 장치는 엣지에 매칭되지 않는 추정된 홀-필링이 발생한 영역을 제거함으로써 홀-필링이 발생한 영역을 추출할 수 있다.
도 5는 일 실시예에 따른 이미지 판별 장치의 홀-필링이 발생한 영역을 추출하는 방법을 나타낸 도면이다.
이미지 판별 장치는 DIBR로 인하여 생성된 좌안 영상 및 우안 영상을 탐지하기 위하여 처음 주어진 영상이 있을 때, 상기 영상이 DIBR로 인하여 생성된 영상인지 여부를 판단하기 위하여 2가지 프로세스가 수행될 수 있다. 제1 프로세스는 홀-필링이 발생한 영역을 추정하는 프로세스이며, 제2 프로세스는 영상의 세로 방향의 엣지를 추출해내는 프로세스이다.
홀-필링이 발생한 영역을 추정하는 제1 프로세스는 가로 방향의 보간법의 특징을 추정하기 위하여, 이미지(510)에 가로 방향의 2차 미분 필터를 적용할 수 있다(520). 이미지 판별 장치는 2차 미분 필터를 적용한 이미지에 복수의 제련 과정을 수행함으로써 홀-필링이 발생한 영역을 더욱 잘 추정할 수 있다. 예를 들면, 추정된 홀-필링이 발생한 영역의 결과를 임계 과정 및 median 필터를 이용하는 등의 여러 가지 제련 과정을 통하여 홀-필링이 발생한 영역을 더욱 잘 추정할 수 있도록 보완할 수 있다(521). 추가적으로, connected component로 그룹을 지어 특정 크기 이하의 오탐지 영역을 제거할 수 있다(522).
세로 방향의 엣지를 추출해내는 제2 프로세스는 세로 방향의 엣지를 추출하기 위한 세로 방향 미분 필터를 적용할 수 있다(530). 이미지 판별 장치는 추출된 세로 방향의 엣지를 더 제련하기 위하여 임계 과정 등을 수행할 수 있다(531). 이후, 크기가 작은 엣지들을 제거하기 위하여 connected component로 그룹을 지정함으로써 특정 값을 기준으로 영역의 크기가 작은 엣지들을 제거할 수 있다(532).
이미지 판별 장치는 추출된 세로 방향의 엣지와 추정된 홀-필링이 발생한 영역을 매칭시킴으로써 홀-필링이 발생한 영역을 추출할 수 있다(540). 이때, 같은 행에 위치된 픽셀들만이 수평 거리를 확인하기 위하여 비교될 수 있다. 이미지 판별 장치는 추정된 홀-필링이 발생한 영역과 세로 방향의 엣지의 가로 방향 사이의 거리를 측정할 수 있고, 측정된 거리를 통하여 실제 DIBR 과정으로 인하여 생성된 홀-필링이 발생한 영역을 추출할 수 있다.
더욱 상세하게는, 매칭 과정이 수행되기 전에, 추정된 홀-필링이 발생한 영역의 엣지 픽셀들은 모든 쌍을 비교하는 시간 복잡도를 줄이기 위하여 추출될 수 있다. 매칭이 수행되면, 엣지에 매칭되지 않는 홀-필링이 발생한 영역을 제거하고, 주어진 이미지는 좌안 영상 및 우안 영상으로 분류될 수 있다. 이미지 판별 장치는 객체의 가장자리와 연관 없는 추가적인 홀-필링이 발생한 영역은 복구될 수 있다.
일 실시예에 따른 이미지 판별 장치는 매칭 과정을 통하여 상기 이미지가 좌안 영상인지 우안 영상인지를 판단할 수 있고, 저작권 분쟁이 발생하였을 때에도 도움이 될 수 있는 추가 정보를 제공할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 이미지를 판별하는 방법에 있어서,
    상기 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정하는 단계;
    세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계; 및
    상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계
    를 포함하는 이미지 판별 방법.
  2. 제1항에 있어서,
    상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는,
    가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계
    를 포함하는 이미지 판별 방법.
  3. 제2항에 있어서,
    상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는,
    가로 방향의 미분 필터를 적용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하고, 상기 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정하는 단계
    를 포함하는 이미지 판별 방법.
  4. 제3항에 있어서,
    상기 이미지로부터 홀-필링이 발생한 영역을 추정하는 단계는,
    상기 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지(False-positive) 영역을 제거하는 단계
    를 포함하는 이미지 판별 방법.
  5. 제1항에 있어서,
    상기 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계는,
    상기 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지(False-positive) 엣지를 필터링하는 단계
    를 포함하는 이미지 판별 방법.
  6. 제5항에 있어서,
    상기 세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 단계는,
    상기 정제 과정을 수행한 엣지에 대한 그룹화를 통하여 기설정된 크기 이하의 엣지를 제거하는 단계
    를 포함하는 이미지 판별 방법.
  7. 제1항에 있어서,
    상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계는,
    상기 추정된 홀-필링이 발생한 영역과 상기 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정하는 단계
    를 포함하는 이미지 판별 방법.
  8. 제7항에 있어서,
    상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 단계는,
    상기 엣지에 매칭되지 않는 상기 추정된 홀-필링이 발생한 영역을 제거하는 단계
    를 포함하는 이미지 판별 방법.
  9. 이미지를 판별하는 장치에 있어서,
    상기 이미지로부터 홀-필링(Hole-Filling)이 발생한 영역을 추정하는 홀-필링 영역 추정부;
    세로 방향의 미분 필터를 이용하여 상기 이미지로부터 엣지(Edge)를 추출하는 엣지 추출부; 및
    상기 이미지로부터 추정된 홀-필링이 발생한 영역과 상기 이미지로부터 추출된 엣지를 매칭시킴으로써 홀-필링이 발생한 영역을 추출하는 매칭부
    를 포함하는 이미지 판별 장치.
  10. 제9항에 있어서,
    상기 홀-필링 영역 추정부는,
    가로축 보간법의 흔적을 이용한 추정 기법을 이용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하는
    이미지 판별 장치.
  11. 제10항에 있어서,
    상기 홀-필링 영역을 추정부는,
    가로 방향의 미분 필터를 적용하여 상기 이미지로부터 홀-필링이 발생한 영역을 추정하고, 상기 추정된 홀-필링이 발생한 영역에 대하여 임계 및 정제 과정을 수행하여 홀-필링이 발생한 영역을 재추정하는
    이미지 판별 장치.
  12. 제11항에 있어서,
    상기 홀-필링 영역 추정부는,
    상기 재추정된 홀-필링이 발생한 영역에 대하여 그룹화를 수행하여 기설정된 크기 이하의 오탐지(False-positive) 영역을 제거하는
    이미지 판별 장치.
  13. 제9항에 있어서,
    상기 엣지 추출부는,
    상기 추출된 엣지에 대하여 정제 과정을 수행하여 오탐지(False-positive) 에지를 필터링하는
    이미지 판별 장치.
  14. 제13항에 있어서,
    상기 엣지 추출부는,
    상기 정제 과정을 수행한 엣지에 대한 그룹화를 통하여 기설정된 크기 이하의 엣지를 제거하는
    이미지 판별 장치.
  15. 제9항에 있어서,
    상기 매칭부는,
    상기 추정된 홀-필링이 발생한 영역과 상기 세로 방향의 엣지 사이의 거리를 가로 방향으로 측정하는
    이미지 판별 장치.
  16. 제15항에 있어서,
    상기 매칭부는,
    상기 엣지에 매칭되지 않는 상기 추정된 홀-필링이 발생한 영역을 제거하는
    이미지 판별 장치.
KR1020150000218A 2015-01-02 2015-01-02 Dibr 3d 이미지 판별 장치 및 방법 KR101575997B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150000218A KR101575997B1 (ko) 2015-01-02 2015-01-02 Dibr 3d 이미지 판별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150000218A KR101575997B1 (ko) 2015-01-02 2015-01-02 Dibr 3d 이미지 판별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101575997B1 true KR101575997B1 (ko) 2015-12-11

Family

ID=55020688

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150000218A KR101575997B1 (ko) 2015-01-02 2015-01-02 Dibr 3d 이미지 판별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101575997B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358587A (zh) * 2017-07-12 2017-11-17 宁波视睿迪光电有限公司 图像修补方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Lin, Yu-Hsun, and Ja-Ling Wu. "A digital blind watermarking for depth-image-based rendering 3D images." Broadcasting, IEEE Transactions on 57.2 (2011): 602-611.
Wang, Shen, Chen Cui, and Xiamu Niu. "Watermarking for DIBR 3D images based on SIFT feature points." Measurement 48 (2014): 54-62.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358587A (zh) * 2017-07-12 2017-11-17 宁波视睿迪光电有限公司 图像修补方法及系统

Similar Documents

Publication Publication Date Title
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
CN105631813B (zh) 图像处理方法
US10043278B2 (en) Method and apparatus for reconstructing 3D face with stereo camera
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
US20090190852A1 (en) Image inpainting method and apparatus based on viewpoint change
KR20180086218A (ko) Rgbd 카메라 포즈들의 대규모 결정을 위한 방법들 및 시스템들
JP6299373B2 (ja) 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置
KR20120049636A (ko) 영상 처리 장치 및 방법
KR20120014876A (ko) 영상 처리 장치 및 방법
WO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP3110149B1 (en) A system and a method for depth-image-based rendering
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
JP2013500536A (ja) 立体画像対における遠近感および視差の調整
JP2010056689A5 (ko)
JP2018036898A5 (ja) 画像処理装置及び画像処理方法及びプログラム
KR20160078215A (ko) 이미지 처리 방법 및 장치
KR101328266B1 (ko) 열간 슬라브의 표면 크랙 검출 장치
KR101575997B1 (ko) Dibr 3d 이미지 판별 장치 및 방법
KR20180047367A (ko) 영상 처리 장치 및 방법
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
CN112991419B (zh) 视差数据生成方法、装置、计算机设备及存储介质
CN112116660B (zh) 视差图校正方法、装置、终端及计算机可读介质
KR102435957B1 (ko) 다양한 샘플을 이용하여 개선한 확률기반 사물검출기
JP2015118582A5 (ko)
US10713808B2 (en) Stereo matching method and system using rectangular window

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4