KR20180104995A

KR20180104995A - 워터마크 삽입/검출 방법 및 장치

Info

Publication number: KR20180104995A
Application number: KR1020170032011A
Authority: KR
Inventors: 이흥규; 강지현; 김욱형
Original assignee: 한국과학기술원
Priority date: 2017-03-14
Filing date: 2017-03-14
Publication date: 2018-09-27
Also published as: KR101925011B1

Abstract

본 발명의 일 실시예에 따른 워터마크 검출 방법은 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하는 단계, 복수의 부분 영상 중 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상 산출하는 단계, 제1 부분 영상을 기초로 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출하는 단계, 시점 정보를 기초로 타겟 영상을 역렌더링하여 타겟 원본 영상을 생성하는 단계 및 타겟 원본 영상을 기초로 파노라마 영상에 포함된 워터마크 패턴과 비교하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 확인하는 단계를 포함한다.

Description

워터마크 삽입/검출 방법 및 장치{METHOD AND APPARATUS FOR INSERTING AND DETECTING WARTERMARK}

본 워터마크 삽입/검출 방법 및 장치에 관한 것으로서, 보다 자세하게는 파노라마 영상에 워터마크를 삽입하고, 타겟 영상이 파노라마 영상으로부터 기인한 것인지 확인하고 저작권 정보를 추출하기 위해 타겟 영상으로부터 워터마크를 검출하는 워터마크 삽입/검출 방법 및 장치에 관한 것이다.

파노라마 영상은 360° 전경 시야를 확보할 수 있는 영상으로서 사용자로 하여금 영상 내에서 자유롭게 시점을 선택할 수 있도록 하여 사용자가 가상 공간에 위치하여 직접 보고 있는 것과 같은 느낌을 제공한다.

최근 파노라마 영상에 대한 관심이 증가하면서 파노라마 영상에 대한 저작권 보호가 중요해지고 있다. 하지만 급격히 발달하는 파노라마 영상 산업에 비해서 저작권을 보호할 수 있는 기술은 아직 제대로 구축되어 있지 않은 상황이다.

기존 미디어 컨텐츠의 불법 복제와 불법 유통 문제로부터 저작권을 보호하기 위한 기술로 디지털 워터마킹(Digital watermarking)이 있고, 현재 2D, Streoscopic 3D, 3D mesh 등의 컨텐츠를 위한 디지털 워터마킹 기술은 지속적으로 연구가 되고 있으나, 파노라마 영상을 보호하기 위한 워터마킹 기술은 현재 전무한 실정이다.

특히 파노라마 영상의 특성상 파노라마 영상의 전체가 유출되기 보다는 파노라마 영상의 부분 영상이 유출되어 저작권 침해가 발생할 수 있다. 예를 들어, 콘서트 장을 파노라마 영상으로 만든 경우 무대 방향의 부분 영상은 전체 파노라마 영상이 아니어도 컨텐츠적 가치가 있으며 또한 여러 각도의 부분 영상을 모아서 다시 파노라마 컨텐츠로 재생성할 수 있기 때문에 파노라마 영상의 부분 영상에서도 워터마크를 검출할 수 있는 기술의 필요성이 요구된다.

본 발명의 실시예에서 해결하고자 하는 과제는 파노라마 영상의 부분 영상으로부터 워터마크 검출이 가능한 기술을 제공하는 것이다.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.

본 발명의 일 실시예에 따른 워터마크 삽입 방법에 있어서, 360˚ 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나누는 단계, 상기 복수의 블럭의 각각에 대하여, 상기 각각의 블럭 내에 포함된 영상의 공간 영역을 주파수 계수로 변환하는 단계, 상기 각각의 블럭 내의 상기 변환된 주파수 계수에 워터마크 패턴을 삽입하는 단계, 상기 각각의 블럭 내의 상기 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하는 단계 및 상기 복원하는 단계 후 상기 각각의 블럭 내에 상기 워터마크 패턴이 삽입된 영상을 렌더링하여 상기 360° 파노라마 영상을 생성하는 단계를 포함한다.

이때 상기 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상을 포함한다.

또한 상기 복수의 블럭은 서로 겹치지 않는 격자 형식일 수 있다.

더하여 상기 주파수 계수로 변환하는 단계는 이산 코사인 변환(discrete cosine transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 워터마크 검출 방법은 360° 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하는 단계, 상기 복수의 부분 영상 중 상기 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상을 판정하는 단계, 상기 제1 부분 영상을 기초로 상기 360° 파노라마 영상에서 상기 타겟 영상이 위치하는 시점 정보를 도출하는 단계, 상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계 및 상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계를 포함한다.

이때 상기 특징점은 SIFT(scale-invariant feature transform)을 통해 추출될 수 있다.

또한 상기 시점 정보를 도출하는 단계는 상기 타겟 영상과 상기 제1 부분 영상 간의 변환 정보를 계산하여 상기 시점 정보를 도출하는 단계를 포함할 수 있다.

더하여 상기 시점 정보를 도출하는 단계는 (a) 유클리디안 변환(euclidean transformation) 행렬을 통해 상기 타겟 영상과 제i 부분 영상(i는 1부터 오름차순으로 증가) 간에 변환 정보를 계산하는 단계, (b) 상기 변환 정보를 기초로 상기 제i 부분 영상을 변환한 제i+1 부분 영상을 생성하는 단계 및 (c) 상기 타겟 영상과 상기 제i+1 부분 영상간의 PSNR(peak signal-to-noise ratio)이 소정의 임계치를 넘는 경우 상기 제i+1 부분 영상의 수직 각도 및 수평 각도를 상기 타겟 영상의 시점 정보로 도출하는 단계를 포함하되, 상기 PSNR이 상기 소정의 임계치를 넘지 않으면 상기 (a) 단계 내지 상기 (c) 단계를 다시 수행할 수 있다.

아울러 상기 타겟 원본 영상을 생성하는 단계는 영상 보간법(interpolation)을 통해 홀(hole)의 픽셀을 복원하는 단계를 포함할 수 있다.

또한 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는 상기 복수의 블럭의 위치와 대응하도록 상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계, 상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계, 상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계, 상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산하는 단계 및 상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정하는 단계를 포함할 수 있다.

한편 상기 주파수 계수로 변환하는 단계는 이산 코사인 변환(discrete cosine transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함할 수 있다.

이때 상기 타겟 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상을 포함한다.

본 발명의 일 실시예에 따른 워터마크 삽입 장치는 360˚ 파노라마 영상을 생성할 수 있는 포맷의 원본 영상에 복수의 블럭을 나누는 블럭 할당부, 상기 복수의 블럭의 각각에 대하여, 상기 각각의 블럭 내에 포함된 영상의 공간 영역을 주파수 계수로 변환하는 변환부, 상기 각각의 블럭 내의 상기 변환된 주파수 계수에 워터마크 패턴을 삽입하는 삽입부, 상기 각각의 블럭 내의 상기 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하는 복원부 및 상기 각각의 블럭 내에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 360° 파노라마 영상을 파노라마 영상 생성부를 포함한다.

본 발명의 일 실시예에 따른 워터마크 검출 장치는 360° 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하는 분할부, 상기 복수의 부분 영상 중 상기 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상 산출하는 특징점 비교부, 상기 제1 부분 영상을 기초로 상기 360° 파노라마 영상에서 상기 타겟 영상이 위치하는 시점 정보를 도출하는 시점 정보 도출부, 상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 타겟 원본 영상을 생성하는 역렌더링부 및 상기 타겟 원본 영상을 기초로 상기 360° 파노라마 영상에 포함된 워터마크 패턴과 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 확인하는 워터마크 검출부를 포함한다.

본 발명의 실시예에 따르면, 파노라마 영상 전체뿐만 아니라 파노라마 영상의 특정 시점에 해당하는 부분 영상에서도 워터마크 검출하여 파노라마 영상에 대한 저작권 침해 문제를 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 장치의 기능 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법의 프로세스를 도시하는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 워터마크 검출 장치의 기능 블럭도이다.
도 5는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따라 파노라마 영상을 서로 겹치지 않도록 분할한 부분 영상을 설명하기 위한 예시도이다.
도 7은 본 발명의 일 실시예에 따라 부분 영상과 타겟 영상의 특징점을 비교하는 것을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따라 영상 보간법을 통해 홀의 픽셀을 복원하는 것을 설명하기 위한 예시도이다.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.

본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.

또한, 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 워터마크 삽입 장치(100)의 기능 블럭도이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 삽입 장치(100)는 블럭 할당부(110), 변환부(120), 삽입부(130), 복원부(140) 및 파노라마 영상 생성부(150)를 포함한다.

블럭 할당부(110)는 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나눈다. 이때 '블럭'은 특정 이미지의 소정 부분을 의미하는 패치 이미지라는 용어에서의 '패치'와 같은 의미로서 사용한다. 한편, 파노라마 영상으로 렌더링할 수 있는 포맷의 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 등을 포함한다.

변환부(120)는 각각의 블럭에 포함된 영상의 공간 영역을 주파수 계수로 변환한다. 예를 들면, 이산 코사인 변환(discrete cosine transform)을 통해 공간 영역을 주파수 계수로 변환한다.

삽입부(130)는 각각의 블럭 내에서 변환된 주파수 계수에 워터마크 패턴을 삽입하고, 복원부(140)는 각각의 블럭 내에서 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하여, 파노라마 영상 생성부(150)는 각각의 블럭 내의 주파수 계수에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 파노라마 영상을 생성한다.

이때 워터마크 삽입 장치(100)의 각 구성이 동작하는 구체적인 과정을 도 2와 함께 설명하기로 한다.

한편 상술한 실시예가 포함하는 블럭 할당부(110), 변환부(120), 삽입부(130), 복원부(140) 및 파노라마 영상 생성부(150)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리와 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 워터마크 삽입 방법의 프로세스를 도시하는 흐름도이다. 도 2에 따른 워터마크 삽입 방법의 각 단계는 도 1을 통해 설명된 워터마크 삽입 장치(100)에 의해 수행될 수 있다.

각 단계를 설명하기에 앞서, 파노라마 영상은 카메라를 이용해 실제 존재하는 공간을 촬영한 후 이를 렌더링함으로써 360°x 180°(수평각도 x 수직각도)의 시점으로 볼 수 있는 형태로 제작된다. 이때 파노라마 영상을 생성할 수 있는 포맷의 원본 영상은 구(Sphere)를 2차원 평면에 투영한 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 등을 포함한다.

특히, 파노라마 영상을 다룰 때 가장 널리 사용되는 포맷은 등장방형 영상이다. 등장방형 영상은 원통형 투영법 중 하나로서 등장방형 영상의 너비가 높이의 2배인데, 이는 영상의 너비가 구에서 경도 방향의 한바퀴인 360°를 의미하고 영상의 높이가 구의 천장과 바닥간의 각도인 180°를 의미하기 때문이다. 본 명세서의 도면에서는 등장방형 영상을 원본 영상으로 도시하고 있지만, 이는 예시일 뿐 등장방형 영상이 아닌 다른 포맷의 원본 영상을 사용하여 본 발명의 실시예를 적용할 수 있다. 이에 각 단계를 설명하기로 한다.

우선, 블럭 할당부(110)는 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나눈다(S210). 복수의 블럭은 워터마크가 삽입되는 위치로서, 복수의 블럭 단위로 워터마크가 삽입되는 경우 파노라마 영상의 임의의 영역에서 워터마크를 검출할 수 있으며, 절단(cropping) 공격으로부터 워터마크를 효율적으로 보호할 수 있다.

이때 블럭 할당부(110)는 복수의 블럭을 서로 겹치지 않는 격자 형식으로 할당할 수 있다. 복수의 블럭을 격자 형식으로 나누면 원본 영상에서 빠트리는 부분 없이 모든 영역에 워터마크를 삽입할 수 있기 때문에 모든 각도에서의 부분 영상에서 워터마크를 추출할 수 있다.

또한 파노라마 영상의 부분 영상을 역렌더링할 경우, 부분 영상의 수직 각도에 따라서 복원되는 영상의 면적과 품질이 달라진다. 파노라마 영상의 수직 각도의 범위를 -90도에서 +90도라고 하였을 때, 수직 각도가 -90도와 +90도에 가까운 부분 영상은 역렌더링 시 넓은 면적으로 복원되지만 품질이 낮고, 수직 각도가 0도에 가까운 부분 영상은 역렌더링 시 복원되는 면적의 넓이는 적지만 품질은 높다. 즉, 역렌더링 시에 복원되는 영상의 품질과 면적은 반비례한다. 이때 복수의 블럭을 격자 형식으로 할당하여 각 블럭에 워터마크를 삽입하면 복원되는 품질이 낮더라도 넓은 면적이 복원되므로 추출할 수 있는 워터마크의 개수가 많아진다. 따라서 격자 형식으로 분할된 각 블럭에 워터마크를 삽입하는 경우 낮은 품질로 복원되는 수직 각도에서 더 많은 블럭으로부터 워터마크를 검출할 수 있게 되어 워터마크 검출의 강인성을 높일 수 있다.

다음으로, 변환부(120)는 각각의 블럭에 포함된 영상의 공간 영역을 주파수 계수로 변환한다(S220). 예를 들면, 이산 코사인 변환(discrete cosine transform)을 통해 공간 영역을 주파수 계수로 변환할 수 있다. (Cox, Ingemar J., et al. "Secure spread spectrum watermarking for multimedia." IEEE transactions on image processing 6.12 (1997): 1673-1687.)

삽입부(130)는 레퍼런스 패턴 생성기를 통해 비밀키로부터 워터마크 패턴을 생성하고(S225), 각 블럭 내에서 변환된 주파수 계수에 워터마크 패턴을 삽입할 수 있다(S230). 이때 저주파 대역에 워터마크를 삽입하는 경우 워터마크의 비가시성을 저하시킬 수 있고, 고주파 대역에 워터마크를 삽입하는 경우 워터마크는 압축 등의 공격에 취약하므로, 삽입부(130)는 워터마크 검출의 강인성을 높이기 위해 지그재그 스캔 방식을 통해 중간 주파수 대역의 주파수 계수에 워터마크 패턴을 삽입할 수 있다. (Barni, Mauro, et al. "A DCT-domain system for robust image watermarking." Signal processing 66.3 (1998): 357-372.)

복원부(140)는 각각의 블럭 내에서 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원한다(S240). 예를 들면, 역 이산 코사인 변환(inverse discrete cosine transform)을 통해 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원할 수 있다.

이후, 파노라마 영상 생성부(150)는 복원부(140)를 통해 복원된 각각의 블럭의 영상을 결합하고(S245), 각각의 블럭 내의 주파수 계수에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 파노라마 영상을 생성할 수 있다(S250).

본 발명의 일 실시예에 따른 워터마크 검출 장치(300)는 타겟 영상이 도 1 및 도 2의 실시예에 따라 생성된 파노라마 영상의 일부분에 해당하는지 워터마크 검출을 통해 확인한다. 도 3은 본 발명의 일 실시예에 따른 워터마크 검출 장치(300)의 기능 블럭도이다.

도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 워터마크 검출 장치(300)는 분할부(310), 특징점 비교부(320), 시점 정보 도출부(330), 역렌더링부(340) 및 워터마크 검출부(350)를 포함한다.

분할부(310)는 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하고, 특징점 비교부(320)는 분할부(310)가 분할한 복수의 부분 영상 중 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상을 판정한다. 이때 특징점은 SIFT(scale-invariant feature transform)을 통해 추출할 수 있다.

시점 정보 도출부(330)는 제1 부분 영상을 기초로 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출하고, 역렌더링부(340)는 시점 정보 도출부(330)가 도출한 시점 정보를 기초로 타겟 영상을 역렌더링하여 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성한다.

워터마크 검출부(350)는 역렌더링부(340)가 생성한 타겟 원본 영상에 포함된 워터마크 패턴과 파노라마 영상에 포함된 워터마크 패턴을 비교하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 판정한다.

이때 워터마크 검출 장치(300)의 각 구성이 동작하는 구체적인 과정을 도 4와 함께 설명하기로 한다.

한편 상술한 실시예가 포함하는 분할부(310), 특징점 비교부(320), 시점 정보 도출부(330), 역렌더링부(340) 및 워터마크 검출부(350)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리와 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.

도 4는 본 발명의 일 실시예에 따른 워터마크 검출 방법의 프로세스를 도시하는 흐름도이다. 도 4에 따른 워터마크 검출 방법의 각 단계는 도 3을 통해 설명된 워터마크 검출 장치(300)에 의해 수행될 수 있다.

우선, 도 1 및 도 2의 실시예에 따라 파노라마 영상에 삽입된 워터마크는 파노라마 영상을 역렌더링한 원본 영상으로부터 검출할 수 있기 때문에, 유출되었다고 가정하는 타겟 영상으로부터 워터마크를 검출하기 위해서는 타겟 영상을 역렌더링하여 타겟 원본 영상으로부터 워터마크를 검출해야 한다.

이때 타겟 원본 영상, 가령 등장방형 영상과 동일하게 복원하기 위해서는 어느 정도의 수치를 가지고 역렌더링하여야 하는지 역렌더링 설정값이 필요하기 때문에 타겟 영상이 파노라마 영상의 어떠한 부분에 해당하는지 나타내는 시점 정보가 반드시 필요하다. 도 5는 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 설명하기 위한 예시도이다. 도 5에 도시된 바와 같이 파노라마 영상이 구형(Spherical)의 모습이라고 하였을 때, 시점 정보는 구의 중앙에서부터 타겟 영상일 것이라고 판단되는 영역의 중앙 지점을 잇는 선분이 기준 축으로부터 가지는 수직 각도 v 및 수평 각도 h를 의미한다.

이어서, 타겟 영상의 시점 정보를 기초로 타겟 영상을 역렌더링한 타겟 원본 영상으로부터 워터마크를 검출하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 확인할 수 있다. 이에 각 단계를 설명하기로 한다.

분할부(310)는 타겟 영상이 파노라마 영상의 어느 부분에 해당하는지 알기 위하여, 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 나눈다(S410). 타겟 영상의 시점 정보를 얻기 위해서 360겜180° 파노라마 영상의 모든 부분과 비교하여 타겟 영상의 시점 정보를 찾는 것은 매우 오랜 시간이 걸리기 때문에 효율적이지 않다. 이에 따라 본 발명의 실시예에서는 도 6에 도시된 바와 같이 부분 영상을 통해 타겟 영상의 시점 정보를 근접하게 찾아낸다.

도 6은 본 발명의 일 실시예에 따라 분할부(310)가 파노라마 영상을 서로 겹치지 않도록 분할한 부분 영상을 설명하기 위한 예시도이다. 도 6을 참조하면, 분할부(310)는 각 부분 영상들이 전체 파노라마 영상을 포함하면서 근접한 부분 영상끼리 겹치는 영역에서 왜곡이 존재하지 않도록 파노라마 영상을 부분 영상으로 분할하였다. 이때 도 6의 부분 영상 밑의 수치는 파노라마 영상에서 각 부분 영상들의 수직 각도 v 및 수평 각도 h를 나타낸다.

이에, 특징점 비교부(320)는 분할부(310)가 분할한 부분 영상 중 타겟 영상과 가장 유사한 제1 부분 영상을 판정한다(S420). 이를 위해서 특징점 비교부(320)는 부분 영상 및 타겟 영상으로부터 특징점을 추출하여 타겟 영상과 일치하는 특징점이 가장 많은 부분 영상을 제1 부분 영상으로 판정할 수 있다.

즉, 부분 영상은 타겟 영상과 특징점을 비교하기 전에 미리 분할된 것이므로 타겟 영상과 제1 부분 영상의 시점 정보가 완벽히 일치하지 않을 수 있지만 두 영상이 근접한 시점 정보를 가진다면 같은 객체(Object)를 포함할 가능성이 높다. 따라서 RST(rotation, scale, translation)에 강인한 SIFT(scale-invariant feature transform) 특징점 매칭을 통해 같은 객체를 포함하는 부분을 발견할 수 있다. 이러한 특성을 이용하여 타겟 영상과 일치하는 특징점이 가장 많은 부분 영상을 타겟 영상과 근접한 시점 정보를 가진 제1 부분 영상으로서 판정할 수 있다.

다음으로, 시점 정보 도출부(330)는 제1 부분 영상을 기초로 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출한다(S430). 이를 위하여, 시점 정보 도출부(330)는 제1 부분 영상이 타겟 영상으로부터 수직으로 얼마나 변환되어 있는지, 수평으로 얼마나 변환되어 있는지, 타겟 영상으로부터 얼마나 회전되어 있는지를 나타내는 변환 정보를 계산하여 변환 정보를 기초로 타겟 영상의 정확한 시점 정보를 도출할 수 있다.

이를 위하여 S430 단계에서는, 유클리디안 변환(euclidean transformation) 행렬을 통해 타겟 영상과 제i 부분 영상(i는 1부터 시작하며 S430 단계가 재수행될 때마다 1씩 증가) 간의 변환 정보를 계산할 수 있다(S431). 이때 변환 정보는 수평 변환 정보(

), 수직 변환 정보(

) 및 회전 변환 정보(

)를 포함한다.

예를 들어,

,

를 부분 영상의 특징점이라 하고,

,

를 타겟 영상에서 대응되는 특징점이라 할 때, 아래 수학식 1의 유클리디안 변환 행렬을 통해 전체 특징점의 매칭쌍을 가장 잘 근사하는 a, b, c, d를 구할 수 있다.

이때 산출된 c 및, d는 각각 수평 변환 정보(

) 및 수직 변환 정보(

)를 의미하며,

방정식의

는 회전 변환 정보(

)를 의미한다.

다음으로, S431 단계에서 구한 변환 정보를 기초로 제i 부분 영상을 변환한 제i+1 부분 영상을 생성한다(S432). 도 7은 본 발명의 일 실시예에 따라 부분 영상과 타겟 영상의 특징점을 비교하는 것을 설명하기 위한 예시도이다. 도 7을 참조하면, 타겟 영상과 부분 영상은 서로 다수의 특징점이 매칭되어 있지만 수평 각도가 현저하게 차이나는 상태이다. 이는 타겟 영상이 부분 영상에 비해 원점에 대하여 회전되어 있기 때문이다. 따라서 타겟 영상과 부분 영상 간의 변환 정보를 통해 부분 영상의 시점을 변환하여 타겟 영상의 시점 정보를 정확하게 파악할 수 있다.

이때 본 발명의 일 실시예로 회전 변환 정보(

)가 충분히 작다면 수평 변환 정보(

) 및 수직 변환 정보(

)만을 사용하여 제i 부분 영상을 변환할 수 있다. 하나의 축을 기준으로 부분 영상을 변경하면 보다 정확하게 타겟 영상과 부분 영상이 일치하는 시점 정보를 찾아낼 수 있기 때문이다.

이때 수직 변환 정보(

)가 수평 변환 정보(

)의 2배보다 크다면 아래 수학식 2와 같이 제i 부분 영상의 수직 각도 v만 변환하여 제i+1 부분 영상을 생성하고, 수직 변환 정보(

)가 수평 변환 정보(

)의 2배보다 작다면 아래 수학식 3과 같이 제i 부분 영상의 수평 각도 h만 변환하여 제i+1 부분 영상을 생성할 수 있다.

360° 파노라마 영상의 특징상 수직적 각도의 자유도(180°)보다 수평적 각도의 자유도(360°)가 2배 크다. 따라서 수직 변환 정보(

)가 수평 변환 정보(

)에 2배를 한 값을 비교하여 영향이 더 큰 축에 해당하는 각도를 변경할 수 있다.

한편, 수학식 2 및 수학식 3과 같이 변환 정보에 변환 가중치(

)를 곱하여 부분 영상의 수직 각도 또는 수평 각도를 변환할 수 있는데, 변환 가중치(

)가 작으면 각도 수정을 조금씩 하게 되어 방향적 정확도를 올릴 수 있고, 변환 가중치(

)가 크면 각도 수정을 상대적으로 크게 하여 연산을 줄일 수 있다.

S432 단계에 따라 제i+1 부분 영상을 생성한 이후, 타겟 영상과 제i+1 부분 영상간의 PSNR(peak signal-to-noise ratio)이 소정의 임계치를 넘는 경우 제1 부분 영상으로부터 제i+1 부분 영상으로 변환된 수직 각도, 수평 각도를 기초로 파노라마 영상에서 타겟 영상이 위치하는 시점 정보를 도출할 수 있다(S433). 이때 PSNR이 소정의 임계치를 넘지 않으면 S431 단계 내지 S433 단계를 다시 수행하여 타겟 영상과 부분 영상의 시점 정보가 일치하는 때의 시점 정보를 보다 정확히 도출할 수 있다.

역렌더링부(340)는 시점 정보 도출부(330)가 도출한 시점 정보를 기초로 타겟 영상을 역렌더링하여 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성한다(S440). 이때 타겟 원본 영상은 등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상을 포함한다. 역렌더링부(340)는 시점 정보를 통해 타겟 영상이 파노라마 영상의 어느 부분에 위치하고 있는 지 정확히 알 수 있으므로, 시점 정보를 반영하여 역렌더링을 통해 타겟 원본 영상을 생성할 수 있다.

한편, 타겟 영상이 포함하고 있는 픽셀 정보만 역렌더링이 가능하므로 도 8에 도시된 바와 같이 타겟 원본 영상은 파노라마 영상의 기초가 되는 원본 영상의 일부 영역만 복원된다. 또한 역렌더링 시에 왜곡이 발생하기 때문에 타겟 원본 영상에는 복원된 부분에 해당하는 영역에서도 홀(hole)이 발생한다. 홀은 워터마크 검출 시 픽셀 정보가 없으므로 워터마크 검출의 강인성을 낮출 수 있다.

이를 방지하기 위해, 역렌더링부(340)는 영상 보간법(interpolation)을 통해 홀의 픽셀을 복원할 수 있다(S445). 도 8은 본 발명의 일 실시예에 따라 영상 보간법을 통해 홀의 픽셀을 복원하는 것을 설명하기 위한 예시도이다. 도 8을 참조하면, 역렌더링부(340)는 영상 보간법을 통해 보간하려는 픽셀 주변의 픽셀 중 홀이 아닌 픽셀 정보의 평균값으로 홀 픽셀을 보간할 수 있다.

이후, 워터마크 검출부(350)는 역렌더링부(340)가 생성한 타겟 원본 영상에 포함된 워터마크 패턴과 파노라마 영상에 포함된 워터마크 패턴을 비교하여 타겟 영상이 파노라마 영상의 일부분에 해당하는지 판정한다(S450).

보다 자세하게 S450 단계에서는, 원본 영상에 할당된 복수의 블럭의 위치와 대응하도록 타겟 원본 영상을 복수의 블럭으로 나누고, 타겟 원본 영상의 복수의 블럭 중 블럭 내에 포함된 픽셀이 소정의 임계치 이상 복원되어 있는 블럭을 선별할 수 있다(S451). 이후, 선별된 각 블럭 내의 영상의 공간 영역을 주파수 계수로 변환할 수 있다(S452).

이때 변환된 주파수 계수를 파노라마 영상에 포함된 워터마크 패턴과 비교하기 위해, 레퍼런스 패턴 생성기를 통해 파노라마 영상에 사용된 비밀키로부터 워터마크 패턴을 생성하고(S453), S452 단계에서 변환된 각 블럭 내의 주파수 계수를 S453 단계에서 생성된 워터마크 패턴과 비교하여 상관 계수(correlation)를 계산할 수 있다(S454). 이때 아웃라이어를 제거하기 위해 상관 계수가 가장 높은 블럭의 일부와 가장 낮은 블럭의 일부를 제외한 후, 남은 상관 계수의 평균을 구하여 상관 계수의 평균이 소정의 임계치 이상인 경우 타겟 영상이 파노라마 영상의 일부분인 것으로 판단할 수 있다.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 워터마크 삽입 장치
110: 블럭 할당부
120: 변환부
130: 삽입부
140: 복원부
150: 파노라마 영상 생성부
300: 워터마크 검출 장치
310: 분할부
320: 특징점 비교부
330: 시점 정보 도출부
340: 역렌더링부
350: 워터마크 검출부

Claims

하나 이상의 프로세서에 의해 수행되는 워터마크 삽입 방법에 있어서,
360˚ 파노라마 영상으로 렌더링될 원본 영상을 복수의 블럭으로 나누는 단계;
상기 복수의 블럭의 각각에 대하여, 상기 각각의 블럭 내에 포함된 영상의 공간 영역을 주파수 계수로 변환하는 단계;
상기 각각의 블럭 내의 상기 변환된 주파수 계수에 워터마크 패턴을 삽입하는 단계;
상기 각각의 블럭 내의 상기 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하는 단계; 및
상기 복원하는 단계 후 상기 각각의 블럭 내에 상기 워터마크 패턴이 삽입된 영상을 렌더링하여 상기 360° 파노라마 영상을 생성하는 단계를 포함하는
워터마크 삽입 방법.
제1항에 있어서,
상기 원본 영상은,
등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 하나인
워터마크 삽입 방법.
제1항에 있어서,
상기 복수의 블럭은,
서로 겹치지 않는 격자 형식인
워터마크 삽입 방법.
제1항에 있어서,
상기 주파수 계수로 변환하는 단계는,
이산 코사인 변환(discrete cosine transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함하는
워터마크 삽입 방법.
타겟 영상이 제1항의 방법에 따라 생성된 360° 파노라마 영상의 일부분에 해당하는지 확인하기 위해 하나 이상의 프로세서에 의해 수행되는 워터마크 검출 방법에 있어서,
상기 360° 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하는 단계;
상기 복수의 부분 영상 중 상기 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상을 판정하는 단계;
상기 제1 부분 영상을 기초로 상기 360° 파노라마 영상에서 상기 타겟 영상이 위치하는 시점 정보를 도출하는 단계;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 상기 타겟 영상에 대응하는 영상인 타겟 원본 영상을 생성하는 단계; 및
상기 타겟 원본 영상에 포함된 워터 마크 패턴과 상기 360° 파노라마 영상에 포함된 워터마크 패턴을 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계를 포함하는
워터마크 검출 방법.
제5항에 있어서,
상기 특징점은,
SIFT(scale-invariant feature transform)을 통해 추출된
워터마크 검출 방법.
제5항에 있어서,
상기 시점 정보를 도출하는 단계는,
상기 타겟 영상과 상기 제1 부분 영상 간의 변환 정보를 계산하여 상기 시점 정보를 도출하는 단계를 포함하는
워터마크 검출 방법.
제7항에 있어서,
상기 시점 정보를 도출하는 단계는,
(a) 유클리디안 변환(euclidean transformation) 행렬을 통해 상기 타겟 영상과 제i 부분 영상(i는 1부터 오름차순으로 증가) 간에 변환 정보를 계산하는 단계;
(b) 상기 변환 정보를 기초로 상기 제i 부분 영상을 변환한 제i+1 부분 영상을 생성하는 단계; 및
(c) 상기 타겟 영상과 상기 제i+1 부분 영상간의 PSNR(peak signal-to-noise ratio)이 소정의 임계치를 넘는 경우 상기 제i+1 부분 영상의 수직 각도 및 수평 각도를 상기 타겟 영상의 시점 정보로 도출하는 단계를 포함하되, 상기 PSNR이 상기 소정의 임계치를 넘지 않으면 상기 (a) 단계 내지 상기 (c) 단계를 다시 수행하는
워터마크 검출 방법.
제5항에 있어서,
상기 타겟 원본 영상을 생성하는 단계는,
영상 보간법(interpolation)을 통해 홀(hole)의 픽셀을 복원하는 단계를 포함하는
워터마크 검출 방법.
제5항에 있어서,
상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 판정하는 단계는,
상기 복수의 블럭의 위치와 대응하도록 상기 타겟 원본 영상을 복수의 블럭으로 나누는 단계;
상기 타겟 원본 영상의 상기 복수의 블럭 중 상기 복수의 블럭 내에 포함된 픽셀이 제1 임계치 이상 복원되어 있는 블럭을 선별하는 단계;
상기 선별된 블럭의 각각에 대하여, 상기 각각의 선별된 블럭 내의 영상의 공간 영역을 주파수 계수로 변환하는 단계;
상기 각각의 선별된 블럭 내의 상기 주파수 계수와 상기 360° 파노라마 영상에 포함된 워터마크 패턴의 상관 계수(correlation)를 계산하는 단계; 및
상기 각각의 선별된 블럭으로부터 계산된 상기 상관 계수의 평균이 제2 임계치 이상인 경우 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분인 것으로 판정하는 단계를 포함하는
워터마크 검출 방법.
제10항에 있어서,
상기 주파수 계수로 변환하는 단계는,
이산 코사인 변환(discrete cosine transform)을 통해 상기 공간 영역을 상기 주파수 계수로 변환하는 단계를 포함하는
워터마크 검출 방법.
제5항에 있어서,
상기 타겟 원본 영상은,
등장방형 영상, 원뿔형 영상, 원통형 영상, 유사 원통형 영상, 원통형 영상, 피시아이형(fisheye) 영상, 메르카토르형(Mercator) 영상, 정현곡선형(sinusoidal) 영상 중 하나인
워터마크 검출 방법.
360˚ 파노라마 영상을 생성할 수 있는 포맷의 원본 영상에 복수의 블럭을 나누는 블럭 할당부;
상기 복수의 블럭의 각각에 대하여, 상기 각각의 블럭 내에 포함된 영상의 공간 영역을 주파수 계수로 변환하는 변환부;
상기 각각의 블럭 내의 상기 변환된 주파수 계수에 워터마크 패턴을 삽입하는 삽입부;
상기 각각의 블럭 내의 상기 워터마크 패턴이 삽입된 주파수 계수를 공간 영역으로 복원하는 복원부; 및
상기 각각의 블럭 내에 워터마크 패턴이 삽입된 원본 영상을 렌더링하여 360° 파노라마 영상을 파노라마 영상 생성부를 포함하는
워터마크 삽입 장치.
타겟 영상이 제13항의 장치에 의해 생성된 360° 파노라마 영상의 일부분에 해당하는지 확인하는 워터마크 검출 장치에 있어서,
상기 360° 파노라마 영상을 서로 겹치지 않도록 분할된 복수의 부분 영상으로 분할하는 분할부;
상기 복수의 부분 영상 중 상기 타겟 영상과 일치하는 특징점이 가장 많은 제1 부분 영상 산출하는 특징점 비교부;
상기 제1 부분 영상을 기초로 상기 360° 파노라마 영상에서 상기 타겟 영상이 위치하는 시점 정보를 도출하는 시점 정보 도출부;
상기 시점 정보를 기초로 상기 타겟 영상을 역렌더링하여 타겟 원본 영상을 생성하는 역렌더링부; 및
상기 타겟 원본 영상을 기초로 상기 360° 파노라마 영상에 포함된 워터마크 패턴과 비교하여 상기 타겟 영상이 상기 360° 파노라마 영상의 일부분에 해당하는지 확인하는 워터마크 검출부를 포함하는
워터마크 검출 장치.
제1항 내지 제12항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
제1항 내지 제12항의 방법을 프로세서가 수행하게 하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.