KR101537032B1 - 영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체 - Google Patents

Abstract

영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체가 개시된다. 본 발명의 일측면에 따른 영상 필터링을 위한 특징정보 생성방법은, 대상 영상을 중앙 기준으로 가로 및 세로 방향으로 이등분하여 총 4등분 하는 단계; 분할 영상들에 대해 대각선 방향으로 대응된 것들 간의 제1 차이값들 및 제2 차이값들을 화소단위로 산출하되, 중앙을 기준으로 대칭되도록 산출하는 단계; 제1 차이값들과 제2 차이값들을 이용한 영상행렬을 생성하는 단계; 및 영상행렬을 이용하여 특징정보를 생성하는 단계를 포함한다.

Description

영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체{Method for generating feature information for image filtering and recording-medium recorded program thereof}

본 발명은 영상 특징정보 생성에 관한 것으로서, 좀 더 상세하게는 용이한 영상 필터링을 위한 영상 특징정보 생성 방법 및 그 방법이 기록된 기록매체에 관한 것이다.

인터넷의 발달 및 컴퓨터뿐 아니라 스마트폰, 태블릿PC 등의 모바일 기기까지 그 통신 장치의 발달로 인해, 사용자들은 언제 어디서든 인터넷을 이용하여 영화 등의 동영상뿐 아니라 사진, 이북(e-book) 등 다양한 형태의 멀티미디어 콘텐츠를 접하게 되었다.

이러한 콘텐츠를 이용함에 있어, 사용자들은 지인들뿐 아니라 여러 공유 사이트를 이용하여 서로 쉽고 편리하게 공유하여 사용하기도 한다. 예를 들어, 어떠한 사용자가 일반 공중파 방송, DMB(digital multimedia broadcasting) 방송, 인터넷 방송과 같은 방송사에서 서비스하는 각종 동영상 콘텐츠뿐 아니라 영화 콘텐츠 등을 정당하게 구매하더라도, 해당 사용자가 인터넷 공유 사이트(site)와 같은 인터넷 매체를 이용하여 그 콘텐츠를 다른 소비자에게 용이하게 전달할 수 있다.

그러나, 이러한 콘텐츠의 전달 또는 공유는 해당 콘텐츠의 저작권자의 의사에 반하여 정당하게 구매하지 않은 소비자에게도 전달될 수 있어, 저작권자의 지적재산권을 침해할 수 있으며, 많은 비용과 노력으로 제작된 저작물이 불법적으로 인터넷상에서 유포되는 심각한 문제를 야기한다. 더욱이 이러한 저작물의 공유는 한두명의 불법적인 콘텐츠 소비자만을 발생시키는데 그치지 않고, 기하급수적으로 불법적인 콘텐츠 소비자들을 양산한다는 점에 보다 큰 문제가 있다.

따라서, 저작권이 있는 영상 콘텐츠의 불법 유통을 방지하기 위해서는, 유통되는 영상물에 대한 모니터링이 필요하며, 해당 영상 콘텐츠가 어떠한 것인지를 인식하기 위해 영상 콘텐츠 간의 유사도를 측정할 필요가 있다.

또한, 영상 자체간의 비교는 많은 처리 부하를 유발할 수 있으므로, 영상을 식별할 수 있는 작은 용량의 고유 특징정보를 이용하는 방식이 필요하다.

대한민국 공개특허 제10-2014-0026836 (공개일자 2014년03월06일) 이미지 검색을 이용한 저작권 보호 서비스 시스템 및 그 방법

따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 영상 필터링을 위한 영상 비교에 사용되는 작은 용량의 영상 특징정보를 생성하는 방법을 제공하기 위한 것이다.

또한, 본 발명은 원본 영상에 대해 좌우반전, 회전 등을 수행한 변형영상에 대해서도 필터링할 수 있는 영상 특징정보 생성 방법을 제공하기 위한 것이다.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.

본 발명의 일 측면에 따르면, 영상 필터링을 위한 특징정보 생성방법에 있어서, 대상 영상을 중앙 기준으로 가로 및 세로 방향으로 이등분하여 총 4등분 하는 단계; 분할 영상들에 대해 대각선 방향으로 대응된 것들 간의 제1 차이값들 및 제2 차이값들을 화소단위로 산출하되, 중앙을 기준으로 대칭되도록 산출하는 단계; 상기 제1 차이값들과 상기 제2 차이값들을 이용한 영상행렬을 생성하는 단계; 및 상기 영상행렬을 이용하여 특징정보를 생성하는 단계를 포함하는 영상 특징정보 생성 방법 및 그 방법을 실행하는 프로그램이 기록된 기록매체가 제공된다.

여기서, 상기 특징정보를 생성하는 단계는, 상기 영상행렬을 각 값을 미리 지정된 기준에 따라 양자화된 특징행렬을 생성하는 단계; 및 상기 특징행렬로부터 상기 특징정보를 추출하는 단계를 포함할 수 있다.

또한, 상기 영상행렬의 평균값을 산출하고, 상기 평균값과의 비교에 의해 상기 양자화가 수행될 수 있다.

또한, 상기 양자화된 값들 중 상기 대상 영상의 중앙을 중심으로 생성된 일부의 값들이 상기 특징정보로서 설정될 수 있다.

또한, 상기 제1 차이값들과 상기 제2 차이값들을 각각 합산함으로써 상기 영상행렬을 생성할 수 있다.

또한, 상기 대상 영상은 원본영상에 대해 미리 지정된 개수의 픽셀값들을 모두 합쳐 하나로 만들어 화소수가 감소되는 축소합성시킴으로써 생성될 수 있다.

또한, 상기 원본영상은 특정 사이즈로 조절된 상태에서 상기 대상 영상으로 축소합성될 수 있다.

또한, 상기 원본영상은 주변 픽셀들과 유사한 색상값을 갖는 픽셀들의 영역이 제거된 상태에서 상기 특정 사이즈로 조절될 수 있다.

본 발명에 따르면, 영상 필터링을 위한 영상 비교에 사용되는 작은 용량의 영상 특징정보를 생성할 수 있다.

또한, 본 발명에 따르면, 좌우반전, 회전 등을 수행한 변형영상에 대해서도 원본영상과 동일한 특징정보가 생성되도록 할 수 있어, 변형형상에 대비한 별개의 특징정보를 일일이 생성할 필요가 없으며 그로 인해 특징정보의 개수가 적어져 필터링도 간편해진다.

도 1은 본 발명의 일 실시예에 따른 영상과 그 특징정보를 도시한 예시도.
도 2는 본 발명의 일 실시예에 따른 영상 특징정보 생성 과정을 도시한 흐름도.
도 3 및 도 4는 본 발명의 각 실시예에 따른 원본영상에서 특징정보 생성을 위한 간소화 처리 과정을 도시한 흐름도 및 예시도.
도 5 내지 도 8은 본 발명의 각 실시예에 따른 영상 특징정보 생성 과정을 각각 예시한 예시도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성 요소는 동일한 참조번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상과 그 특징정보를 도시한 예시도이다.

도 1을 참조하면, 본 실시예에 따르면 영상(10)을 식별할 수 있는 고유의 식별정보인 특징정보(30)로서 64비트의 이진값을 생성한다. 불법 저작물 등을 필터링하기 위해서는 영상간의 비교가 필요한데, 본 실시예에 따르면 작은 용량의 값으로서 영상(10)의 특징정보(30)를 생성하고 이용함으로써 영상간의 동일성 여부를 판단하기가 용이해진다.

이하, 영상의 특징정보 생성 과정에 대해 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 영상 특징정보 생성 과정을 도시한 흐름도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 원본영상에서 특징정보 생성을 위한 간소화 처리 과정을 도시한 흐름도 및 예시도이고, 도 5 내지 도 8은 본 발명의 각 실시예에 따른 영상 특징정보 생성 과정을 각각 예시한 예시도이다.

이하에서 설명되는 영상 특징정보 생성 과정은 컴퓨팅 장치에 의해 수행될 수 있으며, 이는 이하의 설명을 통해 당업자에게는 더욱 자명하게 될 것이다.

도 2를 참조하면, 영상 간소화 처리가 먼저 수행될 수 있다(S200). 원본 영상을 그대로 이용하기 보다는 빠른 처리와 특징정보의 고유성을 높이기 위해 간소화 과정이 필요할 수 있다. 물론 이는 하나의 실시예에 불과하며 원본 영상이 그대로 이용되거나 간소화 과정 중 일부만이 수행될 수도 있다.

설명의 편의상 먼저 간소화 과정에 대해 설명하기로 한다.

도 3을 참조하면, 간소화 처리는 먼저 원본영상에서 불필요한 부분이 제거될 수 있다(S310). 도 4에 도시된 바와 같이, 원본영상(10)에서 그 값이 변하지 않는 부분이 제거된 제거영상(410)이 먼저 생성될 수 있다. 그 방식은 주위 픽셀들과 유사 또는 동일한 색상값을 갖는 픽셀들을 제거하는 방식으로 수행될 수 있다. 즉, 도 4에 도시된 원본영상(10)에서 검은색으로 표시되는 부분은 모두 주변 픽셀들도 동일한 색상값(즉 검은색을 나타내는 값)을 가질 것이다. 이러한 부분들을 제거함으로써 제거영상(410)이 생성될 수 있다.

다시 도 3을 참조하면, 제거영상(410)을 특정 사이즈(size)로 조절한다(S320). 여기서 말하는 영상의 사이즈 조절이란 화소수를 조절하는 것으로, 예를 들어 1200*800 화소를 갖는 영상을 48*48 화소를 갖는 영상으로 그 크기가 조절될 수 있다. 영상의 크기 조절 방식은 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.

도 4에 도시된 바와 같이 제거영상(410)의 크기가 조절된 조절영상(420)이 생성된다. 물론 이는 하나의 예일 뿐이며, 상술한 특정 사이즈는 다양하게 설정될 수 있으며, 또한 원본영상의 크기가 더 작은 경우일지라도 원본영상은 그 특정 사이즈의 크기를 갖도록 조절된다.

다시 도 3을 참조하면, 이후 특정 사이즈로 조절된 조절영상(420)은 특정 비율만큼 축소합성된다(S330).

도 9는 본 발명의 일실시예에 따른 축소합성을 도시한 예시도이다.

1/4 사이즈로의 축소합성을 예시한 도 9를 참조하면, 4개의 화소(900)가 하나의 화소(910)로 축소되며 그 값들은 모두 합산되는 방식이다. 이러한 방식으로 일정수준(본 실시예에서는 1/4, 다만 한정되지는 않음)으로 축소합성시킨 영상을 이용하여 영상 특징정보를 생성한다. 이하에서는 설명의 편의상 24*24 화소 크기로 조절된 영상이 1/4 축소합성된 12*12 화소를 갖는 영상을 이용하여 특징정보를 생성하는 것을 위주로 설명하기로 한다.

이하 영상 특징정보를 생성하는 주된 과정에 대해 설명하기로 한다.

다시 도 2를 참조하면, 영상 간소화 처리로 생성된 영상(이하 대상 영상이라 칭함)은 4분할된다(S210). 도 5에 도시된 바와 같이, 대상 영상(420)은 중앙을 중심으로 가로 및 세로 방향으로 2분할된 4개의 분할영상(500)으로 분할된다.

4개로 분할된 각각의 분할영상(500)은 대각선 방향으로 대응된 것들끼리 서로 비교된다(S220). 그 비교 방식은 각 화소의 영상값을 서로 차감하는 방식으로서, 각 화소값의 차이값을 얻을 수 있다. 여기서, 영상값이란 각 화소가 갖는 색상값(예를 들어, RGB 등)일 수 있는데, 이는 당업자에게는 자명할 것이므로 더욱 상세한 설명은 생략한다.

다시 말하자면, 분할영상 A, B, C, D를 서로 대각선 방향(A-D, B-C)에 위치한 것끼리 비교하여 그 차의 절대값인 차이값을 12x12 행렬로 생성한다. 이때 도 6에 도시된 바와 같이, 각 (A-D), (B-C)의 결과 값은 영상을 좌우반전, 상하반전, 180도 회전과 이들을 중복 적용한 복합변형에도 항상 같은 값이 나오도록 대칭으로 계산된다. 또한, 분할 전의 24*24영상에서 중앙에 가까울수록 결과행렬의 좌상에 위치하도록 한다. 즉 A영상의 오른쪽 아래 A[12,12]와 D면의 왼쪽 위 D[1,1], 그리고 B영상의 왼쪽 아래 B[1,12]와 C영상의 오른쪽 위 C[12,1]의 계산 결과가 결과행렬[1,1]에 저장되도록 한다.

본 발명에 따르면, 좌우반전, 회전 등을 수행한 변형영상에 대해서도 원본영상과 동일한 특징정보가 생성되도록 할 수 있어, 변형형상에 대비한 별개의 특징정보를 일일이 생성할 필요가 없으며 그로 인해 특징정보의 개수가 적어져 필터링도 간편해진다.

이렇게 생성된 두개의 차이값들(제1 차이값들 및 제2 차이값들)의 행렬인 결과행렬(600-1, 600-2)을 이용(본 실시예에서는 각 값을 합산)하여 하나의 행렬(610, 이하 영상행렬이라 칭함)이 생성된다(S230). 본 실시예에서는 결과행렬들(600-1, 600-2)의 각 값을 서로 합산함으로써 영상행렬(610)을 생성하였으나, 이는 일례에 불과하며, 다른 예에 따르면 결과행렬들(600-1, 600-2)의 각 값들을 서로 곱하는 등 다양한 방식에 따라 영상행렬(610)을 생성할 수 있을 것이다.

본 실시예에 따르면, 영상을 회전하거나 상하반전 등을 수행하더라도 같은 결과가 나오는 영상행렬(610)을 생성할 수 있게 된다. 예를 들어, 결과행렬[1,1] = A[12,12] - D[1,1] + B[1,12] - C[12,1] 인데, 좌우반전 시엔 A[12,12] - D[1,1]은 B[1,12] - C[12,1]이 되고, B[1,12] - C[12,1]는 A[12,12] - D[1,1]이 되어 같은 값이 된다. 마찬가지로 상하반전, 180도 회전 및 복합변형에도 같은 결과 값이 나오게 된다.

이렇게 생성된 영상행렬(610)을 이용하여 특징정보를 생성할 수 있다. 일례에 따르면 영상행렬(610)의 값들 중 일부를 추출하거나 또는 전부를 그대로 활용하여 특징정보를 생성할 수 있다. 이와 달리 본 실시예에서는 보다 특징정보의 데이터량을 줄이고, 영상 필터링에 효과적으로 사용할 수 있도록 더 간략화된 데이터로서 특징정보를 생성하는 방식을 제안한다.

다시 도 2와 도 7을 함께 참조하면, 영상행렬(610)의 각 값을 양자화여 특징행렬(700)을 생성한다(S240). 양자화 방식에 대한 하나의 예를 들자면, 미리 설정된 특정 숫자보다 높으면 [1], 낮으면 [0]으로 변환하는 방식이 이용될 수 있다. 다른 예에 따르면, 영상행렬(610)의 값들에 대한 평균값을 구하고, 그 평균값 이하이면 [0], 평균값을 초과하면 [1]로 변환하는 방식이 이용될 수도 있다.

이렇게 각 값이 양자화된 특징행렬(700)은 그대로 영상 특징정보로서 이용될 수도 있으나, 그 일부만이 추출되어 특징정보로서 이용될 수도 있다.

도 8을 참조하면, 특징행렬(700) 중 일부만이 추출되어 도 1에 도시된 바와 같은 특징정보(30)로 활용될 수 있다. 일례에 따른 일부를 추출하는 방식은 행렬을 좌측 상단부터 일정 개수만큼만 추출되는 방식이 이용될 수 있다. 그 이유는 원본영상의 중앙부분을 위주로 특징화 함으로써, 영상 내의 자막, 로고 등으로 많은 변형이 이루어 지는 상하좌우 외곽 부분을 제외하기 위함이며, 또한 특징정보(30)의 데이터 사이즈를 작게 하는 효과가 있기 때문이다.

일례에 따른 도 8에 도시된 바와 같이, 특징행렬(700)이 12*12행렬인 경우, 1열에서 8열, 1행에서 8행까지의 값을 비트화하여 64비트(bit) 값을 구하고 이 값을 최종 영상 특징정보(30)로써 이용하는 것이다.

상술한 본 발명에 따른 영상 특징정보 생성 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 원본영상
30 : 특징정보

Claims (9)

1. 영상 필터링을 위한 특징정보 생성방법에 있어서,
   대상 영상을 중앙 기준으로 가로 및 세로 방향으로 이등분하여 총 4등분 하는 단계;
   분할 영상들에 대해 대각선 방향으로 대응된 것들 간의 제1 차이값들 및 제2 차이값들을 화소단위로 산출하되, 중앙을 기준으로 대칭되도록 산출하는 단계;
   상기 제1 차이값들과 상기 제2 차이값들을 이용한 영상행렬을 생성하는 단계;
   상기 영상행렬의 각 값에 대해 미리 설정된 특정 숫자 또는 평균값 이하인지 여부를 비교한 결과에 따라 0 또는 1로 양자화함으로써, 특징행렬을 생성하는 단계; 및
   상기 특징행렬의 모든 값 또는 일부를 특징정보로서 추출하는 단계를 포함하는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
2. 삭제
3. 삭제
4. 청구항 1에 있어서,
   상기 특징행렬의 값들 중 상기 대상 영상의 중앙을 중심으로 생성된 일부의 값들이 상기 특징정보로서 설정되는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
5. 청구항 1에 있어서,
   상기 제1 차이값들과 상기 제2 차이값들을 각각 합산함으로써 상기 영상행렬을 생성하는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
6. 청구항 1에 있어서,
   상기 대상 영상은 원본영상에 대해 미리 지정된 개수의 픽셀값들을 모두 합쳐 하나로 만들어 화소수가 감소되는 축소합성시킴으로써 생성되는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
7. 청구항 6에 있어서,
   상기 원본영상은 특정 사이즈로 조절된 상태에서 상기 대상 영상으로 축소합성되는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
8. 청구항 7에 있어서,
   상기 원본영상은 주변 픽셀들과 유사한 색상값을 갖는 픽셀들의 영역이 제거된 상태에서 상기 특정 사이즈로 조절되는 것을 특징으로 하는 영상 특징정보 생성 방법.
   
9. 제 1항, 제 4항 내지 제 8항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 컴퓨터가 읽을 수 있도록 기록된 기록 매체.

Images