KR20190066430A - 워터마크를 이용한 디지털 미디어 보호 장치 및 방법 - Google Patents

Abstract

워터마크를 이용하여 디지털 미디어를 보호하는 장치 및 방법이 개시된다. 본 개시의 워터마크 삽입 방법은 입력 신호에 대해 제1 인코더를 적용하여 상기 입력 신호의 인코딩 신호를 생성하는 단계, 생성된 인코딩 신호에 대해 제1 인코더에 대응되는 제1 디코더를 적용하여 입력 신호에 대한 복원 신호를 생성하는 단계, 인코딩 신호로부터 소정의 조건을 만족하는 워터마크 비트스트림을 결정하는 단계, 입력 신호와 복원 신호를 이용하여 생성된 제1 차분 신호에 결정된 워터마크 비트스트림을 삽입하는 단계, 인코딩 신호와 결정된 워터마크 비트스트림을 이용하여 제2 차분 신호를 생성하는 단계 및 결정된 워터마크 비트스트림이 삽입된 제1 차분 신호에 대해 제2 인코더를 적용하여 출력 신호를 생성하는 단계를 포함할 수 있다.

Description

워터마크를 이용한 디지털 미디어 보호 장치 및 방법{DIGITAL MEDIA PROTECTION APPARATUS AND METHOD USING WATERMARK}

본 개시는 워터마크를 이용한 디지털 미디어 보호 방법 및 장치에 관한 것이며, 보다 구체적으로는 디지털 디지털 미디어의 단계적인 인코딩/디코딩 및 비지각성 블라인드 디지털 워터마크 기술을 적용하여 디지털 미디어를 보호하는 방법 및 장치에 관한 것이다.

디지털 미디어는 디지털 기술과 유무선 통신 기술의 발전 및 확산에 따라 일상 생활에서 다양한 형태로 사용되고 있다. 예를 들어, 예를 들어, 스마트폰이나 태블릿 등을 이용하여 원하는 동영상을 언제 어디서나 볼 수 있을 뿐만 아니라 동영상을 촬영하여 실시간으로 다른 사람들과 공유할 수도 있다. 얼마 전까지만 해도 디지털 미디어는 주로 영화나 방송, 음반 제작 등을 위해 전문가들이 생성했다면, 지금은 누구나 편리하게 디지털 미디어를 생성할 수 있으며, 또한 최근에는 IP 카메라나 CCTV를 통해 생성되는 디지털 미디어도 빠르게 증가하고 있는 추세이다.

그런데, 디지털 미디어는 저장이나 전송 과정에서 다른 사람에 의해 해킹되어 사용자의 의도와는 무관하게 유통되는 경우가 있다. 최근 보완 기타 여러 가지 개인적인 사유로 IP 카메라를 설치하는 가정이 증가하면서 해킹으로 인한 사생활 침해 등의 사회적 문제가 발생하기도 하였다.

한편, 디지털 워터마킹은(digital watermarking)은 사진이나 동영상과 같은 각종 디지털 데이터에 저작권 정보와 같은 비밀 정보를 삽입하여 관리하는 기술로서, 최근 디지털 미디어가 불법적으로 유포되는 문제를 방지하기 위하여 다양한 디지털 미디어에 적용되고 있다.

본 개시의 기술적 과제는 워터마크를 이용한 디지털 미디어 보호 방법 및 장치를 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면 입력 신호에 대해 제1 인코더를 적용하여 상기 입력 신호의 인코딩 신호를 생성하는 단계; 상기 생성된 인코딩 신호에 대해 상기 제1 인코더에 대응되는 제1 디코더를 적용하여 상기 입력 신호에 대한 복원 신호를 생성하는 단계; 상기 인코딩 신호로부터 소정의 조건을 만족하는 워터마크 비트스트림을 결정하는 단계; 상기 입력 신호와 상기 복원 신호를 이용하여 생성된 제1 차분 신호에 상기 결정된 워터마크 비트스트림을 삽입하는 단계; 상기 인코딩 신호와 상기 결정된 워터마크 비트스트림을 이용하여 제2 차분 신호를 생성하는 단계; 및 상기 결정된 워터마크 비트스트림이 삽입된 제1 차분 신호에 대해 제2 인코더를 적용하여 출력 신호를 생성하는 단계를 포함하는, 워터마크를 이용한 디지털 미디어 보호 방법이 제공될 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 워터마크를 이용한 디지털 미디어 보호 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 디지털 디지털 미디어의 단계적인 인코딩/디코딩 및 비지각성 블라인드 디지털 워터마크 기술을 적용하여 디지털 미디어를 보호하는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, scalable 구조를 갖는 디지털 미디어 인코더/디코더에도 적용될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 디지털 미디어 데이터의 생성 및 소비 과정을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 일반적인 디지털 워터마크 기법을 이용한 디지털 미디어 보호 과정을 나타내는 도면이다.
도 3은 일 실시 예에 따른 디지털 미디어 보호 장치의 송신단에서 디지털 워터마크를 삽입하는 과정을 나타내는 도면이다.
도 4는 일 실시 예에 따른 디지털 미디어 보호 장치의 수신단에서 디지털 워터마크가 삽입된 신호를 복원하는 과정을 나타내는 도면이다.
도 5 및 6은 일 실시 예에 따른 오토인코더를 이용한 디지털 미디어 보호 장치의 동작을 나타내는 도면이다.
도 7은 일 실시예에 따른 워터마크를 이용한 디지털 미디어 보호 장치의 동작방법을 나타내는 흐름도이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

본 개시에서 사용하는 용어에 대한 정의는 다음과 같다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 일 실시 예에 따른 디지털 미디어 데이터의 생성 및 소비 과정을 나타내는 블록도이다.

도 1을 참조하면, 다양한 종류의 디지털 미디어 데이터(110)는 인코더(120)를 거쳐 클라우드 등의 다양한 저장장치를 통해 저장(130)되거나 통신망을 통해 전송(140)될 수 있다. 그리고, 저장장치로부터 다운로드 되거나 통신망을 통해 수신된 디지털 미디어 데이터는 디코더(150)를 거쳐 다양한 미디어 장치를 통해 재생(160)된다.

한편, 디지털 워터마킹은(digital watermarking)은 최근 디지털 미디어가 불법적으로 유포되는 문제를 방지하기 위하여 다양한 디지털 미디어에 적용되고 있으며, 도 2는 일 실시 예에 따른 일반적인 디지털 워터마크 기법을 이용한 디지털 미디어 보호 과정을 나타내는 도면이다.

도 2를 참조하면, 일반적인 워터마킹을 이용한 디지털 미디어 보호 장치는 입력 신호(x)에 대해 제작자의 권리를 보호하기 위해 필요한 정보를 워터마크로 삽입(210)한 신호(xw)를 인코딩(220)하고, 인코딩 된 신호(b1)를 클라우드 등의 저장장치에 업로드(230) 하거나 통신망을 통해 전송(240)한다. 그리고, 저장장치로부터 다운로드 하거나 통신망으로부터 수신된 신호를 디코딩(250)하고 디코딩 된 신호(x’)를 재생장치를 통해 출력하고 동시에 워터마크 검출(260)을 통해 추출된 정보에 기초하여 디지털 미디어가 불법적인지 여부를 판단할 수 있다.

도 3은 일 실시 예에 따른 디지털 미디어 보호 장치의 송신단에서 디지털 워터마크를 삽입하는 과정을 나타내는 도면이다.

도 3을 참조하면, 워터마크를 이용한 디지털 미디어 보호 장치(300)는 입력 신호(x)에 대해 제1 인코더(310)를 적용하여 출력 비트스트림(b1)을 생성하고, 생성된 b1은 제1 디코더(320)를 거쳐 x에 대한 복원 신호(y)를 획득할 수 있다. 그리고, 디지털 미디어 보호 장치(300)는 x와 y를 이용하여 차분 신호(d, 즉 d= x - y)를 획득하고, b1 중에서 소정의 조건을 만족하는 비트스트림(b11)을 선택(330)할 수 있다. 예컨대, 소정의 조건은 b1 비트스트림 중에서 디코딩 성능에 가장 많은 영향을 미치는 비트스트림을 선택하는 조건일 수 있다. 또는, 비트스트림 b1이 d의 품질 저하를 야기시키지 않고 삽입될 수 있다면 전체 비트스트림이 워터마크로 선택될 수 있다. 그리고, 디지털 미디어 보호 장치(300)는 d에 워터마크 b11을 삽입(340)하여 워터마크가 삽입된 차분 신호(dw)를 획득할 수 있다. 그리고, 디지털 미디어 보호 장치(300)는 dw에 제2 인코더를 적용(350)하여 인코딩된 신호 b2를 생성하고, b1과 b11을 이용하여 차분 신호(b12, 즉 b12= b1 - b11)를 획득할 수 있다. 예컨대, b12는 비트스트림 b1 중에서 워터마크로 삽입되는 비트스트림 b11을 제외한 비트스트림일 수 있다. 그리고, 디지털 미디어 보호 장치(300)는 b2 또는 b12를 저장하거나 전송할 수 있다. 일반적인 방식의 디지털 미디어 보호 장치의 경우에는 b1를 저장하거나 전송하지만, 본 개시의 발명은 b2 및 b12를 저장하거나 전송할 수 있으며, 인코더 제어부(360)를 통해 차분 신호(d)의 특성을 조절하여, 수신단에서 복원될 디지털 미디어의 품질 및 워터마크 검출의 성능을 제어할 수 있다.

도 4는 일 실시 예에 따른 디지털 미디어 보호 장치의 수신단에서 디지털 워터마크가 삽입된 신호를 복원하는 과정을 나타내는 도면이다.

도 4를 참조하면, 디지털 미디어 보호 장치(400)는 저장장치로부터 읽어오거나 통신망으로부터 수신된 비트스트림 b2 에 대해 제2 디코더(410)를 적용하여 워터마크가 삽입된 차분 신호(dyw)를 획득할 수 있다. 그리고, 디지털 미디어 보호 장치(400)는 dyw에 대해 워터마크 검출(420)을 통해 비트스트림 b11을 검출하고, b11과 저장장치로부터 읽어오거나 통신망으로부터 수신된 비트스트림 b12를 이용하여 b1을 복원할 수 있다. 그리고, 디지털 미디어 보호 장치(400)는 b1에 대해 제1 디코더(430)로 디코딩 하여 복원 신호(y)를 획득하고, y와 dyw를 합하여 입력 신호(x)에 대한 최종 복원 신호(x’, 즉 x’= y + dyw)를 획득하고, x’를 미디어 재생 장치로 출력할 수 있다. 한편, 도 4의 제2 디코더(410)는 도 3의 제2 인코더(350)에 대응되고, 도 4의 제1 디코더(430)는 도 3의 제1 인코더(310)에 대응될 수 있다. 구체적으로, 인코더와 디코더가 서로 쌍을 이루지만, 제1 인코더(310)와 제1 디코더(430)의 제1 코덱과 제2 인코더(350)와 제2 디코더(410)의 제2 코덱은 같은 구조일 수도 있고 다른 구조일 수도 있다.

따라서, 본 개시의 디지털 미디어 보호 장치는 디지털 미디어를 재생하기 위해 저장장치로부터 읽어오거나 통신망을 통해 수신한 비트스트림을 일차적으로 디코딩하더라도 디지털 미디어를 재생할 수 없고, 디코딩된 신호로부터 두 번째 디코딩을 위한 비트스트림을 제대로 검출해야만 디지털 미디어를 재생할 수 있다. 즉, 본 개시에 따르면, 디지털 미디어는 두 단계에 걸쳐 보호될 수 있다. 만일 불법사용자가 획득한 데이터를 디코딩 하더라도 원래의 디지털 미디어를 복원할 수 없고, 1차 디코딩된 신호로부터 2차 디코딩을 위한 비트스트림을 검출하여 두 번째 디코딩까지 수행해야만 원래의 디지털 미디어를 복원할 수 있다.

도 5 및 6은 일 실시 예에 따른 오토인코더를 이용한 디지털 미디어 보호 장치의 동작을 나타내는 도면이다.

오토인코더(autoencoder)는 딥네트워크 기반의 비지도 학습모델로서, 뉴럴 네트워크 두 개를 뒤집어서 붙여놓은 형태로 앞에 있는 뉴럴 네트워크는 인코더, 뒤에 있는 뉴럴 네트워크는 디코더가 된다. 인코더를 통해서 입력 디지털 미디어에 대한 특징을 추출하고, 이 결과를 이용하여 디코더에서는 입력과 동일한 미디어를 생성해낼 수 있다. 도 5 및 6을 참조하면, 오토인코더를 훈련할 때는 모든 블럭이 사용되지만, 훈련이 다 된 상태에서 입력 신호를 오토인코더로 처리하는 경우에는 점선으로 표시된 블록들은 사용되지 않을 수 있다.

도 7은 일 실시예에 따른 워터마크를 이용한 디지털 미디어 보호 장치의 동작방법을 나타내는 흐름도이다.

S700 단계에서 디지털 미디어 보호 장치는 입력 신호에 대해 제1 인코더를 적용하여 입력 신호의 인코딩 신호를 생성할 수 있다.

S710 단계에서 디지털 미디어 보호 장치는 S700 단계에서 생성된 인코딩 신호에 대해 제1 인코더에 대응되는 제1 디코더를 적용하여 입력 신호에 대한 복원 신호를 생성할 수 있다.

S720 단계에서 디지털 미디어 보호 장치는 S700 단계에서 생성된 인코딩 신호로부터 소정의 조건을 만족하는 워터마크 비트스트림을 결정할 수 있다. 예컨대, 소정의 조건은 인코딩 신호 중에서 디코딩 성능에 가장 많은 영향을 미치는 비트스트림을 선택하는 조건일 수 있다.

S730 단계에서 디지털 미디어 보호 장치는 입력 신호와 S710 단계에서 생성된 복원 신호를 이용하여 생성된 제1 차분 신호에 S720 단계에서 결정된 워터마크 비트스트림을 삽입할 수 있다.

S740 단계에서 디지털 미디어 보호 장치는 S700 단계에서 생성된 인코딩 신호와 S720 단계에서 결정된 워터마크 비트스트림을 이용하여 제2 차분 신호를 생성할 수 있다.

S750 단계에서 S730 단계에서 결정된 워터마크 비트스트림이 삽입된 제1 차분 신호에 대해 제2 인코더를 적용하여 출력 신호를 생성할 수 있다.

본 개시에 따르면, 워터마크를 이용한 디지털 미디어 보호 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, 디지털 디지털 미디어의 단계적인 인코딩/디코딩 및 비지각성 블라인드 디지털 워터마크 기술을 적용하여 디지털 미디어를 보호하는 방법 및 장치가 제공될 수 있다.

또한, 본 개시에 따르면, scalable 구조를 가지는 디지털 미디어 인코더/디코더에도 적용될 수 있다. Scalable 코덱의 경우 입력 신호를 단계별로 코딩하는데, 이때 이전 단계에서 구해진 정보를 다음 단계에 워터마크로 삽입하여 코딩함으로써 코딩된 미디어 데이터가 해킹으로부터 보호될 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (1)

1. 입력 신호에 대해 제1 인코더를 적용하여 상기 입력 신호의 인코딩 신호를 생성하는 단계;
   상기 생성된 인코딩 신호에 대해 상기 제1 인코더에 대응되는 제1 디코더를 적용하여 상기 입력 신호에 대한 복원 신호를 생성하는 단계;
   상기 인코딩 신호로부터 소정의 조건을 만족하는 워터마크 비트스트림을 결정하는 단계;
   상기 입력 신호와 상기 복원 신호를 이용하여 생성된 제1 차분 신호에 상기 결정된 워터마크 비트스트림을 삽입하는 단계;
   상기 인코딩 신호와 상기 결정된 워터마크 비트스트림을 이용하여 제2 차분 신호를 생성하는 단계; 및
   상기 결정된 워터마크 비트스트림이 삽입된 제1 차분 신호에 대해 제2 인코더를 적용하여 출력 신호를 생성하는 단계를 포함하는, 워터마크를 이용한 디지털 미디어 보호 방법.

Images