KR100973302B1 - 모바일단말의 워터마킹 방법 - Google Patents

Abstract

본 발명은 모바일단말의 워터마킹 방법에 관한 것으로서, 더욱 상세하게는 전화번호, 단말기 고유번호 및 촬영 일자 등을 포함하는 촬영 정보로부터 촬영 정보의 각 문자별 이미지 조합을 통해 워터마크 영상을 생성하고, 생성된 워터마크 영상의 이진 비트열을 촬영 영상의 휘도 성분과 색차 성분에 각각 반복적으로 삽입하며, 워터마크가 삽입되는 위치의 주파수 특성에 따라 그 삽입 강도를 조절함으로써, 모바일 단말 상에서 워터마킹으로 인한 영상 처리 시간 지연과, 워터마크 삽입 후의 화질 열화를 경감하는 동시에, 영상 처리 및 의도적 공격에 대한 강인성을 확보할 수 있는 워터마킹 방법에 관한 것이다.

본 발명에 따른 모바일단말의 워터마킹 방법은 모바일단말의 전화번호, 고유번호 및 촬영 일자를 포함하는 촬영 정보에 대하여, 상기 촬영 정보에 포함될 수 있는 각 문자 및 숫자에 대하여 기 정의되어 있는 이진 영상 세트중에서 상기 촬영 정보와 매칭되는 이진 영상들을 선택하고, 상기 선택된 이진 영상들을 미리 설정된 규격의 가로 및 세로 비트열 수에 맞추어 하나의 이진 워터마크 영상을 생성하는 워터마크 영상 생성 단계와, 촬영 영상의 휘도 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 휘도 워터마킹 단계와, 촬영 영상의 색차 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 색차 워터마킹 단계와, 상기 휘도 워터마킹 단계 및 색차 워터마킹 단계를 통해 각각 워터마크가 삽입된 휘도 성분과 색차 성분을 합산하여 워터마크가 삽입된 최종 영상을 생성하고, 상기 생성된 최종 영상을 압축하여 저장하는 단계를 포함하여 구성되는 것을 특징으로 한다.

워터마킹, 휘도, 색차, 불법 촬영, 촬영 정보, 포렌식

Description

모바일단말의 워터마킹 방법{A watermarking method of the mobile terminal for multimedia forensic}

본 발명은 모바일단말의 워터마킹 방법에 관한 것으로서, 더욱 상세하게는 전화번호, 단말기 고유번호 및 촬영 일자 등을 포함하는 촬영 정보로부터 촬영 정보의 각 문자별 이미지 조합을 통해 워터마크 영상을 생성하고, 생성된 워터마크 영상의 이진 비트열을 촬영 영상의 휘도 성분과 색차 성분에 각각 반복적으로 삽입하며, 워터마크가 삽입되는 위치의 주파수 특성에 따라 그 삽입 강도를 조절함으로써, 모바일 단말 상에서 워터마킹으로 인한 영상 처리 시간 지연과, 워터마크 삽입 후의 화질 열화를 경감하는 동시에, 영상 처리 및 의도적 공격에 대한 강인성을 확보할 수 있는 워터마킹 방법에 관한 것이다.

과거 임베디드 시스템은 특정 기능만을 수행하기에 최적화된 장비에 불과했으며, 상호 통신 및 호환성에 대한 기능은 대부분 배제되는 것이 일반적이었다. 그러나 최근들어 반도체 공정 상의 집적도와 이동식 멀티미디어 매체의 혁신적인 발전 및 사용자 요구의 증대는 디지털 컨버젼스라는 페러다임으로 발전하여, 임베디드 시스템을 개인 휴대용 PC로까지 그 성능 및 호환성을 확장시키기에 이르렀다.

특히, 모바일 단말 시장의 2G에서 3G로의 시대적 변화는 음성 통신을 위한 모바일 단말의 주요 기능을 단순한 통신 수단을 넘어서서 고성능의 이미지, 비디오 처리를 위한 하드웨어를 탑재하여 고해상도의 디지털 카메라/캠코더 역할로 변화시키고 있다.

이와 같이 영상 촬영 수단을 장착한 모바일단말은 내장된 카메라의 성능과 해상도가 나날이 향상됨에 따라 많은 문명적 이기를 가져오고 있으며 향후 더 많은 효용가치를 가질 것으로 예상된다.

반면 이러한 모바일단말의 소형화와 고성능화로 인해, 멀리서, 혹은 아주 작은 공간에서도 대상체를 촬영할 수 있다는 장점을 악용하여 사람과 장소를 불문하고 허가 없이 사진을 촬영한 후, 촬영된 영상을 인터넷을 통해 불법으로 유포시킴으로써 심각한 개인 사생활 침해와 도덕적 문제를 발생시킨 경우가 많이 보고되어 왔으며, 또한 국가 기밀을 요하는 문서나 기업의 사활이 걸려 있는 중요 핵심 기술에 대한 문서 및 장비 등을 모바일단말로 불법 촬영하여 유출시킴으로서 국가나 기업에게 큰 경제적 손실을 입히는 심각한 부작용을 발생시키는 사례도 종종 언론을 통해 보도되고 있다.

이와 같은 불법 유출을 방지하기 위해, 실제 국가 기밀을 요하는 곳이나 회사의 중요 문서 또는 장비가 있는 장소와 경영 전략 등의 중요한 회의가 이루어지는 장소에 출입을 할 때에는 카메라 기능이 탑재된 모바일단말의 반입을 원천적으로 금지하고 있는 실정이다.

또한, 카메라폰의 무절제한 사용으로 인한 사회적인 부작용을 방지하기 위하 여 단말기 제조업체를 대상으로 카메라 기능이 탑재된 모바일단말로 사진 또는 동영상을 촬영할 때 강제적으로 촬영음을 발생시키도록 의무화함으로써 피촬영자가 사진 촬영사실을 인지할 수 있도록 하고 있다.

그러나, 이러한 방법은 무음(無音) 벨소리를 모바일단말에 내장된 기본 촬영음과 대체하는 등의 방식으로 무력화되기 쉽고, 시끄럽고 혼잡한 장소에서는 그 효과가 크지 않으므로, 불법 촬영을 근본적으로 예방하고 이미 유출된 사진으로부터 부정촬영자 및 불법 유포자의 정보를 획득하여 최초의 촬영자 및 유보자를 추적할 수 있는 과학 수사 기법, 즉 멀티미디어 포렌식(multimedia forensic)에 적용할 수 있는 기술 개발이 절실하게 요구되고 있다.

본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 전화번호, 단말기 고유번호 및 촬영 일자 등을 포함하는 촬영 정보로부터 촬영 정보의 각 문자별 이미지 조합을 통해 워터마크 영상을 생성하고, 생성된 워터마크 영상의 이진 비트열을 촬영 영상의 휘도 성분과 색차 성분에 각각 반복적으로 삽입하며, 워터마크가 삽입되는 위치의 주파수 특성에 따라 그 삽입 강도를 조절함으로써, 모바일 단말 상에서 워터마킹을 위한 영상 처리 속도를 향상시키고, 워터마크 삽입 후의 화질 열화를 최소화하는 동시에, 영상 처리 및 의도적 공격에 대한 강인성을 확보하는 데에 있다.

상기의 목적을 달성하기 위한 기술적 사상으로서의 본 발명은, 모바일단말의 전화번호, 고유번호 및 촬영 일자를 포함하는 촬영 정보에 대하여, 상기 촬영 정보에 포함될 수 있는 각 문자 및 숫자에 대하여 기 정의되어 있는 이진 영상 세트중에서 상기 촬영 정보와 매칭되는 이진 영상들을 선택하고, 상기 선택된 이진 영상들을 미리 설정된 규격의 가로 및 세로 비트열 수에 맞추어 하나의 이진 워터마크 영상을 생성하는 워터마크 영상 생성 단계와, 촬영 영상의 휘도 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 휘도 워터마킹 단계와, 촬영 영상의 색차 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 색차 워터마킹 단계와, 상기 휘도 워터마킹 단계 및 색차 워터마킹 단계를 통해 각각 워터마크가 삽입된 휘도 성분과 색차 성분을 합산하여 워터마크가 삽입된 최종 영상을 생성하고, 상기 생성된 최종 영상을 압축하여 저장하는 단계를 포함하여 구성되는 것을 특징으로 하는 모바일단말의 워터마킹 방법을 제공한다.

본 발명에 따른 모바일단말의 워터마킹 방법은, 촬영 정보에 대한 워터마킹을 위한 영상 처리 알고리즘을 단순화 및 최적화함으로써 워터마킹에 요구되는 영상 처리 속도를 대폭 향상시키는 동시에, 워터마크의 비가시성 및 강인성을 확보함으로써 부정 촬영자 및 무단 배포자를 색출하기 위한 멀티미디어 포랜식에 적용하여 용의자를 신속·정확하게 색출할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.

도 1은 본 발명에 따른 워터마킹 방법이 적용되는 모바일단말의 영상 처리 관련 구성을 개략적으로 나타내는 블록도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 워터마킹 방법이 적용되는 모바일단말은 정지영상 또는 동영상을 촬영하는 카메라모듈(10)과, 카메라 모듈(10)을 제어하는 카메라제어부(15)와, 카메라모듈(10)에서 촬영된 영상을 저장하는 메모리(30)와, 메모리(30)를 제어하는 메모리제어부(35)와, 메모리(30)에 저장된 촬영 영상에 워터마크(watermark)를 삽입하여 압축 처리하는 영상처리부(50)와, 각 제어부(15, 35) 및 영상처리부(50)와 연결되어 장치 전체를 제어하는 주제어부(20)를 포함하여 구성된다. 또한, 사용자로부터 촬영 명령을 입력받는 촬영버튼(60)과, 촬영버튼(60)의 입력신호를 전달받아 주제어부로 전송해주는 인터페이스관리부(65)가 포함된다.

영상처리부(50)는 촬영 영상에 워터마크를 삽입하여 은닉시키는 워터마크삽입부(51)와, 워터마크삽입부(51)에 의해 워터마크가 삽입된 영상을 JPEG 또는 MPEG 포맷으로 압축시키는 영상압축부(52)로 구성된다.

워터마크삽입부(51)는 모바일단말의 특성상 최초의 촬영 영상이 자동으로 워터마킹 처리된 후 압축 변환되어 저장되기 때문에 원영상이 존재하지 않으며, 저장 공간이 협소하기 때문에 향후 검출에 필요한 별도의 정보를 보관하기 어렵다는 점을 고려하여, 원영상이 없어도 워터마크의 검출이 가능한 블라인드(blind) 방식의 워터마킹을 수행하게 된다.

영상압축부(52)는 통상적으로 영상 처리 속도를 향상시키기 위하여 대상 영상을 일정 개수로 분할하여 각각의 분할된 영역을 압축하게 되는데, 예를 들면, JPEG 포맷으로 압축하는 경우 대상 영상을 8×8 블록으로 분할하고, 분할된 각 블록에 대하여 이산 코사인 변환(DCT)을 수행하게 된다.

이와 같이 구성된 모바일단말에서 촬영된 원영상은 남아있지 않고 원영상에 워터마킹된 영상만이 JPEG 또는 MPEG 압축과 화질 향상을 위한 영상처리 과정을 거쳐 저장되므로, 워터마킹된 정보는 다양한 영상처리에 대한 강인성을 만족시킬 수 있어야 한다. 또한, 카메라폰에 탑재되는 CPU 코어는 처리속도와 데이터 처리량에 있어 일반 컴퓨터에 구비되는 CPU 코어에 비하여 성능이 떨어지기 때문에 워터마킹 알고리즘은 최대한 단순해야 하며, 영상 촬영과 동시에 워터마킹이 수행되야 하므로 최대한 실시간성을 만족해야 한다.

따라서, 본 발명에서는 워터마크의 강인성 및 임베디드 환경의 실시간적 특성을 고려하여, 촬영된 영상의 휘도 신호에 대하여 정수기반 5/3 Tab 이산웨이브릿변환(Discrete wavelet transform; DWT) 도메인 상에서 워터마킹을 수행하며, 색차 신호에 대해서는 CDV(Chrominance Difference Values) 범위 변경을 통해 픽셀 도메인에서 워터마킹을 수행하는 방식을 채택함으로써, 영상처리에 대한 강인성을 확보하는 동시에 워터마킹에 따른 시간 지연을 최소화시킬 수 있다.

도 2는 본 발명의 일실시예에 따른 워터마킹 과정을 나타내는 순서도이고, 도 3은 도 2에 도시된 워터마킹 과정의 세부 절차를 보여주는 도면이다.

이하, 도 2 및 도 3을 참조하여, 본 발명의 일실시예에 따른 워터마킹 방법에 대하여 설명하기로 한다.

먼저, 촬영과 관련된 정보, 즉 모바일단말의 전화번호 및 고유번호와 촬영 일자 등의 촬영 정보로 구성된 이진 워터마크 영상을 생성한다(S10). 즉, 촬영 정보에 포함될 수 있는 각 문자 및 숫자에 대하여 미리 정의되어 있는 이진 영상 세트 중에서 촬영시의 촬영 정보와 매칭되는 이진 영상들을 선택하여, 선택된 이진 영상들을 일정한 규칙으로 배열하여 조합함으로써 하나의 이진 워터마크 영상을 생성한다.

이후, CMOS Imaging Sensor와 같은 카메라모듈로부터 휘도 성분 및 색차 성분으로 구성된 촬영 영상에 대한 로우 데이터(raw data)를 전송받는다(S20). 여기서 획득된 촬영 영상에 대한 로우 데이터는 촬영 영상의 각 화소에 대한 RGB 성분 으로 구성된 베이어 데이터(bayer data)를 YCbCr 색공간으로 변환시킨 데이터로서, 휘도 성분에 해당하는 Y값과 색차 성분에 해당하는 Cb, Cr로 구성된다.

이어서, 상기 S20 단계에서 전송된 로우 데이터의 휘도 성분에 상기 S10 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입한다(S30). 즉, 촬영 영상의 로우 데이터 중 휘도 성분을 5/3 Tab DWT 변환하고(S31), 변환된 5/3 Tab DWT 도메인의 DWT 변환 계수들에 상기 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입한 후(S32), 워터마크가 삽입된 DWT 도메인을 역 DWT 변환(5/3 Tab IDWT)하여 워터마크가 삽입된 영상에 대한 색공간 데이터를 획득한다(S33). 여기서, 빠른 영상 처리를 위해 촬영 영상의 휘도 성분을 리프팅 스킴(Lifting Scheme)을 이용하여 Re Gall 5/3 DWT 변환 한 후, 강인성 확보를 위해 저주파 영역에 영상 적응적으로 워터마크를 삽입하는데, 촬영 영상의 휘도 성분에 워터마크 정보를 삽입하는 세부적인 과정은 후술하여 상세히 설명하기로 한다.

상기 S30 단계에서 휘도 성분에 대한 워터마크 삽입 과정 중 획득된 DWT 변환 계수들 중 고주파 영역에 해당하는 계수들은 별도로 저장하여 이후에 수행되는 색차 성분 워터마크 삽입 단계에서 참조하게 된다.

이후, 상기 S20 단계에서 전송된 로우 데이터의 색차 성분에 상기 S10 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입한다(S40). 즉, 촬영 영상의 로우 데이터 중 각 화소에 대한 색차 성분의 CDV(Chrominance Difference Values) 범위를 상기 생성된 워터마크 영상의 이진 비트열에서의 대응되는 비트값에 따라 변경시키는 방법으로 워터마크를 삽입한다. 여기서, CDV는 촬영 영상의 각 픽셀에서의 Cb값과 Cr값의 차이에 해당하는데, 색차 성분에 워터마크 정보를 삽입하는 세부적인 과정은 후술하여 상세히 설명하기로 한다.

상기 색차 성분에 대한 워터마크 삽입 단계(S40)가 완료되면, 워터마크가 삽입된 휘도 성분과 색차 성분을 합산하여 워터마크가 삽입된 최종 영상을 생성하고(S50), 상기 생성된 최종 영상을 JPEG 또는 MPEG 포맷으로 압축하여 저장한다(S60).

한편, 상기 휘도 성분에 대한 워터마크 삽입 단계(S30)와 색차 성분에 대한 워터마크 삽입 단계(S40)에서는, 각 단계를 수행하기에 앞서 먼저 상기 워터마크 생성 단계(S10)에서 생성된 워터마크 영상을 촬영 영상의 크기를 고려하여 일정 배율로 확대하고, 확대된 워터마크 영상의 이진 비트열을 이용하여 워터마크 정보를 삽입할 수도 있다.

도 4는 도 2에 도시된 워터마크 영상 생성 단계의 워터마크 생성 예를 나타내는 도면이다.

앞서 설명한 바와 같이, 상기 워터마크 영상 생성 단계(S10)에서는 멀티미디어 포랜식을 고려하기 위해 사진이 촬영된 모바일단말의 전화번호 및 고유번호와 촬영 날짜 등의 촬영 정보를 워터마크 정보로 사용한다.

이를 위해서, 도 3에 도시된 바와 같이, 알파벳 대문자와 숫자(0~9, A~Z)에 대응하는 각각의 아스키 문자를 나타내는 10×20 크기의 이진 영상들로 이루어진 총 36개의 이진 영상 세트를 모바일단말의 메모리에 미리 저장해 두고, 사진 촬영 진입 모드일 때 기저장된 36개의 이진 영상들 중 현재 촬영 정보의 각 문자 또는 숫자와 순차적으로 매칭되는 이진영상들을 선택하여 이를 일정한 방법으로 배열하여 조합함으로써 촬영 정보가 포함된 이진 워터마크 영상을 생성한다. 예를 들어, 촬영 정보로 총 24개의 문자가 필요한 경우, 각 문자에 대응하는 총 24개의 이진 영상들을 추출하여 이들을 미리 정해진 조합 규칙인 가로세로 8×3으로 조합하여 전체 크기가 80×60인 이진 워터마크 영상을 생성하게 된다.

여기서, 워터마크 영상에 포함된 사용자 정보를 보다 안전하게 보호할 수 있도록, 워터마크 영상의 이진 비트열을 인증기관의 암호화 키를 이용해 사용자가 알지 못하는 이진 비트열로 암호화한 후, 암호화된 이진 워터마크 비트열로 워터마크 영상을 재구성하는 것이 바람직하다.

또한, 생성된 조합 영상에서 각 문자 영역의 테두리 부분에 위치한 화소값들을 추출하여 조합 영상과 동일한 크기의 패턴 영상을 만든 후, 추출된 화소를 제외한 나머지 중요 화소들의 화소값들을 상기 패턴 영상에 교삽하여 워터마크 영상을 생성함으로써, 촬영된 사진이 인터넷에 유포된 후 제3자에 의해 이동, 절삭 및 스케일링 등의 영상처리가 이루어지더라도, 포렌식(forensic)을 적용할 때 패턴 영상의 워터마크 패턴을 찾아내 중요 사용자 정보를 용이하게 검출할 수 있도록 할 수 있다.

도 5는 도 2에 도시된 휘도 성분에 대한 워터마크 삽입 단계의 DWT 변환 방법을 나타내는 도면이다.

이하, 도 5를 참조하여, 상기 휘도 성분에 대한 워터마크 삽입 단계(S30)에서 워터마크 영상의 이진 비트열을 삽입하는 방법에 대하여 상세히 설명하기로 한다.

본 실시예에 따른 휘도 성분에 대한 워터마크 삽입은, 모바일단말의 임베디드 시스템에서 원활하게 구동될 수 있도록 계산 복잡도와 연산량을 감소시키고 메모리 사용을 최소화하기 위해, JPEG2000 표준으로 채택된 Re Gall의 5/3 Tab 정수 DWT와 리프팅 스킴(Lifting Scheme)을 이용한다.

Re Gall의 5/3 Tab DWT의 2 채널 필터 뱅크는 아래의 수학식 1과 같이 표현된다.

여기서, X_e(z)와 X_o(z)는 각각 짝수 번째와 홀수 번째 픽셀 값을 나타내며, S(z)와 D(z)는 각각 저주파 및 고주파 DWT 계수를 나타낸다.

전체 영상에 대해 수학식 1의 DWT 변환을 빠르게 수행하기 위하여, 도 5에 도시된 바와 같이 리프팅 스킴을 적용하여 DWT를 수행하는데, Prediction Stage(P(z))와 Update Stage(U(z))를 수행함으로써 신속하게 DWT 계수인 S(z)와 D(z)를 산출할 수 있다.

이와 같이 DWT 변환이 완료되면, 저주파 영역인 3-레벨 DWT 변환 계수의 LL3 영역에 워터마크 정보를 삽입하는데, 먼저 워터마크 영상을 LL3영역의 크기(M x N)와 같은 크기로 확대한 후, 확대된 워터마크 영상의 이진 비트열을 LL3 영역의 각 DWT 변환 계수에 1 비트씩 순차적으로 은닉하는 방식으로 LL3 영역의 전체 DWT 변환 계수에 삽입하게 된다.

이 때, 아래의 수학식 2과 같이 고주파 영역의 모든 DWT 변환 계수 C_(m,n)에 대한 합의 평균으로부터 촬영 영상의 DWT 레벨에서의 고주파 영역 특성을 나타내는 임계치(Th)를 산출하고, LL3 영역의 각 위치에서의 주파수 특성과 임계치(Th)를 비교하여 해당 DWT 변환 계수에 삽입되는 워터마크의 삽입 강도를 결정한다.

여기서, M과 N은 DWT 변환 영역에서 Level 3의 주파수 영역의 수직, 수평 크기를 나타낸다.

이어서, LL3 영역의 각 위치별 DWT 변환 계수 값 C_LL3(m,n)에 대한 주파수 특성 값 g_(m,n)을 아래의 수학식 3과 같이 결정한 후, 상기 수학식 2에서 결정된 Th를 이용하여 워터마크 삽입 강도 mag_(m,n)을 아래의 수학식 4와 같이 결정한다. 여기서

는 비가시성 및 강인성을 위해 삽입 강도를 조절할 수 있게 하는 조절인자로 사용된다.

최종적으로 워터마크는 아래의 수학식 5와 같이 정수 기반 DWT 변환 영역의 LL3 계수들의 Bit Plane 상에 은닉된다.

여기서, C^* _LL3(m,n)은 워터마크가 삽입된 LL3 영역의 DWT 변환 계수, C_LL3(m,n)은 워터마크 삽입전 LL3 영역의 DWT 변환 계수, w는 워터마크 비트, &, |, <<는 비트 연산자를 의미한다.

이하, 상기 색차 성분에 대한 워터마크 삽입 단계(S40)에서 워터마크 영상의 이진 비트열을 삽입하는 방법에 대하여 상세히 설명하기로 한다.

본 발명에서는 촬영 영상의 각 색차 성분(Cb, Cr)의 차이 값(chrominance difference value: CDV)를 이용하여, 촬영된 사진의 절삭, 회전, 스케일링 등의 영 상처리에 부가적인 강인성을 향상시킬 수 있는 연산량이 적은 워터마킹을 수행한다. 이는 대부분의 JPEG 압축이 Cb 및 Cr 신호에 대해 동일한 양자화 매트릭스를 사용한다는 점과, 영상의 압축, 절삭, 회전 스케일링 등에 대해서 각 픽셀이 갖는 색상 정보는 거의 변화가 없다는 점에 착안한 것으로서, 각 픽셀 고유의 CDV를 이용함으로써 각종 기하학적 영상처리에 강인한 워터마킹을 구현할 수 있도록 해준다.

이와 같은 색차 성분에 대한 워터마킹은 촬영 영상의 각 픽셀의 CDV 범위를 대응되는 워터마크 비트값과 해당 위치의 주파수 특성에 따라 아래의 수학식 6을 만족하는 범위 내의 임의의 값으로 변경함으로써 수행된다. 즉, 현재 색차 성분의 CDV가 워터마크 '0' 또는 '1' Bit를 나타내는 범주 중 어디에 위치해 있는지 확인 한 후, 삽입할 워터마크 비트가 '1'일 경우에 CDV를 현재 CDV와 가장 가까운 워터마크 '1'의 위치로 이동하기 위해 색차 성분 Cb, Cr 값을 변경한다. 반대로, 삽입할 워터마크 비트가 '0'일 경우에도 같은 방법으로 색차 성분 Cb, Cr 값을 변경함으로써 CDV를 워터마크 비트와 동일한 '0'의 위치로 이동시킨다. 만약 현재 CDV가 삽입하고자 하는 워터마크 비트와 동일한 범주에 속해 있다면, CDV 값을 그 범주의 중앙에 위치하도록 색차 성분 Cb, Cr 값을 변경함으로써 공격에 대한 강인성을 향상시킨다.

여기서, CDV_i,j와 CDV^* _i,j는 각각 원본 색차 성분의 차이 값(Cb_i,j-Cr_i,j)과 워터마크로 인해 변경된 색차 성분의 차이 값을 나타내며, m은 스텝 변수, w는 이진 워터마크 비트값이다.

YCbCr 4:2:2 및 4:2:0 포맷에서 색차 신호의 변경은 전체 영상의 색상에 대한 컨투어 노이즈를 야기하기 쉬우므로, 이를 고려하기 위해 상기 휘도 성분에 대한 워터마크 삽입 단계(S30)에서 얻어진 상기 수학식 3의 계산 결과를 이용하여, 해당 픽셀 영역의 주파수 특성(g_L1(i/2,j/2))에 따라 아래의 수학식 7과 같이 스텝 변수 m을 가변함으로서 워터마크 삽입으로 인한 색차 신호의 컨투어 노이즈를 최소화 할 수 있다.

여기서, R과 β는 각각 상수 팩터이다.

이상에서와 같이, 본 발명에 따른 워터마킹 방법에서는 촬영 정보로 구성되 는 워터마크 영상의 이진 워터마크 비트열을 촬영 영상의 휘도 성분과 색차 성분에 각각 반복적으로 은닉하며, 워터마크가 삽입되는 위치의 주파수 특성에 따라 그 삽입 강도를 조절함으로써, 워터마크 삽입 후의 화질 열화를 최소화하고 영상 처리에 대한 강인성을 확보할 수 있다.

이하에서는, 앞서 설명한 워터마킹 방법에 의해 삽입된 워터마크를 역으로 검출하는 방법에 대하여 간략히 살펴보기로 한다.

휘도 성분에 대한 워터마킹의 경우, 워터마크가 삽입된 영상의 휘도 성분을 역DWT 변환하여 검출되는 워터마크 영상을 기저장되어 있는 각 문자별 이진 영상과 패턴 매칭함으로써 통계적으로 영상에 은닉된 사용자 정보를 검출한다.

한편, 색차 신호에 대한 워터마킹의 경우에는, 워터마크가 삽입된 영상의 색차 성분에 대한 CDV 값을 구하여 패턴 영상을 찾아내고, 워터마크 패턴이 유포 과정에서 변형된 정도에 따라 각종 영상처리 파라미터를 산출한 후, 산출된 파라미터에 따라 후처리를 거쳐 워터마크 정보를 검출한다. 이와 같이 색차 신호에 대한 워터마킹을 검출한 결과를 휘도신호로부터 검출된 워터마크에 부가적으로 사용될 수 있으며, 모바일 폰의 부정 촬영자 색출을 위해 휘도 신호의 워터마크와 더불어 정확한 사용자 정보를 검출하는 데에 이용할 수 있다.

본 발명에 따른 워터마킹 방법의 성능 평가를 위해 200M Pixel 급 CMOS카메라 모듈과 MSM-6550 칩셋을 장착한 모바일폰을 사용하였으며, 모바일폰 내에서 지 원 가능한 네 가지 해상도(UVGA, 4VGA, VGA, QVGA) 중 부정 촬영 및 영상 정보 보존에 적합하지 않은 저화질의 QVGA 해상도를 제외한 모든 해상도 레벨에서 실험을 수행하였고, 테스트용 모바일 폰에서 가능한 모든 JPEG 압축률(High: 95%, Middle: 80%, Low: 50%)에 대해 강인성을 평가하였다.

이와 같이 각 해상도 및 압축률에 따라 휘도 성분에 대한 24개 문자의 워터마킹에 대한 강인성을 검증한 실험 결과를 아래의 표 1에 나타내었다.

Resolution	Quality	Statistical ratio	CER
UVGA	High(90%)	92.15%	0%
	Middle(80%)	91.67%	0%
	Low(75%)	91.44%	0%
4VGA	High	86.53%	0%
	Middle	84.76%	0%
	Low	83.19%	0%
VGA	High	74.32%	0%
	Middle	73.25%	7.4%
	Low	72.76%	14.8%

상기 표 1은 각각의 해상도와 압축률에 따른 통계적 검출율과 검출된 문자 정보의 오류율을 나타낸 것으로서, 표 1에 나타난 실험 결과로부터 VGA 급 이상의 해상도에서 압축률과 관계없이 최초의 은닉된 24개의 문자가 모두 검출됨을 확인할 수 있었다.

도 6은 본 발명에 따른 색차 성분 워터마킹의 JPEG 압축 결과에 대한 CDV 히스토그램을 나타내는 그래프로서, 실험의 편의를 위해 수학식 6에 적용되는 m값을 20으로 고정하였다.

도 6에서 알 수 있듯이, 휘도 성분에 대한 워터마킹과 아울러 부정 촬영된 영상의 스케일링 및 회전에 대한 워터마크 강인성을 위해 적용되는 색차 성분 워터마킹을 적용한 결과, JPEG 압축 후에도 대부분의 히스토그램 값들이 워터마크 검출 가능 범위 안에 분포함을 알 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.

도 1은 본 발명에 따른 워터마킹 방법이 적용되는 모바일단말의 영상 처리 관련 구성을 개략적으로 나타내는 블록도.

도 2는 본 발명의 일실시예에 따른 워터마킹 과정을 나타내는 순서도.

도 3은 도 2에 도시된 워터마킹 과정의 세부 절차를 보여주는 도면.

도 4는 도 2에 도시된 워터마크 영상 생성 단계의 워터마크 생성 예를 나타내는 도면.

도 5는 도 2에 도시된 휘도 성분에 대한 워터마크 삽입 단계의 DWT 변환 방법을 나타내는 도면.

도 6은 본 발명에 따른 색차 성분 워터마킹의 JPEG 압축 결과에 대한 CDV 히스토그램을 나타내는 그래프.

<도면의 주요 부분에 대한 부호의 설명>

10 : 카메라모듈 15 : 카메라제어부

20 : 주제어부 30 : 메모리

35 : 메모리제어부 50 : 영상처리부

65 : 인터페이스관리부

Claims (7)

1. 모바일단말의 전화번호, 고유번호 및 촬영 일자를 포함하는 촬영 정보에 대하여, 상기 촬영 정보에 포함될 수 있는 각 문자 및 숫자에 대하여 기 정의되어 있는 이진 영상 세트중에서 상기 촬영 정보와 매칭되는 이진 영상들을 선택하고, 상기 선택된 이진 영상들을 미리 설정된 규격의 가로 및 세로 비트열 수에 맞추어 하나의 이진 워터마크 영상을 생성하는 워터마크 영상 생성 단계와;

   촬영 영상의 휘도 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 휘도 워터마킹 단계와;

   촬영 영상의 색차 성분에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 색차 워터마킹 단계와;

   상기 휘도 워터마킹 단계 및 색차 워터마킹 단계를 통해 각각 워터마크가 삽입된 휘도 성분과 색차 성분을 합산하여 워터마크가 삽입된 최종 영상을 생성하고, 상기 생성된 최종 영상을 압축하여 저장하는 단계;

   를 포함하여 구성되는 것을 특징으로 하는 모바일단말의 워터마킹 방법.
2. 삭제
3. 제 1항에 있어서,

   상기 휘도 워터마킹 단계는,

   촬영 영상에 대한 로우 데이터(raw data)의 휘도 성분을 이산웨이브릿변환(DWT)하고, 상기 이산웨이브릿변환을 통해 얻어지는 DWT 계수들에 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열을 반복적으로 삽입하는 것을 특징으로 하는 모바일단말의 워터마킹 방법.
4. 제 1항에 있어서,

   상기 휘도 워터마킹 단계는,

   촬영 영상에 대한 로우 데이터(raw data)의 휘도 성분을 리프팅 스킴(Lifting Scheme)을 이용하여 Re Gall 5/3 DWT 변환하고, 상기 Re Gall 5/3 DWT 변환을 통해 얻어지는 3-레벨 DWT 변환 계수의 LL3 영역에 워터마크 비트를 순차적으로 삽입하되, 고주파 영역의 모든 DWT 변환 계수에 대한 합의 평균으로부터 촬영 영상의 DWT 레벨에서의 고주파 영역 특성을 나타내는 임계치를 산출하고, 워터마크 비트가 삽입되는 LL3 영역의 각 위치에서의 주파수 특성과 상기 산출된 임계치를 비교하여 워터마크 삽입 강도를 결정하는 것을 특징으로 하는 모바일단말의 워터마킹 방법.
5. 제 1항에 있어서,

   상기 색차 워터마킹 단계는,

   촬영 영상에 대한 로우 데이터의 색차 성분의 CDV(Chrominance Difference Values)가 상기 워터마크 영상 생성 단계에서 생성된 워터마크 영상의 이진 비트열에서의 대응되는 비트값에 가까운 범위로 이동되도록 색차 성분 Cb, Cr 값을 변경함으로써, 색차 성분에 워터마크 정보를 삽입하는 것을 특징으로 하는 모바일단말의 워터마킹 방법.
6. 제 5항에 있어서,

   상기 로우 데이터의 색차 성분의 CDV는,

   아래의 수식을 만족하는 범위 내의 임의의 값으로 변경되는 것을 특징으로 하는 모바일단말의 워터마킹 방법.

   (수식)

   

   (CDV_i,j : 원본 영상의 색차 성분의 차이 값, CDV^* _i,j : 워터마크로 인해 변경된 색차 성분의 차이 값, w_i,j : 이진 워터마크 비트, m : 스텝 변수)
7. 제 6항에 있어서,

   상기 수식의 스텝 변수(m)는 해당 픽셀 영역의 주파수 특성값에 따라 가변되 는 것을 특징으로 하는 모바일단말의 워터마킹 방법.

Images