KR101840253B1 - 화면 기반 통신을 지원하는 송수신 방법 및 장치 - Google Patents

화면 기반 통신을 지원하는 송수신 방법 및 장치 Download PDF

Info

Publication number
KR101840253B1
KR101840253B1 KR1020160144698A KR20160144698A KR101840253B1 KR 101840253 B1 KR101840253 B1 KR 101840253B1 KR 1020160144698 A KR1020160144698 A KR 1020160144698A KR 20160144698 A KR20160144698 A KR 20160144698A KR 101840253 B1 KR101840253 B1 KR 101840253B1
Authority
KR
South Korea
Prior art keywords
data
image frame
image
information
domain
Prior art date
Application number
KR1020160144698A
Other languages
English (en)
Other versions
KR20170053120A (ko
Inventor
정성윤
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Publication of KR20170053120A publication Critical patent/KR20170053120A/ko
Application granted granted Critical
Publication of KR101840253B1 publication Critical patent/KR101840253B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 데이터가 포함된 영상 정보를 송수신하는 장치 및 그 방법에 관한 것이다. 보다 구체적으로, 화면으로 송출되는 영상 프레임 정보 중 일부 영상 프레임 정보 내 별도의 데이터 정보를 추가하여 송신하고, 상기 방법에 의해 송신된 영상 정보를 수신하여 상기 데이터 정보를 추출하는 데이터가 포함된 영상 정보를 송수신하는 장치 및 그 방법에 관한 것이다.

Description

화면 기반 통신을 지원하는 송수신 방법 및 장치{Method and Apparatus for supporting display field communication}
본 명세서는 화면 기반 통신을 지원하는 송수신 방법 및 장치에 관한 것이다. 보다 구체적으로, 화면으로 송출되는 영상 프레임 정보 중 일부 영상 프레임에 별도의 데이터 정보를 포함시켜 전송하고, 상기 방법에 의해 송신된 영상 프레임을 수신하여 상기 데이터 정보를 추출하는 데이터가 포함된 영상 정보를 송수신하는 방법 및 장치에 관한 것이다.
정보 은닉은 이미지, 음성과 같은 기존의 디지털 데이터에 다른 디지털 데이터를 가시 또는 가청적인 왜곡을 최소화하여 은닉하는 것을 의미한다. 이와 같은 정보 은닉을 적용한 대표적인 기술로는 디지털 저작권 관리(Digital Rights Management)를 위한 워터 마크(watermark) 기술을 예로 들 수 있다.
디지털 워터마킹은 디지털 컨텐츠 내부에 저작권자 또는 사용자 정보를 은닉한 후 삽입하여 저작물이 저작권자의 동의 없이 무단 도용되는 것을 방지하거나 또는 기업 기밀정보가 유출되었을 경우 기밀정보 유출자를 추적하여 지적재산권에 대한 시비를 가리는데 사용되는 기술이다. 이외에도 워터마킹 기술은 인터넷으로 주고받는 전자문서의 텍스트, 그림, 동영상, 음악파일 등의 위조나 변조 여부를 확인할 수 있는 용도로도 사용된다. 이와 같은 워터마킹 기술은 지적재산권 관련정보를 컨텐츠에 은닉하여 삽입하는 기술과 향후 지적재산권 관련 문제가 발생하였을 경우 유출 경로의 출처를 확인하기 위해 관련정보를 추출하는 추출기술로 나뉘어진다.
다만, 상기와 같은 디지털 워터마킹 기법에서는 워터마킹 정보를 은닉하여 삽입하고, 삽입된 워터마크가 제3자에 의해 훼손되지 않도록 함에 맞춰진 기술일 뿐, 상기와 같은 기술을 통해 일정 데이터를 송수신하는 기술에 대해서는 지금까지 개발되지 않고 있었다.
KR10-2013-0087295 01
본 명세서는 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 영상 데이터를 전송함과 동시에 별도의 데이터를 전송할 수 있는 데이터가 포함된 영상 정보 송신 방법 및 장치을 제공하고자 한다.
또한, 본 명세서는 영상 데이터가 별도의 데이터를 포함할 수 있도록, 상기 영상 데이터를 특정 도메인으로 변환하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서는 영상 데이터가 별도의 데이터를 포함할 수 있도록, 상기 영상 데이터를 주파수 도메인 또는 웨이브릿 도메인으로 변환하여 데이터를 합성하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서는 영상 데이터 및 별도의 데이터 왜곡 없이 상기 영상 데이터에 상기 별도의 데이터를 포함시키는 방법 및 장치를 제공하고자 한다.
또한, 상기와 같은 방법을 통해 송신된 영상 데이터로부터 별도의 데이터 정보를 추출할 수 있는 데이터가 포함된 영상 정보 수신 장치 및 방법을 제공하고자 한다.
본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 데이터가 포함된 영상 정보 송신 방법에 있어서, 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 단계; 상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 단계; 상기 적어도 하나의 영상 프레임에 상기 데이터를 합성하기 위해 상기 데이터를 변조하는 단계; 상기 특정 도메인으로 변환된 적어도 하나의 영상 프레임과 상기 변조된 데이터를 합성하는 단계; 상기 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 단계; 상기 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임을 출력하는 단계; 및 상기 데이터가 합성된 적어도 하나의 영상 프레임을 출력하는 단계를 포함하는 단계를 포함하는 방법을 제공한다.
또한, 본 발명에서, 상기 특정 도메인은 주파수 도메인(frequency domain) 또는 웨이브릿 도메인(wavelet domain) 중 하나이다.
또한, 상기 특정 도메인이 상기 주파수 도메인인 경우, 상기 영상 프레임은 1차원 직교 주파수 분할 다중(Orthogonal Frequency Division Multiplexing, OFDM), 1차원 이산 푸리에 변환(Discrete Fourier Transform , DFT), 또는 이산 코사인 변환(Discrete Cosine Transform) 중 하나의 변환을 통해서 주파수 도메인으로 변환된다.
또한, 본 발명에서, 상기 특정 도메인이 상기 웨이브릿 도메인인 경우, 상기 영상 프레임은 웨이브릿 변환(Wavelet Transform)을 통해서 상기 웨이브릿 도메인으로 변환된다.
또한, 본 발명은, 상기 합성하는 단계는, 상기 1차원 직교 주파수 분할 다중 방법을 통해서 변환된 영상 프레임의 영상 심볼과 상기 변조된 데이터의 데이터 심볼을 매핑하는 단계를 더 포함한다.
또한, 본 발명에서, 상기 변조된 데이터는 전송하고자 하는 데이터를 나타내는 원본 데이터 및 상기 원본 데이터와 허미시안 대칭(Hermitian Symmetry)하는 데이터를 나타내는 대칭 데이터를 포함한다.
또한, 본 발명에서, 상기 원본 데이터 및 상기 대칭 데이터 각각의 엘리먼트는 상기 적어도 하나의 영상 프레임으로부터 변환된 각각의 주파수 신호와 합성된다.
또한, 본 발명에서, 상기 대칭 데이터의 엘리먼트는 상기 원본 데이터의 엘리먼트가 합성된 주파수 대역의 대칭되는 주파수 대역에서 합성된다.
또한, 본 발명에서, 상기 합성하는 단계는 상기 변조된 데이터와 상기 적어도 하나의 영상 프레임의 하다마드 곱(Hadamard product)을 통해서 수행된다.
또한 본 발명에서, 상기 변조된 데이터는
Figure 112016106832393-pat00001
로 정의되고, 상기 X[i]의 각각의 엘리먼트를 나타내는
Figure 112016106832393-pat00002
는
Figure 112016106832393-pat00003
로 정의 되며, 상기
Figure 112016106832393-pat00004
는 상기 원본 데이터의 엘리먼트로 구성된 벡터를 나타내고,
Figure 112016106832393-pat00005
는 상기 대칭 데이터의 엘리먼트를 나타낸다.
또한, 본 발명에서, 상기 변조된 데이터는 상기 변환된 영상 프레임의 고주파 대역에 삽입된다.
또한, 본 발명에서, 상기 변조된 데이터는 상기 변환된 영상 프레임의 저주파 대역에 삽입된다.
또한, 본 발명에서, 상기 적어도 하나의 영상 프레임의 개수는 영상 프레임간의 영상 변화 값에 기초하여 결정된다.
또한, 본 발명은, 데이터가 합성된 적어도 하나의 영상 프레임의 원본 영상 프레임을 획득하는 단계; 상기 데이터가 합성된 적어도 하나의 영상 프레임을 획득하는 단계; 상기 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 단계; 및 상기 원본 영상 프레임을 이용하여 상기 적어도 하나의 영상 프레임에서 상기 데이터를 디코딩하는 단계를 더 포함하는 방법을 제공한다.
또한, 본 발명은, 상기 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임의 왜곡을 보정하는 단계를 더 포함한다.
또한, 본 발명에서, 상기 디코딩하는 단계는 제로 포싱(Zero-Forcing, ZF), 또는 최소 자승 오차(Minimum Mean Square Error, MMSE)을 이용하여 수행된다.
또한, 본 발명은, 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 영상 프레임 선정부; 상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 영상 프레임 변환부; 상기 적어도 하나의 영상 프레임에 상기 데이터를 합성하기 위해 상기 데이터를 변조하는 데이터 변환부; 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임과 상기 변조된 데이터를 합성하는 합성부; 상기 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 역변환부; 및 상기 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임 및 상기 데이터가 합성된 적어도 하나의 영상 프레임을 출력하는 출력부를 포함하는 장치를 제공한다.
본 명세서의 일 실시예에 따른 데이터가 포함된 영상 정보 송신 방법 및 장치에 따르면, 별도의 데이터를 포함하는 영상 정보를 전송할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 본 명세서는 영상 프레임 내 일정 주파수 영역에 데이터를 포함한 영상 정보를 송수신함으로써 영상 정보의 송수신과 동시에 특정 데이터를 송수신할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 원본 데이터뿐만 아니라 원본 데이터의 허미시안 대칭(Hermitian Symmetry)되는 데이터를 함께 영상 프레임에 포함시킴으로써, 데이터가 포함된 영상 프레임이 왜곡되지 않는다는 효과가 있다.
또한, 본 명세서에 따르면, 데이터가 포함되지 않은 원본 영상을 통해서 데이터가 포함된 영상을 변조/복조할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 카메라 등과 같은 수신기기를 통해서 획득된 영상 프레임을 보정하여 데이터를 추출함으로써 상기 영상 프레임에 포함된 데이터를 정확하게 획득할 수 있다는 효과가 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에서 데이터가 포함된 영상 정보를 송신하기 위한 송신 장치의 일 예를 나타낸 도이다.
도 2는 본 명세서에서 제안하는 데이터가 포함된 영상 정보의 송신 방법의일 예를 나타낸 흐름도이다.
도 3은 본 명세서에서 제안하는 원본 영상 프레임 및 데이터를 합성하기 위한 영상 프레임을 선택하는 방법의 일 예를 나타낸 도이다.
도 4는 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위한 구체적인 방법의 일 예를 나타낸 도이다.
도 5는 본 명세서에서 제안하는 데이터를 포함하는 주파수 도메인으로 변환된 영상 프레임의 일 예를 나타낸 도이다.
도 6은 본 명세서에서 제안하는 영상 프레임에 포함되는 데이터를 변환하는 방법의 일 예를 나타낸 흐름도이다.
도 7 및 도 8은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하는 구체적인 방법의 일 예를 나타낸 도이다.
도 9는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임의 일 예를 나타낸 도이다.
도 10은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 수신 장치의 일 예를 나타낸 도이며, 도 11은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 방법의 일 예를 나타낸 흐름도이다.
도 12는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 구체적인 방법의 일 예를 나타낸 도이고, 도 13은 본 명세서에서 제안하는 왜곡된 영상 정보를 보정하기 위한 방법의 일 예를 나타낸 도이다.
도 14는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임에서 데이터를 디코딩하기 위한 방법의 일 예를 나타낸 도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 명세서에서 데이터가 포함된 영상 정보를 송신하기 위한 송신 장치의 일 예를 나타낸 도이다.
도 1에 도시된 바와 같이, 본 발명에 적용 가능한 바람직한 실시 예에 따른 데이터가 포함된 영상 정보 송신 장치는 영상 프레임 선정부(100), 영상 프레임 변환부(200), 데이터 변환부(300), 합성부(400), 역변환부(500) 및 출력부(600)를 포함한다. 이때, 상기 데이터 변환부(300)는, 데이터 변조부(310), 주파수 선정부(320) 및 주파수 할당부(330)를 포함할 수 있다.
영상 프레임 선정부(100)는, 데이터를 삽입할 영상 프레임을 선정한다. 구체적으로, 상기 영상 프레임 선정부(100)는 복수 개의 영상 프레임 중 데이터를 삽입할 영상 프레임을 선정한다.
일 예로, TV 영상 프레임은 60Hz 주파수로 송출된다. 즉, 초당 60프레임의 영상 프레임이 송출된다.
이때, 상기 영상 프레임 선정부(100)는 매초 60프레임씩 송출되는 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 상기 영상 프레임 선정부(100)는 일련의 영상 프레임 중 N 개의 프레임 간격으로 데이터를 삽입할 영상 프레임을 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 N개의 프레임 간격으로 데이터를 삽입할 영상 프레임을 선정할 수 있다. 이때, 상기 N 값으로는 자연수 값이 적용될 수 있다.
또한, 상기 N개의 프레임 간격으로 데이터가 삽입되는 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
상기 N 값은 실시 예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시 예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
영상 프레임 변환부(200)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임을 특정 도메인 상의 정보로 변환한다. 구체적으로, 상기 영상 프레임 변환부(200)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임을 주파수 도메인(frequency domain) 또는 웨이브릿 도메인(wavelet domain)상의 정보로 변환하는 데이터 변환을 수행한다.
일 예로, 상기 영상 프레임 변환부(200)는 선정된 영상 프레임을 주파수 도메인으로 변환하는 경우,1차원 이산 푸리에 변환(1D Discrete Fourier Transform, 1D-DFT)을 수행하여 해당 정보를 주파수 도메인 상의 정보로 변환할 수 있다. 다만, 이는 일 예에 불과하며, 상기 영상 프레임 변환부(200)에 적용 가능한 기술 구성으로는 2차원 영상 프레임 정보를 주파수 영역의 정보로 변환하는 기타 다양한 기술 구성 또한 적용될 수 있다.
예를 들면, 상기 영상 프레임 변환부(200)는 상기 선정된 영상 프레임 정보를 직교 주파수 분할 다중(Orthogonal Frequency Division Multiplexing, OFDM) 방법, 및 이산 코사인 변환(Discrete Cosine Transform, DCT) 등과 같은 다양한 방법을 통해서 상기 1차원 DFT 변환을 수행할 수 있다.
또한, 상기 영상 프레임 변환부(200)는 상기 선정된 영상 프레임을 웨이브릿 도메인으로 변환하는 경우, 웨이브릿 변환(wavelet transform)을 통해서 상기 선정된 영상 프레임을 웨이브릿 도메인으로 변환할 수 있다.
데이터 변환부(300)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임에 합성 또는 삽입할 데이터 정보를 변환한다. 이때, 삽입할 데이터 정보는 사용자에 의해 별도로 설정될 수 있으며, 적용 가능한 일 예에서는 사용자에 의해 선택되는 일련의 데이터 정보의 일부일 수 있다. 즉, 상기 삽입할 데이터 정보로는 전체 데이터 정보가 적용될 수도 있으며, 상기 데이터 정보의 양이 방대할 경우에는 상기 데이터 정보를 복수 개의 데이터로 분할한 정보 중 일부의 데이터 정보가 적용될 수도 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 데이터 변환부(300)는 데이터 변조부(310), 주파수 선정부(320) 및 주파수 할당부(330)를 포함할 수 있다.
먼저, 데이터 변조부(310)는 삽입할 데이터 정보를 변조시킨다. 변조(modulation)란, 일정한 형태의 반송파에 전달하려는 정보에 대한 저주파 신호를 담기 위하여 크기, 주파수, 위상 등에 변형을 주는 기술 구성을 의미한다.
일 예로, 상기 데이터 변조부(310)는 QAM(Quadrature Amplitude Modulation) 방식으로 선택된 데이터 정보를 변조시킬 수 있다. QAM 방식은 디지털 신호를 일정량만큼 분류하여 반송파 신호와 위상을 변화시키면서 변조시키는 방식으로, 16-QAM 방식의 경우 디지털 신호를 16개의 level로 양자화하고 I/Q 플롯의 16개의 좌표로 분산하여 변조시키는 방식을 의미한다.
주파수 선정부(320)는 상기 데이터 변조부(310)에 의해 변조된 데이터 정보를 삽입할 주파수 대역을 선정한다. 구체적으로, 상기 변조된 데이터 정보를 영상 프레임의 어느 주파수 대역에 삽입할지를 선정한다.
상기 주파수 할당부(330)는 상기 데이터 변조부(310)에 의해 변조된 데이터 정보에, 상기 주파수 선정부(320)에 의해 선정된 주파수 대역을 할당하는 역할을 한다. 다시 말해, 상기 주파수 할당부(330)는 상기 변조된 데이터 정보를 합성하기 위한 주파수 대역을 할당하는 기능을 수행한다.
일 예로, 상기 주파수 할당부(330)는, 상기 도 2의 (b)에 도시된 바와 같이, 특정 도메인의 빗금친 영역에 데이터를 합성할 수 있도록 해당 주파수 대역을 할당할 수 있다.
상기 합성부(400)는 상기 영상 프레임 변환부(200)에 의해서 특정 도메인으로 변환된 영상 프레임과 상기 데이터 변환부(300)에 의해 변조된 데이터 정보를 합성한다.
즉, 상기 합성부(400)는 특정 도메인으로 변환된 영상 프레임 정보와 특정 주파수 대역에 할당된 데이터 정보를 합성한다. 이때, 상기 합성부(400)가 상기 정보들을 합성하는 방법으로는 데이터 정보간 곱셈기 연산이 적용될 수 있다.
역변환부(500)는 상기 합성부(400)에 의해 데이터가 합성된 영상 프레임정보를 시간 도메인으로 변환한다. 다시 말해, 상기 역변환부(500)는 특정 주파수 대역에 데이터 정보가 합성된 영상 프레임 정보를 특정 도메인에서 시간 도메인의 정보로 변환한다.
일 예로, 상기 영상 프레임 정보를 주파수 도메인에서 시간 도메인으로 변환하는 경우, 상기 역변환부(500)는 영상 프레임 변환부(200)의 역변환 과정인 1D IDFT(1D Inverse Discrete Fourier Transform) 또는 1D IFFT(1D Inverse Fast Fourier Transform) 등과 같은 방법을 이용하여 해당 정보를 시간 도메인의 정보로 변환할 수 있다.
다만, 이는 일 예에 해당할 뿐, 다른 실시예에서 상기 역변환부(500)는 영상 프레임 변환부(200)에서 적용한 주파수 변환에 대응되는 역변환 과정을 시간 도메인의 영상 프레임 정보를 획득할 수 있다.
예를 들면, 상기 IDFT 및 상기 IFFT외에 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인에서 시간 도메인의 정보로 변환시킬 수 있다.
또한, 상기 영상 프레임 정보를 웨이브릿 도메인에서 시간 도메인으로 변환하는 경우, 상기 역변환부(500)는 역 웨이브릿 변환(Inverse Wavelet Transform)을 이용하여 상기 영상 프레임을 시간 도메인의 정보로 변환 시킬 수 있다.
출력부(600)는 상기 역변환부(500)에 의해 역변환된 데이터가 합성된 영상 프레임 정보를 화면 정보로 송출한다. 구체적으로, 상기 송출부(600)는 N 값이 1인 경우에는, 매 영상 프레임마다 데이터 정보가 포함된 영상 프레임 정보를 화면 정보로 송출한다. 또는, 상기 N 값이 1보다 큰 경우에는, 상기 송출부(600)는 상기 역변환부(500)에 의해 시간 도메인의 정보로 역변환된 데이터가 포함된 영상 프레임 정보를 다른 데이터가 포함되지 않은 영상 프레임 정보와 함께 화면 정보로 송출할 수 있다.
이하, 도 2 내지 도 9는 송신 장치에서의 동작 방법을 설명하도록 한다.
도 2는 본 명세서에서 제안하는 데이터가 포함된 영상 정보의 송신 방법의일 예를 나타낸 흐름도이다.
데이터가 포함된 영상 정보를 송신하기 위해 데이터를 삽입할 영상 프레임을 선정한다(S2010). 구체적으로, 상기 S2010 단계에서는 복수 개의 영상 프레임 중 데이터를 삽입할 영상 프레임을 선정한다.
일 예로, TV 영상 프레임은 60Hz 주파수로 송출된다. 즉, 초당 60프레임의 영상 프레임이 송출된다.
이때, 상기 S2010 단계에서는 매초 60프레임씩 송출되는 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 일련의 영상 프레임 중 N 개의 프레임 간격으로 데이터를 삽입할 영상 프레임을 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 N개의 프레임 간격으로 데이터를 삽입할 영상 프레임을 선정할 수 있다. 이때, 상기 N 값으로는 자연수 값이 적용될 수 있다.
또한, 상기 N개의 프레임 간격으로 데이터가 삽입되는 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
상기 N 값은 실시예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은경우, 상기 N 값은 크게 설정될 수 있다.
이어, 상기 S2010 단계에 의해 선정된 영상 프레임을 특정 도메인(또는 영역)으로 변환한다(S2020). 구체적으로, 상기 S2020 단계에서는 상기 S2010 단계에 의해 선정된 영상 프레임 정보를 주파수 도메인상의 정보 또는 웨이브릿 도메인상의 정보로 변환하는 데이터 변환을 수행한다.
일 예로, 선정된 영상 프레임 정보를 주파수 도메인으로 변환하는 경우, 상기 선정된 영상 프레임에 대해 1차원 DFT 변환(1D Discrete Fourier Transform)을 수행하여 해당 정보를 주파수 도메인의 정보로 변환할 수 있다. 다만, 이는 일 예에 불과하며, 상기 단계 S2020에 적용가능한 기술 구성으로는 영상 프레임 정보를 주파수 영역의 정보로 변환하는 기타 다양한 기술 구성 또한 적용될 수 있다.
예를 들면, 상기 영상 프레임 변환부(200)는 직교 주파수 분할 다중(Orthogonal Frequency Division Multiplexing, OFDM) 방법, 고속 푸리에 변환(Fast Fourier Transform, FFT), 또는 이산 코사인 변환(Discrete Cosine Transform, DCT)등과 같은 다양한 방법을 통해서 상기 선정된 영상 프레임 정보를 주파수 영역의 정보로 변환시킬 수 있다.
또한, 상기 선정된 영상 프레임 정보를 웨이브릿 도메인으로 변환하는 경우, 웨이브릿 변환을 통해서 상기 영상 프레임을 웨이브릿 도메인으로 변환할 수 있다.
상기 S2010 및 S2020 단계와는 별도로, 삽입할 데이터 정보를 상기 특정도메인(또는 영역)변환된 영상 프레임에 삽입하기 위해서 변환(또는 변조) 한다(S2030).
이후, 상기 특정 도메인으로 변환된 영상 프레임 및 변조된 데이터 정보를 합성한다(S2040).
즉, 상기 단계 S2040 에서는 특정 도메인으로 변환된 영상 프레임 정보의 영상 심볼과 특정 주파수 대역에 맞도록 변조된 데이터 정보의 데이터 심볼을 매핑하여 상기 영상 프레임과 상기 데이터를 합성한다. 이때, 상기 S2040 단계를 통해 상기 정보들을 합성하는 방법으로는 데이터 정보간 곱셈 연산이 적용될 수 있다.
상기 S2040 단계를 통해 합성된 영상 프레임-데이터 정보를 시간 도메인으로 변환한다(S2050). 다시 말해, 상기 단계 S2050 단계에서는 특정 주파수 대역에 데이터 정보가 합성된 영상 프레임 정보를 특정 도메인에서 시간 도메인의 정보로 변환한다.
일 예로, 상기 영상 프레임을 주파수 도메인에서 시간 도메인으로 변환하는 경우, 상기 단계 S2050 에서는 상기 S2020 단계의 역 변환 과정인 1D IDFT(1D Inverse Discrete Fourier Transform)을 적용하여 해당 정보를 시간 도메인의 정보로 변환할 수 있다.
다만, 이는 일 예에 해당할 뿐, 다른 실시 예에서 상기 S2050 단계는 S2020 단계에서 적용한 주파수 변환에 대응되는 역 변환 과정을 시간 도메인의 영상 프레임 정보를 획득할 수 있다.
예를 들면, 상기 IDFT외에 역 고속 푸리에 변환(Inverse Fast Fourier Transform, IFFT), 또는 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT) 등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인에서 시간 도메인의 정보로 변환시킬 수 있다.
또한, 상기 영상 프레임을 웨이브릿 도메인에서 시간 도메인으로 변환하는 경우, 역 웨이브릿 변환(Inverse Wavelet Transform)을 이용하여 상기 영상 프레임을 시간 도메인의 정보로 변환시킬 수 있다.
상기 단계 S2050을 통해 역 변환된 영상 프레임-데이터 정보를 출력부를 통해서 출력한다(S2060). 구체적으로, 상기 S2060 단계를 통해 N 값에 따라 원본 영상 프레임 및 데이터 정보가 포함된 영상 프레임을 출력한다.
이때, 원본 영상 프레임과 적어도 한 개의 데이터가 포함된 영상 프레임이 출력되야 되기 때문에, 상기 N 값은 2이상의 값을 가져야 한다.
본 발명에 적용 가능한 일 예에 따라 상기 단계 S2010는 별도의 데이터를 삽입할 영상 프레임으로 연속하는 일련의 영상 프레임에 대해 N 개의 프레임 간격으로 이격된 영상 프레임을 선정하므로, 본 발명에 적용 가능한 일 예에 따른 단계 S2060 에서는, 복수개의 영상 프레임들과 함께 N개의 프레임 간격으로 데이터가 포함된 영상 프레임을 화면 정보를 송출할 수 있다. 앞에서 상술한 바와 같이, 본 발명에 따른 데이터가 포함된 영상 정보 송신 장치에서 상기 N 값으로는 자연수 값이 적용될 수 있다.
본 발명에 적용 가능한 실시예에서 상기 단계 S2060 단계는 화면 정보를 송출할 수 있는 디스플레이 모듈을 통해 구현될 수 있다. 일 예로, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), TV 등 영상 프레임 정보를 화면 정보로 송출할 수 있는 모든 기술 구성이 적용될 수 있다.
이하 각 단계에서 수행되는 방법에 대해서 구체적으로 살펴보도록 한다.
도 3은 본 명세서에서 제안하는 원본 영상 프레임 및 데이터를 합성하기 위한 영상 프레임을 선택하는 방법의 일 예를 나타낸 도이다.
앞에서 설명한 바와 같이 디바이스는 상기 도 2의 단계 S2010에서 데이터를 전송할 영상 프레임을 선택할 수 있다.
구체적으로, 다수의 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 일련의 영상 프레임 중 데이터를 삽입할 N 개의 프레임을 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 데이터를 삽입할 N개의 영상 프레임을 선정할 수 있다. 이때, 상기 N 값으로는 자연수 값이 적용될 수 있다.
또한, 상기 N개의 프레임 간격으로 데이터가 삽입되는 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
이때, 상기 N개의 영상 프레임 중 데이터를 포함하지 않은 원본 영상 프레임은 상기 데이터가 포함된 영상 프레임을 디코딩하기 위해서 사용될 수 있다.
구체적으로, 데이터가 삽입된 영상 프레임을 수신하는 수신단은 수신된 영상 프레임을 디코딩하여 데이터를 획득할 수 있다. 즉 수신된 영상 프레임에서 영상 부분을 제거하여 데이터를 추정(또는 유추)할 수 있다.
하지만, 영상 프레임에 데이터가 포함되는 경우, 영상에 왜곡이 발생될 수 있다. 따라서, 수신단은 상기 데이터가 포함되지 않은 영상 프레임인 원본 영상 프레임을 통해서 상기 데이터가 포함된 영상 프레임에서 데이터를 유추할 수 있다. 즉, 특정 도메인에서 상기 데이터가 포함된 영상 프레임에서 상기 원본 영상 프레임을 사용하여 영상 부분을 제거하여 상기 데이터를 추정(또는 유추)할 수 있다.
예를 들면, 상기 원본 영상 프레임은 파일럿 신호(pilot signal)의 역할을 수행할 수 있다. 파일럿 신호란, 송신장치 및 수신장치에서 이미 알고 있는 신호 값으로 데이터 성분이 포함된 주파수 성분을 추정하는 용도로 활용될 수 있다. 즉, 파일럿 신호의 신호값 및 상기 파일럿 신호가 추가되는 주파수 도메인의 위치 정보는 송신 장치 및 수신 장치에서 이미 알고 있는 값이 적용될 수 있다.
상기 N 값은 실시예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
도 4는 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위한 구체적인 방법의 일 예를 나타낸 도이다.
상기 도 4를 참조하면, 데이터를 전송하기 위해서 선택된 N개의 영상 프레임 중 N-1개의 영상 프레임에 데이터를 삽입하여 출력할 수 있다.
구체적으로, 앞에서 살펴본 N개의 선택된 영상 프레임 중 데이터가 포함되지 않은 원본 영상 프레임을 출력한다. 이때, 상기 원본 영상 프레임은 앞에서 살펴본 바와 같이 데이터가 포함된 영상 프레임에서 영상 부분을 추정하기 위해서 사용되므로 데이터가 포함되지 않는다.
또한, 상기 데이터가 포함되지 않기 때문에, 상기 원본 영상 프레임은 특정 도메인으로 변환되지 않고 출력된다(S4010).
이때, 상기 도 4에서
Figure 112016106832393-pat00006
는 시간 도메인 상에서 상기 원본 영상 프레임의 일 예를 나타내며, k는 N개의 영상 프레임이 선택된 순서를 나타낸다.
상기 원본 영상 프레임이 출력되고 일정 시간 간격으로, 영상 프레임에 데이터가 삽입되고, 데이터가 삽입된 영상 프레임 순서대로 출력된다(S4020).
이때, 상기 데이터가 삽입되는 과정은 데이터 임베딩(Data Embedding)이라 호칭될 수 있다.
상기 단계 S4020에서 영상 프레임에 데이터가 삽입되기 위해서, 상기 영상 프레임은 특정 영역, 즉 특정 도메인으로 변환된다.
일 예로, 상기 데이터를 삽입하기 위해서 상기 영상 프레임을 주파수 도메인으로 변경하는 방법은 아래 도 5에서 구체적으로 살펴보기로 한다.
상기 특정 도메인으로 변환된 상기 영상 프레임에 데이터가 삽입되면, 데이터가 삽입된 영상 프레임은 시간 도메인으로 역 변환되어 출력될 수 있다(S4030).
이때, 상기 도 4에서
Figure 112016106832393-pat00007
는 시간 도메인 상에서 데이터가 포함된 첫 번째 영상 프레임의 일 예를 나타내며, n은 데이터가 포함된 영상 프레임의 프레임 넘버를 나타낸다.
이와 같은 방법을 통해서 영상 프레임에 데이터를 포함시킬 수 있으며, 데이터가 포함된 영상 프레임을 출력할 수 있다.
도 5는 본 명세서에서 제안하는 데이터를 포함하는 주파수 도메인으로 변환된 영상 프레임의 일 예를 나타낸 도이다.
상기 도 5를 참조하면, 영상 프레임에 데이터를 포함시켜 전송하기 위해서 N개의 영상 프레임이 선택되고, 선택된 N개의 영상 프레임 중 1개의 원본 영상 프레임을 제외한 N-1개의 영상 프레임은 데이터가 삽입되어 출력된다.
이때, 상기 N-1개의 영상 프레임에 데이터를 삽입하기 위해서, 상기 N-1개의 영상 프레임은 앞에서 살펴본 1차원 DFT 변환(1D Discrete Fourier Transform)을 통해서 시간 도메인에서 주파수 도메인으로 변환되어 데이터가 삽입될 수 있다.
예를 들면, 상기 영상 프레임은 OFDM 방식을 이용 또는 응용하여, 즉 상기 OFDM 방식에 기초하여 주파수 도메인으로 변환되어 데이터가 삽입될 수 있다.
즉, 상기 도 5에 도시된 바와 같이, 주파수 도메인으로 변환된 영상 프레임은 시간 축 상으로 데이터를 삽입하기 위한 Q개의 변환된 영상 신호(이하, OFDM 변환 영상 신호라 한다)로 구성되며, 각각의 OFDM 변환 영상 신호의 특정 주파수 대역에 데이터를 삽입할 수 있다.
이때, 상기 데이터는 전송하고자 하는 데이터를 나타내는 원본 데이터 및 상기 원본 데이터에 대칭되는 데이터를 나타내는 대칭 데이터를 포함할 수 있으며, 상기 원본 데이터와 상기 대칭 데이터는 대칭되는 주파수 영역에 포함될 수 있다.
본 발명의 또 다른 실시예로, 상기 OFDM 외에 고속 푸리에 변환, 또는 이산 코사인 변환 등과 같은 다양한 방법을 통해서 데이터를 합성할 영상 프레임을 주파수 도메인으로 변환할 수 있다.
또한, 상기 영상 프레임은 데이터의 합성을 위해서 웨이브릿 변환을 통해 주파수 도메인이 아닌 웨이브릿 도메인으로 변환될 수 도 있다.
도 6은 본 명세서에서 제안하는 영상 프레임에 포함되는 데이터를 변환하는 방법의 일 예를 나타낸 흐름도이다.
상기 도 6을 참조하면, 변조된 데이터는 특정 도메인으로 변환된 영상 프레임에 매핑(mapping)되어 삽입될 수 있다.
구체적으로, 전송하고자 하는 데이터인 원본 데이터는 특정 도메인으로 변환된 영상 프레임과 합성되기 위해서 변조된다(S6010).
이때, 상기 원본 데이터는 사용자에 의해 별도로 설정될 수 있으며, 적용 가능한 일 예에서는 사용자에 의해 선택되는 일련의 데이터 정보의 일부일 수 있다. 즉, 상기 원본 데이터로는 전체 데이터 정보가 적용될 수도 있으며, 전송하고자 하는 데이터의 양이 방대할 경우에는 상기 데이터를 복수 개의 데이터로 분할한 정보 중 일부의 데이터가 원본 데이터로 적용될 수도 있다.
일반적으로, 변조(modulation)란, 일정한 형태의 반송파에 전달하려는 정보에 대한 저주파 신호를 담기 위하여 크기, 주파수, 위상 등에 변형을 주는 기술 구성을 의미한다.
일 예로, QAM(Quadrature Amplitude Modulation) 방식으로 선택된 데이터 정보를 변조시킬 수 있다. QAM 방식은 디지털 신호를 일정량만큼 분류하여 반송파 신호와 위상을 변화시키면서 변조시키는 방식으로, 16-QAM 방식의 경우 디지털 신호를 16개의 level로 양자화하고 I/Q 플롯의 16개의 좌표로 분산하여 변조시키는 방식을 의미한다.
상기 변조된 원본 데이터를 특정 도메인으로 변환된 영상 신호에 삽입하는 경우, 영상 프레임의 영상 데이터가 변경될 수 있다.
즉, 영상 프레임을 특정 도메인(예를 들면, 주파수 도메인 또는 웨이브릿 도메인 등)으로 변환하는 경우, 변환된 영상 프레임은 대칭되는 실수 값을 가지게 된다. 따라서, 대칭 값을 가지지 않는 원본 데이터를 변환된 영상 프레임에 삽입하면 영상 프레임의 영상 정보(또는 영상 특성)가 변경될 수 있다.
따라서, 상기 영상 정보가 변경되지 않도록 하기 위해서 상기 원본 데이터와 대칭 값을 가지는 대칭 데이터를 합성한다(S6020).
예를 들면, 상기 대칭 데이터는 상기 원본 데이터의 켤래 복소수 값을 가질 수 있다.
이에 대한 구체적인 내용은 아래 도 7 및 도 8에서 살펴보도록 한다.
이어, 상기 변조된 데이터 정보를 삽입할 주파수 대역을 선정한다. 즉, 상기 변조된 데이터 정보를 변환된 영상 프레임의 어느 주파수 대역(높은 주파수 대역 또는 낮은 주파수 대역)에 삽입할지를 선정한다(S6030).
이때, 상기 데이터를 삽입할 주파수 대역으로 높은 주파수 대역 또는 낮은 주파수 대역을 선택하는 경우, 각각의 장단점이 존재한다.
일반적으로, 영상 프레임 데이터를 변환하게 되면 대부분의 데이터 성분들은 저주파수 영역에 집중될 수 있다.
따라서, 영상 프레임에 데이터를 삽입하는 경우, 저주파 영역에 데이터를 삽입하면 영상의 왜곡이 크다는 단점이 존재한다. 하지만, 데이터를 삽입한 영상 프레임의 값이 크기 때문에, 데이터를 포함하는 영상 프레임의 OFDM 변환 영상 신호의 크기가 크고 디코딩이 손쉽다는 장점이 존재한다.
이때, 상기 삽입한 영상의 왜곡은 왜곡된 영상을 특정 방법을 통해서 보정하는 방식으로 해결될 수 있다.
이와는 반대로 고주파 대역에 데이터를 삽입하면 영상왜곡이 적다는 장점이 존재하지만, 고주파 특성으로 인하여 데이터를 포함하는 영상프레임의 값이 작기 때문에, 데이터를 포함하는 영상 프레임의 OFDM 변환 영상 신호의 크기가 작아 디코딩이 어렵다는 단점이 존재한다.
이어, 상기 선정된 주파수 대역에 따라 상기변조된 데이터를 삽입할 주파수 대역을 할당하고,상기 할당된 주파수 대역에 상기 변조된 데이터를 삽입한다(S6040).
도 7 및 도 8은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하는 구체적인 방법의 일 예를 나타낸 도이다.
상기 도 7 및 상기 도 8을 참조하면, 특정 도메인으로 변환된 영상 프레임 및 변조된 데이터는 합성된 뒤, 다시 시간 도메인으로 변환되어 출력되게 된다.
구체적으로, 데이터를 삽입하여 전송하기 위해서 선정된 N개의 영상 프레임 중 원본 영상을 추정하기 위한 1개의 원본 영상 프레임을 제외한 N-1개의 영상 프레임은 앞에서 설명한 방법을 통해서 특정 도메인으로 변환된다(S7010).
예를 들면, 상기 N-1개의 영상 프레임은 상기 도 4 및 상기 도 5에서 설명한 1D-DFT, FFT, 또는 DCT를 통해서 주파수 도메인으로 변환되거나, 웨이브릿 변환을 통해서 웨이브릿 도메인으로 변환된다.
이때, 상기 N-1개의 영상 프레임이 주파수 도메인으로 변환되는 경우, 아래와 같은 방법을 통해서 변환될 수 있다.
즉, 시간 도메인에서 상기 영상 프레임을
Figure 112016106832393-pat00008
라고 하면, 상기 영상 프레임은 데이터 임베딩을 위해서 아래 수학식 1을 통해 칼럼(column)에 대해서 1차원 변환이 된다.
Figure 112016106832393-pat00009
상기 수학식 1에서 시간 도메인에서 P×Q의 크기를 가지는 행렬(matrix)이고, 상기 F는 상기
Figure 112016106832393-pat00010
를 주파수 도메인으로 변환하기 위한 P×P의 크기를 가지는 DFT 행렬이다.
또한, 상기 수학식 1을 통해서 주파수 도메인으로 변환된 영상 프레임인
Figure 112016106832393-pat00011
는 데이터가 합성되지 않은 P×Q의 크기를 가지는 행렬(matrix)이다.
이때, 상기
Figure 112016106832393-pat00012
의 한 칼럼 픽셀은 0 부터 255의 양수 값을 가지기 때문에, 상기
Figure 112016106832393-pat00013
가 주파수 도메인으로 변환된 상기
Figure 112016106832393-pat00014
는 허미시안 대칭(Hermitian Symmetry)한 값을 가지게 된다.
상기 도 8의 (a)는 N이 8인 경우, 상기
Figure 112016106832393-pat00015
값의 일 예를 나타내고, 상기 도 8의 (b)는 N이 9인 경우, 상기
Figure 112016106832393-pat00016
값의 일 예를 나타낸다.
상기 도 8의 (a) 또는 (b)에 도시된 바와 같이 영상 프레임이 주파수 영역으로 변환된 경우, 상기
Figure 112016106832393-pat00017
는 허미시안 대칭하게 값을 가지는 것을 확인할 수 있다.
상기 단계 S7020과는 별도로 상기 도 6에서 설명한 바와 같이 주파수 도메인으로 변환된 영상 프레임에 전송하고자 하는 원본 데이터를 삽입하기 위해서, 상기 원본 데이터도 변조기(modulator)를 통해서 변조된다(S7020).
하지만, 앞에서 살펴본 바와 같이, 변조된 원본 데이터가 허미시안 대칭한 값을 가지고 있지 않은 경우, 상기 원본 데이터를 영상 프레임에 임베딩하면 상기 영상 프레임 값의 허미시안 대칭이 원본 데이터의 임베딩으로 유지되지 않게 되기 때문에, 상기 원본 데이터가 삽입된 영상 프레임을 시간 도메인으로 변환하면 원래의 영상이 변경되게 된다.
즉, 원본 데이터의 임베딩으로 영상 프레임 값의 허미시안 대칭 특성이 유지 않아 시간 도메인, 즉 공간 영역에서의 영상 픽셀의 값이 양수의 값을 가질 수 없는 경우가 생겨 영상의 왜곡이 크게 발생하게 된다.
따라서, 상기 영상 프레임 값의 허미시안 대칭 특성을 유지시키기 위해서 상기 원본 데이터도 허미시안 대칭 특성을 갖도록 상기 원본 데이터에 대칭되는 대칭 데이터를 합성하여 상기 영상 프레임에 임베딩 해야 한다(S7030).
이때, 상기 대칭 데이터는 상기 원본 데이터의 켤레 복소수 값들로 구성될 수 있다.
예를 들면, 상기 원본 데이터를
Figure 112016106832393-pat00018
라고 한다면, 상기 대칭 데이터는
Figure 112016106832393-pat00019
로 나타낼 수 있다.
아래 수학식 2는 상기
Figure 112016106832393-pat00020
의 일 예를 나타내고, 수학식 3은 상기 의 일 예를 나타낸다.
Figure 112016106832393-pat00022
Figure 112016106832393-pat00023
이때, 상기 flip은 아래 수학식 4와 같은 관계를 나타낸다.
Figure 112016106832393-pat00024
상기 원본 데이터인 상기
Figure 112016106832393-pat00025
와 이에 대칭되는 대칭 데이터인 상기
Figure 112016106832393-pat00026
의 값이 합성된 데이터 값을
Figure 112016106832393-pat00027
라 하고, 각각의
Figure 112016106832393-pat00028
값들로 구성된 심볼 행렬(symbol matrix)을
Figure 112016106832393-pat00029
라 한다.
아래 수학식 5는 상기
Figure 112016106832393-pat00030
의 일 예를 나타내고, 수학식 6은 상기
Figure 112016106832393-pat00031
의 일 예를 나타낸다.
Figure 112016106832393-pat00032
Figure 112016106832393-pat00033
이때, 상기
Figure 112016106832393-pat00034
는 원본 데이터의 심볼을, p 및 q는 영상의 좌표 인덱스를 나타낸다.
또한, s는 데이터의 시작 좌표를 나타내고, L은 심볼의 개수를 나타내며, 상기 s와 상기 L은 아래 수학식 7과 같은 관계를 가진다.
Figure 112016106832393-pat00035
상기 원본 데이터와 상기 대칭 데이터가 합성된 데이터는 변조되어, 특정 도메인으로 변환된 영상 프레임에 곱 연산을 통해서 삽입된다(S7040).
예를 들면, 상기 합성된 데이터는 아래 수학식 8을 통해서 상기 주파수 도메인으로 변경된 영상 프레임에 삽입된다.
Figure 112016106832393-pat00036
상기 수학식 8에서 상기
Figure 112016106832393-pat00037
는 데이터가 삽입된 영상 프레임을 나타내고,
Figure 112016106832393-pat00038
는 하다마드 곱(Hadamard Product)를 나타낸다. 따라서, 상기
Figure 112016106832393-pat00039
는 상기
Figure 112016106832393-pat00040
와 상기
Figure 112016106832393-pat00041
의 대응되는 엘리먼트들의 곱으로 나타내어 진다.
상기
Figure 112016106832393-pat00042
는 아래 수학식 9와 같은 IDFT과정을 통해서 시간 도메인으로 역변환 되며(S7050), 시간 도메인으로 변환된 데이터가 포함된 영상 프레임은 출력되게 된다.
Figure 112016106832393-pat00043
이때, 상기 데이터가 합성된 영상 프레임에 음수가 포함되는 경우, 상기 음수 값은 에러 값으로 간주되어 제거(discard)되게 된다. 즉, 영상 프레임의 값은 항상 0 부터 255까지의 양수 값을 가지게 되므로, 데이터의 합성으로 음수 값이 발생하면 제거되게 된다.
이와 같은 방법을 통해서 특정 도메인으로 변환된 영상 프레임에 원본 데이터와 대칭 데이터가 합성된 데이터를 삽입할 수 있으며, 데이터가 포함된 영상 프레임을 시간 도메인으로 역 변환하여 출력할 수 있다.
본 실시 예의 수학식 1 내지 9의 i는 상기 도 7에서의 (k-1)N+n를 나타낸다.
도 9는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임의 일 예를 나타낸 도이다.
상기 도 9를 참조하면, 영상 프레임에 데이터를 삽입하는 경우, 상기 데이터를 삽입할 주파수 대역을 선정할 수 있으며, 선정된 주파수 대역에 따라 데이터의 삽입으로 인한 영상 프레임의 영상 왜곡 정도가 달라질 수 있다.
구체적으로, 상기 도 9의 (a)는 영상 프레임의 고주파 대역에 데이터를 삽입한 경우의 일 예를 나타내고, (d)로 갈수록 저주파 대역에 데이터를 삽입한 경우의 일 예를 나타낸다. 상기 도 9의 (a) 내지 (d)에서 백색 부분은 데이터가 삽입된 영역을 나타낸다.
상기 도 9의 (a) 내지 (d)에 도시된 바와 같이 상기 데이터를 상기 영상 프레임의 고주파 대역에 데이터를 삽입하는 것보다 저주파 대역에 데이터를 삽입하는 경우 왜곡이 더 커진다.
일반적으로, 영상 프레임 데이터를 주파수 변환하게 되면 대부분의 데이터 성분들은 저주파수 영역에 집중될 수 있다. 따라서, 저주파 대역에 데이터를 삽입하는 경우, 상기 도 9의 (d)에 도시된 바와 같이 영상의 왜곡이 커질 수 있다.
하지만, 영상 프레임의 저주파 대역에 데이터를 삽입하는 경우, 데이터가 삽입된 심볼의 값이 고주파 대역에 데이터를 삽입한 경우보다 크기 때문에 수신단에서의 데이터 디코딩이 용이하다.
또한, 상기 저주파 대역에 데이터의 삽입으로 인한 왜곡은 특정 방법을 통하여 보정될 수 있다.
이와 반대로, 상기 도 9의 (a)에 도시된 바와 같이 영상 프레임의 고주파 대역에 데이터를 삽입하는 경우, 데이터의 삽입으로 인한 영상 프레임의 영상 왜곡이 저주파 대역에 데이터를 삽입한 경우보다 작다. 하지만, 고주파 대역에 데이터를 삽입한 경우, 데이터가 삽입된 심볼의 값이 저주파 대역에 데이터를 삽입한 경우보다 작다.
도 10은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 수신 장치의 일 예를 나타낸 도이며, 도 11은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 방법의 일 예를 나타낸 흐름도이다.
본 명세서에서 상기 수신 장치는 영상 정보를 획득할 수 있는 다양한 수신 장치를 의미한다.
도 10에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에 따른 데이터가 포함된 영상 정보 수신 장치는 송신 장치가 출력하는 영상 프레임을 수신하기 위한 수신부(1100); 수신된 영상 프레임의 왜곡을 보정하기 위한 영상 보정부(1200); 수신된 영상 프레임을 특정 도메인으로 변환하기 위한 변환부(1300); 수신된 영상 프레임에 데이터가 포함되어 있는지 여부를 판단하기 위한 판별부(1400) 및 영상 프레임에서 데이터를 추출하기 위한 데이터 추출부(1500)를 포함할 수 있다. 이때, 상기 데이터 추출부(1500)는, 주파수 대역 추출부(1510) 및 데이터 복조부(1520)를 포함할 수 있다.
상기 수신부(1100)는 송신 장치로부터 출력되는 영상 정보를 영상 프레임 단위로 수신한다(S11010). 구체적으로, 상기 수신부(1100)는 별도의 송신 장치의 출력부로부터 출력되는 영상 정보를 수신할 수 있다. 일 예로, 상기 수신부(1100)는, CCD, CMOS 등과 같은 이미지 센서 중 선택되는 어느 하나 이상을 통해 영상 프레임 단위로 영상 정보를 수신할 수 있다.
바람직하게는, 본 발명에 적용가능한 실시예에서 상기 수신부(1100)는 송신 장치의 출력부로부터 송출되는 영상 정보를 영상 프레임 단위로 수신할 수 있는 모든 기술 구성이 적용될 수 있다.
또한, 상기 수신부(1100)는 수집되는 영상 정보의 전부 또는 일부를 통해 본 발명의 일 예에 따라 송신되는 데이터가 포함된 영상 정보를 수신할 수 있다. 구체적으로, 상기 수신부(1100)는 10X10 크기의 영상 정보를 수신할 수 있을 때, 10X10 크기의 데이터가 포함된 영상 정보를 수신할 수도 있으며, 일부인 7X7 크기의 데이터가 포함된 영상 정보를 수신할 수도 있다.
상기와 같은 경우 상기 수신부(1100)는 데이터를 추출할 영상 정보로 상기 수신부(1100)가 수신한 영상 정보 중 일부를 활용할 수 있다. 즉, 상기 수신부(1100)는 수신한 전체 영상 크기 중 일정 크기의 영상 영역만을 선정하여 해당 영역에 대한 영상 정보를 활용하여 데이터를 추출할 수 있다.
이와 같이, 상기 수신부(1100)는 수신한 영상 정보 중 데이터가 포함된 영상 정보를 나타내는 특정 영역을 선정하여 해당 영역만을 상기 변환부(1300)로 제공할 수 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 영상 수신부(1100)와 상기 변환부(1300) 사이에 별도의 영상 보정부(1200)을 포함할 수 있다. 상기 영상 보정부(1200)는 상기 수신부(1100)를 통해 수신된 영상 정보에 발생한 크기 및 시야각 변위 등에 의해 발생하는 왜곡을 일정 방식에 따라 보정할 수 있다(S11020). 또한, 상기 영상 보정부(1200)는 상기 수신부(1100)를 통해 수신된 영상 정보의 이전 또는 이후 영상 프레임 정보 중 선택되는 적어도 하나 이상의 영상 프레임을 이용하여 상기 수신된 영상 정보를 보정할 수 있다.
구체적으로, 상기 영상 보정부(1200)는 영상 정보의 출력 및 수신 과정에서 왜곡된 영상 정보로부터 보다 정확한 데이터를 추출하기 위하여 상기 영상 정보를 보정하는 작업을 수행한다. 일 예로, 상기 영상 보정부(1200)는 상기 수신부(1100)를 통해 수신된 영상 정보에 발생한 크기 및 시야각 변위 등에 의해 발생하는 왜곡을 보정할 수 있다. 또한, 상기 영상 정보의 이전에 수신된 영상 정보의 영상 프레임(제 2 영상 프레임) 또는 이후에 수신된 영상 정보의 영상 프레임(제3 영상 프레임) 중 선택되는 적어도 하나 이상의 영상 정보를 이용하여 상기 제 1 영상 정보의 왜곡을 보정하여 데이터가 포함된 영상 프레임(제 1 영상 프레임)을 복원할 수 있다.
이외, 상기 영상 보정부(1200)에 적용 가능한 영상 보정 방법으로는 다양한 실시 예가 적용될 수 있다.
영상 변환부(1300)는 상기 수신부(1100)로부터 전달받은 영상 정보의 영상 프레임을 특정 도메인으로 변환한다(S11030).
예를 들면, 상기 변환부(1300)는 상기 영상 보정부(1200) 또는 상기 S11020 단계를 통해 전달된 영상 프레임을 주파수 도메인 또는 웨이브릿 도메인상의 정보로 변환할 수 있다.
상기 영상 프레임을 주파수 도메인으로 변환하는 경우, 상기 변환부(1300)는 앞에서 살펴본 DFT, FFT, 또는 DCT 등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인 정보로 변환시킬 수 있다.
상기 영상 프레임을 웨이브릿 도메인으로 변환하는 경우, 상기 변환부(1300)는 앞에서 살펴본 웨이브릿 변환(Wavelet Transform)을 통해서 상기 영상 프레임을 웨이브릿 도메인 정보로 변환 시킬 수 있다.
상기 변환부(1300)는 상기 도 1에 도시된 송신 장치의 영상 프레임 변환부(200)에 적용되는 변환 방법과 동일한 기술 구성이 적용될 수 있다.
본 발명에 적용 가능한 실시 예에서 데이터가 포함된 영상 프레임의 수신 장치는 판별부(1400)를 더 포함할 수 있다. 상기 판별부(1400)는 상기 변환부(1300)에 의해 특정 도메인으로 변환된 영상 프레임에 데이터가 포함되어 있는지 여부를 판단한다.
즉, 상기 판별부는 앞에서 살펴본 N개의 영상 프레임에서 데이터가 포함되지 않는 원본 영상 프레임과 데이터가 포함된 영상 프레임을 구별할 수 있다.
상기 판별부(1300)는 수신된 영상 정보의 영상 프레임이 데이터를 포함하고 있지 않은 원본 영상 프레임이라고 판단하는 경우, 데이터 추출 동작을 수행하지 않는다.
이때, 상기 원본 영상 프레임은 데이터 추출부(1500)로 전송되어 이후에 전송되는 데이터를 포함하는 영상 프레임에서 데이터를 추출하기 위해서 사용될 수 있다.
그러나, 상기 판별부는 수신된 영상 정보의 영상 프레임이 데이터를 포함하고 있다고 판단하는 경우, 상기 영상 프레임 정보를 상기 데이터 추출부(1500)로 전달하게 된다.
상기 데이터 추출부(1500)는 상기 판별부(1400)로부터 전달된 영상 프레임으로부터 데이터를 추출한다. 이하, 상기 영상 프레임에서 데이터를 추출하기 위한 구체적인 방법에 대해서 설명한다.
상기 데이터 추출부(1500)의 주파수 대역 추출부(1510)는 상기 판별부(1400)에 의해 데이터가 포함되어 있는 것으로 판단된 영상 프레임 중 데이터 가 포함된 주파수 대역을 선정한다.
예를 들면, 상기 영상 프레임의 고주파 대역에 데이터가 삽입되어 있는 경우, 상기 주파수 대역 추출부는 상기 데이터가 삽입되어 있는 고주파 대역에 대한 정보를 추출할 수 있다.
다만 이는 일 실시예에 불과하며, 상기 주파수 대역 추출부(1510)에 의해 추출되는 주파수 대역에 대한 정보는 본 발명의 일 예에 따른 송신 장치의 주파수 선정부(320)에 의해 데이터를 삽입할 주파수 대역과 동일하게 설정될 수 있다.
데이터 복조부(1520)는 상기 주파수 대역 추출부(1510)에 의해 추출된 주파수 대역에 대한 정보에 기초하여 데이터를 복조하고 추출한다(S11040, S11050). 이때, 데이터의 복조 방법으로는 본 발명의 일 예에 따른 영상 정보 송신 장치 중 데이터 변조부(310)에 의한 데이터 변조 방식의 역방향 연산이 적용될 수 있다.
즉, 데이터 디코딩 과정을 통해서 상기 특정 도메인의 영상 프레임에서 데이터 부분을 분리하고, 변조기를 통해서 분리된 데이터를 변조함으로써 데이터를 추출할 수 있다.
일 예로, 상기 데이터 변조부(310)에 의해 특정 데이터가 QAM 변조된 경우, 상기 데이터 복조부(1520)는 QAM 복조 방식을 통해 추출된 주파수 대역 정보로부터 데이터 정보를 추출할 수 있다.
상기 데이터 복조부(1520)에 의해 복조된 데이터 정보는 별도의 표시 장치를 통해 이미지 또는 텍스트로 표시되거나, 또는 별도의 저장 장치 내 파일의 형태로 저장될 수 있다. 본 발명은 상기 실시예로 한정되지 않으며, 추출된 데이터는 다양한 형태로 구현될 수 있음은 물론이다.
도 12는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 구체적인 방법의 일 예를 나타낸 도이고, 도 13은 본 명세서에서 제안하는 왜곡된 영상 정보를 보정하기 위한 방법의 일 예를 나타낸 도이다.
상기 도 12를 참조하면, 수신 장치는 송신 장치로부터 전송된 N개의 영상 프레임을 수신하여 디코딩함으로써, 영상 프레임에 포함된 데이터를 추출할 수 있다.
구체적으로, 수신 장치는 송신 장치로부터 전송된 N개의 영상 프레임 중 데이터가 포함되지 않은 원본 영상 프레임이 포함된 영상 정보를 수신한다(S12010).
이때, 상기 도 12에서
Figure 112016106832393-pat00044
은 시간 도메인 상에서 상기 원본 영상 프레임의 일 예를 나타내며, k는 N개의 영상 프레임이 선택된 순서를 나타낸다.
상기 수신된 영상 정보는 앞에서 살펴본 바와 같이 수신과정에서 Scale 변경 등 왜곡이 발생할 수 있기 때문에 상기 도 13에 도시된 바와 같이 일정 방식에 의해서 영상 프레임이 위치한 영상 영역 추출 및 추출된 영상 영역의 왜곡을 보정하는 절차를 거치게 된다(S12020).
즉, 상기 도 13의 (a)와 같이 수신부를 통해서 수신된 영상 프레임을 포함하는 영상 정보는 왜곡이 발생되게 되기 때문에, 상기 도 13의 (b)와 같은 과정을 거쳐 왜곡을 보정하여 보정된 영상 정보를 획득하게 된다.
이하, 상기 보정된 원본 영상 프레임의 값을
Figure 112016106832393-pat00045
라 한다.
이후, N-1개의 데이터를 포함하는 영상 프레임이 포함된 영상 정보를 수신하고(S12030), 상기 단계 S12020과 동일한 과정을 거쳐서 데이터가 포함된 보정된 영상 프레임을 획득할 수 있다(S12040).
이하, 상기 데이터가 포함된 보정된 영상 프레임의 값을
Figure 112016106832393-pat00046
이라 하며, n은 데이터가 포함된 N-1개의 영상 프레임의 프레임 넘버를 나타낸다.
상기 원본 영상 프레임 및 데이터가 포함된 영상 프레임이 보정된 뒤, 상기 원본 영상 프레임 값을 이용하여 상기 영상 프레임에서 데이터 정보를 추출하기 위한 데이터 디코딩 과정이 수행된다(S12050).
상기 데이터 디코딩 과정은 도 14에서 자세히 살펴보도록 한다.
이하, 상기 단계 S12050을 통해서 추출된 데이터 정보를
Figure 112016106832393-pat00047
라 한다.
이후, 복조기를 통해서 상기 단계 S12050에서 획득된 데이터 정보를 복조함으로써 데이터 값을 획득할 수 있다(S12060).
이때, 데이터의 복조 방법으로는 상기 도 6의 단계 S6010에서 수행된 데이터 변조 방식의 역방향 연산이 적용될 수 있다.
일 예로, 상기 단계 S6010에서 데이터가 QAM 변조된 경우, 상기 단계 S12060에서 QAM 복조 방식을 통해 추출된 데이터 정보로부터 데이터 값을 추출할 수 있다.
이와 같은 방법을 통해서 수신된 영상 정보에 포함된 영상 프레임으로부터 데이터를 추출할 수 있다.
도 14는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임에서 데이터를 디코딩하기 위한 방법의 일 예를 나타낸 도이다.
상기 도 14를 참조하면, 원본 영상 프레임을 이용하여 데이터 디코딩 과정을 수행함으로써 데이터를 포함하는 영상 프레임에서 데이터 정보를 추출할 수 있다.
구체적으로, 수신 장치를 통해서 수신된 원본 영상 프레임을
Figure 112016106832393-pat00048
, 수신된 데이터를 포함하는 영상 프레임을
Figure 112016106832393-pat00049
라고 하면, 상기
Figure 112016106832393-pat00050
및 상기
Figure 112016106832393-pat00051
는 아래 수학식 10과 같이 나타낼 수 있다.
Figure 112016106832393-pat00052
상기 수학식 10에서
Figure 112016106832393-pat00053
및
Figure 112016106832393-pat00054
는 상기 도 12의 단계 S12020를 통한 영상 프레임 복원시 발생한 노이즈를 나타낸다.
수신된 원본 영상 프레임 및 데이터를 포함하는 영상 프레임은 앞에서 살펴본 방법을 통해서 특정 도메인(예를 들면, 주파수 도메인 또는 웨이브릿 도메인 등)으로 변환된다(S14010, S14020).
이하, 상기 영상 프레임이 주파수 도메인으로 변환된 경우를 예로 들어 설명하도록 한다.
상기 수신된 원본 영상 프레임 및 상기 데이터를 포함하는 영상 프레임은 아래 수학식 11을 통해서 주파수 도메인으로 변환될 수 있다.
Figure 112016106832393-pat00055
상기 수학식 11에서 상기
Figure 112016106832393-pat00056
및 상기
Figure 112016106832393-pat00057
는 아래 수학식 12와 같은 행렬 값을 가질 수 있다.
Figure 112016106832393-pat00058
상기 수학식 12에서 상기
Figure 112016106832393-pat00059
및 상기
Figure 112016106832393-pat00060
각각의 행렬 값을 나타내는
Figure 112016106832393-pat00061
및
Figure 112016106832393-pat00062
는 아래 수학식 13을 통해서 계산될 수 있다.
Figure 112016106832393-pat00063
상기 수학식 13에서
Figure 112016106832393-pat00064
는 데이터가 포함되지 않은 영상 프레임이 주파수 도메인으로 변환된 행렬의 값을 나타내고,
Figure 112016106832393-pat00065
는 주파수 도메인에서 노이즈의 행렬 값을 나타낸다.
상기
Figure 112016106832393-pat00066
는 원본 데이터가 주파수 도메인으로 변환된 행렬의 값을 나타낸다. 이때, 데이터에 포함된 대칭 데이터는 영상의 왜곡을 방지하기 위해 포함시킨 값이므로 데이터를 복조하는 과정에서 복조되지 않는다. 따라서, 상기
Figure 112016106832393-pat00067
는 대칭 데이터 값을 포함하지 않고, 원본 데이터 값만 포함하고 있다.
이후, 상기 주파수 도메인으로 변환된 원본 영상 프레임의 행렬 값인 상기
Figure 112016106832393-pat00068
와 상기 데이터가 포함된 영상 프레임 값인
Figure 112016106832393-pat00069
의 곱 연산인 하다마드 곱을 통해서 데이터 정보를 획득할 수 있다(S14030).
즉, 상기
Figure 112016106832393-pat00070
를 이용하여 상기
Figure 112016106832393-pat00071
로부터 원본 데이터의 값을 추정할 수 있다.
이하, 상기 추정된 원본 데이터의 값을 나타내는 행렬을
Figure 112016106832393-pat00072
또는
Figure 112016106832393-pat00073
라 한다.
예를 들면, 제로 포싱(Zero Forcing, ZF) 방식을 통해서 원본 영상 프레임을 이용하여 데이터가 포함된 영상 프레임으로부터 원본 데이터의 값을 추정할 수 있다.
구체적으로, 상기 ZF 방식을 통한 원본 데이터 값의 추정은 아래와 같은 방식을 통해서 수행될 수 있다.
먼저, 상기 추정된 원본 데이터의 값을 나타내는 행렬을
Figure 112016106832393-pat00074
라 하면, 상기
Figure 112016106832393-pat00075
는 아래 수학식 14와 같이 나타낼 수 있다.
Figure 112016106832393-pat00076
상기 수학식 14에서 각각의 벡터 값인 심볼을 나타내는
Figure 112016106832393-pat00077
는 아래 수학식 15와 같이 나타낼 수 있다.
Figure 112016106832393-pat00078
상기 수학식 15에서 심볼에 포함된 엘리먼트를 나타내는 값인
Figure 112016106832393-pat00079
는 아래 수학식 16을 통해서 계산될 수 있다.
Figure 112016106832393-pat00080
상기 수학식 16에서 상기
Figure 112016106832393-pat00081
및 상기
Figure 112016106832393-pat00082
는 아래 수학식 17과 같다.
상기 수학식 16에서 s-1은 상기 영상 프레임에서 상기 원본 데이터가 포함되기 시작하는 부분을 나타내고, s+l-1은 상기 영상 프레임에서 상기 원본 데이터가 포함된 부분의 끝 부분을 나타낸다.
Figure 112016106832393-pat00083
이때, 상기
Figure 112016106832393-pat00084
으로부터 추정된 원본 데이터 값인
Figure 112016106832393-pat00085
는 아래 수학식 18과 같다.
Figure 112016106832393-pat00086
상기 수학식 18과 같이 상기 ZF를 통해서 원본 데이터를 추정한 경우, 추정된 원본 데이터에는 노이즈를 나타내는 n 값이 포함될 수 있다.
원본 영상 프레임을 이용하여 데이터가 포함된 영상 프레임으로부터 원본데이터 값을 추정할 수 있는 또 다른 방법으로 상기 ZF 방식 외에 최소 자승 오차(Minimum Mean Square Error, MMSE)방식이 사용될 수 있다.
즉, 상기 수학식 18에서 상기
Figure 112016106832393-pat00087
값은 아래 수학식 19를 통해서 계산될 수 있다.
Figure 112016106832393-pat00088
상기 수학식 19에서 상기
Figure 112016106832393-pat00089
, 상기
Figure 112016106832393-pat00090
, 상기
Figure 112016106832393-pat00091
, 및 상기
Figure 112016106832393-pat00092
는 아래 수학식 19를 통해서 계산될 수 있다.
Figure 112016106832393-pat00093
또한, 상기 수학식 20에서
Figure 112016106832393-pat00094
는 아래 수학식 21을 통해서 계산될 수 있다.
Figure 112016106832393-pat00095
이와 같이 MMSE 방식을 통해서 데이터가 포함된 영상 프레임에서 원본 데이터 값을 획득할 수 있다.
본 명세서에서는 ZF 방식 및 MMSE 방식을 예로 들었지만, 이 외에도 Maximum Likelihood(ML) detection 방식 등 다양한 방식을 통해서 상기 원본 영상 프레임을 이용하여 데이터가 포함된 영상 프레임에서 원본 데이터 값을 획득할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다.
100: 영상 프레임 선정부 200: 영상 프레임 변환부
300: 데이터 변환부 310: 데이터 변조부
320: 주파수 선정부 330: 주파수 할당부
400: 합성부 500: 역변환부
600: 출력부
1100: 수신부 1200: 영상 보정부
1300: 변환부
1400: 판별부 1500: 데이터 추출부
1510: 주파수 대역 추출부
1520: 데이터 복조부

Claims (17)

  1. 영상 프레임 전송 방법에 있어서,
    데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 단계;
    상기 선택된 적어도 하나의 영상 프레임을 1차원 변환 방법을 통해서 특정 도메인으로 변환하는 단계,
    상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임 각각은 복수의 영상 신호로 구성되며;
    상기 적어도 하나의 영상 프레임에 상기 데이터를 합성하기 위해 상기 데이터를 변조하는 단계;
    상기 특정 도메인으로 변환된 적어도 하나의 영상 프레임에 상기 변조된 데이터를 합성하는 단계;
    상기 변조된 데이터는 전송하고자 하는 데이터를 나타내는 원본 데이터 및 상기 영상 프레임의 대칭 특성의 유지를 위한 대칭 데이터를 포함하고;
    상기 변조된 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 단계;
    상기 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임을 출력하는 단계; 및
    상기 데이터가 합성된 적어도 하나의 영상 프레임을 출력하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 특정 도메인은 주파수 도메인(frequency domain) 또는 웨이브릿 도메인(wavelet domain) 중 하나인 방법.
  3. 제 2 항에 있어서,
    상기 특정 도메인이 상기 주파수 도메인인 경우, 상기 1차원 변환 방법은 1차원 직교 주파수 분할 다중(Orthogonal Frequency Division Multiplexing, OFDM), 1차원 이산 푸리에 변환(Discrete Fourier Transform , DFT), 또는 이산 코사인 변환(Discrete Cosine Transform) 중 하나인 방법.
  4. 제 2 항에 있어서,
    상기 특정 도메인이 상기 웨이브릿 도메인인 경우, 상기 영상 프레임은 웨이브릿 변환(Wavelet Transform)을 통해서 상기 웨이브릿 도메인으로 변환되는 방법.
  5. 제 3 항에 있어서,
    상기 합성하는 단계는, 상기 복수의 영상 신호의 영상 심볼과 상기 변조된 데이터의 데이터 심볼을 매핑하는 단계를 더 포함하는 방법.
  6. 제 1 항에 있어서,
    상기 원본 데이터와 상기 대칭 데이터는 허미시안 대칭(Hermitian Symmetry)하며,
    상기 대칭 데이터는 상기 원본 데이터의 켤레 복소수 값들로 구성되는 방법.
  7. 제 6 항에 있어서,
    상기 원본 데이터 및 상기 대칭 데이터 각각의 엘리먼트는 상기 적어도 하나의 영상 프레임으로부터 변환된 각각의 주파수 신호와 합성되는 방법.
  8. 제 7 항에 있어서,
    상기 대칭 데이터의 엘리먼트는 상기 원본 데이터의 엘리먼트가 합성된 주파수 대역의 대칭되는 주파수 대역에서 합성되는 방법.
  9. 제 6 항에 있어서,
    상기 합성하는 단계는 상기 변조된 데이터와 상기 적어도 하나의 영상 프레임의 하다마드 곱(Hadamard product)을 통해서 수행되는 방법.
  10. 제 9 항에 있어서,
    상기 변조된 데이터는
    Figure 112016106832393-pat00096
    로 정의되고, 상기 X[i]의 각각의 엘리먼트를 나타내는
    Figure 112016106832393-pat00097
    는
    Figure 112016106832393-pat00098
    로 정의 되며, 상기
    Figure 112016106832393-pat00099
    는 상기 원본 데이터의 엘리먼트로 구성된 벡터를 나타내고,
    Figure 112016106832393-pat00100
    는 상기 대칭 데이터의 엘리먼트를 나타내는 방법.
  11. 제 1 항에 있어서,
    상기 변조된 데이터는 상기 변환된 영상 프레임의 고주파 대역 또는 저주파 대역에 삽입되는 방법.
  12. 제 1 항에 있어서,
    상기 원본 데이터는 상기 적어도 하나의 영상 프레임의 특정 영역에 합성되며 상기 대칭 데이터는 상기 특정 영역의 대칭되는 대칭 영역에 합성되는 방법.
  13. 제 1 항에 있어서,
    상기 적어도 하나의 영상 프레임의 개수는 영상 프레임 간의 영상 변화 값에 기초하여 결정되는 방법.
  14. 영상 프레임 수신 방법에 있어서,
    데이터가 합성된 적어도 하나의 영상 프레임의 원본 영상 프레임을 획득하는 단계;
    상기 데이터가 합성된 적어도 하나의 영상 프레임을 획득하는 단계,
    상기 적어도 하나의 영상 프레임 각각은 복수의 영상 신호로 구성되며;
    상기 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임을 1차원 변환 방법을 통해서 특정 도메인으로 변환하는 단계; 및
    상기 원본 영상 프레임을 이용하여 상기 적어도 하나의 영상 프레임에서 영상 정보를 제거하여 상기 데이터를 디코딩 하는 단계를 포함하는 방법.
  15. 제 14 항에 있어서,
    상기 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임의 왜곡을 보정하는 단계를 더 포함하는 방법.
  16. 제 14 항에 있어서,
    상기 디코딩하는 단계는 제로 포싱(Zero-Forcing, ZF), 최대 우도 검출(Maximum Likelihood(ML) detection), 또는 최소 자승 오차(Minimum Mean Square Error, MMSE)을 이용하여 수행되는 방법.
  17. 영상 프레임을 전송하기 위한 송신 장치에 있어서, 상기 송신 장치는,
    데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 영상 프레임 선정부;
    상기 선택된 적어도 하나의 영상 프레임을 1차원 변환 방법을 통해서 특정 도메인으로 변환하는 영상 프레임 변환부;
    상기 적어도 하나의 영상 프레임에 상기 데이터를 합성하기 위해 상기 데이터를 변조하는 데이터 변환부;
    상기 특정 도메인으로 변환된 적어도 하나의 영상 프레임에 상기 변조된 데이터를 합성하는 합성부;
    상기 변조된 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 역변환부; 및
    상기 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임 및 상기 데이터가 합성된 적어도 하나의 영상 프레임을 출력하는 출력부를 포함하되,
    상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임 각각은 복수의 영상 신호로 구성되고,
    상기 변조된 데이터는 전송하고자 하는 데이터를 나타내는 원본 데이터 및 상기 영상 프레임의 대칭 특성의 유지를 위한 대칭 데이터를 포함하는 장치.
KR1020160144698A 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치 KR101840253B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562251117P 2015-11-05 2015-11-05
US62/251,117 2015-11-05
KR20150168538 2015-11-30
KR1020150168538 2015-11-30

Publications (2)

Publication Number Publication Date
KR20170053120A KR20170053120A (ko) 2017-05-15
KR101840253B1 true KR101840253B1 (ko) 2018-03-21

Family

ID=58739572

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160144698A KR101840253B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치
KR1020160144709A KR101827882B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치
KR1020160147366A KR101840251B1 (ko) 2015-11-05 2016-11-07 화면 기반 통신을 지원하는 송수신 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020160144709A KR101827882B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치
KR1020160147366A KR101840251B1 (ko) 2015-11-05 2016-11-07 화면 기반 통신을 지원하는 송수신 방법 및 장치

Country Status (1)

Country Link
KR (3) KR101840253B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102571044B1 (ko) * 2021-02-16 2023-08-29 영남대학교 산학협력단 화면 기반 통신에서 반복적 영상 복원 기법을 이용한 데이터 디코딩 방법 및 장치와 이를 위한 컴퓨터 프로그램
KR102650698B1 (ko) * 2021-05-24 2024-03-22 영남대학교 산학협력단 파워 할당을 이용한 화면 기반 통신 방법 및 장치와 이를 위한 컴퓨터 프로그램
KR102562480B1 (ko) * 2023-01-30 2023-08-02 주식회사 엘아이텍 패턴 기반 은닉부호 삽입장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339865B2 (ja) * 2008-11-26 2013-11-13 日本電信電話株式会社 無線受信方法、及び無線受信装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339865B2 (ja) * 2008-11-26 2013-11-13 日本電信電話株式会社 無線受信方法、及び無線受信装置

Also Published As

Publication number Publication date
KR20170053146A (ko) 2017-05-15
KR101827882B1 (ko) 2018-02-12
KR101840251B1 (ko) 2018-03-21
KR20170053120A (ko) 2017-05-15
KR20170053121A (ko) 2017-05-15

Similar Documents

Publication Publication Date Title
US8620018B2 (en) Electronic watermark embedding method, device, and program, and electronic watermark detecting method, device, and program
Delaigle et al. Watermarking algorithm based on a human visual model
KR101840253B1 (ko) 화면 기반 통신을 지원하는 송수신 방법 및 장치
CN101958867B (zh) 信号处理设备、信号处理方法和接收系统
CN107911698B (zh) 视频数字水印信息的嵌入方法和检测方法
US8401224B2 (en) Hidden image signalling
Kim et al. Display field communication: Fundamental design and performance analysis
CA2304611A1 (en) Method for generating and verifying digital watermarks and for exchanging data containing digital watermarks
EP2400704A2 (en) Receiving apparatus, receiving method, and receiving system with channel estimation
JP2009514305A (ja) 情報信号にデータを埋め込む方法
Motahari et al. Barcode modulation method for data transmission in mobile devices
Nah et al. Video forensic marking algorithm using peak position modulation
US20170103193A1 (en) Digital communications
Huang et al. Unseen visible watermarking: a novel methodology for auxiliary information delivery via visual contents
Woo Digital image watermarking methods for copyright protection and authentication
CN106209297B (zh) 基于qpsk信号调制的射频水印嵌入和提取方法及系统
Jung et al. Implementation of two-dimensional display field communications for enhancing the achievable data rate in smart-contents transmission
KR101565677B1 (ko) 데이터가 포함된 영상 정보 송수신 장치 및 방법
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
Rai et al. A robust watermarking scheme using machine learning transmitted over high-speed network for smart cities
Bhatnagar et al. Encryption based robust watermarking in fractional wavelet domain
Ma et al. OAcode: Overall aesthetic 2D barcode on screen
CN1937769B (zh) 用于数字视频信号的水印方法和设备
Chen et al. Print and scan resistant watermarking scheme for colour images
Bulan et al. Content authentication for printed images utilizing high capacity data hiding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right