KR101827882B1 - 화면 기반 통신을 지원하는 송수신 방법 및 장치 - Google Patents

화면 기반 통신을 지원하는 송수신 방법 및 장치 Download PDF

Info

Publication number
KR101827882B1
KR101827882B1 KR1020160144709A KR20160144709A KR101827882B1 KR 101827882 B1 KR101827882 B1 KR 101827882B1 KR 1020160144709 A KR1020160144709 A KR 1020160144709A KR 20160144709 A KR20160144709 A KR 20160144709A KR 101827882 B1 KR101827882 B1 KR 101827882B1
Authority
KR
South Korea
Prior art keywords
data
image frame
image
information
domain
Prior art date
Application number
KR1020160144709A
Other languages
English (en)
Other versions
KR20170053121A (ko
Inventor
정성윤
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Publication of KR20170053121A publication Critical patent/KR20170053121A/ko
Application granted granted Critical
Publication of KR101827882B1 publication Critical patent/KR101827882B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/167—Systems rendering the television signal unintelligible and subsequently intelligible

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 데이터가 포함된 영상 정보를 송수신하는 장치 및 그 방법에 관한 것이다. 보다 구체적으로, 화면으로 송출되는 영상 프레임 정보 중 일부 영상 프레임 정보 내 별도의 데이터 정보를 추가하여 송신하고, 상기 방법에 의해 송신된 영상 정보를 수신하여 상기 데이터 정보를 추출하는 데이터가 포함된 영상 정보를 송수신하는 장치 및 그 방법에 관한 것이다.

Description

화면 기반 통신을 지원하는 송수신 방법 및 장치{Method and Apparatus for supporting display field communication}
본 명세서는 화면 기반 통신을 지원하는 송수신 방법 및 장치에 관한 것이다. 보다 구체적으로, 화면으로 송출되는 영상 프레임 정보 중 일부 영상 프레임에 별도의 데이터 정보를 포함시켜 전송하고, 상기 방법에 의해 송신된 영상 프레임을 수신하여 상기 데이터 정보를 추출하는 데이터가 포함된 영상 정보를 송수신하는 방법 및 장치에 관한 것이다.
정보 은닉은 이미지, 음성과 같은 기존의 디지털 데이터에 다른 디지털 데이터를 가시 또는 가청적인 왜곡을 최소화하여 은닉하는 것을 의미한다. 이와 같은 정보 은닉을 적용한 대표적인 기술로는 디지털 저작권 관리(Digital Rights Management)를 위한 워터 마크(watermark) 기술을 예로 들 수 있다.
디지털 워터마킹은 디지털 컨텐츠 내부에 저작권자 또는 사용자 정보를 은닉한 후 삽입하여 저작물이 저작권자의 동의 없이 무단 도용되는 것을 방지하거나 또는 기업 기밀정보가 유출되었을 경우 기밀정보 유출자를 추적하여 지적재산권에 대한 시비를 가리는데 사용되는 기술이다. 이외에도 워터마킹 기술은 인터넷으로 주고받는 전자문서의 텍스트, 그림, 동영상, 음악파일 등의 위조나 변조 여부를 확인할 수 있는 용도로도 사용된다. 이와 같은 워터마킹 기술은 지적재산권 관련정보를 컨텐츠에 은닉하여 삽입하는 기술과 향후 지적재산권 관련 문제가 발생하였을 경우 유출 경로의 출처를 확인하기 위해 관련정보를 추출하는 추출기술로 나뉘어진다.
다만, 상기와 같은 디지털 워터마킹 기법에서는 워터마킹 정보를 은닉하여 삽입하고, 삽입된 워터마크가 제3자에 의해 훼손되지 않도록 함에 맞춰진 기술일 뿐, 상기와 같은 기술을 통해 일정 데이터를 송수신하는 기술에 대해서는 지금까지 개발되지 않고 있었다.
KR10-2013-0087295 01
본 명세서는 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 영상 데이터를 전송함과 동시에 별도의 데이터를 전송할 수 있는 데이터가 포함된 영상 정보 송신 방법 및 장치을 제공하고자 한다.
또한, 본 명세서는 영상 데이터가 별도의 데이터를 포함할 수 있도록, 상기 영상 데이터를 특정 도메인으로 변환하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서는 영상 데이터가 별도의 데이터를 포함할 수 있도록, 상기 영상 데이터를 주파수 도메인 또는 웨이브릿 도메인으로 변환하여 데이터를 합성하는 방법 및 장치를 제공하고자 한다.
또한, 본 명세서는 영상 데이터 및 별도의 데이터 왜곡 없이 상기 영상 데이터에 상기 별도의 데이터를 포함시키는 방법 및 장치를 제공하고자 한다.
또한, 상기와 같은 방법을 통해 송신된 영상 데이터로부터 별도의 데이터 정보를 추출할 수 있는 데이터가 포함된 영상 정보 수신 장치 및 방법을 제공하고자 한다.
본 명세서에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 명세서는 데이터가 포함된 영상 정보 송신 장치에 있어서 전송하고자 하는 원본 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 단계; 상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 단계; 상기 영상 프레임에 원본 데이터를 합성하기 위해 상기 원본 데이터를 변조하는 단계; 상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임의 특정 영역에 상기 원본 데이터를 합성하는 단계; 상기 특정 영역의 대칭되는 대칭 영역에 상기 원본 데이터와 대칭되는 대칭 데이터를 합성하는 단계; 상기 원본 데이터 및 상기 대칭 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 단계; 상기 원본 데이터 및 상기 대칭 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임을 출력하는 단계; 및 상기 적어도 하나의 영상 프레임을 출력하는 단계를 포함하는 단계를 포함하는 방법을 제공한다.
또한, 본 발명은, 전송하고자 하는 원본 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 영상 프레임 선정부; 상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 영상 프레임 변환부;상기 영상 프레임에 원본 데이터를 합성하기 위해 상기 원본 데이터를 변조하는 데이터 변환부; 상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임의 특정 영역에 상기 원본 데이터를 합성하고, 상기 특정 영역의 대칭되는 대칭 영역에 상기 원본 데이터와 대칭되는 대칭 데이터를 합성하는 합성부; 상기 원본 데이터 및 상기 대칭 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 역변환부; 및 상기 원본 데이터 및 상기 대칭 데이터가 합성되지 않은 상기 적어도 하나의 영상 프레임의 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임을 출력하는 출력부를 포함하는 송신장치를 제공한다.
본 명세서의 일 실시예에 따른 데이터가 포함된 영상 정보 송신 방법 및 장치에 따르면, 별도의 데이터를 포함하는 영상 정보를 전송할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 본 명세서는 영상 프레임 내 일정 주파수 영역에 데이터를 포함한 영상 정보를 송수신함으로써 영상 정보의 송수신과 동시에 특정 데이터를 송수신할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 영상 프레임을 2D-DFT 방식을 이용하여 주파수 영역으로 변환하여 데이터를 합성 시킴으로써, 상기 영상 프레임을 매개체로 상기 데이터를 전송할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 원본 데이터뿐만 아니라 원본 데이터의 허미시안 대칭(Hermitian Symmetry)되는 데이터를 함께 영상 프레임에 포함시킴으로써, 데이터가 포함된 영상 프레임이 왜곡되지 않는다는 효과가 있다.
또한, 본 명세서에 따르면, 데이터가 포함되지 않은 원본 영상을 통해서 데이터가 포함된 영상을 변조/복조할 수 있다는 효과가 있다.
또한, 본 명세서에 따르면, 카메라 등과 같은 수신기기를 통해서 획득된 영상 프레임을 보정하여 데이터를 추출함으로써 상기 영상 프레임에 포함된 데이터를 정확하게 획득할 수 있다는 효과가 있다.
본 명세서에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 명세서에서 데이터가 포함된 영상 정보를 송신하기 위한 송신 장치의 일 예를 나타낸 도이다.
도 2는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터 변환부의 기술 동작을 설명하기 위한 도이다.
도 3은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보 송신 장치에 의해 송출되는 영상 정보를 나타낸 도면이다.
도 4는 본 명세서에서 제안하는 데이터가 포함된 영상 정보의 송신 방법의일 예를 나타낸 흐름도이다.
도 5는 본 명세서에서 제안하는 원본 영상 프레임 및 데이터를 합성하기 위한 영상 프레임을 선택하는 방법의 일 예를 나타낸 도이다.
도 6은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위한 구체적인 방법의 일 예를 나타낸 도이다.
도 7은 본 명세서에서 제안하는 데이터를 포함하는 주파수 도메인으로 변환된 영상 프레임의 일 예를 나타낸 도이다.
도 8은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위해, 주파수 도메인으로 변환된 영상 프레임을 서브 영상 이미지로 나누기 위한 방법의 일 예를 나타낸 도이다.
도 9는 본 명세서에서 제안하는 서브 영상 이미지로 나뉘어진 영상 프레임의 일 예를 나타낸 도이다.
도 10은 본 명세서에서 제안하는 영상 프레임에 포함되는 데이터를 변환하는 방법의 일 예를 나타낸 흐름도이다.
도 11은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하는 구체적인 방법의 일 예를 나타낸 도이다.
도 12는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임의 일 예를 나타낸 도이다.
도 13은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 수신 장치의 일 예를 나타낸 도이며, 도 14는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 방법의 일 예를 나타낸 흐름도이다.
도 15는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 구체적인 방법의 일 예를 나타낸 도이고, 도 16은 본 명세서에서 제안하는 왜곡된 영상 정보를 보정하기 위한 방법의 일 예를 나타낸 도이다.
도 17은 본 명세서에서 제안하는 데이터가 포함된 영상 프레임에서 데이터를 디코딩하기 위한 방법의 일 예를 나타낸 도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 명세서에서 데이터가 포함된 영상 정보를 송신하기 위한 송신 장치의 일 예를 나타낸 도이다.
도 1에 도시된 바와 같이, 본 발명에 적용 가능한 바람직한 실시 예에 따른 데이터가 포함된 영상 정보 송신 장치는 영상 프레임 선정부(100), 영상 프레임 변환부(200), 데이터 변환부(300), 합성부(400), 역변환부(500) 및 출력부(600)를 포함한다. 이때, 상기 데이터 변환부(300)는, 데이터 변조부(310), 주파수 선정부(320) 및 주파수 할당부(330)를 포함할 수 있다.
영상 프레임 선정부(100)는, 데이터를 삽입할 영상 프레임을 선정한다. 구체적으로, 상기 영상 프레임 선정부(100)는 복수 개의 영상 프레임 중 데이터를 삽입할 영상 프레임을 선정한다.
일 예로, TV 영상 프레임은 60Hz 주파수로 송출된다. 즉, 초당 60프레임의 영상 프레임이 송출된다.
이때, 상기 영상 프레임 선정부(100)는 매초 60프레임씩 송출되는 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 상기 영상 프레임 선정부(100)는 일련의 영상 프레임 중 특정 개수의 프레임 간격으로 데이터를 삽입할 영상 프레임을 적어도 하나 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 특정 개수의 프레임 간격으로 데이터를 삽입할 영상 프레임을 N개 선정할 수 있다. 이때, 상기 특정 프레임의 개수 및 N 값으로는 자연수 값이 적용될 수 있다.
또한, 상기 특정 개수의 프레임 간격으로 데이터가 삽입되는 N개의 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
상기 N 값은 실시 예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시 예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
영상 프레임 변환부(200)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임을 특정 도메인 상의 정보로 변환한다. 구체적으로, 상기 영상 프레임 변환부(200)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임을 주파수 도메인(frequency domain) 또는 웨이브릿 도메인(wavelet domain) 상의 정보로 변환하는 데이터 변환을 수행한다.
일 예로, 상기 영상 프레임 변환부(200)는 선정된 영상 프레임을 주파수도메인 상의 정보로 변환하는 경우, 2차원 이산 푸리에 변환(2D Discrete Fourier Transform, 2D-DFT)을 수행하여 해당 정보를 주파수 도메인 상의 정보로 변환할 수 있다. 다만, 이는 일 예에 불과하며, 상기 영상 프레임 변환부(200)에 적용 가능한 기술 구성으로는 2차원 영상 프레임 정보를 주파수 영역의 정보로 변환하는 기타 다양한 기술 구성 또한 적용될 수 있다.
예를 들면, 상기 DFT외에 이산 코사인 변환(Discrete Cosine Transform, DCT)등과 같은 다양한 방법 등을 통해서 상기 영상 프레임을 주파수 도메인으로 변환시킬 수 있다.
또한, 상기 영상 프레임 변환부(200)는 상기 선정된 영상 프레임을 웨이브릿 도메인으로 변환하는 경우, 웨이브릿 변환(wavelet transform)을 통해서 상기 선정된 영상 프레임을 웨이브릿 도메인으로 변환할 수 있다.
데이터 변환부(300)는 상기 영상 프레임 선정부(100)에 의해 선정된 영상 프레임에 합성 또는 삽입하기 위해서 데이터 정보를 변환한다. 이때, 삽입할 데이터 정보는 사용자에 의해 별도로 설정될 수 있으며, 적용 가능한 일 예에서는 사용자에 의해 선택되는 일련의 데이터 정보의 일부일 수 있다. 즉, 상기 삽입할 데이터 정보로는 전체 데이터 정보가 적용될 수도 있으며, 상기 데이터 정보의 양이 방대할 경우에는 상기 데이터 정보를 복수 개의 데이터로 분할한 정보 중 일부의 데이터 정보가 적용될 수도 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 데이터 변환부(300)는 데이터 변조부(310), 주파수 선정부(320) 및 주파수 할당부(330)를 포함할 수 있다.
먼저, 데이터 변조부(310)는 삽입할 데이터 정보를 변조시킨다. 변조(modulation)란, 일정한 형태의 반송파에 전달하려는 정보에 대한 저주파 신호를 담기 위하여 크기, 주파수, 위상 등에 변형을 주는 기술 구성을 의미한다.
일 예로, 상기 데이터 변조부(310)는 QAM(Quadrature Amplitude Modulation) 방식으로 선택된 데이터 정보를 변조시킬 수 있다. QAM 방식은 디지털 신호를 일정량만큼 분류하여 반송파 신호와 위상을 변화시키면서 변조시키는 방식으로, 16-QAM 방식의 경우 디지털 신호를 16개의 level로 양자화하고 I/Q 플롯의 16개의 좌표로 분산하여 변조시키는 방식을 의미한다.
주파수 선정부(320)는 상기 데이터 변조부(310)에 의해 변조된 데이터 정보를 삽입할 주파수 대역을 선정한다. 구체적으로, 상기 변조된 데이터 정보를 영상 프레임의 어느 주파수 대역에 삽입할지를 선정한다. 이하, 도 2를 통해 상세히 설명한다.
도 2는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터 변환부의 기술 동작을 설명하기 위한 도이다.
먼저, 도 2의 (a)는 주파수 도메인으로 변환된 영상 프레임을 나타낸 도면이다. 상기 도 2의 (a)에 도시된 바와 같이, 2차원 푸리에 변환을 통해서 주파수 도메인으로 변환된 영상 프레임 정보는 X/Y축으로 구성된 2차원 주파수 영역으로 나타낼 수 있으며, 이때 좌측 상단을 저주파수 영역이라 하면, X/Y축 방향으로 갈수록 고주파수 영역이라 할 수 있다. 이하, 설명의 편의를 위해, 2차원으로 주파수 변환된 영상 프레임 정보에 있어 좌측 상단을 저주파수 영역이라 하고, X축 또는 Y축 방향으로 갈수록 높은 주파수 영역이라 한다.
주파수 선정부(320)는 상기 도 2의 (a)와 같이 변환된 영상 프레임 정보 중 어느 주파수 대역에 데이터를 삽입할지를 선정할 수 있다.
일반적으로, 영상 프레임 데이터를 주파수 변환하게 되면 대부분의 영상 데이터 성분들은 저 주파수 영역에 집중되게 형성되는 것을 확인할 수 있다.
상기 주파수 선정부(320)는 데이터 삽입시 영상 프레임 데이터의 훼손/변경을 최소화하기 위해 상기 데이터를 삽입할 주파수 대역으로 데이터 성분이 존재하는 저주파수 영역중 상대적으로 높은 일부 주파수 영역을 선정할 수 있다.
도 2의 (b)는 본 발명에 적용가능한 실시예에서 상기 주파수 선정부(320)에 의해 선정되는 주파수 대역을 나타낸 것으로, 상기 주파수 선정부(320)는 영상 프레임의 전체 주파수 대역 중 데이터를 삽입할 주파수 대역으로 일부 주파수 대역을 선정할 수 있다.
바람직하게는, X축 방향으로는 X1 주파수 이상 X2 주파수 이하, Y축 방향으로는 Y1 주파수 이상 Y2 주파수 이하의 영역을 데이터를 삽입할 주파수 대역으로 선정할 수 있다.
다만, 상기 도 2의 (b)는 본 발명의 일 실시예에 따라 선정된 주파수 대역의 일 예에 불과할 뿐, 본 발명의 적용예나 활용예에 따라 상기 주파수 대역은 변경 적용될 수 있다.
상기 주파수 할당부(330)는 상기 데이터 변조부(310)에 의해 변조된 데이터 정보에, 상기 주파수 선정부(320)에 의해 선정된 주파수 대역을 할당하는 역할을 한다. 다시 말해, 상기 주파수 할당부(330)는 상기 변조된 데이터 정보를 합성하기 위한 주파수 대역을 할당하는 기능을 수행한다.
일 예로, 상기 주파수 할당부(330)는, 상기 도 2의 (b)에 도시된 바와 같이, 주파수 도메인의 빗금친 영역에 데이터를 합성할 수 있도록 해당 주파수 대역을 할당할 수 있다.
상기 합성부(400)는 상기 영상 프레임 변환부(200)에 의해서 특정 도메인으로 변환된 영상 프레임과 상기 데이터 변환부(300)에 의해 변조된 데이터 정보를 합성한다.
즉, 상기 합성부(400)는 특정 도메인으로 변환된 영상 프레임 정보와 특정 주파수 대역에 할당된 데이터 정보를 합성한다. 이때, 상기 합성부(400)가 상기 정보들을 합성하는 방법으로는 데이터 정보간 곱셈기 연산이 적용될 수 있다.
역변환부(500)는 상기 합성부(400)에 의해 데이터가 합성된 영상 프레임정보를 시간 도메인으로 변환한다. 다시 말해, 상기 역변환부(500)는 특정 주파수 대역에 데이터 정보가 합성된 영상 프레임 정보를 특정 도메인에서 시간 도메인의 정보로 변환한다.
일 예로, 상기 영상 프레임 정보를 주파수 도메인에서 시간 도메인으로 변환하는 경우, 상기 역변환부(500)는 영상 프레임 변환부(200)의 역변환 과정인 2D IDFT(2D Inverse Discrete Fourier Transform) 또는 2D IFFT(2D Inverse Fast Fourier Transform) 등과 같은 방법을 이용하여 해당 정보를 시간 도메인의 정보로 변환할 수 있다.
다만, 이는 일 예에 해당할 뿐, 다른 실시예에서 상기 역변환부(500)는 영상 프레임 변환부(200)에서 적용한 주파수 변환에 대응되는 역변환 과정을 시간 도메인의 영상 프레임 정보를 획득할 수 있다.
예를 들면, 상기 IDFT 및 상기 IFFT외에 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT)등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인에서 시간 도메인의 정보로 변환시킬 수 있다.
또한, 상기 영상 프레임 정보를 웨이브릿 도메인에서 시간 도메인으로 변환하는 경우, 상기 역변환부(500)는 역 웨이브릿 변환(Inverse Wavelet Transform)을 이용하여 상기 영상 프레임을 시간 도메인의 정보로 변환 시킬 수 있다.
출력부(600)는 상기 역변환부(500)에 의해 역변환된 데이터가 합성된 영상 프레임 정보를 화면 정보로 송출한다. 구체적으로, 상기 송출부(600)는 N 값이 1인 경우에는, 매 영상 프레임마다 데이터 정보가 포함된 영상 프레임 정보를 화면 정보로 송출한다. 또는, 상기 N 값이 1보다 큰 경우에는, 상기 송출부(600)는 상기 역변환부(500)에 의해 시간 도메인의 정보로 역변환된 데이터가 포함된 영상 프레임 정보를 다른 데이터가 포함되지 않은 영상 프레임 정보와 함께 화면 정보로 송출할 수 있다.
도 3은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보 송신 장치에 의해 송출되는 영상 정보를 나타낸 도면이다.
본 발명에 적용가능한 일 예에 따라 상기 영상 프레임 선정부(100)는 별도의 데이터를 삽입할 영상 프레임으로 연속하는 일련의 영상 프레임에 대해 특정 개수의 프레임 간격으로 이격된 영상 프레임을 선정하므로, 본 발명에 적용가능한 일 예에 따른 출력부(600)는, 도 3에 도시된 바와 같이, 복수개의 영상 프레임들과 함께 특정 개수의 프레임 간격으로 N개의 데이터를 합성하기 위한 영상 프레임을 화면 정보로 송출할 수 있다.
상기 N개의 영상 프레임은 앞에서 살펴본 바와 같이 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
상기 N 값은 실시 예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시 예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
또한, 상기 N개의 영상 프레임은 상기 특정 개수의 영상 프레임마다 존재할 수 있으며, 연속해서 각각 서로 다른 데이터 정보를 포함하는 N개의 영상 프레임이 전송될 수 있다.
상기 특정 개수 및 상기 N 값으로는 자연수 값이 적용될 수 있다.
본 발명에 적용가능한 실시예에서 송출부(600)는 화면 정보를 송출할 수 있는 디스플레이 모듈이 적용될 수 있다. 일 예로, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), TV 등 영상 프레임 정보를 화면 정보로 송출할 수 있는 모든 기술 구성이 적용될 수 있다.
이하, 도 4 내지 도 12에서 송신 장치에서의 동작 방법을 설명하도록 한다.
도 4는 본 명세서에서 제안하는 데이터가 포함된 영상 정보의 송신 방법의일 예를 나타낸 흐름도이다.
송신 장치는 데이터가 포함된 영상 정보를 송신하기 위해 데이터를 삽입할 영상 프레임을 선정한다(S4010). 구체적으로, 상기 S4010 단계에서는 복수 개의 영상 프레임 중 데이터를 삽입할 영상 프레임을 선정한다.
일 예로, TV 영상 프레임은 60Hz 주파수로 송출된다. 즉, 초당 60프레임의 영상 프레임이 송출된다.
이때, 상기 S4010 단계에서는 매초 60프레임씩 송출되는 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 일련의 영상 프레임 중 N 개의 프레임 간격으로 데이터를 삽입할 영상 프레임을 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 특정 개수의 프레임 간격으로 데이터를 삽입할 N개의 영상 프레임을 선정할 수 있다. 이때, 상기 N 값으로는 자연수 값이 적용될 수 있다.
또한, 상기 N개의 프레임 간격으로 데이터가 삽입되는 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
상기 N 값은 실시예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시예로, 상기 N 값으로는 일반 시청자가 영상 시청시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
이어, 상기 S4010 단계에 의해 선정된 영상 프레임을 특정 도메인(또는 영역)으로 변환한다(S4020). 구체적으로, 상기 S4020 단계에서는 상기 S4010 단계에 의해 선정된 영상 프레임 정보를 주파수 도메인상의 정보 또는 웨이브릿 도메인상의 정보로 변환하는 데이터 변환을 수행한다.
일 예로, 선정된 영상 프레임 정보를 주파수 도메인으로 변환하는 경우,에 상기 선정된 영상 프레임에 대해 2차원 DFT 변환(2D Discrete Fourier Transform)을 수행하여 해당 정보를 주파수 도메인의 정보로 변환할 수 있다. 다만, 이는 일 예에 불과하며, 상기 단계 S4020에 적용가능한 기술 구성으로는 FFT(Fast Fourier Transform) 등과 같은 2차원 영상 프레임 정보를 주파수 영역의 정보로 변환하는 기타 다양한 기술 구성 또한 적용될 수 있다.
예를 들면, 상기 DFT외에 이산 코사인 변환(Discrete Cosine Transform, DCT)등과 같은 다양한 방법 등을 통해서 상기 영상 프레임을 주파수 도메인으로 변하여 데이터를 합성 시킬 수 있다.
또한, 상기 선정된 영상 프레임 정보를 웨이브릿 도메인으로 변환하는 경우, 웨이브릿 변환을 통해서 상기 영상 프레임을 웨이브릿 도메인으로 변환하여 데이터를 합성 시킬 수 있다. 상기 S4010 및 S4020 단계와는 별도로, 삽입할 데이터 정보를 상기 주파수 영역 또는 웨이브릿 영역으로 변환된 영상 프레임에 삽입하기 위해서 변환(또는 변조) 한다(S4030).
이후, 주파수 도메인으로 변환된 영상 프레임 및 변조된 데이터 정보를 합성한다(S4040).
즉, 상기 S4040 단계에서는 특정 도메인으로 변환된 영상 프레임 정보의 영상 심볼과 특정 주파수 대역에 맞도록 변조된 데이터 정보의 데이터 심볼을 매핑하여 상기 영상 프레임과 상기 데이터를 합성한다. 이때, 상기 S4040 단계를 통해 상기 정보들을 합성하는 방법으로는 데이터 정보간 곱셈 연산이 적용될 수 있다.
상기 S4040 단계를 통해 합성된 영상 프레임-데이터 정보를 시간 도메인으로 변환한다(S4050). 다시 말해, 상기 S4050 단계에서는 특정 주파수 대역에 데이터 정보가 합성된 영상 프레임 정보를 특정 도메인에서 시간 도메인의 정보로 변환한다.
일 예로, 상기 영상 프레임을 주파수 도메인에서 시간 도메인으로 변환하는 경우, 상기 S4050 단계에서는 상기 S4020 단계의 역 변환 과정인 2D IDFT(1D Inverse Discrete Fourier Transform)을 적용하여 해당 정보를 시간 도메인의 정보로 변환할 수 있다.
다만, 이는 일 예에 해당할 뿐, 다른 실시 예에서 상기 S4050 단계는 S4020 단계에서 적용한 주파수 변환에 대응되는 역 변환 과정을 시간 도메인의 영상 프레임 정보를 획득할 수 있다.
예를 들면, 상기 IDFT외에 역 고속 푸리에 변환(Inverse Fast Fourier Transform, IFFT), 또는 역 이산 코사인 변환(Inverse Discrete Cosine Transform, IDCT) 등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인에서 시간 도메인의 정보로 변환시킬 수 있다.
또한, 상기 영상 프레임을 웨이브릿 도메인에서 시간 도메인으로 변환하는 경우, 역 웨이브릿 변환(Inverse Wavelet Transform)을 이용하여 상기 영상 프레임을 시간 도메인의 정보로 변환 시킬 수 있다.
상기 S4050단계를 통해 역 변환된 영상 프레임-데이터 정보를 출력부를 통해서 출력한다(S4060). 구체적으로, 상기 S4060 단계를 통해 N 값에 따라 원본 영상 프레임 및 데이터 정보가 포함된 영상 프레임을 출력한다.
이때, 원본 영상 프레임과 적어도 한 개의 데이터가 포함된 영상 프레임이 출력되야 되기 때문에, 상기 N 값은 2이상의 값을 가져야 한다.
본 발명에 적용 가능한 일 예에 따라 상기 S4010단계는 별도의 데이터를 삽입할 영상 프레임으로 연속하는 일련의 영상 프레임에 대해 특정 개수의 프레임 간격으로 이격된 N개의 영상 프레임을 선정하므로, 본 발명에 적용 가능한 일 예에 따른 S4060 단계에서는, 복수개의 영상 프레임들과 함께 특정 개수의 프레임 간격으로 데이터를 합성하기 위한 N개의 영상 프레임을 화면 정보를 송출할 수 있다. 앞에서 상술한 바와 같이, 본 발명에 따른 데이터가 포함된 영상 정보 송신 장치에서 상기 N 값으로는 자연수 값이 적용될 수 있다.
본 발명에 적용 가능한 실시 예에서 상기 S4060 단계는 화면 정보를 송출할 수 있는 디스플레이 모듈을 통해 구현될 수 있다. 일 예로, LCD(Liquid Crystal Display), PDP(Plasma Display Panel), TV 등 영상 프레임 정보를 화면 정보로 송출할 수 있는 모든 기술 구성이 적용될 수 있다.
이하 각 단계에서 수행되는 방법에 대해서 구체적으로 살펴보도록 한다.
도 5는 본 명세서에서 제안하는 원본 영상 프레임 및 데이터를 합성하기 위한 영상 프레임을 선택하는 방법의 일 예를 나타낸 도이다.
앞에서 설명한 바와 같이 디바이스는 상기 도 4의 S4010단계에서 데이터를 전송할 영상 프레임을 선택할 수 있다.
구체적으로, 다수의 영상 프레임 중 데이터를 삽입할 프레임을 일정 개수 선택할 수 있다. 바람직하게는, 일련의 영상 프레임 중 데이터를 삽입할 N 개의 프레임을 선정할 수 있다. 즉, 매초 일정 개수만큼의 프레임씩 송출되는 영상 프레임에 대해 데이터를 삽입할 N개의 영상 프레임을 선정할 수 있다. 이때, 상기 N 값으로는 자연수 값이 적용될 수 있다.
또한, 데이터가 삽입되는 N개의 영상 프레임은 1개의 데이터가 포함되지 않은 원본 영상 프레임과 N-1개의 데이터가 삽입된 영상 프레임으로 구성될 수 있으며, 상기 원본 영상 프레임과 상기 데이터가 삽입된 영상 프레임은 동일 또는 유사한 영상을 출력하는 영상 프레임일 수 있다.
이때, 상기 N개의 영상 프레임 중 데이터를 포함하지 않은 원본 영상 프레임은 상기 데이터가 포함된 영상 프레임을 디코딩하기 위해서 사용될 수 있다.
구체적으로, 데이터가 삽입된 영상 프레임을 수신하는 수신단은 원본 프레임을 이용하여 수신된 영상 프레임을 디코딩하여 데이터를 획득할 수 있다. 즉 원본 프레임은 데이터가 합성되지 않았기 때문에, 상기 원본 프레임으로부터 영상 프레임 정보를 확인하고, 확인된 영상 프레임 정보를 통해서 수신된 영상 프레임으로부터 영상 프레임 정보에 해당하는 부분을 제거하여 데이터 정보를 추정(또는 유추)할 수 있다.
예를 들면, 상기 원본 영상 프레임은 파일럿 신호(pilot signal)의 역할을 수행할 수 있다. 파일럿 신호란, 송신장치 및 수신장치에서 이미 알고 있는 신호 값으로 데이터 성분이 포함된 주파수 성분을 추정하는 용도로 활용될 수 있다. 즉, 파일럿 신호의 신호 값 및 상기 파일럿 신호가 추가되는 주파수 도메인의 위치 정보는 송신 장치 및 수신 장치에서 이미 알고 있는 값이 적용될 수 있다.
상기 N 값은 실시 예에 따라 다양하게 변경 적용될 수 있으며, 이는 사용자 설정 또는 데이터가 포함되는 영상에 따라 다르게 설정될 수도 있다. 일 실시 예로, 상기 N 값으로는 일반 시청자가 영상 시청 시, 데이터가 삽입되며 영상이 훼손/변경 되었음을 인지하지 못하는 빈도 수로 설정될 수 있다. 다시 말해, 상기 N 값으로는 영상을 시청하는 시청자에게 큰 이질감을 느끼지 않도록 하는 값이 설정될 수 있다.
또 다른 실시 예로, 데이터를 삽입 하고자 하는 영상의 변화가 많은 경우, 상기 N 값은 작게 설정될 수 있으며, 그렇지 않은 경우, 상기 N 값은 크게 설정될 수 있다.
도 6은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위한 구체적인 방법의 일 예를 나타낸 도이다.
상기 도 6을 참조하면, 송신 장치는 데이터를 합성하여 전송하기 위해 선택된 N개의 영상 프레임 중 N-1개의 영상 프레임에 데이터를 삽입하여 출력할 수 있다.
구체적으로, 앞에서 살펴본 N개의 선택된 영상 프레임 중 데이터가 포함되지 않은 원본 영상 프레임을 출력한다. 이때, 상기 원본 영상 프레임은 앞에서 살펴본 바와 같이 데이터가 포함된 영상 프레임에서 영상 부분을 추정하기 위해서 사용되므로 데이터가 포함되지 않는다.
또한, 상기 원본 영상 프레임은 상기 데이터가 포함되지 않기 때문에 특정 도메인으로 변환되지 않고 출력된다(S6010).
이때, 상기 도 6에서
Figure 112016106840493-pat00001
는 시간 도메인 상에서 상기 원본 영상 프레임의 일 예를 나타내며, k는 N개의 영상 프레임이 선택된 순서를 나타낸다.
상기 원본 영상 프레임이 출력되고 일정 시간 간격으로 영상 프레임에 데이터가 삽입되고(S6020), 데이터가 삽입된 영상 프레임 순서대로 출력된다(S6030).
이때, 상기 데이터가 삽입되는 과정은 데이터 임베딩(Data Embedding)이라 호칭될 수 있다.
상기 S6020단계에서 영상 프레임에 데이터가 삽입되기 위해서, 상기 영상 프레임은 특정 영역, 즉 특정 도메인으로 변환된다.
일 예로, 상기 데이터를 삽입하기 위해서 상기 영상 프레임을 주파수 도메인으로 변경하는 방법은 아래 도 7 내지 도 8에서 구체적으로 살펴보기로 한다.
상기 특정 도메인으로 변환된 상기 영상 프레임에 데이터가 삽입되면, 데이터가 삽입된 영상 프레임은 시간 도메인으로 역 변환되어 출력될 수 있다.
이때, 상기 도 6에서
Figure 112016106840493-pat00002
는 시간 도메인 상에서 데이터가 포함된 첫 번째 영상 프레임의 일 예를 나타내며, n은 데이터가 포함된 영상 프레임의 프레임 넘버를 나타낸다.
이와 같은 방법을 통해서 영상 프레임에 데이터를 포함시킬 수 있으며, 데이터가 포함된 영상 프레임을 출력할 수 있다.
도 7는 본 명세서에서 제안하는 데이터를 포함하는 주파수 도메인으로 변환된 영상 프레임의 일 예를 나타낸 도이다.
상기 도 7를 참조하면, 영상 프레임에 데이터를 포함시켜 전송하기 위해서 N개의 영상 프레임이 선택되고, 선택된 N개의 영상 프레임 중 1개의 원본 영상 프레임을 제외한 N-1개의 영상 프레임은 데이터가 삽입되어 출력된다.
이때, 상기 N-1개의 영상 프레임에 데이터를 삽입하기 위해서, 상기 N-1개의 영상 프레임은 2차원 DFT 변환(2D Discrete Fourier Transform) 또는 2차원 FFT(Fast Fourier Transform)등과 같은 방법을 통해서 시간 도메인에서 주파수 도메인으로 변환되어 데이터가 삽입될 수 있다.
예를 들면, 상기 영상 프레임을
Figure 112016106840493-pat00003
라고 하면, 상기 영상 프레임은 데이터 정보의 합성을 위해서 아래 수학식 1과 같이 2차원 DFT방법을 통해서 주파수 도메인으로 변환될 수 있다.
Figure 112016106840493-pat00004
상기 수학식 1을 통해서 상기
Figure 112016106840493-pat00005
의 Column 및 Row에 대해서 주파수 도메인으로 변환된다.
상기 수학식 1에서
Figure 112016106840493-pat00006
는 주파수 도메인에서 P×Q의 크기를 가지는 영상프레임의 행렬(matrix) 값이고, 상기
Figure 112016106840493-pat00007
는 상기
Figure 112016106840493-pat00008
를 row에 대해서 주파수 도메인으로 변환하기 위한 P×P의 크기를 가지는 DFT 행렬 값이고, 상기
Figure 112016106840493-pat00009
는 상기
Figure 112016106840493-pat00010
를 Column에 대해서 주파수 도메인으로 변환하기 위한 Q×Q의 크기를 가지는 DFT 행렬 값이다.
이때, 상기
Figure 112016106840493-pat00011
는 영상 프레임 정보이므로 각각의 픽셀은 양수 값을 가지게 된다. 즉 주파수 도메인으로 변환된 영상 프레임의 각각의 변환된 영상 신호들은 0 부터 255의 양수 값 중 하나의 값을 가지게 된다.
따라서, 상기
Figure 112016106840493-pat00012
가 주파수 도메인으로 변환된 상기
Figure 112016106840493-pat00013
는 상기 도 7의 (a) 및 (b)와 같이 각 픽셀의 값을 나타내는 영상 신호 값들이 허미시안 대칭(Hermitian Symmetry)한 값을 가지게 된다.
상기 도 8의 (a)는 M 및 N이 8인 경우,
Figure 112016106840493-pat00014
값의 일 예를 나타내고, 상기 도 8의 (b)는 M 및 N이 9인 경우,
Figure 112016106840493-pat00015
값의 일 예를 나타낸다.
상기 도 8의 (a) 또는 (b)에 도시된 바와 같이 영상 프레임이 주파수 영역으로 변환된 경우, 상기
Figure 112016106840493-pat00016
는 허미시안 대칭되게 값을 가지는 것을 확인할 수 있다.
상기 주파수 도메인으로 변환된 영상 프레임 정보에 데이터를 합성하기 위해서는 합성되는 데이터도 상기 영상 프레임과 같이 허미시안 대칭되는 값을 가지고 있어야 한다.
즉, 주파수 영역으로 변환된 원본 데이터가 허미시안 대칭된 값을 가지고 있지 않은 경우, 상기 원본 데이터의 값을 주파수 도메인으로 변환된 영상 프레임의 영상 신호와 합성하면 상기 영상 프레임 값의 허미시안 대칭 특성이 원본 데이터의 합성으로 인하여 유지되지 않게 되기 때문에, 상기 원본 데이터가 삽입된 영상 프레임을 시간 도메인으로 변환하면 원래의 영상이 변경되게 된다.
즉, 원본 데이터의 임베딩으로 영상 프레임 값의 허미시안 대칭 특성이 유지 않아 시간 도메인, 즉 공간 영역에서의 영상 픽셀의 값이 양수의 값을 가질 수 없는 경우가 생겨 영상의 왜곡이 크게 발생하게 된다.
따라서, 상기 영상 프레임 값의 허미시안 대칭 특성을 유지시키기 위해서 상기 원본 데이터에 대칭되는 대칭 데이터를 상기 원본 데이터가 합성된 영상 프레임의 영역의 대칭되는 영역의 영상 신호에 합성하여야 한다.
도 8은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하기 위해, 주파수 도메인으로 변환된 영상 프레임을 서브 영상 이미지로 나누기 위한 방법의 일 예를 나타낸 도이다.
앞에서 살펴본 바와 같이 영상 프레임의 특정 영역에 전송 하고자 하는 원본 데이터를 합성하고, 상기 특정 영역의 대칭되는 영역에 상기 원본 데이터의 대칭되는 대칭 데이터를 합성하기 위해서 상기 영상 프레임을 서브 영상 이미지로 나눌 수 있다.
예를 들면, 상기 도 8의 (a) 및 (b)에 도시된 바와 같이, 데이터가 포함되는 영상 프레임은 다수의 서브 이미지로 나뉘어질 수 있다. 상기 도 8의 (a) 및 (b)에서 빗금친 부분은 서로 대칭되는 서브 이미지를 나타낸다.
상기 서브 이미지로 나뉜 영상 프레임의 특정 서브 이미지의 특정 주파수 영역에 원본 데이터가 합성되면, 상기 원본 데이터의 대칭되는 대칭 되는 데이터는 상기 특정 서브 이미지의 특정 주파수 영역에 대칭되는 영역에 합성되게 된다.
이와 같이, 대칭 되는 데이터를 대칭되는 영역에 합성함으로써, 영상 프레임의 허미시안 대칭 특성을 유지하여, 영상 정보에 데이터가 합성되더라도 상기 영상 정보가 왜곡되는 것을 방지할 수 있다.
도 9는 본 명세서에서 제안하는 서브 영상 이미지로 나뉘어진 영상 프레임의 일 예를 나타낸 도이다.
상기 도 9를 참조하면, 상기 도 8에서 살펴본 바와 같이 서브 이미지의 특정 주파수 영역 및 이에 대칭되는 주파수 영역에 원본 데이터 및 상기 원본 데이터에 대칭되는 대칭 데이터가 합성될 수 있다.
상기 도 9에서 빗금친 부분은 원본 데이터 및 대칭 데이터가 합성되는 주파수 대역을 나타내며, p 및 q는 영상의 좌표인덱스를 나타낸다.
아래 수학식 2는 9개의 서브 이미지로 나뉘어진 주파수 도메인으로 변환된 영상 프레임의 일 예를 나타낸다.
Figure 112016106840493-pat00017
상기 도 9에서 데이터가 포함되지 않는 영역은 DC 영역이다. 예를 들면, 상기 도 9에서 DC 영역은 상기 도 8에 도시된 영상 프레임의 외각의 0 내지 4, 5, 10, 15, 20의 신호들이 된다.
상기 수학식 2에서
Figure 112016106840493-pat00018
내지
Figure 112016106840493-pat00019
는 각각의 서브 이미지를 나타낸다. 상기 도 9에 도시된 바와 같이,
Figure 112016106840493-pat00020
와
Figure 112016106840493-pat00021
,
Figure 112016106840493-pat00022
와
Figure 112016106840493-pat00023
,
Figure 112016106840493-pat00024
와
Figure 112016106840493-pat00025
이 각각 대칭되는 서브 이미지다.
아래 수학식 3은 서브 이미지와 이에 대칭되는 서브 이미지간의 관계를 나타낸다.
Figure 112016106840493-pat00026
이때, 상기 flip은 아래 수학식 4와 같은 관계를 나타낸다.
Figure 112016106840493-pat00027
상기 수학식 3에서 상기
Figure 112016106840493-pat00028
는
Figure 112016106840493-pat00029
의 켤레 복소수를 나타낸다. 즉, 상기
Figure 112016106840493-pat00030
는 상기
Figure 112016106840493-pat00031
의 각각의 엘리먼트에 대응되는 켤레 복소수들의 집합을 나타낸다. 이하, 대칭 되는 서브 이미지들 중 상기
Figure 112016106840493-pat00032
와 상기
Figure 112016106840493-pat00033
를 예로 들어 설명한다.
상기 도 9에 도시된 바와 같이 상기
Figure 112016106840493-pat00034
의 빗금친 부분에 원본 데이터가 합성되는 경우, 이에 대칭되는 서브 이미지인 상기
Figure 112016106840493-pat00035
의 대칭되는 주파수 영역인 빗금친 부분에 상기 원본 데이터의 대칭되는 대칭 데이터가 합성된다.
상기 서브 이미지에 합성하기 위한 상기 원본 데이터의 행렬 값을
Figure 112016106840493-pat00036
라고 하면, 상기 대칭 데이터의 행렬 값은
Figure 112016106840493-pat00037
로 나타낼 수 있다. 또한, 상기
Figure 112016106840493-pat00038
및 상기
Figure 112016106840493-pat00039
의 행렬 값의 크기는 상기 서브 이미지의 크기와 같다.
상기
Figure 112016106840493-pat00040
또한, 위에서 살펴본 바와 같이 상기
Figure 112016106840493-pat00041
의 켤레 복소수들의 집합을 나타내다.
아래 수학식 5는 상기
Figure 112016106840493-pat00042
및 상기
Figure 112016106840493-pat00043
의 일 예를 나타낸다.
Figure 112016106840493-pat00044
상기 수학식 5에서도 나타나 있지만, 상기 서브 이미지에서 상기 원본 데이터 및 대칭 데이터가 포함되지 않는 주파수 영역은 영상을 왜곡 시키지 않기 위해서 1의 값이 합성되게 된다.
이때, 상기 대칭 데이터는 상기 원본 데이터의 켤레 복소수 값들로 구성될 수 있으며, 상기 원본 데이터 및 대칭 데이터는 상기 서브 이미지와 곱 연산을 통해서 합성될 수 있다.
아래 수학식 6은 상기 원본 데이터 및 상기 대칭 데이터가 합성된 영상 프레임의 행렬 값의 일 예를 나타낸다.
Figure 112016106840493-pat00045
상기 수학식 8에서
Figure 112016106840493-pat00046
는 상기 원본 데이터 및 상기 대칭 데이터가 삽입된 영상 프레임을 나타내고,
Figure 112016106840493-pat00047
는 하다마드 곱(Hadamard Product)를 나타낸다. 따라서, 상기
Figure 112016106840493-pat00048
는 상기
Figure 112016106840493-pat00049
와 상기
Figure 112016106840493-pat00050
의 대응되는 엘리먼트들의 곱으로 나타내어 진다.
본 발명의 또 다른 실시예로, 상기 DFT 외에 고속 푸리에 변환, 또는 이산 코사인 변환 등과 같은 다양한 방법을 통해서 데이터를 합성할 영상 프레임을 주파수 도메인으로 변환할 수 있다.
또한, 상기 영상 프레임은 데이터의 합성을 위해서 웨이브릿 변환을 통해 주파수 도메인이 아닌 웨이브릿 도메인으로 변환될 수 도 있다.
도 10은 본 명세서에서 제안하는 영상 프레임에 포함되는 데이터를 변환하는 방법의 일 예를 나타낸 흐름도이다.
상기 도 10을 참조하면, 변조된 데이터는 특정 도메인으로 변환된 영상 프레임에 매핑(mapping)되어 삽입될 수 있다.
구체적으로, 송신 장치는 전송하고자 하는 데이터인 원본 데이터를 특정 도메인으로 변환된 영상 프레임에 합성하기 위해서 변조한다(S10010).
이때, 상기 원본 데이터는 사용자에 의해 별도로 설정될 수 있으며, 적용 가능한 일 예에서는 사용자에 의해 선택되는 일련의 데이터 정보의 일부일 수 있다. 즉, 상기 원본 데이터로는 전체 데이터 정보가 적용될 수도 있으며, 전송하고자 하는 데이터의 양이 방대할 경우에는 상기 데이터를 복수 개의 데이터로 분할한 정보 중 일부의 데이터가 원본 데이터로 적용될 수도 있다.
일반적으로, 변조(modulation)란, 일정한 형태의 반송파에 전달하려는 정보에 대한 저주파 신호를 담기 위하여 크기, 주파수, 위상 등에 변형을 주는 기술 구성을 의미한다.
일 예로, QAM(Quadrature Amplitude Modulation) 방식으로 선택된 데이터 정보를 변조시킬 수 있다. QAM 방식은 디지털 신호를 일정량만큼 분류하여 반송파 신호와 위상을 변화시키면서 변조시키는 방식으로, 16-QAM 방식의 경우 디지털 신호를 16개의 level로 양자화하고 I/Q 플롯의 16개의 좌표로 분산하여 변조시키는 방식을 의미한다.
이어, 상기 변조된 원본 데이터 정보를 삽입할 영상 프레임의 주파수 대역을 선정한다. 즉, 상기 변조된 데이터 정보를 변환된 영상 프레임의 어느 주파수 대역(높은 주파수 대역 또는 낮은 주파수 대역)에 삽입할지를 선정한다(S10020).
이때, 상기 변조된 원본 데이터를 삽입할 주파수 대역으로 높은 주파수 대역 또는 낮은 주파수 대역을 선택하는 경우, 각각의 장단점이 존재한다.
일반적으로, 영상 프레임을 특정 도메인(예를 들면, 주파수 도메인또는 웨이브릿 도메인)으로 변환하게 되면 대부분의 영상 데이터 성분들은 저주파수 영역에 집중될 수 있다.
따라서, 특정 도메인으로 변환된 영상 프레임의 저주파 대역에 상기 변조된 원본 데이터를 삽입하는 경우, 영상의 왜곡이 크다는 단점이 존재한다. 하지만, 상기 변조된 원본 데이터를 삽입한 영상 프레임의 값이 크기 때문에, 데이터를 포함하는 영상 프레임의 영상 신호의 크기가 크고 디코딩이 손쉽다는 장점이 존재한다.
이때, 상기 삽입한 영상의 왜곡은 왜곡된 영상을 특정 방법을 통해서 보정하는 방식으로 해결될 수 있다.
이와는 반대로 고주파 대역에 상기 변조된 원본 데이터를 삽입하면 영상왜곡이 적다는 장점이 존재하지만, 고주파 특성으로 인하여 상기 변조된 원본 데이터를 포함하는 영상프레임의 값이 작기 때문에, 상기 영상 프레임의 영상 신호의 크기가 작아 디코딩이 어렵다는 단점이 존재한다.
이어, 상기 송신 장치는 상기 변조된 원본 데이터를 상기 선정된 주파수 대역에 맞추어 할당하여 영상 프레임에 상기 변조된 데이터를 삽입한다(S10030). 또한, 상기 변조된 원본 데이터에 대칭되는 대칭 데이터를 상기 선정된 주파수 대역에 대칭되는 대역에 삽입한다.
이때, 상기 대칭 데이터는 상기 원본 데이터와 동일한 방법을 통해서 변조되어 상기 대칭되는 대역에 삽입될 수 있다.
도 11은 본 명세서에서 제안하는 영상 프레임에 데이터를 합성하는 구체적인 방법의 일 예를 나타낸 도이다.
상기 도 11을 참조하면, 특정 도메인으로 변환된 영상 프레임 및 데이터는 합성된 뒤, 다시 시간 도메인으로 변환되어 출력되게 된다.
구체적으로, 데이터를 삽입하여 전송하기 위해서 선정된 N개의 영상 프레임 중 원본 영상을 추정하기 위한 1개의 원본 영상 프레임을 제외한 N-1개의 영상 프레임은 앞에서 설명한 방법을 통해서 특정 도메인으로 변환된다(S11010).
예를 들면, 상기 N-1개의 영상 프레임은 상기 도 6 및 상기 도 7에서 설명한 2D-DFT, FFT, 또는 DCT를 통해서 주파수 도메인으로 변환되거나, 웨이브릿 변환을 통해서 웨이브릿 도메인으로 변환된다.
이때, 상기 N-1개의 영상 프레임이 주파수 도메인으로 변환되는 경우, 아래와 같은 방법을 통해서 변환될 수 있다.
상기 S11010단계와는 별도로 상기 도 9 및 상기 도 10에서 설명한 바와 같이 주파수 도메인으로 변환된 영상 프레임에 전송하고자 하는 원본 데이터를 삽입하기 위해서, 상기 원본 데이터는 변조기(modulator)를 통해서 상기 변환된 영상 프레임에 합성되기 위한 형태로 변조된다(S11020).
상기 변조된 원본 데이터와 상기 원본 데이터의 대칭되는 대칭 데이터는 앞에서 살펴본 바와 같이 특정 도메인으로 변경된 영상 프레임에 곱 연산인 하다마드 연산을 통해서 삽입된다(S11030, S11040).
이후, 상기 원본 데이터 및 상기 대칭 데이터가 합성된 영상 프레임인
Figure 112016106840493-pat00051
는 아래 수학식 9와 같은 IDFT과정을 통해서 시간 도메인으로 역변환 되며(S11050), 시간 도메인으로 변환된 데이터가 포함된 영상 프레임은 출력되게 된다.
Figure 112016106840493-pat00052
상기 수학식 7에서 상기
Figure 112016106840493-pat00053
는 상기
Figure 112016106840493-pat00054
를 row에 대해서 시간 도메인으로 변환하기 위한 P×P의 크기를 가지는 행렬 값이고, 상기
Figure 112016106840493-pat00055
는 상기
Figure 112016106840493-pat00056
를 Column에 대해서 주파수 도메인으로 변환하기 위한 Q×Q의 크기를 가지는 행렬 값이다.
만약, 상기
Figure 112016106840493-pat00057
를 시간 도메인으로 변환하는 과정에서 음수가 발생하는 경우, 상기 음수 값은 에러 값으로 간주되어 제거(discard)되게 된다. 즉, 영상 프레임의 값은 항상 0 부터 255까지의 양수 값을 가지게 되므로, 데이터의 합성으로 음수 값이 발생하면 제거되어 0의 값을 가지게 된다.
이와 같은 방법을 통해서 주파수 도메인으로 변환된 영상 프레임에 원본 데이터와 대칭 데이터가 합성된 데이터를 삽입할 수 있으며, 데이터가 포함된 영상 프레임을 시간 도메인으로 역 변환하여 출력할 수 있다.
본 실시 예의 수학식 1 내지 7의 i는 상기 도 11에서의 (k-1)N+n를 나타낸다.
도 12는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임의 일 예를 나타낸 도이다.
상기 도 12를 참조하면, 영상 프레임에 데이터를 삽입하는 경우, 상기 데이터를 삽입할 주파수 대역을 선정할 수 있으며, 선정된 주파수 대역에 따라 데이터의 삽입으로 인한 영상 프레임의 영상 왜곡 정도가 달라질 수 있다.
구체적으로, 상기 도 12의 (a)는 영상 프레임의 고주파 대역에 데이터를 삽입한 경우의 일 예를 나타내고, (c)로 갈수록 저주파 대역에 데이터를 삽입한 경우의 일 예를 나타낸다. 상기 도 12의 (a) 내지 (c)에서 백색 부분은 데이터가 삽입된 영역을 나타낸다.
상기 도 12의 (a) 내지 (c)에 도시된 바와 같이 상기 데이터를 상기 영상 프레임의 고주파 대역에 데이터를 삽입하는 것보다 저주파 대역에 데이터를 삽입하는 경우 왜곡이 더 커진다.
일반적으로, 영상 프레임을 주파수 변환하게 되면 대부분의 영상데이터 성분들은 저주파수 영역에 집중될 수 있다. 따라서, 저주파 대역에 전송하고자 하는 데이터를 삽입하는 경우, 상기 도 12의 (c)에 도시된 바와 같이 영상의 왜곡이 커질 수 있다.
하지만, 영상 프레임의 저주파 대역에 데이터를 삽입하는 경우, 데이터가 삽입된 심볼의 값이 고주파 대역에 데이터를 삽입한 경우보다 크기 때문에 수신단에서의 데이터 디코딩이 용이하다.
또한, 상기 저주파 대역에 데이터의 삽입으로 인한 왜곡은 특정 방법을 통하여 보정될 수 있다.
이와 반대로, 상기 도 12의 (c)에 도시된 바와 같이 영상 프레임의 고주파 대역에 전송하고자 하는 데이터를 삽입하는 경우, 데이터의 삽입으로 인한 영상 프레임의 영상 왜곡이 저주파 대역에 데이터를 삽입한 경우보다 작다. 하지만, 고주파 대역에 데이터를 삽입한 경우, 데이터가 삽입된 심볼의 값이 저주파 대역에 데이터를 삽입한 경우보다 작다.
도 13은 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 수신 장치의 일 예를 나타낸 도이며, 도 14는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 방법의 일 예를 나타낸 흐름도이다.
본 명세서에서 상기 수신 장치는 영상 정보를 획득할 수 있는 다양한 수신 장치를 의미한다.
도 13에 도시된 바와 같이, 본 발명에 적용가능한 바람직한 실시예에 따른 데이터가 포함된 영상 정보 수신 장치는 송신 장치가 출력하는 영상 프레임을 수신하기 위한 수신부(1100); 수신된 영상 프레임의 왜곡을 보정하기 위한 영상 보정부(1200); 수신된 영상 프레임을 특정 도메인으로 변환하기 위한 변환부(1300); 수신된 영상 프레임에 데이터가 포함되어 있는지 여부를 판단하기 위한 판별부(1400) 및 영상 프레임에서 데이터를 추출하기 위한 데이터 추출부(1500)를 포함할 수 있다. 이때, 상기 데이터 추출부(1500)는, 주파수 대역 추출부(1510) 및 데이터 복조부(1520)를 포함할 수 있다.
상기 수신부(1100)는 송신 장치로부터 출력되는 영상 정보를 영상 프레임 단위로 수신한다(S14010). 구체적으로, 상기 수신부(1100)는 별도의 송신 장치의 출력부로부터 출력되는 영상 정보를 수신할 수 있다. 일 예로, 상기 수신부(1100)는, CCD, CMOS 등과 같은 이미지 센서 중 선택되는 어느 하나 이상을 통해 영상 프레임 단위로 영상 정보를 수신할 수 있다.
바람직하게는, 본 발명에 적용가능한 실시예에서 상기 수신부(1100)는 송신 장치의 출력부로부터 송출되는 영상 정보를 영상 프레임 단위로 수신할 수 있는 모든 기술 구성이 적용될 수 있다.
또한, 상기 수신부(1100)는 수집되는 영상 정보의 전부 또는 일부를 통해 본 발명의 일 예에 따라 송신되는 데이터가 포함된 영상 정보를 수신할 수 있다. 구체적으로, 상기 수신부(1100)는 10X10 크기의 영상 정보를 수신할 수 있을 때, 10X10 크기의 데이터가 포함된 영상 정보를 수신할 수도 있으며, 일부인 7X7 크기의 데이터가 포함된 영상 정보를 수신할 수도 있다.
상기와 같은 경우 상기 수신부(1100)는 데이터를 추출할 영상 정보로 상기 수신부(1100)가 수신한 영상 정보 중 일부를 활용할 수 있다. 즉, 상기 수신부(1100)는 수신한 전체 영상 크기 중 일정 크기의 영상 영역만을 선정하여 해당 영역에 대한 영상 정보를 활용하여 데이터를 추출할 수 있다.
이와 같이, 상기 수신부(1100)는 수신한 영상 정보 중 데이터가 포함된 영상 정보를 나타내는 특정 영역을 선정하여 해당 영역만을 상기 변환부(1300)로 제공할 수 있다.
본 발명에 적용가능한 바람직한 실시예에서 상기 영상 수신부(1100)와 상기 변환부(1300) 사이에 별도의 영상 보정부(1200)을 포함할 수 있다. 상기 영상 보정부(120)는 상기 수신부(1100)를 통해 수신된 영상 정보에 발생한 크기 및 시야각 변위 등에 의해 발생하는 왜곡을 일정 방식에 따라 보정할 수 있다(S14020). 또한, 상기 영상 보정부(1200)는 상기 수신부(1100)를 통해 수신된 영상 정보의 이전 또는 이후 영상 프레임 정보 중 선택되는 적어도 하나 이상의 영상 프레임을 이용하여 상기 수신된 영상 정보를 보정할 수 있다.
구체적으로, 상기 영상 보정부(1200)는 영상 정보의 출력 및 수신 과정에서 왜곡된 영상 정보로부터 보다 정확한 데이터를 추출하기 위하여 상기 영상 정보를 보정하는 작업을 수행한다. 일 예로, 상기 영상 보정부(1200)는 상기 수신부(1100)를 통해 수신된 영상 정보에 발생한 크기 및 시야각 변위 등에 의해 발생하는 왜곡을 보정할 수 있다. 또한, 상기 영상 정보의 이전에 수신된 영상 정보의 영상 프레임(제 2 영상 프레임) 또는 이후에 수신된 영상 정보의 영상 프레임(제3 영상 프레임) 중 선택되는 적어도 하나 이상의 영상 정보를 이용하여 상기 제 1 영상 정보의 왜곡을 보정하여 데이터가 포함된 영상 프레임(제 1 영상 프레임)을 복원할 수 있다.
이외, 상기 영상 보정부(1200)에 적용 가능한 영상 보정 방법으로는 다양한 실시 예가 적용될 수 있다.
영상 변환부(1300)는 상기 수신부(1100)로부터 전달받은 영상 정보의 영상 프레임을 특정 도메인으로 변환한다(S14030).
예를 들면, 상기 변환부(1300)는 상기 영상 보정부(1200) 또는 상기 S1420 단계를 통해 전달된 영상 프레임을 주파수 도메인 또는 웨이브릿 도메인 상의 정보로 변환할 수 있다.
상기 영상 프레임을 주파수 도메인으로 변환하는 경우, 상기 변환부(1300)는 앞에서 살펴본 DFT, FFT, 또는 DCT 등과 같은 다양한 방법을 통해서 상기 영상 프레임을 주파수 도메인 정보로 변환시킬 수 있다.
상기 영상 프레임을 웨이브릿 도메인으로 변환하는 경우, 상기 변환부(1300)는 앞에서 살펴본 웨이브릿 변환(Wavelet Transform)을 통해서 상기 영상 프레임을 웨이브릿 도메인 정보로 변환 시킬 수 있다.
상기 변환부(1300)는 상기 도 1에 도시된 송신 장치의 영상 프레임 변환부(200)에 적용되는 변환 방법과 동일한 기술 구성이 적용될 수 있다.
본 발명에 적용 가능한 실시 예에서 데이터가 포함된 영상 프레임의 수신 장치는 판별부(1400)를 더 포함할 수 있다. 상기 판별부(1400)는 상기 변환부(1300)에 의해 특정 도메인으로 변환된 영상 프레임에 데이터가 포함되어 있는지 여부를 판단한다.
즉, 상기 판별부는 앞에서 살펴본 N개의 영상 프레임에서 데이터가 포함되지 않는 원본 영상 프레임과 데이터가 포함된 영상 프레임을 구별할 수 있다.
상기 판별부(1300)는 수신된 영상 정보의 영상 프레임이 데이터를 포함하고 있지 않은 원본 영상 프레임이라고 판단하는 경우, 데이터 추출 동작을 수행하지 않는다.
이때, 상기 원본 영상 프레임은 데이터 추출부(1500)로 전송되어 이후에 전송되는 데이터를 포함하는 영상 프레임에서 데이터를 추출하기 위해서 사용될 수 있다.
그러나, 상기 판별부는 수신된 영상 정보의 영상 프레임이 데이터를 포함하고 있다고 판단하는 경우, 상기 영상 프레임 정보를 상기 데이터 추출부(1500)로 전달하게 된다.
상기 데이터 추출부(1500)는 상기 판별부(1400)로부터 전달된 영상 프레임으로부터 데이터를 추출한다. 이하, 상기 영상 프레임에서 데이터를 추출하기 위한 구체적인 방법에 대해서 설명한다.
상기 데이터 추출부(1500)의 주파수 대역 추출부(1510)는 상기 판별부(1400)에 의해 데이터가 포함되어 있는 것으로 판단된 영상 프레임 중 데이터 가 포함된 주파수 대역을 선정한다.
예를 들면, 상기 영상 프레임의 고주파 대역에 데이터가 삽입되어 있는 경우, 상기 주파수 대역 추출부는 상기 데이터가 삽입되어 있는 고주파 대역에 대한 정보를 추출할 수 있다.
다만 이는 일 실시예에 불과하며, 상기 주파수 대역 추출부(1510)에 의해 추출되는 주파수 대역에 대한 정보는 본 발명의 일 예에 따른 송신 장치의 주파수 선정부(320)에 의해 데이터를 삽입할 주파수 대역과 동일하게 설정될 수 있다.
데이터 복조부(1520)는 상기 주파수 대역 추출부(1510)에 의해 추출된 주파수 대역에 대한 정보에 기초하여 데이터를 복조하고 추출한다(S14040, S14050). 이때, 데이터의 복조 방법으로는 본 발명의 일 예에 따른 영상 정보 송신 장치 중 데이터 변조부(310)에 의한 데이터 변조 방식의 역방향 연산이 적용될 수 있다.
즉, 데이터 디코딩 과정을 통해서 특정 도메인의 영상 프레임에서 데이터 부분을 분리하고, 변조기를 통해서 분리된 데이터를 변조함으로써 데이터를 추출할 수 있다.
일 예로, 상기 데이터 변조부(310)에 의해 특정 데이터가 QAM 변조된 경우, 상기 데이터 복조부(1520)는 QAM 복조 방식을 통해 추출된 주파수 대역 정보로부터 데이터 정보를 추출할 수 있다.
상기 데이터 복조부(1520)에 의해 복조된 데이터 정보는 별도의 표시 장치를 통해 이미지 또는 텍스트로 표시되거나, 또는 별도의 저장 장치 내 파일의 형태로 저장될 수 있다. 본 발명은 상기 실시예로 한정되지 않으며, 추출된 데이터는 다양한 형태로 구현될 수 있음은 물론이다.
도 15는 본 명세서에서 제안하는 방법들이 적용될 수 있는 데이터가 포함된 영상 정보를 수신하기 위한 구체적인 방법의 일 예를 나타낸 도이고, 도 16은 본 명세서에서 제안하는 왜곡된 영상 정보를 보정하기 위한 방법의 일 예를 나타낸 도이다.
상기 도 15를 참조하면, 수신 장치는 송신 장치로부터 전송된 N개의 영상 프레임을 수신하여 디코딩함으로써, 영상 프레임에 포함된 데이터를 추출할 수 있다.
구체적으로, 수신 장치는 송신 장치로부터 전송된 N개의 영상 프레임 중 데이터가 포함되지 않은 원본 영상 프레임이 포함된 영상 정보를 수신한다(S15010).
이때, 상기 도 15에서
Figure 112016106840493-pat00058
은 시간 도메인 상에서 상기 원본 영상 프레임의 일 예를 나타내며, k는 N개의 영상 프레임이 선택된 순서를 나타낸다.
상기 수신된 영상 정보는 수신 장치의 카메라 등에 의해서 수신될 때, 크기 및 시야각 변위 등에 의해서 상기 도 16의 (a)와 같이 왜곡이 발생할 수 있다.
따라서, 이러한 왜곡을 보정하여 왜곡 없는 영상 프레임 정보를 획득하기위해서 상기 도 16의 (b)와 같이 왜곡을 보정하는 절차를 거치게 된다(15020).
즉, 상기 도 16의 (a)와 같이 수신부를 통해서 수신된 영상 프레임을 포함하는 영상 정보는 왜곡이 발생되게 되기 때문에, 상기 도 16의 (b)와 같은 과정을 거쳐 왜곡을 보정하여 보정된 영상 정보를 획득하게 된다.
이하, 상기 보정된 원본 영상 프레임의 값을
Figure 112016106840493-pat00059
라 한다.
이후, N-1개의 데이터를 포함하는 영상 프레임이 포함된 영상 정보를 수신하고(S15030), 상기 S15020단계와 동일한 보정 과정을 거쳐서 데이터가 포함된 보정된 영상 프레임을 획득할 수 있다(S15040).
이하, 상기 데이터가 포함된 보정된 영상 프레임의 값을
Figure 112016106840493-pat00060
이라 하며, n은 데이터가 포함된 N-1개의 영상 프레임의 프레임 넘버를 나타낸다.
상기 원본 영상 프레임 및 데이터가 포함된 영상 프레임이 보정된 뒤, 상기 원본 영상 프레임 값을 이용하여 상기 영상 프레임에서 데이터 정보를 추출하기 위한 데이터 디코딩 과정이 수행된다(S15050).
상기 데이터 디코딩 과정은 도 17에서 자세히 살펴보도록 한다.
이하, 상기 S15050단계를 통해서 추출된 데이터 정보를
Figure 112016106840493-pat00061
라 한다.
이후, 복조기를 통해서 상기 S15050단계에서 획득된 데이터 정보를 복조함으로써 데이터 값을 획득할 수 있다(S15060).
이때, 데이터의 복조 방법으로는 상기 도 10의 S10010단계에서 수행된 데이터 변조 방식의 역방향 연산이 적용될 수 있다.
일 예로, 상기 S10010단계에서 데이터가 QAM 변조된 경우, 상기 S12060단계에서 QAM 복조 방식을 통해 추출된 데이터 정보로부터 데이터 값을 추출할 수 있다.
이와 같은 방법을 통해서 수신된 영상 정보에 포함된 영상 프레임으로부터 데이터를 추출할 수 있다.
도 17는 본 명세서에서 제안하는 데이터가 포함된 영상 프레임에서 데이터를 디코딩하기 위한 방법의 일 예를 나타낸 도이다.
상기 도 17를 참조하면, 원본 영상 프레임을 이용하여 데이터 디코딩 과정을 수행함으로써 데이터를 포함하는 영상 프레임에서 데이터 정보를 추출할 수 있다.
구체적으로, 수신 장치를 통해서 수신된 원본 영상 프레임을
Figure 112016106840493-pat00062
, 수신된 데이터를 포함하는 영상 프레임을
Figure 112016106840493-pat00063
라고 하면, 상기
Figure 112016106840493-pat00064
및 상기
Figure 112016106840493-pat00065
는 아래 수학식 8과 같이 나타낼 수 있다.
Figure 112016106840493-pat00066
상기 수학식 8에서
Figure 112016106840493-pat00067
및
Figure 112016106840493-pat00068
는 상기 도 14의 단계 S14020를 통한 영상 프레임 복원시 발생한 노이즈를 나타낸다.
수신된 원본 영상 프레임 및 데이터를 포함하는 영상 프레임은 앞에서 살펴본 방법을 통해서 특정 도메인(예를 들면, 주파수 도메인 또는 웨이브릿 도메인 등)으로 변환된다.
이하, 상기 영상 프레임이 주파수 도메인으로 변환된 경우를 예로 들어 설명하도록 한다.
상기 수신된 원본 영상 프레임 및 상기 데이터를 포함하는 영상 프레임은 아래 수학식 9을 통해서 주파수 도메인으로 변환될 수 있다.
Figure 112016106840493-pat00069
상기 수학식 9에서 상기
Figure 112016106840493-pat00070
및 상기
Figure 112016106840493-pat00071
는 아래 수학식 10과 같은 행렬 값을 가질 수 있다.
Figure 112016106840493-pat00072
상기 도 9에서 살펴본 바와 같이 데이터가 포함된 영역은
Figure 112016106840493-pat00073
이고, 이에대응되는 원본 영상 프레임의 영역은
Figure 112016106840493-pat00074
이다. 따라서, 상기 영상 프레임에서 데이터를 유추하기 위해서 데이터 디코딩 과정이 수행되어야 하는 영역은 상기
Figure 112016106840493-pat00075
및 상기
Figure 112016106840493-pat00076
이다.
이때, 대칭 데이터가 포함되어 있는 영역은 영상의 왜곡을 방지하기 위해 포함시킨 값이므로 상기 대칭 데이터가 포함되어 있는 영역은 데이터 디코딩 과정에서 복조하지 않아도 원본 데이터를 유추할 수 있다.
만약, 다른 영역에 원본 데이터가 포함되어 있는 경우, 데이터가 포함되어 있는 영역 및 이에 대응되는 원본 영상 프레임의 영역을 디코딩하면 된다.
상기
Figure 112016106840493-pat00077
및 상기
Figure 112016106840493-pat00078
는 아래 수학식 11과 같은 행렬 값을 가질 수 있다.
Figure 112016106840493-pat00079
상기 수학식 11에서 상기
Figure 112016106840493-pat00080
및 상기
Figure 112016106840493-pat00081
각각의 행렬 값을 나타내는
Figure 112016106840493-pat00082
및
Figure 112016106840493-pat00083
는 아래 수학식 12를 통해서 계산될 수 있다.
Figure 112016106840493-pat00084
상기 수학식 12에서
Figure 112016106840493-pat00085
는 데이터가 포함되지 않은 영상 프레임이 주파수 도메인으로 변환된 행렬의 값을 나타내고,
Figure 112016106840493-pat00086
는 주파수 도메인에서 노이즈의 행렬 값을 나타낸다.
상기
Figure 112016106840493-pat00087
는 원본 데이터가 주파수 도메인으로 변환된 행렬의 값을 나타낸다.
이후, 상기 주파수 도메인으로 변환된 원본 영상 프레임의 행렬 값인 상기
Figure 112016106840493-pat00088
과 상기 데이터가 포함된 영상 프레임 값인
Figure 112016106840493-pat00089
의 곱 연산인 하다마드 곱을 통해서 데이터 정보를 획득할 수 있다(S17030).
즉, 상기
Figure 112016106840493-pat00090
을 이용하여 상기
Figure 112016106840493-pat00091
으로부터 원본 데이터의 값을 추정할 수 있다.
이하, 상기 추정된 원본 데이터의 값을 나타내는 행렬을
Figure 112016106840493-pat00092
라 하면, 상기
Figure 112016106840493-pat00093
는 아래 수학식 13와 같이 나타낼 수 있다.
Figure 112016106840493-pat00094
상기 수학식 13에서
Figure 112016106840493-pat00095
인 경우,
Figure 112016106840493-pat00096
의 값을 0으로 간주하는 것은, 상기
Figure 112016106840493-pat00097
조건을 만족하는 영역은 상기 도 9에서 살펴본 바와 같이 원본 데이터가 합성되지 않는 영역이므로, 별도의 디코딩이 필요하지 않기 때문이다. 즉, 데이터가 포함되어 있는 영역만을 디코딩하기 위해서 상기
Figure 112016106840493-pat00098
영역은,
Figure 112016106840493-pat00099
의 값을 0으로 간주한다.
상기 수학식 13에서 원본 데이터의 행렬 값을 나타내는
Figure 112016106840493-pat00100
는 아래 수학식 14을 통해서 계산될 수 있다.
Figure 112016106840493-pat00101
상기 수학식 14에서 상기
Figure 112016106840493-pat00102
및 상기
Figure 112016106840493-pat00103
는 아래 수학식 15와 같다.
Figure 112016106840493-pat00104
상기 수학식 15를 통해서 유추된 상기
Figure 112016106840493-pat00105
의 값은 영상 프레임 정보가 상기
Figure 112016106840493-pat00106
으로 인하여 제거되지만, 오니즈 부분은 여전히 남아 있게 된다.
즉, 아래 수학식 16과 같이 원본 데이터인
Figure 112016106840493-pat00107
뿐만 아니라, 노이즈 부분을 나타내는
Figure 112016106840493-pat00108
부분도 여전히 남아 있게 된다.
Figure 112016106840493-pat00109
즉, ZF방법을 통해서 원본 데이터를 유추하는 경우, 노이즈 부분은 제거되지 않고 남아 있게 된다.
원본 영상 프레임을 이용하여 데이터가 포함된 영상 프레임으로부터 원본데이터 값을 추정할 수 있는 또 다른 방법으로 상기 ZF 방식 외에 최소 자승 오차(Minimum Mean Square Error, MMSE)방식이 사용될 수 있다.
즉, 상기 수학식 16에서 상기
Figure 112016106840493-pat00110
값은 아래 수학식 17을 통해서 계산될 수 있다.
Figure 112016106840493-pat00111
상기 수학식 17에서 상기
Figure 112016106840493-pat00112
, 상기
Figure 112016106840493-pat00113
, 상기
Figure 112016106840493-pat00114
및 상기
Figure 112016106840493-pat00115
는 아래 수학식 18을 통해서 계산될 수 있다.
Figure 112016106840493-pat00116
또한, 상기 수학식 18에서 상기
Figure 112016106840493-pat00117
는 아래 수학식 19을 통해서 계산될 수 있다.
Figure 112016106840493-pat00118
이와 같이 MMSE 방식을 통해서 데이터가 포함된 영상 프레임에서 원본 데이터 값을 획득할 수 있다.
본 명세서에서는 ZF 방식 및 MMSE 방식을 예로 들었지만, 이 외에도 Maximum Likelihood(ML) detection 방식 등 다양한 방식을 통해서 상기 원본 영상 프레임을 이용하여 데이터가 포함된 영상 프레임에서 원본 데이터 값을 획득할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
나아가, 설명의 편의를 위하여 각 도면을 나누어 설명하였으나, 각 도면에 서술되어 있는 실시 예들을 병합하여 새로운 실시 예를 구현하도록 설계하는 것도 가능하다.
100: 영상 프레임 선정부 200: 영상 프레임 변환부
300: 데이터 변환부 310: 데이터 변조부
320: 주파수 선정부 330: 주파수 할당부
400: 합성부 500: 역변환부
600: 출력부
1100: 수신부 1200: 영상 보정부
1300: 변환부
1400: 판별부 1500: 데이터 추출부
1510: 주파수 대역 추출부
1520: 데이터 복조부

Claims (15)

  1. 영상 프레임 전송 방법에 있어서,
    전송하고자 하는 원본 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 단계;
    상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 단계;
    상기 영상 프레임에 원본 데이터를 합성하기 위해 상기 원본 데이터를 변조하는 단계;
    상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임의 특정 영역에 상기 원본 데이터를 합성하는 단계;
    상기 특정 영역의 대칭되는 대칭 영역에 상기 영상 프레임의 대칭 특성의 유지를 위한 상기 원본 데이터와 대칭되는 대칭 데이터를 합성하는 단계,
    상기 대칭 데이터는 상기 원본 데이터의 켤레 복소수 값들로 구성되고;
    상기 원본 데이터 및 상기 대칭 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 단계;
    상기 원본 데이터 및 상기 대칭 데이터가 합성되지 않은 원본 영상 프레임을 출력하는 단계; 및
    상기 적어도 하나의 영상 프레임을 출력하는 단계를 포함하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 원본 영상 프레임은 상기 적어도 하나의 영상 프레임보다 먼저 출력되는 방법.
  3. 제 1 항에 있어서,
    상기 원본 영상 프레임은 상기 원본 데이터 및 상기 대칭 데이터가 합성된 적어도 하나의 영상 프레임에서 영상 프레임 정보를 제거하여 상기 원본 데이터를 획득하기 위해서 사용되는 방법.
  4. 제 1 항에 있어서,
    상기 특정 도메인은 주파수 도메인 또는 웨이브릿 도메인 중 하나인 방법.
  5. 제 4 항에 있어서,
    상기 특정 도메인이 상기 주파수 도메인인 경우, 상기 영상 프레임은 2차원 이산 푸리에 변환(Discrete Fourier Transform, DFT), 또는 이산 코사인 변환(Discrete Cosine Transform, DCT)을 이용하여 주파수 도메인으로 변환되는 방법.
  6. 제 4 항에 있어서,
    상기 특정 도메인이 상기 웨이브릿 도메인인 경우, 상기 영상 프레임은 웨이브릿 변환(Wavelet Transform)을 통해서 상기 웨이브릿 도메인으로 변환되는 방법.
  7. 제 1 항에 있어서,
    상기 원본 데이터 및 상기 대칭 데이터는 허미시안 대칭(Hermitian Symmetry)하는 방법.
  8. 제 1 항에 있어서,
    상기 원본 데이터 및 상기 대칭 데이터 각각의 엘리먼트는 상기 적어도 하나의 영상 프레임으로부터 변환된 각각의 영상 신호와 합성되는 방법.
  9. 제 8 항에 있어서,
    상기 대칭 데이터의 엘리먼트는 상기 원본 데이터의 엘리먼트가 합성된 주파수 대역의 대칭되는 주파수 대역에서 합성되는 방법.
  10. 제 1 항에 있어서,
    상기 원본 데이터 및 상기 대칭 데이터와 상기 적어도 하나의 영상 프레임은 하다마드 곱(Hadamard product) 연산을 통해서 합성되는 방법.
  11. 제 10 항에 있어서,
    상기 변환된 적어도 하나의 영상 프레임 각각을 나타내는
    Figure 112016106840493-pat00119
    는 아래의 수식과 같이 정의되며,
    Figure 112016106840493-pat00120

    상기 원본 데이터는
    Figure 112016106840493-pat00121
    로 정의되고, 상기 대칭 데이터는
    Figure 112016106840493-pat00122
    로 정의되는 경우,
    상기 데이터가 포함된 영상 프레임을 나타내는
    Figure 112016106840493-pat00123
    는 아래 수식과 같이 정의 되는 방법
    Figure 112016106840493-pat00124
    .
  12. 제 1 항에 있어서,
    상기 원본 데이터는 상기 특정 영역의 고주파 대역 또는 저주파 대역에 삽입되는 방법.
  13. 제 1 항에 있어서,
    상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임 각각을 복수의 서브 영상 프레임으로 분할하는 단계를 더 포함하되,
    상기 특정 영역은 상기 복수의 서브 영상 프레임 중에서 하나의 특정 영상 프레임에 포함되는 영역인 방법.
  14. 제 1 항에 있어서,
    상기 적어도 하나의 영상 프레임의 개수는 영상 프레임간의 영상 변화 값에 기초하여 결정되는 방법.
  15. 영상 프레임을 전송하기 위한 송신 장치에 있어서, 상기 송신 장치는,
    전송하고자 하는 원본 데이터를 삽입할 적어도 하나의 영상 프레임을 선택하는 영상 프레임 선정부;
    상기 선택된 적어도 하나의 영상 프레임을 특정 도메인으로 변환하는 영상 프레임 변환부;
    상기 영상 프레임에 원본 데이터를 합상하기 위해 상기 원본 데이터를 변조하는 데이터 변환부;
    상기 특정 도메인으로 변환된 상기 적어도 하나의 영상 프레임의 특정 영역에 상기 원본 데이터를 합성하고, 상기 특정 영역의 대칭되는 대칭 영역에 상기 영상 프레임의 대칭 특성의 유지를 위한 상기 원본 데이터와 대칭되는 대칭 데이터를 합성하는 합성부;
    상기 원본 데이터 및 상기 대칭 데이터가 합성된 적어도 하나의 영상 프레임을 시간 도메인으로 변환하는 역변환부; 및
    상기 원본 데이터 및 상기 대칭 데이터가 합성되지 않은 원본 영상 프레임 및 상기 적어도 하나의 영상 프레임을 출력하는 출력부를 포함하되,
    상기 대칭 데이터는 상기 원본 데이터의 켤레 복소수 값들로 구성되는 장치.
KR1020160144709A 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치 KR101827882B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562251117P 2015-11-05 2015-11-05
US62/251,117 2015-11-05
KR20150168538 2015-11-30
KR1020150168538 2015-11-30

Publications (2)

Publication Number Publication Date
KR20170053121A KR20170053121A (ko) 2017-05-15
KR101827882B1 true KR101827882B1 (ko) 2018-02-12

Family

ID=58739572

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160144698A KR101840253B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치
KR1020160144709A KR101827882B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치
KR1020160147366A KR101840251B1 (ko) 2015-11-05 2016-11-07 화면 기반 통신을 지원하는 송수신 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160144698A KR101840253B1 (ko) 2015-11-05 2016-11-01 화면 기반 통신을 지원하는 송수신 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020160147366A KR101840251B1 (ko) 2015-11-05 2016-11-07 화면 기반 통신을 지원하는 송수신 방법 및 장치

Country Status (1)

Country Link
KR (3) KR101840253B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102571044B1 (ko) * 2021-02-16 2023-08-29 영남대학교 산학협력단 화면 기반 통신에서 반복적 영상 복원 기법을 이용한 데이터 디코딩 방법 및 장치와 이를 위한 컴퓨터 프로그램
KR102650698B1 (ko) * 2021-05-24 2024-03-22 영남대학교 산학협력단 파워 할당을 이용한 화면 기반 통신 방법 및 장치와 이를 위한 컴퓨터 프로그램
KR102562480B1 (ko) * 2023-01-30 2023-08-02 주식회사 엘아이텍 패턴 기반 은닉부호 삽입장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5339865B2 (ja) * 2008-11-26 2013-11-13 日本電信電話株式会社 無線受信方法、及び無線受信装置

Also Published As

Publication number Publication date
KR20170053146A (ko) 2017-05-15
KR101840253B1 (ko) 2018-03-21
KR101840251B1 (ko) 2018-03-21
KR20170053120A (ko) 2017-05-15
KR20170053121A (ko) 2017-05-15

Similar Documents

Publication Publication Date Title
US8620018B2 (en) Electronic watermark embedding method, device, and program, and electronic watermark detecting method, device, and program
Perli et al. PixNet: Interference-free wireless links using LCD-camera pairs
US7970164B2 (en) Digital watermark padding method, digital watermark padding device, digital watermark detecting method, digital watermark detecting device, and program
KR101827882B1 (ko) 화면 기반 통신을 지원하는 송수신 방법 및 장치
US20150242981A1 (en) Extending Watermark Detection Distortion Tolerances
Kim et al. Display field communication: Fundamental design and performance analysis
US8934663B2 (en) Digital watermarking
JP2009514305A (ja) 情報信号にデータを埋め込む方法
Motahari et al. Barcode modulation method for data transmission in mobile devices
US7602936B2 (en) Method to make wavelet watermarks resistant to affine transformations
EP3132383A1 (en) Systems, methods, and media for extracting information and a display image from two captured images
Huang et al. Unseen visible watermarking: a novel methodology for auxiliary information delivery via visual contents
Woo Digital image watermarking methods for copyright protection and authentication
Jung et al. Implementation of two-dimensional display field communications for enhancing the achievable data rate in smart-contents transmission
JP2006295835A (ja) 画像伝送システム
Singh et al. Performance analysis of display field communication with advanced receivers
KR101565677B1 (ko) 데이터가 포함된 영상 정보 송수신 장치 및 방법
KR102110538B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
JP5806648B2 (ja) 電子透かし埋め込み装置、電子透かし検出装置、及び電子透かし埋め込み方法、電子透かし検出方法、並びにプログラム
Tamang et al. Exponential data embedding scheme for display to camera communications
Butora et al. Revisiting perturbed quantization
Agung Watermarking and Content Protection for Digital Images and Video
Bulan et al. Content authentication for printed images utilizing high capacity data hiding
Thanusutiyabhorn et al. Optical datalink between display monitor and web camera
Silambarasan et al. Reliable QR Code Modulation with Steganography Using LSB-LMS Technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant