KR102397097B1

KR102397097B1 - 디스플레이 기반의 화면 통신 시스템 및 방법, 디스플레이 기반의 화면 송신 및 수신 방법

Info

Publication number: KR102397097B1
Application number: KR1020200148423A
Authority: KR
Inventors: 김종인; 김정현; 문성재; 김영우
Original assignee: 한국광기술원
Priority date: 2020-11-09
Filing date: 2020-11-09
Publication date: 2022-05-12

Abstract

본 발명은 디스플레이 기반의 화면 통신 시스템 및 방법, 디스플레이 기반의 화면 송신 및 수신 방법에 관한 것으로서, a)) 상기 송신 단말은 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개의 영상 프레임으로 분할하고, 기 설정된 데이터에 대해 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하며, 상기 영상 프레임들 사이에 데이터 프레임을 포함시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력하는 단계; 및 b) 상기 수신 단말은 상기 카메라를 통해 상기 디스플레이에 출력되는 동영상 콘텐츠에서 데이터 프레임을 추출한 후, 상기 추출된 데이터 프레임에 대한 복조 및 디코딩을 수행하여 결과 데이터를 출력하는 단계를 포함하는 것을 특징으로 방법일 수 있다.

Description

디스플레이 기반의 화면 통신 시스템 및 방법, 디스플레이 기반의 화면 송신 및 수신 방법{Display-based screen communication system and method, display-based screen transmission and reception method}

본 발명은 광 무선 통신(Optical Wireless Communications)의 데이터 전송을 수행하는 디스플레이 기반의 화면 통신 기술에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 발명의 일 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

다양한 무선 통신 기술 중에 하나인 가시광 통신 기술(VLC: Visible Light Communication)은 가시광선 대역(380~780㎚)의 전자파를 이용하는 것으로서, 최근 발광 다이오드 기술의 발전으로 말미암아 계속 발전되고 있다. 이러한 가시광통신은 380~780nm에 속하는 가시광을 반송파를 사용하며, 빠른 속도로 깜박임을 제어하여 송수신 단말간의 정보교환을 이루도록 하는 통신기술이다.

이러한 가시광선을 통신에 이용하면, 기존의 무선통신이나 적외선통신에서 발생하는 문제점을 극복할 수 있다. 즉 인체나 전자기기에 영향을 주지 않는 새로운 통신 수단으로 기대되고 있다.

가시광 통신 기술은 조명기기 이외에도, 가시광을 발하는 다양한 사이니지 패널, 전광관 등과 같은 다양한 형태의 디스플레이에도 적용되어 활용되고 있다. 예를 들어, TV, 모니터, 스마트 디바이스 등에 포함된 디스플레이 디바이스를 통해 가시광 통신 수신기를 소지한 사용자에게 다양한 정보를 제공할 수 있다.

한편, 가시광 통신은 일반적으로 사람이 인지하지 못하는 가시광의 깜박임을 이용하여 신호를 전송하는 것이 일반적이다. 이러한 전송 방법은 짧은 시간에 다량의 정보를 제공하는데 한계가 있고, 가시광 통신은 이를 사용하고자 하는 사용자가 통신 수신기를 별도로 구입하여야 하므로, 일반 사용자가 사용하기엔 다소 불편할수 있다.

도 1은 종래 기술의 일 실시예에 따른 가시광 통신 방법에 의한 화면 통신 상태를 설명하는 예시도이고, 도 2는 도 1에 의해 전송되는 이미지 코드 형태의 데이터를 설명하는 도면이다.

도 1 및 도 2에 도시된 바와 같이, 종래 기술의 가시광 통신 방법은 송신 디바이스에서 디스플레이의 영상 정보에 부가적인 가시광 정보에 해당되는 데이터를 포함하여 수신 디바이스로 전송한다.

이때, 도 1의 (a)에 도시된 바와 같이, 송신 디바이스는 원본 영상에 부가적인 가시광 정보를 암호화하여 포함시켜 수신 디바이스로 전송하고, 수신 디바이스는 원본 영상을 디스플레이하면서 카메라를 통해 가시광 정보를 획득한다.

도 2의 (a)에 도시된 바와 같이, 부가적인 가시광 정보는 QR 코드 등의 이미지 코드가 될 수 있고, 이러한 이미지 코드가 원본 영상에 합쳐져서 수신 디바이스로 전송된다.

따라서, 도 1의 (b) 및 (c)에 도시된 바와 같이, 수신 디바이스의 디스플레이에 출력되는 영상은 가시광 정보의 간섭에 의해 신호 대 잡음비(signal-to-noise ratio, SNR)가 낮아지고 해상도 역시 감소하게 될 뿐만 아니라 공간 분해능(spatial resolution)이 저하되고, 비트 오류율(bit error rate, bit error ratio, BER)이 상승되는 문제점이 있다.

특히, BER은 통신 중 에러가 발생한 비트수를 총 전송한 비트수로 나눈 값으로서, BER이 상승한다는 것은 정상적으로 전송되는 패킷의 수가 그만큼 감소되어 전송률이 낮다는 것을 의미한다. 동영상에서 개별 프레임들을 시각적으로 무리없이 부드럽게 부여주기 위해서는 BER이 15% 이하가 되어야 송신 디바이스와 수신 디바이스간에 통신이 원활하게 이루어진다.

따라서, 향후 가시광 통신 기술은 높은 데이터 전송 성능을 확보하면서도 사용자가 고화질의 원본 영상을 시청할 수 있도록 함으로써 Display-to-Camera, 자동차의 후미등과 카메라(또는 Black box), Screen-to-camera와 같은 D2D 서비스를 제공할 수 있는 대용량 및 고속의 광 무선 통신(Optical Wireless Communications) 서비스를 제공해야 한다.

본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 기존의 가시광 통신 방식에 비해 높은 SNR의 영상을 제공하기 위해 데이터 프레임 구간을 새로 생성하고, 영상 프레임들 사이에 데이터 프레임을 포함하여 동영상 콘텐츠를 제작하여 디스플레이 기반의 화면 통신을 수행하도록 하는 것에 목적이 있다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 디스플레이를 포함하는 송신 단말과, 카메라를 포함하는 수신 단말 간의 디스플레이 기반의 화면 통신 방법은, a) 상기 송신 단말은 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개의 영상 프레임으로 분할하고, 기 설정된 데이터에 대해 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하며, 상기 영상 프레임들 사이에 데이터 프레임을 포함시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력하는 단계; 및 b) 상기 수신 단말은 상기 카메라를 통해 상기 디스플레이에 출력되는 동영상 콘텐츠에서 데이터 프레임을 추출한 후, 상기 추출된 데이터 프레임에 대한 복조 및 디코딩을 수행하여 결과 데이터를 출력하는 단계를 포함하는 것을 특징으로 방법일 수 있다.

상기 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현하는 것을 특징으로 한다.

상기 a) 단계는 상기 데이터 프레임(2n)을 이전의 영상 프레임(2n-1, n>0)의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 디스플레이를 포함하는 송신 단말의 디스플레이 기반의 화면 송신 방법은, a) 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개의 영상 프레임으로 분할하고, 상기 n개의 영상 프레임을 2n개의 영상 프레임으로 복제 및 확장하는 단계; b) 기 설정된 데이터에 대해 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하는 단계; c) (2n-1) 번째 프레임의 위치에 영상 프레임을 배치하고, (2n) 번째 프레임의 위치에 데이터 프레임을 순차적으로 배치시켜 동영상 콘텐츠를 제작하는 단계; 및 d) 상기 제작된 동영상 콘텐츠를 디스플레이에 출력하여 광 무선 통신(Optical Wireless Communications) 기반의 데이터 전송을 수행하는 단계를 포함할 수 있다.

이때, 상기 c) 단계 이전에, 상기 데이터 프레임(2n)을 이전의 영상 프레임(2n-1, n>0)의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 한다.

본 발명의 다른 일 실시예에 따른 카메라를 포함하는 수신 단말의 디스플레이 기반의 화면 수신 방법은, a) 디스플레이를 포함한 송신 단말에서 광 무선 통신(Optical Wireless Communications) 기반의 데이터 전송 방식을 통해 영상 프레임과 데이터 프레임을 포함하는 동영상을 디스플레이에 출력하면, 카메라를 통해 입력되는 영상에서 상기 동영상이 출력되는 디스플레이 영역을 분할하는 단계; b) 상기 동영상에서 영상 프레임과 데이터 프레임을 시퀀스 단위로 분리하는 단계; 및 c) 상기 분리된 데이터 프레임에 대한 영상 이진화 처리를 통해 이진화된 데이터를 추출하고, 상기 추출된 데이터에 대한 복조 및 디코딩을 수행하여 결과 데이터를 출력하는 단계를 포함하는 방법일 수 있다.

상기 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되고, 상기 c) 단계는 상기 송신 단말에서 상기 이미지 코드로 변환하기 전의 데이터를 복원하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 광 무선 통신(Optical Wireless Communications)의 데이터 전송을 수행하는디스플레이 기반의 화면 통신 시스템은, 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개의 영상 프레임으로 분할하고, 기 설정된 데이터에 대해 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하며, 상기 영상 프레임들 사이에 데이터 프레임을 포함시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력하는 송신 단말; 및 카메라를 통해 상기 디스플레이에 출력되는 동영상 콘텐츠에서 데이터 프레임을 추출한 후, 상기 추출된 데이터 프레임에 대한 복조 및 디코딩을 수행하여 결과 데이터를 출력하는 수신 단말을 포함하되, 상기 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되는 것을 특징으로 한다.

이때, 상기 송신 단말은 상기 분할된 n개의 영상 프레임을 2n개의 영상 프레임으로 복제 및 확장하고, 상기 데이터 프레임(2n)을 이전의 영상 프레임(2n-1, n>0)의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 한다.

전술한 본 발명의 과제 해결 수단에 의하면, 본 발명은 기존의 가시광 통신 방식에 비해 높은 SNR의 영상을 제공하기 위해 데이터 프레임 구간을 새로 생성하고, 영상 프레임들 사이에 데이터 프레임을 포함하여 동영상 콘텐츠를 제작하여 디스플레이 기반의 화면 통신을 수행하도록 함으로써 수신 단말에서 데이터 프레임의 블록들을 잘 분리할 수 있어 낮은 BER 성능을 확보할 수 있는 효과가 있다.

도 1은 종래 기술의 일 실시예에 따른 가시광 통신 방법에 의한 화면 통신 상태를 설명하는 예시도이다.
도 2는 도 1에 의해 전송되는 이미지 코드 형태의 데이터를 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 시스템의 구성을 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 시스템의 개략적인 프레임 구성을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 송신 방법을 설명하는 순서도이다.
도 6은 도 5의 원본 영상 프레임 복제 및 확장 과정을 설명하는 도면이다.
도 7은 도 5의 데이터 프레임 생성 과정을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법에서 원본 영상의 평균 밝기를 계산하는 과정을 설명하는 도면이다.
도 9는 도 8에 의해 계산된 평균 밝기를 이용하여 데이터 프레임의 데이터 보상을 수행하는 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 보상형 프레임 생성 과정을 설명하는 도면이다.
도 11은 도 10에 의해 생성된 보상형 프레임을 포함하는 영상 프레임을 설명하는 예시도이다.
도 12는 도 10에 의해 생성된 보상형 프레임을 이용한 밝기 인식 과정을 설명하는 도면이다.
도 13 및 도 14는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 동영상 제작 과정을 설명하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 화면 송신 과정을 설명하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 수신 방법을 설명하는 순서도이다.
도 17은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 수신 방법에서 수신 데이터 출력 과정을 설명하는 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트 폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 시스템의 구성을 설명하는 도면이고, 도 4는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 시스템의 개략적인 프레임 구성을 설명하는 도면이다.

도 3을 참조하면, 디스플레이 기반의 화면 통신 시스템은 디스플레이를 포함하는 송신 단말(10), 디스플레이 및 카메라(25)를 포함하는 수신 단말(20)를 포함한다.

여기서, 송신 단말(10)과 수신 단말(20)은 통신 모듈(미도시), 메모리(미도시), 프로세서(미도시) 및 데이터베이스(미도시)를 포함하는 컴퓨팅 장치에 구현될 수 있고, 휴대폰이나 TV, PDA, 태블릿 PC, PC, 노트북 PC 및 기타 사용자 단말 장치 등으로 구현될 수 있다.

송신 단말(10)은 원본 영상 신호가 입력되면 원본 영상 신호를 영상 프레임으로 분할하고, 도 4에 도시된 바와 같이 분할된 영상 프레임들 사이에 데이터 프레임을 포함시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력한다. 이때, 디스플레이는 TFT-LCD, LED 전광판, 브라운관, LCD 중 어느 하나가 될 수 있다.

한편, 수신 단말(20)은 디스플레이에 출력되는 동영상 콘텐츠를 카메라를 통해 수신하고, 카메라(25)를 통해 동영상 콘텐츠에서 데이터 프레임을 분리 추출한 후 추출된 데이터 프레임에 해당되는 데이터를 디스플레이에 출력한다.

따라서, 사용자는 디스플레이에서 출력되고 있는 영상을 시청할 수 있고, 수신 단말(20)은 송신 단말(10)에서 전송된 데이터 프레임에 해당되는 데이터를 확인할 수 있다.

도 5는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 송신 방법을 설명하는 순서도이다. 도 6은 도 5의 원본 영상 프레임 복제 및 확장 과정을 설명하는 도면이고, 도 7은 도 5의 데이터 프레임 생성 과정을 설명하는 도면이다. 도 8은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법에서 원본 영상의 평균 밝기를 계산하는 과정을 설명하는 도면이고, 도 9는 도 8에 의해 계산된 평균 밝기를 이용하여 데이터 프레임의 데이터 보상을 수행하는 과정을 설명하는 도면이다.

송신 단말(10)은 원본 영상이 입력되면(S11), 플리커 현상을 느끼지 않고 자연스러운 동영상으로 인식하도록 하기 위해, 원본 영상(Primary Video)의 프레임을 복제 및 확장한다(S12). 예를 들어, 도 6에 도시된 바와 같이, 송신 단말(10)은 120 fps의 동영상을 제작하는 경우에 초당 60 프레임으로 영상 프레임을 복제 및 확장할 수 있다.

인간의 눈은 원래 1초당 15개의 프레임을 연속해서 보여주면, 즉 15Hz 정도이면 플리커(flicker)라 불리는 깜박임 현상을 느끼지 않고 자연스러운 동영상으로 인식하지만, 시청 환경의 조명 조건과 화면의 크기와 같은 변수에 의해 영상을 제대로 인식하는데 필요한 주사율의 최소값은 달라진다. 기본적으로는 인간의 눈을 만족시킬 수 있는 최소 주사율을 60Hz, 즉 1초에 60장의 정지 영상을 넘기는 것으로 정하고, 이를 디스플레이에 적용하고 있다.

송신 단말(10)에서는 영상 프레임 60fps, 데이터 프레임 60fps로 하여 총 120fps로 프레임 속도를 빠르게 하여 플리커 현상을 방지하면서 동영상에서의 움직임이 더 부드러워지도록 한다.

송신 단말(10)은 부가하고자 하는 데이터를 인코딩 및 변조 과정을 통해 이미지 코드 형태의 데이터 프레임을 생성한다(S13). 도 7에 도시된 바와 같이, 송신 단말(10)은 'Yellow, Car, Forest, Road'의 텍스트 데이터를 부가적인 가시광 정보로 추가하고자 할 경우에, 해당 데이터를 인코딩하여 2진(binary) 데이터로 변환하고, 변환된 2진 데이터를 변조하여 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현한다. 이러한 매트릭스 형식의 이미지 코드로는 데이터 매트릭스(Data Matrix), 맥시 코드(Maxi Code), 그리고 QR 코드(Quick Response Code)가 있으며, 스택 타입의 이미지 코드로는 PDF 417이 있다. 특히 QR 코드(QR code, Quick Response code)는 흑백 격자무늬 패턴으로 정보를 나타내는 매트릭스 형식의 이차원　코드이다. 한편, 컬러 코드는 흑백으로 표현된 2차원 이미지 코드 셀에 컬러 정보를 추가해 차원을 확대한 것으로서, 3차원 이미지 코드라 할 수 있다. 이러한 컬러 코드는 2차원 이미지 코드로서 범용 장비인 웹 카메라, 스캐너, 카메라 폰 등에서 인식되며 컬러를 이용한 코드 영역과 기존의 2차원 이미지 코드에 비해 향상된 디자인을 가지고 있다.

이때, 송신 단말(10)은 전체 데이터 프레임을 일정한 사이즈로 분할하여 시퀀스 단위로 나누어 구간별로 포함시킬 수 있는데, 데이터 프레임의 전후에 시작 프레임과 종료 프레임을 부가하여 이미지 코드를 생성할 수도 있다. 따라서, 수신 단말(20)은 시작 프레임 이전과 종료 프레임 이후의 수신 데이터들에 대해 카메라를 이용한 화면 통신하는 과정을 생략할 수 있다.

이렇게 데이터 프레임 구간이 생성되면, 도 8에 도시된 바와 같이, 송신 단말(10)은 원본 영상의 평균 밝기를 계산하기 위해 기 설정된 사이즈의 로컬 영역을 설정하고, 이렇게 설정된 로컬 영역에 대한 평균 밝기를 계산한 후 계산된 평균 밝기로 데이터 프레임의 데이터를 보상한다(S14).

만일, 송신 단말(10)은 원본 영상의 전체에 대한 전역 평균 밝기를 계산하여 데이터 프레임의 데이터 보상을 수행하면 플리커 현상이 더욱 심해질 수 있기 때문에, 도 9에 도시된 바와 같이 기설정된 로컬 영역별 평균 밝기로 세밀하게 데이터 보상을 수행하여 플리커 현상을 감쇠시켜야 한다.

도 10은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 보상형 프레임 생성 과정을 설명하는 도면이고, 도 11은 도 10에 의해 생성된 보상형 프레임을 포함하는 영상 프레임을 설명하는 예시도이며, 도 12는 도 10에 의해 생성된 보상형 프레임을 이용한 밝기 인식 과정을 설명하는 도면이다. 도 13 및 도 14는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 동영상 제작 과정을 설명하는 도면이고, 도 15는 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 통신 방법의 화면 송신 과정을 설명하는 도면이다.

도 10 내지 도 12를 참조하면, 송신 단말(10)은 밝기가 보상된 데이터 프레임별로 보상형 프레임을 생성한다(S15). 사람의 눈은 로우 패스 필터(Low Pass Filter) 특성을 가지고 있어 도 12에 도시된 바와 같이 서로 다른 밝기가 동일한 시간으로 빠르게 깜빡이면 중간 밝기로 인식하는 특징이 있다. 따라서, 보상형 프레임은 데이터 프레임과 대칭적인 구조로 형성되어, 데이터 프레임과 보상형 프레임이 한 쌍을 이루게 된다.

다시 도 5를 설명하면, 송신 단말(10)은 120fps 동영상에서 2n+1의 위치마다 원본 영상(Primary video) 프레임을 위치시키고, 2n 위치에 데이터 프레임을 위치시켜 동영상 콘텐츠를 제작한다(S16).

즉, 송신 단말은 n개의 영상 프레임을 포함하는 원본 동영상을 2n개의 영상 프레임으로 복제 및 확장하였으므로, 도 13 및 도 14에 도시된 바와 같이, 첫번째 프레임인 시작 위치(Frame No. 1)에 영상 프레임이 위치되면, 2번째 위치에 데이터 프레임과 보상형 프레임이 위치되고, 3번째 위치에 다시 영상 프레임이 위치되도록 하여 2n개의 영상 프레임에 대한 동영상 콘텐츠 제작을 완료한다.

송신 단말(10)은 제작이 완료된 동영상 콘텐츠를 디스플레이에 출력하고, 도 15에 도시된 바와 같이 디스플레이 기반의 화면 송신 방식으로 수신 단말(20)에 데이터 전송을 수행한다(S17).

도 16은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 수신 방법을 설명하는 순서도이고, 도 17은 본 발명의 일 실시예에 따른 디스플레이 기반의 화면 수신 방법에서 수신 데이터 출력 과정을 설명하는 도면이다.

도 16 및 도 17을 참조하면, 사용자는 디스플레이를 통해 출력되는 동영상을 시청하고(S21), 수신 단말(20)은 카메라(25)를 통해 동영상이 출력되는 디스플레이 영역에 대한 분할(Segmentation)을 수행한다(S22). 즉, 수신 단말(20)은 카메라(25)를 통해 촬영되는 영상에서 디스플레이 영역만을 추출하기 위해 다른 사물이나 배경 등 객체 간의 영역을 픽셀단위로 구분하는 영상 분할을 수행한다.

수신 단말(20)은 영상 분할을 통해 디스플레이 영역에서 출력되는 동영상 콘텐츠에 대한 원본 영상과 데이터 영상을 시퀀스별로 분리하고(S23), 데이터 프레임에 대한 임계값을 적용하여 이진화를 수행한다(S24).

이진화 과정(Thresholding)을 통해 데이터 프레임의 이미지 코드가 2진화 데이터로 변환되고, 변환된 이진화 데이터를 복조 및 디코딩하여 송신 단말(10)에서 전송한 데이터를 추출하여 디스플레이에 출력할 수 있다.

이와 같이, 본 발명은 기존의 가시광 통신 방식에 비해 높은 SNR의 영상을 제공하기 위해 데이터 프레임 구간을 새로 생성하고, 영상 프레임 사이사이에 데이터 프레임을 포함하여 동영상 콘텐츠를 제작한 후 디스플레이에 동영상 콘텐츠를 출력하여 송신 단말과 수신 단말 간의 광 무선 통신이 수행되도록 한다. 이때, 수신 단말은 카메라를 통해서 영상 프레임들 사이의 데이터 프레임을 분리하여 추출할 수 있어 낮은 BER 성능을 확보할 수 있어 통신 신뢰도가 향상될 수 있다.

또한, 본 발명은 데이터 프레임 구간에서 데이터 블록들을 잘 분리할 수 있어 블록의 크기를 줄일 수 있고, 그로 인해 1 프레임당 표현할 수 있는 데이터의 용량을 높일 수 있다.

또한, 본 발명은 새로 생성되는 데이터 프레임 구간이 원본 영상 구간과의 밝기 차이가 발생할 수 있으므로, 데이터 프레임 구간의 이전 원본 영상 프레임의 로컬 영역에 대한 평균 밝기를 이용하여 데이터 보상을 수행함으로써 플리커 현상을 감쇠시킬 수 있고, 데이터 프레임별로 보상형 프레임을 생성하여 시청자가 플리커 현상을 거의 느낄수 없도록 한다.

이상에서 설명한 본 발명의 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10 : 송신 단말
20 : 수신 단말
25 : 카메라

Claims

디스플레이를 포함하는 송신 단말과, 카메라를 포함하는 수신 단말 간의 디스플레이 기반의 화면 통신 방법에 있어서,
a) 상기 송신 단말은 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개(n>0)의 영상 프레임으로 분할하고, 각 영상 프레임에 대해 부가하고자 하는 설정 데이터를 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하며, 2n-1번째 프레임 위치에 n번째 영상 프레임을 배치하고, 2n번째 프레임 위치에 상기 n번째 영상 프레임에 대응하는 n번째 데이터 프레임을 배치시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력하는 단계; 및
b) 상기 수신 단말은 상기 카메라를 통해 상기 디스플레이에 출력되는 동영상 콘텐츠에서 상기 n번째 데이터 프레임을 추출한 후, 상기 추출된 n번째 데이터 프레임에 대한 복조 및 디코딩을 수행하여 상기 n번째 영상 프레임에 대한 결과 데이터로 출력하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 기반의 화면 통신 방법.
제1항에 있어서,
상기 생성된 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되는 것을 특징으로 하는 디스플레이 기반의 화면 통신 방법.
제1항에 있어서,
상기 a) 단계는, 상기 2n번째 프레임 위치에 배치된 데이터 프레임을 상기 2n-1번째 프레임 위치에 배치된 영상 프레임의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 하는 디스플레이 기반의 화면 통신 방법.
디스플레이를 포함하는 송신 단말의 디스플레이 기반의 화면 송신 방법에 있어서,
a) 원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개(n>0)의 영상 프레임으로 분할하고, 상기 n개의 영상 프레임을 2n개의 영상 프레임으로 복제 및 확장하는 단계;
b) 각 영상 프레임에 대해 부가하고자 하는 설정 데이터를 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하는 단계;
c) 2n-1번째 프레임의 위치에 n번째 영상 프레임을 배치하고, 2n 번째 프레임의 위치에 상기 n번째 영상 프레임에 대응하는 n번째 데이터 프레임을 순차적으로 배치시켜 동영상 콘텐츠를 제작하는 단계; 및
d) 상기 제작된 동영상 콘텐츠를 디스플레이에 출력하여 광 무선 통신(Optical Wireless Communications) 기반의 데이터 전송을 수행하는 단계;를 포함하는 것을 특징으로 하는 디스플레이 기반의 화면 송신 방법.
제4항에 있어서,
상기 생성된 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되는 것을 특징으로 하는 디스플레이 기반의 화면 송신 방법.
제4항에 있어서,
상기 c) 단계 이전에, 상기 2n번째 프레임 위치에 배치된 데이터 프레임을 상기 2n-1번째 프레임 위치에 배치된 영상 프레임의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 하는 디스플레이 기반의 화면 송신 방법.
카메라를 포함하는 수신 단말의 디스플레이 기반의 화면 수신 방법에 있어서,
a) 디스플레이를 포함한 송신 단말에서 광 무선 통신(Optical Wireless Communications) 기반의 데이터 전송 방식을 통해 영상 프레임과 데이터 프레임을 포함하는 동영상을 디스플레이에 출력하면, 카메라를 통해 입력되는 영상에서 상기 동영상이 출력되는 디스플레이 영역을 분할하는 단계;
b) 상기 동영상에서 영상 프레임과 데이터 프레임을 시퀀스 단위로 분리하는 단계; 및
c) 상기 분리된 데이터 프레임에 대한 영상 이진화 처리를 통해 이진화된 n개의 데이터 프레임들 중 n번째 데이터 프레임을 추출하고, 상기 추출된 n번째 데이터 프레임에 대한 복조 및 디코딩을 수행하여 n번째 영상 프레임에 대한 n번째 결과 데이터를 출력하는 단계;를 포함하고,
상기 동영상은,
상기 송신 단말에서, 원본 영상 신호가 입력되면 상기 원본 영상 신호가 n개(n>0)의 영상 프레임으로 분할되고, 각 영상 프레임에 대해 부가하고자 하는 설정 데이터가 변환된 2진(binary) 데이터를 이미지화하여 데이터 프레임이 생성되며, 2n-1번째 프레임 위치에 n번째 영상 프레임이 배치되고, 2n번째 프레임 위치에 상기 n번째 영상 프레임에 대응하는 n번째 데이터 프레임이 배치되어 상기 송신 단말로부터 수신되는 것을 특징으로 하는 디스플레이 기반의 화면 수신 방법.
제7항에 있어서,
상기 송신 단말에서 생성된 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되고, 상기 c) 단계는 상기 송신 단말에서 상기 이미지 코드로 변환하기 전의 데이터를 복원하는 것을 특징으로 하는 디스플레이 기반의 화면 수신 방법.
광 무선 통신(Optical Wireless Communications)의 데이터 전송을 수행하는 디스플레이 기반의 화면 통신 시스템에 있어서,
원본 영상 신호가 입력되면, 상기 원본 영상 신호를 n개(n>0)의 영상 프레임으로 분할하고, 각 영상 프레임에 대해 부가하고자 하는 설정 데이터를 2진(binary) 데이터로 변환하고, 상기 변환된 2진 데이터를 이미지화하여 데이터 프레임을 생성하며, 2n-1번째 프레임 위치에 n번째 영상 프레임을 배치하고, 2n번째 프레임 위치에 상기 n번째 영상 프레임에 대응하는 n번째 데이터 프레임을 배치시켜 동영상 콘텐츠를 제작한 후 디스플레이에 출력하는 송신 단말; 및
카메라를 통해 상기 디스플레이에 출력되는 동영상 콘텐츠에서 상기 n번째 데이터 프레임을 추출한 후, 상기 추출된 n번째 데이터 프레임에 대한 복조 및 디코딩을 수행하여 상기 n번째 영상 프레임에 대한 결과 데이터로 출력하는 수신 단말을 포함하되,
상기 생성된 데이터 프레임은 QR 코드 및 컬러 코드 중 어느 하나의 이미지 코드로 구현되는 것을 특징으로 하는 디스플레이 기반의 화면 통신 시스템.
제9항에 있어서,
상기 송신 단말은 상기 분할된 n개의 영상 프레임을 2n개의 영상 프레임으로 복제 및 확장하는 것을 특징으로 하는 디스플레이 기반의 화면 통신 시스템.
제9항에 있어서,
상기 2n번째 프레임 위치에 배치된 데이터 프레임을 상기 2n-1번째 프레임 위치에 배치된 영상 프레임의 평균 밝기를 이용하여 밝기 보상을 수행하는 것을 특징으로 하는 디스플레이 기반의 화면 통신 시스템.