KR20140117237A - 복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체 - Google Patents

Abstract

본 발명은 복수 개의 단말기들 간의 화면 공유시 QoE를 향상시키기 위한 기술에 관한 것으로 현재 화면에 표시된 컨텐츠 유형을 판별하여 판별된 컨텐츠 유형에 적합한 QoE 정책을 결정하고 결정된QoE 정책에 따라 화면을 인코딩하는 파라미터인 프레임 레이트와 해상도를 조절하여 화면을 인코딩함으로써 복수 개의 단말기들이 화면 공유시 컨텐츠 유형별로 최적의 체감품질을 유지할 수 있다.

Description

복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체{Method and apparatus for improving QoE in sharing screen between plural devices and recording medium thereof}

본 발명은 복수 개의 단말기들 간의 네트워크를 통한 화면 데이터의 공유 방법 및 장치에 관한 것이다.

복수 개의 단말기들 간의 화면 공유시 네트워크 상태를 고려하여 전송하는 스트림의 비트레이트를 결정한다. 네트워크 상태가 원활한 경우(unloaded) 높은 비트레이트의 스트림을 전송할 수 있고 네트워크 상태가 원활하지 못한 경우(loaded or congestion) 낮은 비트레이트의 스트림을 전송할 수 있다.

그러나, 이러한 종래의 방법은 네트워크 상태만을 고려하기 때문에 화면 공유 시 화면의 끊김 현상이 발생하거나 해상도가 떨어지는 문제가 있었다.

본 발명은 복수의 단말기들 간의 화면 공유시 현재 화면에 표시된 컨텐츠의 유형을 고려하여 화면 데이터를 전송하기 위한QoE를 향상시키는 방법 및 이를 위한 장치를 제공하고자 한다.

본 발명의 일 실시예는 화면을 다른 단말과 공유하는 단말에서 QoE를 향상시키는 방법에 있어서, 현재 화면에 표시된 컨텐츠의 유형을 판별하는 단계; 상기 판별 결과에 따라 QoE 정책을 결정하는 단계; 상기 결정된 QoE 정책에 따라 상기 화면의 이미지를 인코딩하는 단계; 및 상기 인코딩된 화면 이미지를 상기 다른 단말로 송신하는 단계를 포함한다.

상기 QoE를 향상시키는 방법에서 상기 인코딩 단계는 상기 결정된 QoE 정책에 따라 조절되는 프레임 레이트 및 해상도를 이용하여 수행되는 것이 바람직하다.

상기 QoE를 향상시키는 방법에서 상기 컨텐츠 유형은 그래픽 컨텐츠, 실사 컨텐츠 및 텍스트 컨텐츠를 포함하는 것이 바람직하다.

상기 QoE를 향상시키는 방법에서 상기 QoE 정책은 상기 컨텐츠의 움직임 변화가 많을 수록 프레임 레이트가 높게 설정되는 것이 바람직하다.

상기 QoE를 향상시키는 방법에서 상기 화면에 표시된 컨텐츠의 유형을 판별하는 단계는 실행중인 어플리케이션의 이름을 기초로 수행되는 것이 바람직하다.

상기 QoE를 향상시키는 방법에서 상기 결정 단계는 현재 화면에 표시된 컨텐츠의 유형이 복수개일 경우 각 컨텐츠 유형에 대하여 미리 설정된 우선 순위에 따라 가장 높은 우선 순위를 가지는 컨텐츠 유형에 대응되는 QoE 정책을 선택하는 것이 바람직하다.

상기 QoE를 향상시키는 방법에서 상기 조절 단계는 상기 화면을 공유하는 단말간의 네트워크 상태에 기초하여 허용 가능한 비트레이트를 결정하는 단계; 및 상기 비트레이트 결정 결과에 따라 상기 공유하는 화면의 인코딩에 적용되는 프레임 레이트 및 해상도를 조절하는 단계를 더 포함하는 것이 바람직하다.

본 발명의 다른 실시예는, 적어도 하나의 프로그램이 저장되는 메모리; 및 상기 적어도 하나의 프로그램을 실행함으로써 화면을 다른 단말과 공유하는 단말에서 QoE 를 향상시키도록 하는 프로세서를 포함하고, 상기 적어도 하나의 프로그램은, 현재 화면에 표시된 어플리케이션의 유형을 판별하는 단계; 상기 판별 결과에 따라 QoE 정책을 결정하는 단계; 상기 결정된 QoE 정책에 따라 상기 화면의 이미지를 인코딩하는 단계; 및 상기 인코딩된 화면 이미지를 상기 다른 단말로 송신하는 단계를 포함하는 송신 장치를 제공한다.

상기 송신장치에서 상기 인코딩 단계는 상기 결정된 QoE 정책에 따라 조절되는 프레임 레이트 및 해상도를 이용하여 수행되는 것이 바람직하다.

상기 송신장치에서 상기 컨텐츠 유형은 그래픽 컨텐츠, 실사 컨텐츠 및 텍스트 컨텐츠를 포함하는 것이 바람직하다.

상기 송신장치에서 상기 QoE 정책은 상기 컨텐츠의 움직임 변화가 많을 수록 프레임 레이트가 높게 설정되는 것이 바람직하다.

상기 송신장치에서 상기 화면에 표시된 컨텐츠의 유형을 판별하는 단계는 실행중인 어플리케이션의 이름을 기초로 수행되는 것이 바람직하다.

상기 송신장치에서 상기 결정 단계는 현재 화면에 표시된 컨텐츠의 유형이 복수개일 경우 상기 그래픽 컨텐츠, 상기 실사 컨텐츠 및 상기 텍스트 컨텐츠에 대하여 미리 설정된 우선 순위에 따라 가장 높은 우선 순위를 가지는 컨텐츠 유형에 대응되는 QoE 정책을 결정하는 것이 바람직하다.

상기 송신장치에서 상기 조절 단계는 상기 화면을 공유하는 단말간의 네트워크 상태에 기초하여 허용 가능한 비트레이트를 결정하는 단계; 및 상기 비트레이트 결정 결과에 따라 상기 공유하는 화면의 인코딩에 적용되는 프레임 레이트 및 해상도를 조절하는 단계를 더 포함하는 것이 바람직하다.

본 발명의 다른 실시예는, 상기 QoE를 향상시키는 방법을 수행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

도 1은 본 발명의 일 실시예에 따른 복수의 단말기들 간에 화면 공유를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따라 컨텐츠의 유형에 따른 QoE를 향상시키는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따라 컨텐츠 유형을 판별하기 위한 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따라 컨텐츠의 유형에 따른 QoE 정책을 도시한 표이다.
도 5는 본 발명의 일 실시예에 따라 화면 내에 복수 개의 컨텐츠 유형이 존재할 경우 표시되는 화면을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 네트워크 상태를 분석하여 QoE 를 향상시키는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따라 QoE 를 향상시키는 송신장치로 동작할 수 있는 단말의 구조를 나타낸 도면이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

도 1은 본 발명의 일 실시예에 따른 복수의 단말기들 간에 화면 공유를 설명하기 위한 개념도이다. 이하에서 송신 단말기(102)는 화면 공유 시, 공유 대상이 되는 화면 이미지를 송신하는 단말이며 수신 단말기(106)는 공유 대상이 되는 화면 이미지를 수신하는 단말을 의미한다. 본 발명에서의 일 실시예에 따른 단말기는 PC, 스마트폰, 태블릿 등을 포함한다.

송신 단말기(102)는 네트워크를 통해 현재 표시되고 있는 화면 이미지를 수신 단말기(106)에 송신한다. 예를 들어 송신 단말기(102)에서 사진첩 어플리케이션이 실행되고 있는 경우, 사진의 목록이 현재 송신 단말기(102)의 화면 이미지(104)로 표시될 수 있다. 화면을 공유하는 경우, 송신 단말기(102)는 현재 화면 이미지(104)를 캡쳐하여 네트워크를 통해 수신 단말기(106)로 송신할 수 있다.

수신 단말기(106)가 캡쳐된 화면 이미지(104)를 수신하게 되면 수신 단말기(106)는 송신 단말기(102)와 동일한 화면 이미지(108)를 공유하게 된다.

한편, 송신 단말기(102)에서 화면 이미지(104)를 송신하는데 있어 네트워크 상태를 고려할 필요가 있다. 네트워크 상태에 따라 화면 이미지(104) 송신시 허용 가능한 비트레이트가 결정되기 때문이다. 또한 네트워크 상태와 함께 QoE (quality of experience)도 고려할 필요가 있는데, QoE 란 서비스 이용자가 주관적으로 인지하는 어플리케이션 또는 서비스의 총체적인 허용도를 의미한다.

일예로 지도 어플리케이션의 경우에는 어플리케이션 실행시에 대부분의 화면 이미지가 정지되어 있거나 스크롤 조절에 따라 단순하게 움직여 진다. 반면에 지도 어플리케이션에서 가독성은 매우 중요한 요소이다. 따라서 지도 어플리케이션이 실행되는 화면을 공유하는 경우에는 네트워크 상태 분석을 통해 허용 가능한 비트레이트가 결정되면, 결정된 비트레이트 안에서 해상도를 프레임 레이트에 비해 높은 수준으로 설정한다.

한편, 네트워크 상태가 동일하여 허용 가능한 비트레이트가 동일한 값으로 결정된 경우에도 어플리케이션의 특성이 게임 어플리케이션과 같이 움직임이 많은 경우에는 결정된 비트레이트 안에서 프레임 레이트를 해상도에 비해 높은 수준으로 유지한다.

즉, 허용 가능한 비트레이트 값이 같은 경우에도, 어플리케이션의 특성에 따라 해상도와 프레임 레이트를 결정해야 하는 수준이 다르므로 각각의 특성에 맞춰 해상도와 프레임 레이트를 조절하여 QoE 를 최적의 상태로 유지해야 한다.

도 2는 본 발명의 일 실시예에 따라 컨텐츠의 유형에 따른 QoE를 향상시키는 방법을 설명하기 위한 순서도이다. 본 발명의 일 실시예에 따르면 복수개의 단말들 간의 화면 공유시 QoE의 향상은 송신 장치에서 수행된다.

단계 202에서, 송신장치에서는 화면 공유 시 수신 단말기로 송신할 화면 이미지의 컨텐츠의 유형을 판별한다.

컨텐츠의 유형은 그래픽 컨텐츠, 실사(real image) 컨텐츠 및 텍스트 컨텐츠로 분류될 수 있다. 또한, 화면 이미지가 움직이는 정도도 컨텐츠 유형의 분류 기준이 될 수 있다. 즉 같은 그래픽 컨텐츠인 경우에도 화면 이미지의 움직임이 많고 적음에 따라 컨텐츠 유형을 세부적으로 분류할 수 있다. 다만 본 발명에서의 컨텐츠 유형은 이에 한정되지 않는다.

그래픽 컨텐츠의 일예로는 게임 어플리케이션이 있다. 게임 어플리케이션의 이미지는 움직임이 많으므로 QoE 를 최적의 상태로 유지하기 위해서 프레임 레이트를 높은 수준으로 결정할 수 있다.

반면에 메인 화면이 실행되고 있는 경우, 메인 화면에서의 아이콘으로 표시된 목록들은 게임 어플리케이션과 마찬가지로 그래픽 컨텐츠에 해당하지만 메인 화면의 경우 화면 이미지가 대부분 정지되어 있거나 움직임이 매우 단순하다. 따라서, 게임 어플리케이션 보다 프레임 레이트가 낮게 해상도는 높게 결정할 수 있다.

한편 실사 컨텐츠의 일예로는 카메라 어플리케이션과 사진첩 어플리케이션이 있다. 카메라 어플리케이션의 경우에는 동영상 또는 사진 촬영등의 기능을 수행하므로 화면 이미지의 움직임이 많다. 반면에 사진첩 어플리케이션의 경우에는 움직임이 많지 않다. 따라서 사진첩 어플리케이션의 프레임 레이트가 사진첩 어플리케이션의 프레임 레이트보다 높은 수준으로 결정된다.

참고로 실사 컨텐츠의 해상도는 일반적으로 그래픽 컨텐츠의 해상도보다 높게 설정된다.

텍스트 컨텐츠의 일예로는 이메일 어플리케이션이 있다. 텍스트 컨텐츠의 경우 가독성이 중요한 요소이므로 프레임 레이트보다 해상도를 높은 수준으로 결정한다.

본 발명의 일 실시예에 따르면 현재 화면에 표시된 컨텐츠의 유형은 어플리케이션의 이름을 기초로 판별될 수 있다. 여기에서 어플리케이션 이름은 OS별로 어플리케이션을 지칭할 수 있는 모든 식별정보가 해당될 수 있다.

어플리케이션의 이름을 이용한 컨텐츠 유형의 판별 방법에 대해서는 도 3을 참고하여 설명하도록 한다.

도 3을 참고하면, 현재 단말기에서 실행중인 어플리케이션을 검출하기 위해 명령어(302)를 입력한다. 실행중인 어플리케이션을 검출하는 명령어(302)가 입력되면 입력에 따라 어플리케이션의 이름을 확인하는 과정이 수행된다. 확인 과정에서 실행중인 어플리케이션을 검출하기 위한 정보는 어플리케이션의 이름에 한정되지 않는다.

일예로 어플리케이션을 검출하기 위한 정보는 비트스트림 내의 헤더정보를 이용하여 판별될 수 있다. 구체적으로 단말기의 프로그램 내에 어플리케이션 별로 고유한 헤더정보를 메모리에 미리 설정해 놓은 후, 화면 공유시 화면 이미지에 대한 비트스트림을 파싱하여 얻어지는 헤더정보와 매칭되는 정보를 메모리에서 검색한다. 검색 결과 매칭되는 어플리케이션을 현재 화면에 표시되는 어플리케이션으로 판별할 수 있다.

어플리케이션의 무단 복제를 막기 위해 프레임마다 삽입해 놓은 워터 마킹 정보 등을 이용해서도 어플리케이션을 판별할 수 있다. 워터 마킹 정보를 이용하는 경우에도 어플리케이션 별 고유한 워터마킹 정보를 미리 설정해 놓으면 매칭되는 어플리케이션을 검색함으로써 현재 화면에 표시되는 어플리케이션을 판별할 수 있다.

현재 활성화된 어플리케이션이 확인되면 어플리케이션이 어떤 컨텐츠 유형에 속하는지를 판별하는 명령어(304)를 입력한다. 본 발명의 일 실시예에 따르면, 메모리 상에 어플리케이션의 종류와 컨텐츠 유형을 매핑해 놓은 리스트가 저장되어 있어서, 현재 실행중인 어플리케이션의 종류가 확인되면 리스트에서 매핑되는 컨텐츠 유형을 찾을 수 있다.

어플리케이션의 종류와 컨텐츠 유형을 매핑하는 기준은 일예로 어플리케이션 별로 그래픽, 실사 이미지와 같은 영상의 종류 및 움직임 정보의 양 등의 특성에 기초한다.

본 발명의 일 실시예에 따르면 현재 화면에 표시된 컨텐츠의 유형이 텍스트 컨텐츠인지 여부는 텍스트 검출(detection) 알고리즘을 이용하여 판별할 수 있다. 본 발명에서의 텍스트 검출 알고리즘은 특정되지 않고 다양한 텍스트 검출 알고리즘이 사용될 수 있다.

본 발명의 일 실시예에 따르면 현재 화면에 표시된 컨텐츠의 유형이 실사 컨텐츠인지 여부는 코덱의 사용 여부를 이용하여 판별할 수 있다. 일예로, iomx를 통해 비디오 디코더가 사용중인 것을 확인하여 현재 화면에 실사 동영상이 재생 중인 것으로 확인된다면 현재 화면에 표시된 컨텐츠 유형을 실사 컨텐츠로 판별할 수 있다.

본 발명의 일 실시예에 따르면 현재 표시되는 화면 내의 움직임 벡터를 이용하여 컨텐츠 유형을 판별할 수 있다. 미리 범위를 설정하고 설정 범위에 따른 컨텐츠 유형을 매핑한 다음, 설정해 놓은 범위에 현재 화면의 움직임 벡터 가 해당되면 해당 설정 범위에 매핑되는 컨텐츠 유형을 검출함으로써 현재 화면에 표시되는 컨텐츠 유형을 판별할 수 있다.

움직임 벡터의 총합과 함께 텍스트 검출 알고리즘을 사용하여 컨텐츠 유형을 판별할 수도 있다. 텍스트 검출 알고리즘을 이용하여 텍스트가 화면 내에서 차지하는 비율 정보를 획득한 후 움직임 벡터 총합을 기준으로 한 컨텐츠 유형 분류에 대해 해상도에 따라 컨텐츠 유형을 세분화하여 분류할 수 있다.

구체적으로 화면 내에서 텍스트가 차지하는 비율이 미리 설정된 소정의 값 미만일 경우에는 해상도의 중요도를 낮추고 소정의 값 이상일 경우에는 해상도의 중요도를 높여 이에 따라 해상도를 결정하는 데 있어 가중치 값을 다르게 설정할 수 있다.

단계 204에서 송신장치는 컨텐츠 유형의 판별 결과에 따라 QoE 정책을 결정한다. 본 발명의 일실시예에 따른 QoE 정책은 네트워크 분석 결과 현재 허용 가능한 비트레이트가 결정되면, 허용 가능한 비트레이트 범위 내에서 컨텐츠의 유형에 따라 해상도와 프레임 레이트를 조절하는 것이다. 여기에서 네트워크 분석에 따른 허용 가능한 비트레이트 결정은 도 6을 참조하여 후술하기로 한다.

단계 206에서 송신장치는 결정된 QoE 정책에 따라 현재 화면을 인코딩한다. 일예로 현재 화면에 표시된 어플리케이션이 게임인 경우에는 그래픽 컨텐츠이면서 움직임이 많아 사용자가 화질열화를 상대적으로 적게 인식하게 되므로 프레임 레이트를 높게 설정한다.

단계 208에서 송신 장치는 인코딩된 화면을 수신 장치로 송신한다. 본 발명의 일실시예에 따른 수신 장치는 하나 이상일 수 있다.

도 4는 본 발명의 일 실시예에 따라 컨텐츠의 유형에 따른 QoE 정책을 도시한 표이다.

본 발명의 일실시예에 따르면 현재 화면에 표시된 컨텐츠 유형이 그래픽 컨텐츠거나 실사 컨텐츠일 경우 해상도는 VGA와 QVGA 사이에서 변동하고 프레임 레이트는 5fps와 30fps에서 가변적으로 바뀔 수 있다. 또한 현재 화면에 표시된 컨텐츠 유형이 텍스트 컨텐츠일 경우 해상도는 HD와 VGA 사이에서 변동하고 프레임 레이트는 1fps와 15fps에서 가변적으로 바뀔 수 있다.

프레임 레이트는 움직임이 많아 데이터 손실에 따른 화질 열화가 적은 그래픽 컨텐츠의 프레임 레이트를 가장 높게 설정할 수 있고 해상도의 경우에는 가독성이 최우선적으로 요구되는 텍스트 컨텐츠의 해상도를 가장 높게 설정할 수 있다. 여기에서 프레임 레이트와 해상도의 설정은 상기의 설정에 한정되지 않는다.

일예로 네트워크 상황을 분석한 결과 허용 가능한 스트림의 비트레이트가 100kbits 인 경우, 현재 화면에 표시된 컨텐츠 유형이 그래픽 컨텐츠일 경우에는 프레임 레이트를 15fps, 실사 컨텐츠일 경우에는 프레임 레이트를 10fps, 텍스트 컨텐츠일 경우에는 프레임 레이트를 1fps로 설정할 수 있다.

본발명의 일실시예에 따르면 네트워크 상태가 변화함에 따라 허용 가능한 비트레이트가 변하므로 변경된 비트레이트에 따라 프레임 레이트와 해상도 또한 변한다. 일예로 비트레이트가 증가할 경우 컨텐츠 유형별로 비트레이트 증가에 따른 프레임 레이트 증가 비율을 다르게 설정할 수 있다.

구체적으로 프레임 레이트를 1씩 증가시키는데 요구되는 비트레이트를 그래픽 컨텐츠의 경우는 10kbits, 실사 컨텐츠의 경우는 15kbits 및 텍스트 컨텐츠의 경우는 30kbits로 설정할 수 있다.

예를 들어 허용 가능한 스트림의 비트레이트가 100kbits 인 경우, 그래픽 컨텐츠의 경우에는 프레임 레이트가 15fps, 실사 컨텐츠일 경우에는 프레임 레이트가 10fps, 텍스트 컨텐츠일 경우에는 프레임 레이트가 1fps 였다고 가정한다. 네트워크 상태 변화에 따라 허용 가능한 비트레이트가 280kbits로 증가하는 경우, 그래픽 컨텐츠는 비트레이트가 33fps, 실사 컨텐츠는 비트레이트가 26fps, 텍스트 컨텐츠의 경우에는 비트레이트가 7fps로 증가한다.

본 발명의 일실시예에 따르면 현재 화면에 표시된 컨텐츠 유형은 움직임 정도를 기준으로 세분화될 수 있다. 일예로 그래픽 컨텐츠이면서 움직임이 작은 경우 및 그래픽 컨텐츠이면서 움직임이 큰 경우로 컨텐츠 유형을 세분화할 수 있다. 실사 컨텐츠 역시 움직임이 작은 경우와 큰 경우로 세분화할 수 있다. 텍스트 컨텐츠의 경우는 움직임이 없거나 매우 작으므로 본 일 실시예에서는 움직임을 기준으로 별도로 분류하지 않는다.

컨텐츠 유형에 따른 QoE 정책은 그래픽 컨텐츠이면서 움직임이 작은 경우(GRAPHIC_SMALLMOTION)에는 프레임 레이트는 높게 설정하지만 해상도는 실사 컨텐츠나 텍스트에 비해 낮은 수준으로 설정할 수 있다. 그래픽 컨텐츠이면서 움직임이 작은 경우에 해당되는 어플리케이션은 단말의 메인 화면을 예로 볼 수 있다.

그래픽 컨텐츠이면서 움직임이 큰 경우(GRAPHIC_LARGEMOTION)는 움직임이 큰 경우 상대적으로 화질열화를 인식하기 어려우므로 해상도 보다 프레임 레이트를 높은 수준으로 유지할 수 있다. 그래픽 컨텐츠이면서 움직임이 큰 경우에 해당되는 어플리케이션은 게임 어플리케이션을 일 예로 볼 수 있다.

실사 컨텐츠이면서 움직임이 작은 경우(REAL_SMALLMOTION)에 해당하는 어플리케이션은 일예로 갤러리 어플리케이션이 있는데 움직임이 작은 경우 대부분 정지하거나 단순한 움직임인 경우이므로 프레임 레이트 보다 해상도를 높은 수준으로 설정할 수 있다.

실사 컨텐츠이면서 움직임이 큰 경우(REAL_LARGEMOTION)는 움직임이 큰 경우 상대적으로 화질열화를 인식하기 어려우므로 해상도보다 프레임 레이트를 높은 수준으로 설정할 수 있다. 이 때 해상도는 그래픽 컨텐츠에 비해서는 일반적으로 높은 수준으로 설정된다.

텍스트 컨텐츠인 경우(TEXT_SMALLMOTION)는 가독성이 중요시되므로 프레임 레이트 보다 해상도를 높은 수준으로 설정할 수 있다. 텍스트 컨텐츠에 해당되는 어플리케이션은 일례로 이메일 어플리케이션, 웹 페이지 및 지도 어플리케이션 등이 있다.

도 5는 본 발명의 일 실시예에 따라 화면 내에 복수 개의 컨텐츠 유형이 존재할 경우 표시되는 화면을 도시한 도면이다. 화면 내에 복수 개의 컨텐츠 유형이 존재하는 경우에는 그래픽 컨텐츠, 실사 컨텐츠 및 텍스트 컨텐츠에 대하여 미리 설정된 우선 순위에 따라 가장 높은 우선 순위를 가지는 컨텐츠 유형에 대응되는 QoE 정책을 결정할 수 있다.

일예로 도 5를 참고하면, A영역(502)은 실사 컨텐츠, B영역(504)은 텍스트 컨텐츠 및 C영역(506)은 그래픽 컨텐츠에 해당한다. 미리 설정된 우선 순위가 실사 컨텐츠, 그래픽 컨텐츠, 텍스트 컨텐츠라면 실사 컨텐츠에 적합한 QoE 정책을 결정한 후 결정된 QoE 정책에 따라 현재 화면의 인코딩에 적용되는 파라미터를 조절한다.

본 발명의 일 실시예에 따르면 화면 내에 복수 개의 컨텐츠 유형이 존재할 경우 화면 내에 존재하는 컨텐츠 유형별 비율에 따라 QoE 정책을 결정할 수 있다. 일예로 도 5를 참고하면 그래픽 컨텐츠인 C 영역(506)이 화면 내에서 가장 많은 비율을 차지하므로 그래픽 컨텐츠에 적합한 QoE 정책을 결정한 후 결정된 QoE 정책에 따라 현재 화면의 인코딩에 적용되는 파라미터를 조절한다.

본 발명의 일 실시예에 따라 복수 개의 컨텐츠 유형이 존재할 경우에 QoE 정책을 결정하는 기준은 미리 설정된 우선순위 또는 화면 내에 존재하는 컨텐츠 유형별 비율에 한정되지 않는다.

도 6은 본 발명의 일 실시예에 따라 네트워크 상태를 분석하여 QoE 를 향상시키는 방법을 설명하기 위한 순서도이다.

단계 602에서 송신장치는 화면을 공유하는 복수 개의 단말기 간의 네트워크 상태를 분석한다. 일예로 네트워크 상태를 분석하는 데 있어서 RTCP(Realtime Transport Control Protocol)를 이용한다. RTCP 는 네트워크 상에서의 스트림 송수신에 참여하는 단말에 주기적인 제어 패킷을 전송하여 얻어지는 데이터로부터 네트워크의 모니터링을 수행한다. 특히 스트림 수신단에 대한 정보를 수집하고 수신측 전송율을 계산하는데 이용된다.

네트워크 상태는 스트림 송수신이 원활한 언로드(unload) 상태, 스트림 송수신에 부하가 발생하기 시작하는 로드(load)상태 및 패킷 손실이 발생하기 시작하는 혼잡(congested)상태로 분류할 수 있다.

본 발명의 일실시예에 따르면 네트워크 상태 분석은 현재의 네트워크 상태와 최근 n개의 네트워크 상태를 분석함으로써 수행될 수 있다. 최근 n개의 네트워크 상태는 버퍼에 일정기간 동안 저장된 네트워크 상태를 독출함으로써 획득할 수 있다.

단계 604에서 송신장치는 네트워크 상태 분석 결과를 기초로 스트림 송신에 있어 허용 가능한 비트레이트를 결정한다.

단계 606에서 송신장치는 단계 604에서 결정된 비트레이트를 기초로 프레임 레이트 및 해상도를 조절한다. 구체적으로 네트워크 상태 분석에 따라 허용 가능한 비트레이트가 결정되면 결정된 비트레이트를 기초로 현재 화면에 표시된 컨텐츠의 유형에 적합한 QoE 정책을 결정할 수 있다. 결정된 QoE 정책에 기초하여 프레임 레이트 및 해상도를 조절한다.

일예로 t시점에서 송신 단말에서 수신 단말로 공유하고자 하는 화면의 이미지를 송신하기 시작한다. t시점에서의 네트워크 상태는 로드 상태이고 허용 가능한 비트레이트는 100kbps라고 가정한다. 현재 화면에 표시되는 어플리케이션은 게임 어플리케이션으로 그래픽 컨텐츠이면서 움직임이 큰 경우에 해당한다.

t시점으로부터 n개의 네트워크 상태 분석이 끝난 시점에서 현재 네트워크 상태와 n개의 네트워크 상태를 분석한 결과 네트워크 상태가 언로드 상태라고 가정하고 허용 가능한 비트레이트는 280kbps라고 가정한다. 허용 가능한 비트레이트가 증가함에 따라 화면을 인코딩하는데 사용되는 프레임 레이트와 해상도 값 역시 변화하게 된다.

현재 화면에 표시되는 어플리케이션은 게임 어플리케이션으로 프레임 레이트가 해상도 보다 높은 수준으로 유지되어야 한다. 그래픽 컨텐츠의 경우 프레임 레이트를 1씩 증가시키는데 요구되는 비트레이트가 10kbits라고 가정하면 현재 화면 이미지의 프레임 레이트는 18 만큼 증가하게 된다.

도 7은 본 발명의 일 실시예에 따라 QoE 를 향상시키는 송신장치로 동작할 수 있는 단말의 구조를 나타낸 도면이다. 도 7에서는 QoE 를 향상시키는 송신장치가 스마트폰인 경우의 일예를 도시하고 있다. 본 발명의 단말기는 전술한 바와 같이 스마트폰에 한정되지 않고 pc, 태블릿 등 다양한 기기를 포함한다.

이동 통신부(701)는 3G/4G와 같은 셀룰러 네트워크를 통해 기지국과의 호 설정, 데이터 통신 등을 수행한다. 서브 통신부(702)는 블루투스나 NFC 등 근거리 통신을 위한 기능을 수행한다. 방송 수신부(703)는 DMB 방송 신호를 수신한다.

카메라부(704)는 사진이나 동영상을 촬영하기 위한 렌즈 및 광학 소자들을 포함한다.

센서부(705)는 단말(700)의 움직임을 감지하는 중력 센서, 빛의 밝기를 감지하는 조도 센서, 사람의 근접도를 감지하는 근접 센서, 사람의 움직임을 감지하는 모션 센서 등을 포함할 수 있다.

GPS 수신부(706)는 인공 위성으로부터 GPS 신호를 수신한다. 이러한 GPS 신호를 이용하여 다양한 서비스가 사용자에게 제공될 수 있다.

입출력부(710)은 외부 기기나 사람과의 인터페이스를 제공하며, 버튼(711), 마이크(712), 스피커(713), 진동 모터(714), 커넥터(715), 키패드(716)을 포함한다.

터치 스크린(718)은 사용자의 터치 입력을 수신한다. 여기서의 터치 입력은 드래그 제스처에 의한 것일 수도 있으며, 탭 제스처에 의한 것일 수도 있다. 터치 스크린 컨트롤러(717)는 터치 스크린(718)을 통해 입력된 터치 입력을 제어부(750)에 전달한다. 전원 공급부(719)는 멀티 비전 컨트롤러에 필요한 전력을 공급하기 위해 배터리 또는 외부 전원 소스와 연결된다.

제어부(750)는 메모리(760)에 저장된 프로그램들을 실행함으로써 본 발명에 따라 단말(700)이 QoE를 향상시키는 장치로 동작하도록 한다.

메모리(760)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 이동 통신 모듈(761), Wi-Fi 모듈(762), 블루투스 모듈(763), DMB 모듈(762), 카메라 모듈(765), 센서 모듈(766), GPS 모듈(767), 동영상 재생 모듈(768), 오디오 재생 모듈(769), 전원 모듈(770), 터치 스크린 모듈(771), UI 모듈(772), QoE 제어 모듈(773) 등으로 분류될 수 있다.

각 모듈들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있을 것이므로 여기서는 QoE 제어 모듈(773)에 대해서만 설명하기로 한다. 네트워크 상에서 복수 개의 단말 간의 화면 공유 시 QoE 제어 모듈(773)은 현재 화면에 표시된 컨텐츠의 유형에 따라 화면의 인코딩에 적용되는 파라미터를 조절한다.

즉, QoE 제어 모듈(773)은 현재 화면에 표시되는 어플리케이션이 속하는 컨텐츠 유형을 판별하고, 판별된 컨텐츠 유형에 적합한 QoE 정책을 결정하여 결정된 QoE 정책에 따라 프레임 레이트와 해상도를 결정하도록 하는 명령어들을 포함한다.

본 발명의 일 실시예에 따르면 현재 화면에 표시되는 어플리케이션의 판별은 어플리케이션의 이름을 기초로 수행된다. QoE 제어 모듈(773)은 어플리케이션의 이름 정보를 추출하는 추출부를 포함할 수 있다. 추출부에서 현재 화면에 표시되는 어플리케이션의 이름을 추출하면 메모리 내에 저장된 리스트를 이용하여 해당 어플리케이션이 어떠한 컨텐츠 유형에 속하는 지 판별할 수 있다.

또한, QoE 제어 모듈(773)은 복수 개의 단말이 네트워크를 통해 화면을 공유하는 경우 네트워크 상태를 분석하여 분석 결과에 따라 비트스트림을 결정하고 결정된 비트스트림을 기초로 하여 현재 화면에 표시된 컨텐츠 유형에 적합한 프레임 레이트와 해상도를 결정한다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

102: 송신 단말기
104: 현재 화면 이미지
106: 수신 단말기
108: 송신 단말기와 동일한 화면 이미지

Claims (15)

1. 화면을 다른 단말과 공유하는 단말에서 QoE 를 향상시키는 방법에 있어서,
   현재 화면에 표시된 컨텐츠의 유형을 판별하는 단계;
   상기 판별 결과에 따라 QoE 정책을 결정하는 단계;
   상기 결정된 QoE 정책에 따라 상기 화면의 이미지를 인코딩하는 단계; 및
   상기 인코딩된 화면 이미지를 상기 다른 단말로 송신하는 단계를 포함하는 것을 특징으로 하는 방법.
2. 제 1항에 있어서 상기 인코딩 단계는 상기 결정된 QoE 정책에 따라 조절되는 프레임 레이트 및 해상도를 이용하여 수행되는 것을 특징으로 하는 방법.
3. 제 1항에 있어서 상기 컨텐츠 유형은 그래픽 컨텐츠, 실사 컨텐츠 및 텍스트 컨텐츠를 포함하는 것을 특징으로 하는 방법.
4. 제 1항에 있어서 상기 QoE 정책은 상기 컨텐츠의 움직임 변화가 많을 수록 프레임 레이트가 높게 설정되는 것을 특징으로 하는 방법.
5. 제 1항에 있어서 상기 화면에 표시된 컨텐츠의 유형을 판별하는 단계는 실행중인 어플리케이션의 이름을 기초로 수행되는 것을 특징으로 하는 방법.
6. 제 1항에 있어서 상기 결정 단계는 현재 화면에 표시된 컨텐츠의 유형이 복수개일 경우 상기 각 컨텐츠 유형에 대하여 미리 설정된 우선 순위에 따라 가장 높은 우선 순위를 가지는 컨텐츠 유형에 대응되는 QoE 정책을 선택하는 것을 특징으로 하는 방법.
7. 제 1항에 있어서 상기 인코딩 단계는 상기 화면을 공유하는 단말간의 네트워크 상태에 기초하여 허용 가능한 비트레이트를 결정하는 단계; 및
   상기 비트레이트 결정 결과에 따라 상기 공유하는 화면의 인코딩에 적용되는 프레임 레이트 및 해상도를 조절하는 단계를 포함하는 것을 특징으로 하는 방법.
8. 적어도 하나의 프로그램이 저장되는 메모리; 및
   상기 적어도 하나의 프로그램을 실행함으로써 화면을 다른 단말과 공유하는 단말에서 QoE 를 향상시키도록 하는 프로세서를 포함하고,
   상기 적어도 하나의 프로그램은,
   현재 화면에 표시된 컨텐츠의 유형을 판별하는 단계;
   상기 판별 결과에 따라 QoE 정책을 결정하는 단계;
   상기 결정된 QoE 정책에 따라 상기 화면의 이미지를 인코딩하는 단계; 및
   상기 인코딩된 화면 이미지를 상기 다른 단말로 송신하는 단계를 포함하는 것을 특징으로 하는 송신장치.
9. 제 8항에 있어서 상기 인코딩 단계는 상기 결정된 QoE 정책에 따라 조절되는 프레임 레이트 및 해상도를 이용하여 수행되는 것을 특징으로 하는 송신장치.
10. 제 8항에 있어서 상기 컨텐츠 유형은 그래픽 컨텐츠, 실사 컨텐츠 및 텍스트 컨텐츠를 포함하는 것을 특징으로 하는 송신장치.
11. 제 8항에 있어서 상기 QoE 정책은 상기 컨텐츠의 움직임 변화가 많을 수록 프레임 레이트가 높게 설정되는 것을 특징으로 하는 송신장치.
12. 제 8항에 있어서 상기 화면에 표시된 컨텐츠의 유형을 판별하는 단계는 실행중인 어플리케이션의 이름을 기초로 수행되는 것을 특징으로 하는 송신장치.
13. 제 8항에 있어서 상기 결정 단계는 현재 화면에 표시된 컨텐츠의 유형이 복수개일 경우 상기 각 컨텐츠 유형에 대하여 미리 설정된 우선 순위에 따라 가장 높은 우선 순위를 가지는 컨텐츠 유형에 대응되는 QoE 정책을 선택하는 것을 특징으로 하는 송신장치.
14. 제 8항에 있어서 상기 조절 단계는 상기 화면을 공유하는 단말간의 네트워크 상태에 기초하여 허용 가능한 비트레이트를 결정하는 단계; 및
    상기 비트레이트 결정 결과에 따라 상기 공유하는 화면의 인코딩에 적용되는 프레임 레이트 및 해상도를 조절하는 단계를 포함하는 것을 특징으로 하는 송신장치.
15. 제1항 내지 제7항 중 어느 한 항에 의한 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
    

Images