KR20150014125A - 멀티미디어 서비스 제공 방법 및 장치 - Google Patents

멀티미디어 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR20150014125A
KR20150014125A KR20130089388A KR20130089388A KR20150014125A KR 20150014125 A KR20150014125 A KR 20150014125A KR 20130089388 A KR20130089388 A KR 20130089388A KR 20130089388 A KR20130089388 A KR 20130089388A KR 20150014125 A KR20150014125 A KR 20150014125A
Authority
KR
South Korea
Prior art keywords
sensor
server
service
service quality
quality
Prior art date
Application number
KR20130089388A
Other languages
English (en)
Other versions
KR102118535B1 (ko
Inventor
박경모
유성열
황승오
서덕영
원대희
김규헌
박광훈
송재연
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130089388A priority Critical patent/KR102118535B1/ko
Priority to PCT/KR2014/006944 priority patent/WO2015016584A1/ko
Publication of KR20150014125A publication Critical patent/KR20150014125A/ko
Application granted granted Critical
Publication of KR102118535B1 publication Critical patent/KR102118535B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 발명은 센서를 이용하여 멀티미디어 데이터의 서비스 품질을 변경하는 방법 및 장치를 제공한다. 본 발명에 따르면 서버로부터 제공되는 멀티미디어 데이터를 수신하는 과정과, 상기 수신된 멀티미디어 데이터를 필터링하는 과정과, 상기 필터링된 데이터를 디코딩하고 랜더링하는 과정과, 단말에 연결된 하나 이상의 센서를 통해 단말에 대한 사용자의 인지도를 측정하는 과정과, 상기 측정된 인지도에 따라 상기 멀티미디어 데이터의 서비스 품질을 변경할 필요가 있는지 판단하는 과정과, 상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 과정을 포함한다.

Description

멀티미디어 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING MULTIMEDIA SERVICE}
본 발명은 방송 및 통신 시스템에서 멀티미디어 서비스를 제공하는 방법에 관한 것으로, 특히 멀티미디어 데이터의 품질을 조정하는 방법 및 장치에 관한 것이다.
스마트폰이 널리 보급됨에 따라, 이동 환경에서의 스마트폰 사용을 최적화하기 위한 방안이 여러가지로 모색되고 있다. 특히 스마트폰은 종래의 휴대폰에 비해 다양한 데이터 서비스를 제공받을 수 있기 때문에 종래의 휴대폰에 비해 전력 사용량이 비교적 많은 편이며, 따라서 배터리의 용량을 늘리거나 전력 사용량을 최소화하기 위한 방안에 관심이 집중되고 있다. 뿐만 아니라 무선 네트워크 환경에서 자원이 한정되어 있으므로 무선 자원을 최대한 효율적으로 사용할 필요가 있다.
전력 사용량을 최소화하면서 무선 자원의 효율적인 사용을 위해서는 단말의 상황에 따라 서비스 품질을 적절히 조정하는 것이 필요하다. 서비스 품질을 조정하는 방법에는 서버 측에서 조절하는 방법과 단말 측에서 조절하는 방법이 있다. 서버 측에서 조절하는 방법은 서버가 단말의 네트워크 상황에 따라 서비스 품질을 조정하고, 단말 측에서 조절하는 방법은 단말이 디스플레이 해상도, 프로세싱 전력 등의 단말 사양에 따라 서버로부터 수신된 멀티미디어 데이터의 서비스 품질을 조정하는 것이 일반적이다.
그런데 이러한 종래의 서비스 품질 조정 방법은 단말의 움직임이나 사용자의 단말에 대한 집중도 등은 고려하지 않고 있으며, 따라서 전력 사용량을 최소화하기 위해 단말의 움직임이나 사용자의 단말에 대한 집중도 등을 추가로 고려하여 서비스 품질을 조정하는 방법이 필요하다.
본 발명이 해결하고자 하는 과제는 단말 사용 환경을 고려하여 서비스 품질을 조정하여 무선 자원을 효율적으로 사용하고 전력 소모량을 최소화하기 위한 방법 및 장치를 제공하는 것이다.
또한 본 발명이 해결하고자 하는 과제는 단말에 내장된 센서를 활용하여 서비스 품질을 조정하여 무선 자원을 효율적으로 사용하고 전력 소모량을 최소화하기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 실시예에 따르면, 멀티미디어 서비스를 제공하는 방법에 있어서, 서버로부터 제공되는 멀티미디어 데이터를 수신하는 과정과, 상기 수신된 멀티미디어 데이터를 필터링하는 과정과, 상기 필터링된 데이터를 디코딩하고 랜더링하는 과정과, 단말에 연결된 하나 이상의 센서를 통해 단말에 대한 사용자의 인지도를 측정하는 과정과, 상기 측정된 인지도에 따라 상기 멀티미디어 데이터의 서비스 품질을 변경할 필요가 있는지 판단하는 과정과, 상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 과정을 포함한다.
또한 본 발명의 실시예에 따르면, 멀티미디어 서비스를 제공하는 장치에 있어서, 서버로부터 제공되는 멀티미디어 데이터를 수신하는 수신부와, 상기 수신된 멀티미디어 데이터를 필터링하는 데이터 필터와, 상기 필터링된 데이터를 디코딩하는 디코더와, 상기 디코딩된 데이터를 랜더링하는 랜더러와, 단말에 연결되어 단말에 대한 사용자의 인지도를 측정하는 적어도 하나의 센서와, 상기 센서에서 측정된 인지도에 따라 상기 멀티미디어 데이터의 서비스 품질을 변경할 필요가 있는지 판단하고, 상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 상태 분석부를 포함한다.
본 발명에 따르면 멀티미디어 데이터를 서비스할 때 단말에 내장된 센서를 이용하여 서비스의 품질을 적절하게 조정함으로써 소비 전력을 줄일 수 있다.
또한 본 발명에 따르면 멀티미디어 데이터를 서비스할 때 사용자의 상태나 단말의 상태에 따라 서비스의 품질을 적절하게 조정함으로써 소비 전력을 줄일 수 있다.
도 1은 단말에 장착 가능한 센서들의 예를 도시한 도면
도 2는 사람의 눈의 시각화 과정을 간략하게 도시한 도면
도 3은 Daly에 의해 보정된 CFS를 나타낸 도면
도 4는 본 발명의 실시예에 따른 멀티미디어 서비스를 제공하는 응용프로그램의 구조를 나타낸 도면
도 5는 RTCP 메시지의 종류를 나타낸 도면
도 6은 본 발명의 실시예에 따른 멀티미디어 서비스를 제공하는 응용프로그램의 동작을 나타낸 도면
도 7 및 도 8은 단말의 방향에 따라 화면에 표시되는 비디오의 크기를 비교한 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명에서는 단말에 내장된 센서를 이용하여 멀티미디어 서비스의 서비스 품질을 조정하는 방법을 제안한다. 현재 단말에 내장되어 있는 센서는 가속도센서, 자이로스코프 등이 있으며, 향후에는 뇌파 측정 센서, 맥박측정 센서 등이 내장될 수 있다.
도 1은 단말에 장착 가능한 센서들의 예를 도시한 것이다.
도 1에 도시한 바와 같이 단말에서 사용자의 상태를 측정할 수 있는 센서는 여러 가지가 있을 수 있다. 본 발명에서는 이러한 센서들을 이용하여 사용자의 단말에 대한 집중도가 저하되는 것을 판단하고, 이에 따라 서비스의 품질을 제어하는 방법을 제시한다. 따라서 본 발명의 목적인 전력 소모 최소화를 위해서는 카메라 또는 GPS 등과 같이 전력 소모가 많은 센서를 사용하는 것은 바람직하지 않으며, CPU 연산이나 네트워크를 이용하여 데이터를 송수신 할 때보다 전력 소모가 적고 비용이 적은 센서들 즉, 소비 전력이 적은 가속도센서나 자이로스코프 등을 사용하는 것이 바람직하다.
좀 더 상세하게, 가속도 센서를 이용하여 단말의 움직임의 정도를 측정한다. 예를 들어, 사용자가 정지해 있는 경우와 보통 속도로 걷는 경우 또는 뛰거나 빠른 속도로 걷는 경우 등을 측정할 수 있다. 이 몇 가지 경우에 대해 가속도센서에서 측정되는 값들은 범위가 다르므로 소정 범위를 벗어난 경우에는 사용자의 움직임 상태가 변화했다는 것을 알 수 있다. 움직임이 많으면 사용자의 단말에 대한 집중도가 떨어진다는 점을 이용하여 저품질의 비디오를 전송하여 전력 소모를 줄일 수 있다. 마찬가지로, 자이로스코프를 통하여 수신되는 멀티미디어 데이터의 해상도와 현재 단말에 표시되는 화면 비율이 맞지 않을 경우에는 저화질의 영상을 전송하여 전력 소모를 줄일 수 있다. 또한 뇌파측정 센서는 뇌파 측정을 통해 사용자의 단말에 대한 집중도를 측정할 수 있으며, 측정된 집중도에 따라 멀티미디어 데이터의 서비스 품질을 적절히 조절할 수 있다.
가속도 센서를 이용하는 경우, 사용자가 걷거나 뛰면서 멀티미디어 서비스를 이용하는 환경에서, 사용자는 정지 상태에서 단말을 이용할 때보다 단말에 대한 집중도가 떨어진다. 즉, 사용자가 단말보다 움직이는 방향에 집중하거나, 단말에서 보여지는 화면에 집중을 하더라도 사용자의 움직임에 의해 단말도 움직이기 때문에 고품질의 영상을 제공하더라도 정지 상태에 비해 영상 인식도가 떨어진다. 사용자가 시청하고 있는 영상이 SVC(Scalable Video Codec)와 같이 품질에 따라 다계층으로 구분되는 코덱으로 인코딩이 되어 있다면, 사용자의 인지도에 따라 품질을 조절할 수 있다. 즉, 가속도 센서를 사용하여 단말의 움직임 정도가 사용자가 단말에 집중할 수 있는 정도 인지를 판단할 수 있으며, 그에 따라 사용자가 품질 변화를 인식할 수 없을 정도로 조정된 품질의 영상을 제공할 수 있다. 이와 같은 서비스 품질 조정을 통해 전력 소모량을 줄일 수 있다.
또한 자이로스코프는 물체의 회전을 측정하는 센서로, 자이로스코프를 통해 사용자가 현재 화면을 가로 방향으로 보고 있는지 세로 방향으로 보고 있는지를 판단할 수 있다. 만약 서버가 송신하는 영상이 가로방향의 비디오 영상인데 사용자가 단말을 세로 방향으로 사용하고 있다면 세로 방향에 맞게 영상의 크기를 줄여서 서비스하여도 무방하며, 이를 통하여 전력 소모를 줄일 수 있다.
또한 향후에는 안경 형태의 모바일 장치가 개발될 것으로 예상되며, 이러한 모바일 장치 안에는 저전력의 BCI(Brain Computer Interface) 기술이 탑재될 가능성이 매우 높다. BCI기술은 사람의 두뇌와 컴퓨터를 직접 연결해서 뇌파를 통해 컴퓨터를 제어하는 인터페이스 기술이다. 이 기술은 뇌파측정 센서로 뇌파 자극을 인식하여 이것을 신호로 바꾼 후 이를 분석하여 명령을 하게 된다. 따라서 사용자가 아무런 행동 없이 생각만으로 입력을 내릴 수 있으므로 차세대 입력장치로 활용될 가능성이 높다. 뇌파는 뇌의 수많은 신경에서 발생한 전기적인 신호가 합성되어 나타나는 미세한 뇌 표면의 신호를 측정한 것으로, 뇌가 여러 기능에 따라 활동함에 따라 시공간적으로 변화하는데 이것을 측정하면 1~50Hz의 주파수와 약 10~200 μV 의 진폭을 보인다. 뇌파는 주파수와 전압의 범위에 따라 델타파, 세타파, 알파파, 베타파, 감마파 등으로 나뉘는데, 이중에서 베타파는 12~30Hz의 주파수와 2~20μV의 진폭을 보이며 깨어있거나 의식적인 활동을 할 때 나타난다. 이 중에 중간 정도인 16~20Hz의 주파수 대역을 사용하면 사용자의 집중도 또는 활동 상태를 측정할 수 있다. 그리고 세타파는 4~7Hz의 주파수와 20~100 μV의 진폭을 보이며 정서적으로 안정된 상태나 수면상태에서 나타난다. 이 두 파형을 분석하면 사람의 집중도과 각성 정도를 판단할 수 있다. 베타파가 높아지면 집중력이 높아진 상태이며, 세타파가 높아지면 집중력이 감소한 상태로 볼 수 있다. 따라서 본 발명에서는 이를 이용하여 사용자의 집중도에 따른 멀티미디어 데이터 서비스의 품질을 조절할 수 있다.
이와 같은 센서를 이용한 서비스 품질 조정에 있어서, 먼저 사용자가 눈으로 감지하는 영상의 품질 변화에 대한 원리를 살펴본다.
도 2는 사람의 눈의 시각화 과정을 간략하게 도시한 것이다.
도 2에서 보는 바와 같이, 이미지 구성(Image formation), 노출 조절(Exposure control), 검출(Detection)의 3단계를 거쳐 뇌에서 최종적인 영상을 인식한다. 뇌로 전달된 영상은 고품질, 고해상도의 영상이지만 실제로 뇌에서 관심 있게 보여지는 영역은 영상의 일부에 해당된다. 그래픽 영상에서도 이와 동일하게 고품질로 시뮬레이션 된 영상이 카메라의 상태나 그려지는 물체의 특성 또는 그래픽 영상을 보고 있는 사용자의 관점에 따라 부분적으로 달라진다.
또한 인체의 눈으로 만들어지는 영상의 정확성에도 한계가 존재한다. 눈의 중심과 내에 존재하는 간상체와 원추체의 개수는 약 7백만과 1억 5천만 개 정도이며, 인식 시력 1/120도 이하의 각으로 맺히는 상은 인식하기 힘들며, 최상의 화질을 만들어 내는 시야 각은 4~5도 이다. 또한, 이미지 평면에서 보면 1도 이하의 움직임은 감지하기 어렵다. 따라서 이러한 시각인식의 한계치를 이용하여 서비스 품질을 조정하면 불필요한 자원 낭비를 최소화 할 수 있다.
사람의 눈은 시간 주파수적으로 60Hz 이상의 영상은 인지하지 못하므로 60Hz 이상의 영상을 제공하는 것은 결국 자원을 낭비하는 것이 된다. 이것은 공간적 주파수로도 유사한 특성을 가진다. 이를 분석하기 위하여 대비민감도 함수 CSF(Contrast Sensitivity Function)를 활용하는데, CSF는 Kelly에 의해 모델링이 되었고, Daly는 Kelly에 의해 모델링 된 CSF를 상수 c를 이용하여 보정하였다.
도 3은 Daly에 의해 보정된 CFS를 나타낸 것이다.
도 3에 나타낸 바와 같이, 일정구간에서는 CSF(즉, 인식력)가 증가하다가 8cpd(cycle per degree) 즈음을 최고점으로 급속하게 떨어진다. 즉, 8 cpd 이상의 영상은 인식 능력이 떨어진다고 볼 수 있다.
이러한 결과를 사람의 움직임에도 활용할 수 있다. 사용자가 걸으면서 모바일 장치로 동영상을 시청하는 경우, 사용자가 이동 방향 또는 주위를 살피면서 이동하거나, 또는 모바일 장치의 스크린만을 바라보면서 이동한다고 해도 사용자의 움직임에 따라 스크린 자체가 흔들리게 된다. 또한 이동속도가 증가하면 사용자의 시점의 이동은 더욱 빠르게 변화하거나 거의 화면을 바라보지 않게 된다. 시점이 이동한다는 것은 앞서 설명한 8cpd 이상의 위치에서 멀티미디어가 서비스 되고 있다는 것을 의미한다. 따라서 이런 경우에 여러 가지 방법을 통하여 영상의 화질을 저하시키면서 데이터 수신량과 디코딩 연산량을 줄일 수 있다.
이하에서는 본 발명에 따라 센서를 이용하여 서비스 품질을 조정하는 구체적인 방법에 대해 설명한다.
서비스 품질 주체가 단말인 경우(이하 Client-driven QoS라고 함), 단말이 서버로부터 멀티미디어 서비스를 수신함에 있어서 단말이 내장된 센서를 사용하여 서비스 품질을 선택하며, 서비스 품질 주체가 서버인 경우(이하 Server-driven QoS라고 함), 단말이 센서를 통해 측정한 값을 서버로 전달하면 서버가 이 값을 토대로 서비스 품질을 선택한다. 따라서 멀티미디어 데이터를 서버로부터 수신받아 사용자에게 서비스하는 응용 프로그램은 비디오와 오디오 등을 서비스 함과 동시에 단말에 내장되어 있는 여러 센서들로부터 측정값을 분석할 수 있어야 한다. 멀티미디어 서비스에 필요한 다량의 데이터를 수신하거나 디코딩 등의 연산에 소모되는 전력은 매우 크다. 또한 사용자가 모바일 단말을 이용하는 경우에는 TV 또는 PC의 모니터 등과 같이 고정되어 있는 장치들을 이용하는 경우보다 다른 작업을 수행하면서 사용하는 경우가 대부분이다. 예를 들면 단말을 이동하면서 사용하거나 단말의 방향을 바꾼다거나 하는 등의 행위를 하게 된다. 이처럼 이동중인 사용자는 평소보다 집중력이 떨어져 미디어에 대한 인지도도 떨어지게 된다. 이처럼 미디어에 대한 인지도가 낮은 경우에 고품질의 미디어를 제공해 주는 것은 오버헤드라고 볼 수 있으므로 사용자의 인지도에 맞게 서비스 품질을 조절하여 QoE(Quality of Experience)는 유지하면서 데이터를 수신하는데 필요한 비용과 전력, 그리고 디코딩에 필요한 연산량을 줄임으로써 데이터 사용 비용과 전력 소비를 줄이는 것은 중요하다.
기존의 멀티미디어 서비스를 사용함에 있어서 여러 가지 매개변수들을 사용하여 서비스 품질을 조정절하는 것에 대한 많은 연구들이 진행되어 왔다. 서비스 품질을 조절하는 방법들에는 비디오와 오디오가 함께 전송되는 경우에 비디오를 전송하지 않는 미디어 필터링(Media filtering) 방법과, 특정 미디어의 품질을 단계적으로 제어하는 미디어 스케일링(Media Scaling) 등이 있다. 이런 방법들을 사용하기 위해서 본 발명에서는 사용자가 소비할 수 있는 서비스의 품질을 사용자가 직접 입력하지 않고, 단말에 내장된 센서들을 이용하여 서비스 품질 조정을 위한 파라미터를 생성하는 방법을 제안한다. 센서들은 사용자의 인지도 또는 단말의 서비스 상태 등을 측정하고 이를 분석하여 상황에 맞게 서비스 품질을 조정한다. 즉, 항상 동일한 품질을 유지하는 것이 아니라 적절한 상황에 품질을 저하시켜서 전력 소모를 줄인다.
도 4는 본 발명의 실시예에 따른 멀티미디어 서비스를 제공하는 응용프로그램의 구조를 나타낸 것이다.
도 4를 참조하면, 멀티미디어 서비스 응용프로그램은 실행과 동시에 멀티미디어 데이터 수신부(410)에서 서버로부터 멀티미디어 데이터를 수신하고 센서 측정부(450)는 단말에 내장된 하나 이상의 센서를 통해 신호를 측정하고, 측정된 데이터를 사용자의 상태를 분석하는데 사용하기 위해 상태 분석부(460)로 전달한다. 상태 분석부(460)는 상태 분석 알고리즘을 통해 각종 센서에서 측정된 데이터를 이용하여 사용자의 단말에 대한 인지도 또는 현재 서비스 되는 멀티미디어 데이터의 품질이 적절한지를 판단한다. 판단 결과 현재 서비스 되는 멀티미디어 데이터의 품질이 사용자의 단말에 대한 인지도에 비해 높은 것으로 판단되면 사용자의 단말에 대한 인지도에 적절한 서비스 품질을 결정하고 이를 지시하는 값을 데이터 필터(420)로 전달한다. 데이터 필터(420)는 멀티미디어 데이터 수신부(410)로부터 수신 받은 멀티미디어 데이터를 필터링 하여 디코더(430)로 넘겨준다. 이때 데이터 필터(420)는 상태 분석부(460)로부터 전달된 서비스 품질 변경 정보에 따라 멀티미디어 데이터를 적절히 필터링 한다. 디코더(430)는 데이터 필터(420)로부터 전달된 데이터를 디코딩하고, 디코딩 된 데이터는 랜더러(440)를 통해 랜더링되어 사용자에게 서비스 된다.
상태 분석부(460)에서의 분석 결과는 서버에게도 보고 되는데, Server-driven QoS를 사용하는 경우에는 현재 상태를 각 센서별로 가공하여 서버에게 보고함으로써 서버가 단말로부터 수신한 정보를 토대로 서비스 품질을 조정할 수 있도록 한다. 또한 Client-driven QoS를 사용하는 경우에는 단말이 사용자의 상태에 따라 서비스 품질을 선택하여 서버에게 서비스 품질 변경을 요청한다. 이러한 절차는 멀티미디어 서비스를 종료할 때까지 반복된다.
서비스 품질 변경과 관련한 정보를 서버에게 보고함에 있어서, 특히 RTP(Real-time Transport Protocol) 및 UDP(User Datagram Protocol)를 사용하는 멀티미디어 서비스에서는 RTCP(Real Time Control Protocol)를 이용하여 센서에서 측정된 값을 서버로 전송할 수 있다. 도 5는 RTCP 메시지의 종류를 나타낸 것이다. 도 5에 도시한 메시지들 중 응용지정 메시지는 새로운 응용을 사용하기 원하는 응용에 대한 패킷으로, 새로운 메시지 유형을 정의할 수 있도록 해준다. 따라서 본 발명의 실시예에서는 응용지정 메시지를 이용하여 서버로 서비스 품질 변경과 관련된 데이터를 전송할 수 있다. 또는 RTSP(Real Time Streaming Protocol)의 확장 헤더(extended header)를 이용하여 센서에서 측정된 값을 서버로 전송할 수도 있다.
도 7은 본 발명의 실시예에 따른 멀티미디어 서비스를 제공하는 응용프로그램의 동작 순서를 나타낸 것이다.
도 7을 참조하면, 콜 셋업 과정(611)을 통해서 서버와 소켓을 생성하고 연결 작업을 수행한 후 데이터를 수신하여(612) 필터링을 수행한다(613). 이와 동시에 단말에 구비된 센서를 구동시켜(621) 사용자의 현재 상태를 측정한다(622). 이때 각각의 센서들은 소정의 주기로 현재 상태를 측정한다. 하나 이상의 센서로부터 추출된 측정 값들은 소정의 알고리즘들을 통해 사용자의 인지도 또는 단말의 상태를 확인하고, 현재 서비스 되고 있는 멀티미디어의 서비스 품질이 적당한 것인지를 판단한다(623). 판단 결과 서비스 품질이 적당하면 센서를 통해 현재 상태를 측정하는 과정(622)으로 돌아가고, 서비스 품질을 높이거나 낮춰야 할 것으로 판단되면, 현재 접속되어 있는 서버의 QoS 조절 형태를 확인한다(624). Client-driven QoS일 경우에는 현재 상태에 맞는 서비스 품질을 결정하고(625) 결정된 내용을 데이터 필터로 전송하여 필터링 과정(613)에 적용되도록 한다. 반면 Server-driven QoS일 경우에는 서버가 서비스 품질을 결정할 수 있도록 센서에서 측정된 값을 가공하여(626) 서버에게 보고한다(627). 또한 Client-driven QoS일 경우에도 625 과정에서 결정된 서비스 품질 값을 서버로 보고한다(627). 이후에 서비스가 종료되었는지를 확인하고(629), 종료되지 않았으면 센서를 통해 현재 상태를 측정하는 과정(622)으로 돌아간다.
한편, 데이터 필터는 센서에 의해 수시로 업데이트 되는 서비스 품질에 따라 수신된 데이터를 필터링하여(613) 디코더로 넘겨준다. 디코더는 서비스 품질에 따라 필터링 된 데이터를 디코딩하고(614) 디코딩 된 데이터는 랜더러를 통해 랜더링된다(615). 랜더링 이후에 서비스가 종료되었는지를 확인하고(617), 종료되지 않았으면 데이터를 수신하는 과정(611)으로 돌아간다.
한편, 멀티미디어 데이터의 서비스 품질을 조정하는 것은 센서의 종류에 따라 다양하게 적용시킬 수 있다. 가속도 센서를 사용하여 사용자의 이동 속도를 통한 인지도를 측정하는 경우, 사용자가 정지된상태이면 가장 높은 품질을 제공하고, 소정 범위 내의 보통 속도로 이동하는 경우에는 중간 품질을 제공하고, 소정 값 이상의 빠른 속도로 이동하는 경우에는 낮은 품질을 제공할 수 있다. 또 다른 예로는 자이로스코프를 통하여 서비스 품질을 조정하는 경우, 대부분의 모바일 단말과 비디오 컨텐츠들은 16:9의 비율로 데이터를 생성하며, 따라서 사용자가 단말을 가로방향으로 길게 들고 비디오를 시청하는 경우와 세로방향으로 길게 들고 시청하는 경우의 비디오 크기는 확연히 차이가 난다. 이러한 차이를 도 7과 도 8에 도시하였다. 즉, 단말을 세로 방향으로 길게 들고 시청하는 경우의 비디오 크기가 가로 방향으로 길게 들고 시청하는 경우보다 작으므로 가로 방향으로 길게 들고 시청하는 경우와 같은 품질의 비디오를 서비스하는 것은 오버헤드이다. 따라서 이럴 경우에는 저품질의 비디오를 수신 받아 서비스하면 소비 전력을 줄어든다. 또한 뇌파 측정 센서를 이용하는 경우, 사용자가 멀티미디어 서비스를 집중하여 사용하고 있다면 고품질의 서비스를 제공하고 집중도가 소정값 이하로 떨어진 경우에는 저품질의 서비스를 제공하여 소비 전력을 줄일 수 있다.
또한 멀티미디어 데이터의 서비스 품질을 조정하는 것은 데이터의 종류에 따라 다양하게 적용시킬 수 있다. 오디오와 비디오가 합쳐진 데이터의 경우에는 서비스 품질을 낮추기 위해 비디오를 뺀 오디오만 수신 받아 처리할 수도 있다. 인코딩 된 비디오를 수신 받을 때는 GOP(Group of Picture)를 구성하는 I-프레임, P-프레임, B-프레임에서 각 프레임의 양을 조절하여 서비스 품질을 조정할 수 있다. 즉, B-프레임과 P-프레임의 양을 늘려서 저품질로 바꿀 수 있으며, I-프레임을 자주 수신하여 고품질을 제공 할 수도 있다.
또한 데이터가 SVC와 같은 각각의 품질 별로 분할과 결합이 가능한 코덱으로 인코딩이 되어있을 경우에는 서비스 품질을 더욱 유연하게 조정할 수 있다. SVC에서 비디오 품질을 저하시키면 그만큼 수신 받는 데이터의 양도 줄어들게 된다. 따라서, 멀티미디어 서비스를 SVC로 인코딩 된 영상을 제공할 때 QoE를 유지하면서 비디오의 품질을 떨어뜨린다면 그만큼의 데이터 수신에 필요한 전력량과 디코딩을 위해 필요한 전력량에 대하여 이득을 볼 수 있다. 사용자가 모바일 장치를 이용하여 SVC로 인코딩된 비디오를 서버로부터 실시간으로 수신 받아서 시청하는 환경에서, 사용자가 걷고 있다고 판단이 될 경우 현재 수신하여 디코딩 하는 비디오의 단계를 낮추도록 서버에게 요청할 수 있다. 이때 사용자의 이동 속도는 가속도 센서 측정을 통하여 판별할 수 있었다. 사용자의 움직임이 감지 되지 않을 경우에 enhance2까지의 모든 영상을 수신하여 재생을 하고 있었다면, 보통 속도의 움직임이 감지되면 enhance1으로, 빠른 속도의 움직임이 감지되면 base로 단계를 낮춤으로써 전력 소모량을 줄일 수 있다. 또한 단계가 낮은 영상을 수신하였으므로 디코딩에 필요한 연산량이 줄어 들고 그만큼 소비 전력량 또한 줄어들게 된다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 멀티미디어 서비스를 제공하는 방법에 있어서,
    서버로부터 제공되는 멀티미디어 데이터를 수신하는 과정과,
    상기 수신된 멀티미디어 데이터를 필터링하는 과정과,
    상기 필터링된 데이터를 디코딩하고 랜더링하는 과정과,
    단말에 연결된 하나 이상의 센서를 통해 단말에 대한 사용자의 인지도를 측정하는 과정과,
    상기 측정된 인지도에 따라 상기 멀티미디어 데이터의 서비스 품질을 변경할 필요가 있는지 판단하는 과정과,
    상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 과정을 포함하는 멀티미디어 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 서버로 전송하는 과정은,
    상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질을 변경하는 주체를 확인하는 과정과,
    상기 확인된 주체에 따라 각각 다른 값을 상기 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 과정을 포함하는 멀티미디어 서비스 제공 방법.
  3. 제2항에 있어서,
    상기 주체가 서버인 경우, 상기 센서를 통해 측정한 결과값을 상기 서비스 품질의 변경에 필요한 정보로서 상기 서버로 전송하며,
    상기 서비스 품질의 변경에 필요한 정보를 토대로 상기 서버에 의해 변경된 서비스 품질을 가지는 멀티미디어 데이터를 수신하는 멀티미디어 서비스 제공 방법.
  4. 제2항에 있어서,
    상기 주체가 단말인 경우, 상기 센서를 통해 측정한 결과값을 토대로 상기 서비스 품질을 변경하고,
    상기 변경된 서비스 품질을 상기 서비스 품질의 변경에 필요한 정보로서 상기 서버로 전송하는 멀티미디어 서비스 제공 방법.
  5. 제4항에 있어서,
    상기 필터링하는 과정은, 상기 변경된 서비스 품질에 따라 상기 수신된 멀티미디어 데이터를 필터링하는 멀티미디어 서비스 제공 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 센서는 가속도 센서와, 자이로스코프 센서와, 뇌파 측정 센서 중 적어도 하나인 멀티미디어 서비스 제공 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 센서가 가속도 센서인 경우,
    상기 사용자의 인지도를 측정하는 과정은,
    상기 단말의 움직임 속도를 소정 개수의 범위로 구분하고, 상기 구분된 범위에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 방법.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 센서가 자이로스코프 센서인 경우,
    상기 사용자의 인지도를 측정하는 과정은,
    상기 단말의 회전 여부에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 방법.
  9. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 센서가 뇌파 측정 센서센서인 경우,
    상기 사용자의 인지도를 측정하는 과정은,
    상기 센서를 통해 측정된 뇌파를 주파수에 따라 소정 개수의 범위로 구분하고, 상기 구분된 범위에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 방법.
  10. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 서버로 전송하는 과정은,
    상기 멀티미디어 서비스가 RTCP(Real Time Control Protocol)를 사용하는 경우, 응용 지정 메시지를 이용하여 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하고,
    상기 멀티미디어 서비스가 RTSP(Real Time Streaming Protocol)를 사용하는 경우, 확장된 헤더를 이용하여 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 멀티미디어 서비스 제공 방법.
  11. 멀티미디어 서비스를 제공하는 장치에 있어서,
    서버로부터 제공되는 멀티미디어 데이터를 수신하는 수신부와,
    상기 수신된 멀티미디어 데이터를 필터링하는 데이터 필터와,
    상기 필터링된 데이터를 디코딩하는 디코더와,
    상기 디코딩된 데이터를 랜더링하는 랜더러와,
    단말에 연결되어 단말에 대한 사용자의 인지도를 측정하는 적어도 하나의 센서와,
    상기 센서에서 측정된 인지도에 따라 상기 멀티미디어 데이터의 서비스 품질을 변경할 필요가 있는지 판단하고, 상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 상태 분석부를 포함하는 멀티미디어 서비스 제공장치.
  12. 제11항에 있어서,
    상기 상태 분석부는,
    상기 서비스 품질을 변경할 필요가 있다고 판단된 경우, 상기 서비스 품질을 변경하는 주체를 확인하고,
    상기 확인된 주체에 따라 각각 다른 값을 상기 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 멀티미디어 서비스 제공 장치.
  13. 제12항에 있어서,
    상기 상태 분석부는, 상기 주체가 서버인 경우, 상기 센서를 통해 측정한 결과값을 상기 서비스 품질의 변경에 필요한 정보로서 상기 서버로 전송하며,
    상기 수신부는, 상기 서비스 품질의 변경에 필요한 정보를 토대로 상기 서버에 의해 변경된 서비스 품질을 가지는 멀티미디어 데이터를 수신하는 멀티미디어 서비스 제공 장치.
  14. 제12항에 있어서,
    상기 상태 분석부는,
    상기 주체가 단말인 경우, 상기 센서를 통해 측정한 결과값을 토대로 상기 서비스 품질을 변경하고,
    상기 변경된 서비스 품질을 상기 서비스 품질의 변경에 필요한 정보로서 상기 서버로 전송하는 멀티미디어 서비스 제공 장치.
  15. 제14항에 있어서,
    상기 데이터 필터는, 상기 변경된 서비스 품질에 따라 상기 수신된 멀티미디어 데이터를 필터링하는 멀티미디어 서비스 제공 장치.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 센서는 가속도 센서와, 자이로스코프 센서와, 뇌파 측정 센서 중 적어도 하나인 멀티미디어 서비스 제공 장치.
  17. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 센서가 가속도 센서인 경우,
    상기 센서는,
    상기 단말의 움직임 속도를 소정 개수의 범위로 구분하고, 상기 구분된 범위에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 장치.
  18. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 센서가 자이로스코프 센서인 경우,
    상기 센서는,
    상기 단말의 회전 여부에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 장치.
  19. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 센서가 뇌파 측정 센서센서인 경우,
    상기 센서는,
    상기 센서를 통해 측정된 뇌파를 주파수에 따라 소정 개수의 범위로 구분하고, 상기 구분된 범위에 따라 각각 사용자의 인지도가 다른 것으로 판단하는 멀티미디어 서비스 제공 장치.
  20. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 상태 분석부는,
    상기 멀티미디어 서비스가 RTCP(Real Time Control Protocol)를 사용하는 경우, 응용 지정 메시지를 이용하여 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하고,
    상기 멀티미디어 서비스가 RTSP(Real Time Streaming Protocol)를 사용하는 경우, 확장된 헤더를 이용하여 상기 서비스 품질의 변경에 필요한 정보를 상기 서버로 전송하는 멀티미디어 서비스 제공 장치.
KR1020130089388A 2013-07-29 2013-07-29 멀티미디어 서비스 제공 방법 및 장치 KR102118535B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130089388A KR102118535B1 (ko) 2013-07-29 2013-07-29 멀티미디어 서비스 제공 방법 및 장치
PCT/KR2014/006944 WO2015016584A1 (ko) 2013-07-29 2014-07-29 멀티미디어 서비스 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130089388A KR102118535B1 (ko) 2013-07-29 2013-07-29 멀티미디어 서비스 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150014125A true KR20150014125A (ko) 2015-02-06
KR102118535B1 KR102118535B1 (ko) 2020-06-03

Family

ID=52432052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130089388A KR102118535B1 (ko) 2013-07-29 2013-07-29 멀티미디어 서비스 제공 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102118535B1 (ko)
WO (1) WO2015016584A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965732A (zh) * 2021-12-01 2022-01-21 济南和普威视光电技术有限公司 一种低带宽视频传输方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040009045A (ko) * 2002-07-22 2004-01-31 김인영 바이오피드백과 게임을 이용한 개인 휴대용 단말 기반의집중력 증진 방법 및 장치
KR100786389B1 (ko) * 2006-08-21 2007-12-17 한국전자통신연구원 적응적 서비스품질 미들웨어 시스템 및 그 시스템에서의서비스 지원 방법
KR20080049701A (ko) * 2008-05-15 2008-06-04 경희대학교 산학협력단 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
KR20110032234A (ko) * 2009-09-22 2011-03-30 주식회사 케이티 네트워크 품질 상태에 기반한 콘텐츠 서비스 제공 방법 및 시스템
WO2011047335A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012134465A1 (en) * 2011-03-30 2012-10-04 Empire Technology Development Llc Quality of experience estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040009045A (ko) * 2002-07-22 2004-01-31 김인영 바이오피드백과 게임을 이용한 개인 휴대용 단말 기반의집중력 증진 방법 및 장치
KR100786389B1 (ko) * 2006-08-21 2007-12-17 한국전자통신연구원 적응적 서비스품질 미들웨어 시스템 및 그 시스템에서의서비스 지원 방법
KR20080049701A (ko) * 2008-05-15 2008-06-04 경희대학교 산학협력단 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
KR20110032234A (ko) * 2009-09-22 2011-03-30 주식회사 케이티 네트워크 품질 상태에 기반한 콘텐츠 서비스 제공 방법 및 시스템
WO2011047335A1 (en) * 2009-10-16 2011-04-21 Qualcomm Incorporated Adaptively streaming multimedia

Also Published As

Publication number Publication date
KR102118535B1 (ko) 2020-06-03
WO2015016584A1 (ko) 2015-02-05

Similar Documents

Publication Publication Date Title
KR102391126B1 (ko) 360도 적응형 스트리밍에 대한 경험을 개선하기 위한 메트릭 및 메시지
EP2785070B1 (en) Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium therefor
EP3742727B1 (en) Video encoding method, device, apparatus and storage medium
KR102310040B1 (ko) 공간적으로 불균등한 스트리밍
EP2924999A1 (en) Context-aware streaming of digital content
US20130125155A1 (en) Dynamic adaptation of displayed video quality based on viewers' context
EP3535644A1 (en) Streaming virtual reality video
WO2017219652A1 (zh) 一种头戴显示器、视频输出设备和视频处理方法、系统
RU2656230C2 (ru) Устройство обработки информации и способ обработки информации
US10365874B2 (en) Information processing for band control of a communication stream
EP3522542A1 (en) Switching between multidirectional and limited viewport video content
KR20120029848A (ko) 단말기 및 그의 무선 통신 방법
JP2021516919A (ja) ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム
US9826529B1 (en) Adaptive wireless frequency band sharing
US9344678B2 (en) Information processing apparatus, information processing method and computer-readable storage medium
CN112383777A (zh) 视频编码方法、装置、电子设备及存储介质
CN113936119A (zh) 一种数据渲染方法、系统及装置
WO2015085873A1 (zh) 视频码流的获取方法及装置
KR102118535B1 (ko) 멀티미디어 서비스 제공 방법 및 장치
Shen et al. Mobius: enable together-viewing video experience across two mobile devices
KR20160019072A (ko) 멀티스크린 시청용 콘텐츠 배포를 위한 방법 및 장치
US9055027B2 (en) Transmission method and electronic device
US20140099039A1 (en) Image processing device, image processing method, and image processing system
Reznik User-adaptive mobile video streaming using MPEG-DASH
US20220294971A1 (en) Collaborative object detection

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant