KR20130068234A - 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법 - Google Patents

시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법 Download PDF

Info

Publication number
KR20130068234A
KR20130068234A KR1020110135189A KR20110135189A KR20130068234A KR 20130068234 A KR20130068234 A KR 20130068234A KR 1020110135189 A KR1020110135189 A KR 1020110135189A KR 20110135189 A KR20110135189 A KR 20110135189A KR 20130068234 A KR20130068234 A KR 20130068234A
Authority
KR
South Korea
Prior art keywords
video
quality
visual recognition
progressive
video data
Prior art date
Application number
KR1020110135189A
Other languages
English (en)
Other versions
KR101920646B1 (ko
Inventor
석주명
차지훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110135189A priority Critical patent/KR101920646B1/ko
Priority to US13/713,083 priority patent/US8914817B2/en
Publication of KR20130068234A publication Critical patent/KR20130068234A/ko
Application granted granted Critical
Publication of KR101920646B1 publication Critical patent/KR101920646B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법에 관한 것으로서, 사용자의 시야각 및 초점위치 중에서 적어도 하나를 포함하는 시선정보를 검출하는 시선검출기, 상기 검출된 시선정보에 기초하여 비디오 재생의 품질계층을 결정하는 비디오 재생품질 선정기, 상기 검출된 시선정보에 기초하는 시각인식 우선 순위를 고려하여 비디오 데이터를 요청하여 수신하는 프로그래시브 스트리밍 수신기, 및 상기 수신된 비디오 데이터에서 시각이 인식하는 품질변화를 선정된 기준 이하로 줄이면서 인터랙티브 지연을 선정된 기준 이하로 줄이도록 조정하여 재생하는 시각인식중심 재생기를 포함할 수 있다.

Description

시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법{APPARATUS AND METHOD OF STREAMING PROGRESSIVE VIDEO DATA BASED VISION RECOGNITION}
본 발명은 인터랙티브 비디오 서비스에서 사용되는 채널변경과 관심시점 시청 등의 트릭모드 시 발생되는 인터랙티브 지연 때문에 사용자가 경험하게 되는 서비스의 불만족감을 최소화하는 스트리밍 재생 장치 및 방법에 관한 기술적 사상을 개시한다.
IPTV, VoD와 같이 양방향 커뮤니케이션 특성을 갖는 통신망으로 고품질 비디오를 시청하는 서비스가 널리 이용되고 있다. 이러한 서비스에서 채널변경이나 사용자가 화면을 선택하여 시청하는 멀티 뷰, 전방위로 대화각을 가진 파노라믹 비디오를 한정된 화면크기에서 시청하기 위해서는 관심시점 위주로 골라 보는 관심영역 시청 등 시공간적 트릭모드 재생을 위해 인터랙티브 비디오 스트리밍 방법으로 수신되는 데이터를 재생한다.
이 경우 고품질 비디오의 높은 비트율, 전송채널 특성, 압축 인코딩 방법 등의 원인으로 발생되는 인터랙티브 지연으로 사용자는 서비스에 대한 불만족감을 갖게 된다.
더욱이, 채널검색과 시점검색과 같이 고속 화면전환과 같이 빠른 응답을 원하는 사용자의 경우 인터랙티브 지연에 대한 불만족감은 더욱 가중된다.
근래에는 이러한 인터랙티브 지연을 최소화하기 위하여 브로드캐스트 전송 방법처럼 현재 시청하고 있지 않은 다른 채널도 동시에 전송하여 인터랙티브 지연을 줄이는 기술이 제안되고 있다.
뿐만 아니라, 지연시간 동안에 광고를 송출하거나, 부가정보 등 별도의 추가 정보를 제공하여 지연에 대한 서비스 불만족을 감소하는 기술들이 제안되고 있다.
특히 다른 채널을 동시 전송하는 경우 발생하는 불필요한 대역폭 낭비를 최소화하기 위하여 본 영상의 품질을 낮추어 전송하여 채널 선택 시 우선적으로 빠른 채널전환이 되고 이후에 본래의 영상품질을 수신하여 재생하는 기술들이 활용되고 있다.
또한, 사용자의 채널시청 이력을 이용하여 선별된 선호채널만을 전송하므로 대역폭 낭비를 줄이는 방법을 활용하였으나, 여전히 불필요한 대역폭 낭비가 존재하며 비디오의 품질이 점차 고화질이 되고 채널 수 및 영상 화면의 수가 점차 많아 지며, 영상의 화각이 점차 커짐에 따라 이러한 기술 방법으로는 비례적으로 대역폭 낭비가 늘어나는 문제가 있다.
더욱이 빠른 채널 전환 시 우선 제공하는 동시 전송 영상품질이 저품질인 경우는 인터랙티브 지연에 대한 불만족은 줄어들지만, 비디오 품질에 대한 불만족이 커짐에 따라 오히려 서비스 불만족은 줄지 않는 결과가 나타나며, 별도의 정보를 제공하는 방법도 사용자의 성향에 따라 서비스 불만족이 가중될 수 있는 문제점을 갖고 있다.
본 발명의 일실시예에 따른 시각인식 중심의 프로그래시브 비디오 스트리밍 장치는 사용자의 시야각 및 초점위치 중에서 적어도 하나를 포함하는 시선정보를 검출하는 시선검출기, 상기 검출된 시선정보에 기초하여 비디오 재생의 품질계층을 결정하는 비디오 재생품질 선정기, 상기 검출된 시선정보에 기초하는 시각인식 우선 순위를 고려하여 비디오 데이터를 요청하여 수신하는 프로그래시브 스트리밍 수신기, 및 상기 수신된 비디오 데이터에서 시각이 인식하는 품질변화를 선정된 기준 이하로 줄이면서 인터랙티브 지연을 선정된 기준 이하로 줄이도록 조정하여 재생하는 시각인식중심 재생기를 포함할 수 있다.
본 발명의 일실시예에 따른 상기 인터랙티브 지연은 패킷화 지연시간, 전송 지연시간, 복호화 지연시간, 및 버퍼링 지연시간 중에서 적어도 하나의 지연 시간을 합산하여 산출될 수 있다.
본 발명의 일실시예에 따른 상기 프로그래시브 스트리밍 수신기는, 이용자의 시각인식 민감도에 따라 우선 순위가 높은 비디오 데이터를 먼저 보내, 상기 시각인식 민감도에 따라 재생 순서가 결정되도록 할 수 있다.
본 발명의 일실시예에 따른 상기 비디오 재생품질 선정기는, 수평픽셀수로 결정되는 슬라이스 크기에 기초하여, 공간 주파수에 따른 시각인식 차단 함수를 평균 공간 주파수로 평균화하여 상기 비디오 재생의 품질계층을 결정할 수 있다.
본 발명의 일실시예에 따른 상기 비디오 재생품질 선정기는, 상기 평균화된 값을 비디오 각 계층이 갖는 최대 공간 주파수를 기준으로, 상기 평균 공간 주파수와의 차이가 최소가 되는 비디오 계층을 선택하여, 상기 비디오 재생의 품질계층을 결정할 수 있다.
본 발명의 일실시예에 따른 시각인식 중심의 프로그래시브 비디오 스트리밍 방법은 사용자의 시야각 및 초점위치 중에서 적어도 하나를 포함하는 시선정보를 검출하는 단계, 상기 검출된 시선정보에 기초하여 비디오 재생의 품질계층을 결정하는 단계, 상기 검출된 시선정보에 기초하는 시각인식 우선 순위를 고려하여 비디오 데이터를 요청하여 수신하는 단계, 및 상기 수신된 비디오 데이터에서 시각이 인식하는 품질변화를 선정된 기준 이하로 줄이면서 인터랙티브 지연을 선정된 기준 이하로 줄이도록 조정하여 재생하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 상기 비디오 데이터를 요청하여 수신하는 단계는, 이용자의 시각인식 민감도에 따라 우선 순위가 높은 비디오 데이터를 먼저 보내, 상기 시각인식 민감도에 따라 재생 순서가 결정되도록 할 수 있다.
본 발명의 일실시예에 따른 상기 비디오 데이터를 요청하여 수신하는 단계는, 수평픽셀수로 결정되는 슬라이스 크기에 기초하여, 공간 주파수에 따른 시각인식 차단 함수를 평균 공간 주파수로 평균화하여 상기 비디오 재생의 품질계층을 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 상기 비디오 데이터를 요청하여 수신하는 단계는, 상기 평균화된 값을 비디오 각 계층이 갖는 최대 공간 주파수를 기준으로, 상기 평균 공간 주파수와의 차이가 최소가 되는 비디오 계층을 선택하여, 상기 비디오 재생의 품질계층을 결정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 인터랙티브 비디오 서비스에서 사용되는 채널변경과 관심시점 시청 등의 트릭모드 시 발생되는 인터랙티브 지연 때문에 사용자가 경험하게 되는 서비스의 불만족감을 줄일 수 있다.
본 발명의 일실시예에 따르면, 프로그래시브 스트리밍 방법을 통해 사용자가 체감하는 전송 지연과 비디오 품질저하를 예방할 수 있다.
본 발명의 일실시예에 따르면, 채널 수 등이 증가함에 따라 비례적으로 대역폭 낭비가 증가하는 기존의 문제점을 해결할 수 있다.
도 1은 본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치를 설명하는 블록도이다.
도 2는 최초 인터랙티브 요청 후에 비디오 데이터 버퍼링으로 인한 버퍼링 지연시간(buffering delay)을 설명하는 도면이다.
도 3 및 도 4는 본 발명의 일실시예에 따른 인터랙티브 비디오 스트리밍 시청환경을 설명하는 도면이다.
도 5는 시각인식기반 인터랙티브 지연 최소화를 위한 프로그래시브 재생 방법을 설명하는 도면이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치(100)를 설명하는 블록도이다.
본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치(100)를 이용하면, 사용자의 시청거리, 화면 선택 및 채널 전환 시 화면을 응시하는 초점위치 등을 고려하여 시각이 인식하는 비디오 품질만큼만 데이터를 전송할 수 있다.
또한, 초점중심으로부터 멀어질수록 비디오 품질분별력이 떨어지는 시각 민감도의 우선 순위에 따라 비디오 데이터를 점진적으로 수신 후 재생하는 프로그래시브 스트리밍 방법을 통해 사용자가 체감하는 전송 지연과 비디오 품질저하를 최소화가 가능하다.
뿐만 아니라, 본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치(100)를 이용하면, 채널 수 등이 증가함에 따라 비례적으로 대역폭 낭비가 증가하는 기존 방법의 문제점을 극복할 수 있는 기술적 사상을 제공할 수 있다.
이를 위해서, 본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치(100)는 프로그래시브 재생 제어기(101), 시선검출기(102), 비디오 재생품질 선정기(103), 프로그래시브 스트리밍 수신기(104), 및 시각인식중심 재생기(105)를 포함할 수 있다.
본 발명의 일실시예에 따른 프로그래시브 재생 제어기(101)는 시선검출기(102), 비디오 재생품질 선정기(103), 프로그래시브 스트리밍 수신기(104), 및 시각인식중심 재생기(105)의 모든 기능들을 제어하거나 관리할 수 있다.
본 발명의 일실시예에 따른 시선검출기(102)는 사용자의 시야각 및 초점위치 중에서 적어도 하나를 포함하는 시선정보를 검출할 수 있다.
인터랙티브 비디오 스트리밍은 사용자의 의도에 따른 인터랙션 중심으로 비디오를 수신 및 재생하는 수신장치가 핵심이다.
시각인식 중심으로 프로그래시브 스트리밍 재생이 되기 위한 구성은 사용자의 화면크기, 시청거리 등의 시청환경을 고려하여 사용자의 시선을 추적하거나 관심초점위치를 직접 선택하는 등, 시선검출기(102)를 이용하여 시선정보를 검출하여 사용자의 시야각과 초점위치를 도출할 수 있다.
본 발명의 일실시예에 따른 비디오 재생품질 선정기(103)는 상기 검출된 시선정보에 기초하여 비디오 재생의 품질계층을 결정할 수 있다.
다시 말해, 본 발명의 일실시예에 따른 비디오 재생품질 선정기(103)는 도출된 시야각, 초점위치, 및 시청환경을 기반으로 시각인식 능력 변화에 따라 인식 가능한 비디오 품질만을 골라서 재생하기 위하여 비디오 인코딩 정보를 활용하여 비디오 품질계층을 결정할 수 있다.
본 발명의 일실시예에 따른 프로그래시브 스트리밍 수신기(104)는 상기 검출된 시선정보에 기초하는 시각인식 우선 순위를 고려하여 비디오 데이터를 요청하여 수신할 수 있다.
즉, 본 발명의 일실시예에 따른 프로그래시브 스트리밍 수신기(104)는 시청거리와 초점위치에 따라 선정된 비디오 데이터를 시각인식 우선 순위에 따라 요청하여 수신할 수 있다.
본 발명의 일실시예에 따른 시각인식중심 재생기(105)는 상기 수신된 비디오 데이터에서 시각이 인식하는 품질변화를 선정된 기준 이하로 줄이면서 인터랙티브 지연을 선정된 기준 이하로 줄이도록 조정하여 재생할 수 있다.
다시 말해, 본 발명의 일실시예에 따른 시각인식중심 재생기(105)는 수신된 비디오 데이터에서 시선인식 중심으로 빠른 재생을 시작하여 시청환경 변화에 따라 지속적으로 인식품질 기준으로 조정하여 재생할 수 있다.
본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 장치(100)는 사람이 인식하는 비디오 품질 변화는 최소한으로 유지하면서 인터랙티브 지연의 최소화와 대역폭 사용효율을 향상시킬 수 있다.
도 2는 최초 인터랙티브 요청 후에 비디오 데이터 버퍼링으로 인한 버퍼링 지연시간(buffering delay)을 설명하는 도면이다.
인터랙티브 지연은 최초 인터랙티브 요청(201) 후 스트리밍 서버가 해당 비디오 데이터를 패킷화하는 패킷화 지연 시간(packetizing delay), 네트워크를 통해 비디오 데이터를 전송하는 전송지연시간(network delay), 인코딩 참조관계로 인하여 인트라 프레임부터 수신하여야 하는 GOP(Group Of Pictures)구조로 브로드캐스트 환경에서는 인트라 프레임(intraframe)을 기다리는 복호화 지연시간(GOP delay), 네트워크 지터의 변화를 완화하거나 데이터 수신 에러복구시간을 제공하기 위하여 사용되는 비디오 데이터 버퍼링으로 인한 버퍼링 지연시간(buffering delay) 합산으로 표현이 가능하다.
본 발명에서는 이러한 인터랙티브 지연시간을 최소화하기 위하여 이용자의 시청거리와 초점위치를 따라 변하는 시각인식 민감도에 따라 우선 순위가 높은 비디오 데이터를 먼저 보내어 시각인식 민감도가 큰 초점위치부터 빠르게 재생(202)하는 방법을 제공하여, 모든 비디오 데이터를 수신해야만 재생을 시작하는 기존 방법의 서비스 완료 재생시간(203)보다 빠른 재생으로 인터랙티브 지연을 줄이는 효과(204)를 제공한다.
비디오 데이터에서 시각인식에 우선되는 비디오 데이터의 순위를 선별할 때 화면을 응시하는 초점위치나 시청위치에 준하는 시각인식 능력에 따라 비디오 데이터를 선정하기 때문에 시각적으로는 품질변화를 알 수 없는 특징을 갖고 있다.
도 3 및 도 4는 본 발명의 일실시예에 따른 인터랙티브 비디오 스트리밍 시청환경을 설명하는 도면이다.
도 3에서 보는 바와 같이, 이용자(303)가 시청하는 시청환경 분석을 위한 중요한 요소는 화면(301) 크기와 시청거리(D)이다.
따라서, 화면 크기는 수평 크기 (H), 수직 크기(V)로 정의하며, 시청거리(D)는 일반적으로 D = d * V와 같이 V의 배수로 표현될 수 있다.
화면 크기(H, V)와 시청거리(H)에 따른 시야각
Figure pat00001
Figure pat00002
는 [수학식 1]로 산출될 수 있다.
[수학식 1]
Figure pat00003

이때 초점 중심으로부터 특정 지점 또는 스크린 양쪽 끝부분까지 시각이 인식하는 능력이 떨어지는 정도를 e(eccentricity) (deg)라고 정의하는데 수평축을 기준으로 인식변화를 고려한다면
Figure pat00004
라 표현이 가능하며
Figure pat00005
와 같다.
만약 수직 축을 기준으로 한다면,
Figure pat00006
Figure pat00007
라 정의할 수 있으며, 화면 크기가 동일한 경우, 시청거리에 따라
Figure pat00008
가 변하게 되는데 시청거리가 가까울수록
Figure pat00009
는 커짐을 알 수 있다.
사진기의 경우에는 대각선 기준으로 하며, 수평 축 기준과 수직 축 기준으로 시각 인식 특성을 살펴보았을 때 동일한 시각인식 특성 변화를 가지므로 본 발명에서는 이해를 돕기 위하여 수평축 기준으로 설명한다.
수평축을 기준으로 초점중심(
Figure pat00010
)이 도 4와 같이 중심인 경우 화면 끝부분으로 갈수록 시각인식능력이 떨어지는데(
Figure pat00012
), 시각인식 민감도가 떨어지는 픽셀 가로위치 별로 비디오 품질을 조정하기 위하여 한 화면을 구성하는 프레임단위의 영상을 수직의 슬라이스(302) 단위로 다종 품질로 재생이 가능하도록 인코딩해야 한다.
이 내용은 도 4 에서 보다 자세하게 설명한다.
시각인식 중 시각이 분석할 수 있는 주파수 개수로서 60cpd(cycle per degree) 이상의 공간주파수는 시각적으로 분별하기 어렵다는 이전 연구결과에 따라 측면에서 화면크기 및 해상도(비디오 품질)에 맞는 적정 시청거리를 구할 수 있고, 반대로 고정된 시청거리에서 최적의 비디오 품질이 좋은지 계산 가능하다.
즉, 정상 시력을 기준으로 최대 시각이 분별하는 공간주파수는 60cpd 이며, 1 cycle을 Nyquist 샘플링 이론에 근거하여 2 픽셀로 가정하고 Full HDTV의 경우 보통 시야각이 32도(30~33도)라고 하면 적합한 최적의 영상 해상도는 32 도 x 60 픽셀이며 가로크기가 1920 픽셀을 가진 해상도 산출이 가능하다.
현재 서비스되고 있는 HD 영상의 경우에는 가로와 세로의 비율이 16:9이므로, 1920픽셀x (9/16) = 1080 픽셀이며, 만약 60 cpd 의 시각인식 능력에 맞추어 제공 해상도를 산출한다면 Full HDTV의 두 배인 디지털 시네마 4k 급 해상도까지는 동일한 시청거리에서 인식이 가능하다고 할 수 있으며 그 이상의 해상도는 시각적으로 분별하기 어렵다.
한편 최적의 시청거리를 결정하게 되는 중요한 요소인 화면 크기이며 앞서 시야각 계산 방법에 의해 화면 크기가 대각선 기준 40인치인 경우 대략 1080p 해상도의 영상은 1.6m, 720p 해상도의 영상은 2.4m, 480p 해상도의 영상은 4.87 m가 최적의 시청거리로 산출이 가능하며, 2.4m 지점에서 시청하는 경우라면 사람의 눈은 영상품질이 1080p 인지, 720p 인지 구분할 수 없으므로 불필요하게 1080p 영상을 재생할 필요가 없어지게 된다.
따라서 본 발명에서도 시청거리에 따른 최적 해상도를 고려함으로써 더욱더 불필요한 자원낭비를 최소화할 수 있다.
앞서 설명한 바와 같이 초점중심으로부터 멀어질수록 시각이 인식하는 공간주파수의 분해능력이 떨어지므로 시각인식 민감도가 떨어진다. 이러한 시각이 인식 가능한 공간주파수를 시각인식 차단 함수(
Figure pat00013
Figure pat00014
)(304)라고 하며, 이전 연구결과에 따라 다음과 같은 [수학식 2]로 표현될 수 있다.
[수학식 2]
Figure pat00015
(cpd)
여기서, CT0는 최소 대비 임계치(minimal contrast threshold)이며, a는 공간 주파수의 감소상수(spatial frequency decay constant)를 의미한다.
e2는 반 분할(half-resolution eccentricity)이다. 이전 실험결과에 따라 a = 0.106, e2 = 2.3, 와 CT0 = 1/64 로 해석될 수 있으며, 실험환경에 따라 달라질 수 있다.
시각이 인식하는 비디오 품질만큼 비디오 데이터를 품질을 선정하기 위해서는 계층화 Simulcast 인코딩 방법이 필요하다.
도 3에서 설명한 바와 같이 수평축을 기준으로 시각인식 기준에 적응적으로 비디오 품질 및 데이터를 선정하기 위해서는 전체 프레임을 픽셀 위치별로 슬라이스 단위로 나누어야 하고, 각 슬라이스 비디오 데이터별로, 다종의 비디오 품질로 인코딩 해야만 초점위치에 따른 차단 공간주파수 변화에 맞는 최적품질 제공이 가능하다. 이 때 슬라이스 단위는 기존 표준코덱에서 제공하는 방법으로 인코딩이 가능하며 그 크기는 비디오 코딩의 매크로 블록 크기와 연관성이 높고 다양할 수 있다. 따라서 비디오 인코딩 스펙 등에서 가능한 최소단위로 슬라이스 크기로 선정하고 서비스 제공 시에는 하나 이상의 실제 슬라이스를 모아서 하나의 가상 슬라이스로 만들 수 있으므로, 슬라이스 크기 정의에 대한 유연성을 갖는 것을 특징으로 한다.
도 3에서와 같이 한 화면(301)을 구성하는 비디오 데이터는 여러 개의 슬라이스 단위(302)로 한 화면을 구성하며, 각 슬라이스 별로 다종 품질을 갖는데, 예를 들어 기본 품질(305), 중급품질(306, 309), 고급 품질(307, 309)로 나누어 각 슬라이스 위치에서 해당하는 시각인식 차단함수에 근접한 품질을 선택함으로써 시각인식기반의 비디오 품질 선택을 최적화한다.
본 발명의 프로그래시브 비디오 스트리밍 방법을 위해서는 우선적으로 시각인식 차단함수에 적합한 비디오 데이터(305, 306, 307)를 전달하여 빠른 재생이 되도록 하고, 추가적으로 필요한 비디오 데이터(308, 309)를 전달하여 본래 품질제공을 준비할 수 있다.
만약 빠른 채널전환을 하는 경우에는 시각인식품질 비디오 데이터(305, 306, 307)만 재생하고 다른 채널로 전환하면 되기 때문에 시각인식 외 비디오 데이터(308, 309)는 재생할 필요가 없다.
더욱이 초점위치가 변하지 않는 경우에는 우선 수신된 비디오 데이터(305, 306, 307)만으로도 품질변화를 인식하지 못하므로 서비스가 가능하지만, 해당 화면을 시청하는 경우에는 초점위치 변화가 발생할 것이므로 모든 비디오 품질을 전달하여 대비함이 실제 서비스 제공환경에 적합하므로, 적용 대상 서비스 시나리오에 따라 적용하는 것을 특징으로 한다.
앞서 설명한 비디오 품질 계층을 선택하는 방법은 슬라이스 크기(수평픽셀 수)에 맞춰
Figure pat00016
Figure pat00017
를
Figure pat00018
로 평균화 한 후 비디오 각 계층이 가지는 최대 공간 주파수
Figure pat00019
Figure pat00020
를 기준으로
Figure pat00021
Figure pat00022
와 차이가 최소가 되는 비디오 계층(
Figure pat00023
)을 선택한다.
이는 시각인식 변화에 최적화하는 방법으로 슬라이스 크기(수평픽셀 수)가 작을수록
Figure pat00024
Figure pat00025
와 동일할 수 있으나 비디오 인코딩의 특성과 연관이 있다. 이런 단계를 한 프레임을 구성하는 최대 슬라이스 개수(h)만큼을 반복하여 한 화면에서 시각인식 변화에 따른 비디오 계층을 선택할 수 있다.
Figure pat00026
예를 들어 도 3 에서 설명한 바와 같이 40인치 화면 크기에 시청거리 1.6m 인 지점에서 1920x1080 해상도를 가진 Full HDTV 급의 영상을 보는 경우 제공되는 최대 공간주파수는 30 cpd 이다. 이를 기준으로
Figure pat00027
Figure pat00028
또는
Figure pat00029
Figure pat00030
와 맞춘 후, 720p, 480p의 영상품질을 공간계층화 코딩방법에 따라 제공한다면, 각 계층별로 공간주파수는 20 cpd, 10 cpd로 가정할 수 있다. 물론 영상 내 물체의 움직임 정도, 원근거리에 따라 차이는 있을 수 있으나, 이는 해당 위치의 공간주파수 추출 문제에 관한 것이다.
도 5는 시각인식기반 인터랙티브 지연 최소화를 위한 프로그래시브 재생 방법을 설명하는 도면이다.
도 5에서 보는 바와 같이, 2초 분량의 비디오 데이터(405)를 버퍼링(403) 한다고 가정할 때 인터랙티브 요청(201)이 발생하면 해당 비디오 데이터들은 패킷화 지연과 전송지연시간 T를 지난 후(202) 수신된 비디오 데이터를 일정량 버퍼링 (T+2까지)을 한 후(203) T+3이 되어야 재생(204, 404)을 하는 방법이 기존 방법(401)이다.
본 발명(402)에서는 동일한 T를 지난 후 시각인식에 맞는 비디오 데이터만 선별되어 전송되므로,
Figure pat00031
으로 지연 시간이 줄어들고 동일한 대역폭에서 전송되므로 2초 분량의 적은 량의 비디오 데이터는 T+1이면 수신이 가능하므로 T+2때 재생이 가능하다. T+2의 재생하는 비디오 품질은 본래의 품질이 아니지만, 시청환경에 따른 시각인식 민감도에 맞추어 재생하기 때문에, 비디오 품질 변화를 인식하지 못한다. 따라서, 적은 비디오 데이터(406)로도 시각인식 품질은 다르지 않으면서도 대역폭 사용량은 적어서 이로 인하여 인터랙티브 지연도 최소화가 가능하다.
본 발명의 일실시예에 따른 프로그래시브 비디오 스트리밍 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일실시예에 따르면, 수신 데이터를 디지타이저로 변환하여 관측 데이터를 소프트웨어적으로 처리하게 함으로써 고해상도 및 고정밀도로 측정할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 프로그래시브 비디오 스트리밍 장치
101: 프로그래시브 재생 제어기
102: 시선 검출기
103: 비디오 재생품질 선정기
104: 프로그래시브 스트리밍 수신기
105: 시각인식중심 재생기

Claims (1)

  1. 사용자의 시야각 및 초점위치 중에서 적어도 하나를 포함하는 시선정보를 검출하는 시선검출기;
    상기 검출된 시선정보에 기초하여 비디오 재생의 품질계층을 결정하는 비디오 재생품질 선정기;
    상기 검출된 시선정보에 기초하는 시각인식 우선 순위를 고려하여 비디오 데이터를 요청하여 수신하는 프로그래시브 스트리밍 수신기; 및
    상기 수신된 비디오 데이터에서 시각이 인식하는 품질변화를 선정된 기준 이하로 줄이면서 인터랙티브 지연을 선정된 기준 이하로 줄이도록 조정하여 재생하는 시각인식중심 재생기
    를 포함하는 것을 특징으로 하는 시각인식 중심의 프로그래시브 비디오 스트리밍 장치.
KR1020110135189A 2011-12-15 2011-12-15 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법 KR101920646B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110135189A KR101920646B1 (ko) 2011-12-15 2011-12-15 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
US13/713,083 US8914817B2 (en) 2011-12-15 2012-12-13 Progressive video streaming apparatus and method based on visual perception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110135189A KR101920646B1 (ko) 2011-12-15 2011-12-15 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130068234A true KR20130068234A (ko) 2013-06-26
KR101920646B1 KR101920646B1 (ko) 2018-11-22

Family

ID=48610247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110135189A KR101920646B1 (ko) 2011-12-15 2011-12-15 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법

Country Status (2)

Country Link
US (1) US8914817B2 (ko)
KR (1) KR101920646B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628528B2 (en) 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
KR20180079189A (ko) * 2016-12-30 2018-07-10 엑시스 에이비 시선 제어된 비트 레이트

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9703355B2 (en) 2013-08-28 2017-07-11 Qualcomm Incorporated Method, devices and systems for dynamic multimedia data flow control for thermal power budgeting
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
FR3021489A1 (fr) * 2014-05-22 2015-11-27 Orange Procede de telechargement adaptatif de contenus numeriques pour plusieurs ecrans
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US10228899B2 (en) * 2017-06-21 2019-03-12 Motorola Mobility Llc Monitoring environmental noise and data packets to display a transcription of call audio
KR20200118524A (ko) 2019-04-08 2020-10-16 유홍준 능동형 동작 인식 추적 기반의 영상 처리 시스템 및 방법
US11595462B2 (en) 2019-09-09 2023-02-28 Motorola Mobility Llc In-call feedback to far end device of near end device constraints

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102049A (ja) * 2003-09-26 2005-04-14 Nippon Telegr & Teleph Corp <Ntt> ストリーミングコンテンツ配信管理システム
KR20090118860A (ko) * 2008-05-14 2009-11-18 톰슨 라이센싱 공간 주파수 해석을 이용한, 압축된 이미지를 색역 맵핑된 이미지로 처리하는 방법
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection
US20110063440A1 (en) * 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US20050281531A1 (en) * 2004-06-16 2005-12-22 Unmehopa Musa R Television viewing apparatus
JP4114676B2 (ja) * 2005-05-16 2008-07-09 船井電機株式会社 映像再生装置
KR101160261B1 (ko) 2005-06-28 2012-06-26 삼성전자주식회사 채널 전환 예측을 통한 디지털 방송 채널 전환 시간 축소장치 및 그 방법
KR20070027803A (ko) 2005-08-29 2007-03-12 주식회사 케이티 Ｉｐ기반 방송의 채널변경시 지연시간의 개선 방법
US9250703B2 (en) * 2006-03-06 2016-02-02 Sony Computer Entertainment Inc. Interface with gaze detection and voice input
JP5115150B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
KR100988282B1 (ko) 2009-02-12 2010-10-18 주식회사 바이텍앤콤 채널전환시간 동안 광고 영상을 보여주는 방송수신장치 및 이의 제어방법
US9483110B2 (en) * 2011-11-07 2016-11-01 International Business Machines Corporation Adaptive media file rewind

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102049A (ja) * 2003-09-26 2005-04-14 Nippon Telegr & Teleph Corp <Ntt> ストリーミングコンテンツ配信管理システム
KR20090118860A (ko) * 2008-05-14 2009-11-18 톰슨 라이센싱 공간 주파수 해석을 이용한, 압축된 이미지를 색역 맵핑된 이미지로 처리하는 방법
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection
US20110063440A1 (en) * 2009-09-11 2011-03-17 Neustaedter Carman G Time shifted video communications

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
고정곤외 2명, ‘시선인식 집중도 기반의 영상 품질 측정 방법’, 한국방송공학회 하계학술대회, 2011. pp. 410-412 *
논문:고정곤 외 2명 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628528B2 (en) 2013-07-19 2017-04-18 Electronics And Telecommunications Research Institute Apparatus and method for providing content
US10122778B2 (en) 2013-07-19 2018-11-06 Ideahub Apparatus and method for providing content
US10826956B2 (en) 2013-07-19 2020-11-03 Ideahub Inc. Apparatus and method for providing content
KR20180079189A (ko) * 2016-12-30 2018-07-10 엑시스 에이비 시선 제어된 비트 레이트

Also Published As

Publication number Publication date
US8914817B2 (en) 2014-12-16
KR101920646B1 (ko) 2018-11-22
US20130156407A1 (en) 2013-06-20

Similar Documents

Publication Publication Date Title
KR101920646B1 (ko) 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
Gaddam et al. Tiling in interactive panoramic video: Approaches and evaluation
US11218773B2 (en) Video delivery
JP6845808B2 (ja) 知覚体感品質推定により駆動されるスマート適応型ビデオストリーミングのための方法及びシステム
Zinner et al. Towards QoE management for scalable video streaming
Yuan et al. Spatial and temporal consistency-aware dynamic adaptive streaming for 360-degree videos
US11627343B2 (en) Adaptive coding and streaming of multi-directional video
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US20130304934A1 (en) Methods and systems for controlling quality of a media session
JP5549681B2 (ja) 動画像符号化データの表示方法、装置及び通信システム
EP2710808A1 (en) Distributing audio video content
US20120069162A1 (en) Information processing device, information processing method, reproduction device, reproduction method, and program
AU2018250308B2 (en) Video compression using down-sampling patterns in two phases
US10944981B2 (en) Method for the contextual composition of an intermediate video representation
WO2021030294A1 (en) Prediction-based dropped frame handling logic in video playback
US9247315B2 (en) Disabling of multiple bitrate algorithm for media programs while playing advertisements
WO2014066975A1 (en) Methods and systems for controlling quality of a media session
Reznik User-adaptive mobile video streaming using MPEG-DASH
Li et al. A determining method of frame rate and resolution to boost the video live qoe
KR20230065737A (ko) 미디어 서비스 버퍼링 개선 방법 및 그를 위한 장치 및 시스템
CN117795969A (zh) 用于请求瓦片流的方法和系统
KR20130068173A (ko) 공간적 트릭모드 재생 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant