RU2212114C1 - Система и способ для передачи и представления видеоданных и соответствующие им устройства - Google Patents

Система и способ для передачи и представления видеоданных и соответствующие им устройства Download PDF

Info

Publication number
RU2212114C1
RU2212114C1 RU2002100822/09A RU2002100822A RU2212114C1 RU 2212114 C1 RU2212114 C1 RU 2212114C1 RU 2002100822/09 A RU2002100822/09 A RU 2002100822/09A RU 2002100822 A RU2002100822 A RU 2002100822A RU 2212114 C1 RU2212114 C1 RU 2212114C1
Authority
RU
Russia
Prior art keywords
video data
user
data
video
communication terminal
Prior art date
Application number
RU2002100822/09A
Other languages
English (en)
Other versions
RU2002100822A (ru
Inventor
Рудольф Риттер
Эрик ЛАУПЕР
Original Assignee
Свисском Мобиле Аг
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Свисском Мобиле Аг filed Critical Свисском Мобиле Аг
Application granted granted Critical
Publication of RU2212114C1 publication Critical patent/RU2212114C1/ru
Publication of RU2002100822A publication Critical patent/RU2002100822A/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Maintenance And Management Of Digital Transmission (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

Изобретение относится к передаче и представлению видеоданных. Пользователи посредством коммуникационного оконечного устройства (КОУ) (4), в особенности мобильного КОУ (4), через телекоммуникационную сеть (3), в особенности сеть (3) мобильной радиосвязи, могут запрашивать и получать видеоданные от центральной станции (ЦС) (2) управления передачей видеоданных. При этом сигналы изображения, соответствующие принятым видеоданным, проецируются на сетчатку (С) (51) глаз пользователя виртуальным дисплеем (41) отображения изображений на сетчатку в коммуникационном оконечном устройстве (4). Текущие значения положений глаз пользователя определяются в КОУ (4) и передаются в ЦС (2) управления передачей видеоданных. ЦС (2) управления передачей видеоданных содержит модуль (22) фильтрации видеоданных, который фильтрует упомянутые видеоданные перед их передачей на основе принятых данных текущих положений глаз пользователя таким образом, что внешние области изображения, соответствующие видеоданным, которые проецируются на С (51) вне углубления (511) сетчатки, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям изображения, которые проецируются на углубление (511) С (51). Технический результат - отфильтрованные видеоданные содержат меньший объем данных, чем неотфильтрованные видеоданные. 3 с. и 13 з.п.ф-лы, 1 ил.

Description

Изобретение относится к системе и способу для передачи и представления видеоданных, а также к соответствующим им устройствам. Более конкретно, изобретение относится к системе и способу для передачи и представлению видеоданных, а также к соответствующим им устройствам согласно родовым понятиям в соответствующих независимых пунктах 1, 7, 13.
С распространением технологии Интернет все более широко стала применяться доставка видеоданных, т.е. файлов с цифровыми данными, которые с помощью соответствующих средств воспроизведения могут представляться заинтересованному пользователю в виде движущихся изображений, через сеть Интернет; загрузка этих видеоданных из сети Интернет и представление их на экране персонального компьютера или сохранение в памяти данных персонального компьютера. Чтобы сократить время передачи и объемы памяти для цифровых видеоданных, в типовом случае видеоданные сохраняются и передаются в сжатой форме и перед воспроизведением или во время воспроизведения подвергаются декомпрессии. В настоящее время имеются различные стандарты для хранения, сжатия/декомпрессии видеоданных, например, различные стандарты MPEG (Экспертная группа по движущимся изображениям). Однако значения времени передачи видеоданных рассматриваются многими пользователями как слишком большие. К тому же недостатки усматриваются в том, что особенно при одновременной загрузке и визуальном отображении видеоданных приходится обходиться постоянно инсталлированными персональными компьютерами.
В патенте США 4513317 описана система для приема и визуального представления видеоданных, в которой как телевизионная передающая камера, так и телевизионный экран видеоизображения могут работать с изменяемым высоким или низким разрешением, т. е. с переключаемым электронным лучом точного или грубого разрешения. Согласно патенту США 4513317 для телевизионного видеодисплея с помощью модуля определения положения глаз наблюдателя определяется направление визирования наблюдателя, и полученное направление визирования передается к телевизионной передающей камере. Согласно патенту США 4513317 телевизионная передающая камера с помощью средства управления камерой переводится в режим работы с повышенным разрешением в предварительно определенном диапазоне относительно точки изображения, с которой совпадает полученное направление визирования, в то время как съемка в остальных областях производится с более низким разрешением. Области с более высоким разрешением и области с более низким разрешением воспроизводятся с помощью телевизионной камеры на телевизионном видеодисплее согласно патенту США 4513317 с различными значениями напряжения в видеосигнале. На основе этих различных значений напряжения видеосигналы, принятые на телевизионном видеодисплее, воспроизводятся согласно патенту США 4513317 соответственно с более высоким или более низким разрешением.
Задачей настоящего изобретения является создание новой и улучшенной системы, нового и улучшенного способа и соответствующих устройств для передачи и представления видеоданных, которые, особенно при передаче через телекоммуникационную сеть. обеспечивают достижение более короткого времени передачи.
В соответствии с заявленным изобретением этот результат достигается посредством признаков, приведенных в первую очередь в независимых пунктах формулы изобретения. Другие предпочтительные варианты выполнения охарактеризованы в зависимых пунктах формулы изобретения и в описании.
В системе для передачи и представления видеоданных, которая содержит центральную станцию управления передачей видеоданных с коммуникационным модулем, а также телекоммуникационную сеть по меньшей мере с одним связанным с ней коммуникационным оконечным устройством, причем центральная станция управления передачей видеоданных посредством коммуникационного модуля может передавать видеоданные через телекоммуникационную сеть к коммуникационному оконечному устройству, причем это коммуникационное оконечное устройство включает в себя по меньшей мере видеодисплей, который формирует визуальное представление принятых видеоданных для пользователя коммуникационного оконечного устройства и который включает в себя модуль определения положения глаз пользователя, предназначенный для определения текущих положений глаз пользователя, причем коммуникационное оконечное устройство содержит модуль передачи обратного сообщения о положении глаз пользователя, который получаемые данные текущих положений глаз пользователя передает на центральную станцию управления передачей видеоданных, указанный результат в изобретении достигается в особенности тем, что центральная станция управления передачей видеоданных содержит банк данных и/или файловый сервер с цифровым видеоданными, видеодисплей представляет собой виртуальный дисплей отображения изображений на сетчатку, который проецирует сигналы изображения, соответствующие принятым видеоданным, на сетчатку глаз пользователя, и центральная станция управления передачей видеоданных содержит модуль фильтрации видеоданных, который фильтрует видеоданные перед их передачей на основе принятых данных текущих положений глаз пользователя таким образом, что соответствующие видеоданным внешние области изображения, которые проецируются на сетчатку вне углубления, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям изображения, которые проецируются на углубление сетчатки, и в соответствии с этим отфильтрованные видеоданные содержат меньший объем данных, чем неотфильтрованные видеоданные. Преимущество этой системы и соответствующего ей способа состоит в том, что определенное свойство человеческого глаза, а именно тот факт, что малая область сетчатки, охватывающая угол зрения величиной примерно 2o, так называемая ямка (углубление), соответствует наивысшей остроте зрения, можно использовать таким образом, что объем данных, подлежащих передаче, может быть сокращен весьма значительным образом.
В одном из вариантов осуществления телекоммуникационная сеть включает в себя мобильную сеть, например сеть мобильной радиосвязи для мобильной телефонии, такую как сеть стандарта GSM (Глобальная мобильная система связи) или UMTS (Универсальная мобильная телекоммуникационная система), а коммуникационные оконечные устройства представляют собой устройства мобильной радиосвязи, такие как мобильный телефон или портативный или карманный компьютер с телекоммуникационными функциями. Это имеет то преимущество, что мобильные пользователи получают видеоданные с центральной станции управления передачей видеоданных и могут их просматривать с помощью видеодисплея своего мобильного устройства, причем центральная станция управления передачей видеоданных не обязательно должна быть непосредственно связана с мобильной сетью, а является доступной через мобильную сеть посредством соответствующих сетевых узлов, таких как центр коммутации мобильных устройств (ЦКМ) или центр службы передачи коротких сообщений (СКС).
В одном из вариантов осуществления модуль фильтрации видеоданных имеет функцию кадрирования, которая отфильтровывает но меньшей мере некоторые видеоданные, которые соответствуют вышеупомянутым внешним областям изображения, так что область изображения, соответствующая отфильтрованным видеоданным, представляет собой сегмент, выделенный из области изображения, соответствующей неотфильтрованным данным, причем указанный сегмент содержит по меньшей мере внутреннюю область изображения. Это имеет преимущество, особенно в случае больших полных областей изображения, состоящее в том, что с высоким разрешением должны передаваться только те видеоданные, которые должны рассматриваться пользователем в деталях.
В одном из вариантов осуществления центральная станция управления передачей видеоданных содержит модуль прогнозирования, который накапливает данные положений глаз, определенные модулем определения положений глаз пользователя, и который на основе накопленных данных положений глаз пользователя прогнозирует следующее положение глаз пользователя. Это имеет то преимущество, что число обратных сообщений о положении глаз пользователя, передаваемых на центральную станцию управления передачей видеоданных, особенно при непрерывном изменении положений глаз пользователя, может быть сокращено, причем оно может быть увеличено, например, при скачкообразном изменении положений глаз пользователя. В другом варианте осуществления, при прогнозировании следующего положения глаз пользователя можно, кроме того, учесть содержание видеоданных, так чтобы, например, изменение положения глаз коррелировалось с перемещением больших и/или центральных объектов.
В одном из вариантов осуществления модуль коррекции принимает корректирующие значения от пользователя, запоминает принятые корректирующие значения и корректирует данные положений глаз пользователя, определенные модулем определения положения глаз пользователя, с помощью запомненных корректирующих значений. Это имеет то преимущество, что может устанавливаться совпадение полученных данных положений глаз пользователя с положением углубления на сетчатке пользователя, что обеспечивается тем, что корректирующие значения вводятся таким образом, что область изображения с большим разрешением действительно проектируется на углубление на сетчатке.
Ниже на примере описан возможный вариант осуществления заявленного изобретения. Пример иллюстрируется прилагаемым чертежом, на котором показана блок-схема системы, на которой схематично изображена центральная станция управления передачей видеоданных, которая через телекоммуникационную сеть связана с коммуникационным оконечным устройством, которое имеет видеодисплей, проецирующий видеоданные на сетчатку глаз пользователя.
На фиг. 1 ссылочной позицией 1 обозначена система для передачи и представления видеоданных, т.е. файлов цифровых данных, которые могут представляться заинтересованному пользователю с помощью соответствующих средств воспроизведения в виде движущегося изображения. В этой системе 1 упомянутые видеоданные запрашиваются с центральной станции 2 управления передачей видеоданных и передаются через телекоммуникационную сеть 3 в оконечное коммуникационное устройство 4, где с помощью видеодисплея 41 коммуникационного оконечного устройства 4 видеосигналы, соответствующие видеоданным, проецируются на сетчатку 51 глаза 5 пользователя коммуникационного оконечного устройства 4.
Видеодисплей 41, который может проецировать сигналы изображения непосредственно на сетчатку 51 глаза наблюдателя, т.е. так называемый виртуальный дисплей отображения изображений на сетчатку, описан в международных заявках WO 94/09472 и WO 97/37339. Такие виртуальные дисплеи отображения изображений на сетчатку могут снабжаться видеоданными через интерфейс видеоданных, например в форме сигнала RGB (красный-зеленый-синий), сигнала стандарта NTSC (Национальный комитет стандартов США по телевидению), сигнала видеографического стандарта VGA (адаптер видеографики) или другого форматированного цветного или монохроматического видеосигнала или графического сигнала. Специалисту должно быть понятно, что описанные в упомянутых международных заявках WO 94/09472 и WO 97/37339 виртуальные дисплеи отображения изображений на сетчатку и интерфейсы видеоданных можно предпочтительным образом согласовывать таким образом, чтобы можно было эффективно принимать и другие форматы телевизионных сигналов и особенно цифровых видеоданных. Посредством не изображенного на чертеже модуля интерфейса телевизионные сигналы и видеоданные могут также согласовываться соответствующим образом с интерфейсом видеосигналов, причем соответствующие принимаемые видеоданные преобразуются таким образом, что они могут подаваться на интерфейс видеосигналов.
Видеодисплей 41 и другие компоненты коммуникационного оконечного устройства 4 могут быть реализованы в общем корпусе или в отдельных корпусах, причем видеодисплей 41, размещенный в первом корпусе, например, посредством проводного или беспроводного интерфейса соединяется с компонентами во втором корпусе.
Пользователь коммуникационного оконечного устройства 4 может затребовать и получить видеоданные от центральной станции 2 управления передачей видеоданных через телекоммуникационную сеть 3. Центральная станция 2 управления передачей видеоданных основана, например, на обычном коммуникационном сервере, который имеет коммуникационный модуль 21, использующий необходимые компоненты аппаратных средств и программного обеспечения для осуществления связи через телекоммуникационную сеть 3 с коммуникационными оконечными устройствами 4. Телекоммуникационная сеть 3 включает в себя, например, стационарную сеть, такую как коммутируемая телефонная сеть общего пользования, или сеть, основанную на протоколе Интернет (IP), и/или мобильную сеть радиосвязи, такую как сеть стандарта GSM или UMTS, с которой связана центральная станция 2 управления передачей видеоданных через не показанные на чертеже сетевые узлы, такие как центр коммутации мобильных устройств (ЦКМ) или центр службы передачи коротких сообщений (СКС). В вариантах выполнения, в которых телекоммуникационная сеть 3 включает в себя мобильную сеть радиосвязи, по меньшей мере некоторые коммуникационные оконечные устройства 4 представляют собой мобильные устройства радиосвязи, такие как мобильные телефоны или портативные или карманные компьютеры с телекоммуникационными функциями, которые с использованием, например, сообщений службы коротких сообщений (СКС), сообщений неструктурированных данных дополнительных услуг (НДДУ), услуг общей пакетной радиосвязи (ОПР) или в соответствии с подходящим протоколом могут обмениваться данными по используемому каналу через мобильную сеть радиосвязи.
Команды выбора и инструкции, которые вводятся пользователем коммуникационного оконечного устройства 4 посредством его элементов 44 обслуживания и передаются на центральную станцию 2 управления передачей видеоданных через телекоммуникационную сеть 3, принимаются там коммуникационным модулем 21 и обрабатываются таким образом, что затребованные пользователем видеоданные считываются из банка данных 24 или из файлового сервера центральной станции 2 управления передачей видеоданных и через телекоммуникационную сеть 3 передаются на коммуникационное оконечное устройство 4 пользователя. Пользователь может, например, посредством программы броузера, такой как Интернет-броузер для прямого доступа к сети Интернет, или броузера протокола WAP (протокол беспроводных приложений), просмотреть заголовки видеоданных и затребовать желательные видеоданные, и например, приостановить, прокрутить назад или вперед, запустить повторно или прервать передачу желательных данных. Банк данных 24 или соответствующий файловый сервер может быть реализован совместно с другими компонентами центральной станции 2 управления передачей видеоданных на общем или отдельном компьютере. В зависимости от выполнения вышеупомянутого интерфейса видеоданных виртуального дисплея 41 отображения изображений на сетчатку коммуникационное оконечное устройство 4 может содержать вышеупомянутый (не показанный на чертеже) модуль интерфейса, который согласует видеоданные, полученные от центральной станции 2 управления передачей видеоданных, в соответствии с интерфейсом видеоданных; причем соответствующие полученные видеоданные преобразуются таким образом, чтобы они могли быть поданы на интерфейс видеоданных. Согласование видеоданных, соответствующее интерфейсу видеоданных виртуального дисплея отображения изображений на сетчатку, может также производиться на центральной станции 2 управления передачей видеоданных.
Как показано схематично на фиг.1, видеодисплей 41 содержит модуль 411 определения положения глаз пользователя, который определяет текущее положение глаз наблюдателя и передает полученные данные через вышеупомянутые интерфейсы или через дополнительный проводной или беспроводный интерфейс в модуль 42 передачи обратного сообщения о положении глаз пользователя коммуникационного оконечного устройства 4. Модуль определения положения глаз пользователя, который определяет текущее положение глаз наблюдателя на основе положения зрачка 52 глаза наблюдателя, также описан в вышеупомянутой международной заявке WO/09472 и может быть дополнительно модифицирован специалистом таким образом, чтобы полученные данные положения глаз пользователя были доступными через соответствующий интерфейс для компонентов вне видеодисплея 41. В зависимости от выполнения можно предоставлять данные для положений обоих глаз. Модуль 42 передачи обратного сообщения о положении глаз пользователя коммуникационного оконечного устройства 4, например, запрограммированный модуль программного обеспечения, выполняемый на процессоре коммуникационного оконечного устройства 4, передает полученные данные текущего положения глаз наблюдателя с помощью коммуникационных услуг коммуникационного оконечного устройства 4 через телекоммуникационную сеть 2 в центральную станцию 2 управления передачей видеоданных. В центральной станции 2 управления передачей видеоданных переданные данные текущих положений глаз пользователя, принятые от коммуникационного модуля 21, передаются на модуль 22 фильтрации видеоданных.
В модуле 22 фильтрации видеоданных, который может быть выполнен как программируемый модуль программного обеспечения и/или с использованием соответствующего процессора обработки сигнала, подлежащие передаче видеоданные, на основе принятых данных текущих положений глаз соответствующего пользователя, фильтруются таким образом, что соответствующие упомянутым видеоданным внешние области изображения, которые проецируются с помощью виртуального видеодисплея 41 отображения изображений на сетчатку 51 глаз пользователя вне зоны углубления, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям изображения, которые проецируются на углубление 511 сетчатки 51. При этом определенное свойство человеческого глаза, а именно тот факт, что малая область сетчатки, охватывающая угол зрения величиной примерно 2, так называемая ямка (углубление), соответствует наивысшей остроте зрения, можно использовать таким образом, что только области изображения, которые действительно проецируются на углубление 511, передаются с максимально детальным высоким разрешением, в то время как разрешение, соответственно детальность содержания областей изображения, которые проецируются вне углубления 511, подвергаются фильтрации, в результате чего можно весьма значительно сократить объем данных, подлежащих передаче, для отфильтрованных видеоданных по сравнению с неотфильтрованными видеоданными.
В одном из вариантов осуществления модуль 22 фильтрации видеоданных содержит функцию 221 кадрирования, которая обеспечивает такую фильтрацию видеоданных, что на основе действительного положения глаз некоторые области изображения, соответствующие видеоданным, отфильтровываются. Так, например, по меньшей мере некоторые видеоданные, которые соответствуют определенной части вышеназванных внешних областей изображения, могут отфильтровываться, так что область изображения, соответствующая отфильтрованным видеоданным, представляет собой сегмент, выделенный из области изображения, соответствующей неотфильтрованным видеоданным, причем этот сегмент содержит по меньшей мере вышеупомянутую внутреннюю область изображения. Следовательно, должны передаваться только те видеоданные, которые соответствуют областям изображения, которые рассматриваются пользователем в деталях, что, в особенности при больших полных областях изображения, весьма существенно сокращает подлежащий передаче объем данных для отфильтрованных видеоданных по сравнению с неотфильтрованными видеоданными.
Когда отфильтрованные видеоданные от центральной станции 2 управления передачей видеоданных через телекоммуникационную сеть 3 передаются к коммуникационному оконечному устройству и там с помощью виртуального дисплея 41 отображения изображений на сетчатку проецируются на сетчатку 51 глаз соответствующего пользователя, этот пользователь может вводить корректирующее воздействие, если внутренняя область изображения с высоким разрешением, соответствующая в необходимом случае высокой степени детальности содержания, проецируется не на углубление 511, т.е. когда проецируемое изображение воспринимается пользователем не как спроецированное с необходимой резкостью. Для этой цели коммуникационное оконечное устройство 4 содержит модуль коррекции, который может принимать и запоминать корректирующие значения, введенные пользователем, например, с помощью элементов 44 обслуживания, таких как клавиши управления перемещением со стрелками "влево", "вправо", "вверх" и "вниз", например, данные расстояния по горизонтали и по вертикали, и который корректирует данные положений глаз пользователя, полученные с помощью модуля 411 определения положений глаз пользователя перед передачей на центральную станцию 2 управления передачей видеоданных, так что область изображения с наибольшим разрешением и в необходимом случае с наивысшей детальностью содержания действительно проецируется на углубление 511. Тем самым полученные данные положений глаз пользователя и положение углубления 511 на сетчатке глаз пользователя индивидуально приводятся пользователем в соответствие, причем индивидуальные корректирующие значения сохраняются, например, на карте 45 с микросхемой (чип-карте) коммуникационного оконечного устройства 4, например, на SIM- карте (карте модуля идентификации абонента), которая может быть удалена из коммуникационного оконечного устройства 4. Модуль 43 коррекции представляет собой, например, программируемый модуль программного обеспечения, который может выполняться на процессоре коммуникационного оконечного устройства 4, например, на процессоре чип-карты 45 коммуникационного оконечного устройства 4.
Текущие данные положений глаз пользователя, принятые центральной станцией 2 управления передачей видеоданных и в необходимом случае скорректированные, могут сохраняться, например, с помощью модуля 23 прогнозирования. Модуль 23 прогнозирования, например, программируемый модуль программного обеспечения, определяет, исходя из последовательности данных текущих положений глаз пользователя, сохраненных в процессе работы, ожидаемое следующее положение глаз, например, с использованием подходящих функций регрессии. Тем самым можно, например, сократить количество обратных сообщений о положениях глаз пользователя, передаваемых от коммуникационного оконечного устройства 4 к центральной станции 2 управления передачей видеоданных, особенно при непрерывном изменении положения глаз пользователя. Чтобы непосредственно передать данные скачкообразных изменений положений глаз пользователя к центральной станции 2 управления передачей видеоданных, модуль 42 передачи обратных сообщений о положении глаз пользователя в коммуникационном оконечном устройстве 4 может обнаружить, например, скачкообразное различие между первым определенным положением глаз и следующим за ним вторым определенным положением глаз и, например, начиная с предварительно определенного порогового значения данные этого второго определенного положения глаз непосредственно передавать в центральную станцию 2 управления передачей видеоданных.
Еще в одном варианте модуль 23 прогнозирования при прогнозировании ожидаемых следующих положений глаз может к тому же принять во внимание содержание соответствующих видеоданных так, чтобы, например, ожидаемое изменение положения глаз коррелировалось с перемещением больших и/или центральных объектов в изображениях, соответствующих видеоданным. Для выполнения этого последнего варианта может, например, быть предпочтительным соответствующие данные анализировать в процессе работы с помощью подходящих средств обработки изображений таким образом, чтобы их содержание могло быть описано в абстрактной форме, например, с помощью обозначений объектов, векторов и/или значений координат. Такие абстрактные описания содержания могут, например, сохраняться вместе с соответствующими видеоданными в банке 24 данных и подаваться на модуль 23 прогнозирования.
Пользователю за получение видеоинформации может быть начислена оплата, например, непосредственно путем списывания суммы денежных средств с платежной чип-карты, где хранится определенная сумма предоплаты, с определенного банковского счета, с помощью кредитной карты или путем выставления счета на оплату, например, в виде части счета за телефонные услуги, причем, например, видеоинформация, получаемая за единицу времени, относящаяся к определенному разделу и/или в виде комбинации таких расчетов, может пересчитываться согласно подписке. Определенный экономический интерес может представлять продажа или сдача внаем описанных компонентов системы, например, укомплектованного коммуникационного оконечного устройства 4, набора необходимых компонентов для оснащения стандартного коммуникационного оконечного устройства таким образом, чтобы получить коммуникационное оконечное устройство 4, которое предпочтительно также содержит носитель данных с сохраненными на нем запрограммированными модулем 42 передачи обратных сообщений о положении глаз и модулем 43 коррекции или носитель данных с сохраненными на нем запрограммированными коммуникационным модулем 21, модулем 22 фильтрации видеоданных, а также модулем 23 прогнозирования, чтобы использовать обычный коммуникационный сервер, который содержит требуемые для коммуникационного модуля 21 аппаратные средства, а также банк 24 видеоданных и/или файловый сервер в качестве описанной центральной станции управления передачей видеоданных.
Список обозначений
1 - система
2 - центральная станция управления передачей видеоданных
3 - телекоммуникационная сеть (сеть мобильной радиосвязи)
4 - коммуникационное оконечное устройство
5 - глаз
21 - коммуникационный модуль
22 - модуль фильтрации видеоданных
23 - модуль прогнозирования
24 - банк видеоданных
221 - функция кадрирования
41 - дисплей видеоданных (виртуальный дисплей отображения на сетчатку)
42 - модуль передачи обратных сообщений о положении глаз
44 - элементы управления
45 - чип-карта (SIM- карта)
51 - сетчатка
52 - зрачок
411 - модуль определения положения глаз
511 - углублениео

Claims (16)

1. Система (1) для передачи и представления видеоданных, причем упомянутая система (1) содержит центральную станцию (2) управления передачей видеоданных с коммуникационным модулем (21), а также телекоммуникационную сеть (3) по меньшей мере с одним связанным с ней коммуникационным оконечным устройством, причем центральная станция (2) управления передачей видеоданных выполнена с возможностью передачи видеоданных посредством коммуникационного модуля (21) через телекоммуникационную сеть (3) к коммуникационному оконечному устройству (4), причем это коммуникационное оконечное устройство (4) включает в себя по меньшей мере видеодисплей (41), который визуально отображает принятые видеоданные для пользователя коммуникационного оконечного устройства (4) и который включает в себя модуль (411) определения положения глаз пользователя, предназначенный для определения текущих положений глаз пользователя, а коммуникационное оконечное устройство (4) содержит модуль (42) передачи обратных сообщений о положении глаз пользователя, который передает полученные текущие положения глаз пользователя на центральную станцию (2) управления передачей видеоданных, отличающаяся тем, что видеодисплей (41) представляет собой виртуальный дисплей отображения изображений на сетчатку глаз пользователя, который проецирует сигналы изображения, соответствующие принятым видеоданным, на сетчатку пользователя, центральная станция (2) управления передачей видеоданных содержит банк видеоданных и/или файловый сервер, в которых сохранены видеоданные в цифровой форме, центральная станция (2) управления передачей видеоданных содержит модуль (22) фильтрации видеоданных, который фильтрует сохраненные видеоданные перед их передачей на основе принятых текущих положений глаз пользователя таким образом, что соответствующие видеоданным внешние области изображения, которые проецируются на сетчатку (51) глаз вне углубления (511) сетчатки, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям, которые проецируются на углубление (511) сетчатки (51), и в соответствии с этим отфильтрованные видеоданные содержат меньший объем данных, чем неотфильтрованные видеоданные.
2. Система (1) по п. 1, отличающаяся тем, что телекоммуникационная сеть (3) включает в себя мобильную сеть, а коммуникационное оконечное устройство (4) представляет собой устройство мобильной радиосвязи.
3. Система (1) по п. 1 или 2, отличающаяся тем, что модуль (22) фильтрации видеоданных имеет функцию (221) кадрирования, которая отфильтровывает по меньшей мере некоторые видеоданные, которые соответствуют внешним областям изображения, так что область изображения, соответствующая отфильтрованным видеоданным, представляет собой сегмент, выделенный из области изображения, соответствующей неотфильтрованным данным, причем указанный сегмент содержит по меньшей мере внутреннюю область изображения.
4. Система (1) по любому из пп. 1-3, отличающаяся тем, что центральная станция (2) управления передачей видеоданных содержит модуль (23) прогнозирования, который накапливает данные положений глаз пользователя, определенные модулем (411) определения положений глаз пользователя, и который на основе накопленных данных положений глаз прогнозирует следующее положение глаз пользователя.
5. Система (1) по п. 4, отличающаяся тем, что модуль (23) прогнозирования прогнозирует следующее положение глаз пользователя с учетом видеоданных.
6. Система (1) по любому из пп. 1-5, отличающаяся тем, что дополнительно содержит модуль (43) коррекции, который принимает корректирующие значения от пользователя, накапливает принятые корректирующие значения и корректирует положения глаз пользователя, определенные модулем (411) определения положения глаз пользователя, с помощью накопленных корректирующих значений.
7. Способ передачи и представления видеоданных, причем в упомянутом способе видеоданные от центральной станции (2) управления передачей видеоданных через телекоммуникационную сеть (3) передаются к коммуникационному оконечному устройству (4) и там посредством дисплея (41) видеоизображений визуально отображаются для пользователя коммуникационного оконечного устройства (4), причем определяются текущие положения глаз пользователя, и полученные данные текущих положений глаз пользователя передаются на центральную станцию (2) управления передачей видеоданных, отличающийся тем, что видеоданные получают из банка видеоданных и/или файлового сервера центральной станции (2) управления передачей видеоданных, где видеоданные сохранены в цифровой форме, видеодисплей (41) проецирует сигналы изображения, соответствующие принятым видеоданным, на сетчатку (51) пользователя, видеоданные перед их передачей фильтруются в центральной станции (2) управления передачей видеоданных на основе принятых данных текущих положений глаз таким образом, что соответствующие видеоданным внешние области изображения, которые проецируются на сетчатку (51) вне углубления (511) сетчатки, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям, которые проецируются на углубление (511) сетчатки (51), и в соответствии с этим отфильтрованные видеоданные содержат меньший объем данных, чем неотфильтрованные видеоданные.
8. Способ по п. 7, отличающийся тем, что телекоммуникационная сеть (3) включает в себя мобильную сеть, а коммуникационное оконечное устройство представляет собой устройство мобильной радиосвязи.
9. Способ по п. 7 или 8, отличающийся тем, что по меньшей мере некоторые видеоданные, которые соответствуют внешним областям изображения, отфильтровываются так, что область изображения, соответствующая отфильтрованным видеоданным, представляет собой сегмент, выделенный из области изображения, соответствующей неотфильтрованным данным, причем указанный сегмент содержит по меньшей мере внутреннюю область изображения.
10. Способ по любому из пп. 7-9, отличающийся тем, что полученные данные положений глаз пользователя накапливаются в центральной станции (2) управления передачей видеоданных и на основе накопленных данных положений глаз прогнозируется следующее положение глаз пользователя.
11. Способ по п. 10, отличающийся тем, что следующее положение глаз пользователя прогнозируется с учетом видеоданных.
12. Способ по любому из пп. 7-11, отличающийся тем, что введенные пользователем корректирующие значения принимаются, принятые корректирующие значения сохраняются и полученные данные положения глаз пользователя корректируются с использованием сохраненных корректирующих значений.
13. Центральная станция (2) управления передачей видеоданных, содержащая коммуникационный модуль (21), который выполнен с возможностью приема запросов на видеоданные от коммуникационного оконечного устройства (4) и передачи затребованных видеоданных к соответствующему коммуникационному оконечному устройству (4), отличающаяся тем, что содержит банк данных (24) и/или файловый сервер, в которых сохранены видеоданные в цифровой форме, модуль (22) фильтрации видеоданных, который фильтрует видеоданные перед их передачей на основе принятых данных текущих положений глаз пользователя соответствующего коммуникационного оконечного устройства (4), причем упомянутые данные текущих положений глаз пользователя соответствующего коммуникационного оконечного устройства (4), передаваемые к центральной станции (2) управления передачей видеоданных, фильтруются таким образом, что внешние области изображения, соответствующие видеоданным, которые проецируются на сетчатку (51) вне углубления (511) сетчатки, имеют более низкое разрешение, чем видеоданные, соответствующие внутренним областям, которые проецируются на углубление (511) сетчатки (51), и в соответствии с этим отфильтрованные видеоданные содержат меньший объем данных, чем неотфильтрованные видеоданные.
14. Центральная станция (2) управления передачей видеоданных по п. 13, отличающаяся тем, что модуль (22) фильтрации видеоданных содержит функцию кадрирования (221), которая отфильтровывает по меньшей мере некоторые видеоданные, которые соответствуют внешним областям изображения, так что область изображения, соответствующая отфильтрованным видеоданным, представляет собой сегмент, выделенный из области изображения, соответствующей неотфильтрованным данным, причем указанный сегмент содержит по меньшей мере внутреннюю область изображения.
15. Центральная станция (2) управления передачей видеоданных по п. 13 или 14, отличающаяся тем, что содержит модуль (23) прогнозирования, который накапливает данные положений глаз пользователя, переданные от соответствующего коммуникационного оконечного устройства (4), и который на основе накопленных данных положений глаз пользователя прогнозирует следующее положение глаз пользователя.
16. Центральная станция (2) управления передачей видеоданных по п. 15, отличающаяся тем, что модуль (23) прогнозирования прогнозирует следующее положение глаз пользователя с учетом видеоданных.
RU2002100822/09A 1999-06-18 1999-06-18 Система и способ для передачи и представления видеоданных и соответствующие им устройства RU2212114C1 (ru)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CH1999/000267 WO2000079759A1 (de) 1999-06-18 1999-06-18 Übermittlung und darstellung von videodaten

Publications (2)

Publication Number Publication Date
RU2212114C1 true RU2212114C1 (ru) 2003-09-10
RU2002100822A RU2002100822A (ru) 2004-03-10

Family

ID=4551687

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2002100822/09A RU2212114C1 (ru) 1999-06-18 1999-06-18 Система и способ для передачи и представления видеоданных и соответствующие им устройства

Country Status (17)

Country Link
US (1) US6959450B1 (ru)
EP (1) EP1186148B1 (ru)
JP (1) JP2003502946A (ru)
CN (1) CN1143497C (ru)
AT (1) ATE229717T1 (ru)
AU (1) AU760790B2 (ru)
BR (1) BR9917384A (ru)
CA (1) CA2375840C (ru)
DE (1) DE59903793D1 (ru)
DK (1) DK1186148T3 (ru)
ES (1) ES2189425T3 (ru)
MX (1) MXPA01013083A (ru)
NO (1) NO20016016L (ru)
NZ (1) NZ516543A (ru)
PT (1) PT1186148E (ru)
RU (1) RU2212114C1 (ru)
WO (1) WO2000079759A1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2527197C2 (ru) * 2010-05-10 2014-08-27 Морфо Кардз Гмбх Телекоммуникационная чип-карта, мобильное телефонное устройство и считываемый компьютером носитель данных
RU2528008C2 (ru) * 2008-10-14 2014-09-10 Сони Корпорейшн Устройство приема информации и устройство передачи информации

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1486537A (zh) * 2001-01-16 2004-03-31 ���µ�����ҵ��ʽ���� 信号接收机、便携终端及信号接收系统
US7068813B2 (en) 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
GB0112202D0 (en) 2001-05-18 2001-07-11 Nokia Corp Charging in communication networks
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
RU2220514C2 (ru) * 2002-01-25 2003-12-27 Андрейко Александр Иванович Способ интерактивного телевидения, использующий фовеационные свойства глаз индивидуальных и групповых пользователей и защищающий видеоинформацию от несанкционированного доступа, распространения и использования
AU2003260320A1 (en) * 2002-07-31 2004-02-23 Theodor Heutschi Electronic device, in particular a mobile multimedia communications device
EP1602322A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for eye tracking latency reduction
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
WO2008134014A2 (en) 2007-04-25 2008-11-06 David Chaum Video copy prevention systems with interaction and compression
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US8990843B2 (en) * 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US9530450B2 (en) * 2014-03-18 2016-12-27 Vixs Systems, Inc. Video system with fovea tracking and methods for use therewith
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
US10129312B2 (en) * 2014-09-11 2018-11-13 Microsoft Technology Licensing, Llc Dynamic video streaming based on viewer activity
KR102269481B1 (ko) 2014-10-17 2021-06-28 삼성전자주식회사 디바이스 간에 화면 공유 방법 및 이를 이용하는 디바이스
US10205994B2 (en) * 2015-12-17 2019-02-12 The Nielsen Company (Us), Llc Methods and apparatus to collect distributed user information for media impressions
CN110574375B (zh) 2017-04-28 2023-06-02 苹果公司 视频流水线
US10979685B1 (en) 2017-04-28 2021-04-13 Apple Inc. Focusing for virtual and augmented reality systems
US10861142B2 (en) 2017-07-21 2020-12-08 Apple Inc. Gaze direction-based adaptive pre-filtering of video data
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
JP2022070719A (ja) 2020-10-27 2022-05-13 シャープ株式会社 コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US5103306A (en) * 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
US5528677A (en) * 1992-05-01 1996-06-18 Sprint Communications Company L.P. System for providing communications services in a telecommunications network
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
AUPN003894A0 (en) * 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
JP3263278B2 (ja) * 1995-06-19 2002-03-04 株式会社東芝 画像圧縮通信装置
US6373961B1 (en) * 1996-03-26 2002-04-16 Eye Control Technologies, Inc. Eye controllable screen pointer
US5701132A (en) * 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
BR9714648B1 (pt) * 1997-11-07 2010-11-03 processo para determinação da autenticidade de um usuário ou de um grupo de usuários de um aparelho terminal de comunicação, e dispositivo móvel para a telefonia por meio de rádio.
US5852489A (en) * 1997-12-23 1998-12-22 Chen; Chi Digital virtual chiasm for controlled stimulation of visual cortices
US6173069B1 (en) * 1998-01-09 2001-01-09 Sharp Laboratories Of America, Inc. Method for adapting quantization in video coding using face detection and visual eccentricity weighting
US6717578B1 (en) * 1998-02-17 2004-04-06 Sun Microsystems, Inc. Graphics system with a variable-resolution sample buffer
US6454411B1 (en) * 1998-11-17 2002-09-24 Entertainment Design Workshop Llc Method and apparatus for direct projection of an image onto a human retina

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2528008C2 (ru) * 2008-10-14 2014-09-10 Сони Корпорейшн Устройство приема информации и устройство передачи информации
RU2527197C2 (ru) * 2010-05-10 2014-08-27 Морфо Кардз Гмбх Телекоммуникационная чип-карта, мобильное телефонное устройство и считываемый компьютером носитель данных

Also Published As

Publication number Publication date
DK1186148T3 (da) 2003-03-24
AU4128999A (en) 2001-01-09
NZ516543A (en) 2002-11-26
CN1352849A (zh) 2002-06-05
JP2003502946A (ja) 2003-01-21
BR9917384A (pt) 2002-03-26
MXPA01013083A (es) 2002-12-13
WO2000079759A1 (de) 2000-12-28
ATE229717T1 (de) 2002-12-15
CN1143497C (zh) 2004-03-24
CA2375840A1 (en) 2000-12-28
RU2002100822A (ru) 2004-03-10
ES2189425T3 (es) 2003-07-01
CA2375840C (en) 2006-01-10
EP1186148B1 (de) 2002-12-11
NO20016016D0 (no) 2001-12-10
PT1186148E (pt) 2003-04-30
EP1186148A1 (de) 2002-03-13
DE59903793D1 (de) 2003-01-23
US6959450B1 (en) 2005-10-25
NO20016016L (no) 2001-12-10
AU760790B2 (en) 2003-05-22

Similar Documents

Publication Publication Date Title
RU2212114C1 (ru) Система и способ для передачи и представления видеоданных и соответствующие им устройства
JP4456791B2 (ja) 画像データを伝送するための方法
US8339480B2 (en) Mobile terminal with image magnification and image magnification controlling method of a mobile terminal
EP4037329A1 (en) Video stream processing method and apparatus, terminal device, and computer readable storage medium
CN1157951C (zh) 传输图像数据的方法及适用于此的通信终端和发送装置
EP2215843B1 (en) System and method for generating a photograph with variable image quality
US20120047233A1 (en) Apparatus and method for providing object information
EP1675390A1 (en) Terminal and method for displaying digital broadcasting channel information
JP2002359833A (ja) データ通信システムおよび送信装置、通信端末
WO2009156785A1 (en) Mobile phone with automatic selection of a preferred image from a sequence of captured images
US20020122605A1 (en) Visual terminal apparatus having a pseudo background function and method of obtaining the same
RU2215373C2 (ru) Способ, устройство для сбора данных о наблюдении видеоинформации и последующей передачи этих данных в центральное устройство обработки данных
CN114816308A (zh) 信息分区显示方法及相关设备
KR100494477B1 (ko) 이동통신단말기를 이용한 이미지사진 서비스 방법
JP2003250160A (ja) 映像コマ数削減装置および映像コマ数削減方法
CN117041725A (zh) 拍摄方法、装置和设备
CN117041657A (zh) 一种无线多屏投屏方法、系统及存储介质
CN116257195A (zh) 投屏方法、装置、存储介质及电子设备
CN113504829A (zh) 图片调节方法、系统、终端设备及计算机可读存储介质
KR100628637B1 (ko) 무선 인터넷 페이지 디스플레이 최적화 방법 및 그를이용한 무선통신 단말기
GB2418091A (en) Portable display device and video format adaptation therefore
WO2005076590A1 (en) Method and device for the transmission of images to devices provided with small displays

Legal Events

Date Code Title Description
HK4A Changes in a published invention
MM4A The patent is invalid due to non-payment of fees

Effective date: 20150619