RU2335859C2 - Устройство кодирования движущихся изображений, способ и программа управления этим устройством - Google Patents

Устройство кодирования движущихся изображений, способ и программа управления этим устройством Download PDF

Info

Publication number
RU2335859C2
RU2335859C2 RU2006126660/09A RU2006126660A RU2335859C2 RU 2335859 C2 RU2335859 C2 RU 2335859C2 RU 2006126660/09 A RU2006126660/09 A RU 2006126660/09A RU 2006126660 A RU2006126660 A RU 2006126660A RU 2335859 C2 RU2335859 C2 RU 2335859C2
Authority
RU
Russia
Prior art keywords
data
encoded
encoding
moving image
frame data
Prior art date
Application number
RU2006126660/09A
Other languages
English (en)
Other versions
RU2006126660A (ru
Inventor
Мицуру МАЕДА (JP)
Мицуру МАЕДА
Original Assignee
Кэнон Кабусики Кайся
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Кэнон Кабусики Кайся filed Critical Кэнон Кабусики Кайся
Publication of RU2006126660A publication Critical patent/RU2006126660A/ru
Application granted granted Critical
Publication of RU2335859C2 publication Critical patent/RU2335859C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

Изобретение относится к устройству кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, к способу и к программе управления этим устройством. Технический результат заключается в улучшении поиска вектора движения. На основании обнаруженной информации о движении устройство выбора выбирает из множества запоминающих устройств для кадров, предназначенных для хранения данных множества кадров, то запоминающее устройство для кадров, которое предназначено для хранения данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию. Анализатор параметров движения производит оценку вектора движения на основании данных опорного кадра, запомненных в выбранном запоминающем устройстве для кадров, и данных кадра, подлежащих кодированию. Производят кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, полученного в результате оценки, и вывод закодированных данных. 9 н. и 8 з.п. ф-лы, 13 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройству кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, к способу и к программе управления этим устройством.
УРОВЕНЬ ТЕХНИКИ
В последнее время привлекает внимание способ кодирования согласно стандарту H.264, являющийся новым способом кодирования движущихся изображений. Этот способ кодирования разработан сектором по стандартизации Международного союза электросвязи (ITU-T) в сотрудничестве с Международной организацией по стандартизации (ISO). Этот новый стандарт был принят в качестве стандарта летом 2003 года.
В отличие от обычных способов кодирования согласно стандартам MPEG-1, MPEG-2 и MPEG-4 этот новый способ кодирования имеет следующие отличительные признаки: используют преобразование в целое число блоков по 4×4 элемента и подготавливают множество внутренних предсказаний. Кроме того, используют фильтр внутреннего цикла и выполняют компенсацию движения по семи типам субблоков. К тому же, точность элементов изображения при компенсации движения является такой же, как и в способе кодирования согласно стандарту MPEG-4, то есть компенсация движения может быть выполнена с точностью, равной 1/4 элемента изображения. Кроме того, в качестве статистического кодирования использовано универсальное кодирование с переменной длиной или адаптивное к контексту кодирование с переменной длиной.
Более важным отличительным признаком является следующий. А именно, способы кодирования согласно стандартам MPEG-1, MPEG-2 и MPEG-4 выполняют компенсацию движения с использованием двух опорных изображений (кадров) до и после кадра, подлежащего кодированию. Однако в этом новом способе кодирования может быть использовано большее количество опорных изображений. Код num_ref_frames (количество_опорных_кадров), содержащийся в заголовке потока битов, может принимать, максимум, 16 значений.
В частности, при компенсации движения опорными изображениями могут именоваться 16 кадров до и после кадра, подлежащего кодированию. Обработку макроблока, подлежащего кодированию, осуществляют следующим образом. Как описано выше, для изображения, содержащего, максимум, 16 кадров, ошибку предсказания вычисляют с точностью, равной 1/4 элемента изображения, для семи типов субблоков, и выбирают тот макроблок, для которого эта ошибка предсказания является минимальной. Это значительно увеличивает эффективность кодирования.
Ниже приведено объяснение конфигурации обычного устройства кодирования движущихся изображений, использующего способ кодирования согласно стандарту H.264 со ссылкой на Фиг. 13. Эта конфигурация также объяснена в ссылке №1 ("Overview of the H.264/AVC Video Coding Standard" (IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, JULY 2003)) или в ссылке №2 ("H.264 Now Starts, Outrivaling Slow-Going MPEG-4" (Nikkei Electronics 2003.7.7, pp. 65-74)).
На Фиг. 13 изображена блок-схема, на которой показана конфигурация обычного устройства кодирования движущихся изображений.
Ввод данных об изображении в это устройство кодирования движущихся изображений осуществляют последовательно по одному макроблоку. Устройство 1000 выбора производит переключение в зависимости от того, следует ли выполнять внутреннее кодирование. Если необходимо выполнить внутреннее кодирование, то данные об изображении вводят во внутреннее предсказывающее устройство 1001. Внутреннее предсказывающее устройство 1001 выполняет предсказание в девяти режимах, и вычисляет ошибку предсказания.
Если кодирование, которое следует выполнить, не является внутренним кодированием, то данные об изображении вводят в устройство 1002 вычисления разности, в котором в качестве ошибки предсказания вычисляют отличие от прогнозируемого изображения.
Преобразователь/квантователь 1003 осуществляет преобразование вычисленной ошибки предсказания в целое число блоков по 4×4 элемента изображения и квантует полученный коэффициент. Этот квантованный коэффициент, полученный в результате квантования, подвергают кодированию с переменной длиной, которое выполняет устройство 1004 статистического кодирования, и выводят в устройство 1014 вывода. Одновременно результат квантования вводят в устройство 1005 обращения квантования/обратного преобразования для восстановления ошибки предсказания и посредством сумматора 1006 эту ошибку предсказания добавляют к предсказанному изображению. Результат, соответственно, запоминают в виде декодированного изображения в запоминающих устройствах 1007-1010 для кадров.
Анализатор 1011 параметров движения сравнивает декодированное изображение, запомненное в запоминающих устройствах 1007-1010 для кадров, с входным изображением и вычисляет вектор движения с точностью, равной 1/4 элемента изображения, для каждого субблока. Эти векторы движения и выбранные номера кадров вводят в компенсатор 1012 движения и производят загрузку опорных изображений из соответствующих запоминающих устройств для кадров. Выбирают опорное изображение, имеющее минимальную ошибку предсказания, и выводят его в качестве предсказанного изображения в устройство 1002 вычисления разности.
Векторы движения и выбранные номера кадров также вводят в устройство 1013 кодирования движения и производят их кодирование, а закодированные данные выводят в устройство 1014 вывода. Устройство 1014 вывода придает этим закодированным данным форму, соответствующую формату, и осуществляет вывод этих сформированных данных.
К сожалению, в способе кодирования, связанном с множеством кадров, например, в вышеописанном способе кодирования согласно стандарту H.264 возникает проблема, состоящая в том, что для выполнения компенсации движения производят поиск векторов движения, и объем вычислений становится огромным при увеличении количества опорных изображений.
Кроме того, в особенности в том случае, когда способ кодирования согласно стандарту H.264 используют в устройстве регистрации изображений, например в видеокамере, все изображение значительно изменяется всякий раз, когда производят панорамирование видеокамерой или ее наклон. Следовательно, несмотря на то, что уменьшается частота обращения к опорным данным об изображениях кадров, отстоящих один от другого по времени, эти данные должны быть сохранены.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Настоящее изобретение было предложено с учетом вышеописанной ситуации и его задачей является создание устройства кодирования движущихся изображений, способного эффективно использовать запоминающее устройство, используемое для кодирования движущихся изображений, и способного выполнять эффективный поиск векторов движения, а также способа и программы управления этим устройством.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания устройства кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащего средство обнаружения, предназначенное для обнаружения движения устройства регистрации изображений; множество средств хранения данных, предназначенных для хранения данных множества кадров; средство выбора, предназначенное для выбора из множества средств хранения данных на основании информации о движении, обнаруженном средством обнаружения, того средства хранения данных, которое предназначено для хранения данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; средство оценки, предназначенное для оценки вектора движения на основании данных опорного кадра, хранящихся в том средстве хранения данных, которое выбрано средством выбора, и данных кадра, подлежащим кодированию; средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена средством оценки; и средство вывода, предназначенное для вывода закодированных данных, которые закодированы средством кодирования.
В предпочтительном варианте осуществления изобретения средство обнаружения обнаруживает движение устройства регистрации изображений на основании движущегося изображения, зарегистрированного устройством регистрации изображений.
В предпочтительном варианте осуществления изобретения средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в множество средств хранения данных на основании информации о движении, обнаруженной средством обнаружения.
В предпочтительном варианте осуществления изобретения устройство дополнительно содержит средство установки, предназначенное для установки режима съемки изображений в устройстве регистрации изображений, при этом средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в множество средств хранения данных на основании режима съемки изображений, установленного средством установки.
В предпочтительном варианте осуществления изобретения средство управления прекращает подачу электропитания в те средства хранения данных, которые не выбраны средством выбора.
В предпочтительном варианте осуществления изобретения устройство дополнительно содержит средство управления диапазоном поиска, предназначенное для управления диапазоном поиска вектора движения средством оценки на основании движущегося изображения, обнаруженного средством обнаружения.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания устройства кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащего средство установки, предназначенное для установки режима съемки изображений в устройстве регистрации изображений; множество средств хранения данных, предназначенных для хранения данных множества кадров; средство выбора, предназначенное для выбора из множества средств хранения данных на основании режима съемки изображений, установленного средством установки, средства хранения данных, предназначенного для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; средство оценки, предназначенное для оценки вектора движения на основании данных опорного кадра, хранящихся в том средстве хранения данных, которое выбрано средством выбора, и данных кадра, подлежащих кодированию; средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена средством оценки; и средство вывода, предназначенное для вывода закодированных данных, которые закодированы средством кодирования.
В предпочтительном варианте осуществления изобретения средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в множество средств хранения данных.
В предпочтительном варианте осуществления изобретения средство управления прекращает подачу электропитания в те средства хранения данных, которые не выбраны средством выбора.
В предпочтительном варианте осуществления изобретения средство обнаружения обнаруживает движение устройства регистрации изображений на основании движущегося изображения, зарегистрированного устройством регистрации изображений.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания устройства кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащего средство ввода, предназначенное для ввода управляющей информации, посредством которой осуществляют управление устройством регистрации изображений; средство хранения данных, предназначенное для хранения движущегося изображения, зарегистрированного устройством регистрации изображений; средство установки, предназначенное для установки количества опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении устройства регистрации изображений, которая получена на основании управляющей информации, введенной средством ввода; средство сбора данных, предназначенное для получения данных опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено средством установки; средство оценки, предназначенное для оценки вектора движения на основании данных тех опорных кадров, которые получены средством сбора данных, и данных кадра, подлежащих кодированию; средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена средством оценки; и средство вывода, предназначенное для вывода закодированных данных, которые закодированы средством кодирования.
В предпочтительном варианте осуществления изобретения устройство дополнительно содержит средство управления диапазоном поиска, предназначенное для управления диапазоном поиска вектора движения средством оценки на основании информации о движении.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания способа управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, который содержит следующие операции: операцию обнаружения, при которой обнаруживают движение устройства регистрации изображений; операцию выбора, при которой из множества устройств хранения данных на основании информации о движении, обнаруженной при операции обнаружения, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; операцию оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию; операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания способа управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, который содержит следующие операции: операцию установки, при которой устанавливают режим съемки изображений в устройстве регистрации изображений; операцию выбора, при которой из множества устройств хранения данных на основании режима съемки изображений, установленного при операции установки, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; операцию оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию; операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания способа управления устройством кодирования движущихся изображений, содержащим устройство хранения данных, предназначенное для хранения движущегося изображения, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся в устройстве хранения данных, содержащего следующие операции: операцию ввода, при которой вводят управляющую информацию, посредством которой осуществляют управление устройством регистрации изображений; операцию установки, при которой устанавливают количество опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении устройства регистрации изображений, которая получена на основании управляющей информации, введенной при операции ввода; операцию сбора данных, при которой получают данные опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено при операции установки; операцию оценки, при которой производят оценку вектора движения на основании данных тех опорных кадров, которые получены при операции сбора данных, и данных кадра, подлежащих кодированию; операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания программы, посредством которой реализовано управление устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, и которая содержит программные коды, обеспечивающие выполнение следующих операций: операции обнаружения, при которой обнаруживают движение устройства регистрации изображений; операции выбора, при которой из множества устройств хранения данных на основании информации о движении, обнаруженной при операции обнаружения, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; операции оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию; операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания программы, посредством которой реализовано управление устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, при этом программные коды содержат программный код операции установки, при которой устанавливают режим съемки изображений в устройстве регистрации изображений; программный код операции выбора, при которой из множества устройств хранения данных на основании режима съемки изображений, установленного при операции установки, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию; программный код операции оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию; программный код операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и программный код операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Согласно настоящему изобретению вышеупомянутая задача достигнута путем создания программы, посредством которой реализовано управление устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, и которая содержит программные коды, обеспечивающие выполнение следующих операций: операции ввода, при которой вводят управляющую информацию, посредством которой осуществляют управление устройством регистрации изображений; операции установки, при которой устанавливают количество опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении устройства регистрации изображений, которая получена на основании управляющей информации, введенной при операции ввода; операции сбора данных, при которой получают данные опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено при операции установки; операции оценки, при которой производят оценку вектора движения на основании данных тех опорных кадров, которые получены при операции сбора данных, и данных кадра, подлежащих кодированию; операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
Другие отличительные признаки и преимущества настоящего изобретения станут очевидными из приведенного ниже описания при его рассмотрении совместно с сопроводительными чертежами, на всех из которых одинаковыми номерами позиций обозначены одинаковые или аналогичные элементы.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На сопроводительных чертежах, которые включены в состав описания и составляют его часть, проиллюстрированы варианты осуществления настоящего изобретения, и вместе с описанием эти чертежи служат для объяснения принципов настоящего изобретения.
На Фиг. 1 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;
на Фиг. 2 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения;
на Фиг. 3 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно второму варианту осуществления настоящего изобретения;
на Фиг. 4 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно второму варианту осуществления настоящего изобретения;
на Фиг. 5 изображена схема последовательности операций, на которой показаны подробности управления М запоминающими устройствами для кадров согласно второму варианту осуществления настоящего изобретения;
на Фиг. 6 изображена схема последовательности операций, на которой показаны подробности управления N запоминающими устройствами для кадров согласно второму варианту осуществления настоящего изобретения;
на Фиг. 7 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно третьему варианту осуществления настоящего изобретения;
на Фиг. 8 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно третьему варианту осуществления настоящего изобретения;
на Фиг. 9 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно четвертому варианту осуществления настоящего изобретения;
на Фиг. 10 показана конфигурация данных в запоминающем устройстве согласно четвертому варианту осуществления настоящего изобретения;
на Фиг. 11 изображена схема последовательности операций, на которой показана обработка данных, выполняемая устройством кодирования движущихся изображений согласно четвертому варианту осуществления настоящего изобретения;
на Фиг. 12 изображена схема последовательности операций, на которой показаны подробности обработки данных при выполнении операции S305 согласно четвертому варианту осуществления настоящего изобретения; и
на Фиг. 13 изображена блок-схема, на которой показана конфигурация обычного устройства кодирования движущихся изображений.
НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Ниже приведено подробное описание предпочтительных вариантов осуществления настоящего изобретения в соответствии с сопроводительными чертежами.
<Первый вариант осуществления изобретения>
На Фиг. 1 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения.
Приведенное ниже объяснение первого варианта осуществления изобретения изложено на примере записывающей видеокамеры в качестве устройства кодирования движущихся изображений.
В первом варианте осуществления изобретения объяснение способа кодирования, используемого устройством кодирования движущихся изображений, приведено на примере способа кодирования согласно стандарту H.264. Однако способ кодирования не ограничен этим способом. Кроме того, для упрощения объяснения в качестве примера взято прямое предсказание, в соответствии с которым ссылаются на предыдущие кадры. Кроме того, для упрощения объяснения максимальное количество опорных кадров установлено равным пяти (5), но это количество не ограничено пятью.
Со ссылкой на Фиг. 1 устройство 1 регистрации изображений осуществляет генерацию цифрового сигнала изображения во взаимодействии с оптическим устройством, состоящим из линз и т.п. Цифровой сигнал запоминают в запоминающем устройстве 2 для кадров. Устройство 3 выбора выбирает выходные данные из запоминающего устройства 2 для кадров в соответствии с тем, является ли режим кодирования внутрикадровым кодированием или межкадровым кодированием.
Внутреннее предсказывающее устройство 4 выполняет внутреннее предсказание способом кодирования согласно стандарту H.264. Устройство 5 вычисления разности вычисляет ошибку предсказания движения. Преобразователь/квантователь 6 выполняет ортогональное преобразование целочисленного типа и квантует полученный коэффициент. Устройство 10 обращения квантования/обратного преобразования выполняет обращение квантования квантованного коэффициента и выполняет ортогональное обратное преобразование целочисленного типа.
Устройство 7 статистического кодирования кодирует результат квантования, полученный из преобразователя/квантователя 6. Устройство 8 записи записывает закодированные данные на носителе 9 записи. Носитель 9 записи обеспечивает запись закодированных данных. Сумматор 11 добавляет ошибку предсказания, полученную устройством 10 обращения квантования/обратного преобразования и предсказанное значение (предсказанное изображение).
В запоминающих устройствах 12, 13, 14, 15, 16 и 17 для кадров хранят кадры локально декодированных данных об изображении. Устройство 18 выбора управляет вводом и выводом данных.
Анализатор 19 параметров движения на основании входного изображения и декодированного изображения извлекает оптимальный вектор движения из соответствующего кадра. Исходя из вектора движения, вычисленного анализатором 19 параметров движения, и соответствующей информации, содержащейся в кадре, компенсатор 20 движения осуществляет генерацию предсказанного изображения.
На основании вычисленного вектора движения и соответствующей информации, содержащейся в кадре, устройство 21 кодирования движения кодирует информацию о движении. Детектор 22 движения обнаруживает движение устройства кодирования движущихся изображений с использованием гироскопа, датчика или аналогичного устройства. Устройство 23 определения наличия движения определяет скорость движения, которое обнаружено детектором 22 движения, которым снабжено устройство кодирования движущихся изображений.
Устройство кодирования движущихся изображений, показанное на Фиг. 1, дополнительно содержит центральный процессор (ЦП), который осуществляет управление всем устройством, постоянное запоминающее устройство (ПЗУ), в котором запомнены различные управляющие программы, предназначенные для управления устройством, и оперативное запоминающее устройство (ОЗУ), которое функционирует в качестве рабочей области и области для временного хранения различных данных для выполнения различных операций управления.
Ниже приведено объяснение операции кодирования движущихся изображений, выполняемой устройством кодирования движущихся изображений, показанным на Фиг. 1.
Перед кодированием устройство 7 статистического кодирования осуществляет генерацию информации заголовка, содержащей, например, количество кадров, на которые может быть сделана ссылка, и записывает эту информацию заголовка на носителе 9 записи посредством устройства 8 записи.
Данные об изображениях кадров, зарегистрированных устройством 1 регистрации изображений, запоминают в запоминающем устройстве 2 для кадров и вводят в устройство 3 выбора. Управление операцией выбора, выполняемой устройством 3 выбора, осуществляют таким образом, что внутрикадровое кодирование выполняют в заранее заданные промежутки времени, а межкадровое кодирование выполняют в иные промежутки времени.
В приведенном ниже описании сначала изложено объяснение процедуры выполнения внутрикадрового кодирования для первого кадра в качестве начального кадра.
Ввод данных вводимого кадра осуществляют последовательно по одному макроблоку во внутреннее предсказывающее устройство 4, и внутреннее предсказывающее устройство 4 выполняет внутреннее предсказание для каждого блока. Результат предсказания вводят в преобразователя/квантователь 6, и преобразователь/квантователь 6 выполняет ортогональное преобразование целочисленного типа и квантует полученный коэффициент. Этот квантованный коэффициент вводят в качестве результата квантования в устройство 7 статистического кодирования и в устройство 10 обращения квантования/обратного преобразования.
Устройство 7 статистического кодирования выполняет статистическое кодирование введенного результата квантования и записывает закодированные данные на носитель 9 записи посредством устройства 8 записи.
Устройство 10 обращения квантования/обратного преобразования получает декодированное изображение из введенного результата квантования и вводит это декодированное изображение в сумматор 11. При внутрикадровом кодировании предсказанное изображение не используют. Следовательно, сумматор 11 добавляет предсказанное значение 0 и запоминает изображение в пустом запоминающем устройстве для кадров или в том запоминающем устройстве для кадров, в котором хранятся самые старые данные об опорных изображениях, записанных в запоминающих устройствах для кадров. В исходном состоянии в запоминающих устройствах 12 - 17 для кадров не хранятся никакие данные об изображении, поэтому изображение запоминают в запоминающем устройстве 12 для кадров.
Ниже приведено объяснение процедуры выполнения межкадрового кодирования для следующего второго кадра.
Детектор 22 движения сам обнаруживает движение устройства кодирования движущихся изображений. Например, детектор 22 движения вычисляет векторы MVx и MVy движения по вертикали и по горизонтали и определяет сумму квадратов этих векторов как величину движения устройства кодирования движущихся изображений. Устройство 23 определения наличия движения определяет, является ли величина движения устройства кодирования движущихся изображений большей, чем заранее заданное значение.
Если величина движения устройства кодирования движущихся изображений является большей, чем заранее заданное значение, то устройство 23 определения наличия движения осуществляет управление устройством 18 выбора так, что оно выбирает выходные данные из запоминающих устройств 12-17 для кадров таким образом, чтобы в качестве опорных изображений были использованы два самых новых на данный момент времени кадра из запоминающих устройств 12-17 для кадров. Если же величина движения устройства кодирования движущихся изображений является равной или меньшей, чем заранее заданное значение, то устройство 23 определения наличия движения осуществляет управление устройством 18 выбора таким образом, что оно выбирает все выходные данные из запоминающих устройств 12-17 для кадров.
Анализатор 19 параметров движения считывает содержимое выбранного запоминающее устройства для кадров и вычисляет вектор движения. Компенсатор 20 движения осуществляет генерацию предсказанного изображения и вводит это изображение в устройство 5 вычисления разности. Устройство 3 выбора выбирает устройство 5 вычисления разности в качестве выходного устройства. Устройство 5 вычисления разности вычисляет ошибку предсказания. Результат вычисления вводят в преобразователь/квантователь 6. В преобразователе/квантователе 6 выполняют ортогональное преобразование целочисленного типа и квантование полученного коэффициента. Квантованный коэффициент вводят в качестве результата квантования в устройство 7 статистического кодирования и в устройство 10 обращения квантования/обратного преобразования.
Устройство 7 статистического кодирования выполняет статистическое кодирование введенного результата квантования и записывает закодированные данные на носитель 9 записи посредством устройства 8 записи. Кроме того, устройство 21 кодирования движения кодирует вектор движения, вычисленный анализатором 19 параметров движения, и закодированные данные записывают на носитель 9 записи посредством устройства 8 записи.
Исходя из введенного результата квантования, устройство 10 обращения квантования/обратного преобразования получает ошибку предсказания и вводит ошибку предсказания в сумматор 11. Сумматор 11 суммирует предсказанное изображение (предсказанное значение), полученное из компенсатора 20 движения, с ошибкой предсказания и запоминает сумму в пустом запоминающем устройстве для кадров или в том запоминающем устройстве для кадров, в котором хранятся самые старые данные об опорных изображениях, записанные в запоминающих устройствах для кадров.
Ниже приведено описание схемы последовательности операций способа кодирования движущихся изображений в устройстве кодирования движущихся изображений согласно первому варианту осуществления изобретения со ссылкой на Фиг. 2.
На Фиг. 2 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно первому варианту осуществления настоящего изобретения.
Сначала выполняют операцию S1, при которой осуществляют генерацию и вывод информации заголовка. Выполняют операцию S2, при которой определяют, завершено ли кодирование всех кадров. Если кодирование завершено (результатом операции S2 является "ДА"), то последовательность операций завершают. Если кодирование не завершено (результатом операции S2 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S3.
При операции S3 вводят данные кадра, подлежащие кодированию. При операции S4 обнаруживают движение устройства кодирования движущихся изображений.
При операции S5 выполняют сравнение величины обнаруженного движения устройства кодирования движущихся изображений с заранее заданным значением. Если величина движения является равной или меньшей, чем заранее заданное значение (результатом операции S5 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S6, при которой устанавливают количество опорных кадров, равное М (которое в этом случае равно 5). Если же величина движения является большей, чем заранее заданное значение (результатом операции S5 является "ДА"), то в последовательности операций переходят далее к выполнению операции S7, при которой устанавливают количество опорных кадров, равное N (которое в этом случае равно 2). В этом варианте осуществления изобретения всегда справедливо условие M > N.
При выполнении операции S8 определяют режим кодирования данных кадра, подлежащих кодированию.
Если режимом кодирования является внутрикадровое кодирование, то в последовательности операций переходят далее к операции S9, при которой выполняют внутрикадровое кодирование введенных данных кадра. После этого в последовательности операций переходят далее к выполнению операции S11.
Если же режимом кодирования является межкадровое кодирование, то в последовательности операций переходят далее к операции S10, при которой выполняют межкадровое кодирование путем выполнения компенсации движения, при которой ссылаются на изображения в таком количестве запоминающих устройствах для кадров, которое равно количеству опорных кадров. После этого в последовательности операций переходят далее к выполнению операции S11.
При операции S11 декодированное изображение запоминают в пустом запоминающем устройстве для кадров или в том запоминающем устройстве для кадров из запоминающих устройств для кадров, в котором хранятся самые старые на данный момент времени данные об изображении.
Выполняют операцию S12, при которой закодированные данные записывают на носитель 9 записи. Затем в последовательности операций возвращаются к выполнению операции S2 для обработки следующего кадра.
В описанном выше первом варианте осуществления изобретения, если движение устройства регистрации изображений является значительным (быстрым), то частота обращения к опорным кадрам, отстоящим один от другого по времени, сильно уменьшается, поэтому на эти кадры не ссылаются. Это в значительной степени уменьшает объем арифметической обработки, связанной с компенсацией движения. Вследствие этого может быть увеличена скорость обработки.
В первом варианте осуществления изобретения максимальное количество опорных кадров установлено равным пяти (5). Однако, очевидно, что также существует возможность использования любого количества опорных кадров за счет использования необходимого количества запоминающих устройств для кадров.
К тому же, в первом варианте осуществления изобретения в том случае, когда движение является значительным, количество опорных кадров не ограничено вышеупомянутым количеством. Кроме того, количество выбираемых кадров также может быть переменным в соответствии с величиной движения. Например, количество кадров, на которые может быть сделана ссылка, может быть задано таким образом, что является обратно пропорциональным величине движения устройства кодирования движущихся изображений, или также может быть использован какой-либо иной критерий.
В первом варианте осуществления изобретения движение устройства 1 регистрации изображений обнаруживает детектор 22 (датчик) движения. Однако движение устройства 1 регистрации изображений может быть также обнаружено на основании введенных данных об изображении. Например, также возможен вариант, в котором обнаруживают приблизительный вектор движения путем генерации уменьшенного изображения, или вариант, в котором обнаруживают движение нескольких точек изображения и используют результаты обнаружения в качестве параметров движения устройства 1 регистрации изображений.
Объяснение первого варианта осуществления изобретения изложено таким образом, что в нем в качестве примера взято только лишь прямое предсказание. Однако, также может быть выполнено обратное предсказание или двунаправленное предсказание с использованием необходимого количества запоминающих устройств для кадров.
Конечно же, некоторые или все из различных составных частей устройства кодирования движущихся изображений согласно первому варианту осуществления изобретения также могут быть описаны как реализованные программными средствами, а обработку выполняет арифметическое устройство, например центральный процессор (ЦП).
<Второй вариант осуществления изобретения>
На Фиг. 3 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно второму варианту осуществления настоящего изобретения.
Компоненты, имеющие те же самые функции, что и в первом варианте осуществления изобретения, показанном на Фиг. 1, обозначены на Фиг. 3 теми же самыми номерами позиций, и их объяснение будет опущено.
Со ссылкой на Фиг. 3, анализатор 100 параметров движения дает ссылку на то введенное изображение и на те данные кадра, на которые может быть сделана ссылка из декодированных данных об изображении, хранящихся в запоминающих устройствах 12 - 17 для кадров, и извлекает оптимальный вектор движения из данных соответствующего кадра.
Компенсатор 101 движения осуществляет генерацию предсказанного изображения исходя из вектора движения, вычисленного анализатором 100 параметров движения и из информации соответствующего кадра. Контроллер 102 запоминающих устройств для кадров осуществляет управление запоминающими устройствами 12-17 для кадров. То есть, контроллер 102 запоминающих устройств для кадров управляет записью и считыванием, а также подачей электропитания на запоминающие устройства 12-17 для кадров.
Ниже приведено описание операции кодирования движущихся изображений, выполняемой в устройстве кодирования движущихся изображений, показанном на Фиг. 3.
Сначала, как и в первом варианте осуществления изобретения, осуществляют генерацию информации заголовка и ее запись на носитель 9 записи посредством устройства 8 записи.
Затем, как и в первом варианте осуществления изобретения, данные об изображениях, содержащихся в кадрах, которые зарегистрированы устройством 1 регистрации изображений, запоминают в запоминающем устройстве 2 для кадров и вводят в устройство 3 выбора.
В том случае, когда следует выполнить внутрикадровое кодирование, обработка данных является совершенно такой же самой, как и в первом варианте осуществления изобретения, и созданные закодированные данные записывают на носитель 9 записи посредством устройства 8 записи.
Кроме того, в соответствии с командами, поступающими из контроллера 102 запоминающих устройств для кадров, декодированное изображение запоминают в пустом запоминающем устройстве для кадров или в том запоминающем устройстве для кадров, в котором запомнены самые старые на данный момент времени данные об опорных изображениях, записанных в запоминающих устройствах для кадров. То есть, контроллер 102 запоминающих устройств для кадров подает электропитание на одно из неиспользуемых запоминающих устройств для кадров, устанавливая его в состояние, обеспечивающее возможность записи, или устанавливает запоминающее устройство для кадров, в котором хранится самый старый кадр из кадров, хранящихся в запоминающих устройствах для кадров, в состояние, обеспечивающее возможность записи.
Ниже приведено объяснение процедуры выполнения межкадрового кодирования.
Как и в первом варианте осуществления изобретения, детектор 22 движения сам обнаруживает движение устройства кодирования движущихся изображений. Например, детектор 22 движения вычисляет векторы MVx и MVy движения по вертикали и по горизонтали и определяет сумму квадратов этих векторов как величину движения устройства кодирования движущихся изображений. Устройство 23 определения наличия движения определяет, является ли величина движения устройства кодирования движущихся изображений большей, чем заранее заданное значение.
Если величина движения устройства кодирования движущихся изображений является большей, чем заранее заданное значение, то устройство 23 определения наличия движения уведомляет контроллер 102 запоминающих устройств для кадров о том, что устройство кодирования движущихся изображений совершило значительное движение. Получив это уведомление, контроллер 102 запоминающих устройств для кадров устанавливает два из запоминающих устройств 12-17 для кадров в состояние, обеспечивающее возможность считывания, и устанавливает остальные запоминающие устройства для кадров в состояние, обеспечивающее возможность записи, для того, чтобы произвести выбор выходных данных из запоминающих устройств 12-17 для кадров таким образом, чтобы два в качестве опорных изображений были выбраны два самых новых на данный момент времени кадра. Кроме того, контроллер 102 запоминающих устройств для кадров прекращает подачу электропитания на остальные запоминающие устройства для кадров.
Если же величина движения устройства кодирования движущихся изображений является равной или меньшей, чем заранее заданное значение, то устройство 23 определения наличия движения уведомляет контроллер 102 запоминающих устройств для кадров о том, что устройство кодирования движущихся изображений не совершило значительное движение. Получив это уведомление, контроллер 102 запоминающих устройств для кадров устанавливает запоминающее устройство для кадров, в котором запомнены данные кадра, в состояние, обеспечивающее возможность считывания. Кроме того, контроллер 102 запоминающих устройств для кадров подает электропитание на одно из неиспользуемых запоминающих устройств для кадров для того, чтобы установить его в состояние, обеспечивающее возможность записи, или устанавливает то запоминающее устройство для кадров, в котором хранится самый старый кадр из кадров, хранящихся в запоминающих устройствах для кадров, в состояние, обеспечивающее возможность записи.
Анализатор 100 параметров движения считывает содержимое запоминающего устройства для кадров, установленного в состояние, обеспечивающее возможность считывания, и вычисляет вектор движения. Компенсатор 101 движения осуществляет генерацию предсказанного изображения и вводит это изображение в устройство 5 вычисления разности. После этого, как и в первом варианте осуществления изобретения, выполняют межкадровое кодирование, и закодированные данные записывают на носитель 9 записи посредством устройства 8 записи.
Устройство 10 обращения квантования/обратного преобразования получает ошибку предсказания исходя из введенного результата квантования и вводит эту ошибку предсказания в сумматор 11. Сумматор 11 суммирует предсказанное изображение, полученное из компенсатора 101 движения, с ошибкой предсказания, и запоминает результат суммирования в запоминающем устройстве для кадров, которое установлено в состояние, обеспечивающее возможность записи.
Ниже приведено описание последовательности операций способа кодирования движущихся изображений, выполняемого в устройстве кодирования движущихся изображений согласно второму варианту осуществления изобретения со ссылкой на чертежи Фиг. 4-6.
На Фиг. 4 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно второму варианту осуществления настоящего изобретения.
Операции, имеющие те же самые функции, что и в первом варианте осуществления изобретения, показанном на Фиг. 2, обозначены на Фиг. 4 теми же самыми номерами позиций и их объяснение будет опущено.
Как и в первом варианте осуществления изобретения, после выполнения операций S1-S4 в том случае, если при операции S5 определено, что величина движения является равной или меньшей, чем заранее заданное значение (результатом операции S5 является "НЕТ"), то в последовательности операций переходят далее к операции S100, при которой выполняют процедуру управления М запоминающими устройствами для кадров. Если же величина движения является большей, чем заранее заданное значение (результатом операции S5 является "ДА"), то в последовательности операций переходят далее к операции S101, при которой выполняют процедуру управления N запоминающими устройствами для кадров. В этом варианте осуществления изобретения всегда справедливо условие M>N.
Ниже, со ссылкой на Фиг. 5, приведено объяснение подробностей управления М запоминающими устройствами для кадров при операции S100.
На Фиг. 5 изображена схема последовательности операций, на которой показаны подробности управления М запоминающими устройствами для кадров согласно второму варианту осуществления настоящего изобретения.
При операции S102 количество опорных кадров устанавливают равным М (которое в данном случае равно 5). При выполнении операции S103 определяют наличие/отсутствие неиспользуемых запоминающих устройств для кадров, на которые не подано электропитание и которые остаются неиспользуемыми. Если нет какого-либо неиспользуемого запоминающего устройства для кадров (результатом операции S103 является "НЕТ"), то в последовательности операций переходят далее к операции S104, при которой запоминающее устройство для кадров, в котором запомнены самые старые на данный момент времени данные об изображении (опорный кадр), устанавливают в состояние, обеспечивающее возможность записи.
В противном случае, если неиспользуемые запоминающие устройства для кадров существуют (результатом операции S103 является "ДА"), то в последовательности операций переходят далее к операции S105, при которой выбирают одно неиспользуемое запоминающее устройство для кадров и делают его пригодным для использования путем подачи на него электропитания. При выполнении операции S106 это запоминающее устройство для кадров, которое сделано пригодным для использования при операции S105, устанавливают в состояние, обеспечивающее возможность записи.
При выполнении операции S107 максимум М запоминающих устройств для кадров, начиная с того из остальных запоминающих устройств для кадров, в котором хранятся самые новые на данный момент времени данные, устанавливают в состояние, обеспечивающее возможность считывания. Таким образом, последовательность управления М запоминающими устройствами для кадров является полной и в последовательности операций переходят далее к выполнению операции S8 из Фиг. 4.
Ниже, со ссылкой на Фиг. 6, приведено объяснение подробностей управления N запоминающими устройствами для кадров при операции S101.
На Фиг. 6 изображена схема последовательности операций, на которой показаны подробности управления N запоминающими устройствами для кадров согласно второму варианту осуществления настоящего изобретения.
При выполнении операции S110 количество опорных кадров устанавливают равным N (которое в этом случае равно 2).
При выполнении операции S111 N запоминающих устройств для кадров, начиная с того из остальных запоминающих устройств для кадров, в котором хранятся самые новые на данный момент времени данные, устанавливают в состояние, обеспечивающее возможность считывания. При выполнении операции S112 одно из остальных запоминающих устройств для кадров устанавливают в состояние, обеспечивающее возможность записи.
При выполнении операции S113 прекращают подачу электропитания на оставшиеся после этого запоминающие устройства для кадров, поскольку они являются неиспользуемыми запоминающими устройствами для кадров. Таким образом, последовательность управления N запоминающими устройствами является полной и в последовательности операций переходят далее к выполнению операции S8.
Со ссылкой вновь на Фиг. 4, как и в первом варианте осуществления изобретения, после операций S8-S10 выполняют операцию S102, при которой декодированное изображение запоминают в одном из запоминающих устройств для кадров, обеспечивающем возможность записи. При выполнении операции S12 закодированные данные записывают на носитель 9 записи и в последовательности операций возвращаются к выполнению операции S2 для обработки следующего кадра.
Как описано выше, во втором варианте осуществления изобретения в дополнение к эффектам, объяснение которых приведено в первом варианте осуществления изобретения, может быть уменьшено потребление энергии за счет прекращения подачи электропитания на неиспользуемые запоминающие устройства для кадров. Следовательно, может быть обеспечено более длительное время работы устройства, в особенности в том режиме работы, в котором управление устройством осуществляют с ограничением подачи электропитания.
Во втором варианте осуществления изобретения максимальное количество опорных кадров установлено равным 5. Однако, очевидно, что также может быть использовано любое количество опорных кадров за счет использования необходимого количества запоминающих устройств для кадров.
К тому же, во втором варианте осуществления изобретения количество опорных кадров в том случае, когда движение является значительным, не ограничено вышеупомянутым количеством. Кроме того, количество выбираемых кадров также может быть переменным в соответствии с величиной движения. Например, количество кадров, на которые может быть сделана ссылка, может быть задано таким образом, что является обратно пропорциональным величине движения устройства кодирования движущихся изображений или также может быть использован какой-либо иной критерий.
Объяснение второго варианта осуществления изобретения изложено таким образом, что в нем в качестве примера взято только лишь прямое предсказание. Однако также может быть выполнено обратное предсказание или двунаправленное предсказание с использованием необходимого количества запоминающих устройств для кадров.
Конечно же, некоторые или все из различных составных частей устройства кодирования движущихся изображений согласно второму варианту осуществления изобретения также могут быть описаны как реализованные программными средствами, а обработку выполняет арифметическое устройство, например центральный процессор (ЦП).
<Третий вариант осуществления изобретения>
На Фиг. 7 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно третьему варианту осуществления настоящего изобретения.
Компоненты, имеющие те же самые функции, что и во втором варианте осуществления изобретения, показанном на Фиг. 3, обозначены на Фиг. 7 теми же самыми номерами позиций, и их объяснение будет опущено.
Со ссылкой на Фиг. 7, устройство 200 установки режима съемки изображений устанавливает режим съемки изображений в устройстве кодирования движущихся изображений. Примерами режимов съемки изображений являются следующие: "автоматический режим", являющийся стандартным, режим "спорт", предназначенный для съемки изображения объекта, имеющего высокую скорость, и режим "пейзаж", предназначенный для съемки изображений пейзажей, например гор, морей и т.п. Однако режимы съемки изображений не ограничены этими примерами.
Контроллер 201 запоминающих устройств для кадров осуществляет управление запоминающими устройствами 12-17 для кадров. В соответствии с режимом съемки изображений, контроллер 201 запоминающих устройств для кадров управляет записью и считыванием, а также подачей электропитания на запоминающие устройства 12-17 для кадров. Устройство 202 регистрации изображений может управлять выдержкой затвора, величиной диафрагмы и т.п. в соответствии с командами, поступающими из устройства 200 установки режима съемки изображений.
Ниже приведено описание операции кодирования движущихся изображений, выполняемой в устройстве кодирования движущихся изображений, показанном на Фиг. 7.
Сначала пользователь (который на чертеже не показан) перед началом съемки изображений устанавливает режим съемки изображений в устройстве 202 регистрации изображений с использованием устройства 200 установки режима съемки изображений. Данные об установленном режиме съемки изображений вводят в устройство 202 регистрации изображений и в контроллер 201 запоминающих устройств для кадров. Устройство 202 регистрации изображений выбирает и устанавливает значение выдержки затвора и значение диафрагмы, которые являются подходящими для установленного режима съемки изображений.
В том случае, когда выбран "автоматический режим", контроллер 201 запоминающих устройств для кадров устанавливает количество опорных кадров равным 3 и прекращает подачу электропитания на запоминающие устройства 16 и 17 для кадров, оставляя их неиспользуемыми. В том случае, когда выбран режим "спорт", контроллер 201 запоминающих устройств для кадров устанавливает количество опорных кадров равным 1 и прекращает подачу электропитания на запоминающие устройства 14-17 для кадров, оставляя их неиспользуемыми. В том случае, когда выбран режим "пейзаж", контроллер 201 запоминающих устройств для кадров устанавливает количество опорных кадров равным 5.
После этого выполняют внутрикадровое кодирование или межкадровое кодирование каждого кадра с использованием тех запоминающих устройств для кадров, на которые подано электропитание.
Когда следует выполнить внутрикадровое кодирование, то контроллер 201 запоминающих устройств для кадров устанавливает пустое запоминающее устройство для кадров или то запоминающее устройство для кадров, в котором хранится самый старый по порядку на данный момент времени кадр, из тех запоминающих устройств для кадров, на которые подано электропитание, в состояние, обеспечивающее возможность записи, и запоминает декодированное изображение.
Когда следует выполнить межкадровое кодирование, то контроллер 201 запоминающих устройств для кадров устанавливает пустое запоминающее устройство для кадров или то запоминающее устройство для кадров, в котором хранится самый старый по порядку на данный момент времени кадр, из тех запоминающих устройств для кадров, на которые подано электропитание, в состояние, обеспечивающее возможность записи, и устанавливает остальные запоминающие устройства для кадров в состояние, обеспечивающее возможность считывания.
Следует отметить, что при межкадровом кодировании количество опорных кадров является заданным для каждого режима съемки изображений. Следовательно, вычисление векторов движения и компенсацию движения выполняют в соответствии с количеством опорных кадров. Сгенерированные закодированные данные записывают на носитель 9 записи посредством устройства 8 записи. Декодированное изображение запоминают в запоминающих устройствах для кадров, которые установлены в состояние, обеспечивающее возможность записи.
Ниже приведено описание последовательности операций способа кодирования движущихся изображений, выполняемых в устройстве кодирования движущихся изображений согласно третьему варианту осуществления изобретения со ссылкой на Фиг. 8.
На Фиг. 8 изображена схема последовательности операций, на которой показан способ кодирования движущихся изображений, выполняемый устройством кодирования движущихся изображений согласно третьему варианту осуществления настоящего изобретения.
Операции, имеющие те же самые функции, что и в первом варианте осуществления изобретения, показанном на Фиг. 2, обозначены на Фиг. 8 теми же самыми номерами позиций, и их объяснение будет опущено.
Выполняют операцию S200, при которой устанавливают режим съемки изображений.
Сделано предположение, что на Фиг. 8 режимами съемки изображений являются следующие: режим "спорт", режим "пейзаж" и "автоматический режим".
При выполнении операции S201 определяют, является ли режимом съемки изображений режим "спорт". Если режимом съемки изображений является режим "спорт" (результатом операции S201 является "ДА"), то в последовательности операций переходят далее к выполнению операции S202, при которой устанавливают количество опорных кадров равным N (которое в этом случае равно 1). При выполнении операции S203 прекращают подачу электропитания на неиспользуемые запоминающие устройства для кадров. После этого в последовательности операций переходят далее к выполнению операции S1.
Если же при выполнении операции S201 определено, что режимом съемки изображений не является режим "спорт" (результатом операции S201 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S204, при которой определяют, является ли режимом съемки изображений режим "пейзаж". Если режимом съемки изображений является режим "пейзаж", то в последовательности операций переходят далее к выполнению операции S205, при которой устанавливают количество опорных кадров равным P (которое в этом случае равно 5). После этого в последовательности операций переходят далее к выполнению операции S1.
Если же режимом съемки изображений не является режим "пейзаж" (результатом операции S204 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S206, при которой устанавливают количество опорных кадров равным М (которое в этом случае равно 3). При выполнении операции S207 прекращают подачу электропитания на неиспользуемые запоминающие устройства для кадров. Затем в последовательности операций переходят далее к выполнению операции S1. В этом варианте осуществления изобретения всегда справедливо условие P ≥ М ≥ N.
После этого, как и в первом варианте осуществления изобретения, в последовательности операций способа выполняют операции S1-S3 и S8-S12 на основании одного из установленных значений P, М и N количества опорных кадров.
Как описано выше, в третьем варианте осуществления изобретения управление количество опорных кадров осуществляют на основании ожидаемой величины движения движущегося изображения, подлежащего кодированию, которая зависит от режима съемки изображений. Вследствие этого, может быть выполнена оптимальная обработка данных в соответствии с движением.
К тому же, поскольку количество опорных кадров является установленным заранее на основании режима съемки изображений, то может быть реализован оптимальный режим использования опорных кадров. Кроме того, может быть уменьшено потребление энергии за счет прекращения подачи электропитания на неиспользуемые запоминающие устройства для кадров. Следовательно, может быть обеспечено более длительное время работы устройства, в особенности в том режиме работы, в котором управление устройством осуществляют с ограничением подачи электропитания.
В третьем варианте осуществления изобретения максимальное количество опорных кадров установлено равным 5. Однако, очевидно, что также может быть использовано любое количество опорных кадров за счет использования необходимого количества запоминающих устройств для кадров.
К тому же, объяснение третьего варианта осуществления изобретения изложено таким образом, что в нем в качестве примера взято только лишь прямое предсказание. Однако также может быть выполнено обратное предсказание или двунаправленное предсказание с использованием необходимого количества запоминающих устройств для кадров.
Конечно же, некоторые или все из различных составных частей устройства кодирования движущихся изображений согласно третьему варианту осуществления изобретения также могут быть описаны как реализованные программными средствами, а обработку выполняет арифметическое устройство, например центральный процессор (ЦП).
<Четвертый вариант осуществления изобретения>
На Фиг. 9 изображена блок-схема, на которой показана конфигурация устройства кодирования движущихся изображений согласно четвертому варианту осуществления настоящего изобретения.
Со ссылкой на Фиг. 9, центральный процессор (ЦП) 300 осуществляет управление всем устройством и выполняет различные операции обработки. Запоминающее устройство 301 обеспечивает наличие областей памяти для операционной системы (ОС), компьютерных программ и арифметических операций, необходимых для управления этим устройством. Шина 302 связывает между собой различные компоненты, образующие устройство кодирования движущихся изображений, и обеспечивает передачу данных и управляющих сигналов.
Терминал 303 используют для приведения устройства в действие, для установки различных режимов и для выполнения команд воспроизведения. В устройстве 304 хранения данных хранят программное обеспечение. В устройстве 305 хранения данных хранят закодированные потоки. Устройства 304 и 305 хранения данных также могут представлять собой портативные носители информации, которые могут быть извлечены из устройства кодирования движущихся изображений и перенесены в другое место.
Камера 307 (устройство регистрации изображений) может осуществлять покадровую съемку движущихся изображений. Панорамная головка 306 камеры, которой снабжена камера 307, управляется компьютерной программой и имеет функцию вывода из камеры 307 на шину 302 данных об изображении, данных о состоянии камеры 307 и данных о состоянии самой панорамной головки 306 камеры.
Изображения выводят на экран видеоконтрольного устройства 308. Линия 310 связи представляет собой, например, локальную сеть (ЛС), линию связи общего пользования, канал радиосвязи или радиовещательный канал. Интерфейс 309 связи (И/Ф) осуществляет передачу и прием потоков данных по линии 310 связи.
В запоминающем устройстве 301 хранится операционная система (ОС), предназначенная для управления всем устройством и для приведения в действие компьютерных программ, а также хранятся приводимые в действие компьютерные программы. Кроме того, запоминающее устройство 301 имеет область памяти для изображений, предназначенную для хранения данных об изображении, область памяти для кода, предназначенную для хранения сгенерированных закодированных данных, и рабочую область, предназначенную для хранения, например, параметров для различных арифметических операций и кодирования.
Ниже приведено описание способа, который в описанном выше устройстве обеспечивает управление панорамной головкой 306 камеры и камерой 307 c внешнего терминала через линию 310 связи, кодирует движущееся изображение, зарегистрированное камерой 307, и осуществляет передачу закодированного движущегося изображения во внешний терминал через линию 310 связи.
В четвертом варианте осуществления изобретения объяснение способа кодирования, используемого устройством кодирования движущихся изображений, изложено на примере способа кодирования согласно стандарту H.264. Однако может быть использован любой способ кодирования при условии, что кодирование изображения осуществляют со ссылкой на два или большее количество кадров. К тому же, для упрощения объяснения ссылаются на три кадра перед кадром, подлежащим кодированию, и на три кадра после него. Однако количество опорных кадров не является ограниченным этим количеством.
Перед обработкой данных терминал 303 выдает команду "выполнить активизацию всего устройства", посредством чего инициализируют отдельные компоненты. Следовательно, компьютерные программы, запомненные в устройстве 304 хранения данных, развертывают в запоминающем устройстве 301 через шину 302 и приводят в действие.
Ниже приведено объяснение конфигурации данных в запоминающем устройстве 301 со ссылкой на Фиг. 10.
На Фиг. 10 показана конфигурация данных в запоминающем устройстве согласно четвертому варианту осуществления настоящего изобретения.
Как показано на Фиг. 10, в запоминающем устройстве 301 хранится операционная система (ОС), предназначенная для управления всем устройством в целом и для приведения в действие различных компьютерных программ, программное обеспечение кодирования движущихся изображений, предназначенное для реализации способа кодирования согласно стандарту H.264, программное обеспечение связи, предназначенное для управления связью, и программное обеспечение управления камерой, предназначенное для управления панорамной головкой 306 камеры. Запоминающее устройство 301 также имеет области 1-7 памяти для изображений, предназначенные для хранения данных об изображении, область памяти для кода, предназначенную для хранения закодированных данных, и рабочую область.
Ниже, со ссылкой на Фиг. 11, приведено объяснение способа, посредством которого центральный процессор (ЦП) 300 управляет устройством кодирования движущихся изображений, имеющим вышеописанную компоновку.
На Фиг. 11 изображена схема последовательности операций, на которой показана обработка данных, выполняемая устройством кодирования движущихся изображений согласно четвертому варианту осуществления настоящего изобретения.
Выполняют операцию S300, при которой ЦП 300 активизирует программное обеспечение управления камерой для инициализации отдельных компонентов, и начинает съемку движущихся изображений. Выполняют операцию S301, при которой ЦП 300 активизирует программное обеспечение связи для получения управляющей информации для камеры по линии 310 связи, производя тем самым подготовку к выводу закодированных данных.
Выполняют операцию S302, при которой ЦП 300 определяет, введена ли из терминала 303 команда завершения процесса. Если команда завершения введена (результатом операции S302 является "ДА"), то в последовательности операций переходят далее к выполнению операции S307 и ЦП 300 завершает программу связи. При операции S308 ЦП 300 завершает выполнение программы управления камерой и затем завершает весь процесс.
В противном случае, если при операции S302 определено, что команда завершения не введена (результатом операции S302 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S303, и ЦП 300 определяет, поступили ли на вход из линии 310 связи через интерфейс 309 связи следующие запросы: запрос на управление камерой и запрос на передачу движущегося изображения. Если такие запросы не введены (результатом операции S303 является "НЕТ"), то в последовательности операций возвращаются к выполнению операции S302, и ЦП 300 находится в режиме ожидания до тех пор, пока эти запросы не поступят на вход. Если же эти запросы введены (результатом операции S303 является "ДА"), то в последовательности операций переходят далее к выполнению операции S304.
При операции S304 ЦП 300 активизирует программное обеспечение кодирования движущихся изображений. При операции S305 ЦП 300 выполняет кодирование и передачу закодированных данных. Описание подробностей этого способа приведено ниже. Когда передача информации завершена, то в последовательности операций переходят далее к выполнению операции S306. При операции S306 ЦП 300 завершает выполнение программы кодирования. Затем в последовательности операций возвращаются к выполнению операции S302, и ЦП 300 находится в режиме ожидания следующей команды.
Ниже, со ссылкой на Фиг. 12, приведено объяснение подробностей процедуры, выполняемой при операции S305.
На Фиг. 12 изображена схема последовательности операций, на которой показаны подробности обработки данных при выполнении операции S305 согласно четвертому варианту осуществления настоящего изобретения.
Сначала выполняют операцию S351, при которой осуществляют генерацию информации заголовка и ее запоминание в области памяти для кода в запоминающем устройстве 301. При запоминании закодированных данных в области памяти для кода программа связи обеспечивает передачу данных на линию 310 связи через интерфейс 309 связи, а после передачи очищает соответствующий участок области памяти для кода. Отдельное описание передачи закодированных данных в область памяти для кода в приведенном ниже объяснении опущено.
При выполнении операции S352 ЦП 300 определяет наличие/отсутствие запроса на завершение сеанса связи. При наличии запроса на завершение сеанса связи (результатом операции S352 является "ДА") ЦП 300 завершает процесс. При отсутствии запроса на завершение сеанса связи (результатом операции S352 является "НЕТ") в последовательности операций переходят далее к выполнению операции S353.
При операции S353, в том случае, если из линии 310 связи через интерфейс 309 связи получена команда управления камерой, предназначенная для управления камерой, принята, ЦП 300 вводит команду в панорамную головку 306 камеры. На основании этой команды управления камерой панорамная головка 306 камеры выполняет, например, операции панорамирования, наклона и изменения масштаба изображения.
Выполняют операцию S354, при которой ЦП 300 осуществляет ввод данных кадра, снятых камерой 307 посредством панорамной головки 306 камеры, и сохраняет данные в области 1 памяти для изображений в запоминающем устройстве 301.
Выполняют операцию S355, при которой ЦП 300 производит сбор данных о движении камеры 307 из панорамной головки 306 камеры. То есть, после получения команды управления камерой панорамная головка 306 камеры управляет камерой 307, а данные о движении камеры 307 могут быть получены путем текущего контроля состояния двигателя или аналогичным способом. ЦП 300 записывает полученные данные в рабочей области памяти запоминающего устройства 301.
Выполняют операцию S356, при которой ЦП 300 сравнивает полученные данные (величину движения), связанные с движением камеры 307, с заранее заданным значением.
Если величина движения является равной или меньшей, чем заранее заданное значение (результатом операции S356 является "НЕТ"), то в последовательности операций переходят далее к выполнению операции S357, и ЦП 300 задает количество опорных кадров перед текущим кадром и после него равным М (которое в этом случае равно 3). Затем выполняют операцию S358, при которой ЦП 300 устанавливает значение m × m в качестве диапазона поиска векторов движения, используемого при компенсации движения, выполняемого во время межкадрового кодирования (описание которого приведено ниже). В этом случае m равно, например, тридцати двум (32) элементам изображения. После этого в последовательности операций переходят далее к выполнению операции S361.
Если же величина движения является большей, чем заранее заданное значение (результатом операции S356 является "ДА"), то в последовательности операций переходят далее к выполнению операции S359, и ЦП 300 устанавливает количество опорных кадров перед текущим кадром и после него равным N (которое в этом случае равно 1). В этом варианте осуществления изобретения всегда справедливо условие M>N. Выполняют операцию S360, при которой ЦП 300 устанавливает значение n·n в качестве диапазона поиска векторов движения, используемого при компенсации движения, выполняемого во время x как диапазон поиска векторов движения, которые будут использованы, когда компенсация движения выполнена в течение межкадрового кодирования (описание которого приведено ниже). В этом случае n равно, например, пятидесяти пяти (55) элементам изображения. После этого в последовательности операций переходят далее к выполнению операции S361.
При операции S361 ЦП 300 определяет режим кодирования данных кадра, подлежащих кодированию.
Если режимом кодирования является внутрикадровое кодирование, то в последовательности операций переходят далее к операции S362, и ЦП 300 выполняет внутрикадровое кодирование для введенных данных кадра. Затем ЦП 300 сохраняет сгенерированные закодированные данные в области памяти для кода в запоминающем устройстве 301, и в последовательности операций переходят далее к выполнению операции S364.
Если же режимом кодирования является межкадровое кодирование, то в последовательности операций переходят к выполнению операции S363, и ЦП 300 выполняет межкадровое кодирование, выполняя компенсацию движения путем поиска векторов движения в пределах заданного диапазона, ссылаясь при этом на изображение в области памяти для изображений, с использованием установленного количества опорных кадров. Затем ЦП 300 сохраняет сгенерированные закодированные данные в области памяти для кода в запоминающем устройстве 301, и в последовательности операций переходят далее к выполнению операции S364.
При операции S364 ЦП 300 сохраняет декодированное изображение в пустой области памяти для изображений или в той области памяти для изображений из областей памяти для изображений в запоминающем устройстве 301, в которой хранятся самые старые на данный момент времени данные об изображении. Выполняют операцию S365, при которой ЦП 300 осуществляет передачу закодированных данных, запомненных в области памяти для кода, в линию 310 связи через интерфейс 309 связи, и в последовательности операций возвращаются к выполнению операции S352 для обработки следующего кадра.
В описанном выше четвертом варианте осуществления изобретения, если движение устройства регистрации изображений является значительным (быстрым), то на кадры, отстоящие один от другого по времени, не ссылаются, поскольку опорная частота этих кадров сильно уменьшается. Таким образом, может быть значительно уменьшен объем арифметической обработки, связанной с компенсацией движения. Вследствие этого может быть увеличена скорость обработки.
К тому же, если движение камеры является значительным (быстрым), то точный поиск вектора движения может быть выполнен путем задания более широкого диапазона поиска вектора движения, чем в том случае, когда движение камеры является небольшим. То есть, когда количество опорных кадров уменьшено с 5 до 2, объем арифметических операций остается тем же самым даже в том случае, когда диапазон поиска вектора движения расширен до (3025 (55 × 55))/1024(32·32))1/2. Это позволяет обеспечить эффективный поиск векторов движения без увеличения нагрузки на ЦП.
В четвертом варианте осуществления изобретения опорными кадрами являются три кадра перед кадром, подлежащим кодированию, и три кадра после него. Однако, очевидно, что также может быть использовано любое количество опорных кадров путем обеспечения необходимого количества областей памяти для изображений, предназначенных для хранения опорных кадров.
В четвертом варианте осуществления изобретения передачу данных в линию 310 связи производят через интерфейс 309 связи путем активизации программы связи. Однако также может быть реализовано запоминание данных в устройстве 305 хранения данных.
Кроме того, вводимыми изображениями не обязательно должны являться зарегистрированные изображения с камеры. Также возможно использовать данные движущихся изображений, хранящиеся в устройстве 305 хранения данных, и изменять количество опорных кадров путем определения величины движения кадра. Кроме того, количество опорных кадров может также быть изменено при обнаружении смены сюжета и т.п.
Конечно же, варианты осуществления изобретения также могут быть реализованы путем свободного комбинирования конфигураций из вариантов осуществления изобретения с первого по четвертый в соответствии с областями применения или назначением.
Поскольку очевидно, что может быть реализовано множество весьма различных вариантов осуществления настоящего изобретения, не выходя за пределы его сущности и объема, то следует понимать, что настоящее изобретение не ограничено конкретными вариантами его осуществления и определяется только лишь прилагаемой формулой изобретения.
ПРИТЯЗАНИЕ НА ПРИОРИТЕТ
Эта заявка на изобретение имеет притязание на приоритет заявки на патент Японии № 2003-425826, поданной 22 декабря 2003 года, которая включена сюда путем ссылки.

Claims (17)

1. Устройство кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащее:
средство обнаружения, предназначенное для обнаружения движения устройства регистрации изображений;
множество средств хранения данных, предназначенных для хранения упомянутых данных множества кадров;
средство выбора, предназначенное для выбора из упомянутого множества средств хранения данных на основании информации о движении, обнаруженном упомянутым средством обнаружения, того средства хранения данных, которое предназначено для хранения данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
средство оценки, предназначенное для оценки вектора движения на основании данных опорного кадра, хранящихся в упомянутом средстве хранения данных, которое выбрано упомянутым средством выбора, и данных кадра, подлежащим кодированию;
средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена упомянутым средством оценки; и
средство вывода, предназначенное для вывода закодированных данных, которые закодированы упомянутым средством кодирования.
2. Устройство кодирования движущихся изображений по п.1, в котором упомянутое средство обнаружения обнаруживает движение упомянутого устройства регистрации изображений на основании движущегося изображения, зарегистрированного упомянутым устройством регистрации изображений.
3. Устройство кодирования движущихся изображений по п.1, в котором упомянутое средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в упомянутое множество средств хранения данных на основании информации о движении, обнаруженной упомянутым средством обнаружения.
4. Устройство кодирования движущихся изображений по п.1, дополнительно содержащее средство установки, предназначенное для установки режима съемки изображений в упомянутом устройстве регистрации изображений, при этом упомянутое средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в упомянутое множество средств хранения данных на основании режима съемки изображений, установленного упомянутым средством установки.
5. Устройство кодирования движущихся изображений по п.3 или 4, в котором упомянутое средство управления прекращает подачу электропитания в те средства хранения данных, которые не выбраны упомянутым средством выбора.
6. Устройство кодирования движущихся изображений по п.1, дополнительно содержащее средство управления диапазоном поиска, предназначенное для управления диапазоном поиска вектора движения упомянутым средством оценки на основании движущегося изображения, обнаруженного упомянутым средством обнаружения.
7. Устройство кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащее:
средство установки, предназначенное для установки режима съемки изображений в устройстве регистрации изображений;
множество средств хранения данных, предназначенных для хранения упомянутых данных множества кадров;
средство выбора, предназначенное для выбора из упомянутого множества средств хранения данных на основании режима съемки изображений, установленного упомянутым средством установки, средства хранения данных, предназначенного для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
средство оценки, предназначенное для оценки вектора движения на основании данных опорного кадра, хранящихся в упомянутом средстве хранения данных, которое выбрано упомянутым средством выбора, и данных кадра, подлежащих кодированию;
средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена упомянутым средством оценки; и
средство вывода, предназначенное для вывода закодированных данных, которые закодированы упомянутым средством кодирования.
8. Устройство кодирования движущихся изображений по п.7, в котором упомянутое средство выбора содержит средство управления, предназначенное для управления записью/считыванием и подачей электропитания в упомянутое множество средств хранения данных.
9. Устройство кодирования движущихся изображений по п.8, в котором упомянутое средство управления прекращает подачу электропитания в те средства хранения данных, которые не выбраны упомянутым средством выбора.
10. Устройство кодирования движущихся изображений, которое кодирует движущееся изображение путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные множества кадров в движущемся изображении, содержащее:
средство ввода, предназначенное для ввода управляющей информации, посредством которой осуществляют управление устройством регистрации изображений;
средство хранения данных, предназначенное для хранения движущегося изображения, зарегистрированного упомянутым устройством регистрации изображений;
средство установки, предназначенное для установки количества опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении упомянутого устройства регистрации изображений, которая получена на основании управляющей информации, введенной упомянутым средством ввода;
средство сбора данных, предназначенное для получения данных опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено упомянутым средством установки;
средство оценки, предназначенное для оценки вектора движения на основании данных тех опорных кадров, которые получены упомянутым средством сбора данных, и данных кадра, подлежащих кодированию;
средство кодирования, предназначенное для кодирования данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена упомянутым средством оценки; и
средство вывода, предназначенное для вывода закодированных данных, которые закодированы упомянутым средством кодирования.
11. Устройство кодирования движущихся изображений по п.10, дополнительно содержащее средство управления диапазоном поиска, предназначенное для управления диапазоном поиска вектора движения упомянутым средства оценки на основании информации о движении.
12. Способ управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, содержащий следующие операции:
операцию обнаружения, при которой обнаруживают движение устройства регистрации изображений;
операцию выбора, при которой из множества устройств хранения данных на основании информации о движении, обнаруженной при операции обнаружения, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
операцию оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию;
операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и
операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
13. Способ управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, содержащий следующие операции:
операцию установки, при которой устанавливают режим съемки изображений в устройстве регистрации изображений;
операцию выбора, при которой из множества устройств хранения данных на основании режима съемки изображений, установленного при операции установки, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
операцию оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию;
операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
14. Способ управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, содержащий следующие операции:
операцию ввода, при которой вводят управляющую информацию, посредством которой осуществляют управление устройством регистрации изображений;
операцию установки, при которой устанавливают количество опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении устройства регистрации изображений, которая получена на основании управляющей информации, введенной при операции ввода;
операцию сбора данных, при которой получают данные опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено при операции установки;
операцию оценки, при которой производят оценку вектора движения на основании данных тех опорных кадров, которые получены при операции сбора данных, и данных кадра, подлежащих кодированию;
операцию кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и
операцию вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
15. Машиночитаемый носитель, содержащий программные коды для осуществления управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, причем упомянутые программные коды, при исполнении в контроллере запоминающих устройств для кадров, обеспечивают выполнение следующих операций:
операции обнаружения, при которой обнаруживают движение устройства регистрации изображений;
операции выбора, при которой из множества устройств хранения данных на основании информации о движении, обнаруженной при операции обнаружения, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
операции оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию;
операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и
операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
16. Машиночитаемый носитель, содержащий программные коды для осуществления управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, причем упомянутые программные коды, при исполнении в контроллере запоминающих устройств для кадров, обеспечивают выполнение следующих операций:
операции установки, при которой устанавливают режим съемки изображений в устройстве регистрации изображений;
операции выбора, при которой из множества устройств хранения данных на основании режима съемки изображений, установленного при операции установки, выбирают устройство хранения данных, предназначенное для хранения тех данных опорного кадра, на которые ссылаются при кодировании данных кадра, подлежащих кодированию;
операции оценки, при которой производят оценку вектора движения на основании данных опорного кадра, хранящихся в устройстве хранения данных, выбранном при операции выбора, и данных кадра, подлежащих кодированию;
операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и
операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
17. Машиночитаемый носитель, содержащий программные коды для осуществления управления устройством кодирования движущихся изображений, содержащим множество устройств хранения данных, предназначенных для хранения данных множества кадров в движущемся изображении, и осуществляющим кодирование движущегося изображения путем выполнения компенсации движения для данных кадра, подлежащих путем выполнения компенсации движения для данных кадра, подлежащих кодированию, посредством ссылки на данные кадров, хранящиеся во множестве устройств хранения данных, причем упомянутые программные коды, при исполнении в контроллере запоминающих устройств для кадров, обеспечивают выполнение следующих операций:
операции ввода, при которой вводят управляющую информацию, посредством которой осуществляют управление устройством регистрации изображений;
операции установки, при которой устанавливают количество опорных кадров с данными, на которые ссылаются при кодировании данных кадра, подлежащих кодированию, на основании информации о движении устройства регистрации изображений, которая получена на основании управляющей информации, введенной при операции ввода;
операции сбора данных, при которой получают данные опорных кадров, соответствующих тому количеству опорных кадров с данными, которое установлено при операции установки;
операции оценки, при которой производят оценку вектора движения на основании данных тех опорных кадров, которые получены при операции сбора данных, и данных кадра, подлежащих кодированию;
операции кодирования, при которой осуществляют кодирование данных кадра, подлежащих кодированию, с использованием вектора движения, оценка которого произведена при операции оценки; и
операции вывода, при которой осуществляют вывод закодированных данных, которые закодированы при операции кодирования.
RU2006126660/09A 2003-12-22 2004-12-08 Устройство кодирования движущихся изображений, способ и программа управления этим устройством RU2335859C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-425826 2003-12-22
JP2003425826A JP4591657B2 (ja) 2003-12-22 2003-12-22 動画像符号化装置及びその制御方法、プログラム

Publications (2)

Publication Number Publication Date
RU2006126660A RU2006126660A (ru) 2008-01-27
RU2335859C2 true RU2335859C2 (ru) 2008-10-10

Family

ID=34708832

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006126660/09A RU2335859C2 (ru) 2003-12-22 2004-12-08 Устройство кодирования движущихся изображений, способ и программа управления этим устройством

Country Status (7)

Country Link
US (1) US8064521B2 (ru)
EP (1) EP1700481B1 (ru)
JP (1) JP4591657B2 (ru)
KR (1) KR100808717B1 (ru)
CN (1) CN100508613C (ru)
RU (1) RU2335859C2 (ru)
WO (1) WO2005062624A1 (ru)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630351B2 (en) 2010-01-14 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector
RU2509438C2 (ru) * 2009-05-29 2014-03-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2528144C1 (ru) * 2010-07-15 2014-09-10 Кабусики Кайся Тосиба Способ кодирования изображения и способ декодирования изображения
RU2542943C2 (ru) * 2010-07-30 2015-02-27 Сони Корпорейшн Съемочное устройство, система камеры, устройство управления и программа
RU2550526C2 (ru) * 2010-11-23 2015-05-10 МедиаТек, Инк. Способ и устройство для предсказания вектора движения в трехмерном пространстве
RU2553062C2 (ru) * 2009-06-19 2015-06-10 Франс Телеком Способ и устройство кодирования и декодирования информации изображений
RU2586017C2 (ru) * 2011-01-31 2016-06-10 Электроникс Энд Телекоммьюникейшнз Рисерч Инститьют Способ и устройство для кодирования/декодирования изображений с использованием вектора движения
RU2598302C2 (ru) * 2011-12-16 2016-09-20 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
RU2601134C2 (ru) * 2010-03-17 2016-10-27 Нтт Докомо, Инк. Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
RU2609083C2 (ru) * 2011-10-28 2017-01-30 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
RU2623884C2 (ru) * 2012-04-11 2017-06-29 Квэлкомм Инкорпорейтед Группирование элементов синтаксиса с кодированием в режиме обхода в кодировании видео
US9699474B2 (en) 2011-10-28 2017-07-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
RU2630180C1 (ru) * 2011-10-18 2017-09-05 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
RU2666275C1 (ru) * 2017-11-13 2018-09-06 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ кодирования движущегося изображения, долговременный считываемый компьютером носитель записи, на который записана программа кодирования изображения
RU2683495C1 (ru) * 2014-01-03 2019-03-28 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Нововведения в предсказание блочных векторов и оценку восстановленных значений отсчетов в области перекрытия
RU2694442C1 (ru) * 2012-03-28 2019-07-15 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования изображения и способ декодирования изображения
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4570532B2 (ja) * 2005-08-02 2010-10-27 パナソニック株式会社 動き検出装置、動き検出方法、集積回路およびプログラム
CN100576919C (zh) * 2006-08-08 2009-12-30 佳能株式会社 运动矢量检测设备及运动矢量检测方法
JP4804423B2 (ja) * 2006-08-08 2011-11-02 キヤノン株式会社 動きベクトル検出装置及び動きベクトル検出方法
US7777751B2 (en) * 2006-11-27 2010-08-17 Lsi Corporation Tiled memory array for full search motion estimation
JP4842899B2 (ja) * 2007-08-15 2011-12-21 Ｋｄｄｉ株式会社 動画像符号化装置、動画像符号化方法およびプログラム
KR100930163B1 (ko) 2007-11-29 2009-12-07 주식회사 창해에너지어링 섬광 검출 인코딩 방법
US20090180701A1 (en) * 2008-01-10 2009-07-16 Seungyeob Choi Video Data Encoding System
US20090238268A1 (en) * 2008-03-20 2009-09-24 Mediatek Inc. Method for video coding
KR100939280B1 (ko) * 2008-06-02 2010-01-28 한양대학교 산학협력단 다중 참조 프레임을 이용한 비디오 부호화 방법 및 그방법이 기록된 컴퓨터로 판독 가능한 기록매체
KR100989003B1 (ko) * 2008-08-14 2010-10-20 연세대학교 산학협력단 다중 참조 프레임에 대한 움직임 예측 방법 및 시스템
KR101483459B1 (ko) 2008-09-03 2015-01-16 동부대우전자 주식회사 방송 수신 장치 및 그의 방송 프로그램 재생 방법
JP5163409B2 (ja) * 2008-10-03 2013-03-13 ソニー株式会社 撮像装置、撮像方法、およびプログラム
CN103609119A (zh) * 2010-02-23 2014-02-26 日本电信电话株式会社 运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序
CN102823248B (zh) 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
CN103813163B (zh) * 2010-04-08 2017-03-01 株式会社东芝 图像解码方法以及图像解码装置
KR20150106413A (ko) * 2013-01-08 2015-09-21 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP6234188B2 (ja) * 2013-11-27 2017-11-22 シャープ株式会社 翻訳表示装置、翻訳表示方法、および制御プログラム
KR102264840B1 (ko) * 2014-11-27 2021-06-15 삼성전자주식회사 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치
EP3207708B1 (en) * 2015-07-31 2021-10-13 SZ DJI Technology Co., Ltd. Method and system of modifying search areas
EP3214833B1 (en) * 2016-03-01 2018-02-28 Axis AB A method and device for controlling a camera capable of pan and tilt control
EP3767949A4 (en) * 2018-03-15 2021-01-20 Sony Corporation DEVICE AND METHOD FOR PROCESSING AN IMAGE
CN113438476B (zh) * 2021-08-26 2022-01-25 杭州博雅鸿图视频技术有限公司 视频编码方法、系统及存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473379A (en) * 1993-11-04 1995-12-05 At&T Corp. Method and apparatus for improving motion compensation in digital video coding
KR0164074B1 (ko) * 1995-12-29 1998-12-15 김주용 전원공급장치의 동작 제어회로
JP3628810B2 (ja) * 1996-06-28 2005-03-16 三菱電機株式会社 画像符号化装置
JP2861971B2 (ja) * 1996-10-28 1999-02-24 日本電気株式会社 動ベクトル予測装置
FR2756399B1 (fr) 1996-11-28 1999-06-25 Thomson Multimedia Sa Procede et dispositif de compression video pour images de synthese
JP3592025B2 (ja) 1997-03-11 2004-11-24 キヤノン株式会社 撮影画像記録装置
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
JP3588564B2 (ja) * 1999-03-31 2004-11-10 株式会社東芝 映像データ記録装置
JP3531532B2 (ja) * 1999-05-18 2004-05-31 日本電気株式会社 動画像符号化装置、及び方法
JP4181705B2 (ja) 1999-09-14 2008-11-19 キヤノン株式会社 撮像装置、画像処理方法、及びコンピュータ読み取り可能な記憶媒体
KR100683849B1 (ko) * 2000-06-28 2007-02-15 삼성전자주식회사 디지털 영상 안정화기능을 갖는 디코더 및 디지털영상안정화방법
US6983388B2 (en) 2000-10-25 2006-01-03 Agere Systems Inc. Method and apparatus for reducing leakage power in a cache memory by using a timer control signal that removes power to associated cache lines
US6782052B2 (en) 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
JP4119269B2 (ja) 2002-02-01 2008-07-16 松下電器産業株式会社 動画像符号化方法および動画像復号化方法
EP1765019B1 (en) * 2002-02-01 2008-01-16 Matsushita Electric Industrial Co., Ltd. Moving picture coding method and moving picture coding apparatus
JP2004221744A (ja) 2003-01-10 2004-08-05 Nippon Hoso Kyokai <Nhk> 動画像符号化装置、その方法及びそのプログラム、並びに、動画像復号装置、その方法及びそのプログラム
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US7529417B2 (en) * 2004-07-09 2009-05-05 Canon Kabushiki Kaisha Apparatus, method and storage medium for image encoding/decoding using shape-based coefficient interpolation

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2546325C2 (ru) * 2009-05-29 2015-04-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2509438C2 (ru) * 2009-05-29 2014-03-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2571596C1 (ru) * 2009-05-29 2015-12-20 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
RU2553062C2 (ru) * 2009-06-19 2015-06-10 Франс Телеком Способ и устройство кодирования и декодирования информации изображений
US8861609B2 (en) 2010-01-14 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by obtaining motion vector predictor candidate using co-located block
US9106924B2 (en) 2010-01-14 2015-08-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
US8630351B2 (en) 2010-01-14 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector
US8861608B2 (en) 2010-01-14 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by obtaining motion vector predictor candidate using co-located block
US8861610B2 (en) 2010-01-14 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by obtaining motion vector predictor candidate using co-located block
US8867621B2 (en) 2010-01-14 2014-10-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by obtaining motion vector predictor candidate using co-located block
RU2530252C1 (ru) * 2010-01-14 2014-10-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования и декодирования вектора движения
US8995529B2 (en) 2010-01-14 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
RU2513707C1 (ru) * 2010-01-14 2014-04-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования и декодирования вектора движения
US9131237B2 (en) 2010-01-14 2015-09-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
RU2514929C2 (ru) * 2010-01-14 2014-05-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования и декодирования вектора движения
RU2601134C2 (ru) * 2010-03-17 2016-10-27 Нтт Докомо, Инк. Устройство кодирования движущегося изображения с предсказанием, способ кодирования движущегося изображения с предсказанием, программа кодирования движущегося изображения с предсказанием, устройство декодирования движущегося изображения с предсказанием, способ декодирования движущегося изображения с предсказанием и программа декодирования движущегося изображения с предсказанием
RU2528144C1 (ru) * 2010-07-15 2014-09-10 Кабусики Кайся Тосиба Способ кодирования изображения и способ декодирования изображения
RU2542943C2 (ru) * 2010-07-30 2015-02-27 Сони Корпорейшн Съемочное устройство, система камеры, устройство управления и программа
RU2550526C2 (ru) * 2010-11-23 2015-05-10 МедиаТек, Инк. Способ и устройство для предсказания вектора движения в трехмерном пространстве
RU2586017C2 (ru) * 2011-01-31 2016-06-10 Электроникс Энд Телекоммьюникейшнз Рисерч Инститьют Способ и устройство для кодирования/декодирования изображений с использованием вектора движения
US10244252B2 (en) 2011-01-31 2019-03-26 Electronics And Telecommunications Research Institute Method and apparatus for encoding/decoding images using a motion vector
RU2719334C1 (ru) * 2011-10-18 2020-04-17 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
RU2707145C1 (ru) * 2011-10-18 2019-11-22 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
RU2689424C1 (ru) * 2011-10-18 2019-05-28 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
RU2630180C1 (ru) * 2011-10-18 2017-09-05 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
RU2660619C1 (ru) * 2011-10-18 2018-07-06 Нтт Докомо, Инк. Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
US10045047B2 (en) 2011-10-28 2018-08-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
RU2609083C2 (ru) * 2011-10-28 2017-01-30 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US10893293B2 (en) 2011-10-28 2021-01-12 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11902568B2 (en) 2011-10-28 2024-02-13 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10631004B2 (en) 2011-10-28 2020-04-21 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11115677B2 (en) 2011-10-28 2021-09-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US9699474B2 (en) 2011-10-28 2017-07-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11831907B2 (en) 2011-10-28 2023-11-28 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
RU2646328C1 (ru) * 2011-10-28 2018-03-02 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений
US10321152B2 (en) 2011-10-28 2019-06-11 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US10567792B2 (en) 2011-10-28 2020-02-18 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11622128B2 (en) 2011-10-28 2023-04-04 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
US11356696B2 (en) 2011-10-28 2022-06-07 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
RU2678507C9 (ru) * 2011-12-16 2020-11-12 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ кодирования движущегося изображения, долговременный носитель записи, на который записана программа кодирования изображения
RU2679552C1 (ru) * 2011-12-16 2019-02-11 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ декодирования движущегося изображения, долговременный считываемый компьютером носитель записи, на который записана программа декодирования изображения
RU2598302C2 (ru) * 2011-12-16 2016-09-20 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
RU2678507C1 (ru) * 2011-12-16 2019-01-29 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ кодирования движущегося изображения, долговременный носитель записи, на который записана программа кодирования изображения
RU2636688C1 (ru) * 2011-12-16 2017-11-27 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ декодирования движущегося изображения, долговременный считываемый компьютером носитель записи, на который записана программа декодирования изображения
RU2694442C1 (ru) * 2012-03-28 2019-07-15 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования изображения и способ декодирования изображения
RU2694442C9 (ru) * 2012-03-28 2020-08-18 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство декодирования изображения и способ декодирования изображения
RU2623884C2 (ru) * 2012-04-11 2017-06-29 Квэлкомм Инкорпорейтед Группирование элементов синтаксиса с кодированием в режиме обхода в кодировании видео
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
RU2683495C1 (ru) * 2014-01-03 2019-03-28 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Нововведения в предсказание блочных векторов и оценку восстановленных значений отсчетов в области перекрытия
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
RU2666275C1 (ru) * 2017-11-13 2018-09-06 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство и способ кодирования движущегося изображения, долговременный считываемый компьютером носитель записи, на который записана программа кодирования изображения
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction

Also Published As

Publication number Publication date
CN100508613C (zh) 2009-07-01
JP4591657B2 (ja) 2010-12-01
KR20060123499A (ko) 2006-12-01
EP1700481B1 (en) 2012-02-22
KR100808717B1 (ko) 2008-02-29
RU2006126660A (ru) 2008-01-27
CN1898964A (zh) 2007-01-17
US20070098073A1 (en) 2007-05-03
JP2005184694A (ja) 2005-07-07
EP1700481A4 (en) 2008-07-16
EP1700481A1 (en) 2006-09-13
WO2005062624A1 (en) 2005-07-07
US8064521B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
RU2335859C2 (ru) Устройство кодирования движущихся изображений, способ и программа управления этим устройством
CN101009843B (zh) 信号处理设备、图像捕捉设备、网络照相系统和视频系统
EP0966163A2 (en) Image encoding apparatus
KR100843418B1 (ko) 화상 부호화 장치 및 화상 부호화 방법
JP2006524000A (ja) ビデオトランスコーディング
CN101123728A (zh) 运动矢量检测设备及运动矢量检测方法
JP2008227670A (ja) 画像符号化装置
EP1642464B1 (en) Method of encoding for handheld apparatuses
JP3893350B2 (ja) 符号化データ変換装置及びその方法
JPH10336672A (ja) 符号化方式変換装置およびその動きベクトル検出方法
CN102300091A (zh) 编码装置、电子设备、成像装置和成像系统
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP4126044B2 (ja) 動画像符号化装置及び方法
JP4349109B2 (ja) 画像データ処理装置、その方法、および、符号化装置
JP3947316B2 (ja) 動きベクトル検出装置及びこれを用いた動画像符号化装置
JP2000092499A (ja) 画像符号化制御装置、画像符号化制御方法及び記憶媒体
JP4281667B2 (ja) 画像符号化装置
JP2007228101A (ja) 動画像符号化装置
JP2009033652A (ja) 動画像符号化方法
JP3188081B2 (ja) 画像符号化方法および画像符号化装置
JP4458923B2 (ja) 画像処理装置
JP2002209213A (ja) 動きベクトル検出方法及び装置、並びに画像符号化装置
JP2008258769A (ja) 画像符号化装置及びその制御方法、並びに、コンピュータプログラム
JPH09307908A (ja) 符号化制御器
JP2001103490A (ja) ビデオ符号化装置

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20171209