JP6340567B2 - 動画再生方法及び動画再生システム - Google Patents

動画再生方法及び動画再生システム Download PDF

Info

Publication number
JP6340567B2
JP6340567B2 JP2014113256A JP2014113256A JP6340567B2 JP 6340567 B2 JP6340567 B2 JP 6340567B2 JP 2014113256 A JP2014113256 A JP 2014113256A JP 2014113256 A JP2014113256 A JP 2014113256A JP 6340567 B2 JP6340567 B2 JP 6340567B2
Authority
JP
Japan
Prior art keywords
information
image
block
browser
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014113256A
Other languages
English (en)
Other versions
JP2015228581A (ja
Inventor
一樹 客野
一樹 客野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axell Corp
Original Assignee
Axell Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axell Corp filed Critical Axell Corp
Priority to JP2014113256A priority Critical patent/JP6340567B2/ja
Priority to US14/524,136 priority patent/US10356431B2/en
Priority to EP14190616.4A priority patent/EP2950531A1/en
Priority to TW103137173A priority patent/TWI526054B/zh
Priority to KR1020140147013A priority patent/KR20150137958A/ko
Priority to CN201410586852.3A priority patent/CN105282562A/zh
Publication of JP2015228581A publication Critical patent/JP2015228581A/ja
Priority to KR1020160038062A priority patent/KR101943699B1/ko
Application granted granted Critical
Publication of JP6340567B2 publication Critical patent/JP6340567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画再生方法及び動画再生システムに関し、特に、ブラウザに標準搭載された静止画デコード機能を利用した動画再生方法及び動画再生システムに関する。
インターネットの普及に伴って、インターネット上に提供された情報を、ブラウザという閲覧専用ソフトウェアにより各人の端末で自由に閲覧できるようになっている。特に、昨今、通信技術及び情報圧縮符号化技術双方の進歩に伴って、画像、特に動画像を何ら停滞なくスムーズに閲覧できる状況になっている。
ここで、インターネット上の動画を、通信速度及び情報量の観点から、ブラウザにより十分に支障なく閲覧できるようにするため、ブラウザに、例えばＭＰＥＧ（Moving Picture Experts Group）４やH.264規格等の高機能のデコーダをプラグインにより組み込んだり、同様機能を専用のアプリケーションとして組み込んだりすることが一般的である（例えば、特許文献１参照（段落［００２９］第１行〜第２行、［００３０］第１１行〜第１４行等））。なお、特許文献１においては、動画情報はクライアント端末側に確保しておくシステムとなっているが、一般的には、動画情報もインターネット上のウェブサーバに提供されるものである。
上述したプラグイン等の手法は、ブラウザの標準装備のデコード機能（ＪＰＥＧ（Joint Photographic Experts Group）デコード機能、ＰＮＧ（Portable Network Graphics）デコード機能を越えて、時間軸方法の情報量削減により、実質的に動画再生を可能とするものである。
特開平９−２８８６７７号公報
しかしながら、上述したプラグイン等の手法は、端末のハードウェアに依存した付加的な手法であり汎用化を求めたものではない。また、昨今急速に普及しているスマートフォンにあっては、自動再生ができず、また、ウェブページ上の一部分に再生したり、複数の動画を同時に再生することができない。
一方、例えば、例えばMotion JPEGのように、標準装備のＪＰＥＧデコード機能を、動画を構成する各フレームに適用すると共に、それらをJavaScript（登録商標）のプログラムにより連番で表示することにより、いわゆるパラパラ動画として再生することもできる。しかしながら、このような手法では、時間軸方向の冗長情報の削減が行われていないために圧縮率が低く、転送路の通信速度によっては十分であるとは限らない。また、H.264等の高機能デコーダ処理をJavaScriptによりブラウザに組み込むことも考えられるが、この場合、ハードウェアアクセラレーションが使用できず、十分な速度を保証できないという課題がある。
本発明は上述のような事情から為されたものであり、本発明の目的は、再生端末依存の少ない汎用性を目的としてブラウザに標準搭載されている静止画デコーダを利用して圧縮動画を再生しても、動画用デコーダを利用したときと同様に、支障なく滑らかに再生できる動画再生方法及び動画再生システムを提供することにある。
上記目的を達成するため、本発明の動画再生方法は、所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えたネットワークシステムにおける画像再生方法であって、前記クライアント端末に前記ブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、“否”の情報を画像復元用情報に記述して用意し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを前記画像復元用情報に記述するステップと、前記静止画圧縮データと、前記画像復元用情報をエンコードして得られた画像復元用圧縮情報とを前記ウェブサーバに格納するステップと、前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報を前記ウェブサーバからダウンロードしてデコードして前記画像復元用情報を得、前記静止画圧縮データを前記ウェブサーバからダウンロードし、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて、前記前フレーム内の対応するブロックの情報を採用し、“否”の場合には、前記静止画圧縮データ内の対応するブロックに係る圧縮データをデコードして得られた画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された前記表示プログラムを前記ウェブサーバに用意するステップと、前記クライアント端末の前記ブラウザが、前記ウェブサーバから前記表示プログラムをダウンロードして実行するステップと、を備えることを要旨とする。
好適には、前記ブラウザに標準搭載された静止画デコーダは、ＪＰＥＧデコーダである。
また、好適には、前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていく。このとき、前記同一情報が存在すると判定された範囲の情報を、前記画像復元用情報に含めることができる。
また、特に、前記記述言語は、ＨＴＭＬ５である。
また、アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成することもできる。
また、前記静止画圧縮データは、前記クライアント端末が扱える静止画の容量に応じて複数枚に分けて用意することがある。
また、上記目的を達成するため、本発明の動画再生方法は、クライアント端末にブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、“否”の情報を画像復元用情報に記述して用意し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを画像復元用情報に記述してエンコードすることにより画像復元用圧縮情報を用意するステップと、前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された表示プログラムを用意するステップと、前記ブラウザにより前記表示プログラムを実行し、前記クライアント端末に前記動画を再生するステップと、を備える動画再生方法であって、前記画像復元用情報に含める前記存否の情報及び前記動きベクトルの情報を、画像情報のＲＧＢ値に任意に対応させ、前記画像復元用情報をＰＮＧ方式によりエンコードして画像復元用圧縮情報を用意することを要旨とする。
また、上記目的を達成するため、本発明の動画再生システムは、所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えた動画再生システムであって、前記ウェブサーバは、前記クライアント端末に前記ブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定した結果に基づき、前フレームに同一情報が存在しない各ブロックについて、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねることにより作成した静止画圧縮データと、前記結果に基づき、存在しない各ブロックについては、“否”の情報を画像復元用情報に記述し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを前記画像復元用情報に記述してエンコードすることにより用意した画像復元用圧縮情報と、前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報を前記ウェブサーバからダウンロードしてデコードして前記画像復元用情報を得、前記静止画圧縮データを前記ウェブサーバからダウンロードし、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて、前記前フレーム内の対応するブロックの情報を採用し、“否”の場合には、前記静止画圧縮データ内の対応するブロックに係る圧縮データをデコードして得られた画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された前記表示プログラムと、を有し、前記クライアント端末の前記ブラウザは、前記ウェブサーバから前記表示プログラムをダウンロードして実行することを要旨とする。
本発明の動画再生方法及び動画再生システムによれば、圧縮動画情報をブラウザでデコードして動画を再生する処理において、ブラウザの標準デコード機能のみを使用することにより、圧縮動画情報提供側に、端末依存の少ない作成環境を提供でき、かつ十分に圧縮率を上げて、滑らかな動画再生を実現できる。
すなわち、ブラウザによりクライアント端末に動画を表示する際、動画デコーダのプラグイン等を利用せず、ブラウザに標準搭載されている静止画デコーダを利用することにより、事前の手数を軽減すると共に汎用性を高め、かつ、かかる静止画デコーダを利用するにしても、パラパラ漫画のようにそのまま１枚１枚デコードして動画として出力するのではなく、元の動画の情報を静止画の情報とみなす際に、フレーム間の動き補償を採用して動画情報を圧縮静止画像としているとしているので、表示速度も担保される。
また、前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていくようにすれば、上記効果に加えて、静止画圧縮データ及び画像復元用圧縮情報の作成処理は簡素化できるし、画像復元用圧縮情報の情報量はより少なくなる。
また、アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成すれば、例えば、複数の動画を重ねて再生できる。
本発明の動画再生方法及び動画再生システムにおける実施形態の概要を説明するための図である。 本発明の動画再生方法及び動画再生システムにおける第１実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。 第１実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。 本発明の動画再生方法及び動画再生システムの第１実施形態における、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、図２の作成手順に対応した表示プログラム１１の処理内容を示すフローチャートである。 本発明の動画再生方法及び動画再生システムにおける第２実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。 第１実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。 本発明の動画再生方法及び動画再生システムにおける第３実施形態を説明するための図である。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の動画再生方法及び動画再生システムにおける実施形態の概要を説明するための図であり、そこで、まず、同図（ａ）は、動画表示システムの一例を示しており、情報参照者が所有するクライアント端末２が、インターネット３を介して情報提供者側のウェブサーバ１と通信可能となっている。
クライアント端末２は、少なくとも、各種テキスト情報や静止画及び動画を表示可能な表示画面２２と、ページ記述言語で記述されたプログラムを読み込んで解釈し、それに応じて表示画面２２に各種テキスト情報や静止画及び動画を表示するブラウザ２１と呼ばれるソフトウェアを備えている。なお、本発明において、ブラウザ２１が解釈可能なページ記述言語は、少なくともＨＴＭＬ（Hyper Text Markup Language）５規格に準拠した言語である。また、ここでは、本発明に直接関わる構成のみを上げたが、クライアント端末２は、その他、ブラウザ２１を含む各種ソフトウェアを実行可能なプロセッサや、メモリ、及び表示画面２２の表示制御を行う専用の処理部等のハードウェアを備えているが、ここでは省略している。
クライアント端末２の例としては、例えば、パーソナルコンピュータや、いわゆるスマートフォン等の携帯情報端末である。なお、スマートフォンの場合には、いわゆる３Ｇ回線やＬＴＥ（Long Term Evolution）、ＷｉＭＡＸ（登録商標）等の３．９Ｇ回線を介してインターネット３に接続したり、無線ＬＡＮルータに対してＷｉ−Ｆｉ（登録商標）で通信して直接インターネット３に接続したりする態様がある。
一方、ウェブサーバ１は、少なくとも、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３を備えている。まず、ＪＰＥＧ圧縮静止画データ１２は、クライアント端末２のようにインターネット３に接続された複数の端末に表示されること意図して作成された動画情報を、後述するフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式により圧縮符号化して得られたデータであり、後に詳述するように複数のフレームで構成された動画情報が上記特定の処理操作により静止画のＪＰＥＧ圧縮データとして作成されたものである。
また、画像復元用圧縮情報１３は、後に詳述するように、フレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式により動画を静止画として扱うよう変換する際の変換及び動き補償の情報を圧縮符号化したものあり、クライアント端末２側で、ＪＰＥＧ圧縮静止画データ１２が伸長され動画再構成される際に参照されるものである。なお、この画像復元用圧縮情報１３は、単に、例えばbase64形式のバイナリデータとしてもよいが、情報量削減とブラウザ２１において標準で処理可能という観点からは、画像とみなしてＰＮＧ形式により圧縮処理を施したＰＮＧ画像データとして構成することが好適である。
また、表示プログラム１１は、クライアント端末２のブラウザ２１により解釈可能な言語で記述されたプログラムであり、クライアント端末２においてブラウザ２１が解釈を行うことにより、画像復元用圧縮情報１３を参照しつつＪＰＥＧ圧縮静止画データ１２を元の動画に復元して、他のテキスト情報と共に、クライアント端末２の表示画面２２に表示するためのものである。具体的には、表示プログラム１１は、ＨＴＭＬ５に準拠した記述言語とJavaScriptにより記述されている。
なお、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３は、ウェブサーバ１とは別の端末により作成され、完成後、ウェブサーバ１にアップロードされるのが一般的である。また、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、画像復元用圧縮情報１３は、この例のように同一のウェブサーバに格納される必要はなく、例えば、表示プログラム１１と、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３とは別のサーバに格納されていてもよい。
図１（ｂ）は、本発明の動画再生方法及び動画再生システムにおける実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。
一般的に、情報提供者側は、任意のウェブサーバに、情報参照者側に参照してもらいたい静止画及び動画を圧縮した状態で格納しておくのであるが、本発明の実施形態にあっては、動画データを圧縮したものとしてＪＰＥＧ圧縮静止画データ１２を作成すると共に、付随情報として画像復元用圧縮情報１３を作成する。
そこで、この作成方法の要点としては、複数のフレームで構成される動画データを各フレームにつき８画素×８画素のブロックに分割し、ブロックごとにＪＰＥＧ圧縮方式を採用して圧縮符号化し、それらを順に並べてＪＰＥＧ圧縮静止画像とみなすと共に、フレーム間では動き補償の概念を採用し、注目ブロックについて、前フレームに同一の情報があれば、当該ブロックについて圧縮データは作成せずに、前フレームの情報を利用する。各ブロックについて、前フレームの情報を利用するか否かの情報等が画像復元用圧縮情報１３に記述される。このように、ＪＰＥＧ圧縮方式を採用することによりブラウザ２１に標準搭載のデコーダで処理することが可能となり、併せて、動きベクトルによる動き補償も採用しているので圧縮率を向上させて情報量を削減している。但し、ブラウザ２１での処理負担を考慮して、差分圧縮処理は行わない。
少し具体的には、図１（ｂ）に示すように、動画を構成する各フレームについて、ＪＰＥＧ圧縮ブロック単位で、前フレームの一部と一致しているか否かを判定し、一致している場合には、その注目ブロックに対応させて、画像復元用情報に、“前フレーム画像利用”の旨とその動きベクトルを記述し、一致していない場合は、注目ブロックに対してＪＰＥＧ圧縮を施して、ＪＰＥＧ圧縮静止画データ１２の一部として連ねると共に、“圧縮画像あり”の旨を画像復元用情報に記述する（ステップＳ１１）。最後のフレームまで処理してＪＰＥＧ圧縮静止画データ１２と画像復元用情報が完成したら、画像復元用情報についてはＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する（ステップＳ１２）。情報提供者は、このようにしてＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成してウェブサーバ１に格納する。
なお、ＪＰＥＧ圧縮処理においては、量子化処理が含まれており、上述の同一であるか否か判定では、その誤差を考慮する必要がある。加えて、同一でない場合に発生する符号量を勘案すると、その誤差がある程度大きくなった場合でも、同一であると判定した方がよい場合もある。そのため、同一か否かの判定においては、ＪＰＥＧ圧縮処理の量子化係数からＲＤＯ（Rate Distortion Optimization）のλパラメータを決定し、同一と判定した場合と、判定しなかった場合のコストを計算し、小さい方を選択するのが好適である。具体的には、かかるコストは、あるモードで符号化した場合の、元画像との二乗誤差と、発生する符号量から、コスト＝λ×符号量＋二乗誤差、で計算できる。これにより、同一と判定した方がコストが小さかった場合に、同一であると判定するのが符号量と画質のバランスの観点から好適である。
図１（ｃ）は、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、同図（ｂ）の処理手順に対応した表示プログラム１１の処理内容の概要を示すフローチャートである。表示プログラム１１は、前述のように、作成したＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成方針に応じて、情報提供者側が作成する、ＨＴＭＬ５に準拠した記述言語とJavaScriptにより記述されたプログラムである。
そこで、概要としては、同図に示すように、画像復元用圧縮情報１３をウェブサーバ１からダウンロードしてデコード処理を施して画像復元用情報を回復すると共に（ステップＳ２１）、ＪＰＥＧ圧縮静止画データ１２をダウンロードする（ステップＳ２２）。そして、画像復元用情報を参照して、各ブロックについて、“前フレーム画像利用”であれば、画像復元用情報内の対応する動きベクトルの情報に基づき、前フレームのデータからデコード済みの画像データを取得し、“前フレーム画像利用”でなれば、注目ブロックとして採用すべき情報が、ダウンロードしたＪＰＥＧ圧縮静止画データ１２内にあることになるので、ＪＰＥＧ圧縮静止画データ１２内から次のブロックに係る情報を注目ブロックに係る情報として読み出してきてデコード処理を行うことにより画像データを取得し、このように択一的に得られた画像データを注目ブロックに係る画像データとし、動画のフレーム内の画像データとして配置することにより動画のフレームを再構成して動画を表示する（ステップＳ２３）。
図１（ｄ）は、ブラウザ２１の処理手順の概要を示すフローチャートである。クライアント端末２の所有者、すなわち情報参照者が、起動されているブラウザ２１に対して、参照したいサイトのＵＲＬ（Uniform Resource Locator）を入力したり、リンク情報に対して起動をかけると、ブラウザ２１は、それにより特定されたウェブサーバ１から表示プログラム１１をダウンロードし（ステップＳ３１）、そしてそれを実行する（ステップＳ３２）。表示プログラム１１は、前述のように図１（ｃ）に示されたような処理を行うプログラムであるから、ブラウザ２１がそれを実行すると、表示画面２２上に動画が表示されることとなる。
＜第１実施形態＞
図２は、本発明の動画再生方法及び動画再生システムにおける第１実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。図３は、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
前述の概要説明のように、複数のフレームで構成された動画データをＪＰＥＧ圧縮された静止画として扱うべく、先頭フレームから順次、ＪＰＥＧの処理単位である８画素×８画素で構成されるブロック単位で処理を進めていく。そこで、まず、動き補償を担保すべく、前フレームと注目フレームＣＢとの関係から、動きベクトルＭＶを決定する（ステップＳ１１１）。動きベクトルＭＶは、前フレームＰＦの画像と注目フレームＣＦとの間の画素値の二乗誤差に基づいて決定できる。そして、決定された動きベクトルＭＶに基づき、注目フレームＣＦの注目ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１１２）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目ブロックＣＢについて、“前フレーム画像利用”の旨と、求めた動きベクトルＭＶ（図３（ａ））の情報を、画像復元用情報に記述し（ステップＳ１１３）、ステップＳ１１６に移行する。なお、ステップＳ１１３における記述の形式は、注目ブロック特定情報と、それに対応する“前フレーム画像利用”の情報及び動きベクトルＭＶの情報とを、静止画のＲ、Ｇ、Ｂの各値に、任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
一方、ステップＳ１１２において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、その注目ブロックＣＢに対してＪＰＥＧ圧縮を施し、得られた圧縮データを、図３（ｂ）に示すように、ＪＰＥＧ圧縮静止画データ１２の一部として連ねる（ステップＳ１１４）。ここでのＪＰＥＧ圧縮処理は、一般的な処理である。すなわち、離散コサイン変換処理と、量子化処理と、ハフマン符号化や算術符号化等のエントロピー符号化処理とを含む。そして、その注目ブロックＣＢについて、“圧縮画像あり”の旨を画像復元用情報に記述し（ステップＳ１１５）、ステップＳ１１６に移行する。なお、ステップＳ１１５における記述の形式は、注目ブロック特定情報と、それに対応する“圧縮画像あり”の情報を、静止画のＲ、Ｇ、Ｂの各値に、任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
ステップＳ１１６においては、注目ブロックＣＢが一フレーム内の最後のブロックかを判定し、最後のブロックでない場合（否定判定）には、次のブロックをポイントして（ステップＳ１１７）、ステップＳ１１２に戻る。一方、最後のブロックであった場合（肯定判定）には、最後のフレームか否かを判定する（ステップＳ１１８）。当該ステップにおいて、最後のフレームではない場合（否定判定）には、次のフレームをポイントして（ステップＳ１１９）、ステップＳ１１１に戻る。一方、最後のフレームであった場合（肯定判定）には、この時点でＪＰＥＧ圧縮静止画データ１２は完成したのでステップＳ１２０に移行する。ステップＳ１２０においては、完成した画像復元用情報をＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する。このように作成されたＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３は、前述のようにウェブサーバ１に格納される。
なお、ステップＳ１１４においてＪＰＥＧ圧縮により得られた圧縮画像データを静止画の一部として順に連ねていく際に、想定するクライアント端末２の静止画１枚の容量を越えた場合には、複数枚の静止画としてＪＰＥＧ圧縮静止画データ１２を構成する。
図４は、本発明の動画再生方法及び動画再生システムの第１実施形態における、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、図２の作成手順に対応した表示プログラム１１の処理内容を示すフローチャートである。すなわち、表示プログラム１１としては、用意したＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成方法に対応して、以下のような処理として記述する。
まず、情報参照者が所有するクライアント端末２の表示画面２２に表示させたい情報として、動画以外のテキスト等の情報があれば、それらを表示する（ステップＳ２１１）。次に、画像復元用圧縮情報１３をウェブサーバ１からダウンロードしてデコード処理を施して画像復元用情報を回復すると共に（ステップＳ２１２）、ＪＰＥＧ圧縮静止画データ１２をダウンロードしてデコード処理を施して静止画データとして得る（ステップＳ２１３）。
そして以降の処理で動画を再構成すべく、デコード処理で得られた画像復元用情報内の各ブロックに対応させた各情報を参照していく。すなわち、画像復元用情報を参照し（ステップＳ２１４）、注目ブロックＣＢが“前フレーム画像利用”か否かを判定する（ステップＳ２１５）。注目ブロックＣＢが“前フレーム画像利用”であれば（肯定判定）、画像復元用情報内の対応する動きベクトルＭＶの情報に基づき、前フレームＰＦのデータからデコード済みの画像データを取得する（ステップＳ２１６）。
一方、注目ブロックＣＢが“前フレーム画像利用”でないのであれば（ステップＳ２１５において否定判定）、注目ブロックＣＢとして採用すべき情報が、ステップＳ２１３においてデコードされて得られた静止画データ内の次のブロックのところにあることになるので、その画像データを採取する（ステップＳ２１７）。
そして、ステップＳ２１８において、ステップＳ２１６で得られた前フレームからのデコード済みの画像データか、又は、ステップＳ２１７で得られた、デコードされた静止画データ内の次のブロックのところにある画像データを、注目ブロックＣＢに係る画像データとし、動画のフレーム内に配置して再構成する（ステップＳ２１９）。
ここで、上述のように、画像データを選択的に動画のフレーム内のデータとして採用する具体的手法について説明する。ＨＴＭＬ５においては、canvasというタグが用意されており、当該タグにより規定した描画領域にJavaScriptにより任意の描画等の処理を行うことにより、既定の画像ではなく、創作的に動画を構成することが可能となっている。canvasタグは、例えば、<canvas id=”canvas” width=”600” height=”480”>という記述である。この具体例では600画素×480画素の描画領域が用意される。これへの画像の記述は、JavaScriptの例えばdrawimage APIにより行える。それにより、本発明では、canvasタグに規定された描画領域に、描画領域に再構成された１つ前のフレームの情報であってフレームバッファに格納された情報から、動きベクトルＭＶに基づき特定されるブロック画像データと、ＪＰＥＧ圧縮静止画データ１２内にある情報を新たにデコードして得られたブロック画像データとから、選択的に配置可能となる。
次に、上述の選択的取得により、１フレーム分が完成したか否かを判定し（ステップＳ２１９）、完成していない場合（否定判定）には、次のブロックを注目ブロックＣＢとし（ステップＳ２２０）、ステップＳ２１４に戻る。一方、１フレーム完成の場合には、フレームバッファを介して表示画面２２への表示処理を行う（ステップＳ２２１）。次に、ステップＳ２２２において、画像復元用情報内の最後のブロックに係る情報に到達したか否かを判定し、到達していない場合（否定判定）には、ステップＳ２２０に移行し、一方、到達した場合（肯定判定）には処理を終了する。以上の処理により、canvasタグにより規定した描画領域に、情報提供者がエンコード前に用意した動画を表示することが可能となる。
以上で説明した第１実施形態によれば、ブラウザ２１によりクライアント端末２に動画を表示する際、動画デコーダのプラグイン等を利用せず、ブラウザ２１に標準搭載されている静止画デコーダを利用することにより、事前の手数を軽減すると共に汎用性を高め、かつ、かかる静止画デコーダを利用するにしても、パラパラ漫画のようにそのまま１枚１枚デコードして動画として出力するのではなく、元の動画の情報を静止画の情報とみなす際に、フレーム間の動き補償を採用して動画情報を圧縮静止画像としているとしているので、表示速度も担保される。ただし、フレーム間の差分圧縮処理まで含めるとデコード処理が重くなるので含めないこととしている。
＜第２実施形態＞
上述の第１実施形態においては、前フレームを利用できるか否かの判断の単位は、最小ブロック（ＪＰＥＧ圧縮の基本単位である８画素×８画素のブロック）であるが、前フレーム内の利用できる範囲は大きくとれればとれるほど好ましい。２ブロック×２ブロックや４ブロック×４ブロックの範囲で一致しているならば、その大きさで処理することが好ましい。そうすればＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成処理は簡素化できるし、画像復元用圧縮情報１３の情報量はより少なくなる。従って、この第２実施形態では、ブロックの大きさを３階層にして４分木処理を行う。なお、ブロックの大きさを３階層にしたが、それに限られることはない。
図５は、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成において、ブロックの大きさを３階層にし、４分木処理を行う、第２実施形態におけるフローチャートである。図６は、第２実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
この第２実施形態においては、前述のように、また図６（ａ）に示すように、処理ブロックの大きさを３階層にする。すなわち、まず注目ブロックＣＢを４×４ブロックとし、一致しなければ注目ブロックＣＢを２×２ブロックとし、それでも一致しなければ注目ブロックＣＢを１×１ブロックとする。
具体的には、図５を参照して、まず、動き補償を担保すべく、前フレームと注目フレームＣＢとの関係から、動きベクトルＭＶを決定する（ステップＳ１２１）。そして、決定された動きベクトルＭＶに基づき、注目フレームＣＦ内の注目４×４ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２２）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目４×４ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合４×４）、及び求めた動きベクトルＭＶの情報を、画像復元用情報に記述し（ステップＳ１２３）、ステップＳ１３４に進む。なお、ステップＳ１２３における記述の形式は、注目ブロック特定情報と、それに対応する“前フレーム画像利用”の情報、参照サイズの情報、及び動きベクトルＭＶの情報とを、静止画のＲ、Ｇ、Ｂの各値に任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
一方、ステップＳ１２２において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、次に、注目４×４ブロックＣＢ内の注目２×２ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２４）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）（特に、図６（ｂ）に示す場合）と、その注目２×２ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合２×２）、及び求めた動きベクトルＭＶ（図６（ｂ））の情報を、画像復元用情報に記述し（ステップＳ１２５）、ステップＳ１３２に進む。
一方、ステップＳ１２４において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、次に、注目２×２ブロックＣＢ内の注目１×１ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２６）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目１×１ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合１×１）、及び求めた動きベクトルＭＶの情報を、画像復元用情報に記述し（ステップＳ１２７）、ステップＳ１３０に進む。
一方、ステップＳ１２７において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、その注目１×１ブロックＣＢに対してＪＰＥＧ圧縮を施し、得られた圧縮データを、図３（ｂ）に示す第１実施形態と同様に、ＪＰＥＧ圧縮静止画データ１２の一部として連ねる（ステップＳ１２８）。そして、その注目１×１ブロックＣＢについて、“圧縮画像あり”の旨を画像復元用情報に記述し（ステップＳ１２９）、ステップＳ１３０に進む。なお、ステップＳ１２９における記述の形式は、注目ブロック特定情報と、それに対応する“圧縮画像あり”の情報を、静止画のＲ、Ｇ、Ｂの各値に任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
ステップＳ１３０においては、注目１×１ブロックＣＢが注目２×２ブロック内の最後の１×１ブロックかを判定し、最後の１×１ブロックでない場合（否定判定）には、次の１×１ブロックをポイントして（ステップＳ１３１）、ステップＳ１２６に戻る。一方、最後の１×１ブロックであった場合（肯定判定）には、ステップＳ１３２に進む。ステップＳ１３２においては、注目２×２ブロックＣＢが注目４×４ブロック内の最後の２×２ブロックかを判定し、最後の２×２ブロックでない場合（否定判定）には、次の２×２ブロックをポイントして（ステップＳ１３３）、ステップＳ１２４に戻る。一方、最後の２×２ブロックであった場合（肯定判定）には、ステップＳ１３４に進む。ステップＳ１３４においては、注目４×４ブロックＣＢが注目フレームＣＦ内の最後の４×４ブロックかを判定し、最後の４×４ブロックでない場合（否定判定）には、次の４×４ブロックをポイントして（ステップＳ１３５）、ステップＳ１２２に戻る。一方、最後の４×４ブロックであった場合（肯定判定）には、ステップＳ１３６に進む。
ステップＳ１３６においては、注目フレームＣＦが最後のフレームか否かを判定する。当該ステップにおいて、最後のフレームではない場合（否定判定）には、次のフレームをポイントして（ステップＳ１３７）、ステップＳ１２１に戻る。一方、最後のフレームであった場合（肯定判定）には、この時点でＪＰＥＧ圧縮静止画データ１２は完成したのでステップＳ１３８に移行する。ステップＳ１３８においては、完成した画像復元用情報をＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する。このように作成されたＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３は、前述のようにウェブサーバ１に格納される。
なお、ステップＳ１２８においてＪＰＥＧ圧縮により得られた圧縮画像データを静止画の一部として順に連ねていく際に、想定するクライアント端末２の静止画１枚の容量を越えた場合には、第１実施形態と同様、複数枚の静止画としてＪＰＥＧ圧縮静止画データ１２を構成する。
次に、図５に示した、第２実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成手順に対応した表示プログラム１１の処理内容は、第１実施形態における図２の内容と図４の内容の対応関係から当業者には自明であると考えるので詳述は省略する。簡単には、図４におけるステップＳ２１５の否定判定の部分がブロックの階層に応じて階層処理となる。
以上で説明した第２実施形態によれば、第１実施形態に効果に加えて、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成処理は簡素化できるし、画像復元用圧縮情報１３の情報量はより少なくなる。
＜第３実施形態＞
図７は、本発明の動画再生方法及び動画再生システムにおける第３実施形態を説明するための図である。この第３実施形態は、上述の第１及び第２実施形態の変形態様であり、具体的には、透明度情報を導入する。すなわち、同図に示すように、第３実施形態に係るウェブサーバ１ｂには、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３に加えて、透明度情報用圧縮情報１４を用意する。この透明度情報用圧縮情報１４は、画像復元用圧縮情報１３と同様、ＰＮＧ形式でエンコードした圧縮情報であり、透明度情報をアルファチャンネルとして与えることができる。そして、表示プログラム１１においては、透明度情報用圧縮情報１４を、ＪＰＥＧ圧縮静止画データ１２と同じ動きベクトルでデコードすることにより、ＪＰＥＧ圧縮静止画データ１２から動画を再構成する際に、透明度情報を組み込んで再構成するように記述する。
このように透明度情報を採用すれば、クライアント端末２の表示画面２２に複数の動画を再生する場合に、それぞれに透明度情報を与えるようにすれば、複数の動画を重ねて再生できるようになる。
なお、上述した各実施形態にあっては、動画データを静止画のデータとして圧縮符号化する方式としてＪＰＥＧを採用したが、画像復元用圧縮情報１３と同様に、ＰＮＧ方式も採用でき、すなわちＰＮＧ圧縮静止画データを用意することもできる。
本発明の動画再生方法は、例えば、スマートフォンに動画を再生する場合に採用できる。
１ ウェブサーバ
１１ 表示プログラム
１２ ＪＰＥＧ圧縮静止画データ
１３ 画像復元用圧縮情報
１４ 透明度情報用圧縮情報
２ クライアント端末
２１ ブラウザ
２２ 表示画面
３ インターネット
ＭＶ 動きベクトル
ＣＢ 注目ブロック
ＣＦ 注目フレーム

Claims (9)

  1. 所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えたネットワークシステムにおける画像再生方法であって、
    前記クライアント端末に前記ブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、
    存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、“否”の情報を画像復元用情報に記述して用意し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを前記画像復元用情報に記述するステップと、
    前記静止画圧縮データと、前記画像復元用情報をエンコードして得られた画像復元用圧縮情報とを前記ウェブサーバに格納するステップと、
    前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、
    前記画像復元用圧縮情報を前記ウェブサーバからダウンロードしてデコードして前記画像復元用情報を得、
    前記静止画圧縮データを前記ウェブサーバからダウンロードし、
    前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて、前記前フレーム内の対応するブロックの情報を採用し、“否”の場合には、前記静止画圧縮データ内の対応するブロックに係る圧縮データをデコードして得られた画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成する
    ように記述された前記表示プログラムを前記ウェブサーバに用意するステップと、
    前記クライアント端末の前記ブラウザが、
    前記ウェブサーバから前記表示プログラムをダウンロードして実行するステップと、
    を備えることを特徴とする動画再生方法。
  2. 前記ブラウザに標準搭載された静止画デコーダは、ＪＰＥＧデコーダであることを特徴とする請求項１に記載の動画再生方法。
  3. クライアント端末にブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、
    存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、“否”の情報を画像復元用情報に記述して用意し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを画像復元用情報に記述してエンコードすることにより画像復元用圧縮情報を用意するステップと、
    前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された表示プログラムを用意するステップと、
    前記ブラウザにより前記表示プログラムを実行し、前記クライアント端末に前記動画を再生するステップと、
    を備える動画再生方法であって、
    前記画像復元用情報に含める前記存否の情報及び前記動きベクトルの情報を、画像情報のＲＧＢ値に任意に対応させ、前記画像復元用情報をＰＮＧ方式によりエンコードして画像復元用圧縮情報を用意することを特徴とする動画再生方法。
  4. 前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていくことを特徴とする請求項１に記載の動画再生方法。
  5. 前記同一情報が存在すると判定された範囲の情報を、前記画像復元用情報に含めることを特徴とする請求項４に記載の動画再生方法。
  6. 前記記述言語は、ＨＴＭＬ５であることを特徴とする請求項１に記載の動画再生方法。
  7. アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成することを特徴とする請求項１に記載の動画再生方法。
  8. 前記静止画圧縮データは、前記クライアント端末が扱える静止画の容量に応じて複数枚に分けて用意することを特徴とする請求項１に記載の動画再生方法。
  9. 所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えた動画再生システムであって、
    前記ウェブサーバは、
    前記クライアント端末に前記ブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定した結果に基づき、前フレームに同一情報が存在しない各ブロックについて、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねることにより作成した静止画圧縮データと、
    前記結果に基づき、存在しない各ブロックについては、“否”の情報を画像復元用情報に記述し、一方、存在する各ブロックについては、“存”の情報と、前記前フレームにおける対応するブロックとの位置関係の動きベクトルとを前記画像復元用情報に記述してエンコードすることにより用意した画像復元用圧縮情報と、
    前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、
    前記画像復元用圧縮情報を前記ウェブサーバからダウンロードしてデコードして前記画像復元用情報を得、
    前記静止画圧縮データを前記ウェブサーバからダウンロードし、
    前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記動きベクトルに基づいて、前記前フレーム内の対応するブロックの情報を採用し、“否”の場合には、前記静止画圧縮データ内の対応するブロックに係る圧縮データをデコードして得られた画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成する
    ように記述された前記表示プログラムと、
    を有し、
    前記クライアント端末の前記ブラウザは、
    前記ウェブサーバから前記表示プログラムをダウンロードして実行することを特徴とする動画再生システム。
JP2014113256A 2014-05-30 2014-05-30 動画再生方法及び動画再生システム Active JP6340567B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2014113256A JP6340567B2 (ja) 2014-05-30 2014-05-30 動画再生方法及び動画再生システム
US14/524,136 US10356431B2 (en) 2014-05-30 2014-10-27 Moving image reproduction method and moving image reproduction system
TW103137173A TWI526054B (zh) 2014-05-30 2014-10-28 動畫再生方法及動畫再生系統
KR1020140147013A KR20150137958A (ko) 2014-05-30 2014-10-28 동영상 재생 방법 및 동영상 재생 시스템
EP14190616.4A EP2950531A1 (en) 2014-05-30 2014-10-28 Moving image reproduction method and moving image reproduction system
CN201410586852.3A CN105282562A (zh) 2014-05-30 2014-10-28 动画播放方法和动画播放系统
KR1020160038062A KR101943699B1 (ko) 2014-05-30 2016-03-30 동화상 재생 방법 및 동화상 재생 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014113256A JP6340567B2 (ja) 2014-05-30 2014-05-30 動画再生方法及び動画再生システム

Publications (2)

Publication Number Publication Date
JP2015228581A JP2015228581A (ja) 2015-12-17
JP6340567B2 true JP6340567B2 (ja) 2018-06-13

Family

ID=51865990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014113256A Active JP6340567B2 (ja) 2014-05-30 2014-05-30 動画再生方法及び動画再生システム

Country Status (6)

Country Link
US (1) US10356431B2 (ja)
EP (1) EP2950531A1 (ja)
JP (1) JP6340567B2 (ja)
KR (2) KR20150137958A (ja)
CN (1) CN105282562A (ja)
TW (1) TWI526054B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9648355B2 (en) * 2014-03-07 2017-05-09 Eagle Eye Networks, Inc. Adaptive security camera image compression apparatus and method of operation
CN105812714A (zh) * 2016-03-18 2016-07-27 浙江万朋教育科技股份有限公司 一种用于共享ppt文档页面的数据压缩方法
JP6735140B2 (ja) * 2016-04-27 2020-08-05 株式会社エムティーアイ 動画生成・送信方法、動画生成・送信システム、及び動画再生プログラム
CN105979282B (zh) * 2016-06-02 2019-08-06 腾讯科技（深圳）有限公司 一种动画帧处理方法、服务器、终端及系统
JP6695826B2 (ja) * 2017-05-19 2020-05-20 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
CN108322749B (zh) * 2018-03-15 2021-03-16 北京数码视讯科技股份有限公司 Rdoq的系数优化方法、rdoq的加速方法及装置
RU2768971C1 (ru) 2018-12-28 2022-03-28 ДжейВиСиКЕНВУД Корпорейшн Устройство кодирования движущихся изображений, способ кодирования движущихся изображений, программа кодирования движущихся изображений, устройство декодирования движущихся изображений, способ декодирования движущихся изображений и программа декодирования движущихся изображений
CN110442806B (zh) * 2019-08-05 2022-04-26 百度在线网络技术（北京）有限公司 用于识别图像的方法和装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US5812787A (en) * 1995-06-30 1998-09-22 Intel Corporation Video coding scheme with foreground/background separation
JPH09288677A (ja) 1996-04-19 1997-11-04 Sony Corp 情報統合表示方法及び装置、情報統合表示システム
KR100238073B1 (ko) 1996-12-18 2000-01-15 윤종용 선택적 부호화방법 및 그 장치
KR19980048654U (ko) * 1996-12-30 1998-09-25 김영귀 밧데리 고정구조
CA2345878A1 (en) * 2001-05-01 2002-11-01 Destiny Software Productions Inc. Multi media distribution method and system
KR20040003147A (ko) 2002-06-29 2004-01-13 주식회사 보람씨앤씨 정지화상 데이터를 동화상데이터로 포맷하는 방법
US20060204115A1 (en) 2003-03-03 2006-09-14 Dzevdet Burazerovic Video encoding
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
KR100748625B1 (ko) 2006-09-06 2007-08-13 삼성전자주식회사 프레임 레이트 변환장치 및 프레임 레이트 변환방법
JP4594913B2 (ja) * 2006-09-26 2010-12-08 株式会社東芝 画像転送装置、方法およびプログラム
KR101284158B1 (ko) 2007-05-30 2013-07-09 주식회사 엘지유플러스 이동통신단말기에서 무선인터넷 브라우저와 연동하는파일재생용 플레이어의 사용자 인터페이스 방법
US9672510B2 (en) * 2008-01-18 2017-06-06 Mitek Systems, Inc. Systems and methods for automatic image capture and processing of documents on a mobile device
JP4521835B2 (ja) * 2008-02-12 2010-08-11 株式会社ディジタルメディアプロフェッショナル 画像処理装置
JP5163233B2 (ja) * 2008-03-31 2013-03-13 富士通株式会社 情報処理装置、プログラム、方法、処理回路及び通信システム
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
JP2012114909A (ja) * 2010-11-21 2012-06-14 Human Monitoring Ltd メディアデータを符号化および復号する方法およびシステム
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
JP2014038229A (ja) * 2012-08-17 2014-02-27 Sony Corp 画像処理装置、画像処理方法、及びプログラム
EP2972936B1 (en) * 2013-03-15 2018-12-26 American Megatrends, Inc. System and method of web-based keyboard, video and mouse (kvm) redirection and application of the same
US9412332B2 (en) * 2013-12-20 2016-08-09 Blackberry Limited Method for wirelessly transmitting content from a source device to a sink device
KR20150090930A (ko) * 2014-01-28 2015-08-07 엔에이치엔엔터테인먼트 주식회사 게임 장면을 공유하는 게임 방법 및 게임 시스템

Also Published As

Publication number Publication date
TWI526054B (zh) 2016-03-11
KR101943699B1 (ko) 2019-01-29
JP2015228581A (ja) 2015-12-17
CN105282562A (zh) 2016-01-27
US10356431B2 (en) 2019-07-16
EP2950531A1 (en) 2015-12-02
TW201545540A (zh) 2015-12-01
KR20150137958A (ko) 2015-12-09
US20150350664A1 (en) 2015-12-03
KR20160042407A (ko) 2016-04-19

Similar Documents

Publication Publication Date Title
JP6340567B2 (ja) 動画再生方法及び動画再生システム
JP7011031B2 (ja) クロマ予測方法及びデバイス
US20200145692A1 (en) Video processing method and apparatus
US9123084B2 (en) Graphical application integration with MPEG objects
JP6423061B2 (ja) ビデオデコーダを実装するコンピューティングデバイス及びその方法
JP5823538B2 (ja) 遷移ゾーン中のサンプルの識別
US11528493B2 (en) Method and system for video transcoding based on spatial or temporal importance
CN110198492B (zh) 一种视频的水印添加方法、装置、设备及存储介质
US8929459B2 (en) Systems and methods utilizing efficient video compression techniques for browsing of static image data
US20090003720A1 (en) Efficient image representation by edges and low-resolution signal
US9667982B2 (en) Techniques for transform based transcoding
KR101781776B1 (ko) 인코더 및 디코더
CN103959778A (zh) 帧内脉码调制(ipcm)及无损失译码模式视频解块
CN115409716B (zh) 视频处理方法、装置、存储介质及设备
WO2024169391A1 (zh) 一种视频数据处理方法、装置、计算机设备以及存储介质
US20240080495A1 (en) Iteratively updating a filtering model
KR102113904B1 (ko) 보간을 이용한 연산 방법, 인코더, 및 디코더
CN110662071B (zh) 视频解码方法和装置、存储介质及电子装置
US20180139480A1 (en) Systems and methods for digital video sampling and upscaling
US20230229894A1 (en) Method and apparatus for compression and training of neural network
KR102310069B1 (ko) 클라우드 스트리밍 시스템 및 그 시스템에서의 웹 형식이 아닌 데이터 참조를 위한 장치 및 방법
CN116977453A (zh) 图像处理方法、装置、设备、存储介质及程序产品
KR20230162687A (ko) 메시 압축을 위한 경계 uv2xyz 인덱스의 예측 코딩
KR20240052053A (ko) 루마로부터 크로마 인트라 예측 모드에 대한 다운샘플링 필터의 시그널링
CN118202393A (zh) Uv坐标范围和纹理图大小

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180411

R150 Certificate of patent or registration of utility model

Ref document number: 6340567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250