JPWO2017183109A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JPWO2017183109A1 JPWO2017183109A1 JP2018512682A JP2018512682A JPWO2017183109A1 JP WO2017183109 A1 JPWO2017183109 A1 JP WO2017183109A1 JP 2018512682 A JP2018512682 A JP 2018512682A JP 2018512682 A JP2018512682 A JP 2018512682A JP WO2017183109 A1 JPWO2017183109 A1 JP WO2017183109A1
- Authority
- JP
- Japan
- Prior art keywords
- block
- blocks
- difference
- cyclic
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/226—Characteristics of the server or Internal components of the server
Abstract
Description
順次配信される複数の画像のうち配信する配信画像であって複数のブロックに分割された配信画像と、前記複数の画像のうち前記配信画像と比較する比較画像とをブロック毎に比較し、前記複数のブロックから前記比較画像と差分のあるブロックを差分ブロックとして検出する差分検出部と、
前記差分ブロックから、符号化して送信する1以上のブロックを1以上の差分送信予定ブロックとして選定する差分ブロック選定部と、
前記複数のブロックのうち前記1以上の差分送信予定ブロック以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロックとして選定する巡回ブロック選定部であって、前記1以上の巡回送信予定ブロックの各々を符号化した符号量の合計値が下限値と上限値の範囲内となる巡回ブロック選定部と
を備えた。
***構成の説明***
図1を用いて、本実施の形態に係る画像処理装置100の構成について説明する。
本実施の形態において、画像処理装置100は、コンピュータである。画像処理装置100は、プロセッサ910、記憶装置920、入力インタフェース930、出力インタフェース940、通信装置950といったハードウェアを備える。記憶装置920は、メモリ921と補助記憶装置922とを有する。
以下の説明では、画像処理装置100におけるキャプチャ部110と、ブロック分割部120と、差分検出部130と、差分ブロック選定部140と、符号化部150と、巡回ブロック選定部160と、ブロック送信部170と、差分マップ記録部183と、巡回マップ記録部184との機能を、画像処理装置100の「部」の機能という。
画像処理装置100の「部」の機能は、ソフトウェアで実現される。
プロセッサ910は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ910は、具体的には、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)等である。
出力インタフェース940は、ディスプレイ装置といった表示機器のケーブルが接続されるポートである。出力インタフェース940は、具体的には、USB端子又はHDMI(登録商標)(High Definition Multimedia Interface)端子である。ディスプレイ装置は、具体的には、LCD(Liquid Crystal Display)である。なお、出力インタフェース940は、プリンタ装置といった出力装置に接続されていてもよい。
なお、「部」の機能を実現するプログラムを画像処理プログラム520ともいう。画像処理プログラム520は、「部」として説明している機能を実現するプログラムである。また、画像処理プログラムプロダクトと称されるものは、画像処理プログラム520が記録された記憶媒体及び記憶装置であり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。
キャプチャ部110は、キャプチャを実行することによりキャプチャ画像811を取得し、記憶部180に記憶する。キャプチャ画像811は、順次配信される複数の画像のうちの配信する配信画像810の一例である。
具体的には、キャプチャ部110は、記憶部180に記憶されている任意のアプリケーションの実行画面を、記憶部180の領域にキャプチャ画像811としてコピーする。例えば、画像処理装置100は、アプリケーションを実行するアプリケーション実行部を有する。画像処理装置100は、入力インタフェース930或いはレシーバ951を介して、ユーザからの入力を受け付け、アプリケーション実行部にて実行しているアプリケーションにユーザからの入力を渡す。アプリケーション実行部は、ユーザからの入力に基づき、アプリケーションを実行し、アプリケーションの実行画面を生成する。キャプチャ部110は、アプリケーション実行部により生成されたアプリケーションの実行画面をキャプチャする。キャプチャ部110は、キャプチャを行うタイミング及びキャプチャ対象を、ユーザからの入力又は外部の設定ファイルの読み込み等により取得する。
なお、キャプチャ部110は、キャプチャ画像811を入力インタフェース930或いはレシーバ951を介して取得してもよい。
また、画像記憶部181には、キャプチャ部110により取得されたキャプチャ画像811と、キャプチャ部110により前回取得された前回キャプチャ画像812とが記憶されている。前回キャプチャ画像812は、配信画像810と比較する比較画像820の一例である。
キャプチャ部110は、差分マップ記録部183から各差分ブロックの状態を取得すると共に、巡回マップ記録部184から各巡回ブロックの状態を取得し、キャプチャを実行するか否かを判定する。
ブロック分割部120は、ブロック状に分割したキャプチャ画像811をブロック画像821としてブロック記憶部182に記憶する。
なお、ブロック記憶部182には、ブロック分割部120により分割されたブロック画像821と、ブロック分割部120により前回キャプチャ画像812が分割された前回ブロック画像822とが記憶されている。ブロック画像821は、複数のブロックに分割された配信画像810の一例である。また、前回ブロック画像822は、複数のブロックに分割された比較画像820の一例である。
具体的には、ブロック分割部120は、ブロック記憶部182に記憶されているキャプチャ画像811を読みだして、プロセッサ910を用いて複数のブロックに分割し、ブロック画像821としてブロック記憶部182に再度記憶する。
具体的には、差分検出部130は、ブロック画像821と前回ブロック画像822とをブロック記憶部182から読み出し、プロセッサ910を用いてブロック画像821と前回ブロック画像822とをピクセル単位で比較する。
差分マップ記録部183は、ブロック状態記憶部185に記憶されている差分マップ831に対して、指定されたブロックの状態を指定された状態に変更する。差分マップ記録部183は、差分検出部130、差分ブロック選定部140及びブロック送信部170からブロック毎の状態書き込み命令を受け、その命令をもとに差分マップ831の各ブロックの状態を変化させる。
通常状態201は、ブロックが初期値であることを示す。
差分検出状態202は、ブロックに差分があることを示す。差分検出部130が、ブロック画像821と前回ブロック画像822とを比較し、あるブロックで差分を検出した場合に、そのブロックには差分検出状態202が記録される。また、差分検出部130で差分が無いと判定されたブロックのうち、差分送信予定状態203となっているブロックに対しても差分検出状態202が記録される。
差分送信予定状態203は、そのブロックがブロック送信部170にて送信される予定であることを示す。差分送信予定状態203への状態遷移は、差分ブロック選定部140の処理の結果に応じて行われる。
通常状態201は差分検出状態202に遷移可能である。差分検出状態202は差分送信予定状態203に遷移可能である。差分送信予定状態203は通常状態201に遷移可能である。差分送信予定状態203は差分検出状態202へ遷移可能である。状態遷移は、例えば、フラグを用いて記憶される。
具体的には、差分ブロック選定部140は、ブロック画像821と差分マップ831とを取得する。差分ブロック選定部140は、ブロック画像821と差分マップ831とに基づいて、ブロック画像821を巡回しながら各ブロックについて差分送信予定状態203であるかどうかを判定し、新たに差分送信予定状態203となった差分送信予定ブロック2031を差分マップ831に対して記録する。すなわち、差分送信予定ブロック2031とは、差分マップ831において差分送信予定状態203となっているブロックである。差分ブロック選定部140は、符号化部150に対して処理対象のブロックを出力し、符号化部150から符号化済みのブロックを受け取る。差分ブロック選定部140は、符号化済みのブロックの符号量に基づいて、差分送信予定ブロック2031を選定する。差分ブロック選定部140は、巡回ブロック選定部160へ、ブロック画像821と、差分送信予定ブロック2031が符号化された差分符号化ブロック1401とを出力する。又は、差分ブロック選定部140は、巡回ブロック選定部160へ、差分送信予定ブロック2031が符号化された差分符号化ブロック1401と、差分符号化ブロック1401部分を除いたブロック画像821とを出力してもよい。
巡回ブロック選定部160は、複数のブロックのうち1以上の差分送信予定ブロック2031以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロック3021として選定する。このとき、1以上の巡回送信予定ブロック3021は、各々を符号化した符号量の合計値が下限値Yと上限値Zの範囲内となる。巡回ブロック選定部160は、符号化部150に対して処理対象のブロックを出力し、符号化部150から符号化済みのブロックを受け取る。巡回ブロック選定部160は、符号化済みのブロックの符号量に基づいて、巡回送信予定ブロック3021を選定する。
巡回マップ841は、巡回マップ記録部184によりブロック毎に記録される。
未送信状態301は、ブロックの初期値を示す。
巡回送信予定状態302は、ブロック送信部170により送信する予定のブロックであることを示す。すなわち、巡回送信予定ブロック3021の状態は巡回送信予定状態302である。巡回マップ841は、巡回ブロック選定部160の処理結果に応じて状態変化する。送信済み状態303はブロック送信部170にて送信処理をしたブロックであることを示す。未送信状態301は巡回送信予定状態302に遷移可能である。また、巡回送信予定状態302は送信済み状態303に遷移可能である。送信済み状態303は未送信状態301に遷移可能である。状態遷移は、例えば、フラグを用いて記憶される。
符号化部150において利用可能な符号化アルゴリズムは、例えば、RLE(Run−Length Encoding)やZRLE(Zlib−Run−Length Encoding)、JPEG2000(Joint Photographic Experts Group 2000)等が挙げられる。なお、利用可能なアルゴリズムは、上記に限らない。
次に、図4を用いて、本実施の形態に係る画像処理装置100の画像処理方法510及び画像処理プログラム520の画像送信処理S100について説明する。
画像送信処理S100は、ループ端S101に囲まれた処理を繰り返し実行する。
具体的には、キャプチャ部110は、画面のキャプチャを実行するか否かを判定するために、送信予定状態のブロック、すなわち差分送信予定状態203のフラグがオン又は巡回送信予定状態302のフラグがオンのブロックがあるかどうかを、差分マップ記録部183及び巡回マップ記録部184に問い合わせる。送信予定状態のブロックがない場合、キャプチャ部110は、ステップS103に処理を進め、画面のキャプチャを実行し、キャプチャ画像811を画像記憶部181に記憶する。送信予定状態のブロックがある場合、キャプチャ部110は、ブロック送信処理S107に処理を進める。なお、送信予定状態のブロックがある場合とは、ブロック送信処理S107中に何らかの原因により処理が中断された等の理由により、送信予定状態のブロックが残っている場合等である。
次に、差分ブロック選定処理S105に進む。差分ブロック選定処理S105では、送信する差分ブロックの選定及び符号化を実行する。
図5のループ端S201に囲まれたステップS202からステップS204の処理は分割された全ブロックに対して実行される。処理の開始はどのブロックからでも良く、また処理する順番も任意である。また、本処理は差分検出部130により実行される。差分検出部130は、全ブロックについてステップS202からステップS204の処理が完了したら、ステップS205に処理を進める。
以上のように、差分ブロック選定部140は、差分検出部130により検出された差分ブロックから、差分送信予定状態203となる1以上の差分送信予定ブロック2031を選定する。差分ブロック選定部140は、差分ブロックを符号化部150に出力し、符号化部150から符号化された差分ブロックである符号化差分ブロックと符号化差分ブロックのデータサイズとを取得する。差分ブロック選定部140は、符号化差分ブロックのデータサイズに基づいて1以上の差分送信予定ブロック2031を選定する。また、差分ブロック選定部140は、1以上の差分送信予定ブロック2031を選定した場合に、1以上の差分送信予定ブロック2031の各々の状態を差分送信予定状態203として差分マップ831に記録する。なお、差分ブロック選定部140は、差分ブロックから、各々を符号化した符号量の合計値が差分閾値Xを超えない1以上の差分送信予定ブロック2031を選定する。そして、差分ブロック選定部140は、1以上の差分送信予定ブロック2031が符号化された1以上の差分符号化ブロック1401を出力する。
次に、図4の巡回ブロック選定処理S106に進む。巡回ブロック選定処理S106では、送信する巡回ブロックの選定及び符号化を実行する。
まず、ステップS301において、巡回ブロック選定部160は、SumRndを初期化して0にする。SumRndは巡回送信予定状態302となったブロックの符号化後の符号量の合計値を示す。
巡回ブロック選定部160は、差分ブロック選定部140から、分割されたキャプチャ画像(すなわち、ブロック画像821)、差分が検出された一部の符号化されたブロック(すなわち、差分符号化ブロック1401)及びSumDiffの値を受け取る。ループ端S302に囲まれたステップS303では、巡回ブロック選定部160は、受け取ったブロック画像821に対して、最も左上に位置するブロックから処理を開始する。処理の順番はブロック番号と一致する。
図7を用いて、本実施の形態に係る巡回送信予定ブロック選定処理S390について詳しく説明する。
ステップS401において、巡回ブロック選定部160は、差分マップ831及び巡回マップ841を参照し、処理対象のブロックの状態を判定する。巡回ブロック選定部160は、処理対象のブロックの状態を、差分マップ記録部183及び巡回マップ記録部184を通して取得する。巡回ブロック選定部160は、処理対象のブロックの状態が差分送信予定状態203又は巡回送信予定状態302となっている、又は送信済み状態303となっている場合はステップS402以降の処理をせずに、次のブロックに処理を進める。巡回ブロック選定部160は、全てがNOとなった場合、すなわち処理対象のブロックの状態が差分送信予定状態203ではなく、かつ、巡回送信予定状態302ではなく、かつ、送信済み状態303ではない場合、ステップS402以降の処理を実行する。
ここで、複数のブロックのうち1以上の差分送信予定ブロック2031(すなわち、差分送信予定状態203のフラグがオンのブロック)以外のブロックを巡回ブロックとする。巡回ブロックには、差分送信予定状態203ではなく、かつ、巡回送信予定状態302ではなく、かつ、送信済み状態303ではないブロックが含まれる。
ステップS403において、巡回ブロック選定部160は、SumDiffと、SumRndと、Rndとの合計値を求め、その値が差分閾値Xと下限値Yとの合計値以下か否かを判定する。ここで、下限値Yは1回のキャプチャにて送信可能な符号化された巡回ブロックの下限サイズである。SumDiffと、SumRndと、Rndとの合計値が差分閾値Xと下限値Yとの合計値以下の場合は処理をステップS404に進める。そうでない場合はステップS404以降の処理をせずに、巡回送信予定ブロック選定処理S390を終了する。
ステップS404において、巡回ブロック選定部160は、SumRndと、Rndとの合計が上限値Z以下か否かを判定する。ここで、上限値Zは1回のキャプチャにて送信可能な符号化された巡回ブロックの上限サイズである。SumRndとRndとの合計値が上限値Z以下の場合は、処理をステップS405に進める。そうでない場合は、ステップS405以降の処理をせずに、巡回送信予定ブロック選定処理S390を終了する。
ステップS304において、巡回ブロック選定部160は、SumRndと下限値Yとの比較をする。巡回ブロック選定部160は、比較の結果、SumRndが下限値Y以下だった場合は処理をステップS305に進める。SumRndが下限値Yを上回っていた場合は巡回ブロック選定処理S106を終了する。
ステップS307において、巡回ブロック選定部160は、巡回送信予定状態302となっているブロックのうち、最大の番号となっているブロックの次のブロックから巡回送信予定ブロック選定処理S390を開始する。巡回送信予定ブロック選定処理S390については図7で説明したものと同一である。
以上のように、巡回ブロック選定部160は、複数のブロックのうち1以上の差分送信予定ブロック2031以外のブロックである巡回ブロックから、符号化して送信する1以上の巡回送信予定ブロック3021を選定する。巡回ブロック選定部160は、巡回ブロックを符号化部150に出力し、符号化部150から符号化された巡回ブロックである符号化巡回ブロックと符号化巡回ブロックのデータサイズとを取得する。巡回ブロック選定部160は、符号化巡回ブロックのデータサイズに基づいて、1以上の巡回送信予定ブロック3021を選定する。また、巡回ブロック選定部160は、1以上の巡回送信予定ブロック3021を選定した場合に、1以上の巡回送信予定ブロック3021の各々の状態を巡回送信予定状態302として巡回マップ841に記録する。なお、1以上の巡回送信予定ブロック3021の各々を符号化した符号量の合計値は下限値Yと上限値Zの範囲内となる。
次に、図4に戻り説明を続ける。
巡回ブロック選定処理S106の処理の後はブロック送信処理S107に処理を進める。ブロック送信処理S107では、ブロック送信部170は、符号化部150により符号化された1以上の差分符号化ブロック1401と1以上の巡回符号化ブロック1601とを送信する送信処理を実行する。ブロック送信部170は、送信処理により一度に送信できる符号量が符号量閾値までの1以上の差分符号化ブロックと1以上の巡回符号化ブロックとであるものとする。すなわち、上述した差分閾値Xと上限値Zとを加算した値はこの符号量閾値以下となる必要がある。
ブロック送信処理S107は、差分送信予定状態203又は巡回送信予定状態302となったブロックを送信する処理である。ブロック送信処理S107は、ループ端S501で囲まれたステップS502からステップS506までの処理を実行する。ブロック送信処理S107は、開始位置を左上ブロックとした、各ブロックに対するループ処理である。
ステップS503において、ブロック送信部170は、処理対象のブロックが巡回送信予定状態302か否かを判定する。巡回送信予定状態302の場合、ステップS504に処理を進める。そうでない場合、ステップS503以降の処理は行わず、次のブロックについての処理を行う。
さらに、ステップS506において、ブロック送信部170は、巡回マップ記録部184を通して、処理対象のブロックに対応する巡回マップ841の状態を送信済み状態303にする。
すなわち、ブロック送信部170は、1以上の差分符号化ブロック1401の各々と1以上の巡回符号化ブロック1601の各々との状態を送信済み状態303としてブロック状態情報851に記録する。
以上で、本実施の形態に係る画像送信処理S100の説明を終わる。
本実施の形態では、画像処理装置100の「部」の機能がソフトウェアで実現されるが、変形例として、画像処理装置100の「部」の機能がハードウェアで実現されてもよい。
図9を用いて、本実施の形態の変形例に係る画像処理装置100の構成について説明する。
図9に示すように、画像処理装置100は、処理回路909、入力インタフェース930、出力インタフェース940、通信装置950といったハードウェアを備える。
以上のように、本実施の形態に係る画像処理装置100では、1配信画面(1ピクチャ)あたりの符号量に上限である符号量閾値を設けている。全体の符号量が符号量閾値を超えそうになった場合は、符号量閾値を超えない範囲で符号化した1配信画面の一部のブロックを送信する。送信できなかったブロックは次回の1配信画面(1ピクチャ)の画像送信処理に持ち越す。本実施の形態に係る画像処理装置100では、このときに符号化するブロックを巡回させながら選択するため、確実に全画面分のブロックを送信するができる。
***構成の説明***
本実施の形態では、主に、実施の形態1との差異について説明する。
本実施の形態において、実施の形態1で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
本実施の形態では、送信予定状態のブロックがあっても画面を必ずキャプチャする画像送信処理S100aについて説明する。
図10は、本実施の形態に係る画像送信処理S100aを示す図である。
図10に示す画像送信処理S100aでは、図4に示すステップS102がない。それ以外は図4に示す画像処理装置100の画像送信処理S100と処理内容は同一である。
以上のように、本実施の形態に係る画像送信処理S100aによれば、毎フレームごとに画面のキャプチャをするので、画像の変化が激しいときに画面の一部領域の更新が毎フレーム可能となる。
***構成の説明***
本実施の形態では、主に、実施の形態1との差異について説明する。
本実施の形態において、実施の形態1で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
本実施の形態では、ユーザからの送信中断を意味する入力や、ネットワーク負荷、他アプリケーションの実行負荷(CPU負荷)等により、送信を続けるか続けないかを判定することができるブロック送信処理S107bを有する画像送信処理S100bについて説明する。本実施の形態のブロック送信処理S107bでは、ユーザからの送信中断を意味する入力や、ネットワーク負荷、他アプリケーションの実行負荷(CPU負荷)等が、予め定められた値よりも上回っているか否かを判定することにより、送信処理の続行を判定する。
また、本実施の形態では図4のS102での画面のキャプチャを実行するかしないかの条件分岐において、差分送信予定状態203又は巡回送信予定状態302のブロックの合計データ量がX+Yを上回っているかどうかで判定する。X+Yを上回っている場合はキャプチャを実行せずに差分送信予定状態203又は巡回送信予定状態302のブロックを送信する指示をブロック送信部170に出力し、X+Y以下の場合はキャプチャを実行し処理をS104に進める。上述したように、差分閾値Xは1回のキャプチャで送信可能な符号化された差分ブロックの合計値の上限サイズである。また、下限値Yは1回のキャプチャで送信可能な符号化された巡回ブロックの下限サイズである。
図4のS102での処理は具体的に、キャプチャ部110が画面のキャプチャを実行するか否かを判定するために、送信予定状態のブロック、すなわち差分送信予定状態203のフラグがオン又は巡回送信予定状態302のフラグがオンのブロックがあるかどうかを、差分マップ記録部183及び巡回マップ記録部184に問い合わせる。送信予定状態のブロック又は差分送信予定状態203のブロックがない、又は、あるがそのデータ量の合計がX+Y以下の場合、キャプチャ部110は、ステップS103に処理を進め、画面のキャプチャを実行し、キャプチャ画像811を画像記憶部181に記憶する。送信予定状態のブロックがあり、かつ、そのデータ量の合計がX+Yを上回っている場合、キャプチャ部110は、ブロック送信処理S107bに処理を進める。
図11に示すブロック送信処理S107bでは、図8に示すブロック送信処理S107にステップS507及びステップS508が加わっている。それ以外は図8に示すブロック送信処理S107と処理内容は同一である。
ステップS507において、ブロック送信部170は、送信処理の実行中に送信処理を続行するか否かを判定し、送信処理を続行しないと判定した場合に、送信処理を中断する。具体的には、ブロック送信部170は、ユーザからの送信中断を意味する入力や、ネットワーク負荷、他アプリケーションの実行負荷(CPU負荷)等が、予め定められた値よりも上回っているか否かを判定することにより、送信を続けるか否かを判定する。送信を続けると判定した場合は、ステップS502に進み、送信を続けないと判定した場合は、ステップS508に処理を移す。
ステップ508において、巡回送信予定状態302がオンとなっているブロックが存在した場合は、該当するブロックの状態を未送信状態301に変更する。その後、ブロック送信処理S107bを終了する。
以上のように、本実施の形態に係る画像送信処理S100bによれば、送信処理を中断可能にすることでステップS504の送信処理自体の負荷やネットワーク負荷の調整が可能となる。
***構成の説明***
本実施の形態では、主に、実施の形態1との差異について説明する。
本実施の形態において、実施の形態1で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
本実施の形態では、データの符号化はブロック分割部120からのみ行う方式について説明する。
図12の画像処理装置100cにおいて、図1の画像処理装置100と異なる点は、ブロック記憶部182に記憶されるデータが符号化ブロック画像821bと前回符号化ブロック画像822bという点である。ブロック分割部120は、未符号化のブロックを符号化部150に出力する。符号化部150は、ブロック分割部120からのみ未符号化のブロックを受け取り、符号化処理をして、符号化済みデータとそのデータサイズをブロック分割部120に出力する。符号化の方法は実施の形態1と同じである。符号化ブロック画像821bは、符号化済みデータとそのデータサイズである。
ブロック分割部120は、符号化部150から出力された符号化済みデータとそのデータサイズをブロック記憶部182に記憶する。ブロック記憶部182は、フレームをまたいで符号化済みデータ及びそのデータサイズを記憶してもよい。すなわち、ブロック記憶部182は、ブロック分割部120から出力された符号化済みデータ及びそのデータサイズを蓄積する。
図17は、本実施の形態に係る画像処理装置100cの画像処理方法510及び画像処理プログラム520の画像送信処理S100cを示す図である。図13は、本実施の形態に係る差分ブロック選定処理S105cを示す図である。また、図14は、本実施の形態に係る巡回送信予定ブロック選定処理S390cを示す図である。
図17では実施の形態1の図4に対してステップS1001が追加されている。図13では、実施の形態1の図5に対してステップS701が追加され、ステップS207が削除されている点以外、図5と同じである。また、図14では、実施の形態1の図7に対してステップS801が追加され、ステップS402が削除されている点以外、図7と同じである。
図5のステップS207では符号化処理をしていたが、図13のステップS701では、差分ブロック選定部140は、ブロック記憶部182から符号化済みデータ及びそのデータサイズを読み出す。すなわち、ステップS701において、差分ブロック選定部140は、差分ブロックが符号化された符号化差分ブロックと符号化差分ブロックのデータサイズとを、ブロック記憶部182から取得し、符号化差分ブロックのデータサイズに基づいて、1以上の差分送信予定ブロック2031を選定する。
ステップS801において、巡回ブロック選定部160は、ブロック記憶部182から符号化済みデータ及びそのデータサイズを読み出す。
以上のように、本実施の形態に係る画像処理装置100cによれば、符号化したデータを差分ブロック選定部140及び巡回ブロック選定部160において比較するため、符号化前のデータを比較するのに比べて比較するデータ量が減少し比較処理の負荷を軽減できる。
***構成の説明***
本実施の形態では、主に、実施の形態2との差異について説明する。
本実施の形態において、実施の形態1から4で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
本実施の形態では、差分検出部130dとブロック分割部120dとの実施順序が、実施の形態1から4までの差分検出部130とブロック分割部120との実施順序と入れ替わっている構成について説明する。
ブロック分割部120dは、差分検出部130からどのピクセルに差分が生じているかを示す差分ピクセル情報を受け取り、キャプチャ画像811を複数のブロックに分割する。分割方法はユーザ又は設定ファイルから指定され、縦方向に1回以上、横方向に1回以上分割する。またこのとき縦横どちらの方向であっても、分割しないことも可能である。分割後は、ブロック分割部120dは、ブロックごとに差分が生じているピクセルが含まれているか否かを判定する。ブロック分割部120dは、差分がある場合は差分マップ記録部183を通して差分マップ831へ、差分検出状態202を書きこむ。そして、ブロック分割部120dは、ブロック分割された今回のキャプチャ画像811をブロック画像821としてブロック記憶部182に記憶する。
図16を用いて、本実施の形態に係る画像送信処理S100dについて説明する。
図16の画像送信処理S100dでは、図10で説明した画像送信処理S100aに対して、ステップS103とステップS104との間にステップS901が追加される。ステップS104dのブロック分割部120dによる処理も実施の形態2とは異なる。また、差分ブロック選定処理S105dにおいても実施の形態2とは異なり、ブロック毎の差分検出は実行しない。それ以外の動作は実施の形態2と同じである。
ステップS104dにおいて、ブロック分割部120dは、キャプチャ画像811を複数のブロックに分割し、差分ピクセル情報に基づいて差分のあるピクセルが含まれるブロックを差分ブロックとして検出する。
差分ブロック選定処理S105dにおいて、差分ブロック選定部140は、ブロック分割部120dにより検出された差分ブロックから1以上の差分送信予定ブロック2031を選定する。1以上の差分送信予定ブロック2031を選定する処理については、実施の形態1で説明したものと同様である。
以上のように、本実施の形態に係る画像処理装置100dによれば、実施の形態1,2と同様の効果を得ることができる。
***構成の説明***
本実施の形態6では、主に、実施の形態1との差異について説明する。
本実施の形態において、実施の形態1で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
図18は、本実施の形態に係る画像処理装置100eの画像処理方法510及び画像処理プログラム520の画像送信処理S100eを示す図である。
実施の形態1では、図4のS102において、送信予定状態のブロック、すなわち差分送信予定状態203又は巡回送信予定状態302がある場合に、S107に処理を進めていた。
本実施の形態では、図18に示すように、送信予定状態のブロック、すなわち差分送信予定状態203がある場合は処理をS105に進める。また、実施の形態1ではS107の処理を実施していたが、本実施の形態では図11に示したS107bの処理を実行する。
図19の前提条件として、差分送信予定状態となるブロックの上限値Xを10ブロック、巡回送信予定状態となるブロックの下限値Yを2ブロック、巡回送信予定状態となるブロックの上限値Zを5ブロックとする。また、ブロックの番号振りは、左上隅のブロックを1番として、右方向へ横一列に番号を1ずつ増加させていき、右端に到着したら一段下の段の最も左のブロックから再度1ずつ増加させながら番号をふっていくものとする。20個のブロックを(1)〜(20)とした。
例えば、1001では、(1)〜(20)が、4辺が太線で囲まれているブロック、すなわち差分があるブロックである。また、1005では(7)、(8)、(12)〜(14)、(18)、(19)が、4辺が太線で囲まれているブロック、すなわち差分があるブロックである。
また、例えば、1001では、少なくとも1辺が細線のブロック、すなわち差分があるブロックは存在しない。一方、1005では(1)〜(6)、(9)〜(11)、(15)〜(17)、(20)が、少なくとも1辺が細線のブロック、すなわち差分があるブロックである。
例えば、1002では(1)〜(10)が、4辺が太線で囲まれているブロック、すなわち差分送信予定状態となったブロックを示す。また、1006では(7)、(8)、(12)〜(14)、(18)、(19)が、4辺が太線で囲まれているブロック、すなわち差分送信予定状態となったブロックを示す。
また、例えば、1002では(11)、(12)が、少なくとも1辺が細線のブロック、すなわち巡回送信予定状態となったブロックを示す。また、1006では(1)〜(5)が、少なくとも1辺が細線のブロック、すなわち巡回送信予定状態となったブロックを示す。
図19の1011及び1012は、6回目のループでのブロックの状態を示す。6回目のループでは、1011にて(1)、(4)、(5)、(11)を除くブロックで差分が検出されている。1012にて差分送信予定状態となったブロックは10個、巡回送信予定状態となったブロックは2つである。
図19の1015及び1016は、8回目のループでのブロックの状態を示す。8回目のループでは、1015にて9個のブロックに差分が検出されている。巡回ブロック選定処理S106のステップS305にて巡回ブロックの送信済み状態がクリアされ、(1)〜(3)のブロックが巡回送信予定状態となった。
以上で、本実施の形態における差分ブロック選定処理S105と巡回ブロック選定処理S106の具体例についての説明を終わる。
本実施の形態では、S107bにて送信が中断された際に、差分ブロック及び巡回ブロックの再選択が可能になる。これによって、実施の形態1よりも多くの差分ブロック、巡回ブロックを送信できるようになる。
***構成の説明***
本実施の形態7では、主に、実施の形態1との差異について説明する。
本実施の形態において、実施の形態1で説明した構成と同様の構成には同一の符号を付し、その説明を省略する。
図20を用いて、本実施の形態に係る巡回ブロック選定処理S106fについて説明する。
実施の形態1では、図6の巡回ブロック選定処理S106において、ステップS306及びステップS307により、巡回送信予定状態となるブロックの再選択を実施していた。
本実施の形態では、図20に示すように、ステップS306及びステップS307の処理を実施しないものとする。
本実施の形態によれば、
巡回送信予定状態となるブロックの再選択をステップS306及びステップS307にて行わないことで、一度送信したブロック再送信を次回以降のループにて行うようになる。これにより、巡回送信予定状態ブロック送信量を減らすことができ、ネットワーク帯域を節約することができる。
また、画像処理装置は、1つの装置でなく、複数の装置から構成されたシステムでもよい。
Claims (14)
- 順次配信される複数の画像のうち配信する配信画像であって複数のブロックに分割された配信画像と、前記複数の画像のうち前記配信画像と比較する比較画像とをブロック毎に比較し、前記複数のブロックから前記比較画像と差分のあるブロックを差分ブロックとして検出する差分検出部と、
前記差分ブロックから、符号化して送信する1以上のブロックを1以上の差分送信予定ブロックとして選定する差分ブロック選定部と、
前記複数のブロックのうち前記1以上の差分送信予定ブロック以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロックとして選定する巡回ブロック選定部であって、前記1以上の巡回送信予定ブロックの各々を符号化した符号量の合計値が下限値と上限値の範囲内となる巡回ブロック選定部と
を備えた画像処理装置。 - 前記差分ブロック選定部は、
前記差分ブロックから、各々を符号化した符号量の合計値が差分閾値を超えない前記1以上の差分送信予定ブロックを選定する請求項1に記載の画像処理装置。 - 前記画像処理装置は、
前記1以上の差分送信予定ブロックと前記1以上の巡回送信予定ブロックとを、前記1以上の差分符号化ブロックと前記1以上の巡回符号化ブロックとして符号化する符号化部と、
前記符号化部により符号化された前記1以上の差分符号化ブロックと前記1以上の巡回符号化ブロックとを送信する送信処理を実行するブロック送信部と
を備えた請求項2に記載の画像処理装置。 - 前記差分ブロック選定部は、
前記差分ブロックを前記符号化部に出力し、前記符号化部から符号化された前記差分ブロックである符号化差分ブロックと前記符号化差分ブロックのデータサイズとを取得し、前記符号化差分ブロックのデータサイズに基づいて、前記1以上の差分送信予定ブロックを選定し、
前記巡回ブロック選定部は、
前記巡回ブロックを前記符号化部に出力し、前記符号化部から符号化された前記巡回ブロックである符号化巡回ブロックと前記符号化巡回ブロックのデータサイズとを取得し、前記符号化巡回ブロックのデータサイズに基づいて、前記1以上の巡回送信予定ブロックを選定する請求項3に記載の画像処理装置。 - 前記ブロック送信部は、
前記送信処理により符号量が符号量閾値までの前記1以上の差分符号化ブロックと前記1以上の巡回符号化ブロックとを送信可能であり、
前記差分閾値と前記上限値とを加算した値は前記符号量閾値以下となる請求項3または4に記載の画像処理装置。 - 前記画像処理装置は、
前記複数のブロックの各ブロックの状態が記録されるブロック状態情報を記憶するブロック状態記憶部を備え、
前記ブロック送信部は、
前記1以上の差分符号化ブロックの各々と前記1以上の巡回符号化ブロックの各々との状態を送信済み状態として前記ブロック状態情報に記録する請求項3から5のいずれか1項に記載の画像処理装置。 - 前記画像処理装置は、
画面をキャプチャすることにより前記配信画像を生成するキャプチャ部と、
前記キャプチャ部により生成された配信画像を前記複数のブロックに分割するブロック分割部と
を備え、
前記ブロック分割部は、
前記複数のブロックの各々を前記符号化部に出力し、前記符号化部から符号化された前記複数のブロックの各々である符号化済みデータと前記符号化済みデータのデータサイズとを取得し、ブロック記憶部に記憶し、
前記差分ブロック選定部は、
前記符号化済みデータと前記符号化済みデータのデータサイズとを、前記ブロック記憶部から取得し、前記符号化済みデータのデータサイズに基づいて、前記1以上の差分送信予定ブロックを選定する請求項6に記載の画像処理装置。 - 前記キャプチャ部は、
前記ブロック送信部による前記送信処理が完了した後に、前記複数の画像のうち前記配信画像の次の画像を生成する請求項7に記載の画像処理装置。 - 前記ブロック状態記憶部は、
前記ブロック状態情報として、前記差分ブロックの状態が記録される差分マップと、前記巡回ブロックの状態が記録される巡回マップとを有し、
前記差分ブロック選定部は、
前記1以上の差分送信予定ブロックを選定した場合に、前記1以上の差分送信予定ブロックの各々の状態を差分送信予定状態として前記差分マップに記録し、
前記巡回ブロック選定部は、
前記1以上の巡回送信予定ブロックを選定した場合に、前記1以上の巡回送信予定ブロックの各々の状態を巡回送信予定状態として前記巡回マップに記録する請求項8に記載の画像処理装置。 - 前記ブロック送信部は、
前記送信処理の実行中に前記送信処理を続行するか否かを判定し、前記送信処理を続行しないと判定した場合に、前記送信処理を中断する請求項9に記載の画像処理装置。 - 前記キャプチャ部は、
前記差分マップと前記巡回マップとに基づいて、前記差分マップと前記巡回マップとに前記差分送信予定状態又は前記巡回送信予定状態のブロックがあるか否かを判定し、前記差分送信予定状態又は前記巡回送信予定状態のブロックがある場合には、キャプチャを実行せずに前記差分送信予定状態又は前記巡回送信予定状態のブロックを送信する指示を前記ブロック送信部に出力する請求項10に記載の画像処理装置。 - 順次配信される複数の画像のうち配信する配信画像と、前記複数の画像のうち前記配信画像と比較する比較画像とをピクセル単位で比較し、前記比較画像と差分のあるピクセルを示す差分ピクセル情報を出力する差分検出部と、
前記配信画像を複数のブロックに分割し、前記差分ピクセル情報に基づいて差分のあるピクセルが含まれるブロックを差分ブロックとして検出するブロック分割部と、
前記差分ブロックから、符号化して送信する1以上のブロックを1以上の差分送信予定ブロックとして選定する差分ブロック選定部と、
前記複数のブロックのうち前記1以上の差分送信予定ブロック以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロックとして選定する巡回ブロック選定部であって、前記1以上の巡回送信予定ブロックの各々を符号化した符号量の合計値が下限値と上限値の範囲内となる巡回ブロック選定部と
を備えた画像処理装置。 - 差分検出部が、順次配信される複数の画像のうち配信する配信画像であって複数のブロックに分割された配信画像と、前記複数の画像のうち前記配信画像と比較する比較画像とをブロック毎に比較し、前記複数のブロックから前記比較画像と差分のあるブロックを差分ブロックとして検出し、
差分ブロック選定部が、前記差分ブロックから、符号化して送信する1以上のブロックを1以上の差分送信予定ブロックとして選定し、
巡回ブロック選定部が、前記複数のブロックのうち前記1以上の差分送信予定ブロック以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロックとして選定し、前記1以上の巡回送信予定ブロックの各々を符号化した符号量の合計値が下限値と上限値の範囲内となる画像処理方法。 - 順次配信される複数の画像のうち配信する配信画像であって複数のブロックに分割された配信画像と、前記複数の画像のうち前記配信画像と比較する比較画像とをブロック毎に比較し、前記複数のブロックから前記比較画像と差分のあるブロックを差分ブロックとして検出し、前記差分ブロックから、符号化して送信する1以上のブロックを1以上の差分送信予定ブロックとして選定する差分ブロック選定処理と、
前記複数のブロックのうち前記1以上の差分送信予定ブロック以外のブロックである巡回ブロックから、符号化して送信する1以上のブロックを1以上の巡回送信予定ブロックとして選定する巡回ブロック選定部であって、前記1以上の巡回送信予定ブロックの各々を符号化した符号量の合計値が下限値と上限値の範囲内となる巡回ブロック選定処理と
をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/062370 WO2017183109A1 (ja) | 2016-04-19 | 2016-04-19 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6381855B2 JP6381855B2 (ja) | 2018-08-29 |
JPWO2017183109A1 true JPWO2017183109A1 (ja) | 2018-09-27 |
Family
ID=60115775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018512682A Expired - Fee Related JP6381855B2 (ja) | 2016-04-19 | 2016-04-19 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10674172B2 (ja) |
JP (1) | JP6381855B2 (ja) |
CN (1) | CN109076233A (ja) |
RU (1) | RU2699676C1 (ja) |
WO (1) | WO2017183109A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132669A (zh) * | 2022-10-10 | 2023-11-28 | 深圳市Tcl云创科技有限公司 | 图像帧序列处理方法、装置、计算机设备以及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105303A (ja) * | 1992-09-21 | 1994-04-15 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JP2000069482A (ja) * | 1998-08-26 | 2000-03-03 | Oki Electric Ind Co Ltd | 動画像の符号化方法及び装置 |
JP2001103491A (ja) * | 1999-07-16 | 2001-04-13 | Sony Corp | 送信装置、受信装置、およびこれらを用いた信号伝送システム |
JP2010062626A (ja) * | 2008-09-01 | 2010-03-18 | Nec Personal Products Co Ltd | 画面データ送信装置、画面データ送信方法及び画面データ送信プログラム |
JP2013131990A (ja) * | 2011-12-22 | 2013-07-04 | Ricoh Co Ltd | 情報処理装置及びプログラム |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3561601B2 (ja) | 1997-02-24 | 2004-09-02 | 三洋電機株式会社 | 画像再生装置 |
JP2000023168A (ja) * | 1997-03-28 | 2000-01-21 | Dohme:Kk | 動画データ符号化装置、動画データ復号化装置およびこれらの方法 |
JPH1141609A (ja) | 1997-07-23 | 1999-02-12 | Hitachi Ltd | 信号処理装置 |
JP3905969B2 (ja) | 1998-01-30 | 2007-04-18 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
WO2001056244A1 (fr) | 2000-01-26 | 2001-08-02 | Sony Corporation | Systeme de transmission de donnees |
JP2001359102A (ja) | 2000-06-12 | 2001-12-26 | Matsushita Electric Ind Co Ltd | 画像符号化方法及び画像符号化装置 |
EP1655969A2 (en) * | 2000-09-19 | 2006-05-10 | Matsushita Electric Industrial Co., Ltd. | Image signal transmitter |
JP2003209828A (ja) | 2002-01-16 | 2003-07-25 | Nef:Kk | 動画像リアルタイム配信システム |
KR20040013957A (ko) | 2002-08-09 | 2004-02-14 | 엘지전자 주식회사 | 멀티비전 및 그 화면 구현 방법 |
RU2250478C2 (ru) * | 2003-04-11 | 2005-04-20 | Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" | Способ обнаружения объектов |
US7869503B2 (en) * | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
JP4677733B2 (ja) | 2004-04-15 | 2011-04-27 | ソニー株式会社 | サーバ装置、表示装置及び表示方法 |
JP2005346583A (ja) | 2004-06-04 | 2005-12-15 | Canon Inc | 画像表示装置、マルチディスプレイ・システム、座標情報出力方法及びその制御プログラム |
FI117845B (fi) * | 2004-08-12 | 2007-03-15 | Gurulogic Microsystems Oy | Videokuvan prosessointi |
JP2007300455A (ja) | 2006-05-01 | 2007-11-15 | Victor Co Of Japan Ltd | 算術符号化装置、および算術符号化装置におけるコンテキストテーブル初期化方法 |
JP2008244993A (ja) | 2007-03-28 | 2008-10-09 | Renesas Technology Corp | トランスコーディングのための装置および方法 |
JP5151211B2 (ja) | 2007-03-30 | 2013-02-27 | ソニー株式会社 | 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム |
JP5082548B2 (ja) * | 2007-03-30 | 2012-11-28 | 富士通株式会社 | 画像処理方法、符号化器および復号化器 |
KR101394926B1 (ko) | 2007-07-10 | 2014-05-15 | 엘지디스플레이 주식회사 | 확장 가능한 멀티 모듈 디스플레이 장치 |
US8520730B2 (en) | 2007-11-28 | 2013-08-27 | Panasonic Corporation | Picture coding method and picture coding apparatus |
KR101467935B1 (ko) | 2007-12-11 | 2014-12-03 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
JP2009212821A (ja) | 2008-03-04 | 2009-09-17 | Toshiba Corp | コンテンツ配信装置、受信装置、コンテンツ配信方法及び受信方法 |
KR101483455B1 (ko) | 2008-07-01 | 2015-01-16 | 삼성전자 주식회사 | 멀티 디스플레이 시스템 및 멀티 디스플레이 방법 |
JP5232114B2 (ja) | 2008-09-29 | 2013-07-10 | パナソニック株式会社 | 画像符号化装置、及び画像符号化方法 |
KR101466122B1 (ko) | 2008-10-21 | 2014-11-27 | 삼성전자 주식회사 | 디스플레이장치, 멀티디스플레이시스템 및 그 제어방법 |
KR101341014B1 (ko) | 2008-11-28 | 2013-12-13 | 엘지디스플레이 주식회사 | 멀티 패널 표시장치 및 그 구동방법 |
JP2010136220A (ja) | 2008-12-05 | 2010-06-17 | Panasonic Corp | 通信端末装置、通信量制御方法および集積回路 |
JP5152044B2 (ja) | 2009-03-06 | 2013-02-27 | 日本電気株式会社 | 画像符号化装置および方法並びにプログラム |
WO2010150486A1 (ja) * | 2009-06-22 | 2010-12-29 | パナソニック株式会社 | 画像符号化方法及び画像符号化装置 |
JPWO2011004598A1 (ja) | 2009-07-10 | 2012-12-20 | パナソニック株式会社 | 動画像符号化方法、装置、プログラム、および集積回路 |
US20110109526A1 (en) | 2009-11-09 | 2011-05-12 | Qualcomm Incorporated | Multi-screen image display |
JP5667364B2 (ja) | 2010-02-10 | 2015-02-12 | 株式会社メガチップス | 画像符号化装置 |
KR20110106160A (ko) | 2010-03-22 | 2011-09-28 | (주)인터큐비트 | 다중 디스플레이를 이용한 초고해상도 영상 재생 시스템 |
JP2011233991A (ja) | 2010-04-26 | 2011-11-17 | Hitachi Consumer Electronics Co Ltd | 符号化装置および符号化方法 |
JP5471903B2 (ja) * | 2010-07-01 | 2014-04-16 | 富士通株式会社 | 情報処理装置、画像送信プログラム及び画像表示方法 |
JP5007761B2 (ja) | 2010-07-12 | 2012-08-22 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに、記録媒体 |
JP5285682B2 (ja) * | 2010-11-29 | 2013-09-11 | シャープ株式会社 | 画像符号化装置、画像符号化方法 |
JP5461454B2 (ja) | 2011-02-10 | 2014-04-02 | 日本電信電話株式会社 | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム |
JP2013106132A (ja) | 2011-11-11 | 2013-05-30 | Hitachi Consumer Electronics Co Ltd | マルチディスプレイ装置、及びディスプレイ装置 |
US20160057508A1 (en) | 2012-05-24 | 2016-02-25 | Video Grid Central Llc | Interactive overlay for digital video |
WO2013187047A1 (ja) * | 2012-06-13 | 2013-12-19 | パナソニック株式会社 | 物体検出装置 |
US9632648B2 (en) | 2012-07-06 | 2017-04-25 | Lg Electronics Inc. | Mobile terminal, image display device and user interface provision method using the same |
US9154805B2 (en) * | 2012-09-12 | 2015-10-06 | Advanced Micro Devices, Inc. | Video and image compression based on position of the image generating device |
JP5995622B2 (ja) | 2012-09-19 | 2016-09-21 | 株式会社メガチップス | 動画像符号化装置、動画像符号化方法およびプログラム |
WO2014054818A1 (ja) | 2012-10-05 | 2014-04-10 | シャープ株式会社 | タッチパネル付きマルチ画面表示装置および表示方法 |
WO2014064824A1 (ja) | 2012-10-26 | 2014-05-01 | Necディスプレイソリューションズ株式会社 | 識別子制御装置、識別子制御システム、多画面表示システム、識別子制御方法及びプログラム |
JP2015170078A (ja) | 2014-03-06 | 2015-09-28 | 三菱電機株式会社 | ウィンドウ画像表示システム、ウィンドウ画像作成装置、表示画像作成装置およびウィンドウ画像表示方法 |
CN106688229B (zh) * | 2014-05-30 | 2019-09-03 | 陈仕东 | 基于变换域传输高清视频的方法 |
US20150365703A1 (en) * | 2014-06-13 | 2015-12-17 | Atul Puri | System and method for highly content adaptive quality restoration filtering for video coding |
KR102266901B1 (ko) | 2014-11-10 | 2021-06-21 | 삼성전자주식회사 | 디스플레이 장치 및 디스플레이 방법 |
US10390076B2 (en) * | 2016-03-29 | 2019-08-20 | Mitsubishi Electric Corporation | Image receiving/reproducing device, image generating/transmitting device, display system, image receiving/reproducing method, image generating/transmitting method, and computer readable medium |
-
2016
- 2016-04-19 RU RU2018135972A patent/RU2699676C1/ru active
- 2016-04-19 JP JP2018512682A patent/JP6381855B2/ja not_active Expired - Fee Related
- 2016-04-19 WO PCT/JP2016/062370 patent/WO2017183109A1/ja active Application Filing
- 2016-04-19 CN CN201680084539.7A patent/CN109076233A/zh active Pending
- 2016-04-19 US US16/080,164 patent/US10674172B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06105303A (ja) * | 1992-09-21 | 1994-04-15 | Fujitsu Ltd | 画像データ符号化方法及び装置 |
JP2000069482A (ja) * | 1998-08-26 | 2000-03-03 | Oki Electric Ind Co Ltd | 動画像の符号化方法及び装置 |
JP2001103491A (ja) * | 1999-07-16 | 2001-04-13 | Sony Corp | 送信装置、受信装置、およびこれらを用いた信号伝送システム |
JP2010062626A (ja) * | 2008-09-01 | 2010-03-18 | Nec Personal Products Co Ltd | 画面データ送信装置、画面データ送信方法及び画面データ送信プログラム |
JP2013131990A (ja) * | 2011-12-22 | 2013-07-04 | Ricoh Co Ltd | 情報処理装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20190052893A1 (en) | 2019-02-14 |
RU2699676C1 (ru) | 2019-09-09 |
WO2017183109A1 (ja) | 2017-10-26 |
US10674172B2 (en) | 2020-06-02 |
CN109076233A (zh) | 2018-12-21 |
JP6381855B2 (ja) | 2018-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3562160A1 (en) | Encoding device, encoding method, and program, and decoding device, decoding method, and program | |
US9307244B2 (en) | Data storage controlling device, data reading controlling device, and data storing method | |
US8908982B2 (en) | Image encoding device and image encoding method | |
US10402936B2 (en) | Information processing apparatus, image forming system, and information processing method relating to an image compression | |
US10931964B2 (en) | Video data processing system | |
US10051276B2 (en) | Image encoding apparatus, method and imaging apparatus | |
US9307245B2 (en) | Moving image encoding device | |
US9516324B2 (en) | Image capturing apparatus and method for controlling the same | |
US20170353732A1 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
US8488893B2 (en) | Image compression apparatus and image compression method | |
WO2016016607A1 (en) | Managing display data for display | |
US9055182B2 (en) | Image coding apparatus, image coding method, and program | |
TWI691200B (zh) | 用於在視訊編碼中的順延後處理的系統及方法 | |
JP6381855B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US10491854B2 (en) | Image capturing apparatus, image processing method, and non-transitory computer-readable storage medium | |
US9928452B2 (en) | Image decoding apparatus and method therefor | |
US9271009B2 (en) | Image processing apparatus and image processing method | |
JP2018088652A (ja) | 撮像装置、画像処理方法、及び、プログラム | |
US9646403B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN114095775A (zh) | 帧缓冲压缩电路和图像处理设备 | |
JP2007215001A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
JP2016021600A (ja) | 画像符号化装置、画像処理装置、画像送受信システム、画像符号化方法及び制御プログラム | |
US20180176590A1 (en) | Video processing systems | |
JP2016208153A (ja) | 符号化装置及び符号化方法 | |
CN117981310A (zh) | 用于多内核图像编码的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180530 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180530 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180530 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180731 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6381855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |