JPH099253A - 画像圧縮通信装置 - Google Patents
画像圧縮通信装置Info
- Publication number
- JPH099253A JPH099253A JP15173195A JP15173195A JPH099253A JP H099253 A JPH099253 A JP H099253A JP 15173195 A JP15173195 A JP 15173195A JP 15173195 A JP15173195 A JP 15173195A JP H099253 A JPH099253 A JP H099253A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- compression
- line
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Of Band Width Or Redundancy In Fax (AREA)
- User Interface Of Digital Computer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Position Input By Displaying (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】この発明は、静止画像や動画像に関わらずに観
察者の体感画質を低下させることなく、高い画像圧縮率
を実現し、しかも通信経路の伝送負荷を減少させること
ができ、多数の端末に画像の情報を送信し得る画像圧縮
通信装置を提供することを目的としている。 【構成】画面表示部を観察する観察者の視線を追跡し、
その視線データに基づいて、観察者の視線近傍である中
心視野の画像データは低圧縮率に、観察者の視線から遠
ざかる周辺視野ほど高圧縮率になるように画像データに
データ圧縮処理を施している。
察者の体感画質を低下させることなく、高い画像圧縮率
を実現し、しかも通信経路の伝送負荷を減少させること
ができ、多数の端末に画像の情報を送信し得る画像圧縮
通信装置を提供することを目的としている。 【構成】画面表示部を観察する観察者の視線を追跡し、
その視線データに基づいて、観察者の視線近傍である中
心視野の画像データは低圧縮率に、観察者の視線から遠
ざかる周辺視野ほど高圧縮率になるように画像データに
データ圧縮処理を施している。
Description
【0001】
【産業上の利用分野】この発明は、画像データにデータ
圧縮処理を施してデータ量を削減する画像データ圧縮処
理装置に係り、特に静止画もしくは動画像を画像配信セ
ンターから複数の端末へ通信ケーブルを介して伝送する
のに有効な画像圧縮通信装置に関する。
圧縮処理を施してデータ量を削減する画像データ圧縮処
理装置に係り、特に静止画もしくは動画像を画像配信セ
ンターから複数の端末へ通信ケーブルを介して伝送する
のに有効な画像圧縮通信装置に関する。
【0002】
【従来の技術】周知のように、画像データの圧縮技術が
進歩し、実用化されている。動画の圧縮処理方式として
は、MPEG(Moving Picture Coding Experts Group)
方式がある。この動画圧縮処理では、入力画像情報の特
性に応じてデータ圧縮動作が行なわれる。
進歩し、実用化されている。動画の圧縮処理方式として
は、MPEG(Moving Picture Coding Experts Group)
方式がある。この動画圧縮処理では、入力画像情報の特
性に応じてデータ圧縮動作が行なわれる。
【0003】例えば、動画における画像動きベクトルに
基づいて、フレーム間差を得るための予測画像データを
作成したり、また、出力する画像データのデータ量に基
づいて、量子化係数を切り替えたりしている。
基づいて、フレーム間差を得るための予測画像データを
作成したり、また、出力する画像データのデータ量に基
づいて、量子化係数を切り替えたりしている。
【0004】一方、静止画圧縮については、例えば特開
平3−70367号,特開平4−282129号公報等
に、観察者の視線に基づいて中心視野の情報は低圧縮率
に、周辺視野の情報は高圧縮率に圧縮する技術が示され
ている。
平3−70367号,特開平4−282129号公報等
に、観察者の視線に基づいて中心視野の情報は低圧縮率
に、周辺視野の情報は高圧縮率に圧縮する技術が示され
ている。
【0005】この技術は、まず、画像データに基づいて
画像を再生表示している。そして、視線追跡カメラ等に
よって、再生表示された画像を観察する観察者の視線を
追跡している。その後に、この画像データ圧縮装置は、
視線追跡カメラによる視線追跡結果に基づいて、画像の
各部分領域ごとの観察時間を求め、この観察時間の長さ
に基づいて、観察時間の短い部分領域ほど高圧縮率とな
るように、画像データにデータ圧縮処理を施している。
画像を再生表示している。そして、視線追跡カメラ等に
よって、再生表示された画像を観察する観察者の視線を
追跡している。その後に、この画像データ圧縮装置は、
視線追跡カメラによる視線追跡結果に基づいて、画像の
各部分領域ごとの観察時間を求め、この観察時間の長さ
に基づいて、観察時間の短い部分領域ほど高圧縮率とな
るように、画像データにデータ圧縮処理を施している。
【0006】しかしながら、上記視線追跡タイプの画像
データ圧縮装置では、動画に対し、観察者の視線に基づ
いて適応的に画像圧縮を行なうという技術は実現されて
いない。また、圧縮された画像データを再生表示した場
合、観察者の視線に追従してどの領域でも高画質が補償
されるというわけではない。
データ圧縮装置では、動画に対し、観察者の視線に基づ
いて適応的に画像圧縮を行なうという技術は実現されて
いない。また、圧縮された画像データを再生表示した場
合、観察者の視線に追従してどの領域でも高画質が補償
されるというわけではない。
【0007】
【発明が解決しようとする課題】以上のように、従来の
画像データ圧縮装置では、動画に対しては、観察者の視
線に基づく高能率な画像圧縮は実現されておらず、ま
た、視線追跡タイプの装置にあっては、圧縮された画像
データが再生された場合において、観察者の視線に追従
してどの領域でも高画質が補償されるということはな
い。
画像データ圧縮装置では、動画に対しては、観察者の視
線に基づく高能率な画像圧縮は実現されておらず、ま
た、視線追跡タイプの装置にあっては、圧縮された画像
データが再生された場合において、観察者の視線に追従
してどの領域でも高画質が補償されるということはな
い。
【0008】そこで、この発明の目的は、静止画像や動
画像に関わらずに観察者の体感画質を低下させることな
く、高い画像圧縮率を実現し、しかも通信経路の伝送負
荷を減少させることができ、多数の端末に画像の情報を
送信し得る画像圧縮通信装置を提供することにある。
画像に関わらずに観察者の体感画質を低下させることな
く、高い画像圧縮率を実現し、しかも通信経路の伝送負
荷を減少させることができ、多数の端末に画像の情報を
送信し得る画像圧縮通信装置を提供することにある。
【0009】
【課題を解決するための手段】この発明に係る画像圧縮
通信装置は、画像を表す画像データを出力するための画
像データ供給手段と、画像データ供給手段から出力され
た画像データにデータ圧縮処理を施すことによって狭帯
域化させるデータ圧縮処理手段と、データ圧縮処理手段
の出力である圧縮データを伝送させる画像データ伝送手
段と、画像データ伝送手段の出力である圧縮データを伸
長して元の画像データに戻すデータ伸長手段と、データ
伸長手段の出力データに基づいて、画像を画面に再生表
示する再生表示手段と、再生表示手段に表示された画面
を観察する観察者の視線を追跡して検出する視線検出手
段と、視線検出手段の出力である視線データをデータ圧
縮処理手段に伝送する視線情報伝送手段とを備え、デー
タ圧縮処理手段は観察者の視線領域に対応する画像デー
タのデータ圧縮率を制御するようにしたものである。
通信装置は、画像を表す画像データを出力するための画
像データ供給手段と、画像データ供給手段から出力され
た画像データにデータ圧縮処理を施すことによって狭帯
域化させるデータ圧縮処理手段と、データ圧縮処理手段
の出力である圧縮データを伝送させる画像データ伝送手
段と、画像データ伝送手段の出力である圧縮データを伸
長して元の画像データに戻すデータ伸長手段と、データ
伸長手段の出力データに基づいて、画像を画面に再生表
示する再生表示手段と、再生表示手段に表示された画面
を観察する観察者の視線を追跡して検出する視線検出手
段と、視線検出手段の出力である視線データをデータ圧
縮処理手段に伝送する視線情報伝送手段とを備え、デー
タ圧縮処理手段は観察者の視線領域に対応する画像デー
タのデータ圧縮率を制御するようにしたものである。
【0010】また、この発明に係る画像圧縮通信装置
は、画像を表す画像データを出力するための画像データ
供給手段と、画像データ供給手段から出力された画像デ
ータにデータ圧縮処理を施すことによって狭帯域化させ
るデータ圧縮処理手段と、データ圧縮処理手段の出力で
ある圧縮データを伝送させる画像データ伝送手段と、画
像データ伝送手段の出力である圧縮データを伸長して画
像データに戻すデータ伸長手段と、データ伸長手段の出
力データに基づいて、画像を画面に再生表示する再生表
示手段と、再生表示手段に表示された画面を観察する観
察者の視線を追跡して検出する視線検出手段と、視線検
出手段の出力である視線データをデータ圧縮処理手段に
伝送し、観察者の視線領域に対応する画像データのデー
タ圧縮率の制御に供させる視線情報伝送手段とを有し、
画像データ供給手段と、データ圧縮処理手段とを接続す
る広帯域データ伝送手段と、データ圧縮処理手段と、デ
ータ伸長手段とを接続する狭帯域データ伝送手段とを備
えるようにしたものである。
は、画像を表す画像データを出力するための画像データ
供給手段と、画像データ供給手段から出力された画像デ
ータにデータ圧縮処理を施すことによって狭帯域化させ
るデータ圧縮処理手段と、データ圧縮処理手段の出力で
ある圧縮データを伝送させる画像データ伝送手段と、画
像データ伝送手段の出力である圧縮データを伸長して画
像データに戻すデータ伸長手段と、データ伸長手段の出
力データに基づいて、画像を画面に再生表示する再生表
示手段と、再生表示手段に表示された画面を観察する観
察者の視線を追跡して検出する視線検出手段と、視線検
出手段の出力である視線データをデータ圧縮処理手段に
伝送し、観察者の視線領域に対応する画像データのデー
タ圧縮率の制御に供させる視線情報伝送手段とを有し、
画像データ供給手段と、データ圧縮処理手段とを接続す
る広帯域データ伝送手段と、データ圧縮処理手段と、デ
ータ伸長手段とを接続する狭帯域データ伝送手段とを備
えるようにしたものである。
【0011】
【作用】上記のような構成によれば、視線データに基づ
いて、観察者の視線近傍である中心視野の画像データは
低圧縮率に、観察者の視線から遠ざかる周辺視野ほど高
圧縮率になるように画像データにデータ圧縮処理を施し
ているので、観察者の体感画質を低下させることなく、
全体的な画像データ圧縮率を上げることができる。この
ため、従来よりも高い画像圧縮率を実現し、しかも通信
経路の伝送負荷を減少させることができる。
いて、観察者の視線近傍である中心視野の画像データは
低圧縮率に、観察者の視線から遠ざかる周辺視野ほど高
圧縮率になるように画像データにデータ圧縮処理を施し
ているので、観察者の体感画質を低下させることなく、
全体的な画像データ圧縮率を上げることができる。この
ため、従来よりも高い画像圧縮率を実現し、しかも通信
経路の伝送負荷を減少させることができる。
【0012】
【実施例】以下、この発明の一実施例について図面を参
照して詳細に説明する。図1において、図中符号11は
画像サーバで、その内部に予め圧縮された画像データで
ある一次圧縮データD1が磁気ディスク,磁気テープあ
るいは光ディスク媒体からなる記憶装置11aによって
蓄えられている。そして、この記憶装置11aに蓄えら
れた一次圧縮データD1は、二次圧縮装置11bの一方
の入力端に供給される。この二次圧縮装置11bは、1
2Mbpsの帯域をもつ一次圧縮データD1を、他方の
入力端から供給される視線データD2に基づいて再圧縮
することで、帯域4Mbpsの二次圧縮データD3に生
成する。すなわち、この画像サーバ11は、画像データ
にデータ圧縮処理を施し、狭帯域化させるものである。
なお、記憶装置11aには、予め圧縮された画像データ
が蓄えられているが、圧縮されていない画像データを蓄
えるようにしてもよい。
照して詳細に説明する。図1において、図中符号11は
画像サーバで、その内部に予め圧縮された画像データで
ある一次圧縮データD1が磁気ディスク,磁気テープあ
るいは光ディスク媒体からなる記憶装置11aによって
蓄えられている。そして、この記憶装置11aに蓄えら
れた一次圧縮データD1は、二次圧縮装置11bの一方
の入力端に供給される。この二次圧縮装置11bは、1
2Mbpsの帯域をもつ一次圧縮データD1を、他方の
入力端から供給される視線データD2に基づいて再圧縮
することで、帯域4Mbpsの二次圧縮データD3に生
成する。すなわち、この画像サーバ11は、画像データ
にデータ圧縮処理を施し、狭帯域化させるものである。
なお、記憶装置11aには、予め圧縮された画像データ
が蓄えられているが、圧縮されていない画像データを蓄
えるようにしてもよい。
【0013】そして、画像サーバ11の出力である二次
圧縮装置11bの二次圧縮データD3は、伝送ケーブル
12を伝送して、画像再生装置13に供給される。この
画像再生装置13において、二次圧縮装置11bから出
力された二次圧縮データD3は、伸長装置13aに供給
される。伸長装置13aは、入力された二次圧縮データ
D3を伸長し、ビデオ信号S1に変換している。つま
り、この伸長装置13aは、圧縮した画像データを元に
戻していることになる。そして、画像再生装置13の出
力である伸長装置13aのビデオ信号S1は、ヘッドマ
ウントディスプレイ14内の画面表示部15に供給され
る。
圧縮装置11bの二次圧縮データD3は、伝送ケーブル
12を伝送して、画像再生装置13に供給される。この
画像再生装置13において、二次圧縮装置11bから出
力された二次圧縮データD3は、伸長装置13aに供給
される。伸長装置13aは、入力された二次圧縮データ
D3を伸長し、ビデオ信号S1に変換している。つま
り、この伸長装置13aは、圧縮した画像データを元に
戻していることになる。そして、画像再生装置13の出
力である伸長装置13aのビデオ信号S1は、ヘッドマ
ウントディスプレイ14内の画面表示部15に供給され
る。
【0014】ヘッドマウントディスプレイ14は、観察
者16が頭に装着するもので、その中が画面表示部1
5,光学系部品17,視線検出カメラ18,スピーカ1
9等で構成されている。このうち、画面表示部15は、
画像再生装置13から出力されたビデオ信号S1に基づ
いて、上記画像サーバ11から送信された画像を画面に
再生表示するものである。なお、この画面表示部15に
は、液晶表示装置や投影式表示装置等が考えられる。そ
して、この画面表示部15に再生表示された画像を光学
系部品17を介して観察する観察者16は、その眼球1
6aの像が視線検出カメラ18によって検出される。
者16が頭に装着するもので、その中が画面表示部1
5,光学系部品17,視線検出カメラ18,スピーカ1
9等で構成されている。このうち、画面表示部15は、
画像再生装置13から出力されたビデオ信号S1に基づ
いて、上記画像サーバ11から送信された画像を画面に
再生表示するものである。なお、この画面表示部15に
は、液晶表示装置や投影式表示装置等が考えられる。そ
して、この画面表示部15に再生表示された画像を光学
系部品17を介して観察する観察者16は、その眼球1
6aの像が視線検出カメラ18によって検出される。
【0015】光学系部品17は、画面表示部15の虚像
を画面表示部15より遠方に結像するための凸レンズを
主に構成したものである。また、スピーカ19は、二次
圧縮データD3と同じ伝送路を時分割多重で送信される
音声信号によって駆動される。
を画面表示部15より遠方に結像するための凸レンズを
主に構成したものである。また、スピーカ19は、二次
圧縮データD3と同じ伝送路を時分割多重で送信される
音声信号によって駆動される。
【0016】そして、視線検出カメラ18によって検出
された視線検出信号S2は画像再生装置13に供給され
る。この画像再生装置13において、視線検出信号S2
は、視線データ処理装置13bに供給される。この視線
データ処理装置13bは、視線検出信号S2にマトリッ
クス変換処理を施すことにより、視線データD2を生成
し、この視線データD2を画像再生装置13の出力とし
て伝送ケーブル12を介して、画像サーバ11の二次圧
縮装置11bに出力している。
された視線検出信号S2は画像再生装置13に供給され
る。この画像再生装置13において、視線検出信号S2
は、視線データ処理装置13bに供給される。この視線
データ処理装置13bは、視線検出信号S2にマトリッ
クス変換処理を施すことにより、視線データD2を生成
し、この視線データD2を画像再生装置13の出力とし
て伝送ケーブル12を介して、画像サーバ11の二次圧
縮装置11bに出力している。
【0017】再び二次圧縮装置11bは、画像再生装置
13から出力された視線データD2に基づいて、視線近
傍である中心視野の画像データを低圧縮率に、視線から
遠ざかる周辺視野ほど高圧縮率になるように、画像デー
タまたは一次圧縮データD1にデータ圧縮処理を施して
いる。
13から出力された視線データD2に基づいて、視線近
傍である中心視野の画像データを低圧縮率に、視線から
遠ざかる周辺視野ほど高圧縮率になるように、画像デー
タまたは一次圧縮データD1にデータ圧縮処理を施して
いる。
【0018】なお、この実施例において、全体をカメラ
としてもよいし、また、画面表示部15をテレビジョン
画面またはモニタとしてもよい。図2は、上記視線検出
カメラ18の詳細を示している。すなわち、図2(a)
において、視線検出カメラ18は、CCD(Charge Coup
led Device) 18a,集光レンズ18b及び照明用の赤
外線LED(Light Emitting Diode)18cで構成されて
いる。赤外線LED18cは、赤外線を観察者16の眼
球16a全体に照射している。観察者16の眼球16a
は、赤外線を受光することにより、CCD18aによっ
て検出されやすくなる。
としてもよいし、また、画面表示部15をテレビジョン
画面またはモニタとしてもよい。図2は、上記視線検出
カメラ18の詳細を示している。すなわち、図2(a)
において、視線検出カメラ18は、CCD(Charge Coup
led Device) 18a,集光レンズ18b及び照明用の赤
外線LED(Light Emitting Diode)18cで構成されて
いる。赤外線LED18cは、赤外線を観察者16の眼
球16a全体に照射している。観察者16の眼球16a
は、赤外線を受光することにより、CCD18aによっ
て検出されやすくなる。
【0019】CCD18aは、図2(b)に示すよう
に、眼球16aに赤外線LED18cからの赤外線が照
射されている範囲であるパターン認識エリア18dの像
を集光レンズ18bを介して検出し、この検出結果に対
応する視線検出信号S2を視線データ処理装置13aに
出力するようにしている。この視線検出信号S2は、視
線データ処理装置13b内でパターン認識され、これに
より虹採エッジ16a1と瞳孔16a2との位置関係が
検出される。このため、観察者16が画面表示部15の
どの部分に視線を注いでいるかを表す視線データD2が
得られる。
に、眼球16aに赤外線LED18cからの赤外線が照
射されている範囲であるパターン認識エリア18dの像
を集光レンズ18bを介して検出し、この検出結果に対
応する視線検出信号S2を視線データ処理装置13aに
出力するようにしている。この視線検出信号S2は、視
線データ処理装置13b内でパターン認識され、これに
より虹採エッジ16a1と瞳孔16a2との位置関係が
検出される。このため、観察者16が画面表示部15の
どの部分に視線を注いでいるかを表す視線データD2が
得られる。
【0020】すなわち、この視線データD2は、画面の
座標データであり、縦軸,横軸用とも0〜1000の範
囲の値(10bit)を取っている。このデータは両眼
用である必要があり、また毎秒30回出力されるため、
約120bpsとなる。
座標データであり、縦軸,横軸用とも0〜1000の範
囲の値(10bit)を取っている。このデータは両眼
用である必要があり、また毎秒30回出力されるため、
約120bpsとなる。
【0021】図3は、眼球16a運動の個人差を補正す
るためのキャリブレーション方式を示している。すなわ
ち、キャリブレーションは、新規の観察者16につい
て、個人差に関するデータを視線データ処理装置13b
に登録する作業である。この作業は、上記画面表示部1
5の略4隅に配置されているマーク15a,15b,1
5c,15dを、観察者16が視線で追う作業である。
ここで、マーク15a,15b,15c,15dは、順
に点灯されるようになっており、観察者16は、これら
のマーク15a,15b,15c,15dを順に視線で
追いながら、図示しないボタンを押すようにしている。
このボタンを押すことによって、観察者16の虹採エッ
ジ16a1と瞳孔16a2との位置が設定され、この設
定位置が視線データ処理装置13bに登録される。そし
て、これら虹採エッジ16a1と瞳孔16a2との位置
関係から、視線データD2を得る変換マトリックスが視
線データ処理装置13b内で生成される。
るためのキャリブレーション方式を示している。すなわ
ち、キャリブレーションは、新規の観察者16につい
て、個人差に関するデータを視線データ処理装置13b
に登録する作業である。この作業は、上記画面表示部1
5の略4隅に配置されているマーク15a,15b,1
5c,15dを、観察者16が視線で追う作業である。
ここで、マーク15a,15b,15c,15dは、順
に点灯されるようになっており、観察者16は、これら
のマーク15a,15b,15c,15dを順に視線で
追いながら、図示しないボタンを押すようにしている。
このボタンを押すことによって、観察者16の虹採エッ
ジ16a1と瞳孔16a2との位置が設定され、この設
定位置が視線データ処理装置13bに登録される。そし
て、これら虹採エッジ16a1と瞳孔16a2との位置
関係から、視線データD2を得る変換マトリックスが視
線データ処理装置13b内で生成される。
【0022】一方、図4は、人間の視線特性を示してい
る。なお、図4(a)は視野の大きさを示しており、図
4(b)は視野と視力との関係を示している。ここで、
図4(a)は、観察者16が視線を動かさないで、一度
に見ることができる範囲を示している。すなわち、観察
者16は、その左右の眼において、上下左右で約60度
の広がりで見ることができる。
る。なお、図4(a)は視野の大きさを示しており、図
4(b)は視野と視力との関係を示している。ここで、
図4(a)は、観察者16が視線を動かさないで、一度
に見ることができる範囲を示している。すなわち、観察
者16は、その左右の眼において、上下左右で約60度
の広がりで見ることができる。
【0023】また、図4(b)において、縦軸は視力の
相対値を示し、横軸は観察者16に対する中心視野Aか
らの視野の広がり度数を示している。観察者16の視力
は、網膜上の中心視野Aから1°20´の範囲で最もよ
く、中心視野Aから図中矢印Bで示す周辺視野の方向へ
離れていくに従い、急激に減少している。つまり、中心
視野Aほど視力が高く高精細に視覚でき、周辺視野Bに
向かうほど視力が低下し、高精細に視覚できなくなるこ
とを示している。このため、画像表示において、中心視
野Aは高精細に表示される必要があるが、周辺視野Bは
それほど高精細に表示されなくても知覚上問題ないこと
がわかる。要するに、この原理を利用して、周辺視野B
に関するデータ量を削減することによって、画像データ
全体の量を削減できる。この人間の視線特性について
は、文献(テレビジョン学会編,「画像情報圧縮」,オ
ーム社,平成3.8.25)等に説明されている。
相対値を示し、横軸は観察者16に対する中心視野Aか
らの視野の広がり度数を示している。観察者16の視力
は、網膜上の中心視野Aから1°20´の範囲で最もよ
く、中心視野Aから図中矢印Bで示す周辺視野の方向へ
離れていくに従い、急激に減少している。つまり、中心
視野Aほど視力が高く高精細に視覚でき、周辺視野Bに
向かうほど視力が低下し、高精細に視覚できなくなるこ
とを示している。このため、画像表示において、中心視
野Aは高精細に表示される必要があるが、周辺視野Bは
それほど高精細に表示されなくても知覚上問題ないこと
がわかる。要するに、この原理を利用して、周辺視野B
に関するデータ量を削減することによって、画像データ
全体の量を削減できる。この人間の視線特性について
は、文献(テレビジョン学会編,「画像情報圧縮」,オ
ーム社,平成3.8.25)等に説明されている。
【0024】図5は、画面表示部15と画角θ0との関
係を説明するための断面図を示している。ここで、画面
表示部15は、右部15eと左部15fとで独立に示さ
れている。右部15eは観察者16の右眼球16bに対
応し、左部15fは観察者16の左眼球16cに対応す
るように配置されている。観察者16は、両眼球16
b,16cにおいて、画角90度の範囲で光学系部品1
7a,17bを介して右部15e,左部15fの同一画
像を見ることができる。この図5では、画角θ0を90
°としているが、これは、100インチの画面を1m離
れたところから観察した迫力を提供できるためである。
この場合、光学系部品17a,17bの虚像距離は1m
となる。
係を説明するための断面図を示している。ここで、画面
表示部15は、右部15eと左部15fとで独立に示さ
れている。右部15eは観察者16の右眼球16bに対
応し、左部15fは観察者16の左眼球16cに対応す
るように配置されている。観察者16は、両眼球16
b,16cにおいて、画角90度の範囲で光学系部品1
7a,17bを介して右部15e,左部15fの同一画
像を見ることができる。この図5では、画角θ0を90
°としているが、これは、100インチの画面を1m離
れたところから観察した迫力を提供できるためである。
この場合、光学系部品17a,17bの虚像距離は1m
となる。
【0025】ところで、画面表示部15に二眼立体視を
表示させる場合には、右部15eと左部15fとの画像
は異なるものとなる。図6は、視野領域とそれに対応す
る画像表示部15の圧縮領域との関係を示している。図
6では、あたかも1枚を両眼で観察しているように表示
しているが、実際には、上述したように両眼の画像15
e,15fは別々に存在している。ここでは、観察者1
6の視野の範囲を画角θで示している。また、画面表示
部15の画像において、−10°<θ<10°の領域を
中心視野A、その外側で−25°<θ<25°の領域を
周辺視野B、その外側で−45°<θ<45°を周辺視
野C、その外部を外周視野Dとしている。そして、画面
表示部15に圧縮処理を施すことによって、中心視野A
の面積比は約6%、周辺視野Bは約31%、周辺視野C
は約70%となる。
表示させる場合には、右部15eと左部15fとの画像
は異なるものとなる。図6は、視野領域とそれに対応す
る画像表示部15の圧縮領域との関係を示している。図
6では、あたかも1枚を両眼で観察しているように表示
しているが、実際には、上述したように両眼の画像15
e,15fは別々に存在している。ここでは、観察者1
6の視野の範囲を画角θで示している。また、画面表示
部15の画像において、−10°<θ<10°の領域を
中心視野A、その外側で−25°<θ<25°の領域を
周辺視野B、その外側で−45°<θ<45°を周辺視
野C、その外部を外周視野Dとしている。そして、画面
表示部15に圧縮処理を施すことによって、中心視野A
の面積比は約6%、周辺視野Bは約31%、周辺視野C
は約70%となる。
【0026】図7は、体感視野と二次圧縮率との関係を
示している。ここでは、視野の範囲を画角θで示し、ま
た画角θによって表示領域を3分割している。すなわ
ち、−10°<θ<10°の領域を中心視野α、その外
側で−23°<θ<23°の領域を周辺視野β、その外
部を外周視野γとしている。中心視野αは観察者16の
視力が高く高精細に表示しなければならないので圧縮率
を1/1(低圧縮率)に、周辺視野βは少し視力が低下
するため圧縮率を1/3(中圧縮率)に、外周視野γは
視力がかなり低下しているため圧縮率を1/6(高圧縮
率)に圧縮されている。
示している。ここでは、視野の範囲を画角θで示し、ま
た画角θによって表示領域を3分割している。すなわ
ち、−10°<θ<10°の領域を中心視野α、その外
側で−23°<θ<23°の領域を周辺視野β、その外
部を外周視野γとしている。中心視野αは観察者16の
視力が高く高精細に表示しなければならないので圧縮率
を1/1(低圧縮率)に、周辺視野βは少し視力が低下
するため圧縮率を1/3(中圧縮率)に、外周視野γは
視力がかなり低下しているため圧縮率を1/6(高圧縮
率)に圧縮されている。
【0027】また、中心視野α,周辺視野β及び外周視
野γの面積比は、それぞれ7%,28%,65%とな
り、これにより総合的な圧縮率は約1/3(0.31)
となる。一方、観察者16の視線が画面表示部15の周
辺視野βに片寄った場合、中心視野α,周辺視野β及び
外周視野γの面積比は、それぞれ変化するが、総合的な
圧縮率が1/3より大きくなることはない。
野γの面積比は、それぞれ7%,28%,65%とな
り、これにより総合的な圧縮率は約1/3(0.31)
となる。一方、観察者16の視線が画面表示部15の周
辺視野βに片寄った場合、中心視野α,周辺視野β及び
外周視野γの面積比は、それぞれ変化するが、総合的な
圧縮率が1/3より大きくなることはない。
【0028】図8は、上記二次圧縮装置11bの詳細を
示している。ここでは、直交変換,量子化,可変長符号
化手段等を用いた方法で予め圧縮された一次圧縮データ
D1(動画像)を、二次圧縮する具体的な方法を示して
いる。
示している。ここでは、直交変換,量子化,可変長符号
化手段等を用いた方法で予め圧縮された一次圧縮データ
D1(動画像)を、二次圧縮する具体的な方法を示して
いる。
【0029】一次圧縮データD1は、直交変換としてD
CT(Discreat Cosine Transf
orm)を用いた高能率符号化方式で圧縮されたデータ
である。DCTは、画面上の隣接するm×n画素のブロ
ック単位で画素データを空間周波数成分等の直交成分に
変換するものである。これにより空間的な相関成分が削
除可能になる。直交変換された変換係数は、所定の量子
化幅で量子化されることにより、ブロックの信号の冗長
度が削減される。
CT(Discreat Cosine Transf
orm)を用いた高能率符号化方式で圧縮されたデータ
である。DCTは、画面上の隣接するm×n画素のブロ
ック単位で画素データを空間周波数成分等の直交成分に
変換するものである。これにより空間的な相関成分が削
除可能になる。直交変換された変換係数は、所定の量子
化幅で量子化されることにより、ブロックの信号の冗長
度が削減される。
【0030】さらに、量子化出力は、ハフマン符号等の
可変長符号を施されることにより、データ量を一層削減
される。このハフマン符号は、量子化出力の統計的符号
量から算出した結果に基づいて、符号化を行なうもので
あり、出現確率の高いデータには短い符号に、出現確率
の低いデータには長い符号に符号化することによって全
体としてのデータ量を削減している。
可変長符号を施されることにより、データ量を一層削減
される。このハフマン符号は、量子化出力の統計的符号
量から算出した結果に基づいて、符号化を行なうもので
あり、出現確率の高いデータには短い符号に、出現確率
の低いデータには長い符号に符号化することによって全
体としてのデータ量を削減している。
【0031】一方、MPEGなどの圧縮方式では、直交
変換,量子化,可変長符号化の他に、フレーム間圧縮を
取り入れたハイブリット方式を採用している。これは、
直交変換を用いた画面内圧縮(フレーム内圧縮)の他
に、フレーム間の相関を利用して時間軸方向の冗長度を
削減する圧縮方式である。
変換,量子化,可変長符号化の他に、フレーム間圧縮を
取り入れたハイブリット方式を採用している。これは、
直交変換を用いた画面内圧縮(フレーム内圧縮)の他
に、フレーム間の相関を利用して時間軸方向の冗長度を
削減する圧縮方式である。
【0032】フレーム間圧縮は、一般の動画像が時間的
に前後のフレームでよく似ているという性質を利用して
前後のフレームの差分を求め、その差分値を符号化する
ことによってデータ量を一層削減するものである。特
に、画像の動きを予測してフレーム間差を求めることに
よって予測誤差(差分値)を低減する動き補償付フレー
ム間予測符号化が有効である。ここで、フレーム間予測
を用いて得た予測誤差は、直交変換,量子化,可変長符
号化等の処理が施される。このように圧縮することによ
って、時間軸方向,空間軸方向の冗長度が削減される。
に前後のフレームでよく似ているという性質を利用して
前後のフレームの差分を求め、その差分値を符号化する
ことによってデータ量を一層削減するものである。特
に、画像の動きを予測してフレーム間差を求めることに
よって予測誤差(差分値)を低減する動き補償付フレー
ム間予測符号化が有効である。ここで、フレーム間予測
を用いて得た予測誤差は、直交変換,量子化,可変長符
号化等の処理が施される。このように圧縮することによ
って、時間軸方向,空間軸方向の冗長度が削減される。
【0033】このようにDCTを用いて圧縮された一次
圧縮データD1が二次圧縮装置11bに供給される。二
次圧縮装置11bにおいて、入力端子11b1に供給さ
れた一次圧縮データD1は、二次量子化部11b2及び
パラメータ書き換え部11b3にそれぞれ供給される。
二次量子化部11b2は、供給された一次圧縮データD
1のDCT変換係数を可変長復合して再量子化処理を行
なっている。また、二次量子化部11b2から出力され
た再量子化データD4は、マルチプレクサ11b4を介
して量子化幅制御部11b5に供給される。
圧縮データD1が二次圧縮装置11bに供給される。二
次圧縮装置11bにおいて、入力端子11b1に供給さ
れた一次圧縮データD1は、二次量子化部11b2及び
パラメータ書き換え部11b3にそれぞれ供給される。
二次量子化部11b2は、供給された一次圧縮データD
1のDCT変換係数を可変長復合して再量子化処理を行
なっている。また、二次量子化部11b2から出力され
た再量子化データD4は、マルチプレクサ11b4を介
して量子化幅制御部11b5に供給される。
【0034】量子化幅制御部11b5は、端子11b6
に供給される視線データD2に基づいて、供給された再
量子化データD4から量子化幅データD5を生成してい
る。すなわち、量子化幅制御部11b5は、中心視野α
ならば細かい量子化幅,外周視野γならば粗い量子化幅
の量子化幅データD5を二次量子化部11b2に供給し
ている。
に供給される視線データD2に基づいて、供給された再
量子化データD4から量子化幅データD5を生成してい
る。すなわち、量子化幅制御部11b5は、中心視野α
ならば細かい量子化幅,外周視野γならば粗い量子化幅
の量子化幅データD5を二次量子化部11b2に供給し
ている。
【0035】すなわち、二次量子化部11b2は、量子
化幅制御部11b5から出力された量子化幅データD5
に基づいて、入力端子11b1に供給された一次圧縮デ
ータD1の再量子化を行なっている。そして、再量子化
された一次圧縮データD1の係数は、可変長符号化され
て再量子化データD4となり、マルチプレクサ11b4
の一方の入力端に供給される。
化幅制御部11b5から出力された量子化幅データD5
に基づいて、入力端子11b1に供給された一次圧縮デ
ータD1の再量子化を行なっている。そして、再量子化
された一次圧縮データD1の係数は、可変長符号化され
て再量子化データD4となり、マルチプレクサ11b4
の一方の入力端に供給される。
【0036】一方、パラメータ書き換え部11b3は、
量子化幅制御部11b5から出力された量子化幅データ
D5に基づいて、一次圧縮データD1中の量子化パラメ
ータ等の圧縮情報を書き換えて、この書き換えた圧縮情
報D6をマルチプレクサ11b4の他方の入力端に供給
している。マルチプレクサ11b4は、再量子化データ
D4と圧縮情報D6とを多重して二次圧縮データD3を
生成し、この二次圧縮データD3が二次圧縮装置11b
の出力として出力端子11b7から取り出される。ま
た、二次圧縮データD3の符号量は、量子化幅制御部1
1b5へフィードバックされて、この符号量が所望のデ
ータ量になるように量子化幅データD5を制御してい
る。
量子化幅制御部11b5から出力された量子化幅データ
D5に基づいて、一次圧縮データD1中の量子化パラメ
ータ等の圧縮情報を書き換えて、この書き換えた圧縮情
報D6をマルチプレクサ11b4の他方の入力端に供給
している。マルチプレクサ11b4は、再量子化データ
D4と圧縮情報D6とを多重して二次圧縮データD3を
生成し、この二次圧縮データD3が二次圧縮装置11b
の出力として出力端子11b7から取り出される。ま
た、二次圧縮データD3の符号量は、量子化幅制御部1
1b5へフィードバックされて、この符号量が所望のデ
ータ量になるように量子化幅データD5を制御してい
る。
【0037】図9は、例えば4×4のDCT変換係数を
取り上げ、中心視野α,周辺視野β,外周視野γのそれ
ぞれにおける係数削除方法を示している。すなわち、符
号化された一次圧縮データD1は、復合化されることに
より、DCTデータ20に再生される。DCTデータ2
0において、低周波成分は15等の大きな値を持つが、
高周波成分はほとんど0になる。そして、中心視野αの
場合はDCTデータ20を1で再量子化(×1倍)し、
周辺視野βである場合は2で再量子化(×1/2倍)
し、外周視野γである場合は4で再量子化(×1/4
倍)している。すると、周辺視野βの二次圧縮データが
DCTデータ20の1/2倍となり、外周視野γの二次
圧縮データがDCTデータ20の1/4倍となる。な
お、変換係数の成分である変換係数値1は、1/2倍,
1/4倍に圧縮されると変換係数値0となる。
取り上げ、中心視野α,周辺視野β,外周視野γのそれ
ぞれにおける係数削除方法を示している。すなわち、符
号化された一次圧縮データD1は、復合化されることに
より、DCTデータ20に再生される。DCTデータ2
0において、低周波成分は15等の大きな値を持つが、
高周波成分はほとんど0になる。そして、中心視野αの
場合はDCTデータ20を1で再量子化(×1倍)し、
周辺視野βである場合は2で再量子化(×1/2倍)
し、外周視野γである場合は4で再量子化(×1/4
倍)している。すると、周辺視野βの二次圧縮データが
DCTデータ20の1/2倍となり、外周視野γの二次
圧縮データがDCTデータ20の1/4倍となる。な
お、変換係数の成分である変換係数値1は、1/2倍,
1/4倍に圧縮されると変換係数値0となる。
【0038】ここで、図10は、ジグザグスキャンを説
明するために示している。図中符号21は変換係数で、
0〜15までの数字を示している。これらの数字は、ジ
グザグスキャンされる順に示すものとする。すなわち、
0から1へは、右横方向へスキャンされる。そして、1
から2へは左斜め下方向へ、2から3へは下方向へ、3
から4へは右斜め上方向へと順にスキャンされることに
なる。すると、ジグザグスキャンされた順に符号化され
ることになる。
明するために示している。図中符号21は変換係数で、
0〜15までの数字を示している。これらの数字は、ジ
グザグスキャンされる順に示すものとする。すなわち、
0から1へは、右横方向へスキャンされる。そして、1
から2へは左斜め下方向へ、2から3へは下方向へ、3
から4へは右斜め上方向へと順にスキャンされることに
なる。すると、ジグザグスキャンされた順に符号化され
ることになる。
【0039】再び図9に戻って示すと、中心視野αの二
次圧縮DCTデータは、ジグザグスキャンされると、1
5,9,0,2,1,2,1,0,0,1,0,1,
0,1,1,0という順に符号化されることになる。ま
た、周辺視野βの二次圧縮DCTデータは、ジグザグス
キャンされると、7,4,0,1,0,1という順に符
号化されることになる。さらに、外周視野γの二次圧縮
DCTデータは、ジグザグスキャンされると、4,2と
いう順に符号化されることになる。なお、零係数のみが
連続する場合は、その時点で削除している。
次圧縮DCTデータは、ジグザグスキャンされると、1
5,9,0,2,1,2,1,0,0,1,0,1,
0,1,1,0という順に符号化されることになる。ま
た、周辺視野βの二次圧縮DCTデータは、ジグザグス
キャンされると、7,4,0,1,0,1という順に符
号化されることになる。さらに、外周視野γの二次圧縮
DCTデータは、ジグザグスキャンされると、4,2と
いう順に符号化されることになる。なお、零係数のみが
連続する場合は、その時点で削除している。
【0040】すなわち、これら4×4の変換係数をジグ
ザグスキャンして1次元に並び替え、零係数の連続数と
その次に現れる非零係数とを組み合わせて、ある2次元
ハフマン符号表を使用して2次元可変長符号化した結
果、中心視野αは42bitとなり、周辺視野βは18
bitとなり、外周視野γは7bitとなる。なお、最
後の連続非零係数は、符号化されなくてもよい。
ザグスキャンして1次元に並び替え、零係数の連続数と
その次に現れる非零係数とを組み合わせて、ある2次元
ハフマン符号表を使用して2次元可変長符号化した結
果、中心視野αは42bitとなり、周辺視野βは18
bitとなり、外周視野γは7bitとなる。なお、最
後の連続非零係数は、符号化されなくてもよい。
【0041】そして、42bitの中心視野α,18b
itの周辺視野β及び7bitの外周視野γには、各面
積比7%,28%及び65%が乗算され、これら乗算結
果の合計が約13bitとなる。つまり、42bitの
一次圧縮データD1の1/3倍以下に圧縮されているこ
とになる。このため、観察者16に認識されにくい外周
視野γの場合は粗い量子化幅が二次量子化部11b2に
与えられることによって情報量が削減され、観察者16
が注目している中心視野αの場合は細かい量子化幅が二
次量子化部11b2に与えられて、画質を損なわないよ
うにすることによって、体感画質を損なわずに低ビット
レート化することが可能になる。
itの周辺視野β及び7bitの外周視野γには、各面
積比7%,28%及び65%が乗算され、これら乗算結
果の合計が約13bitとなる。つまり、42bitの
一次圧縮データD1の1/3倍以下に圧縮されているこ
とになる。このため、観察者16に認識されにくい外周
視野γの場合は粗い量子化幅が二次量子化部11b2に
与えられることによって情報量が削減され、観察者16
が注目している中心視野αの場合は細かい量子化幅が二
次量子化部11b2に与えられて、画質を損なわないよ
うにすることによって、体感画質を損なわずに低ビット
レート化することが可能になる。
【0042】また、このように視線データD2を用いて
圧縮することによって、同じ符号量で視線データD2を
用いずに圧縮した場合と比較して、観察者16の注目点
における割り当て符号量が多くなるため、体感画質は改
善される。つまり、同じ体感画質を得るために必要な符
号量を、視線データD2を用いることによって低ビット
レート化することができる。
圧縮することによって、同じ符号量で視線データD2を
用いずに圧縮した場合と比較して、観察者16の注目点
における割り当て符号量が多くなるため、体感画質は改
善される。つまり、同じ体感画質を得るために必要な符
号量を、視線データD2を用いることによって低ビット
レート化することができる。
【0043】図11は、他の二次圧縮装置22の詳細を
示している。二次圧縮装置22において、入力端子22
aに供給された一次圧縮データD1は、変換係数削除部
22bに供給される。変換係数削除部22bは、観察者
16の視野領域に基づいて、一次圧縮データD1の変換
係数の削除を行なって二次圧縮データD3を生成してい
る。この二次圧縮データD3は、一方では二次圧縮装置
22の出力として出力端子22cから取り出され、他方
では符号量制御部22dに供給される。
示している。二次圧縮装置22において、入力端子22
aに供給された一次圧縮データD1は、変換係数削除部
22bに供給される。変換係数削除部22bは、観察者
16の視野領域に基づいて、一次圧縮データD1の変換
係数の削除を行なって二次圧縮データD3を生成してい
る。この二次圧縮データD3は、一方では二次圧縮装置
22の出力として出力端子22cから取り出され、他方
では符号量制御部22dに供給される。
【0044】符号量制御部22dは、端子22eに供給
される視線データD2に基づいて、削除する係数を決定
し、この係数削除データD7を変換係数削除部22bに
供給している。また、符号量制御部22dは、出力端子
22cから取り出される二次圧縮データD3の符号量を
監視しており、二次圧縮データD3が所望の符号量に収
まるように、削除する係数を決定する。
される視線データD2に基づいて、削除する係数を決定
し、この係数削除データD7を変換係数削除部22bに
供給している。また、符号量制御部22dは、出力端子
22cから取り出される二次圧縮データD3の符号量を
監視しており、二次圧縮データD3が所望の符号量に収
まるように、削除する係数を決定する。
【0045】図12は、他の二次圧縮装置22における
例えば4×4のDCT変換係数を取り上げ、中心視野
α,周辺視野β,外周視野γのそれぞれにおける係数削
除方法を示している。なお、太枠で囲まれた係数は、各
視野α,β,γにおける伝送係数例を示したものであ
る。
例えば4×4のDCT変換係数を取り上げ、中心視野
α,周辺視野β,外周視野γのそれぞれにおける係数削
除方法を示している。なお、太枠で囲まれた係数は、各
視野α,β,γにおける伝送係数例を示したものであ
る。
【0046】ここで、中心視野αの領域である場合は1
6個の係数全てを、周辺視野βでは9個の係数を、外周
視野γでは3個の係数を伝送するようにしている。図中
の()で囲った係数は、上記図10に示したようにジグ
ザグスキャンを行ない、零係数の連続数と、その後に現
れる非零係数とを組み合わせて一つの符号語を割り当て
る単位となっている。すなわち、周辺視野βは、ジグザ
グスキャンすることによって零係数が2回以上連続した
場合、その後に続く係数を打ち切るようにしている。ま
た、外周視野γは、ジグザグスキャンすることによって
零係数が存在した場合、その時点で係数を打ち切るよう
にしている。
6個の係数全てを、周辺視野βでは9個の係数を、外周
視野γでは3個の係数を伝送するようにしている。図中
の()で囲った係数は、上記図10に示したようにジグ
ザグスキャンを行ない、零係数の連続数と、その後に現
れる非零係数とを組み合わせて一つの符号語を割り当て
る単位となっている。すなわち、周辺視野βは、ジグザ
グスキャンすることによって零係数が2回以上連続した
場合、その後に続く係数を打ち切るようにしている。ま
た、外周視野γは、ジグザグスキャンすることによって
零係数が存在した場合、その時点で係数を打ち切るよう
にしている。
【0047】これら各視野α,β,γの係数は、2次元
ハフマン符号表を用いてハフマン符号化が行なわれる
と、それぞれ42ビット,27ビット,15ビットとな
る。すなわち、二次圧縮装置22は、中心視野αの領域
では伝送する直交変換係数の数を多く、外周視野γの領
域では伝送する直交変換係数の数を少なくすることによ
って再圧縮処理を施すようにしている。このため、観察
者16の注目点は画面の劣化が起こらず、視覚感度の低
い外周視野γは、その符号量が削減されて、これにより
全体としての発生符号量が削減される。なお、各視野
α,β,γの伝送する直交変換係数の数は、発生符号量
を監視している符号量制御部22dによって決定され
る。
ハフマン符号表を用いてハフマン符号化が行なわれる
と、それぞれ42ビット,27ビット,15ビットとな
る。すなわち、二次圧縮装置22は、中心視野αの領域
では伝送する直交変換係数の数を多く、外周視野γの領
域では伝送する直交変換係数の数を少なくすることによ
って再圧縮処理を施すようにしている。このため、観察
者16の注目点は画面の劣化が起こらず、視覚感度の低
い外周視野γは、その符号量が削減されて、これにより
全体としての発生符号量が削減される。なお、各視野
α,β,γの伝送する直交変換係数の数は、発生符号量
を監視している符号量制御部22dによって決定され
る。
【0048】以上のように、二次圧縮する手段は、直交
変換を行なう圧縮方式を用いていれば、フレーム間圧縮
が用いられていても使用することが可能となる。しかし
ながら、フレーム間圧縮を用いている場合は、観察者1
6の視点が移動した際に、中心視野αの画質改善時間が
視点の移動した時間に対して遅れることもある(視線追
跡遅れ)。また、伝送遅れ,演算遅れも視線追跡遅れの
原因になる。
変換を行なう圧縮方式を用いていれば、フレーム間圧縮
が用いられていても使用することが可能となる。しかし
ながら、フレーム間圧縮を用いている場合は、観察者1
6の視点が移動した際に、中心視野αの画質改善時間が
視点の移動した時間に対して遅れることもある(視線追
跡遅れ)。また、伝送遅れ,演算遅れも視線追跡遅れの
原因になる。
【0049】以下、上記視線追跡遅れを削減する方法を
説明する。図13は、意図的に低圧縮(高精細)部分を
残す二次圧縮に関する画面を示している。これは、上述
してきた視線データD2に基づく二次圧縮とは別に、画
像データの作成者の意図により、低圧縮部分を残す圧縮
方法である。
説明する。図13は、意図的に低圧縮(高精細)部分を
残す二次圧縮に関する画面を示している。これは、上述
してきた視線データD2に基づく二次圧縮とは別に、画
像データの作成者の意図により、低圧縮部分を残す圧縮
方法である。
【0050】ここで、画面表示部15における中心視野
αは、この時点で、観察者16が実際に視線を注いでい
る領域である。一方、象徴画像領域δは、図示しない画
像作成者が、観察者16に特に注視を促したい、あるい
は注ぐ可能性が高いと判断した領域である。この象徴画
像領域δは、この時点で、視線を注がれているわけでは
ないが、圧縮率が1/1にされている。このため、観察
者16は、象徴画像領域δに気づき易くなり、ここに視
線を注ぐ可能性が増大することになる。また、視線追跡
遅れによる違和感を回避できる。なお、象徴画像領域δ
としては、急に大きさや形が変化するもの、注意を喚起
するためのメッセージ,字幕等が考えられる。
αは、この時点で、観察者16が実際に視線を注いでい
る領域である。一方、象徴画像領域δは、図示しない画
像作成者が、観察者16に特に注視を促したい、あるい
は注ぐ可能性が高いと判断した領域である。この象徴画
像領域δは、この時点で、視線を注がれているわけでは
ないが、圧縮率が1/1にされている。このため、観察
者16は、象徴画像領域δに気づき易くなり、ここに視
線を注ぐ可能性が増大することになる。また、視線追跡
遅れによる違和感を回避できる。なお、象徴画像領域δ
としては、急に大きさや形が変化するもの、注意を喚起
するためのメッセージ,字幕等が考えられる。
【0051】これを実現するためには、例えば画像作成
者が一次圧縮データD1に対して、これ以上の圧縮を禁
止するというコードを挿入しておくことにより、図示し
ない制御回路が圧縮率を変えないように、作動すること
で達成される。
者が一次圧縮データD1に対して、これ以上の圧縮を禁
止するというコードを挿入しておくことにより、図示し
ない制御回路が圧縮率を変えないように、作動すること
で達成される。
【0052】図14は、視線移動ベクトルを利用した中
心視野α予測に関する画面を示している。図14におい
て、画面表示部15の画面左上から右下の方向へ移動し
ている象徴画像(図中では彗星の像を示す)15gが表
示されている。このような移動する象徴画像15gがあ
る場合には、観察者16は、視線を象徴画像15gに追
従させて見ることが多い。そして、移動した視線に沿っ
て視線移動ベクトル23を合成できる。例えば、0.1
秒前の中心視野α1から現在の中心視野α2を直線で結
ぶことによって合成できることになる。すなわち、この
視線移動ベクトル23は、図中点線で示すようなベクト
ル24上に延長される。この延長された領域(例えば
0.1秒後の位置)は、予測中心視野α3として予め低
圧縮率に二次圧縮される。
心視野α予測に関する画面を示している。図14におい
て、画面表示部15の画面左上から右下の方向へ移動し
ている象徴画像(図中では彗星の像を示す)15gが表
示されている。このような移動する象徴画像15gがあ
る場合には、観察者16は、視線を象徴画像15gに追
従させて見ることが多い。そして、移動した視線に沿っ
て視線移動ベクトル23を合成できる。例えば、0.1
秒前の中心視野α1から現在の中心視野α2を直線で結
ぶことによって合成できることになる。すなわち、この
視線移動ベクトル23は、図中点線で示すようなベクト
ル24上に延長される。この延長された領域(例えば
0.1秒後の位置)は、予測中心視野α3として予め低
圧縮率に二次圧縮される。
【0053】以上のような先回り圧縮処理により、視線
追跡遅れによる違和感が回避できることになる。ここ
で、先回り圧縮処理において、領域の決め方について説
明する。すなわち、この決め方には、常に一定距離先を
予測中心視野α3として処理する方法と、視線移動ベク
トル23の延長線上に別の象徴画像がある場合には、そ
の象徴画像を含む領域とする方法とがある。
追跡遅れによる違和感が回避できることになる。ここ
で、先回り圧縮処理において、領域の決め方について説
明する。すなわち、この決め方には、常に一定距離先を
予測中心視野α3として処理する方法と、視線移動ベク
トル23の延長線上に別の象徴画像がある場合には、そ
の象徴画像を含む領域とする方法とがある。
【0054】図15は、この発明の第2の実施例を示し
ている。図15において、図中符号25はビデオサーバ
で、その内部に予め圧縮された画像データである一次圧
縮データD8が磁気ディスク,磁気テープあるいは光デ
ィスク媒体からなる記憶装置25aによって蓄えられて
いる。そして、この記憶装置25aに蓄えられた一次圧
縮データD8は、信号送出装置25bに供給される。こ
の信号送出装置25bは、12Mbpsの帯域をもつ一
次圧縮データD8を、ビデオサーバ25の出力として1
00Mbpsの広帯域ケーブル(光ケーブル)26に送
出している。
ている。図15において、図中符号25はビデオサーバ
で、その内部に予め圧縮された画像データである一次圧
縮データD8が磁気ディスク,磁気テープあるいは光デ
ィスク媒体からなる記憶装置25aによって蓄えられて
いる。そして、この記憶装置25aに蓄えられた一次圧
縮データD8は、信号送出装置25bに供給される。こ
の信号送出装置25bは、12Mbpsの帯域をもつ一
次圧縮データD8を、ビデオサーバ25の出力として1
00Mbpsの広帯域ケーブル(光ケーブル)26に送
出している。
【0055】広帯域ケーブル26では、大量遠隔転送が
実現でき、さらに8チャンネル多重ができる。また、広
帯域ケーブル26は、ビデオサーバ25から送出された
一次圧縮データD8を、二次圧縮装置27及び画像再生
装置28にそれぞれ供給している。画像再生装置28
は、12Mbps以上の帯域のローカルケーブル(同軸
ケーブル)29を介して供給された一次圧縮データD8
にデータ伸長等の画像再生処理を施している。この画像
再生処理が施された信号S3は、テレビモニタ30に供
給される。そこで、12Mbps以上の帯域のローカル
ケーブル29を持つ観察者31は、二次圧縮していない
画像データを利用できるので、画像再生装置28とテレ
ビモニタ30とで画像を観察できる。
実現でき、さらに8チャンネル多重ができる。また、広
帯域ケーブル26は、ビデオサーバ25から送出された
一次圧縮データD8を、二次圧縮装置27及び画像再生
装置28にそれぞれ供給している。画像再生装置28
は、12Mbps以上の帯域のローカルケーブル(同軸
ケーブル)29を介して供給された一次圧縮データD8
にデータ伸長等の画像再生処理を施している。この画像
再生処理が施された信号S3は、テレビモニタ30に供
給される。そこで、12Mbps以上の帯域のローカル
ケーブル29を持つ観察者31は、二次圧縮していない
画像データを利用できるので、画像再生装置28とテレ
ビモニタ30とで画像を観察できる。
【0056】また、二次圧縮装置27は、広帯域ケーブ
ル26から供給された一次圧縮データD8を再圧縮する
ことで、帯域4Mbpsの二次圧縮データD9に生成す
る。そして、二次圧縮データD9は、4Mbpsの狭帯
域ケーブル(より対線)32を介して画像再生装置33
に供給され、画像再生処理が施された後、そのビデオ信
号S4に変換され、観察者34が頭に装着しているヘッ
ドマウントディスプレイ35に供給される。
ル26から供給された一次圧縮データD8を再圧縮する
ことで、帯域4Mbpsの二次圧縮データD9に生成す
る。そして、二次圧縮データD9は、4Mbpsの狭帯
域ケーブル(より対線)32を介して画像再生装置33
に供給され、画像再生処理が施された後、そのビデオ信
号S4に変換され、観察者34が頭に装着しているヘッ
ドマウントディスプレイ35に供給される。
【0057】ヘッドマウントディスプレイ35におい
て、視線検出カメラによって検出された視線検出信号S
5は、画像再生装置33に供給されて視線データD10
に生成され、二次圧縮装置27に供給される。さらに、
二次圧縮装置27は、視線データD10に基づいて、供
給された一次圧縮データD8に再圧縮処理を施すことに
なる。なお、二次圧縮装置27には、複数本の狭帯域ケ
ーブル32が接続されている。
て、視線検出カメラによって検出された視線検出信号S
5は、画像再生装置33に供給されて視線データD10
に生成され、二次圧縮装置27に供給される。さらに、
二次圧縮装置27は、視線データD10に基づいて、供
給された一次圧縮データD8に再圧縮処理を施すことに
なる。なお、二次圧縮装置27には、複数本の狭帯域ケ
ーブル32が接続されている。
【0058】ここで、4Mbpsの狭帯域ケーブル32
を持つ観察者34は、二次圧縮装置27を用いて画像デ
ータ圧縮する必要があり、さらに、画像再生装置33及
びヘッドマウントディスプレイ35を必要としている。
また、二次圧縮装置27のユニットは観察者34ごとに
必要であるが、これを数個から数10個まとめたセグメ
ントを、地域ごとにまとめて設置・管理する方法が望ま
しい。つまり、その設置場所から観察者34のいる世帯
まで、狭帯域ケーブル32を敷設するようにすることで
ある。また、セグメント間は、基幹ネットワークを構成
する広帯域ケーブル26で連結するようにしている。こ
のため、ケーブル敷設費用の削減を図ることが可能にな
る。
を持つ観察者34は、二次圧縮装置27を用いて画像デ
ータ圧縮する必要があり、さらに、画像再生装置33及
びヘッドマウントディスプレイ35を必要としている。
また、二次圧縮装置27のユニットは観察者34ごとに
必要であるが、これを数個から数10個まとめたセグメ
ントを、地域ごとにまとめて設置・管理する方法が望ま
しい。つまり、その設置場所から観察者34のいる世帯
まで、狭帯域ケーブル32を敷設するようにすることで
ある。また、セグメント間は、基幹ネットワークを構成
する広帯域ケーブル26で連結するようにしている。こ
のため、ケーブル敷設費用の削減を図ることが可能にな
る。
【0059】すなわち、第2の実施例では、広帯域ケー
ブル26の利用による大量遠隔転送と、二次圧縮処理を
画像再生装置33の近くで行なうことによる伝送遅れの
回避が実現できる。
ブル26の利用による大量遠隔転送と、二次圧縮処理を
画像再生装置33の近くで行なうことによる伝送遅れの
回避が実現できる。
【0060】図16は、上記第1の実施例の二次圧縮処
理とは別の第1の二次圧縮処理を示している。図16
(a)において、フレームa1〜a4は、二次圧縮前の
画像の連続である。すなわち、画像は、フレームa1,
a2,a3,a4という順に伝送される。なお、画像内
における図中円で示す領域は、中心視野αである。
理とは別の第1の二次圧縮処理を示している。図16
(a)において、フレームa1〜a4は、二次圧縮前の
画像の連続である。すなわち、画像は、フレームa1,
a2,a3,a4という順に伝送される。なお、画像内
における図中円で示す領域は、中心視野αである。
【0061】また、図16(b)において、フレームb
1〜b4は、観察者が図中十字印を注視し続けていると
仮定したときの二次圧縮後の画像の連続である。すなわ
ち、画像は、フレームb1,b2,b3,b4という順
に伝送される。なお、画像における視野のクラス分類
は、説明簡略化のため、中心視野αと外周視野γとの2
種類としている。
1〜b4は、観察者が図中十字印を注視し続けていると
仮定したときの二次圧縮後の画像の連続である。すなわ
ち、画像は、フレームb1,b2,b3,b4という順
に伝送される。なお、画像における視野のクラス分類
は、説明簡略化のため、中心視野αと外周視野γとの2
種類としている。
【0062】フレームb1〜b4において、中心視野α
1〜α4は、図16(a)に示すように、二次圧縮前の
4フレーム分の画像データがそのまま伝送されている。
一方、外周視野γ1〜γ4では、画像データの更新がフ
レームb1,b3の2回のみ行なわれている。すなわ
ち、外周視野では、画像の更新が正規の1/2回しか行
なわれていないことになる。その間、外周視野γ2の領
域では、外周視野γ1の画像をそのまま表示する。ま
た、外周視野γ4も同様に外周視野γ3の画像をそのま
ま表示する。つまり、この第1の二次圧縮処理は、高圧
縮率の領域である外周視野では画像伝送の間隔を、低圧
縮率の領域よりも長くすることにより再圧縮を施すよう
にしている。このため、外周視野γ1〜γ4において
は、情報伝送量が約1/2になる。
1〜α4は、図16(a)に示すように、二次圧縮前の
4フレーム分の画像データがそのまま伝送されている。
一方、外周視野γ1〜γ4では、画像データの更新がフ
レームb1,b3の2回のみ行なわれている。すなわ
ち、外周視野では、画像の更新が正規の1/2回しか行
なわれていないことになる。その間、外周視野γ2の領
域では、外周視野γ1の画像をそのまま表示する。ま
た、外周視野γ4も同様に外周視野γ3の画像をそのま
ま表示する。つまり、この第1の二次圧縮処理は、高圧
縮率の領域である外周視野では画像伝送の間隔を、低圧
縮率の領域よりも長くすることにより再圧縮を施すよう
にしている。このため、外周視野γ1〜γ4において
は、情報伝送量が約1/2になる。
【0063】そこで、外周視野γ1〜γ4では映像の変
化の滑らかさが犠牲になるわけであるが、外周視野γ1
〜γ4では観察者の目の解像度が低いので、あまり気に
ならない。また、図16(b)において、被写体である
自動車が分断されたり中間部が抜けてしまったようにな
っているが、これは、フレーム間の動きを誇張している
ために起きている現象で、実際の連続した画面の動きは
わずかであるため、このような極端な変形は起きない。
また、視野のクラス分類も実際には2段階よりも多く、
もっと段階的に分割されるので、画像の不自然さは意識
されにくい。さらに、この第1の二次圧縮処理は、上記
二次圧縮装置27で面内圧縮を行なう(フレーム間圧縮
は行なわない)映像システムに有効に適用されるように
なっている。
化の滑らかさが犠牲になるわけであるが、外周視野γ1
〜γ4では観察者の目の解像度が低いので、あまり気に
ならない。また、図16(b)において、被写体である
自動車が分断されたり中間部が抜けてしまったようにな
っているが、これは、フレーム間の動きを誇張している
ために起きている現象で、実際の連続した画面の動きは
わずかであるため、このような極端な変形は起きない。
また、視野のクラス分類も実際には2段階よりも多く、
もっと段階的に分割されるので、画像の不自然さは意識
されにくい。さらに、この第1の二次圧縮処理は、上記
二次圧縮装置27で面内圧縮を行なう(フレーム間圧縮
は行なわない)映像システムに有効に適用されるように
なっている。
【0064】図17は、第2の二次圧縮処理に関する視
野のクラス分類を示している。図17において、図中符
号36は画面で、中心視野36αと外周視野36βとに
分類されている。この画面36において、観察者は、十
字印37に視線を注いでいるものとしている。なお、第
2の二次圧縮処理において、周辺視野は、説明簡略化の
ため、省略されている。また、第2の二次圧縮処理は、
中心視野36αの領域からブロック38αを抜き出し、
外周視野36βの領域からブロック38βを抜き出し
て、再圧縮を行なうようにしている。
野のクラス分類を示している。図17において、図中符
号36は画面で、中心視野36αと外周視野36βとに
分類されている。この画面36において、観察者は、十
字印37に視線を注いでいるものとしている。なお、第
2の二次圧縮処理において、周辺視野は、説明簡略化の
ため、省略されている。また、第2の二次圧縮処理は、
中心視野36αの領域からブロック38αを抜き出し、
外周視野36βの領域からブロック38βを抜き出し
て、再圧縮を行なうようにしている。
【0065】そこで、図18は、上記ブロック38α,
38γの二次圧縮の具体例を示している。ここで、ブロ
ック38αは中心視野36α内のブロックであるから、
一次圧縮のままのデータが送られてくるため、デコード
動作も一次圧縮データをデコードするだけである。図
中、斜視的に示された四辺形は伝送されてくる画像デー
タを抽象化したものであり、その大きさは画像データに
関する情報量の大きさの目安を示している。なお、図中
四辺形は、上記画面36に対応したものである。
38γの二次圧縮の具体例を示している。ここで、ブロ
ック38αは中心視野36α内のブロックであるから、
一次圧縮のままのデータが送られてくるため、デコード
動作も一次圧縮データをデコードするだけである。図
中、斜視的に示された四辺形は伝送されてくる画像デー
タを抽象化したものであり、その大きさは画像データに
関する情報量の大きさの目安を示している。なお、図中
四辺形は、上記画面36に対応したものである。
【0066】ここで、一次圧縮においては上述したよう
な動き画像のフレーム間圧縮技術が適用されている。つ
まり、数フレームに一度、イニシャルデータと称される
ブロック全体の画像データI1が伝送されてくるので、
これはそのまま画面36に表示される。その後、次のイ
ニシャルデータI2が伝送されるまでは、各フレームの
ブロック内の映像は、前フレームとの動きベクトルと差
分データからなる中間データP1〜P4で示されること
になる。要するに、フレーム間圧縮の冗長性を間引くフ
レーム間圧縮を行なっていることになる。ここで、中間
データP1〜P4は、イニシャルデータI1,I2より
も情報量が少ないため、毎フレームごとにイニシャルデ
ータを送るよりも情報圧縮効果が大きい。
な動き画像のフレーム間圧縮技術が適用されている。つ
まり、数フレームに一度、イニシャルデータと称される
ブロック全体の画像データI1が伝送されてくるので、
これはそのまま画面36に表示される。その後、次のイ
ニシャルデータI2が伝送されるまでは、各フレームの
ブロック内の映像は、前フレームとの動きベクトルと差
分データからなる中間データP1〜P4で示されること
になる。要するに、フレーム間圧縮の冗長性を間引くフ
レーム間圧縮を行なっていることになる。ここで、中間
データP1〜P4は、イニシャルデータI1,I2より
も情報量が少ないため、毎フレームごとにイニシャルデ
ータを送るよりも情報圧縮効果が大きい。
【0067】また、図18(b)において、外周視野3
6γの領域にあるブロック38γは、上記ブロック38
αに比較して、中間データを伝送する回数を減らしてい
る。しかも、中間データP2,P4は、動きベクトルの
みを含み、差分データを省略している。すなわち、ブロ
ック38γにおいては、フレーム間圧縮を行なうことに
より、伝送すべき差分データを間引いて再圧縮を行なっ
ていることになる。このため、通常の動画像を伝送する
場合において、ブロック38γの領域のデータ転送量
は、平均的に見ると、上記ブロック38αのデータ量に
比較してはるかに少なくなる。もちろん、ブロック38
γにおける画像は、中間データP2,P4を付加してい
くことによって、イニシャルデータI1との誤差を含む
ようになるが、外周視野36γでは観察者の目の解像度
が低いので、画像劣化をさほど意識しないで済むことに
なる。
6γの領域にあるブロック38γは、上記ブロック38
αに比較して、中間データを伝送する回数を減らしてい
る。しかも、中間データP2,P4は、動きベクトルの
みを含み、差分データを省略している。すなわち、ブロ
ック38γにおいては、フレーム間圧縮を行なうことに
より、伝送すべき差分データを間引いて再圧縮を行なっ
ていることになる。このため、通常の動画像を伝送する
場合において、ブロック38γの領域のデータ転送量
は、平均的に見ると、上記ブロック38αのデータ量に
比較してはるかに少なくなる。もちろん、ブロック38
γにおける画像は、中間データP2,P4を付加してい
くことによって、イニシャルデータI1との誤差を含む
ようになるが、外周視野36γでは観察者の目の解像度
が低いので、画像劣化をさほど意識しないで済むことに
なる。
【0068】図19は、ブロック38α及びブロック3
8γの動きベクトル決定法及び伝送法を示している。図
19(a)において、イニシャルデータI1は、ブロッ
ク全体の画像データであり、そのまま上記画面36に表
示される。イニシャルデータI1には、ブロック38α
とブロック38α1とが含まれている。次に伝送される
中間データP1において、例えばブロック38αのエリ
アは、その前フレームの図中点線で示すブロック38α
1と最も類似していたとする。なお、中間データP1に
は、ブロック38α2が表示されている。すると、中間
データP1のブロック38αを表示するのに必要とする
信号は、中間データP1のブロック38αの信号と画面
全体であるイニシャルデータI1のブロック38α1と
の差分信号と、ベクトル39とで生成されることにな
る。これら差分信号及びベクトル39は、一次圧縮時に
求められており、一次圧縮データ中に符号化されてい
る。
8γの動きベクトル決定法及び伝送法を示している。図
19(a)において、イニシャルデータI1は、ブロッ
ク全体の画像データであり、そのまま上記画面36に表
示される。イニシャルデータI1には、ブロック38α
とブロック38α1とが含まれている。次に伝送される
中間データP1において、例えばブロック38αのエリ
アは、その前フレームの図中点線で示すブロック38α
1と最も類似していたとする。なお、中間データP1に
は、ブロック38α2が表示されている。すると、中間
データP1のブロック38αを表示するのに必要とする
信号は、中間データP1のブロック38αの信号と画面
全体であるイニシャルデータI1のブロック38α1と
の差分信号と、ベクトル39とで生成されることにな
る。これら差分信号及びベクトル39は、一次圧縮時に
求められており、一次圧縮データ中に符号化されてい
る。
【0069】すなわち、中心視野36αは、差分信号及
びベクトル39を一次圧縮データのまま上記画像再生装
置13へ供給される。また、中間データP2も同様に、
前フレームのブロック38α2との差分信号を求めるよ
うにしている。これを次のイニシャルデータが伝送され
るまで繰り返せばよく、原信号に忠実な画像が常に再現
できる。
びベクトル39を一次圧縮データのまま上記画像再生装
置13へ供給される。また、中間データP2も同様に、
前フレームのブロック38α2との差分信号を求めるよ
うにしている。これを次のイニシャルデータが伝送され
るまで繰り返せばよく、原信号に忠実な画像が常に再現
できる。
【0070】一方、図19(b)におけるブロック38
γでは、イニシャルデータI1が、2フレーム分の期間
に渡り画面36に表示される。なお、2フレーム目に来
るべき中間データP1は伝送されない(従ってカッコで
示す)。次に、3フレーム目の画像データである中間デ
ータP2では、ブロック38γが2フレーム前のイニシ
ャルデータI1におけるどのブロックと類似していたか
を追跡し、そのブロッックを表示する。このブロックの
表示方法について以下に述べる。
γでは、イニシャルデータI1が、2フレーム分の期間
に渡り画面36に表示される。なお、2フレーム目に来
るべき中間データP1は伝送されない(従ってカッコで
示す)。次に、3フレーム目の画像データである中間デ
ータP2では、ブロック38γが2フレーム前のイニシ
ャルデータI1におけるどのブロックと類似していたか
を追跡し、そのブロッックを表示する。このブロックの
表示方法について以下に述べる。
【0071】まず、ブロックの表示方法は、1フレーム
前の画像である中間データP1における最類似ブロック
38γ2と、動きベクトル40とを求めることである。
これら最類似ブロック38γ2及び動きベクトル40
は、いずれも一次圧縮時にすでに求められており符号化
されているので、可変長復号すれば求められる。その後
に、1フレーム前のイニシャルデータI1における最類
似ブロック38γ1を求め、これにより動きベクトル4
1が求められる。
前の画像である中間データP1における最類似ブロック
38γ2と、動きベクトル40とを求めることである。
これら最類似ブロック38γ2及び動きベクトル40
は、いずれも一次圧縮時にすでに求められており符号化
されているので、可変長復号すれば求められる。その後
に、1フレーム前のイニシャルデータI1における最類
似ブロック38γ1を求め、これにより動きベクトル4
1が求められる。
【0072】これらの操作により、結局、中間データP
2のブロック38γは、2フレーム前のイニシャルデー
タI1における38γ1を、動きベクトル40と動きベ
クトル41との合成ベクトルに基づいて移動させること
により、近似的に表示される。しかも、そのために必要
とする情報としては、動きベクトル40,41の情報の
みでよいので、伝送情報を大幅に削減することが可能に
なる。しかも、観察者の目の解像度が低い外周視野36
γであるので、近似による誤差や、2フレーム毎しか画
面が更新されないことに起因する不自然さは、観察者に
認識されにくい。
2のブロック38γは、2フレーム前のイニシャルデー
タI1における38γ1を、動きベクトル40と動きベ
クトル41との合成ベクトルに基づいて移動させること
により、近似的に表示される。しかも、そのために必要
とする情報としては、動きベクトル40,41の情報の
みでよいので、伝送情報を大幅に削減することが可能に
なる。しかも、観察者の目の解像度が低い外周視野36
γであるので、近似による誤差や、2フレーム毎しか画
面が更新されないことに起因する不自然さは、観察者に
認識されにくい。
【0073】図20は、動きベクトル40を求めるため
の具体的な回路構成を示している。一次圧縮装置でフレ
ーム間圧縮を行なっている場合、上記各ブロック38
α,38γの動きベクトル39,40,41は、すでに
求められて可変長符号化されている。入力端子42に供
給された一次圧縮データの動きベクトルの可変長符号H
1は、MV−VLD(Moving Vector−V
ariable Length Decoder) 4
3に供給される。MV−VLD43は、入力端子42に
供給された動きベクトルの可変長符号H1を可変長復号
することにより、元の動きベクトル信号V1に生成して
いる。この動きベクトル信号V1は、加算器44及びメ
モリ45にそれぞれ供給されている。
の具体的な回路構成を示している。一次圧縮装置でフレ
ーム間圧縮を行なっている場合、上記各ブロック38
α,38γの動きベクトル39,40,41は、すでに
求められて可変長符号化されている。入力端子42に供
給された一次圧縮データの動きベクトルの可変長符号H
1は、MV−VLD(Moving Vector−V
ariable Length Decoder) 4
3に供給される。MV−VLD43は、入力端子42に
供給された動きベクトルの可変長符号H1を可変長復号
することにより、元の動きベクトル信号V1に生成して
いる。この動きベクトル信号V1は、加算器44及びメ
モリ45にそれぞれ供給されている。
【0074】メモリ45は、供給された動きベクトル信
号V1を1フレーム分蓄積し、さらに上記中間データP
1の送られない動きベクトル成分を蓄積するようにして
いる。そして、メモリ45には、中心視野36αの動き
ベクトル39が送られている部分において、零ベクトル
が書き込まれる。
号V1を1フレーム分蓄積し、さらに上記中間データP
1の送られない動きベクトル成分を蓄積するようにして
いる。そして、メモリ45には、中心視野36αの動き
ベクトル39が送られている部分において、零ベクトル
が書き込まれる。
【0075】中間データP1は、MV−VLD43で可
変長復号された動きベクトル信号V1に基づいて、上記
ブロック38γ2を含んでいる4つのブロック(図19
中に示すブロック38γと、その図中上、左、左上の計
4ブロック)の持つイニシャルデータI1からの動きベ
クトル位置情報を、回線46を介してメモリ45に伝送
している。メモリ45は、4つのブロックの動きベクト
ル成分から1つの動きベクトル成分を生成し、その動き
ベクトル41を加算器44に出力している。なお、4つ
のベクトル成分から1つの動きベクトル成分を生成する
には、4つの動きベクトルの平均を求めてもよいし、ブ
ロック38γ2を含む面積に応じて重み付けを行なって
平均してもよい。
変長復号された動きベクトル信号V1に基づいて、上記
ブロック38γ2を含んでいる4つのブロック(図19
中に示すブロック38γと、その図中上、左、左上の計
4ブロック)の持つイニシャルデータI1からの動きベ
クトル位置情報を、回線46を介してメモリ45に伝送
している。メモリ45は、4つのブロックの動きベクト
ル成分から1つの動きベクトル成分を生成し、その動き
ベクトル41を加算器44に出力している。なお、4つ
のベクトル成分から1つの動きベクトル成分を生成する
には、4つの動きベクトルの平均を求めてもよいし、ブ
ロック38γ2を含む面積に応じて重み付けを行なって
平均してもよい。
【0076】さらに、厳密に動きベクトル41を求める
方法としては、二次圧縮装置において、イニシャルデー
タI1及び中間データP1のデコード画面を再現し、中
間データP1におけるブロック38γの最類似ブロック
38γ1をイニシャルデータI1の中で探し、直接ブロ
ック38γと最類似ブロック38γ1との動きベクトル
を求めるようにしてもよい。この場合、動きベクトル4
1の検出精度は、上述した平均を求める方法よりも高く
なるが、その反面回路規模が大きくなる。
方法としては、二次圧縮装置において、イニシャルデー
タI1及び中間データP1のデコード画面を再現し、中
間データP1におけるブロック38γの最類似ブロック
38γ1をイニシャルデータI1の中で探し、直接ブロ
ック38γと最類似ブロック38γ1との動きベクトル
を求めるようにしてもよい。この場合、動きベクトル4
1の検出精度は、上述した平均を求める方法よりも高く
なるが、その反面回路規模が大きくなる。
【0077】また、加算器44では、メモリ45から出
力された動きベクトル41とMV−VLD43から出力
された動きベクトル40である動きベクトル信号V1と
を加算している。そして、加算結果である合成動きベク
トル信号V2は、MV−VLC(動きベクトル可変長符
号化装置)47によって、可変長符号化され、出力端子
48から取り出される。このようにして、中間データP
2のブロック38γは、イニシャルデータI1のブロッ
ク38γ1で置換されることにより、近似的な再生が行
なわれることになる。
力された動きベクトル41とMV−VLD43から出力
された動きベクトル40である動きベクトル信号V1と
を加算している。そして、加算結果である合成動きベク
トル信号V2は、MV−VLC(動きベクトル可変長符
号化装置)47によって、可変長符号化され、出力端子
48から取り出される。このようにして、中間データP
2のブロック38γは、イニシャルデータI1のブロッ
ク38γ1で置換されることにより、近似的な再生が行
なわれることになる。
【0078】したがって、上記した各実施例によれば、
観察者の体感画質低下させることなく、従来以上の高い
画像圧縮率を実現し、通信経路の伝送負荷を減少させる
ことができる。このため、限られた伝送容量において、
従来方式と比較して、より大きい画面の情報を送信で
き、あるいはより多数の端末に画像を送信できる。
観察者の体感画質低下させることなく、従来以上の高い
画像圧縮率を実現し、通信経路の伝送負荷を減少させる
ことができる。このため、限られた伝送容量において、
従来方式と比較して、より大きい画面の情報を送信で
き、あるいはより多数の端末に画像を送信できる。
【0079】
【発明の効果】以上詳述したようにこの発明によれば、
静止画像や動画像に関わらずに観察者の体感画質を低下
させることなく、高い画像圧縮率を実現し、しかも通信
経路の伝送負荷を減少させることができ、多数の端末に
画像の情報を送信し得る画像圧縮通信装置を提供するこ
とができる。
静止画像や動画像に関わらずに観察者の体感画質を低下
させることなく、高い画像圧縮率を実現し、しかも通信
経路の伝送負荷を減少させることができ、多数の端末に
画像の情報を送信し得る画像圧縮通信装置を提供するこ
とができる。
【図面の簡単な説明】
【図1】この発明に係る画像圧縮通信装置の一実施例を
示すブロック構成図。
示すブロック構成図。
【図2】同実施例における視線検出を説明するために示
す図。
す図。
【図3】同実施例における眼球運動の個人差を補正する
ためのキャリブレーション方式を説明するために示す
図。
ためのキャリブレーション方式を説明するために示す
図。
【図4】同実施例における人間の視力特性を説明するた
めに示す図。
めに示す図。
【図5】同実施例における画面表示部と画角θ0との関
係を説明するために示す断面図。
係を説明するために示す断面図。
【図6】同実施例における視野領域と画像表示部の圧縮
領域との関係を説明するために示す図。
領域との関係を説明するために示す図。
【図7】同実施例における体感視野と二次圧縮率との関
係を説明するために示す図。
係を説明するために示す図。
【図8】同実施例における二次圧縮装置の詳細を示すブ
ロック構成図。
ロック構成図。
【図9】同二次圧縮装置におけるDCT変換係数の概念
を示す図。
を示す図。
【図10】同DCT変換係数をジグザクスキャンする方
法を説明するために示す図。
法を説明するために示す図。
【図11】同実施例における他の二次圧縮装置の詳細を
示すブロック構成図。
示すブロック構成図。
【図12】同他の二次圧縮装置におけるDCT変換係数
の概念を示す図。
の概念を示す図。
【図13】同実施例における意図的に低圧縮(高精細)
部分を残す二次圧縮を説明するために示す図。
部分を残す二次圧縮を説明するために示す図。
【図14】同実施例における視線移動ベクトルを利用し
た中心視野予測を説明するために示す図。
た中心視野予測を説明するために示す図。
【図15】この発明の第2の実施例を示すブロック構成
図。
図。
【図16】この発明の第1の二次圧縮処理を示す画像の
模式図。
模式図。
【図17】この発明の第2の二次圧縮処理における視野
のクラス分類を説明するために示す図。
のクラス分類を説明するために示す図。
【図18】同第2の二次圧縮処理における視野領域内の
ブロックのデコードを説明するために示す斜視図。
ブロックのデコードを説明するために示す斜視図。
【図19】同第2の二次圧縮処理における視野領域内の
ブロックの動きベクトル決定法及び伝送法を説明するた
めに示す図。
ブロックの動きベクトル決定法及び伝送法を説明するた
めに示す図。
【図20】同第2の二次圧縮処理における外周視野内の
ブロックの動きベクトルを決定するために示すブロック
構成図。
ブロックの動きベクトルを決定するために示すブロック
構成図。
11…画像サーバ、11a…記憶装置、11b…二次圧
縮装置、11b1…入力端子、11b2…二次量子化
部、11b3…パラメータ書き換え部、11b4…マル
チプレクサ、11b5…量子化幅制御部、11b6…端
子、11b7…出力端子、12…伝送ケーブル、13…
画像再生装置、13a…伸長装置、13b…視線データ
処理装置、14…ヘッドマウントディスプレイ、15…
画面表示部、15a…マーク、15b…マーク、15c
…マーク、15d…マーク、15e…右部、15f…左
部、15g…象徴画像、16…観察者、16a…眼球、
16a1…虹採エッジ、16a2…瞳孔、16b…右眼
球、16c…左眼球、17…光学系部品、17a…光学
系部品、17b…光学系部品、18…視線検出カメラ、
18a…CCD、18b…集光レンズ、18c…赤外線
LED、19…スピーカ、20…DCTデータ、21…
変換係数、22…二次圧縮装置、22a…入力端子、2
2b…変換係数削除部、22c…出力端子、22d…符
号量制御部、22e…端子、23…視線移動ベクトル、
24…ベクトル、25…ビデオサーバ、25a…記憶装
置、25b…信号送出装置、26…広帯域ケーブル、2
7…二次圧縮装置、28…画像再生装置、29…ローカ
ルケーブル、30…テレビモニタ、31…観察者、32
…狭帯域ケーブル、33…画像再生装置、34…観察
者、35…ヘッドマウントディスプレイ、36…画面、
36α…中心視野、36γ…外周視野、37…十字印、
38α…ブロック、38α1…ブロック、38α2…ブ
ロック、38γ…ブロック、38γ1…ブロック、38
γ2…ブロック、39…ベクトル、40…動きベクト
ル、41…動きベクトル、42…入力端子、43…MV
−VLD、44…加算器、45…メモリ、46…回線、
47…MV−VLC、48…出力端子。
縮装置、11b1…入力端子、11b2…二次量子化
部、11b3…パラメータ書き換え部、11b4…マル
チプレクサ、11b5…量子化幅制御部、11b6…端
子、11b7…出力端子、12…伝送ケーブル、13…
画像再生装置、13a…伸長装置、13b…視線データ
処理装置、14…ヘッドマウントディスプレイ、15…
画面表示部、15a…マーク、15b…マーク、15c
…マーク、15d…マーク、15e…右部、15f…左
部、15g…象徴画像、16…観察者、16a…眼球、
16a1…虹採エッジ、16a2…瞳孔、16b…右眼
球、16c…左眼球、17…光学系部品、17a…光学
系部品、17b…光学系部品、18…視線検出カメラ、
18a…CCD、18b…集光レンズ、18c…赤外線
LED、19…スピーカ、20…DCTデータ、21…
変換係数、22…二次圧縮装置、22a…入力端子、2
2b…変換係数削除部、22c…出力端子、22d…符
号量制御部、22e…端子、23…視線移動ベクトル、
24…ベクトル、25…ビデオサーバ、25a…記憶装
置、25b…信号送出装置、26…広帯域ケーブル、2
7…二次圧縮装置、28…画像再生装置、29…ローカ
ルケーブル、30…テレビモニタ、31…観察者、32
…狭帯域ケーブル、33…画像再生装置、34…観察
者、35…ヘッドマウントディスプレイ、36…画面、
36α…中心視野、36γ…外周視野、37…十字印、
38α…ブロック、38α1…ブロック、38α2…ブ
ロック、38γ…ブロック、38γ1…ブロック、38
γ2…ブロック、39…ベクトル、40…動きベクト
ル、41…動きベクトル、42…入力端子、43…MV
−VLD、44…加算器、45…メモリ、46…回線、
47…MV−VLC、48…出力端子。
Claims (11)
- 【請求項1】 画像を表す画像データを出力するための
画像データ供給手段と、 前記画像データ供給手段から出力された前記画像データ
にデータ圧縮処理を施すことによって狭帯域化させるデ
ータ圧縮処理手段と、 前記データ圧縮処理手段の出力である圧縮データを伝送
させる画像データ伝送手段と、 前記画像データ伝送手段の出力である圧縮データを伸長
して元の前記画像データに戻すデータ伸長手段と、 前記データ伸長手段の出力データに基づいて、前記画像
を画面に再生表示する再生表示手段と、 前記再生表示手段に表示された前記画面を観察する観察
者の視線を追跡して検出する視線検出手段と、 前記視線検出手段の出力である視線データを前記データ
圧縮処理手段に伝送する視線情報伝送手段とを備え、 前記データ圧縮処理手段は前記観察者の視線領域に対応
する前記画像データのデータ圧縮率を制御することを特
徴とする画像圧縮通信装置。 - 【請求項2】 前記データ圧縮処理手段は、前記視線デ
ータに基づいて、前記視線近傍である中心視野の画像デ
ータは低圧縮率に、前記視線から遠ざかる周辺視野ほど
高圧縮率になるように前記画像データに前記データ圧縮
処理を施す手段を有することを特徴とする請求項1記載
の画像圧縮通信装置。 - 【請求項3】 前記データ圧縮処理手段は、前記画像デ
ータの内容で、前記観察者が視線を注ぐ可能性の高い領
域、あるいは前記観察者に注視を促したい領域には、た
とえその時点で周辺視野であっても低圧縮率で前記デー
タ圧縮処理を施す手段を有することを特徴とする請求項
1記載の画像圧縮通信装置。 - 【請求項4】 前記データ圧縮処理手段は、前記観察者
の視線が移動している場合、前記視線の移動方向を示す
視線移動ベクトルを合成し、この視線移動ベクトルの延
長線上を将来の前記中心視野とし、予め低圧縮率で前記
データ圧縮処理を施す手段を有することを特徴とする請
求項1記載の画像圧縮通信装置。 - 【請求項5】 前記画像データ供給手段は、予め圧縮さ
れた画像データを出力する手段を有することを特徴とす
る請求項1記載の画像圧縮通信装置。 - 【請求項6】 前記画像データ供給手段の、前記予め圧
縮された前記画像データは、直交変換手段,量子化手
段,可変長符号化手段を使用した前記視線データに基づ
かないで圧縮された画像データであることを特徴とする
請求項5記載の画像圧縮通信装置。 - 【請求項7】 前記データ圧縮処理手段は、予め圧縮さ
れた前記画像データに対して、前記低圧縮率の領域では
量子化精度を高めに、前記高圧縮率の領域では量子化精
度を低めに設定して再圧縮処理を施す手段を有すること
を特徴とする請求項1または6記載の画像圧縮通信装
置。 - 【請求項8】 前記データ圧縮処理手段は、予め圧縮さ
れた前記画像データに対して、前記低圧縮率の領域では
伝送する直交変換係数の数を多くし、前記高圧縮率の領
域では伝送する直交変換係数の数を少なくすることによ
って再圧縮処理を施すことを特徴とする請求項1または
6記載の画像圧縮通信装置。 - 【請求項9】 前記データ圧縮処理手段は、予め圧縮さ
れた前記画像データに対して、前記高圧縮率の領域では
画像伝送の間隔を前記低圧縮率の領域よりも長くするこ
とにより再圧縮処理を施す手段を有することを特徴とす
る請求項1または6記載の画像圧縮通信装置。 - 【請求項10】 前記データ圧縮処理手段は、予め圧縮
された前記画像データに対して、フレーム間の冗長性を
間引くフレーム間圧縮を行ない、かつ前記高圧縮率の領
域では前記フレーム間圧縮により伝送すべき動きベクト
ルや差分信号を間引くことにより再圧縮処理を施す手段
を有することを特徴とする請求項1または6記載の画像
圧縮通信装置。 - 【請求項11】 画像を表す画像データを出力するため
の画像データ供給手段と、前記画像データ供給手段から
出力された前記画像データにデータ圧縮処理を施すこと
によって狭帯域化させるデータ圧縮処理手段と、前記デ
ータ圧縮処理手段の出力である圧縮データを伝送させる
画像データ伝送手段と、前記画像データ伝送手段の出力
である圧縮データを伸長して前記画像データに戻すデー
タ伸長手段と、前記データ伸長手段の出力データに基づ
いて、前記画像を画面に再生表示する再生表示手段と、
前記再生表示手段に表示された前記画面を観察する観察
者の視線を追跡して検出する視線検出手段と、前記視線
検出手段の出力である視線データを前記データ圧縮処理
手段に伝送し、前記観察者の視線領域に対応する前記画
像データのデータ圧縮率の制御に供させる視線情報伝送
手段とを有し、前記画像データ供給手段と、前記データ
圧縮処理手段とを接続する広帯域データ伝送手段と、前
記データ圧縮処理手段と、前記データ伸長手段とを接続
する狭帯域データ伝送手段とを具備してなることを特徴
とする画像圧縮通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15173195A JP3263278B2 (ja) | 1995-06-19 | 1995-06-19 | 画像圧縮通信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15173195A JP3263278B2 (ja) | 1995-06-19 | 1995-06-19 | 画像圧縮通信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH099253A true JPH099253A (ja) | 1997-01-10 |
JP3263278B2 JP3263278B2 (ja) | 2002-03-04 |
Family
ID=15525066
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15173195A Expired - Fee Related JP3263278B2 (ja) | 1995-06-19 | 1995-06-19 | 画像圧縮通信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3263278B2 (ja) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001318747A (ja) * | 2000-05-08 | 2001-11-16 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報提示方法及び装置 |
JP2003502946A (ja) * | 1999-06-18 | 2003-01-21 | スイスコム モービル アーゲー | ビデオデータの送信と表示 |
JP2003153263A (ja) * | 2001-11-19 | 2003-05-23 | Hitachi Ltd | 映像表示システムおよびその方法 |
JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
JP2004056335A (ja) * | 2002-07-18 | 2004-02-19 | Sony Corp | 情報処理装置および方法、表示装置および方法、並びにプログラム |
JP2005503726A (ja) * | 2001-09-20 | 2005-02-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザの注目に基づくリアルタイム・マルチメディア・コンテンツ送出の品質適合 |
JP2008237625A (ja) * | 2007-03-27 | 2008-10-09 | Matsushita Electric Ind Co Ltd | 見え方度判定装置 |
JP2009120080A (ja) * | 2007-11-16 | 2009-06-04 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2010507352A (ja) * | 2006-10-18 | 2010-03-04 | アップル インコーポレイテッド | 下層のフィルタリングを備えたスケーラブルビデオ符号化 |
JP2010128097A (ja) * | 2008-11-26 | 2010-06-10 | Ricoh Co Ltd | 情報処理装置、表示制御方法、及びプログラム |
WO2010079682A1 (ja) * | 2009-01-09 | 2010-07-15 | コニカミノルタホールディングス株式会社 | 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム |
WO2012137801A1 (ja) | 2011-04-07 | 2012-10-11 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置及び入力方法並びにコンピュータプログラム |
WO2014115387A1 (ja) * | 2013-01-28 | 2014-07-31 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2015177952A1 (ja) * | 2014-05-22 | 2015-11-26 | ソニー株式会社 | 映像表示装置、情報処理装置、及び映像表示システム |
JP2016511888A (ja) * | 2013-02-07 | 2016-04-21 | カーディフ メトロポリタン ユニバーシティCardiff Metropolitan University | イメージ形成における及びイメージ形成に関する改良 |
JP2016165105A (ja) * | 2015-03-05 | 2016-09-08 | ノキア テクノロジーズ オーユー | 映像ストリーミング方法 |
US9491490B1 (en) | 2015-06-12 | 2016-11-08 | Intel Corporation | Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices |
JP2016202716A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
JP2016207042A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
WO2017046956A1 (ja) * | 2015-09-18 | 2017-03-23 | フォーブ インコーポレーテッド | 映像システム |
WO2017199495A1 (ja) * | 2016-05-20 | 2017-11-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理装置、及びプログラム |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
JP2018110397A (ja) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | 方法、およびコンピュータ装置 |
JP2018141816A (ja) * | 2015-09-18 | 2018-09-13 | フォーブ インコーポレーテッド | 映像システム、映像生成方法、映像配信方法、映像生成プログラム及び映像配信プログラム |
JP2018526726A (ja) * | 2015-07-17 | 2018-09-13 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 動的領域分解能を有する仮想/拡張現実システム |
KR20190026030A (ko) * | 2016-08-01 | 2019-03-12 | 페이스북 테크놀로지스, 엘엘씨 | 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터 |
WO2019082510A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム |
JP2020030827A (ja) * | 2015-09-04 | 2020-02-27 | 株式会社ソニー・インタラクティブエンタテインメント | サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法 |
JP2020512735A (ja) * | 2017-03-08 | 2020-04-23 | オステンド・テクノロジーズ・インコーポレーテッド | ニアアイディスプレイのための圧縮方法及びシステム |
WO2022158220A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システムおよび画像表示方法 |
WO2022181212A1 (ja) * | 2021-02-26 | 2022-09-01 | ソニーグループ株式会社 | 表示制御装置、表示装置、及び表示制御方法 |
WO2022249544A1 (ja) * | 2021-05-28 | 2022-12-01 | ソニーグループ株式会社 | 表示装置及び表示システム |
-
1995
- 1995-06-19 JP JP15173195A patent/JP3263278B2/ja not_active Expired - Fee Related
Cited By (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003502946A (ja) * | 1999-06-18 | 2003-01-21 | スイスコム モービル アーゲー | ビデオデータの送信と表示 |
JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
JP2001318747A (ja) * | 2000-05-08 | 2001-11-16 | Nippon Telegr & Teleph Corp <Ntt> | 視覚的情報提示方法及び装置 |
JP2011172250A (ja) * | 2001-09-20 | 2011-09-01 | Koninkl Philips Electronics Nv | ユーザの注目に基づくリアルタイム・マルチメディア・コンテンツ送出の品質適合 |
JP2005503726A (ja) * | 2001-09-20 | 2005-02-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ユーザの注目に基づくリアルタイム・マルチメディア・コンテンツ送出の品質適合 |
JP2003153263A (ja) * | 2001-11-19 | 2003-05-23 | Hitachi Ltd | 映像表示システムおよびその方法 |
JP2004056335A (ja) * | 2002-07-18 | 2004-02-19 | Sony Corp | 情報処理装置および方法、表示装置および方法、並びにプログラム |
JP2010507352A (ja) * | 2006-10-18 | 2010-03-04 | アップル インコーポレイテッド | 下層のフィルタリングを備えたスケーラブルビデオ符号化 |
JP2008237625A (ja) * | 2007-03-27 | 2008-10-09 | Matsushita Electric Ind Co Ltd | 見え方度判定装置 |
JP2009120080A (ja) * | 2007-11-16 | 2009-06-04 | Nissan Motor Co Ltd | 車両用表示装置 |
JP2010128097A (ja) * | 2008-11-26 | 2010-06-10 | Ricoh Co Ltd | 情報処理装置、表示制御方法、及びプログラム |
WO2010079682A1 (ja) * | 2009-01-09 | 2010-07-15 | コニカミノルタホールディングス株式会社 | 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム |
JP4573001B2 (ja) * | 2009-01-09 | 2010-11-04 | コニカミノルタホールディングス株式会社 | 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム |
JPWO2010079682A1 (ja) * | 2009-01-09 | 2012-06-21 | コニカミノルタホールディングス株式会社 | 画像圧縮方法、画像処理装置、画像表示装置及び画像表示システム |
WO2012137801A1 (ja) | 2011-04-07 | 2012-10-11 | Necカシオモバイルコミュニケーションズ株式会社 | 入力装置及び入力方法並びにコンピュータプログラム |
WO2014115387A1 (ja) * | 2013-01-28 | 2014-07-31 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2016511888A (ja) * | 2013-02-07 | 2016-04-21 | カーディフ メトロポリタン ユニバーシティCardiff Metropolitan University | イメージ形成における及びイメージ形成に関する改良 |
WO2015177952A1 (ja) * | 2014-05-22 | 2015-11-26 | ソニー株式会社 | 映像表示装置、情報処理装置、及び映像表示システム |
JP2016165105A (ja) * | 2015-03-05 | 2016-09-08 | ノキア テクノロジーズ オーユー | 映像ストリーミング方法 |
US10600153B2 (en) | 2015-03-05 | 2020-03-24 | Nokia Technologies Oy | Video streaming method |
JP2016202716A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
JP2016207042A (ja) * | 2015-04-24 | 2016-12-08 | 株式会社コーエーテクモゲームス | プログラム及び記録媒体 |
WO2016200541A1 (en) * | 2015-06-12 | 2016-12-15 | Intel Corporation | Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices |
US9906816B2 (en) | 2015-06-12 | 2018-02-27 | Intel Corporation | Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices |
US9491490B1 (en) | 2015-06-12 | 2016-11-08 | Intel Corporation | Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices |
JP2018526726A (ja) * | 2015-07-17 | 2018-09-13 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 動的領域分解能を有する仮想/拡張現実システム |
US11416073B2 (en) | 2015-09-04 | 2022-08-16 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
US11703947B2 (en) | 2015-09-04 | 2023-07-18 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
JP2020030827A (ja) * | 2015-09-04 | 2020-02-27 | 株式会社ソニー・インタラクティブエンタテインメント | サッカード検出に基づいた動的グラフィックスレンダリングのための装置及び方法 |
US11099645B2 (en) | 2015-09-04 | 2021-08-24 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
JP2018141816A (ja) * | 2015-09-18 | 2018-09-13 | フォーブ インコーポレーテッド | 映像システム、映像生成方法、映像配信方法、映像生成プログラム及び映像配信プログラム |
WO2017046956A1 (ja) * | 2015-09-18 | 2017-03-23 | フォーブ インコーポレーテッド | 映像システム |
WO2017199495A1 (ja) * | 2016-05-20 | 2017-11-23 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理装置、及びプログラム |
JPWO2017199495A1 (ja) * | 2016-05-20 | 2018-09-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理装置、及びプログラム |
US10679589B2 (en) | 2016-05-20 | 2020-06-09 | Sony Interactive Entertainment Inc. | Image processing system, image processing apparatus, and program for generating anamorphic image data |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
KR20190026030A (ko) * | 2016-08-01 | 2019-03-12 | 페이스북 테크놀로지스, 엘엘씨 | 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터 |
JP2019533325A (ja) * | 2016-08-01 | 2019-11-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc | 視線追跡情報に基づく画像領域内の適応パラメータ |
US10984756B2 (en) | 2016-08-01 | 2021-04-20 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
JP2018110397A (ja) * | 2016-12-30 | 2018-07-12 | アクシス アーベー | 方法、およびコンピュータ装置 |
JP2020512735A (ja) * | 2017-03-08 | 2020-04-23 | オステンド・テクノロジーズ・インコーポレーテッド | ニアアイディスプレイのための圧縮方法及びシステム |
US11347052B2 (en) | 2017-10-23 | 2022-05-31 | Sony Corporation | Display control apparatus, head mounted display, and display control method |
US11971543B2 (en) | 2017-10-23 | 2024-04-30 | Sony Group Corporation | Display control apparatus, head mounted display, and display control method |
WO2019082510A1 (ja) * | 2017-10-23 | 2019-05-02 | ソニー株式会社 | 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム |
WO2022158220A1 (ja) * | 2021-01-25 | 2022-07-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システムおよび画像表示方法 |
WO2022181212A1 (ja) * | 2021-02-26 | 2022-09-01 | ソニーグループ株式会社 | 表示制御装置、表示装置、及び表示制御方法 |
WO2022249544A1 (ja) * | 2021-05-28 | 2022-12-01 | ソニーグループ株式会社 | 表示装置及び表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP3263278B2 (ja) | 2002-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3263278B2 (ja) | 画像圧縮通信装置 | |
JP4602632B2 (ja) | ビデオ会議の方法とシステム | |
US7302103B2 (en) | Apparatus and methods for digital image compression | |
US7251373B2 (en) | Multi-point predictive foveation for bandwidth reduction of moving images | |
US7196731B2 (en) | Method and apparatus of adaptive de-interlacing of dynamic image | |
US20090185748A1 (en) | Multi-Resolution Foveation for Bandwidth Reduction of Moving Images | |
CN105979224A (zh) | 一种头戴显示器、视频输出设备和视频处理方法、系统 | |
KR20050042399A (ko) | 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법 | |
US7889229B2 (en) | Security surveillance system capable of outputting still images together with moving images | |
JP2003519982A (ja) | 画像データを伝送するための方法 | |
JP4145122B2 (ja) | 立体画像表示装置 | |
JP2004241869A (ja) | 透かし埋め込み及び画像圧縮部 | |
US7593463B2 (en) | Video signal coding method and video signal encoder | |
JPH0622289A (ja) | 多解像度画像信号符号化装置及び復号装置 | |
JP2004165708A (ja) | 立体画像表示装置、立体画像符号化装置、立体画像復号装置、立体画像記録方法及び立体画像伝送方法 | |
JPH05328342A (ja) | 映像信号処理装置および多地点間映像通信装置 | |
JP3805393B2 (ja) | 画像符号化装置 | |
RU2226320C2 (ru) | Способ и система для осуществления видеоконференций | |
JPH08266481A (ja) | 動画診断システム | |
JP2000092486A (ja) | 動画像送信装置および動画像再生装置ならびに動画像送信方法および動画像再生方法 | |
JP3803476B2 (ja) | 画像伝送システム及び画像符号化装置 | |
JP4706072B2 (ja) | 影像処理システム、動画像の圧縮符号化方法、動画像の復号化方法及びそれらのプログラム | |
WO2007122907A1 (ja) | 画像コーデック装置 | |
JP2003250160A (ja) | 映像コマ数削減装置および映像コマ数削減方法 | |
JP2002199394A (ja) | 動画処理システムおよび動画処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |