JPH02100488A - 画像伝送装置 - Google Patents
画像伝送装置Info
- Publication number
- JPH02100488A JPH02100488A JP63252427A JP25242788A JPH02100488A JP H02100488 A JPH02100488 A JP H02100488A JP 63252427 A JP63252427 A JP 63252427A JP 25242788 A JP25242788 A JP 25242788A JP H02100488 A JPH02100488 A JP H02100488A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- encoding
- line
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims description 10
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 17
- 230000006854 communication Effects 0.000 abstract description 13
- 238000004891 communication Methods 0.000 abstract description 13
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 8
- 210000003128 head Anatomy 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000007175 bidirectional communication Effects 0.000 description 3
- 230000004456 color vision Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
本発明は、画像信号を符号化して実時間伝送する画像伝
送装置に関し、特に、１人の受信者との間で行う対話的
画像通信（例、テレビ電話通信）に好適な画像伝送装置
に関するものである。
送装置に関し、特に、１人の受信者との間で行う対話的
画像通信（例、テレビ電話通信）に好適な画像伝送装置
に関するものである。
−ｍに、画像データは多大な情報量を有するため、これ
を削減するための種々の冗長度抑圧方式が開発されてい
る。例えば、空間軸方向の統計的相関に基づく予測が利
用されたり、また動画ではフレーム間差分符号化方式の
ように時間軸方向の冗長度抑圧方式が利用されてきてい
る。 また、画像に一定の歪みを許容することにより、更に情
報量を削減する方法も種々提案されており、代表的なも
のに直交変換符号化方式、ベクトル量子化がある。直交
変換符号化方式は、画像信号の高周波成分が低周波成分
に比して、人間の視覚特性上それはと重要ではないとい
う事実に基づくものであり、この高周波成分の情報を削
減する方式一方、画像中に一定の領域を設定し、その内
外で符号化のパラメータを変更する方式も考案されてい
る。 例えば、表示される画像に対して、表示部の中央と周辺
部で量子化のステップの大きさを変更することによって
、データ量の増加を抑えて画質を向上させる符号化装置
（特開昭６２−２２００８２号公報）や、画像情報の内
で受信者が必要とする部分の情報を伝送することによっ
て伝送時間を短縮する画像伝送装置（特開昭６２−２１
６５９３号公報）がある。
を削減するための種々の冗長度抑圧方式が開発されてい
る。例えば、空間軸方向の統計的相関に基づく予測が利
用されたり、また動画ではフレーム間差分符号化方式の
ように時間軸方向の冗長度抑圧方式が利用されてきてい
る。 また、画像に一定の歪みを許容することにより、更に情
報量を削減する方法も種々提案されており、代表的なも
のに直交変換符号化方式、ベクトル量子化がある。直交
変換符号化方式は、画像信号の高周波成分が低周波成分
に比して、人間の視覚特性上それはと重要ではないとい
う事実に基づくものであり、この高周波成分の情報を削
減する方式一方、画像中に一定の領域を設定し、その内
外で符号化のパラメータを変更する方式も考案されてい
る。 例えば、表示される画像に対して、表示部の中央と周辺
部で量子化のステップの大きさを変更することによって
、データ量の増加を抑えて画質を向上させる符号化装置
（特開昭６２−２２００８２号公報）や、画像情報の内
で受信者が必要とする部分の情報を伝送することによっ
て伝送時間を短縮する画像伝送装置（特開昭６２−２１
６５９３号公報）がある。
しかしながら、前記した従来技術には、受信者が一人で
あるような対話的画像通信に特に配慮して伝送情報量を
削減するようにしたものはなく、且つ人間の視覚特性を
充分考慮していなかうたため、従来技術によって行った
のでは、多くの情報が無駄に伝送されるという問題点が
あった。 本発明は、このような問題点を解決することを課題とす
るものである。
あるような対話的画像通信に特に配慮して伝送情報量を
削減するようにしたものはなく、且つ人間の視覚特性を
充分考慮していなかうたため、従来技術によって行った
のでは、多くの情報が無駄に伝送されるという問題点が
あった。 本発明は、このような問題点を解決することを課題とす
るものである。
前記課題を解決するため、本発明では、従来方式では受
信者にあまり認識されないにもかかわらず送られていた
情報を削減することにより、伝送する情報量を少なくす
るべく、次のような手段を講じた。 即ち、本発明の画像伝送装置では、受信側に、受信者の
眼球運動を検出する眼球運動検出手段と、受信者の眼球
から画像表示部までの視線距離を検出する視線距離検出
手段と、 前記眼球運動と視線距離とから画像における受信者の注
視点の位置を検出する注視点検出手段とを具え、 送信側に、入力される画像データを符号化する符号化手
段と、人間の視覚特性と受信側から送られて来た前記注
視点と前記視線距離とに関する情報とに基づいて注視点
周辺領域を定めると共に、該注視点周辺領域の外の画像
データについては削減するよう前記符号化手段を制御す
る符号化制御手段とを具えることとした。
信者にあまり認識されないにもかかわらず送られていた
情報を削減することにより、伝送する情報量を少なくす
るべく、次のような手段を講じた。 即ち、本発明の画像伝送装置では、受信側に、受信者の
眼球運動を検出する眼球運動検出手段と、受信者の眼球
から画像表示部までの視線距離を検出する視線距離検出
手段と、 前記眼球運動と視線距離とから画像における受信者の注
視点の位置を検出する注視点検出手段とを具え、 送信側に、入力される画像データを符号化する符号化手
段と、人間の視覚特性と受信側から送られて来た前記注
視点と前記視線距離とに関する情報とに基づいて注視点
周辺領域を定めると共に、該注視点周辺領域の外の画像
データについては削減するよう前記符号化手段を制御す
る符号化制御手段とを具えることとした。
眼球運動検出手段により視線方向を検出し、視線距離検
出手段により受信者より画像表示部までの視線距離を検
出する。これら視線方向と視線距離により画像上の注視
点が検出できる。 一方、人間の網膜は視覚を形成する上で非常に重要な器
官であるが、その機能は網膜全体にわたって均一ではな
い、これは杆体細胞、錘体細胞が網膜上に偏在すること
に起因している。網膜中心は視力に優れ、細かなものや
小さな動きを識別でき、しかも色覚に優れている。これ
に対し、網膜周辺では色覚がないといわれている。 このような人間の視覚の特性を考慮し、前記注視点から
成る広がりをもった注視点周辺領域を画像上に定め、そ
の頭域内の画像データについては精細に符号化して送信
するが、領域外の画像データについては符号化を行わな
いか、行ったとしても極く簡略に行って送信する。 例えば、画像データを輝度成分と色差成分に分離し、注
視点周辺領域外の色差信号は伝送しない。 伝送したとしても、伝送しなかった場合に比し、受信者
は差異を惑することがないからである。輝度成分につい
ても、注視点周辺領域外のものの伝送省略は可能である
。 このようにすれば、−人の受信者を想定した対話的画像
通信にあっては、画像全体にわたって符号化して送信す
る従来方式に比し、伝送する情報量を大幅に減らすこと
ができる。
出手段により受信者より画像表示部までの視線距離を検
出する。これら視線方向と視線距離により画像上の注視
点が検出できる。 一方、人間の網膜は視覚を形成する上で非常に重要な器
官であるが、その機能は網膜全体にわたって均一ではな
い、これは杆体細胞、錘体細胞が網膜上に偏在すること
に起因している。網膜中心は視力に優れ、細かなものや
小さな動きを識別でき、しかも色覚に優れている。これ
に対し、網膜周辺では色覚がないといわれている。 このような人間の視覚の特性を考慮し、前記注視点から
成る広がりをもった注視点周辺領域を画像上に定め、そ
の頭域内の画像データについては精細に符号化して送信
するが、領域外の画像データについては符号化を行わな
いか、行ったとしても極く簡略に行って送信する。 例えば、画像データを輝度成分と色差成分に分離し、注
視点周辺領域外の色差信号は伝送しない。 伝送したとしても、伝送しなかった場合に比し、受信者
は差異を惑することがないからである。輝度成分につい
ても、注視点周辺領域外のものの伝送省略は可能である
。 このようにすれば、−人の受信者を想定した対話的画像
通信にあっては、画像全体にわたって符号化して送信す
る従来方式に比し、伝送する情報量を大幅に減らすこと
ができる。
以下、本発明の実施例を図面に基づいて詳細に説明する
。 （本発明の原理） 第１図に、本発明の原理図を示す。第１図において、８
は画像表示部、８−１は画像表示領域、Ｐは注視点、Ａ
は注視点周辺領域である。 画像表示部８において、２点の座標（ＸＩ、Ｙｌ ）、
（Ｙｌ 、Ｙ□）によって定まる矩形Ｍ域が画像表示領
域８−１であり、この頭載内に画像が表示される。 そして、表示された画像を見る人の注視点Ｐの座標（ｘ
、 ｙ）を求め、その点からある広がりを持たせて注視
点周辺領域Ａを設定する。第１図では、注視点周辺領域
Ａの形状を円形としているが、円形に限られるものでは
ない、ただし、その大きさについては、人間の持つ視覚
特性を考慮し、注視点Ｐを中心にして細かな動きや色の
変化を識別し得る範囲を参考にして定められる。 この範囲は、注視点Ｐが同じでも、画像を見る人の画像
表示部８からの距離（いわゆる「視線距離」）によって
異なる。 従って、注視点周辺領域Ａの大きさは、注視点の位置と
視線距離と人間の網膜の特性とに基づいて決定される。 当然のことながら、注視点周辺領域Ａは、注視点Ｐの移
動にともない移動して行く。 このようにして定められた注視点周辺領域Ａの内と外と
では、画像情報の符号化の仕方を変える。 即ち、注視点周辺領域Ａの内側の画像データは精細に符
号化して送るが、外側の画像データについては伝送しな
いか、伝送したとしても成る程度省略したものを符号化
して送る。 これにより、受信者が細かく認識できる領域（つまり、
注視点周辺領域）については詳細な情報を送りつつ、全
体として伝送する情報量は少なくすることが出来る。 （本発明の構成の概要） 第２図に、本発明のブロック構成図を示す、第２図にお
いて、１は画像入力部、２は符号化回路、３は符号化制
御回路、４は送信側の通信制御回路、５は双方向通信回
線、６は受信側の通信制御回路、７は復号化回路、８は
画像表示部、９は注視点検出回路、ｌＯは眼球運動検出
回路、１１は視線距離検出回路である。 眼球運動検出回路１０は、受信者の眼球運動を検出する
回路であり、これにより視線方向が検出される。視線距
離検出回路１１は、前記した視線距離を検出する回路で
ある。 さて、画像入力部１から入力された画像データは、符号
化回路２において符号化され、送信側の通信制御回路４
から双方向の通信回線５を通って受信側の通信制御回路
６に送られる。送られて来た画像データは、復号化回路
７によって復号化され、画像表示部８に表示される。受
信者は、この画像表示部８の画像を見ることになる。 眼球運動検出回路１０からの視線方向信号と、視線距離
検出回路１１からの視線距離信号とから、受信者が注視
している注視点Ｐが画像表示部８のどの位置にあるかを
割り出すことが出来る。それを行うのが注視点検出回路
９である。注視点Ｐは絶えず変わるから、それを次々と
追跡して行く必要がある。 第３図に、注視点の追跡法の概要を示す。 伝送を開始するに先立って受信者の視点を固定するため
、ヘッド・レスト等で頭部を固定し、あらかじめ画像表
示部の原点に相当する位置にマーク等を表示し、それを
見つめているときの眼球の状態を初期状態とする。即ち
、注視点の初期化（原点合わせ）である、この時の注視
点をＰｏとする。 その後の注視点の移動は、座標値の増分値として検出さ
れる。＠球が動けば注視点Ｐも動くが、その動きに対応
した画像表示部８上での座標の増分値を算出し、新たな
注視点Ｐの座標を求める。 例えば、注視点がＰ０→Ｐ、へと移ワた時、座標値の増
分値はｄＸｉ 、ｄ７ｔであり、Ｐ、→Ｐ、へと移った
時、座標値の増分値はｄｘ、、ｄｙ２である。 これらの増分値と原点（初期設定値：注視点Ｐ。の座標
）の値とを用いて、画像表示部８における注視点Ｐの座
標が求められる。同時に、画像表示領域８−１壱規定し
ている領域情報（第１図における座標値（ＸＩ、Ｙｌ
）、ＣＸｔ、ＹＺ ））を考慮すれば、表示されている
画像中のどの部分を注視しているかを知ることができる
。このようにして、注視点Ｐの動きを絶えず追跡するこ
とが出来る。 なお、誤差の累積により、原点にずれが生じた場合には
、再度、注視点の初期化をおこなう。 検出された注視点座標に関する信号は、受信側の通信制
御回路６→双方向通信回線５→送信側の通信制御回路４
→符号化制御回路３へと送られる。 符号化制御回路３には、視線距離検出回路１１からの視
線距離信号も同様にして送られて来る。 符号化制御回路３は、次の２つの役割を果たす。 第１の役割は、受信側から送られて来た注視点座標信号
と視線距離信号とにより、前記した注視点周辺領域Ａを
設定することである。第２の役割は、符号化回路２で画
像データを符号化するに際し、注視点周辺領域Ａの内側
に属する画像データと外側に属する画像データとでは、
符号化のやり方を異ならせるよう制御することである。 一般に、カラー画像の伝送においては、ＲＧＢ表色系（
Ｒ：赤、Ｇ：緑、Ｂ：青）やＹＭＣ表色系（Ｙ：黄１Ｍ
：マゼンダ（紫）、Ｃニジアン）を使用するよりも、Ｙ
ＩＱ信号（Ｙ：輝度信号、１、Ｑ：色差信号）によるＮ
ＴＳＣ方式による方が、冗長度抑圧の点から望ましいと
されている。 本発明ではとくに符号化方式を限定するものではないが
、以下に述べる実施例では、上記のような点を考慮して
、画像データをＹＩＱの各成分に分離した場合の符号化
に適用したものを示す。 〔第１の実施例〕 第４図に、第１の実施例を示す。符号は、第２図のもの
に対応している。そして、２１はＹＩＱ分離回路、２２
はＹ成分符号化回路、２３は■成分符号化回路、２４は
Ｑ成分符号化回路、２５は符号合成回路である。なお、
送信側の通信制御回路４から右側、つまり受信側は、第
２図のものと同様であるので省略しである。 入力された画像データは、ＹＩＱ分離回路２１によりＹ
、［、Ｑ成分に分離される。Ｙ成分については、Ｙ成分
符号化回路２２において画像全域にわたって符号化が行
われる。■成分、Ｑ成分については、それぞれＩ成分符
号化回路２３．Ｑ成分符号化回路２４において符号化さ
れるが、その符号化は、符号化制御回路３からの制御に
より、注視点周辺領域Ａの内側に属する画像データに関
してのみ行う。 このことは、指定された注視点周辺領域Ａ内についての
みカラー表示を行い、それ以外の領域ではモノクロ表示
を行うことを意味する。 〔第２の実施例〕 第５図に、第２の実施例を示す。符号は第４図のものに
対応しており、２６はセレクタ、２７は符号化回路であ
る。第４図の場合と同様、やはり受信側を描くのは省略
しである。 網膜周辺部は、網膜中心部に比べ、色知覚機能の点が劣
っているほか、解像度機能の点でも著しく劣っているこ
とが知られている。 そこで、色差成分（１，Ｑ成分）については第１の実施
例と同様に注視点周辺領域Ａ内のみ符号化すると共に、
輝度成分（Ｙ成分）については、注視点周辺９Ｉ域Ａの
内側に属するものと外側に属するものとで、符号化の仕
方を異なるようにしたのが、第２の実施例である。この
ようにすれば、伝送する情報量を更に少なくすることが
出来る。 即ち、ＹＩＱ分離回路２１で分離された各成分信号は、
セレクタ２６によって選択的に符号化回路２７に入力さ
れる。そして、注視点周辺領域へ〇内および外での各成
分についての符号化が、符号化制御回路３によって制御
されて行われる。 符号化の方式に関しては、画像データをブロック単位に
まとめて成る種の直交変換を施せば、大部分のエネルギ
ーが低周波成分に集中し、符号化する場合、高周波成分
に割り当てるビット数を削減あるいは省略できる直交変
換符号化方式が知られている。 この方式を採用すれば、注視点周辺領域Ａ外の画像デー
タについては、高周波成分に割り当てるビット数を削減
するか或いは全く割り当てないというかたちでの符号化
を行うことが出来る。全く割当ないとすれば、注視点周
辺領域Ａ外の画像データについては、低周波成分のみを
符号化するということになる。 また、ブロック内の［１をそれより少ないレベルの階調
で代表するブロック近似符号化を採用した場合は、注視
点周辺領域Ａ外のブロックを符号化する際、階調成分を
省略して１ブロック１階調で表現したり、複数ブロック
をまとめて１階調で表現したりして、伝送情報量を減ら
すことが考えられる。 なお、運動物体の画像を伝送する場合には、表示されて
いる運動物体の中心を注視点Ｐと仮定して注視点周辺領
域Ａを決定するか、或いは運動物体を含む領域全部を注
視点周辺領域Ａとして扱って、伝送を行うようにするこ
とも出来る。 このようにして、従来方式では受信者に検知されないの
に送られていた情報を、視覚特性にもとづいて削減また
は省略することにより情報を圧縮することができる。 以上述べたことから明らかなように、本発明では受信者
の視線を一種のボインティング・デバイスとして利用し
、画像の注視点周辺領域Ａに対してのみ精細な画像処理
を行うものである。それゆえ、注視点周辺領域Ａを拡大
して表示するとか、２値化とかエツジ抽出等を行うこと
も可能である。 【効 果］ 以上述べた如き本発明によれば、−人の受信者を想定し
た対話的画像通信において、受信者の画像上における注
視点と人間の視覚特性とを基に注視点周辺領域を設定し
、この注視点周辺領域に属する画像データは詳細情報ま
で符号化して送信するが、注視点周辺領域に属さない画
像データについては、伝送しないか伝送するとしても情
報量を削減して符号化したものを伝送することとした。 その結果、受信者が認識する部分の画質低下を将来する
ことなく、伝送する情報量を大幅に減少させることが出
来るようになった。
。 （本発明の原理） 第１図に、本発明の原理図を示す。第１図において、８
は画像表示部、８−１は画像表示領域、Ｐは注視点、Ａ
は注視点周辺領域である。 画像表示部８において、２点の座標（ＸＩ、Ｙｌ ）、
（Ｙｌ 、Ｙ□）によって定まる矩形Ｍ域が画像表示領
域８−１であり、この頭載内に画像が表示される。 そして、表示された画像を見る人の注視点Ｐの座標（ｘ
、 ｙ）を求め、その点からある広がりを持たせて注視
点周辺領域Ａを設定する。第１図では、注視点周辺領域
Ａの形状を円形としているが、円形に限られるものでは
ない、ただし、その大きさについては、人間の持つ視覚
特性を考慮し、注視点Ｐを中心にして細かな動きや色の
変化を識別し得る範囲を参考にして定められる。 この範囲は、注視点Ｐが同じでも、画像を見る人の画像
表示部８からの距離（いわゆる「視線距離」）によって
異なる。 従って、注視点周辺領域Ａの大きさは、注視点の位置と
視線距離と人間の網膜の特性とに基づいて決定される。 当然のことながら、注視点周辺領域Ａは、注視点Ｐの移
動にともない移動して行く。 このようにして定められた注視点周辺領域Ａの内と外と
では、画像情報の符号化の仕方を変える。 即ち、注視点周辺領域Ａの内側の画像データは精細に符
号化して送るが、外側の画像データについては伝送しな
いか、伝送したとしても成る程度省略したものを符号化
して送る。 これにより、受信者が細かく認識できる領域（つまり、
注視点周辺領域）については詳細な情報を送りつつ、全
体として伝送する情報量は少なくすることが出来る。 （本発明の構成の概要） 第２図に、本発明のブロック構成図を示す、第２図にお
いて、１は画像入力部、２は符号化回路、３は符号化制
御回路、４は送信側の通信制御回路、５は双方向通信回
線、６は受信側の通信制御回路、７は復号化回路、８は
画像表示部、９は注視点検出回路、ｌＯは眼球運動検出
回路、１１は視線距離検出回路である。 眼球運動検出回路１０は、受信者の眼球運動を検出する
回路であり、これにより視線方向が検出される。視線距
離検出回路１１は、前記した視線距離を検出する回路で
ある。 さて、画像入力部１から入力された画像データは、符号
化回路２において符号化され、送信側の通信制御回路４
から双方向の通信回線５を通って受信側の通信制御回路
６に送られる。送られて来た画像データは、復号化回路
７によって復号化され、画像表示部８に表示される。受
信者は、この画像表示部８の画像を見ることになる。 眼球運動検出回路１０からの視線方向信号と、視線距離
検出回路１１からの視線距離信号とから、受信者が注視
している注視点Ｐが画像表示部８のどの位置にあるかを
割り出すことが出来る。それを行うのが注視点検出回路
９である。注視点Ｐは絶えず変わるから、それを次々と
追跡して行く必要がある。 第３図に、注視点の追跡法の概要を示す。 伝送を開始するに先立って受信者の視点を固定するため
、ヘッド・レスト等で頭部を固定し、あらかじめ画像表
示部の原点に相当する位置にマーク等を表示し、それを
見つめているときの眼球の状態を初期状態とする。即ち
、注視点の初期化（原点合わせ）である、この時の注視
点をＰｏとする。 その後の注視点の移動は、座標値の増分値として検出さ
れる。＠球が動けば注視点Ｐも動くが、その動きに対応
した画像表示部８上での座標の増分値を算出し、新たな
注視点Ｐの座標を求める。 例えば、注視点がＰ０→Ｐ、へと移ワた時、座標値の増
分値はｄＸｉ 、ｄ７ｔであり、Ｐ、→Ｐ、へと移った
時、座標値の増分値はｄｘ、、ｄｙ２である。 これらの増分値と原点（初期設定値：注視点Ｐ。の座標
）の値とを用いて、画像表示部８における注視点Ｐの座
標が求められる。同時に、画像表示領域８−１壱規定し
ている領域情報（第１図における座標値（ＸＩ、Ｙｌ
）、ＣＸｔ、ＹＺ ））を考慮すれば、表示されている
画像中のどの部分を注視しているかを知ることができる
。このようにして、注視点Ｐの動きを絶えず追跡するこ
とが出来る。 なお、誤差の累積により、原点にずれが生じた場合には
、再度、注視点の初期化をおこなう。 検出された注視点座標に関する信号は、受信側の通信制
御回路６→双方向通信回線５→送信側の通信制御回路４
→符号化制御回路３へと送られる。 符号化制御回路３には、視線距離検出回路１１からの視
線距離信号も同様にして送られて来る。 符号化制御回路３は、次の２つの役割を果たす。 第１の役割は、受信側から送られて来た注視点座標信号
と視線距離信号とにより、前記した注視点周辺領域Ａを
設定することである。第２の役割は、符号化回路２で画
像データを符号化するに際し、注視点周辺領域Ａの内側
に属する画像データと外側に属する画像データとでは、
符号化のやり方を異ならせるよう制御することである。 一般に、カラー画像の伝送においては、ＲＧＢ表色系（
Ｒ：赤、Ｇ：緑、Ｂ：青）やＹＭＣ表色系（Ｙ：黄１Ｍ
：マゼンダ（紫）、Ｃニジアン）を使用するよりも、Ｙ
ＩＱ信号（Ｙ：輝度信号、１、Ｑ：色差信号）によるＮ
ＴＳＣ方式による方が、冗長度抑圧の点から望ましいと
されている。 本発明ではとくに符号化方式を限定するものではないが
、以下に述べる実施例では、上記のような点を考慮して
、画像データをＹＩＱの各成分に分離した場合の符号化
に適用したものを示す。 〔第１の実施例〕 第４図に、第１の実施例を示す。符号は、第２図のもの
に対応している。そして、２１はＹＩＱ分離回路、２２
はＹ成分符号化回路、２３は■成分符号化回路、２４は
Ｑ成分符号化回路、２５は符号合成回路である。なお、
送信側の通信制御回路４から右側、つまり受信側は、第
２図のものと同様であるので省略しである。 入力された画像データは、ＹＩＱ分離回路２１によりＹ
、［、Ｑ成分に分離される。Ｙ成分については、Ｙ成分
符号化回路２２において画像全域にわたって符号化が行
われる。■成分、Ｑ成分については、それぞれＩ成分符
号化回路２３．Ｑ成分符号化回路２４において符号化さ
れるが、その符号化は、符号化制御回路３からの制御に
より、注視点周辺領域Ａの内側に属する画像データに関
してのみ行う。 このことは、指定された注視点周辺領域Ａ内についての
みカラー表示を行い、それ以外の領域ではモノクロ表示
を行うことを意味する。 〔第２の実施例〕 第５図に、第２の実施例を示す。符号は第４図のものに
対応しており、２６はセレクタ、２７は符号化回路であ
る。第４図の場合と同様、やはり受信側を描くのは省略
しである。 網膜周辺部は、網膜中心部に比べ、色知覚機能の点が劣
っているほか、解像度機能の点でも著しく劣っているこ
とが知られている。 そこで、色差成分（１，Ｑ成分）については第１の実施
例と同様に注視点周辺領域Ａ内のみ符号化すると共に、
輝度成分（Ｙ成分）については、注視点周辺９Ｉ域Ａの
内側に属するものと外側に属するものとで、符号化の仕
方を異なるようにしたのが、第２の実施例である。この
ようにすれば、伝送する情報量を更に少なくすることが
出来る。 即ち、ＹＩＱ分離回路２１で分離された各成分信号は、
セレクタ２６によって選択的に符号化回路２７に入力さ
れる。そして、注視点周辺領域へ〇内および外での各成
分についての符号化が、符号化制御回路３によって制御
されて行われる。 符号化の方式に関しては、画像データをブロック単位に
まとめて成る種の直交変換を施せば、大部分のエネルギ
ーが低周波成分に集中し、符号化する場合、高周波成分
に割り当てるビット数を削減あるいは省略できる直交変
換符号化方式が知られている。 この方式を採用すれば、注視点周辺領域Ａ外の画像デー
タについては、高周波成分に割り当てるビット数を削減
するか或いは全く割り当てないというかたちでの符号化
を行うことが出来る。全く割当ないとすれば、注視点周
辺領域Ａ外の画像データについては、低周波成分のみを
符号化するということになる。 また、ブロック内の［１をそれより少ないレベルの階調
で代表するブロック近似符号化を採用した場合は、注視
点周辺領域Ａ外のブロックを符号化する際、階調成分を
省略して１ブロック１階調で表現したり、複数ブロック
をまとめて１階調で表現したりして、伝送情報量を減ら
すことが考えられる。 なお、運動物体の画像を伝送する場合には、表示されて
いる運動物体の中心を注視点Ｐと仮定して注視点周辺領
域Ａを決定するか、或いは運動物体を含む領域全部を注
視点周辺領域Ａとして扱って、伝送を行うようにするこ
とも出来る。 このようにして、従来方式では受信者に検知されないの
に送られていた情報を、視覚特性にもとづいて削減また
は省略することにより情報を圧縮することができる。 以上述べたことから明らかなように、本発明では受信者
の視線を一種のボインティング・デバイスとして利用し
、画像の注視点周辺領域Ａに対してのみ精細な画像処理
を行うものである。それゆえ、注視点周辺領域Ａを拡大
して表示するとか、２値化とかエツジ抽出等を行うこと
も可能である。 【効 果］ 以上述べた如き本発明によれば、−人の受信者を想定し
た対話的画像通信において、受信者の画像上における注
視点と人間の視覚特性とを基に注視点周辺領域を設定し
、この注視点周辺領域に属する画像データは詳細情報ま
で符号化して送信するが、注視点周辺領域に属さない画
像データについては、伝送しないか伝送するとしても情
報量を削減して符号化したものを伝送することとした。 その結果、受信者が認識する部分の画質低下を将来する
ことなく、伝送する情報量を大幅に減少させることが出
来るようになった。
第１図・・・本発明の原理図
第２図・・・本発明のブロック構成図
第３図・・・注視点の追跡法の概要を示す画筆４図・・
・第１の実施例 第５図・・・第２の実施例 図において、１は画像入力部、２は符号化回路、３は符
号化制御回路、４．６は通信制御回路、５は双方向通信
回線、７は復号化回路、８は画像表示部、８−１は画像
表示領域、９は注視点検出回路、ＩＯは眼球運動検出回
路、１１は視線距離検出回路、２１はＹＩＱ分離回路、
２２はＹ成分符号化、２３は【成分符号化、２４はＱ成
分符号化、２５は符号合成回路、２６はセレクタ、２７
は符号化回路、Ａは注視点周辺領域、ＰないしＰｎは注
視点である。 第１ 図 本発明の原理図 第２ 図 本発明のブロック構成図 特許出願人 富士ゼロックス株式会社代理人弁理士
本 庄 富 雄 第３ 図法視点の軌跡
・第１の実施例 第５図・・・第２の実施例 図において、１は画像入力部、２は符号化回路、３は符
号化制御回路、４．６は通信制御回路、５は双方向通信
回線、７は復号化回路、８は画像表示部、８−１は画像
表示領域、９は注視点検出回路、ＩＯは眼球運動検出回
路、１１は視線距離検出回路、２１はＹＩＱ分離回路、
２２はＹ成分符号化、２３は【成分符号化、２４はＱ成
分符号化、２５は符号合成回路、２６はセレクタ、２７
は符号化回路、Ａは注視点周辺領域、ＰないしＰｎは注
視点である。 第１ 図 本発明の原理図 第２ 図 本発明のブロック構成図 特許出願人 富士ゼロックス株式会社代理人弁理士
本 庄 富 雄 第３ 図法視点の軌跡
Claims (1)
- 【特許請求の範囲】 受信側に、受信者の眼球運動を検出する眼球運動検出手
段と、受信者の眼球から画像表示部までの視線距離を検
出する視線距離検出手段と、前記眼球運動と視線距離と
から画像における受信者の注視点の位置を検出する注視
点検出手段とを具え、 送信側に、入力される画像データを符号化する符号化手
段と、人間の視覚特性と受信側から送られて来た前記注
視点と前記視線距離とに関する情報とに基づいて注視点
周辺領域を定めると共に、該注視点周辺領域の外の画像
データについては符号化を削減するよう前記符号化手段
を制御する符号化制御手段とを具えたことを特徴とする
画像伝送装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63252427A JPH02100488A (ja) | 1988-10-06 | 1988-10-06 | 画像伝送装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63252427A JPH02100488A (ja) | 1988-10-06 | 1988-10-06 | 画像伝送装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02100488A true JPH02100488A (ja) | 1990-04-12 |
Family
ID=17237211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63252427A Pending JPH02100488A (ja) | 1988-10-06 | 1988-10-06 | 画像伝送装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02100488A (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02119464A (ja) * | 1988-10-28 | 1990-05-07 | Nippon Telegr & Teleph Corp <Ntt> | ２地点間画像符号化方式 |
| JPH06105338A (ja) * | 1992-09-17 | 1994-04-15 | Fujitsu Ltd | 画像データ前処理フィルタ装置 |
| JPH07284095A (ja) * | 1994-04-12 | 1995-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 視点適応型画像伝送方法および画像伝送装置 |
| WO1998010592A1 (en) * | 1996-09-04 | 1998-03-12 | Sony Corporation | Image compression encoder and image compression encoding method |
| JP2003153263A (ja) * | 2001-11-19 | 2003-05-23 | Hitachi Ltd | 映像表示システムおよびその方法 |
| JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
| JP2004007421A (ja) * | 2002-05-31 | 2004-01-08 | Innotive Corp | ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法 |
| EP2199973A3 (en) * | 1997-06-09 | 2010-09-08 | Seiko Epson Corporation | An image processing apparatus and method, and an image evaluation device and method |
| JP2019022132A (ja) * | 2017-07-20 | 2019-02-07 | 日本放送協会 | 映像伝送装置、映像受信装置及びそれらのプログラム |
-
1988
- 1988-10-06 JP JP63252427A patent/JPH02100488A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02119464A (ja) * | 1988-10-28 | 1990-05-07 | Nippon Telegr & Teleph Corp <Ntt> | ２地点間画像符号化方式 |
| JPH06105338A (ja) * | 1992-09-17 | 1994-04-15 | Fujitsu Ltd | 画像データ前処理フィルタ装置 |
| JPH07284095A (ja) * | 1994-04-12 | 1995-10-27 | Nippon Telegr & Teleph Corp <Ntt> | 視点適応型画像伝送方法および画像伝送装置 |
| WO1998010592A1 (en) * | 1996-09-04 | 1998-03-12 | Sony Corporation | Image compression encoder and image compression encoding method |
| US6246799B1 (en) | 1996-09-04 | 2001-06-12 | Sony Corporation | Image compression encoder and image compression encoding method |
| US8553285B2 (en) | 1997-06-09 | 2013-10-08 | Seiko Epson Corporation | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
| EP2199973A3 (en) * | 1997-06-09 | 2010-09-08 | Seiko Epson Corporation | An image processing apparatus and method, and an image evaluation device and method |
| US8681380B2 (en) | 1997-06-09 | 2014-03-25 | Seiko Epson Corporation | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
| US8867099B2 (en) | 1997-06-09 | 2014-10-21 | Seiko Epson Corporation | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded |
| JP2003519982A (ja) * | 1999-12-30 | 2003-06-24 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 画像データを伝送するための方法 |
| JP2003153263A (ja) * | 2001-11-19 | 2003-05-23 | Hitachi Ltd | 映像表示システムおよびその方法 |
| JP2004007421A (ja) * | 2002-05-31 | 2004-01-08 | Innotive Corp | ネットワークを介した大容量高品質デジタルイメージのリアルタイムサービス方法 |
| JP2019022132A (ja) * | 2017-07-20 | 2019-02-07 | 日本放送協会 | 映像伝送装置、映像受信装置及びそれらのプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11973979B2 (en) | Image compression for digital reality | |
| US9081181B2 (en) | Head mounted display device and image display control method therefor | |
| EP3130143A1 (en) | Stereo viewing | |
| US20180061133A1 (en) | Augmented reality apparatus and system, as well as image processing method and device | |
| JP2016510525A (ja) | ニアアイ・ディスプレイのディスプレイ更新時間の低減 | |
| JPH02100488A (ja) | 画像伝送装置 | |
| CN114467307A (zh) | 用于属性平滑的决策规则 | |
| CN111885310A (zh) | 一种全景数据处理方法、处理设备和播放设备 | |
| CN110383821B (zh) | 虚拟现实影像再现方法及使用其的程序 | |
| JP6591667B2 (ja) | 画像処理システム、画像処理装置、及びプログラム | |
| CN111345037B (zh) | 虚拟现实影像提供方法及利用其的程序 | |
| US20050073576A1 (en) | Method for interactive television using foveal properties of the eyes of individual and grouped users and for protecting video information against the unauthorised access, dissemination and use thereof | |
| JPH0690445A (ja) | 映像入出力装置 | |
| US20240119557A1 (en) | Image display system and image display method | |
| CN114374832B (zh) | 虚拟现实体验的控制方法、装置、用户设备及网络设备 | |
| RU2157056C2 (ru) | Способ объемного телевидения | |
| JPH01141479A (ja) | 視線検出を利用した画像通信装置 | |
| JP7471307B2 (ja) | シーンの画像表現 | |
| KR20190077253A (ko) | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 | |
| WO2023079623A1 (ja) | 画像表示システム、画像送信装置、表示制御装置、および画像表示方法 | |
| US20230281910A1 (en) | Methods and apparatus rendering images using point clouds representing one or more objects | |
| WO2021235153A1 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
| US7333156B2 (en) | Sequential colour visual telepresence system | |
| US20220174259A1 (en) | Image signal representing a scene | |
| US20240087101A1 (en) | Image displaying system, display apparatus, and image displaying method |