JP3924794B2 - 画像圧縮符号化装置及び画像圧縮符号化方法 - Google Patents

Description

技術分野
本発明は、画像データを符号化して圧縮する画像圧縮符号化装置及び画像圧縮符号化方法に関する。
背景技術
近年、映像のディジタル化及び画像圧縮技術の進歩に伴い、色々な画像圧縮符号化が行なわれるようになってきた。しかし、従来は、所定単位の画像データに割り当てられる符号量がある一定量で固定されていたり（固定レートの場合）、画像の細かさによって所定単位の画像データに割り当てられる符号量を変化させる可変レートの場合であっても、最大に割り当てられる符号量が決まっていたりして、ある一定時間内での符号量の最大値が決められており、連続して複雑な画面が続くときには、符号量の制限を受けていた。当然ながら、画面に割り当てられる符号量の増減は、画質の善し悪しにつながる。そこで、従来は、画面上の複雑な所により多くの符号量を割り当てる等の方法によって、一枚の画面全体としては同一の符号量としながら、復号時における画質劣化が最小となるように符号量を制御することが行われていた。
しかし、視聴者の画質劣化の感じ方は、一枚の画面中のどこに注目するかで変わってくる。一方、視聴者が注視するのは、その画面中の重要な部分であって、その部分が、その画面中の複雑な部分に当たるとは限らない。そのため、画面上の複雑な所により多くの符号量を割り当てる方法では、次のような不具合が生じる。すなわち、例えば複雑な背景の中に主人公がいる場合等では、複雑な背景の方に多くの符号が割り当てられ、結果として視聴者が注視する主人公に割り当てられる符号量が少なくなり、復号時に視聴者は画質劣化を感じることになる。
これに対処するに、操作者が、画面毎に、画面内における符号量の割り当てを任意に変えることができるようにすることが考えられる。しかし、符号量の割り当ての異なる領域を、画面毎に操作者が設定するのは、多大な労力が必要になると共に、生中継等のリアルタイム性が要求されるような状況では、このような操作は不可能である。
ところで、特開平７−４４１１０号公報には、利用者の視点の位置を検出し、１画面中における視点位置近傍の一定の領域を高解像度で表示し、他の領域を低解像度で表示する技術が示されている。この技術は、言い換えると、１画面中における視点位置近傍の領域に割り当てる符号量を多くし、他の領域に割り当てる符号量を少なくする技術と言える。この技術によれば、各画面を限られた符号量内でリアルタイムに符号化しながら、復号時に利用者の感じる画質劣化を抑えることが可能となる。
しかしながら、常に、視点近傍の領域に割り当てる符号量を多くし、他の領域に割り当てる符号量を少なくするようにした場合には、他の領域がそれほど複雑ではなく、割り当てる符号量を少なくしなくとも、発生する符号量がそれほど多くならない場合すなわち符号量に余裕がある場合であっても、他の領域に割り当てる符号量は必ず少なくされ、他の領域の画質が不必要に劣化してしまうという問題点がある。
また、画面中において視聴者が注視する領域の大きさは一定とは限らない。従って、割り当てる符号量を多くする領域の大きさを一定にした場合には、次のような問題が生じる。すなわち、視聴者が注視する領域が符号量を多くする領域よりも大きい場合には、視聴者が注視する領域のうちの中心側の領域では符号量が多く割り当てられて画質の劣化が小さく、視聴者が注視する領域のうちの周辺側の領域では割り当てられる符号量が少なくなり、画質の劣化が大きくなり、視聴者にとっては見にくい画面、すなわち画質の劣化した画面となってしまう。逆に、視聴者が注視する領域が符号量を多くする領域よりも小さい場合には、視聴者が注視する領域以外の領域にも多くの符号量が割り当てられてしまい、その結果、視聴者が注視する領域に割り当てられる符号量が少なくなってしまう事態が生じ得る。
本発明は、上述したような問題点に鑑みてなされたものであり、画像データを限られた符号量内でリアルタイムに符号化して圧縮でき、且つ、復号時にできるだけ利用者にとって視覚的に高画質な画像が得られるようにした画像圧縮符号化装置及び画像圧縮符号化方法を提供することを目的とするものである。
発明の開示
本発明は、入力画像データを圧縮して符号化する符号化手段と、前記入力画像データが出力される画面上における視点位置を検出する視点位置検出手段と、前記視点位置検出手段によって視点位置が断続的に検出されたときには各視点位置の検出時点間で時間的に連続するように、前記視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域を設定する領域設定手段と、前記領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限する符号量制限手段とを備えたことを特徴とする。
このような構成において、視点位置検出手段によって、入力画像データに基づく画面上における操作者の視点位置が検出され、領域設定手段によって、入力画像データに基づく画面上で、視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域が設定され、視点位置検出手段によって視点位置が断続的に検出されたときは、各視点位置の検出時点間で視点位置近傍領域は時間的に連続して設定されるようにする。また、符号化手段によって入力画像データが符号化されて圧縮され、符号量制限手段によって、領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、視点位置近傍領域に割り当てられる符号量よりも少なくなるように、領域に応じて符号量の割り当てを変えることによって、符号化手段によって発生される符号量が制限される。従って、画質を不必要に劣化させることがなく、画像データを限られた符号量内でリアルタイムに符号化して圧縮でき、且つ、復号時にできるだけ利用者にとって視覚的に高画質な画像を得ることが可能となると共に、例えば操作者が画面内の複数の場所を順次、視点を変えて繰り返し注視した場合にも、注視した複数の場所の近傍にそれぞれ、時間的に連続して視点位置近傍領域を設定することができ、より視覚的に高画質な画像を得ることが可能となる、という効果を奏する。
また本発明は、入力画像データを圧縮符号化する符号化手段と、前記入力画像データが出力される画面上における視点位置を検出する視点位置検出手段と、前記視点位置検出手段で検出される前記視点位置の近傍に視点位置近傍領域を設定する領域設定手段と、前記領域設定手段で設定される視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるように、前記視点位置近傍領域に応じて符号量の割り当てを制限する符号量制限手段とを備え、前記領域設定手段は、複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出手段で最初に視点位置が検出されたときと、前記画像単位が開始されたときとの間で前記視点位置近傍が連続して設定されるようにするか、あるいは、前記領域設定手段は、複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出手段で最後に視点位置が検出されたときと、前記画像単位が終了されたときとの間で前記視点位置近傍領域が連続して設定されるようにすることを特徴とする。
このような構成において、視点位置検出手段によって、入力画像データに基づく画面上における操作者の視点位置が検出され、領域設定手段によって、入力画像データに基づく画面上で、視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域が設定される。また、符号化手段によって入力画像データが符号化されて圧縮され、符号量制限手段によって、領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、視点位置近傍領域に割り当てられる符号量よりも少なくなるように、領域に応じて符号量の割り当てを変えることによって、符号化手段によって発生される符号量が制限される。従って、画像データを限られた符号量内でリアルタイムに符号化して圧縮でき、且つ、復号時にできるだけ利用者にとって視覚的に高画質な画像を得ることが可能となると共にシーンの切り替わり後や切り替わり前において視点位置が安定していないときにおいても視点位置近傍領域を設定することができ、より視覚的に高画質な画像を得ることが可能となる、という効果を奏する。
ここで、前記符号量制限手段は、前記視点位置近傍領域以外の領域に割り当てられる符号量を、前記視点位置近傍領域から離れる方向に向かって段階的に減少させることが好ましい。これによって、視点位置近傍領域の境界部が目立つことを避けることができ、より視覚的に高画質な画像を得ることが可能となる。
また、前記符号量制限手段によって領域に応じて符号量の割り当てを変えることを行うか否かを選択する選択手段をさらに備えることが好ましい。これによって、操作者が、必要に応じて、領域に応じて符号量の割り当てを変えることを行うか否かを選択することが可能となり、使い勝手が向上する。
【図面の簡単な説明】
図１は、本発明の一実施の形態に係る画像圧縮符号化装置の構成を示すブロック図である。
図２は、図１における位置検出部の詳細な構成を示すブロック図である。
図３は、本発明の一実施の形態に係る画像圧縮符号化装置で利用する眼球運動測定器の構成を示す説明図である。
図４は、図３に示した眼球運動測定器の動作原理について説明するための説明図である。
図５は、本発明の一実施の形態に係る画像圧縮符号化装置における視点補正の概略について説明するための説明図である。
図６は、本発明の一実施の形態に係る画像圧縮符号化装置におけるビデオ信号の符号化時の操作者の操作について説明するための説明図である。
図７は、本発明の一実施の形態に係る画像圧縮符号化装置においてモニタ画面に表示するマーカを示す説明図である。
図８は、図１における位置処理部の動作を説明するための流れ図である。
図９は、図１における位置処理部の動作を説明するための流れ図である。
図１０は、図１における位置処理部の動作を説明するための流れ図である。
図１１は、図１における位置処理部の動作を説明するための流れ図である。
図１２は、図１における位置処理部の動作を説明するための流れ図である。
図１３は、図１における位置処理部の動作を説明するための流れ図である。
図１４は、図１における位置処理部の動作を説明するための流れ図である。
図１５は、図１における位置処理部の動作を説明するための流れ図である。
図１６は、図１における位置処理部の動作を説明するための流れ図である。
図１７は、図１における位置処理部の動作を説明するための流れ図である。
図１８は、図１における位置処理部の動作を説明するための流れ図である。
図１９は、図１における位置処理部の動作を説明するための流れ図である。
発明を実施するための最良の形態
以下、本発明に係る好ましい実施の形態について、図面を参照しながら詳細に説明する。
本実施の形態に係る画像圧縮符号化装置では、入力画像データに基づく画面上における操作者の視点位置を検出する視点位置検出手段として、眼球運動測定器を用いるが、始めに、この眼球運動測定器について説明する。
図３は、眼球運動測定器の構成を示す説明図である。この眼球運動測定器は、赤外線を発光する発光ダイオード（以下、ＬＥＤと記す。）ｌと、水平方向に２分割された受光部２Ａ，２Ｂを有する２分割光検出器２とを備えている。図３Ａ，図３Ｂでは、便宜上、ＬＥＤ１と２分割光検出器２とを別々に示しているが、これらは、実際には一体化され、ゴーグル状の保持部材によって、眼球３の中央部の下側の位置に配置されるように保持されている。なお、２分割光検出器２は、操作者が保持部材を装着したとき、受光部２Ａが操作者から見て右側、受光部２Ｂが操作者から見て左側に配置されるようになっている。操作者が保持部材を装着したとき、図３Ａに示したように、ＬＥＤｌは、眼球ｌの下側の視野外の位置から眼球１に向けて赤外線を照射し、図３Ｂに示したように、２分割光検出器２は、眼球１からの反射光を検出するようになっている。
ここで、図４を参照して、図３に示した眼球運動測定器の動作原理について説明する。図４Ａは、操作者の視点が右方向に移動したときの眼球３の状態を示したものである。眼球中心部（黒目）３ａは、眼球周辺部（白目）３ｂに比べて光の反射率が小さいので、図４Ａに示した状態では、受光部２Ａに戻ってくる光量は、受光部２Ｂに戻ってくる光量に比べて少なくなる。図４Ｂは、操作者の視点が左方向に移動したときの眼球３の状態を示したものである。この状態では、受光部２Ｂに戻ってくる光量は、受光部２Ａに戻ってくる光量に比べ少なくなる。従って、受光部２Ａの出力と受光部２Ｂの出力との差から、眼球３の水平方向の移動、言い換えると視点の水平方向の移動を検出することが可能となる。
図４Ｃは、操作者の視点が上方向に移動したときの眼球３の状態を示したものである。この状態では、受光部２Ａ，２Ｂに戻ってくる各光は共に多くなる。図４Ｄは、操作者の視点が下方向に移動したときの眼球３の状態を示したものである。この状態では、受光部２Ａ，２Ｂに戻ってくる各光は共に少なくなる。従って、受光部２Ａの出力と受光部２Ｂの出力の和から、眼球３の垂直方向の移動、言い換えると視点の垂直方向の移動を検出することが可能となる。
このようにして、受光部２Ａ，２Ｂの出力の差と和から、操作者の視点の位置を検出することが可能となる。以上が眼球運動測定器の動作原理であるが、実際には、操作者毎に眼球３での反射光量が違うので、操作者の頭の位置を固定して、画面上の予め決められた数点の位置を注視してもらい、そのときの受光部２Ａ，２Ｂの出力に基づいて、視点位置の補正（以下、視点補正と言う。）を行うことになる。
ここで、図５を参照して、視点補正の概略について説明する。ここでは、画面５上を横方向（ｘ方向）に６４０、縦方向（ｙ方向）に４８０に分割し、画面５の左上を原点として、横方向の位置をｍ、縦方向の位置をｎで表し、画面上の任意の点の位置をＰ（ｍ，ｎ）で表す。視点補正時には、例えば以下の９点、すなわち、Ｐ（１０，１０）、Ｐ（３２０，１０）、Ｐ（６３０，１０）、Ｐ（１０，２４０）、Ｐ（３２０，２４０）、Ｐ（６３０，２４０）、Ｐ（１０，４７０）、Ｐ（３２０，４７０）、Ｐ（６３０，４７０）に、順次、マーカ６を表示し、眼球運動測定器が取り付けられた保持部材８を装着した操作者７に、マーカ６によって示される各点を注視してもらい、そのときの受光部２Ａ，２Ｂの出力に基づいて、視点補正が行われる。
図１は、本実施の形態に係る画像圧縮符号化装置の構成を示すブロック図である。この画像圧縮符号化装置は、ビデオ信号１０を入力し、このビデオ信号１０を符号化して圧縮する圧縮部１１と、この圧縮部１１の出力データを所定時間遅延する遅延器１２と、この遅延器１２から出力データが入力されて、必要に応じて、視点位置近傍領域以外の領域に割り当てられる符号量が、視点位置近傍領域に割り当てられる符号量よりも少なくなるように、領域に応じて符号量の割り当てを変えることによって、符号量の削減を行って、符号データ１４を出力する符号量削減部１３とを備えている。圧縮部１１は、例えば、ＭＰＥＧ（Moving picture Experts Group）規格で採用されているように、空間的相関を利用した離散コサイン変換（以下、ＤＣＴと記す。）処理と時間的相関を利用した双方向予測符号化とを用いてビデオ信号の圧縮処理を行うようになっている。この場合、圧縮部１１は、所定の画素ブロック単位でＤＣＴ処理を行い、ＤＣＴ処理後の係数を量子化し、更に、量子化データを可変長符号化して符号データを出力するようになっている。なお、可変長符号化は符号量削減部１３で行うようにし、圧縮部１１は量子化データを出力するようにしても良い。
画像圧縮符号化装置は、更に、操作者がシーンの切り替わり目のタイミング等を指示するためのチェンジ用スイッチ１６と、符号量削減部１３において領域に応じて符号量の割り当てを変えることを中断する指示を与えるための中断用スイッチ１７と、視点位置近傍領域のサイズを変えるためのサイズ可変用レバー１８とを備えている。
画像圧縮符号化装置は、更に、２分割光検出器２の各受光部２Ａ，２Ｂの出力信号に基づいて操作者の視点位置を検出する位置検出部２０と、この位置検出部２０から出力される位置情報に基づいて、視点位置近傍領域の中心位置を決定する処理を行う位置処理部２１と、サイズ可変用レバー１８の出力信号を、位置処理部２１における処理時間相当分だけ遅延する遅延器２２と、この遅延器２２の出力信号に基づいて、視点位置近傍領域のサイズを決定する処理を行うサイズ処理部２３とを備えている。
画像圧縮符号化装置は、更に、位置検出部２０からの位置情報とサイズ可変用レバー１８の出力信号から画面上のマーカの位置と大きさを決め、ビデオ信号１０にマーカ表示用の信号を重畳して、モニタ用出力ビデオ信号２５として出力するマーカ挿入部２４を備えている。
画像圧縮符号化装置は、更に、圧縮部１１の出力データを入力し、現在の画面と前画面との相関を調べる相関検出部２６と、この相関検出部２６の出力データとチェンジ用スイッチ１６の出力信号とカメラ切替に用いる図示しないスイッチャからの切替信号２８とを入力し、シーンの切り替わり目のタイミングを決定する切替処理部２７と、画像圧縮符号化装置全体を制御するシステムコントロール部３０とを備えている。
システムコントロール部３０には、圧縮部１１，位置処理部２１およびサイズ処理部２３および切替処理部２７の各出力データ、チェンジ用スイッチ１６および中断用スイッチ１７の各出力信号が入力され、更に、図示しないスイッチ等を介して入力される切替選択信号３１および視点補正モード信号３２、図示しないインタフェースを介して入力される規定符号量データ３３が入力されるようになっている。また、システムコントロール部３０は、符号量削減部１３に対して符号量削減制御信号３５を出力すると共に、マーカ挿入部２４および切替処理部２７を制御するようになっている。
位置処理部２１には、中断用スイッチ１７の出力信号および切替処理部２７の出力データも入力されるようになっている。また、サイズ処理部２３には、位置処理部２１および切替処理部２７の各出力データも入力されるようになっている。
位置処理部２１，サイズ処理部２３，相関検出部２６，切替処理部２７およびシステムコントロール部３０は、例えばマイクロコンピュータによって構成される。
図２は、図１における位置検出部２０の詳細な構成を示すブロック図である。この位置検出部２０は、２分割光検出器２における受光部２Ａ，２Ｂの電流一電圧変換された後の信号の差信号を生成する減算器４１と、受光部２Ａ，２Ｂの電流一電圧変換された後の信号の和信号を生成する加算器４２と、減算器４１の出力信号を例えば８ビットのディジタル信号に変換するアナログ−ディジタル（以下、Ａ／Ｄと記す。）変換器（１）４３と、加算器４２の出力信号を例えば８ビットのディジタル信号に変換するＡ／Ｄ変換器（２）４４と、Ａ／Ｄ変換器（１）４３の出力信号をＡ／Ｄ変換器（２）４４の出力信号によって割算する割算器４５とを備えている。割算器４５の出力信号およびＡ／Ｄ変換器（２）４４の出力信号はシステムコントロール部３０に入力されるようになっている。システムコントロール部３０は、視点補正時には、割算器４５の出力信号およびＡ／Ｄ変換器（２）４４の出力信号と、システムコントロール部３０が発生するマーカ６（図５）の位置情報とに基づいて、マーカ６によって示される各位置における基準値に変換するための補正値を計算し、この補正値を、割算器４５およびＡ／Ｄ変換器（２）４４の各出力値に対応付けて出力するようになっている。
位置検出部２０は、更に、視点補正時にシステムコントロール部３０より出力される割算器４５の出力信号に対する補正値を記憶し、ビデオ信号１０の符号化時に、割算器４５の出力信号に応じて補正値を出力するＲＡＭ（ランダム・アクセス・メモリ）（１）４７と、視点補正時にシステムコントロール部３０より出力されるＡ／Ｄ変換器（２）４４の出力信号に対する補正値を記憶し、ビデオ信号１０の符号化時に、Ａ／Ｄ変換器（２）４４の出力信号に応じて補正値を出力するＲＡＭ（２）４８と、ビデオ信号１０の符号化時に、割算器４５の出力信号に、ＲＡＭ（１）４７より出力される補正値を掛ける掛算器（１）４９と、ビデオ信号１０の符号化時に、Ａ／Ｄ変換器（２）４４の出力信号に、ＲＡＭ（２）４８より出力される補正値を掛ける掛算器（２）５０と、掛算器（１）４９の出力信号を画面上の横方向の位置情報に変換するためのＲＯＭ（リード・オンリ・メモリ）（１）５１と、掛算器（２）５０の出力信号を画面上の縦方向の位置情報に変換するためのＲＯＭ（２）５２とを備えている。ＲＯＭ５１，５２の出力情報は、システムコントロール部３０に入力されると共に、図１における位置処理部２１に送られるようになっている。
次に、本実施の形態に係る画像圧縮符号化装置の動作について説明する。まず、視点補正時の動作について説明する。視点補正の動作を実行するか否かは、システムコントロール部３０に入力される視点補正モード信号３２によって指示される。視点補正時には、システムコントロール部３０からマーカ挿入部２４に対して、マーカ６の挿入を指示する制御信号が送られ、この制御信号に応じて、マーカ挿入部２４は、マーカ６が画面上の予め規定された位置に挿入されるように、ビデオ信号１０にマーカ６の表示用の信号を重畳して、モニタ用出力ビデオ信号２５として出力する。操作者は、画面上のマーカ６に視点が合ったときにチェンジ用スイッチ１６をオンにする。システムコントロール部３０は、チェンジ用スイッチ１６がオンにされると、そのときの割算器４５およびＡ／Ｄ変換器（２）４４の各出力信号とマーカ６の位置情報とに基づいて補正値を計算し、この補正値を割算器４５およびＡ／Ｄ変換器（２）４４の各出力値に対応付けて、ＲＡＭ４７，４８に記憶させる。次に、チェンジ用スイッチ１６がオンにされると、システムコントロール部３０は、制御信号によって、マーカ６の位置を順次切り替える。以上の操作を繰り返し、順に、図５に示した９箇所での測定を終えると、補正値が全て計算されたことになる。
次に、本実施の形態に係る画像圧縮符号化装置におけるビデオ信号の符号化時の動作について説明する。この動作は、視点補正モード信号３２によって視点補正の動作が指示されているとき以外のときに実行される。まず、図６を参照して、ビデオ信号の符号化時における操作者の操作について説明する。ビデオ信号の符号化時、眼球運動測定器が取り付けられた保持部材８を装着した操作者７は、自分自身の視点と、チェンジ用スイッチ１６，中断用スイッチ１７およびサイズ可変用レバー１８を操作する。すなわち、操作者７は、画面５上に現れるマーカ６１を見ながら視点を変えると共に、サイズ可変用レバー１８によって、符号量を多く割り当てる領域である視点位置近傍領域の大きさ（サイズ）を指定する。画面５上には、視点位置を示す視点位置用マーカ６１が表示され、その周囲に、視点位置近傍領域の範囲を示す、例えば矩形の枠状の範囲指定用マーカ６２が表示される。操作者７が視点を動かすと、マーカ６１，６２は、共に視点に追従して画面５上を移動する。また、操作者７がサイズ可変用レバー１８を操作すると、マーカ６２の大きさが変化する。図７Ａ〜図７Ｄに、マーカ６２の大きさが異なる４種類の状態について、マーカ６１，６２の表示例を示す。また、操作者７は、画面５に表示されている映像のシーンが切り替わったときには、チェンジ用スイッチ１６をオンにすることによって、シーンの切り替わりのタイミングを指示する。更に、操作者７は、画面５上に特に重要な部分がない場合等には、中断用スイッチ１７をオンにすることにより、視点位置近傍領域に符号量を多く割り当てることを中断することができる。
ビデオ信号の符号化時には、２分割光検出器２における受光部２Ａ，２Ｂの電流一電圧変換された後の信号が、図２に示した位置検出部２０に順次入力される。位置検出部２０では、減算器４１および加算器４２によって差信号および和信号が生成され、この差信号および和信号は、それぞれＡ／Ｄ変換器４３，４４によってディジタル信号に変換される。また、割算器４５によって、Ａ／Ｄ変換器（１）４３の出力信号はＡ／Ｄ変換器（２）４４の出力信号によって割算される。割算器４５の出力信号は、ＲＡＭ（１）４７と掛算器（１）４９に入力され、Ａ／Ｄ変換器（２）４４の出力信号は、ＲＡＭ（２）４８と掛算器（２）５０に入力される。掛算器（１）４９は、割算器４５の出力信号に、ＲＡＭ（１）４７より出力される補正値を掛けて補正し、掛算器（２）５０は、Ａ／Ｄ変換器（２）４４の出力信号に、ＲＡＭ（２）４８より出力される補正値を掛けて補正する。掛算器４７，４８の各出力信号は、それぞれＲＯＭ５１，５２によって画面上の横方向および縦方向の位置情報に変換され、この位置情報が位置処理部２１とマーカ挿入部２４に送られる。
マーカ挿入部２４は、位置検出部２０からの位置情報とサイズ可変用レバー１８の出力信号から画面上のマーカ６１，６２の位置と大きさを決め、ビデオ信号１０にマーカ表示用の信号を重畳して、モニタ用出力ビデオ信号２５として出力する。このモニタ用出力ビデオ信号２５に基づいて、モニタには、ビデオ信号１０に基づく画面上にマーカ６１，６２が重畳されて表示される。一方、位置処理部２１では、後で詳しく説明するように、視点位置近傍領域の中心位置を決定する処理が行われる。
また、サイズ可変用レバー１８の出力信号は、遅延器２２によって、位置処理部２１における処理時間相当分だけ遅延されてサイズ処理部２３に入力され、このサイズ処理部２３では、視点位置近傍領域のサイズを決定する処理が行われる。なお、サイズ処理部２３では、位置処理部２１の出力データに基づいて、視点位置が一定のときは、サイズ変動の高域分をカットするようになっている。これにより、手の微小な動きによるサイズ変動を抑制することができる。
符号化されるビデオ信号１０は、圧縮部１１によって符号化されて圧縮され、この圧縮部１１の出力データは、遅延器１２によって、位置処理部２１およびサイズ処理部２３における処理時間相当分だけ遅延されて符号量削減部１３に入力される。
また、圧縮部１１の出力データは、相関検出部２６にも入力され、この相関検出部２６によって、現在の画面と前画面との相関が調べられる。ここでは、相関検出部２６は、現在の画面と前画面とで、圧縮部１１においてＤＣＴ変換された係数のうちの低域分の差分を取って、この差分が大きい（低域分の変化が大きい）ときに相関が小さいと判断する。相関検出部２６の出力データは切替処理部２７に入力される。切替処理部２７には、この他に、チェンジ用スイッチ１６の出力信号とスイッチャからの切替信号２８とが入力される。切替処理部２７は、システムコントロール部３０に入力されている切替選択信号３１が操作者のスイッチのモードになっているときには、相関検出部２６の出力データとチェンジ用スイッチ１６の出力信号とに基づいて、シーンの切り替わり目のタイミングを決定する。具体的には、切替処理部２７は、チェンジ用スイッチ１６かオンになった時刻を原点にとって、−１．０〜０秒の間で、前画面と比べてＤＣＴ係数のうちの低減分の変化が大きい（相関が小さい）画面をシーンの切り替わり目の画面として選択する。また、−１．０〜０秒の区間での相関の変化が少ない場合には、−０．３３秒をシーンの切り替わり目とする。
また、切替処理部２７は、システムコントロール部３０に入力されている切替選択信号３１がカメラモードになっているときは、カメラ切替に用いるスイッチャからの切替信号２８の入力のタイミングをシーンの切り替わり目とする。
シーンの切り替わり目を示す切替処理部２７の出力データであるシーン切替信号は、システムコントロール部３０，位置処理部２１，およびサイズ処理部２３に入力される。位置処理部２１は、後で詳しく説明するように、位置検出部２０によって視点位置が所定の位置関係の下で断続的に検出されるときには、各視点位置の検出時点間で視点位置近傍領域が時間的に連続して設定されるように内挿処理を行う。この内挿処理は、シーン単位で行われる。更に、位置処理部２１は、所定の条件下で、一つのシーン内における最初の視点位置の検出時点とシーンの開始時との間で視点位置近傍領域が時間的に連続して設定されるように内挿処理を行うと共に、所定の条件下で、一つのシーン内における最後の視点位置の検出時点とシーンの終了時との間で視点位置近傍領域が時間的に連続して設定されるように内挿処理を行う。サイズ処理部２３も、位置処理部２１と同様の内挿処理を行う。
システムコントロール部３０は、圧縮部１１の出力データによる所定時間当たりの符号量と、規定符号量データ３３によって予め規定されている符号量の規定値とを比較し、圧縮部１１の出力データによる所定時間当たりの符号量が規定値を越えた場合にのみ、符号量削減部１３に対して符号量削減制御信号３５を出力して、符号量削減部１３から出力される所定時間当たりの符号量が規定値を越えないように、符号量削減部１３に対して符号量の削減を行わせる。このとき、システムコントロール部３０は、位置処理部２１の出力データとサイズ処理部２３の出力データとに基づいて視点位置近傍領域を設定し、この視点位置近傍領域以外の領域に割り当てられる符号量が、視点位置近傍領域に割り当てられる符号量よりも少なくなるように、領域に応じて符号量の割り当てを変える。符号量の削減は、ＤＣＴ処理後の係数のうちの高域側から順に、その係数に割り当てられるビット数を順次減らしていくことによって行う。ただし、視点位置近傍領域の境界部が目立つことを避けるため、符号量の削減は、視点位置近傍領域から外側に向かって段階的に行う。例えば、視点位置近傍領域から外側に向かって、ＤＣＴ処理を行う画素ブロック毎に、順次１ビットずつ割り当てビット数を減少させる。このように、必要に応じて符号量の削減が行われて符号量削減部１３より出力される符号データ１４が、画像圧縮符号化装置の出力データとして外部に出力される。この出力データは、例えば通信網へ送信されたり、記録媒体に記録されたりする。
以下、図８ないし図１９の流れ図を参照して、位置処理部２１における位置処理について詳しく説明する。この位置処理は一定の単位時間ｔ毎に行うこととする。単位時間ｔは、例えば５００ｍｓ（１／２秒）とする。位置処理の処理内容は、大きく分けて、視点が固定されている場合に視点位置を特定するためのポイント処理、視点が移動している場合に視点位置の移動ベクトルを求めるベクトル処理、視点位置近傍領域に符号量を多く割り当てることを中断する中断処理の３種類からなる。以下、ポイント処理によって決定される視点位置をポイントＰ（ｉ，p（ｉ））で表し、ベクトル処理によって決定されるベクトルをＶ（ｉ，ｖ（ｉ））で表し、中断処理の状況をＮ（ｉ，ｎ（ｉ））で表す。なお、ｉは、シーンが変わってからの時間を表し、ｉ番目の時間は、シーンが変わってからｉ／２〜（ｉ＋１）／２秒の間の処理を意味する。ｐ（ｉ）、ｖ（ｉ）、ｎ（ｉ）は、それぞれ同一単位時間ｔ内で、いくつ目の処理に当たるかを示す。視点移動時には、後述するように内挿処理が行なわれるので、同一単位時間ｔ内で複数のポイント処理、ベクトル処理が行なわれる。ｐ（ｉ）＝０、ｖ（ｉ）＝０のときは、内挿処理を行っていない実際の視点位置を表し、ｐ（ｉ）≠０、ｖ（ｉ）≠０のときは、内挿処理によるものであることを表す。また、中断処理は内挿処理を施しても、同一単位時間ｔ内では中断処理が行なわれるか行なわれないかのどちらかである。しかし、後述するように中断用スイッチ１７のオンのタイミングで、中断処理を行うか行わないかが分かれるため、中断処理を行わないときおよび中断用スイッチ１７が押されているとき（オンになっているとき）をｎ（ｉ）＝１で表し、中断処理を行なうときをｎ（ｉ）＝０で表す。
図８に示したように、位置処理では、まず、ｐ（ｉ）、ｖ（ｉ）、ｎ（ｉ）を全てクリアし（０とし）（ステップＳ１０１）、同様にｉをクリアする（０とする）（ステップＳ１０２）。次に、ｉ＋ｌを新たにｉとし（ステップＳ１０３）、シーンの切り替わりか否かを判断する（ステップＳ１０４）。シーンの切り替わり情報は切替処理部２７から得ている。シーンが切り替わった場合（Ｙ）には、後述するエンド処理（図１５〜図１９）に移る。シーンが切り替わっていない場合（Ｎ）には、中断用スイッチ１７の状態を確認する（ステップＳ１０５）。中断用スイッチ１７が押されている（オンになっている）場合には、後述する中断用スイッチ処理（図１４）に移る。中断用スイッチ１７が押されていない（オフになっている）場合には、視点移動距離が小さいか大きいかを判断する（ステップＳ１０６）。ここでは、単位時間ｔ内における視点移動距離を求め、この視点移動距離が画面上の画素で２０×２０以内の場合には視点移動距離が小さいと判断し、それ以外の場合には視点移動距離が大きいと判断するものとする。視点移動距離か小さい場合には、視点は固定されているものとして、後述するポイント処理（図９）に移る。視点移動距離が大きい場合には、視点の移動速度が高速か低速かを判断する（ステップＳ１０７）。ここでは、視点の移動速度をフレーム（１／３０秒）間の移動距離に基づいて判断し、単位時間ｔ内において、フレーム間で１００画素以上、縦方向または横方向に移動したときがある場合には、視点の移動速度が高速であると判断し、それ以外の場合には視点の移動速度か低速であると判断するものとする。視点の移動速度が高速の場合には、視点移動中と見なして、単位時間ｔ内における処理を行わず、ステップＳ１０３に戻ってｉを更新する。なお、フレーム間で１００画素以上、縦方向または横方向に移動するような高速の移動物は、画面上では人間の目がついて行けないので、視点位置近傍領域に符号量を多く割り当てる処理を行う必要性はない。視点の移動速度が低速の場合には、後述するベクトル処理（図１１，図１２）に移る。
図９に示したポイント処理では、まず、単位時間ｔ内の視点位置の平均（視点平均位置）を求め、これを単位時間ｔ内における処理によって決定されるポイントＰ（ｉ，ｐ（ｉ））＝（ｍ_i0，ｎ_i0）とする（ステップＳ２０１）。なお、視点平均位置は、例えば、フレーム毎の視点位置を平均して求める。また、ｍ_i0は画面上の横方向の位置、ｎ_iOは画面上の縦方向の位置とする。次に、内挿処理を行うか否かを判断する。連続して同じ点の近傍を見ているときは、内挿処理は不要なので、ここでは、一つ前の単位時間ｔにおける処理によって決定されたポイントとの距離に基づいて、内挿処理を行うか否かを判断する。ポイント間の距離は、横方向，縦方向それぞれの位置の差の２乗を加算した値ＰＤ（ｘ，ｙ）を用いる。なお、ｘ，ｙは、各ポイント決定時のｉを表している。ＰＤ（ｘ，ｙ）は、以下の式で表される。
ＰＤ（ｘ，ｙ）＝（ｍ_x0−ｍ_y0）²＋（ｎ_x0−ｎ_y0）²
具体的には、まず、変数ｊ＝１とし（ステップＳ２０２）、次に、ＰＤ（ｉ，ｉ−ｊ）が、一定距離ＰＤ_refより小さいか否かを判断する（ステップＳ２０３）。ここで、ＰＤ_refは１８００とする。ＰＤ（ｉ，ｉ−ｊ）がＰＤ_refより小さい場合（Ｙ）には、連続して同じ点の近傍を見ていると見なして、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。一方、ＰＤ（ｉ，ｉ−ｊ）がＰＤ_ref以上の場合（Ｎ）には、現処理時のポイント近傍に以前に見ていた場所があるか否かを判断する。これは、一定時間ＴＤ_max（ここでは、５秒とする。）内に、以前のポイント処理によって決定されたポイントまたは以前のベクトル処理によって決定されたベクトルの終点位置があるか否かを判断して行う。なお、ベクトル処理では、ベクトルＶ（ｉ，ｖ（ｉ））を始点と終点で表し、内挿処理ではないｖ（ｉ）＝０のとき、ベクトルＶ（ｉ，ｖ（ｉ））は次式で表される。なお、始点の位置を（ｍｓ_i0，ｎｓ_i0）、終点の位置を（ｍｅ_i0，ｎｅ_i0）とする。
Ｖ（ｉ，ｖ（ｉ））＝（ｍｓ_i0，ｎｓ_i0，ｍｅ_i0，ｎｅ_i0）
現処理時のポイント近傍に以前に見ていた場所があるか否かの判断は、具体的には、以下のようにして行う。すなわち、まず、ｊ＋１を新たにｊとし（ステップＳ２０４）、ｔ_i−ｔ_i-jがＴＤ_maxを越えるかまたはｉ＝ｊか、それ以外かを判断する（ステップＳ２０５）。それ以外である場合、すなわちｔ_i−ｔ_i-jがＴＤ_max以内であり、且つｉ＝ｊではない場合（Ｎ）は、ＰＤ（ｉ，ｉ−Ｊ）が一定距離ＰＤ_refよりも小さいかまたは現処理時のポイントと以前のベクトル処理によって決定されたベクトルの終点との距離ＶＥＤ（ｉ，ｉ−ｊ）が一定距離ＰＤ_refよりも小さいか、それ以外かを判断する（ステップＳ２０６）。なお、ＶＥＤ（ｘ，ｙ）は、以下の式で表される。
ＶＥＤ（ｘ，ｙ）＝（ｍ_x0−ｍｅ_y0）²＋（ｎ_x0−ｎｅ_y0）²
ＰＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さいかまたはＶＥＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さい場合（ステップＳ２０６；Ｙ）は、ポイントの内挿処理（図１０）を行う。ＰＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さいかまたはＶＥＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さい場合以外の場合（ステップＳ２０６；Ｎ）は、Ｎ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ２０７）。Ｎ（ｉ−ｊ，０）があれば（Ｙ）、中断処理がなされていることになるので、それ以前の部分とは切り離される。すなわち、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。Ｎ（ｉ−ｉ，０）がなければ（Ｎ）、ステップＳ２０４に戻る。
このように、現処理時のポイント近傍に以前に見ていた場所がある場合には、内挿処理が行われ、現処理時のポイント近傍には、時間的に連続して視点位置近傍領域が設定され、必要に応じて、視点位置近傍領域に符号量を多く割り当てる処理が行われることになる。これにより、例えば、操作者が画面内の複数の場所を順次、視点を変えて繰り返し注視した場合に、注視した複数の場所の近傍にそれぞれ、時間的に連続して視点位置近傍領域が設定されることになる。
一定時間ＴＤ_max内またはシーンの開始時までの間に、現処理時のポイント近傍に以前に見ていた場所が見つからなかった場合（ステップＳ２０５；Ｙ）には、シーンが切り替わってからの時間ｉが規定時間ＴＳ以内か否かを判断する（ステップＳ２０８）。シーンが切り替わってからの時間ｉが規定時間ＴＳを越えている場合（Ｎ）は、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。シーンが切り替わってからの時間ｉが規定時間ＴＳ以内の場合（ステップＳ２０８；Ｙ）は、処理用に、ｉ＝１におけるポイントＰ（１，ｐ（ｌ））の位置を、現処理時におけるポイントの位置（ｍ_i0，ｎ_i0）と同じにして（ステップＳ２０９）、ポイントの内挿処理（図１０）へ移り、シーンの開始時から現処理時までの間、ポイントの内挿処理を行う。
図１０は、ポイントの内挿処理を示したものである。このポイントの内挿処理では、まず、変数ｋ＝０とし（ステップＳ３０１）、次に、ｋ＋１を新たにｋとし（ステップＳ３０２）、次に、ｋ＝ｊか否かを判断する（ステップＳ３０３）。ｋ＝ｊではない場合（Ｎ）には、ｐ（ｉ−ｋ）＋ｌを新たにｐ（ｉ−ｋ）とする（ステップＳ３０４）。すなわち、処理回数を１インクリメントする。次に、ｉ−ｊ＝０か否かを判断する（ステップＳ３０５）。ｉ−ｊ＝０の場合（Ｙ）は、シーンの開始時から現処理時までの間、現処理時におけるポイントを埋めていく。すなわち、ポイントの内挿値Ｐ（ｉ−ｋ，ｐ（ｉ−ｋ））を、現処理時におけるポイントの位置（ｍ_i0，ｎ_i0）を同じにして、この内挿値を加え（ステップＳ３０６）、ステップＳ３０２に戻る。ｉ−ｊ＝０ではない場合（ステップＳ３０５；Ｎ）は、Ｐ（ｉ，０）およびＰ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ３０７）。ｐ（ｉ，０）およびＰ（ｉ−ｊ，０）がある場合（Ｙ）、すなわち現処理時におけるポイントと以前（ｉ−ｊ）の処理時におけるポイントとの間で内挿処理を行う場合は、２つのポイントは非常に近い位置関係にあるので、ポイントの内挿値Ｐ（ｉ−ｋ，ｐ（ｉ−ｋ））を、２点間の中心値（（ｍ_i0＋ｍ_(i-j)0）／２，（ｎ_i0＋ｎ_(i-l)0）／２）として、この内挿値を加え（ステップＳ３０８）、ステップＳ３０２に戻る。Ｐ（ｉ，０）およびＰ（ｉ−ｊ，０）がある場合以外の場合（ステップＳ３０７；Ｎ）は、Ｐ（ｉ，０）およびＶ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ３０９）。Ｐ（ｉ，０）およびＶ（ｉ−ｊ，０）がある場合（Ｙ）、すなわち現処理時におけるポイントと以前（ｉ−ｊ）の処理時におけるベクトルの終点との間で内挿処理を行う場合は、２点は非常に近い位置関係にあるので、ポイントの内挿値Ｐ（ｉ−ｋ，ｐ（ｉ−ｋ））を、２点間の中心値（（ｍ_i0＋ｍｅ_(i-j)0）／２，（ｎ_i0＋ｎｅ_(i-j)0）／２）として、この内挿値を加え（ステップＳ３１０）、ステップＳ３０２に戻る。Ｐ（ｉ，０）およびＶ（ｉ−ｊ，０）がある場合以外の場合（ステップＳ３０９；Ｎ）は、現処理時におけるベクトルの始点と以前（ｉ−ｊ）の処理時におけるポイントとの間での内挿処理となる。この場合も、２点は非常に近い位置関係にあるので、ポイントの内挿値Ｐ（ｉ−ｋ，Ｐ（ｉ−ｋ））を、２点間の中心値（（ｍｓ_i0＋ｍ_(i-j)0）／２，（ｎｓ_i0＋ｎ_(i-j)0）／２）として、この内挿値を加え（ステップＳ３１１）、ステップＳ３０２に戻る。ｋ＝ｊとなったら（ステップＳ３０３；Ｙ）、ポイントの内挿処理を終了し、ステップＳ１０３（図８）に戻る。
図１１および図１２は、ベクトル処理を示したものである。まず、単位時間ｔ内の視点位置ベクトルの平均（平均視点移動ベクトル）を求め、これを単位時間ｔ内における処理によって決定されるベクトルＶ（ｉ，ｖ（ｉ））とする（ステップＳ４０１）。平均視点移動ベクトルは、例えば、単位時間ｔ内における各フレーム間での視点移動のベクトルの平均を求め、この平均のベクトルを、この平均のベクトルの中心を基準にして１５倍することによって求められる。次に、ポイント処理の場合と同様に、内挿処理を行うか否かを判断する。すなわち、視点が、同じものを追って連続的に移動しているときには、内挿処理は不要なので、ここでは、現処理時におけるベクトルの始点と一つ前の処理によって決定されたベクトルの終点との距離に基づいて、内挿処理を行うか否かを判断する。現処理時におけるベクトルの始点と一つ前の処理によって決定されたベクトルの終点との距離は、横方向，縦方向それぞれの位置の差の２乗を加算した値ＶＤ（ｘ，ｙ）を用いる。なお、ｘ，ｙは、各ベクトル決定時のｉを表している。ＶＤ（ｘ，ｙ）は、以下の式で表される。
ＶＤ（ｘ、ｙ）＝（ｍｓ_x0−ｍｅ_y0）²＋（ｎｓ_x0−ｎｅ_y0）²
具体的には、まず、変数ｊ＝ｌとし（ステップＳ４０２）、次に、ＶＤ（ｉ，ｉ−ｊ）が、一定距離ＶＤ_refより小さいか否かを判断する（ステップＳ４０３）。ここで、ＶＤ_refは、ＰＤ_refと同様に、１８００とする。ＶＤ（ｉ，ｉ−ｊ）がＶＤ_refより小さい場合（Ｙ）には、ベクトルが連続していると見なして、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。一方、ＶＤ（ｉ，ｉ−ｊ）がＶＤ_ref以上の場合（Ｎ）には、ｊ＋１を新たにｊとし（ステップＳ４０４）、ｔ_i−ｔ_i-jがＴＤ_maxを越えるかまたはｉ＝ｊか、それ以外かを判断する（ステップＳ４０５）。それ以外である場合、すなわちｔ_i−ｔ_i-jがＴＤ_max内であり、且つｉ＝ｊではない場合（Ｎ）は、現処理時のベクトルと、以前のベクトル処理によって決定されたベクトルまたは以前のポイント処理によって決定されたポイントとの連続性を判断する。
具体的には、まず、図１２に示したように、Ｖ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ４０７）。Ｖ（ｉ−ｊ，０）がある場合（Ｙ）は、現処理時のベクトルと以前のベクトル処理によって決定されたベクトルとの連続性を判断する。ベクトル処理の場合は、以前のベクトルから予測した現処理時のベクトルの始点と現処理時の実際のベクトルの始点との差、または、現処理時のベクトルから予測した以前のベクトルの始点と以前の実際のベクトルの始点との差によってベクトルの連続性を判断する。ここでは、現処理時のベクトルから予測した以前のベクトルの始点と以前の実際のベクトルの始点との差によってベクトルの連続性を判断することとする。この場合、現処理時のベクトルから予測した以前のベクトルの始点（以下、ベクトル始点予測値と言う。）ｍｃ_ij，ｎｃ_ijは、現処理時のベクトルを、そのまま時間差分戻すことによって求めることができ、以下の式で表される。
ｍｃ_xy＝ｍｓ_x0−（ｘ−ｙ）×（ｍｅ_x0−ｍｓ_x0）
ｎｃ_xy＝ｎｓ_x0−（ｘ−ｙ）×（ｎｅ_x0−ｎｓ_x0）
このベクトル始点予測値ｍｃ_xy，ｎｃ_xyと以前の実際のベクトルの始点との距離を表すＶＣＤ（ｘ，ｙ）は、以下の式で表される。
ＶＣＤ（ｘ，ｙ）＝（ｍｃ_xy−ｍｓ_y0）²＋（ｎｃ_xy−ｎｓ_y0）²
従って、Ｖ（ｉ−ｊ，０）がある場合（ステップＳ４０７；Ｙ）は、ＶＣＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さいか否かを判断する（ステップＳ４０８）。ＶＣＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さい場合（Ｙ）は、ベクトルの内挿処理（図１３）を行う。Ｖ（ｉ−ｊ，０）がない場合（ステップＳ４０７；Ｎ）またはＶＣＤ（ｉ，ｉ−ｊ）がＰＤ_ref以上の場合（ステップＳ４０８；Ｎ）は、Ｐ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ４０９）。Ｐ（ｉ−ｊ，０）がある場合（Ｙ）は、現処理時のベクトルと以前のポイント処理によって決定されたポイントとの連続性を判断する。
ここで、現処理時のベクトルの始点と以前のポイントとの距離ＶＳＤ（ｘ，ｙ）と、ベクトル始点予測値ｍｃ_xy，ｎｃ_xyと以前のポイントとの距離を表すＶＳＣＤ（ｘ，ｙ）を、以下の式のように定義する。
ＶＳＣＤ（ｘ，ｙ）＝（ｍｓ_xy−ｍ_y0）²＋（ｎｓ_xy−ｎ_y0）²
ＶＳＤ（ｘ，ｙ）＝（ｍｃ_x0−ｍ_y0）²＋（ｎｃ_x0−ｎ_y0）²
Ｐ（ｉ−ｊ，０）がある場合（ステップＳ４０９；Ｙ）は、まず、ＶＳＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さいか否かを判断する（ステップＳ４１０）。ＶＳＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さい場合（Ｙ）は、ポイントの内挿処理（図１０）を行う。ＶＳＤ（ｉ，ｉ−ｊ）がＰＤ_ref以上の場合（Ｎ）は、ＶＳＣＤ（ｉ，ｉ−ｊ）かＰＤ_refよりも小さいか否かを判断する（ステップＳ４１１）。ＶＳＣＤ（ｉ，ｉ−ｊ）がＰＤ_refよりも小さい場合（Ｙ）は、ベクトルの内挿処理（図１３）を行う。
Ｐ（ｉ−ｊ，０）がない場合（ステップＳ４０９；Ｎ）またはＶＳＣＤ（ｉ，ｉ−ｊ）がＰＤ_ref以上の場合（ステップＳ４１１；Ｎ）は、Ｎ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ４１２）。Ｎ（ｉ−ｊ，０）があれば（Ｙ）、中断処理がなされていることになるので、それ以前の部分とは切り離される。すなわち、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。Ｎ（ｉ−ｊ，０）がなければ（Ｎ）、ステップＳ４０４（図１１）に戻る。
このように、現処理時のベクトルと、以前のベクトル処理によって決定されたベクトルまたは以前のポイント処理によって決定されたポイントとの問に連続性がある場合には、内挿処理が行われて時間的に連続して視点位置近傍領域が設定されることになる。これにより、例えば、操作者が画面内で移動する対象と他の対象（停止したものでも移動するものでも良い。）とを交互に注視した場合に、注視した複数の対象に対してそれぞれ、時間的に連続して視点位置近傍領域が設定されることになる。
ポイント処理と同様に、内挿処理が行なわれない場合（ステップＳ４０５；Ｙ）には、シーンが切り替わってからの時間ｉが規定時間ＴＳ以内か否かを判断する（図１１ステップＳ４０６）。シーンが切り替わってからの時間ｉが規定時間ＴＳを越えている場合（Ｎ）は、内挿処理を行わず、ステップＳ１０３（図８）に戻って、次の単位時間ｔにおける処理に移るためｉを更新する。シーンが切り替わってからの時間ｉが規定時間ＴＳ以内の場合（ステップＳ４０６；Ｙ）は、ベクトルの内挿処理（図１３）へ移り、シーンの開始時から現処理時までの間、ベクトルの内挿処理を行う。
図１３は、ベクトルの内挿処理を示したものである。このベクトルの内挿処理では、まず、変数ｋ＝０とし（ステップＳ５０１）、次に、ｋ＋１を新たにｋとし（ステップＳ５０２）、次に、ｋ＝ｊか否かを判断する（ステップＳ５０３）。ｋ＝ｊではない場合（Ｎ）には、ｖ（ｉ−ｋ）＋１を新たにｖ（ｉ−ｋ）とする（ステップＳ５０４）。すなわち、処理回数を１インクリメントする。次に、ｉ−ｊ＝０か、否かを判断する（ステップＳ５０５）。ｉ−ｊ＝０の場合（Ｙ）は、シーンの開始時から現処理時までの間、ベクトルの内挿値を加えて現処理時における視点に至るベクトルを埋めていき（ステップＳ５０６）、ステップＳ５０２に戻る。ベクトルの内挿値は、現処理時のベクトルを延長したものになる。よって、時間的に遡るに従って、順番に、あるベクトルの始点を一つ前のベクトルの終点に置き換えて一つ前のベクトルの終点を作成すると共に、作成した終点から現処理時のベクトルの終点と始点との差分だけ遡って、一つ前のベクトルの始点を作成していくようにすれぱ良い。ベクトルの内挿値Ｖ（ｉ−ｋ，ｖ（ｉ−ｋ））は、具体的には、以下の式で表される。
Ｖ（ｉ−ｋ，ｖ（ｉ−ｋ））
＝（ｍｓ０_i-k，ｎｓ０_i-k，ｍｅ０_i-k，ｍｅ０_i-k）
ただし、
ｍｓ０_i-k＝ｍｓ_{i-k+1 v(i-k+1)}−（ｍｓ_i0−ｍｅ_i0）
ｎｓ０_i-k＝ｎｓ_{i-k+1 v(i-k+1)}−（ｎｓ_i0−ｎｅ_i0）
ｍｅ０_i-k＝ｍｓ_{i-k+1 v(i-k+1)}
ｎｅ０_i-k＝ｎｓ_{i-k+1 v(i-k+1)}
である。
ｉ−ｊ＝０ではない場合（ステップＳ５０５；Ｎ）は、Ｖ（ｉ−．ｊ，０）があるか否かを判断する（ステップＳ５０７）。Ｖ（１−ｊ，０）がある場合（Ｙ）、すなわち現処理時のベクトルと以前（ｉ−ｊ）の処理時のベクトルとの問で内挿処理を行う場合は、現処理時のベクトルの始点と、以前のベクトルの終点とを結び、その間をかかった単位時間毎に分けて、各ベクトルの内挿値を求め、このベクトルの内挿値を加えて（ステップＳ５０８）、ステップＳ５０２に戻る。ベクトルの内挿値Ｖ（ｉ−ｋ，ｖ（ｉ−ｋ））は、具体的には、以下の式で表される。
Ｖ（ｉ−ｋ，ｖ（ｉ−ｋ））
＝（ｍｓｖ_i-k，ｎｓｖ_i-k，ｍｅｖ_i-k，ｎｅｖ_i-k）
ただし、
ｍｓｖ_i-k
＝ｍｓ_{i-k+1 v(i-k+1)}−（ｍｓ_i0−ｍｅ_i-j0）／（ｊ−１）
ｎｓｖ_i-k
＝ｎｓ_{i-k+1 v(i-k+1)}−（ｎｓ_i0−ｎｅ_i-j0）／（ｊ−１）
ｍｅｖ_i-k＝ｍｓ_{i-k+1 v(i-k+1)}
ｎｅｖ_i-k＝ｎｓ_{i-k+1 v(i-k+1)}
である。
Ｖ−（ｉ−ｊ，０）がない場合（ステップＳ５０７；Ｎ）は、すなわち現処理時のベクトルと以前（ｉ−ｊ）の処理時のポイントとの間で内挿処理を行う場合は、現処理時のベクトルの始点と、以前のポイントとを結び、その間をかかった単位時間毎に分けて、各ベクトルの内挿値を求め、このベクトルの内挿値を加えて（ステップ５０９）、ステップＳ５０２に戻る。ベクトルの内挿値V（ｉ−ｋ，ｖ（ｉ−ｋ））は、具体的には、以下の式で表される。
Ｖ（ｉ−ｋ，ｖ（ｉ−ｋ））
＝（ｍｓｐ_i-k，ｎｓｐ_i-k，ｍｅｐ_i-k，ｎｅｐ_i-k）
ただし、
ｍｓｐ_i-k
＝ｍｓ_{i-k+1 v(i-k+1)}−（ｍｓ_i0−ｍ_i-j0）／（ｊ−１）
ｎｓｐ_i-k
＝ｎｓ_{i-k+1 v(i-k+1)}−（ｎｓ_i0−ｎ_i-j0）／（ｊ−１）
ｍｅｐ_i-k＝ｍｓ_{i-k+1 v(i-k+1)}
ｎｅｐ_i-k＝ｎｓ_{i-k+1 v(i-k+1)}
である。
ｋ＝ｊとなったら（ステップＳ５０３；Ｙ）、ベクトルの内挿処理を終了し、ステップＳ１０３（図８）に戻る。
図１４は、中断用スイッチ処理を示したものである。この中断用スイッチ処理では、中断処理の内挿処理を行う。この内挿処理は、中断用スイッチ１７のオン状態がシーン切替時から続いているときに、シーン切替後一定時間以内にオフにされた場合に、シーン切替後はオフ状態と見なす処理と、中断用スイッチ１７のオフ状態がシーン切替時から続いているときに、シーン切替後一定時間以内にオンにされた場合に、シーン切替時からオン状態と見なす処理の２種類である。中断用スイッチ処理では、まず、シーンが切り替わってからの時間ｉと規定時間ＴＳとを比較する（ステップＳ６０１）。ｉが規定時間ＴＳより小さいときは、ｎ（ｉ）＝１、すなわちＮ（ｉ，１）として（ステップＳ６０２）、ステップＳ１０６（図８）に戻る。なお、中断用スイッチ１７が押されておらず、且つ内挿処理されないときは、ｎ（ｉ）＝ｌのままで、中断処理は行われない。ステップＳ６０２の処理により、中断用スイッチ１７のオン状態がシーン切替時から続いているときに、シーン切替後規定時間ＴＳ以内にオフにされた場合には、シーン切替後はオフ状態と見なされ、シーン切替後から中断処理は行われない。
ステップＳ６０１において、ｉが規定時間ＴＳと等しいときは、ｎ（ｉ）＝０、すなわちＮ（ｉ，０）とし（ステップＳ６０３）、中断処理を行うようにして、内挿処理に移る。この内挿処理では、まず、前回の処理時における中断処理の状況を確認し、ｎ（ｉ−１）＝０、すなわちＮ（ｉ−ｌ，０）があるか否かを判断する（ステップＳ６０４）。Ｎ（ｉ−１，０）がある場合（Ｙ）には、そのまま中断処理を続行するようにしてステップＳｌ ０６（図８）に戻る。Ｎ（ｉ−ｌ，０）がない場合（Ｎ）には、まず、ｊ＝０とし（ステップＳ６０５）、次に、ｊ＋ｌを新たにｊとし（ステップＳ６０６）、Ｎ（ｉ−ｊ，１）があるか否かを判断する（ステップＳ６，０７）。Ｎ（ｉ−ｊ，１）がある場合（Ｙ）には、Ｎ（ｉ−ｊ，０）に変更、すなわち中断処理を内挿する（ステップＳ６０８）。次に、ｉ＝ｊか否かを判断し（ステップＳ６０９）、ｉ＝ｊてなければ（Ｎ）、ステップＳ６０６に戻る。Ｎ（ｉ−ｊ，１）がない場合（ステップＳ６０７；Ｎ）およびｉ＝ｊの場合（ステップＳ６０９；Ｙ）は、ステップＳ１０６（図８）に戻る。このような処理により、中断用スイッチ１７のオフ状態がシーン切替時から続いているときに、シーン切替後規定時間ＴＳ以内にオンにされた場合には、シーン切替時からオン状態と見なされ、シーン切替時から中断処理が行われる。
ステップＳ６０１において、ｉが規定時間ＴＳより大きいときは、Ｎ（ｉ，０）とし（スナッブＳ６１０）、中断処理を行うようにして、ステップＳｌ０６（図８）に戻る。
図１５ないし図１９は、エンド処理を示したものである。このエンド処理では、シーンの切り替わり目を示す切替処理部２７からのシーン切替信号が入力されると、シーンの終了時から所定のエンド処理時間ＴＥ前までに、内挿処理によって内挿されたポイントまたはベクトルがある場合には、シーンの切り替わり目まで内挿処理が行われる。ここでは、エンド処理時間ＴＥを５秒とする。
このエンド処理では、まず、ｊ＝０とし（ステップＳ７０１）、次に、ｊ＋１を新たにｊとし（ステップＳ７０２）、次に、ｉ−ｊがＴＥよりも大きいか否かを判断する（ステップＳ７０３）。ｉ−ｊがＴＥよりも大きくない場合（Ｎ）は、Ｎ（ｉ−ｊ，０）があるか否かを判断する（ステップＳ７０４）。Ｎ（ｉ−１，０）がない場合（Ｎ）には、ステップＳ７０２に戻る。Ｎ（ｉ−１，０）がある場合（Ｙ）にはステップＳ７０５に進み、内挿処理はｊ以降について行われる。ｉ−ｊがＴＥよりも大きい場合（ステップＳ７０３；Ｙ）もステップＳ７０５に進む。
ステップＳ７０５以降では、まず、エンド処理時間内で内挿したポイントを検索する。具体的には、ステップＳ７０５で、変数ｋ＝０とし、次に、ｋ＋１を新たにｋとし（ステップＳ７０６）、次に、ｋ＝ｊか否かを判断する（ステップＳ７０７）。ｋ＝ｊではない場合（Ｎ）には、変数ｑを、ｑ＝ｐ（ｉ−ｋ−１）とし（ステップＳ７０８）、Ｐ（ｉ−ｋ−１，ｑ）、すなわち内挿したポイントがあるか否かを判断する（ステップＳ７０９）。内挿したポイントＰ（ｉ−ｋ−１，ｑ）がなければ（Ｎ）、ｑ−１を新たにｑとし（ステップＳ７１０）、ｑ＝０か否かを判断し（ステップＳ７１１）、ｑ＝０てなければ（Ｎ）、ステップＳ７０９に戻り、ｑ＝０であれば（Ｙ）、ステップＳ７０６に戻る。内挿したポイントＰ（ｉ−ｋ−１，ｑ）があれば（ステップＳ７０９；Ｙ）、図１７に示す処理に進む。内挿したポイントＰ（ｉ−ｋ−１，０）が見つからず、ｋ＝ｊとなった場合（ステップＳ７０７；Ｙ）は、図１６に示す内挿したベクトルの検索処理に進む。
図１６に示した処理では、エンド処理時間内で内挿したベクトルを検索する。具体的には、ステップＳ７１２で、変数ｋ＝０とし、次に、ｋ＋１を新たにｋとし（ステップＳ７１３）、次に、ｋ＝ｊか否かを判断する（ステップＳ７１４）。ｋ＝ｊではない場合（Ｎ）には、変数ｑを、ｑ＝ｖ（ｉ−ｋ−１）とし（ステップＳ７１５）、Ｖ（ｉ−ｋ−１，ｑ）、すなわち内挿したベクトルがあるか否かを判断する（ステップＳ７１６）。内挿したベクトルＶ（ｉ−ｋ−１，ｑ）がなければ（Ｎ）、ｑ−ｌを新たにｑとし（ステップＳ７１７）、ｑ＝０か否かを判断し（スナップＳ７１８）、ｑ＝０てなければ（Ｎ）、ステップＳ７１６に戻り、ｑ＝０であれば（Ｙ）、ステップＳ７１３に戻る。内挿したポイントＶ（ｉ−ｋ−１，ｑ）があれば（ステップＳ７１６；Ｙ）、図１８に示す処理に進む。内挿したベクトルＶ（ｉ−ｋ−１，ｑ）が見つからず、ｋ＝ｊとなった場合（ステップＳ７１４；Ｙ）は、符号化を終了するか否かを判断し（ステップＳ７１９）、符号化を終了する場合（Ｙ）には位置処理部２１における位置処理を終了し、符号化を終了しない場合（Ｎ）には、次のシーンにおける位置処理のため、ステップＳ１０１（図８）に戻り、ｐ（ｉ）、ｖ（ｉ）、ｎ（ｉ）およびｉをクリアする。
図１７に示した処理では、まず、図１５に示した処理で検索されたポイントＰ（ｉ−ｋ−ｌ，ｑ）の次の単位時間において入力されている内挿していないポイントＰ（ｉ−ｋ，０）があるか否かを判断する（ステップＳ８０１）。そのポイントＰ（ｉ−ｋ，０）があれば（Ｙ）、そのポイントと検索されたポイントＰ（ｉ−ｋ−１，ｑ）との距離ＰＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さいか否かを判断する（ステップＳ８０２）。なお、ＰＤＮは、以下の式で表される。
ＰＤＮ（ｘ，ｙ，ｚ，ａ）
＝（ｍ_xz−ｍ_yz）²＋（ｎ_xa−ｎ_ya）²
ＰＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さい場合（ステップＳ８０２；Ｙ）は、内挿したポイントＰ（ｉ−ｋ−１，ｑ）は、内挿していないポイントＰ（ｉ−ｋ，０）を用いた内挿処理によって内挿されたポイントであることが分かる。この場合には、ステップＳ８０３以降の処理によって、Ｐ（ｉ−ｋ，０）のポイントをシーンの切り替わり目まで内挿する。具体的には、変数ｒ＝０とし（ステップＳ８０３）、次にｒ＋１を新たにｒとし（ステップＳ８０４）、ｒ＝ｋか否かを判断する（ステップＳ８０５）。ｒ＝ｋでなければ（Ｎ）、ｐ（ｉ−ｒ）＋１を新たにｐ（ｉ−ｒ）とし（ステップＳ８０６）、すなわち、処理回数をｌインクリメントし、ポイントの内挿値Ｐ（ｉ−ｒ，ｐ（ｉ−ｒ））を、ポイントＰ（ｉ−ｋ，０）と同じ値（ｍ_i-k0，ｎ_i-k0）とし、この内挿値を加えて（ステップＳ８０７）、ステップＳ８０４に戻る。ステップＳ８０４〜Ｓ８０７の処理を、ｒ＝ｋとなるまで繰り返すことにより、内挿していないポイントＰ（ｉ−ｋ，０）の次の単位時間からシーンの切り替わり目まで、Ｐ（ｉ−ｋ，０）のポイントが内挿される。ｒ＝ｋとなったら（ステップＳ８０５；Ｙ）は、ステップＳ７０６（図１５）に戻る。
検索されたポイントＰ（ｉ−ｋ−ｌ，ｑ）の次の単位時間において入力されている内挿していないポイントＰ（ｉ−ｋ，０）がない場合（ステップＳ８０１；Ｎ）すなわち次の単位時間において入力されているのがベクトル、または内挿値のみの場合、およびＰＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さくない場合（ステップＳ８０２；Ｎ）は、内挿処理を行わずにステップＳ７０６（図１５）に戻る。
図１８に示した処理では、まず、図１６に示した処理で検索されたベクトルＶ（ｉ−ｋ−ｌ，ｑ）の次の単位時間において入力されている内挿していないポイントＰ（ｉ−ｋ，０）があるか否かを判断する（ステップＳ９０１）。そのポイントＰ（ｉ−ｋ，０）があれば（Ｙ）、そのポイントと検索されたベクトルＶ（ｉ−ｋ−ｌ，ｑ）の終点との距離ＶＥＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refのｌ／２よりも小さいか否かを判断する（ステップＳ９０２）。なお、ＶＥＤＮは、以下の式で表される。
ＶＥＤＮ（ｘ，ｙ，ｚ，ａ）
＝（ｍ_xz−ｍｅ_yz）²＋（ｎ_xa−ｎｅ_ya）²
ＶＥＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refのｌ／２よりも小さい場合（ステップＳ９０２；Ｙ）は、内挿したベクトルＶ（ｉ−ｋ−１，ｑ）は、内挿していないポイントＰ（ｉ−ｋ，０）を用いた内挿処理によって内挿されたベクトルであることが分かる。
この場合には、ステップＳ９０３以降の処理によって、ｐ（ｉ−ｋ，０）のポイントをシーンの切り替わり目まで内挿する。具体的には、変数ｒ＝０とし（ステップＳ９０３）、次にｒ＋１を新たにｒとし（ステップＳ９０４）、ｒ＝ｋか否かを判断する（ステップＳ９０５）。ｒ＝ｋでなければ（Ｎ）、Ｐ（ｉ−ｒ）＋１を新たにｐ（ｉ−ｒ）とし（ステップＳ９０６）、すなわち、処理回数を１インクリメントし、ポイントの内挿値Ｐ（ｉ−ｒ，ｐ（ｉ−ｒ））を、ポイントＰ（ｉ−ｋ，０）と同じ値（ｍ_i-k0，ｎ_i-k0）とし、この内挿値を加えて（ステップＳ９０７）、ステップＳ９０４に戻る。ステップＳ９０４〜Ｓ９０７の処理を、ｒ＝ｋとなるまで繰り返すことにより、内挿していないポイントＰ（ｉ−ｋ，０）の次の単位時間からシーンの切り替わり目まで、Ｐ（ｉ−ｋ，０）のポイントが内挿される。ｒ＝ｋとなったら（ステップＳ９０５；Ｙ）は（ステップＳ７１３（図１６）に戻る。
検索されたベクトルＶ（ｉ−ｋ−１，ｑ）の次の単位時間において入力されている内挿していないポイントＰ（ｉ−ｋ，０）がない場合（ステップＳ９０１；Ｎ）は、図１９に示す処理に進む。また、ＶＥＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さくない場合（ステップＳ９０２；Ｎ）は、内挿処理を行わずにステップＳ７１３（図１６）に戻る。
図１９に示した処理では、まず、図１６に示した処理で検索されたベクトルＶ（ｉ−ｋ−１，ｑ）の次の単位時間において入力されている内挿していないベクトルＶ（ｉ−ｋ，０）があるか否かを判断する（ステップＳ９０８）。そのベクトルＶ（ｉ−ｋ，０）があれば（Ｙ）、そのベクトルの始点と検索されたベクトルＶ（ｉ−ｋ−１，ｑ）の終点との距離ＶＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さいか否かを判断する（ステップＳ９０９）。なお、ＶＤＮは、以下の式で表される。
ＶＤＮ（ｘ，ｙ，ｚ，ａ）
＝（ｍｓ_xz−ｍｅ_yz）²＋（ｎｓ_xa−ｎｅ_ya）²
ＶＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さい場合（ステップＳ９０９；Ｙ）は、内挿したベクトルＶ（ｉ−ｋ−１，ｑ）は、内挿していないベクトルＶ（ｉ−ｋ，０）を用いた内挿処理によって内挿されたベクトルであることが分かる。この場合には、ステップＳ９１０以降の処理によって、シーンの切り替わり目までベクトルの内挿を行う。具体的には、変数ｒ＝ｋとし（ステップＳ９１０）、次にｒ−１を新たにｒとし（ステップＳ９１１）、ｒ＝０か否かを判断する（ステップＳ９１２）。ｒ＝０でなければ（Ｎ）、ｐ（ｉ−ｒ）＋１を新たにｐ（ｉ−ｒ）とし（ステップＳ９１３）、すなわち、処理回数を１インクリメントし、ベクトルの内挿値Ｖ（ｉ−ｒ，ｖ（ｉ−ｒ））を求め、このベクトルの内挿値を加えて（ステップＳ９１４）、ステップＳ９１１に戻る。ベクトルの内挿値Ｖ（ｉ−ｒ，ｖ（ｉ−ｒ））は、具体的には、以下の式で表される。
Ｖ（ｉ−ｒ，ｖ（ｉ−ｒ））
＝（ｍｓｋ_i-r，ｎｓｋ_i-r，ｍｅｋ_i-r，ｎｅｋ_i-r）
ただし、
ｍｓｋ_i-r＝ｍｓ_{i-r+1 v(i-r+1)}−（ｍｓ_i-k0−ｍ_i-k0）
ｎｓｋ_i-r＝ｎｓ_{i-r+1 v(i-r+1)}−（ｎｓ_i-k0−ｎ_i-k0）
ｍｅｋ_i-r＝ｍｓ_{i-r+1 v(i-r+1)}
ｎｅｋ_i-r＝ｎｓ_{i-r+1 v(i-r+1)}
である。
ステップＳ９１１〜Ｓ９１４の処理を、ｒ＝０となるまで繰り返すことにより、内挿していないベクトルＶ（ｉ−ｋ，０）の次の単位時間からシーンの切り替わり目まで、ベクトルの内挿が行われる。ｒ＝０となったら（ステップＳ９１２；Ｙ）は、ステップＳ７１３（図１６）に戻る。
検索されたベクトルＶ（ｉ−ｋ−１，ｑ）の次の単位時間において入力されている内挿していないベクトルＶ（ｉ−ｋ，０）がない場合（スナッブＳ９０８；Ｎ）すなわち次の単位時間において入力されているのが内挿値のみの場合、およびＶＤＮ（ｉ−ｋ，０，ｉ−ｋ−１，ｑ）がＰＤ_refの１／２よりも小さくない場合（ステップＳ９０９；Ｎ）は、内挿処理を行わずにステップＳ７１３（図１６）に戻る。
以上、図８ないし図１９を参照して説明した処理によって決定された各単位時間毎のポイントの値およびベクトルの値は、フレーム毎のポイント値に変換され、このフレーム毎のポイント値が、視点位置近傍領域の中心位置となる。なお、単位時間におけるポイントの値は、そのままフレーム毎のポイント値となる。一方、単位時間におけるベクトルの値をフレーム毎のポイント値に変換するには、単位時間におけるベクトルをフレーム毎のベクトルに分割し、フレーム毎のベクトルの始点と終点との中点をフレーム毎のポイント値とすれば良い。
以上、位置処理部２１における位置処理について説明したが、サイズ処理部２３におけるサイズ処理も、位置処理と略同様である。
すなわち、サイズ処理では、位置処理におけるポイントの代わりに単位時間における視点位置近傍領域のサイズの固定値が定義され、位置処理におけるベクトルの代わりに単位時間における視点位置近傍領域のサイズの変化値が定義される。そして、サイズ処理においても、位置処理の場合と同様に、サイズの固定値と変化値の内挿処理が行われる。なお、サイズ処理において、位置処理と大きく異なる点は、サイズ可変用レバー１８の出力信号は、視点の動作よりも遅れるので、単位時間内における後半部分における値のみを用いて、サイズの固定値と変化値を決定する点である。サイズ処理によって得られるサイズの値は、位置処理によって決定される視点位置近傍領域の中心位置（フレーム毎のポイント値）のそれぞれに対応するように決定される。従って、視点位置近傍領域を表す情報として、フレーム毎に、ポイント（ｍ，ｎ）とサイズ（ｓ）による３次元値（ｍ，ｎ，ｓ）が得られる。なお、中断処理が行われているときには、サイズの値ｓは０とされる。システムコントロール部３０は、このようにして得られた視点位置近傍領域を表す情報（ｍ，ｎ，ｓ）に基づいて、符号量削減制御信号３５を生成し符号量削減部１３に送る。
以上説明したように本実施の形態に係る画像圧縮符号化装置によれば、操作者の視点位置を検出し、この視点位置とサイズ可変用レバー１８の出力とに基づいて視点位置近傍領域を設定し、この視点位置近傍領域以外の領域に割り当てられる符号量が、視点位置近傍領域に割り当てられる符号量よりも少なくなるように、領域に応じて符号量の割り当てを変えることができるので、簡単な操作で、画像データを限られた符号量内でリアルタイムに符号化して圧縮し、且つ復号時にできるだけ利用者にとって視覚的に高画質な画像を得ることが可能となる。しかも、圧縮部１１の出力データによる所定時間当たりの符号量が規定値を越えた場合にのみ、領域に応じて符号量の割り当てを変える処理を行うようにしたので、符号量に余裕があるときに画質を不必要に劣化させることがなく、限られた符号量を有効に利用して画像データを符号化できると共に、復号時にできるだけ利用者にとって視覚的に高画質な画像を得ることが可能となる。
また、本実施の形態に係る画像圧縮符号化装置によれば、視点位置近傍領域のサイズを変えることができるようにしたので、多くの符号量が割り当てられる領域を適切な大きさに設定することが可能となり、この点からも、限られた符号量を有効に利用して画像データを符号化できると共に、復号時にできるだけ利用者にとって視覚的に高画質な画像を得ることが可能となる。
また、本実施の形態に係る画像圧縮符号化装置によれば、視点位置近傍領域から外側に向かって段階的に符号量の削減を行うようにしたので、視点位置近傍領域の境界部が目立つことを避けることができる。
また、本実施の形態に係る画像圧縮符号化装置によれば、種々のポイントおよびベクトルの内挿処理を行うようにしたので、操作者が画面内の複数の場所を順次、視点を変えて繰り返し注視した場合に、注視した複数の場所の近傍にそれぞれ、時間的に連続して視点位置近傍領域を設定することができ、また、シーンの切り替わり前後において視点位置が安定していないときにおいても視点位置近傍領域を設定することができ、その結果、視点位置近傍領域が断続的に設定されることを防止でき、復号時に利用者にとって視覚的に高画質な画像を得ることが可能となる。
なお、本発明は上記実施の形態に限定されず、例えば、圧縮部１１における符号化の方式は、ＤＣＴ処理と双方向予測符号化とを用いる方式に限らず、他の方式でも良い。また、符号量の削滅の方法は、ＤＣＴ処理後の係数に割り当てられるビット数を滅らす方法に限らず、例えば画素の削減等の他の方法でも良い。この他、本発明の要旨を逸脱しない範囲で種々の変更が可能である。

Claims (18)

1. 入力画像データを圧縮して符号化する符号化手段と、
   前記入力画像データが出力される画面上における視点位置を検出する視点位置検出手段と、
   前記視点位置検出手段によって視点位置が断続的に検出されたときには各視点位置の検出時点間で時間的に連続するように、前記視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域を設定する領域設定手段と、
   前記領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限する符号量制限手段と
   を備えたことを特徴とする画像圧縮符号化装置。
2. 前記符号量制限手段は、前記視点位置近傍領域以外の領域に割り当てられる符号量を、前記視点位置近傍領域から離れる方向に向かって段階的に減少させることを特徴とする請求の範囲第１項記載の画像圧縮符号化装置。
3. 前記符号量制限手段によって領域に応じて符号量の割り当てを変えることを行うか否かを選択する選択手段をさらに備えたことを特徴とする請求の範囲第１項記載の画像圧縮符号化装置。
4. 前記領域設定手段で設定される視点位置近傍領域の大きさを変える領域可変手段をさらに備えたことを特徴とする請求の範囲第１項記載の画像圧縮符号化装置。
5. 前記符号量制限手段は、前記符号化手段によって発生される符号量が所定量を超えるとき、前記視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限することを特徴とする請求の範囲第１項記載の画像圧縮符号化装置。
6. 入力画像データを圧縮して符号化する符号化ステップと、
   前記入力画像データが出力される画面上における視点位置を検出する視点位置検出ステップと、
   前記視点位置検出ステップによって視点位置が断続的に検出されたときには各視点位置の検出時点間で時間的に連続するように、前記視点位置検出ステップによって検出される視点位置の近傍に視点近傍領域を設定する領域設定ステップと、
   前記領域設定ステップによって設定される前記視点位置近傍領域以外の領域に割り当てる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるように前記符号化ステップで発生される符号量を制限する符号量制限ステップと
   を備えたことを特徴とする画像圧縮符号化方法。
7. 入力画像データを圧縮して符号化する符号化手段と、
   前記入力画像データが出力される画面上における視点位置を検出する視点位置検出手段と、
   複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出手段で最初に視点位置が検出されたときと前記画像単位が開始されたときとの間で連続するように、前記視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域を設定する領域設定手段と、
   前記領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限する符号量制限手段と
   を備えたことを特徴とする画像圧縮符号化装置。
8. 前記符号量制限手段は、前記視点位置近傍領域以外の領域に割り当てられる符号量を、前記視点位置近傍領域から離れる方向に向かって段階的に減少させることを特徴とする請求の範囲第７項記載の画像圧縮符号化装置。
9. 前記符号量制限手段によって領域に応じて符号量の割り当てを変えることを行うか否かを選択する選択手段をさらに備えたことを特徴とする請求の範囲第７項記載の画像圧縮符号化装置。
10. 前記領域設定手段で設定される視点位置近傍領域の大きさを変える領域可変手段をさらに備えたことを特徴とする請求の範囲第７項記載の画像圧縮符号化装置。
11. 前記符号量制限手段は、前記符号化手段によって発生される符号量が所定量を超えるとき、前記視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限することを特徴とする請求の範囲第７項記載の画像圧縮符号化装置。
12. 入力画像データを圧縮して符号化する符号化ステップと、
    前記入力画像データが出力される画面上における視点位置を検出する視点位置検出ステップと、
    複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出ステップで最初に視点位置が検出されたときと前記画像単位が開始されたときとの間で連続するように、前記視点位置検出ステップによって検出される視点位置の近傍に視点近傍領域を設定する領域設定ステップと、
    前記領域設定ステップによって設定される前記視点位置近傍領域以外の領域に割り当てる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるように前記符号化ステップで発生される符号量を制限する符号量制限ステップと
    を備えたことを特徴とする画像圧縮符号化方法。
13. 入力画像データを圧縮して符号化する符号化手段と、
    前記入力画像データが出力される画面上における視点位置を検出する視点位置検出手段と、
    複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出手段で最後に視点位置が検出されたときと前記画像単位が終了されたときとの間で連続するように、前記視点位置検出手段によって検出される視点位置の近傍に視点位置近傍領域を設定する領域設定手段と、
    前記領域設定手段によって設定される視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限する符号量制限手段と
    を備えたことを特徴とする画像圧縮符号化装置。
14. 前記符号量制限手段は、前記視点位置近傍領域以外の領域に割り当てられる符号量を、前記視点位置近傍領域から離れる方向に向かって段階的に減少させることを特徴とする請求の範囲第１３項記載の画像圧縮符号化装置。
15. 前記符号量制限手段によって領域に応じて符号量の割り当てを変えることを行うか否かを選択する選択手段をさらに備えたことを特徴とする請求の範囲第１３項記載の画像圧縮符号化装置。
16. 前記領域設定手段で設定される視点位置近傍領域の大きさを変える領域可変手段をさらに備えたことを特徴とする請求の範囲第１３項記載の画像圧縮符号化装置。
17. 前記符号量制限手段は、前記符号化手段によって発生される符号量が所定量を超えるとき、前記視点位置近傍領域以外の領域に割り当てられる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるよう前記符号化手段によって発生される符号量を制限することを特徴とする請求の範囲第１３項記載の画像圧縮符号化装置。
18. 入力画像データを圧縮して符号化する符号化ステップと、
    前記入力画像データが出力される画面上における視点位置を検出する視点位置検出ステップと、
    複数のフレームまたは複数のフィールドからなる画像単位内において前記視点位置検出ステップで最後に視点位置が検出されたときと前記画像単位が終了されたときとの間で連続するように、前記視点位置検出ステップによって検出される視点位置の近傍に視点近傍領域を設定する領域設定ステップと、
    前記領域設定ステップによって設定される前記視点位置近傍領域以外の領域に割り当てる符号量が、前記視点位置近傍領域に割り当てられる符号量よりも少なくなるように前記符号化ステップで発生される符号量を制限する符号量制限ステップと
    を備えたことを特徴とする画像圧縮符号化方法。

Images