JPH07236113A - 画像記録再生方法および画像記録再生装置 - Google Patents

Abstract

(57)【要約】 【目的】 広視野画像と高精細画像との合成が容易で、
しかも自然な画像が得られるようにする。 【構成】 カメラ１L 、１R で注視点方向を変えながら
高精細画像を撮像し、この画像が注視点方向を検索イン
デクスとして記録媒体７に記録される。同様に、カメラ
１L'、１R'で撮像された背景画像が、注視点方向を検索
インデクスとして記録媒体７’に記録される。二眼画像
表示手段１５は観察者の視線方向を検出する視線方向検
出部１４、１４’を有し、観察者の視線方向に最も近い
注視点方向の高精細画像および背景画像が記録媒体７、
７’から読み出される。読み出された各画像は画像合成
部９で画像処理により合成され、画像表示パネル１１、
１１’に表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、予め記録された実写画
像を検索して他の画像と合成表示する画像記録再生方法
および画像記録再生装置に関する。

【０００２】

【従来の技術】従来、広視野に画像を立体表示する手段
として、頭部搭載型の画像表示装置が知られている（廣
瀬，「空間知覚と認知光学」計測と制御，Ｖｏｌ．２
７，Ｎｏ．１，第４３ページ〜第４８ページ，昭和６３
年）。これは、図８に示すように、観察者の頭部に右眼
用の液晶ディスプレイ１０１および左眼用の液晶ディス
プレイ１０１’をそれぞれベルト等によって固定し、仮
想空間環境用計算機１０２によって生成された右眼用と
左眼用からなる立体画像を各液晶ディスプレイ１０１、
１０１’に表示させるものである。観察者の頭部位置や
姿勢および手の動作は、それぞれ座標データとして仮想
空間環境用計算機１０２に入力され、仮想空間環境用計
算機１０２は、そのデータに基づき各液晶ディスプレイ
１０１、１０１’に仮想物体１０５や観察者の仮想腕
（不図示）を表示させる。これにより観察者は、あたか
も各液晶ディスプレイ１０１、１０１’により広視野に
表示された画面を仮想的に自分の回りに広がる空間とし
て感じることを可能としている。

【０００３】ところが上述した画像表示装置において
は、各液晶ディスプレイ１０１、１０１’により表示さ
れた画像を観察者に呈示するようになっているので、こ
の画像を広視野で表示すると、各液晶ディスプレイ１０
１、１０１’の１画素に対応する視角が大きくなり、表
示できる画像を高精細にできなかった。

【０００４】そこで、広視野の画像を高精細に表示し得
る画像表示装置として、特開平２−２９１７８７号公報
に開示される装置がある。以下に、この画像表示装置に
ついて図９を参照して説明する。

【０００５】この画像表示装置は、図９に示すように、
広い視野の画像を表示するための広視野画像表示用ディ
スプレイ２０１と、観察者の注視点近傍の画像を表示す
る注視点近傍画像表示用ディスプレイ２０２とを有す
る。広視野画像表示用ディスプレイ２０１に表示された
画像は、凸レンズ群２０３およびフルミラー２０５を介
してハーフミラー２０６に入射される。一方、注視点近
傍画像表示用ディスプレイ２０２に表示された画像は、
凸レンズ群２０４、ｘ軸方向回転ミラー２０７およびｙ
軸方向回転ミラー２０８を介してハーフミラー２０６に
入射され、広視野画像と重ね合わせられる。重ね合わせ
られた画像は、赤外線ハーフミラー２０９から凸レンズ
２１０を介して広角接眼光学系２１１に映し出される構
成となっている。

【０００６】また、赤外線ハーフミラー２０９に関連し
て、観察者の注視点を検出するための注視点検出装置２
２０が設けられている。注視点検出装置２２０は、赤外
線発光装置（不図示）と赤外線検出カメラ（不図示）と
を備え、赤外線発光装置から発せられた赤外線を観察者
の網膜で反射させてこれを赤外線検出カメラで検出する
ことで観察者の注視点を検出するものである。そして注
視点検出装置２２０の出力は、ｘ軸方向回転ミラー２０
７およびｙ軸方向回転ミラー２０８を回転させるための
回転ミラー制御回路２２１に出力されるとともに、広視
野画像表示用ディスプレイ２０１および注視点近傍画像
表示用ディスプレイ２０２に表示させる画像を生成する
ための画像処理装置２２２に出力される。画像処理装置
２２２には、広視野画像データおよび観察者の注視点近
傍の高精細な画像が蓄積されている。

【０００７】次に、この画像表示装置の動作について説
明する。画像処理装置２２２に蓄積されている広視野画
像データは広視野画像表示用ディスプレイ２０１に出力
され、広視野画像表示用ディスプレイ２０１に広視野画
像を表示させる。広視野画像表示用ディスプレイ２０１
に表示された広視野画像は、凸レンズ群２０３で平行光
束にされた後フルミラー２０５で反射され、ハーフミラ
ー２０６、赤外線ハーフミラー２０９および凸レンズ２
１０を通過して広角接眼光学系２１１に入射される。こ
れにより観察者は、広角接眼光学系２１１に眼を近づけ
ることにより分解能は粗いが大まかに広視野の画像を観
察することができる。

【０００８】広視野画像の呈示により、観察者は注意を
ひいた箇所に注視点の移動を行なう。注視点検出装置２
２０では、赤外線の反射光から瞳孔中心の座標を求めて
広視野画像内での注視点の座標に変換し、回転ミラー制
御回路２２１および画像処理装置２２２に出力する。

【０００９】画像処理装置２２２では、注視点検出装置
２２０からの入力に基づき注視点近傍画像を選択し、さ
らに、広視野画像に対して注視点近傍画像と重複する部
分を削除して広視野画像を広視野画像表示用ディスプレ
イ２０１に表示させる。それと同時に、注視点近傍画像
が注視点近傍画像表示用ディスプレイ２０２に表示され
る。このとき注視点近傍画像は、回転ミラー制御回路２
２１によって制御されるｘ軸方向回転ミラー２０７およ
びｙ軸方向回転ミラー２０８により光路が変更され、ハ
ーフミラー２０６上の広視野画像の所定の位置に投影さ
れる。これにより、広視野で注視点近傍を高精細に表示
した画像が所定の光路を通り観察者に呈示される。

【００１０】

【発明が解決しようとする課題】しかしながら図９に示
した画像表示装置では、広視野画像および注視点近傍画
像を光学的に重ね合わせるために、広視野画像に対して
注視点近傍画像と重複する部分を削除するための画像処
理を必要とするが、注視点近傍の対像のみに対してこの
ような処理をすることは困難であり、回転ミラーの形状
に沿って削除の処理を行なうことは実質上できない。こ
のため、画像中の対象によっては高精細部分がミラーの
形状に枠取りされて見えたりするなど、不自然な画像と
して表示される場合があるという問題点があった。

【００１１】また、装置構成の観点では、注視点近傍画
像と広視野画像それぞれについてディスプレイと結像光
学系、さらに両者を重ね合わせるための回転ミラーとそ
の駆動制御装置が必要であり、これを図８に示したよう
な頭部搭載型ディスプレイ装置に適用しようとすると、
図９に示した構成を左眼、右眼用にそれぞれ設けなけれ
ばならない。これは、頭部搭載型ディスプレイ装置とし
てはサイズ、重量などの点で大きすぎ、観察者の負担と
なってしまう。

【００１２】本発明の目的は、広視野画像と高精細画像
との合成が容易で、しかも自然な画像が得られる画像記
録再生方法を提供することにある。また、装置として
は、上記目的を達成しつつ、構成が簡単で小型の画像記
録再生装置を提供することを目的とする。

【００１３】

【課題を解決するための手段】上記目的を達成するため
本発明の画像記録再生方法は、予め、注視点方向が異な
る複数の高精細画像および注視点方向が異なる複数の背
景画像を、それぞれの注視点方向を検索インデクスとし
て記録媒体に記録しておき、再生時に、観察者の視線方
向を検出し、前記記録媒体に記録された高精細画像およ
び背景画像のうち、前記観察者の視線方向に最も近い注
視点方向の高精細画像および背景画像をそれぞれ抽出
し、画像処理により合成して観察者に表示することを特
徴とする。

【００１４】また、前記背景画像は、前記高精細画像よ
りも広視野角の画像としてもよいし、前記高精細画像お
よび前記背景画像を、それぞれ観察者の左右の眼に対応
して記録、抽出してもよい。

【００１５】この場合、前記観察者の左右の眼に対応す
る対の高精細画像の重複領域内において視差の不連続部
の輪郭を検出し、その輪郭で区切られた画像を注視点方
向の高精細画像として記録しておくこともできる。

【００１６】さらに、前記高精細画像の記録時に、注視
点方向に加えて対象までの距離も前記検索インデクスに
含め、再生時には、観察者の視線方向に最も近く、か
つ、観察者の眼のピント位置に最も近い注視点方向およ
び焦点距離の高精細画像を抽出すしたり、前記背景画像
は、コンピュータグラフィクスにより生成したり、前記
高精細画像と前記背景画像との合成時に、平滑化処理を
行なってもよい。

【００１７】この平滑化処理は、視差の不連続部の輪郭
で区切られた画像を高精細画像として記録する場合に
は、前記高精細画像と前記背景画像との合成時に、前記
視差の不連続部の輪郭線上の各点からの法線に沿った距
離に応じて行なってもよい。

【００１８】また、観察者の注視頻度が高い対象のみを
前記高精細画像として記録してもよい。

【００１９】本発明の画像記録再生装置は、注視点方向
が異なる複数の高精細画像を撮像する注視方向画像撮像
手段と、注視方向画像撮像手段で撮像された複数の高精
細画像が、それぞれ注視点方向を検索インデクスとして
記録される注視方向画像用記録媒体と、注視点方向が異
なる複数の背景画像を生成する背景画像生成手段と、背
景画像生成手段により得られた複数の背景画像が、それ
ぞれ注視点方向を検索インデクスとして記録される背景
画像用記録媒体と、観察者の視線方向を検出する視線方
向検出部と、視線方向検出部で検出された観察者の視線
方向に応じて、観察者の視線方向に最も近い注視点方向
の高精細画像および背景画像を、それぞれ注視方向画像
用記録媒体および背景画像を背景画像用記録媒体から読
み出し、両者を画像処理により合成する合成画像生成手
段と、合成画像生成手段で合成された画像を観察者に呈
示する画像表示手段とを有することを特徴とする。

【００２０】また、前記注視方向画像撮像手段は、光軸
方向を制御可能に設けられたカメラであってもよく、前
記背景画像生成手段は、前記注視方向画像撮像手段で撮
像される画像よりも広視野角の画像を生成するものや、
観察者の左右の眼に対応する対の背景画像を生成するも
のであり、前記注視方向画像撮像手段および前記画像表
示手段は、それぞれ観察者の左右の眼に対応して一対ず
つ設けられているものであってもよい。

【００２１】この場合、前記一対の注視方向画像撮像手
段で撮像された対となる高精細画像の重複領域内におい
て視差の不連続部の輪郭を検出し、その輪郭で区切られ
た画像を注視点方向の高精細画像として前記注視方向画
像用記録媒体に記録させるための画像処理部を有するも
のであってもよい。

【００２２】さらに、前記注視方向画像用記録媒体に
は、注視方向に加え、対象までの距離も検索インデクス
として記録されるとともに、前記視線方向検出部は観察
者の視線方向と観察者の肉眼のピント位置とを検出する
ものとし、前記合成画像生成手段で前記注視方向画像用
記録媒体から読み出される画像は、観察者の視線方向に
最も近い注視点方向で、かつ、観察者の眼のピント位置
に最も近い焦点距離の高精細画像であるものや、前記背
景画像生成手段は、コンピュータグラフィクスにより背
景画像を生成する手段であるものや、前記合成画像生成
手段は、前記高精細画像と前記背景画像との合成時に平
滑化処理を行なうものであってもよい。

【００２３】また、前記画像処理部を有する場合には、
前記合成画像生成手段は、前記高精細画像と前記背景画
像との合成時に、前記視差の不連続部の輪郭線上の各点
からの法線に沿った距離に応じた平滑化処理を行なうも
のであってもよい。

【００２４】

【作用】上記のとおり構成された本発明の画像記録再生
方法では、高精細画像および背景画像を、注視点方向を
検索インデクスとして記録媒体に記録しておき、再生時
には、観察者の視線方向に応じて、観察者の視線方向に
最も近い注視点方向の高精細画像および背景画像を検索
し、両者を画像処理により合成する。これにより観察者
には、背景画像中に、観察者の注視した対象が高精細に
表示された画像が呈示される。このように、高精細画像
および背景画像を、それぞれの注視点方向を検索インデ
クスとして記録しているので、観察者に呈示する画像が
高速でかつ正確に生成される。そして、高精細画像と背
景画像との合成を光学的に行なっていないので、自然な
画像が得られる。

【００２５】また、背景画像を高精細画像よりも広視野
角の画像とすれば、パノラマ画像中に高精細画像が表示
され、臨場感が高まる。さらに、高精細画像および背景
画像をそれぞれ観察者の左右の眼に対応して記録、抽出
すれば、立体画像が得られる。この場合、対となる高精
細画像の重複領域内において視差の不連続部の輪郭を検
出し、その輪郭で区切られた画像を記録することによ
り、記録される高精細画像は、対象そのものによりよく
ピントの合った画像となる。

【００２６】そして、高精細画像の記録および抽出に、
対象までの距離も考慮することで、同一視線方向に異な
る距離で複数の対象がある場合でも、観察者の意図する
対象にピントの合った画像が生成される。

【００２７】さらに、観察者の注視頻度が高い対象のみ
を高精細画像として記録することで、記録される高精細
画像が観察者にとって重要なものに限られ、再生時に
は、高精細画像の抽出を高速で行なえる。

【００２８】本発明の画像記録再生装置では、注視方向
画像撮像手段により注視点が異なる複数の高精細画像が
撮像され、注視点方向を検索インデクスとして注視方向
画像記録用媒体に記録される。一方、背景画像生成手段
により注視点方向が異なる複数の背景画像が生成され、
注視点方向を検索インデクスとして背景画像用記録媒体
に記録される。再生時には、視線方向検出部により観察
者の視線方向が検出され、合成画像生成手段で、観察者
の視線方向に最も近い高精細画像および背景画像がそれ
ぞれ記録媒体から読み出され、画像処理により合成され
る。これにより、背景画像中に観察者の注視した対象が
高精細に表示された画像が得られ、この画像ががぞ表示
手段を介して観察者に呈示される。このように、高精細
画像および背景画像をそれぞれの注視点方向を検索イン
デクスとして記録し、両者の合成には光学的な合成手段
を用いていないので、観察者に呈示される画像は高速で
かつ正確に生成され、しかも自然な画像となる。また、
光学的な合成手段を用いていないことにより、装置の大
幅な小型化が達成される。

【００２９】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００３０】（第１実施例）図１は、本発明の画像記録
再生装置の第１実施例の概略構成図である。図１に示す
ように本実施例の画像記録再生装置は、観察者の注視点
方向に対応する高精細画像を撮像する注視方向画像撮像
手段４と、広視野角の背景画像を生成する背景画像生成
手段５と、注視点方向画像撮像手段４で撮像された注視
点方向画像と背景画像生成手段５で生成された背景画像
とを合成する合成画像生成手段１０と、合成画像生成手
段１０で生成された合成画像を観察者に呈示する二眼画
像表示手段１５とに大別される。

【００３１】注視方向画像撮像手段４は、ステージ３上
に左右方向（ｘ軸方向）に間隔をおいて配置され、それ
ぞれ光軸方向および位置を変化可能な２つのカメラ
１_L 、１ _R と、各カメラ１_L 、１_R の光軸方向および位
置を計測し制御するカメラ制御手段２_L 、２_R とを有す
る。

【００３２】また、背景画像生成手段５も注視方向画像
撮像手段４と同様に、それぞれカメラ制御手段２_L ’、
２_R ’によって光軸方向および位置が制御される２つの
カメラ１_L ’、１_R ’がステージ３’上に左右方向（ｘ
軸方向）に間隔をおいて配置されており、各カメラ
１_L ’、１_R ’で背景を撮像することにより広視野角の
背景画像を生成するものである。

【００３３】合成画像生成手段１０は、注視方向画像撮
像手段４の各カメラ１_L 、１_R からの高精細画像データ
および各カメラ１_L 、１_R の光学配置情報を、注視方向
画像用記録媒体である記録媒体７に記録する記録手段６
と、背景画像生成手段５の各カメラ１_L ’、１_R ’から
の背景画像データおよび各カメラ１_L ’、１_R ’の光学
配置情報を、背景画像用記録媒体である記録媒体７’に
記録する記録手段６’と、各記録媒体７、７’からデー
タを読み出したり各記録媒体７、７’へデータを書き込
むデータ読み出し手段８と、データ読み出し手段８に読
み出されたデータに基づき、高精細画像データと背景画
像データとを画素値の置換などの画像処理により合成す
る画像合成部９とを有する。記録媒体７、７’として
は、磁気ディスク、ＣＤ−ＲＯＭ、あるいは磁気テープ
等を用いることができ、画像データが記録できるもので
あればその種類は特に限定されない。

【００３４】二眼画像表示手段１５は頭部搭載型の表示
手段であり、画像合成部９で得られた合成画像を観察者
の左眼および右眼に対応して表示するための２つの画像
表示パネル１１、１１’を有し、各画像表示パネル１
１、１１’に表示された画像は、それぞれ光学系１３、
１３’をとおって観察者の左眼および右眼に呈示され
る。また、二眼画像表示手段１５には、観察者の左眼お
よび右眼の視線方向を検出するための視線方向検出部１
４、１４’が備えられている。各視線方向検出部１４、
１４’は、観察者の眼に赤外線を反射させ、その反射赤
外光を検出することによって観察者の視線方向を検出す
るものであり、それぞれ赤外線発光装置（不図示）およ
び赤外線検出カメラ（不図示）を有する。赤外線発光装
置からの赤外光は、それぞれ赤外線ハーフミラー１２、
１２’で反射され、光学系１３、１３’をとおって観察
者の眼に入射し、網膜で反射する。この反射赤外光は、
再び同じ光路をとおって視線方向検出部１４、１４’に
戻り赤外線検出カメラで検出される。これにより、観察
者の左眼および右眼の視線方向η^L 、η^R が検出され
る。ここで、視線方向ηは、ｘｚ平面内において眼球の
光軸がｚ軸と平行な直線となす角度で与えられる。そし
て、各視線方向検出部１４、１４’により検出された観
察者の視線方向η^L 、η^R は、それぞれデータ読み出し
手段８に出力され、各記録媒体７、７’からは、観察者
の視線方向η^L 、η^R に応じて必要なデータが読み出さ
れる。

【００３５】次に、本実施例の画像記録再生装置の動作
について説明する。

【００３６】まず、画像記録時の動作について説明す
る。

【００３７】撮像時には、注視方向画像撮像手段４の各
カメラ１_L 、１_R の光軸方向を計測制御手段２_L 、２_R
により制御して注視点方向を変え、かつ、その方向にあ
る対象に焦点を合わせながら対象を撮像し、カメラ光学
配置情報とともに高精細画像データを記録媒体７に記録
する。

【００３８】注視方向画像撮像手段４の各カメラ１_L 、
１_R の光学配置情報として、記録媒体７のヘッダ部には
図２に示すように、各カメラ１_L 、１_R の光学中心間の
距離である基線長Ｌと、ｚ軸に平行な直線に対する各カ
メラ１_L 、１_R の光軸の角度で与えられる光軸方向
ψ^L 、ψ^R とが記録される。また、記録媒体７のヘッダ
部には、各カメラ１_L 、１_R の光学配置情報と合わせて
高精細画像データのアドレスも記録される。

【００３９】また、記録媒体７に記録する高精細画像デ
ータとしては、各カメラ１_L 、１_Rが重複して撮像して
いる画像領域のおおよその範囲を、各カメラ１_L 、１_R
の光軸方向計測値および焦点距離（例えば、フォーカス
繰り出し量と焦点距離の対応を予めＲＯＭに記録してお
き、繰り出し量を実測してＲＯＭ中の対応表から求め
る）から決定し、その重複領域の中心から所定のサイ
ズ、所定の形状のブロック内にある画像とする。

【００４０】図３は、記録媒体７に記録する高精細画像
データの抽出範囲の説明図である。カメラ１_L 、１_R の
光軸方向をψ^L 、ψ^R 、焦点距離（共通）をｆとする
と、重複領域の水平方向のサイズＡは、これらをパラメ
ータとして求めることができる。

【００４１】図３（ａ）でＷは、重複領域の画角を示
し、同図（ｂ）のＡに相当する。また、Ｏ_L 、Ｏ_R はそ
れぞれカメラ１_L 、１_R の光学中心、点Ｐはカメラ
１_L 、１_Rの光軸の交差する点、２点鎖線はそれぞれの
カメラ１_L 、１_R の撮像範囲、１点鎖線は光学中心
Ｏ_L 、Ｏ_R 上でｘ軸に直交する距離または奥行き計測方
向を示す。また、太い実線は点Ｐとほぼ同じ距離にある
両眼視領域を表わす。本実施例では重複領域の中心Ｏを
基準に水平方向にαＡ（０＜α＜１：αは予め決められ
た定数）の幅、垂直方向にβＢ（０＜β＜１：βは予め
決められた定数、Ｂは画面の垂直方向サイズ）のサイズ
の矩形領域中の画像（同図（ｃ）の網線部分）を記録用
画像データとする。この領域は各カメラ１_L 、１_R の合
焦範囲が交わる領域から抽出したものであり、このよう
にすることにより、カメラ１_L 、１_R を操作する人が注
視した対象を常に重複（両眼視）領域の中央で撮って記
録しておき、再生時に両眼視領域の中央にその対象の精
細な画像を合成する（後述する）ものである。なお、各
カメラ１_L 、１_R のフォーカシングは、重複領域中の注
視対象にマニュアルで合わせてもよいし、記録用高精細
画像データの抽出ブロックを中心とした領域で従来の自
動合焦検出方式により行なってもよい。

【００４２】一方、背景画像生成手段５は、各カメラ１
_L ’、１_R ’の撮像モードを予め無限遠あるいは固定の
長焦点に設定しておき、光軸方向を変えながら背景を広
視野２次元パノラマ画像として撮像し、記録手段６’に
より記録媒体７’に記録しておく。

【００４３】背景画像データの記録方法としては、例え
ば、各カメラ１_L ’、１_R ’のｘｚ平面内での光軸方
向、θ^L ₁，θ^L ₂，…，θ^L _m（左側のカメラ１_L ’）と、
θ^R ₁，θ^R ₂，…，θ^R _m（右側のカメラ１_R ’）とにおい
て、θ^L _iとθ^L _i+1、θ^R _iとθ^R _{i +1}の画像の組がそれぞれ
互いに重複した画像領域を有し、かつ、その重複の幅が
Ｍ画素×Ｍ’画素の１画像フレームの水平方向（光軸ス
キャン）サイズに対して一定割合以上（例えば１０〜２
０％）となるように設定し、各方向の背景画像データを
記録媒体７’に記録手段６’により光軸方向θ^L _i、θ^R _i
（ｉ＝１，２，…，ｍ）とともに記録する。

【００４４】また高精細画像データも、各カメラ１_L 、
１_R の光軸方向ψ^L _i、ψ^R _i（ｉ＝１，２，…，ｎ）とと
もに、背景画像と同様に記録媒体７に記録されるが、ψ
^L _iとψ^L _i+1、ψ^R _iとψ^R _i+1それぞれの画像の重複の幅
は、背景画像での値に比べて大きいものとする。すなわ
ちｎ＞ｍとし、高精細画像データの場合は、光軸方向の
サンプリング角度の幅は背景画像の場合よりも小さく設
定しておく。このようにして１つの方向（θ^L _i，θ^R _i）
の背景画像に対して複数の視線方向に対応した高精細画
像を生成することができる。

【００４５】図４に、記録媒体７での高精細画像の記録
フォーマットの一例を示す。図４に示すように、ヘッダ
部には、カメラ配置パラメータとして、左側のカメラ１
_L の光軸方向ψ^L _iとそのときの左側の画像データＩ^L _iの
アドレス、続いて右側のカメラ１_R の光軸方向ψ^R _iとそ
のときの右側の画像データＩ^R _iのアドレスが、注視点の
スキャニング順に並んでいる。すなわち、ψ^L ₁，Ｉ^L ₁ア
ドレス，ψ^R ₁，Ｉ^R ₁アドレス，ψ^L ₂，Ｉ^L ₂アドレス，ψ
^R ₂，Ｉ^R ₂アドレス，…，ψ^R _n，Ｉ^R _nアドレスの順であ
る。また、画像データ部では、各高精細画像データＩ^L _n
データ、Ｉ^R _nデータがヘッダ部と同様にスキャニング順
に並んでいる。なお、画像記録フォーマットは、図４に
示したものに限定されるものではない。特に画像データ
部では、左右の画像間の視差補償予測符号化などの圧縮
処理をして記録してもよい。

【００４６】次に、再生時の動作について説明する。

【００４７】再生時は、各視線方向検出部１４、１４’
により検出された観察者の視線方向η^L 、η^R に最も近
い、高精細撮像時の各カメラ１_L 、１_R の光軸方向
ψ^L _i、ψ ^R _iの高精細画像データを記録媒体７からデータ
読み出し手段８によって読み出すとともに、各カメラ１
_L 、１_R の光軸方向ψ^L _i、ψ^R _iに最も近い、各カメラ１
_L’、１_R ’の光軸方向θ^L _i、θ^R _iの背景画像データを
記録媒体７’から読み出し、それぞれの画像データを画
像合成部９に出力する。

【００４８】画像合成部段９では、背景画像（Ｍ×Ｍ’
画素）に高精細画像（Ｎ×Ｎ’画素、Ｎ＜Ｍ、Ｎ’＜
Ｍ’）を重ね合わせる。ただし、重ね合わせは基本的に
画素の輝度レベルの置換によって行なう。なお、本実施
例では高精細画像とは視線方向にピントの合っている画
像のことであり、画素サイズが相対的に小さいこと、あ
るいは走査線本数（密度）が大きいことを必ずしも意味
しない。画素サイズは、いずれの画像とも同じとする
と、左右両眼に呈示する高精細画像の中心はそれぞれθ
^L _i' −η^L _i' 、θ^R _i" −η^R _i" に比例した背景画像中の
画素位置で与えられる。ここで、η^L _i' 、η^R _i" はそれ
ぞれ観察者の左眼、右眼の検出された視線方向、θ
^L _i' 、θ^R _i" はそれぞれη^L _i' 、η^R _i" に最も近い背景
画像の各カメラ１ _L ’、１_R ’の光軸方向を示す。合成
後の画像の各画素レベルをＰ^L(R)（ｉ，ｊ）（ｉ＝１，
２，…，Ｍ、ｊ＝１，２，…，Ｍ’）、背景画像の各画
素レベルをＢ^L(R)（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ
＝１，２，…，Ｍ’）、高精細画像の各画素レベルをＣ
^L(R)（ｋ，ｌ）（ｋ＝１，２，…，Ｎ、ｌ＝１，２，
…，Ｎ’）とすると、

【００４９】

【数１】 となる。このとき、水平方向の画素サイズをＳとし、整
数化することをｉｎｔ［ｘ］で示すと、ｉ₀ およびｊ₀
はそれぞれ

【００５０】

【数２】 で与えられ、左右両眼に呈示する合成画像Ｐ^L （ｉ，
ｊ）、Ｐ^R （ｉ，ｊ）は、それぞれ二眼画像表示手段１
５の各画像表示パネル１１、１１’に表示される。

【００５１】ここで、各画像表示パネル１１、１１’に
表示する前処理として以下のような平滑化処理を施すこ
とによって、より自然に対象の高精細画像と背景画像と
を合成することができる。

【００５２】平滑化の例としては、背景画像の中の合成
される部分の中心からの距離に応じて平滑化の程度を変
える処理が挙げられる。すなわち、ある画素の近傍画素
との平均化によって平滑化を行なう際、近傍領域のサイ
ズを合成部分の中心からの距離に対して概ね単調増加と
なるように設定すればよい。

【００５３】他の平滑化方法としては、画像をガウシア
ン関数

【００５４】

【数３】 と畳込みをとってもよい。この場合、σは平滑化の程度
を表わし、σが大きいほど平滑化が進む。

【００５５】以上説明したように本実施例では、再生時
に観察者の視線方向に最も近い画像を、撮像時の注視点
（光軸）方向を検索インデクスとしてもつ画像データベ
ース（記録媒体７、７’）から抽出し画像処理により合
成することにより、高速かつ正確に視線方向にピントの
合った画像を視野の中心に背景画像と組み合せて再生す
ることができる。また、光学的な合成手段によらずに注
視方向の画像と背景画像と合成するので、従来の画像表
示装置と比較して大幅な小型化が可能となる。

【００５６】本実施例では、注視方向画像撮像手段４と
背景画像生成手段５とを独立に設定したものの例を示し
たが、注視方向画像撮像手段４のみを設け、これで背景
画像生成手段５を兼用してもよい。

【００５７】（第２実施例）図５は、本発明の画像記録
再生装置の第２実施例の概略構成図である。

【００５８】本実施例の画像記録再生装置は、注視方向
画像撮像手段２４の各カメラ２１_L、２１_R からの画像
を画像処理部３６で処理して左右の画像間の対応する点
毎の視差を求めるものである。

【００５９】視差抽出あるいは対応点抽出方式として
は、従来からある、画像をある小領域に分割して領域毎
の左右画像間の相関ピークまたは最小２乗誤差などを検
出する領域ベース方式と、それぞれの画像からエッジ、
線分等の特徴を抽出して、特徴毎の対応（または視差）
を求める特徴ベース方式とがある（Rhond and Aggarwa
l, "Structure From Stereo - A Review", IEEE Trans.
Syst. Man Cybern., vol. SMC-19,pp.1489-1510,198
9）。この視差は左右画像の対応する点同士の横ずれ量
であり、カメラから実空間の物体までの距離に対応して
いる。

【００６０】本実施例では、撮像時の注視点方向（各カ
メラ２１_L 、２１_R の光軸方向）の重複領域内において
視差の不連続部の輪郭を検出し、その輪郭で区切られた
領域の一つに焦点を合わせてカメラ光学配置パラメータ
とともに画像を記録する。その際の画像処理手順は、 重複領域の設定（第１実施例と同様） 対応点（視差）抽出 視差不連続部の輪郭の検出 輪郭に沿った領域分割 分割後の領域の一つを選択 のようになる。

【００６１】の視差不連続部の輪郭の検出は、視差値
の勾配または隣接する画素間の視差値の差が基準値以上
となる場合に不連続部があると判定し、その境界線（境
界部画素の集合）を抽出することによって行なう。

【００６２】の分割後の領域の選択の基準としては、
（１）視差値の大きさ、（２）面積、（３）平均輝度、
（４）スペクトル、（５）分散、（６）重複領域中の中
心付近などが挙げられ、（１）〜（５）については重複
領域中の各分割領域毎に値を比較して、予め定められた
基準にしたがって選択する。例えば、視差値の大きさに
応じて選択する場合は、視差値の大きい方を選択する、
などのような手順を定めておけばよい。また、（１）〜
（５）のいくつかを組み合せて選択してもよい。

【００６３】さらに、に続いて、選択された分割領域
を記録画像データとして記録手段２６により記録媒体２
７にカメラ光学配置データとともに記録してもよい。従
って、記録される画像データは第１実施例に示したよう
な矩形または予め設定した形状をしている必要はなく、
視差不連続の輪郭線に沿った形状となる。この場合は、
記録される画像データＣ^L(R)（ｋ，ｌ）（ｋ＝１，２，
…，Ｎ、ｌ＝１，２，…，Ｎ’）としては、抽出された
領域の各画素の輝度値を与え、抽出されなかった領域の
各画素についてはゼロを与えておく。この場合、Ｎ、
Ｎ’は、それぞれＮ（ｊ）、Ｎ’（ｉ）のように置換さ
れる画像の輪郭位置（すなわち、枠の形状）を配列要素
（ｉ，ｊ）の一方の関数として決めてもよい。

【００６４】注視点方向の高精細画像を以上のように抽
出した後の処理、動作などは第１実施例と同様であるの
で、その説明は省略する。

【００６５】また、平滑化処理については第１実施例で
示した方法の他に、注視方向を囲む視差不連続輪郭線上
の各点からの法線に沿った距離に応じて平滑化の度合を
変えたり、あるいはその輪郭線の外側は同一レベルの平
滑化を施してもよい。

【００６６】以上説明したように、視差不連続部に沿っ
て枠取りされた画像を撮像時の注視点方向の高精細画像
として記録しておくことにより、第１実施例のように常
に矩形に枠取りする場合と比較して、対象そのものによ
りよくピントの合った画像を背景と組み合せて再生する
ことができる。

【００６７】（第３実施例）本実施例では、撮像時に、
カメラ光学配置情報として各カメラの光軸方向や基線長
に加えてカメラ光学系の焦点距離を考慮する。

【００６８】撮像時のカメラ光学系の焦点距離は、例え
ばレンズのフォーカス繰り出し量と焦点距離の対応を予
め測定（設定）してメモリに記録しておき、実測の繰り
出し量との対応から推定することができる。

【００６９】また、再生時の肉眼のピント位置は、例え
ば左眼、右眼の検出された視線方向がなす輻輳角から推
定したり、網膜からの反射赤外光の光束径（ボケ量）と
実焦点位置との関係を予め計測しメモリに記録してお
き、視線方向検出部においてボケ量を赤外線エリアセン
サを用いて算出することにより、ピント位置を一方の眼
球から直接推定することもできる。前者の輻輳角から推
定する方法は、より具体的には、図２において各カメラ
１_L 、１_R を左右両眼に置き換えて、左右両眼の視線方
向をη^L 、η^R 、両眼の基線長をＬとすると、ピント位
置の座標（Ｘ，Ｚ）は次のように与えられる。

【００７０】

【数４】 ただし、同図でη^L ＞０、η^R ＜０、座標原点は左右両
眼の基線長上の中点、ｘ軸はその基線長方向、ｚ軸は基
線長と直交する奥行き計測方向である。特に、肉眼の視
線方向を精度良く検出できない場合は、ボケ量検出との
併用も可能である。

【００７１】本実施例においては、重複領域のピントの
合った画像を記録する際、図６（ａ）に示すように、注
視方向画像撮像手段の各カメラの光軸方向ψ^L _i、ψ^R _iと
焦点距離ｆ^L _i、ｆ^R _iとを画像合成時の検索インデクスと
し、ヘッダ部に記録する。これにより、視線方向は概ね
が同じであるが距離が異なる対象にピントの合った画像
を正確に呼び出して合成することができる。特に、比較
的遠距離にあって、方向は殆ど同じであるが距離が異な
る対象が画面中に存在する場合にも、観察者の意図通り
にピントの合った画像を合成して表示することができ
る。なお、本実施例では、注視点方向の画像記録時に左
右画像間の視差補償圧縮予測符号化を行なってもよい。
図６（ｂ）は、その場合にヘッダ部に記録するデータ形
式の例である。

【００７２】以上説明したように、視線方向と焦点位置
を共に画像記録再生のためのインデクスとすることによ
り、同一視線方向に、異なる距離（奥行き）で複数の対
象がある場合でも観察者の意図する対象にピントの合っ
た画像を背景画像と組み合せて再生することができる。

【００７３】（第４実施例）図７は、本発明の画像記録
再生装置の第４実施例の概略構成図である。本実施例で
は、背景画像生成手段として、３次元コンピュータグラ
フィクスの手法により人工的に観察者の左右両眼に呈示
する視差付き画像を生成するコンピュータグラフィクス
二眼画像生成部４５を有するものである。また、注視方
向画像撮像手段４４の各カメラ４１_L 、４１_R で撮像さ
れる実写画像の被写体距離の概算値は、第２実施例と同
様に画像処理部５６で求めるが、これは、必ずしも左右
の画像の各点の視差から求める必要はなく、重複領域の
中心付近に従来の自動合焦（ＡＦ）機構によりピントを
合わせたときのフォーカスレンズ繰り出し量とピント位
置のデータ（予め計測し、ＲＯＭ等に記録しておく）に
基づいて求めてもよい。

【００７４】この被写体距離概算値の注視点方向別の分
布データをコンピュータグラフィクス二眼画像生成部４
５が受け、これに基づいて背景画像を実写の注視方向対
象の３次元的な位置関係と矛盾しないように生成する。

【００７５】背景画像生成の一つの方法としては、注視
方向画像撮像手段４４で注視方向に無限遠（ないしはそ
の近傍）にピントを合わせて撮像し、その画像データに
基づいてコンピュータグラフィクスモデルを作成する方
法がある。この場合は、左右画像間での視差は無視す
る。背景画像生成の他の方法としては、第２実施例と同
様に、各カメラ４１L 、４１R の実写画像の視差の分布
を画像処理部５６で求め、注視方向（例えば重複領域の
中心方向）近傍の視差不連続部の輪郭線で区切られた対
象画像（ピントを合わせた画像）を切り出して、その画
像データをそのときのカメラ光学配置情報とともに記録
手段４６により記録媒体４７に記録しておく方法があ
る。

【００７６】また、背景画像としては、コンピュータグ
ラフィクスにより撮像時とは異なる背景の画像を生成し
てもよい。ただし、前述したように注視方向の対象画像
と背景画像の３次元的位置関係やサイズが矛盾しないよ
うに画像の生成を行なうことは言うまでもない。その一
例としては、注視方向の対象の視点位置からの距離情報
（例えば視差）を用い、対象より近距離にある背景内の
物体はより大きく、遠距離にある物体は小さく表示する
などの方法が挙げられる。

【００７７】以上説明したように、視野の中に存在する
注視された実在の被写体距離概算値を検出してそれに基
づいて背景画像をコンピュータグラフィクスにより人工
的に生成し、合成することにより、背景画像が注視対象
の手前にある、遠近関係が合わないなどの矛盾を引き起
こさずに自然な３次元画像を生成することができる。

【００７８】（第５実施例）本実施例は、上述した各実
施例で示したものと同様の構成の画像記録再生装置を用
い、撮像時に観察者が多くの頻度で注視した対象の存在
する方向とその画像のみ（複数）を記録媒体に記録する
ものである。そして、再生時は観察者の視線方向を検出
するが、それが撮像時に記録された方向の対象画像の場
合のみ記録媒体から読み出して背景画像と合成して画像
表示パネルに表示し、それ以外の場合には視線方向の背
景画像を表示する。

【００７９】本実施例では特に、視線（注視点）方向を
微小角度幅のｂｉｎに分解し、各ｂｉｎ毎に入る撮像時
の注視ヒストグラムを作成する。注視方向とそれ以外の
方向との判別は、例えば、撮像時において一つの方向を
中心としたある角度範囲にカメラの光軸がとどまってい
る時間が基準値よりも長い場合には注視方向とみなす方
法でもよい。ただし、その時間は必ずしも動画として記
録している時間の長さに限る必要はなく、記録前に観察
者が単にファインダーを通して様々な方向にカメラ光軸
を向けている時間の長さを方向別に累積してもよい。

【００８０】以上説明したように、撮像時の注視方向の
頻度を計測し、それが一定値以上となる方向の対象に高
精細記録再生用画像を限定することにより、再生時に
は、より高速な画像検索と再生が可能となる。

【００８１】上述した各実施例では、注視方向画像撮像
手段として、所定間隔離れた２台のカメラを用いた例を
示したが、１台のカメラを移動制御して異なる位置で撮
像し、２台のカメラで得られる画像と等しい画像を得て
もよい。これは、背景画像生成手段としてカメラを用い
た場合も同様である。また、注視（視線）方向を一つの
平面内で走査したが、任意の立体角範囲で走査、あるい
は検出してもよい。

【００８２】

【発明の効果】本発明は以上説明したように構成されて
いるので、以下に記載する効果を奏する。

【００８３】本発明の画像記録再生方法は、注視点方向
を検索インデクスとして、高精細画像および背景画像の
記録および抽出を行ない、両画像を画像処理により合成
するので、合成画像の生成を高速でかつ正確に行なうこ
とができ、しかも、自然な合成画像を得ることができ
る。

【００８４】また、背景画像を高精細画像よりも広視野
角の画像とすることで、パノラマ画像中に高精細画像が
表示され、臨場感を高めることができる。さらに、高精
細画像および背景画像をそれぞれ観察者の左右の眼に対
応して記録、抽出することで、立体画像を得ることがで
き、より臨場感を高めることができる。この場合、対と
なる高精細画像の重複領域内において視差の不連続部の
輪郭を検出し、その輪郭で区切られた画像を記録するこ
とにより、記録される高精細画像を、対象そのものによ
りよくピントの合った画像とすることができる。

【００８５】そして、高精細画像の記録および抽出に、
対象までの距離も考慮することで、同一視線方向に異な
る距離で複数の対象がある場合でも、観察者の意図する
対象にピントの合った画像を生成することができる。

【００８６】また、背景画像をコンピュータグラフィク
スにより生成することで、注視対象と背景画像との遠近
関係に矛盾を引き起こさずに合成画像を生成することが
できる。加えて、画像合成時に平滑化処理を行なうこと
で、より自然な合成画像を生成することができる。さら
に、観察者の注視頻度が高い対象のみを高精細画像とし
て記録することで、再生時には、高精細画像の抽出を高
速で行なうことができる。

【００８７】本発明の画像記録装置は、高精細画像を撮
像する注視方向画像撮像手段と、背景画像を生成する背
景画像生成手段と、それぞれの画像を注視点方向を検索
インデクスとして記録する記録媒体と、観察者の視線方
向を検出する視線方向検出部と、視線方向検出部で検出
された視線方向に応じて高精細画像および背景画像を読
み出し両者を画像処理により合成する合成画像生成手段
と、合成画像を観察者に呈示する画像表示手段とを有す
ることにより、注視点方向を検索インデクスとした画像
の記録および抽出が容易に行なえ、本発明の画像記録再
生方法の実施に適している。また、高精細画像と背景画
像との合成には光学的な合成手段を用いていないので、
装置の大幅な小型化が達成でき、頭部搭載型ディスプレ
イに適用しても観察者の負担になることはない。

【図面の簡単な説明】

【図１】本発明の画像記録再生装置の第１実施例の概略
構成図である。

【図２】図１に示した画像記録再生装置の注視方向画像
撮像手段のカメラ光学配置情報を説明するための図であ
る。

【図３】記録する画像データの抽出範囲を説明するため
の図である。

【図４】図１に示した注視方向画像撮像手段で得られた
データの、画像記録フォーマットの一例を示す図であ
る。

【図５】本発明の画像記録再生装置の第２実施例の概略
構成図である。

【図６】本発明の画像記録再生装置の第３実施例におけ
る、画像記録フォーマットの例を示す図であり、同図
（ａ）は、カメラの光軸方向と焦点距離とを検索インデ
ックスとした場合のフォーマットの一例、同図（ｂ）
は、左右画像間の視差補償圧縮予測符号化を行なった場
合のフォーマットの一例を示す。

【図７】本発明の画像記録再生装置の第４実施例の概略
構成図である。

【図８】従来の画像表示装置の一例の概略構成図であ
る。

【図９】従来の画像表示装置の他の例の概略構成図であ
る。

【符号の説明】

１_L 、１_R 、１_L ’、１_R ’、２１_L 、２１_R 、４
１_L 、４１_R カメラ ２_L 、２_R 、２_L ’、２_R ’ カメラ制御手段 ３、３’ ステージ ４、２４ 注視方向画像撮像手段 ５ 背景画像生成手段 ６、６’、２６、４６ 記録手段 ７、７’、２７、４７ 記録媒体 ８ データ読み出し手段 ９ 画像合成部 １０ 合成画像生成手段 １１、１１’ 画像表示パネル １２、１２’ 赤外線ハーフミラー １３、１３’ 光学系 １４、１４’ 視線方向検出部 １５ 二眼画像表示手段 ３６、５６ 画像処理部 ４５ コンピュータグラフィクス二眼画像生成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 15/00 Ｈ０４Ｎ 5/765 7/18 Ｋ 15/00 9071−5Ｌ Ｇ０６Ｆ 15/62 ３５０ Ｖ Ｈ０４Ｎ 5/782 Ｋ

Claims (18)

【特許請求の範囲】
1. 【請求項１】 予め、注視点方向が異なる複数の高精細
   画像および注視点方向が異なる複数の背景画像を、それ
   ぞれの注視点方向を検索インデクスとして記録媒体に記
   録しておき、 再生時に、観察者の視線方向を検出し、前記記録媒体に
   記録された高精細画像および背景画像のうち、前記観察
   者の視線方向に最も近い注視点方向の高精細画像および
   背景画像をそれぞれ抽出し、画像処理により合成して観
   察者に表示することを特徴とする画像記録再生方法。
2. 【請求項２】 前記背景画像は、前記高精細画像よりも
   広視野角の画像である請求項１に記載の画像記録再生方
   法。
3. 【請求項３】 前記高精細画像および前記背景画像を、
   それぞれ観察者の左右の眼に対応して記録、抽出する請
   求項１または２に記載の画像記録再生方法。
4. 【請求項４】 前記観察者の左右の眼に対応する対の高
   精細画像の重複領域内において視差の不連続部の輪郭を
   検出し、その輪郭で区切られた画像を注視点方向の高精
   細画像として記録しておく請求項３に記載の画像記録再
   生方法。
5. 【請求項５】 前記高精細画像の記録時に、注視点方向
   に加えて対象までの距離も前記検索インデクスに含め、
   再生時には、観察者の視線方向に最も近く、かつ、観察
   者の眼のピント位置に最も近い注視点方向および焦点距
   離の高精細画像を抽出する請求項１、２、３または４に
   記載の画像記録再生方法。
6. 【請求項６】 前記背景画像は、コンピュータグラフィ
   クスにより生成される請求項１ないし５のいずれか１項
   に記載の画像記録再生方法。
7. 【請求項７】 前記高精細画像と前記背景画像との合成
   時に、平滑化処理を行なう請求項１ないし６のいずれか
   １項に記載の画像記録再生方法。
8. 【請求項８】 前記高精細画像と前記背景画像との合成
   時に、前記視差の不連続部の輪郭線上の各点からの法線
   に沿った距離に応じた平滑化処理を行なう請求項４に記
   載の画像記録再生方法。
9. 【請求項９】 観察者の注視頻度が高い対象のみを前記
   高精細画像として記録する請求項１ないし８のいずれか
   １項に記載の画像記録再生方法。
10. 【請求項１０】 注視点方向が異なる複数の高精細画像
    を撮像する注視方向画像撮像手段と、 注視方向画像撮像手段で撮像された複数の高精細画像
    が、それぞれ注視点方向を検索インデクスとして記録さ
    れる注視方向画像用記録媒体と、 注視点方向が異なる複数の背景画像を生成する背景画像
    生成手段と、 背景画像生成手段により得られた複数の背景画像が、そ
    れぞれ注視点方向を検索インデクスとして記録される背
    景画像用記録媒体と、 観察者の視線方向を検出する視線方向検出部と、 視線方向検出部で検出された観察者の視線方向に応じ
    て、観察者の視線方向に最も近い注視点方向の高精細画
    像および背景画像を、それぞれ注視方向画像用記録媒体
    および背景画像を背景画像用記録媒体から読み出し、両
    者を画像処理により合成する合成画像生成手段と、 合成画像生成手段で合成された画像を観察者に呈示する
    画像表示手段とを有することを特徴とする画像記録再生
    装置。
11. 【請求項１１】 前記注視方向画像撮像手段は、光軸方
    向を制御可能に設けられたカメラである請求項１０に記
    載の画像記録再生装置。
12. 【請求項１２】 前記背景画像生成手段は、前記注視方
    向画像撮像手段で撮像される画像よりも広視野角の画像
    を生成するものである請求項１０または１１に記載の画
    像記録再生装置。
13. 【請求項１３】 前記背景画像生成手段は、観察者の左
    右の眼に対応する対の背景画像を生成するものであり、
    前記注視方向画像撮像手段および前記画像表示手段は、
    それぞれ観察者の左右の眼に対応して一対ずつ設けられ
    ている請求項１０、１１または１２に記載の画像記録再
    生装置。
14. 【請求項１４】 前記一対の注視方向画像撮像手段で撮
    像された対となる高精細画像の重複領域内において視差
    の不連続部の輪郭を検出し、その輪郭で区切られた画像
    を注視点方向の高精細画像として前記注視方向画像用記
    録媒体に記録させるための画像処理部を有する請求項１
    ３に記載の画像記録再生装置。
15. 【請求項１５】 前記注視方向画像用記録媒体には、注
    視方向に加え、対象までの距離も検索インデクスとして
    記録されるとともに、前記視線方向検出部は観察者の視
    線方向と観察者の肉眼のピント位置とを検出するものと
    し、前記合成画像生成手段で前記注視方向画像用記録媒
    体から読み出される画像は、観察者の視線方向に最も近
    い注視点方向で、かつ、観察者の眼のピント位置に最も
    近い焦点距離の高精細画像である請求項１０ないし１４
    のいずれか１項に記載の画像記録再生装置。
16. 【請求項１６】 前記背景画像生成手段は、コンピュー
    タグラフィクスにより背景画像を生成する手段である請
    求項１０ないし１５のいずれか１項に記載の画像記録再
    生装置。
17. 【請求項１７】 前記合成画像生成手段は、前記高精細
    画像と前記背景画像との合成時に平滑化処理を行なうも
    のである請求項１０ないし１６のいずれか１項に記載の
    画像記録再生装置。
18. 【請求項１８】 前記合成画像生成手段は、前記高精細
    画像と前記背景画像との合成時に、前記視差の不連続部
    の輪郭線上の各点からの法線に沿った距離に応じた平滑
    化処理を行なうものである請求項１４に記載の画像記録
    再生方法。