JPH10327432A - 立体画像表示装置 - Google Patents

Abstract

(57)【要約】 【課題】検出精度の高い視線検出器を用いなくてもよく
軽量で安価に製作可能なうえ極めて見やすい立体画像を
安定に得る。 【解決手段】立体画像を表わす信号を入力する手段(31,
32,33.メモリ等)と、入力信号による立体画像の経時的
変化を検出する画像変化検出手段(36)と、その検出結果
に基づいて画像領域中の特定の部分領域を観察者が注視
する蓋然性の高い領域として指定する注視予測領域決定
手段(37)と、指定された特定の部分領域内に表示される
画像の奥行きを検出する奥行き検出手段(38,39)と、検
出された情報に基づいて前記立体画像の奥行きに係る量
を制御する奥行き制御手段(40)と、奥行きに係る量が制
御された立体画像を表わす信号を立体画像表示手段(3)
に被表示立体画像信号として出力する手段(41,42)とを
備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力手段により入
力した立体画像を表わす信号について画像の奥行きに係
る奥行き量を制御したのち、立体画像表示を行なう立体
画像表示装置に関する。

【０００２】

【従来の技術】視覚表示装置やそのシステムとして、画
像を立体視できるように表示する立体視ディスプレイは
既知であり、種々のものが提案されている。しかし、従
来の立体視ディスプレイでは、画像表示面の奥行き位置
と融像奥行き位置とが異なるために、観察者の眼球の輻
輳とピント調節とに矛盾した状態が起こることがあっ
た。この矛盾量が大きくなると、人間は立体画像を一つ
のものとして知覚できなくなる。

【０００３】この問題を解決する手段として、従来から
幾つかの提案がなされている。特開平3-292093号（セイ
コーエプソン）には、視線検出器を用いて観察者の注視
点を検出し、この注視点での奥行き情報からレンズを動
かして視度を変える手段が示されている。この手段は、
画像表示面の奥行き位置と融像奥行き位置とが一致する
ように、「画像表示面の奥行き位置」を制御するもので
ある。

【０００４】また、特開平7-167633号（松下電器産業）
には、視線検出器を用いて観察者の注視点を検出し、こ
の注視点での奥行きが立体画像表示部の表面もしくは表
面から指定された距離だけ離れた位置に再現するように
視差を制御する手段が示されている。この手段は、画像
表示面の奥行き位置と融像奥行き位置とが一致するよう
に、「融像奥行き位置」を制御するものである。

【０００５】

【発明が解決しようとする課題】上記従来の技術は、両
者とも観察者の注視点を検出し、注視点での奥行き情報
から立体画像の奥行き位置を制御するという点で共通し
ている。しかしながら上記のようなものでは、観察者の
注視点を正確に検出する必要があるため、検出精度の高
い視線検出器を必要とし、装置が高価格なものになって
しまうと言う問題がある。更に、視線検出器の重量分だ
け重くなるため、立体画像表示装置として例えば頭部装
着型表示装置（以下ＨＭＤと略称する）を適用する場合
には、軽量であることが強く望まれているＨＭＤの重量
を大きくしてしまうという問題が生じる。

【０００６】尚、特開平6-225197号「ビデオカメラによ
る監視装置」（日本電信電話）には、監視領域内にある
対象物を自動認識し、注目すべき対象を自動的に追跡す
る装置が開示されている。しかしながら上記の監視装置
は、立体画像の奥行きを調整するために注目すべき対象
を自動認識するものではなく、このような構成を有する
立体画像表示装置はこれまでに存在していない。

【０００７】そこで、本発明の目的は、格別に検出精度
の高い視線検出器を用いなくても、観察者が注視するで
あろう注視点（画像領域）が予測され、その予測された
注視点における画像の奥行き情報に基づいて立体画像の
奥行き制御が行なわれ、極めて見やすい立体画像を安定
に得ることのできる立体画像表示装置を提供することに
ある。

【０００８】

【課題を解決するための手段】本発明による立体画像表
示装置は、立体画像を表わす信号の供給を受けるための
入力手段と、上記入力手段により受けた信号による立体
画像の経時的な変化を検出する画像変化検出手段と、上
記画像変化検出手段による検出結果に基づいて画像領域
中の特定の部分領域を観察者が注視する蓋然性の高い領
域として指定する注視予測領域決定手段と、上記注視予
測領域決定手段によって指定される特定の部分領域内に
表示される画像の奥行きを表わす情報を得る奥行き検出
手段と、上記奥行き検出手段により得た画像の奥行きを
表わす情報に基づいて上記入力手段により受けた信号に
よる立体画像の奥行きに係る量を制御する奥行き制御手
段と、上記奥行き制御手段によって上記奥行きに係る量
が制御された立体画像を表わす信号を、適用された立体
画像表示手段に被表示立体画像信号として出力し得る出
力手段とを備えて構成される。…………（１）

【０００９】ここで、前記（１）に記載の装置であり、
加えて、上記注視予測領域決定手段は、上記画像変化検
出手段による検出結果に基づいて被検出画像全体の中で
特異な検出結果が得られる特定の部分領域が存在すると
きには該特定の部分領域を当該注視予測領域として指定
し、特異な検出結果が得られる特定の部分領域が存在し
ないときには予め設定した所定領域を当該注視予測領域
として指定するように構成される。
…………（２）

【００１０】また、前記（２）に記載の装置であり、加
えて、複数の各小領域毎に、画像の経時変化を検出する
画像動き量検出手段を有してなり、且つ、上記注視予測
領域決定手段は、上記複数の小領域のうち画像変化検出
手段によって検出される画像の経時変化の値が特異な値
を示す小領域を、当該注視予測領域として指定するよう
に構成される。 …………（３）

【００１１】更に、前記（１）に記載の装置であり、加
えて、複数の各小領域毎に画像の経時変化を表わす動き
ベクトルを検出する動きベクトル検出手段を有してな
り、且つ、上記注視予測領域決定手段は、上記複数の小
領域のうち上記画像変化検出手段によって検出される自
己の動きベクトルが適用された視線検出手段によって検
出された観察者の視点の動きを表わす視点動きベクトル
に、実質的に等しい小領域を当該注視予測領域として指
定するように構成される。…………（４）

【００１２】更にまた、前記（１）に記載の装置であ
り、加えて、上記画像変化検出手段は、上記被検出画像
全体の中で画像の経時変化が認められる変化領域と該経
時変化が認められない無変化領域とに区分する画像領域
区分手段を備えてなり、且つ、上記注視予測領域決定手
段は、上記変化領域と無変化領域とを比較してこれら双
方の領域のうち何れかの領域を当該注視予測領域として
指定するように構成されている。
…………（５）

【００１３】

【発明の実施の形態】

（第１実施形態）本実施形態は、画面中において一部だ
け画像の変化が異なる領域を求め、その求めた領域を観
察者が注視するであろうと予測し、その予測した当該領
域内にある画像の奥行き距離を求め、これに基づいて立
体画像の観察における視距離と輻輳距離とが合致するよ
うに制御するものである。尚、本実施形態では視差のあ
る左画像と右画像とを総称して立体画像と呼ぶことにす
る。

【００１４】図１は本発明の第１実施形態に係る立体画
像表示装置の構成（概要）を示す図である。図１に示す
如くこの立体画像表示装置は、立体画像生成装置１と、
立体画像処理装置２と、立体画像表示器３とからなる。
立体画像生成装置１は、立体画像信号ＳＡ（左画像信
号，右画像信号）を生成し、左右の音声信号と共に出力
する装置であり、これにはビデオ再生機、立体画像信号
受信器、コンピュータ等の画像生成装置、ステレオカメ
ラなどが含まれる。

【００１５】立体画像処理装置２は、立体画像生成装置
１からの立体画像信号ＳＡを受信し所定の画像処理を行
なう。この画像処理には、受信した立体画像の経時的変
化から観察者の注視点を予測する注視予測処理と、その
予測した注視点に存在する画像の奥行き距離を検出する
奥行き検出処理と、立体画像の奥行きを制御する奥行き
制御処理とが含まれている。この立体画像処理装置２に
よって奥行き制御された立体画像ＳＢは、電力と共に立
体画像表示器３へ送られる。

【００１６】立体画像表示器３は、入力した奥行き制御
済みの立体画像の表示を行なうものであり、本実施形態
においては図１に示すような頭部装着型表示装置（以下
ＨＭＤと略称する）を用いている。このＨＭＤ３の内部
には、観察者の左眼球及び右眼球にそれぞれ対応する左
右の表示素子と、左右の接眼光学系とが組み込まれてい
る。尚、ＨＭＤ３から立体画像処理装置２に対して視線
方向信号ＳＣが必要に応じて送信され得るものとなって
いる。

【００１７】図２はＨＭＤ３の光学系の構成を示す図で
ある。尚、図２に示すものは、一方の眼球（左眼球）に
対する光学系であり、これと同じものが、他方の眼球
（右眼球）に対しても組み込まれている。奥行き制御さ
れた左右画像信号のうちの左画像信号ＳLが左用ＬＣＤ
１１に供給されると、左画像が左用ＬＣＤ１１の表示面
上に表示される。１０はバックライトである。上記表示
画像は、以下の接眼光学系によって拡大されて左眼球１
５に導かれる。

【００１８】図２に示されている接眼光学系はプリズム
型の光学系である。ＬＣＤ１１の表示面からの光はプリ
ズム１２に入射し、ハーフミラー１３を透過し、凹面ミ
ラー１４によって反射される。この反射光はハーフミラ
ー１３の裏面で反射され、眼球１５に入射する。ここ
で、ＬＣＤ１１の表示面上の画像は、図示の如く拡大虚
像面１６を形成する。観察者はこの虚像面１６を観察す
ることになる。この拡大虚像面１６から眼球１５までの
距離Ｉは接眼光学系とＬＣＤ１１の表示面までの距離に
よって決定される。本実施形態では拡大虚像面１６から
眼球１５までの距離Ｉを視距離と呼ぶ。また、立体画像
の融像位置は左右画像の持つ視差によって決定される。
本実施形態では、この立体画像の融像位置から接眼レン
ズの主平面までの距離を輻輳距離と呼ぶ。

【００１９】尚、本実施形態では立体画像表示器として
ＨＭＤ３を例示したが、必ずしもＨＭＤ３に限られるも
のではない。例えば『３次元画像の基礎』（1995年、泉
武博監修、ＮＨＫ放送技術研究所編、（株）オーム社発
行、pp.130〜178 ）に記載されている表示装置（シャッ
ター切り替え方式やレンチキュラー方式等の各種立体Ｔ
Ｖ）等を、立体画像表示器として適用可能である。

【００２０】これらの立体ＴＶにおける視距離は、ＣＲ
Ｔ等の表示画面から観察者の眼球までの距離となり、輻
輳距離は融像位置から観察者の眼球までの距離となる。
図３は本実施形態の動作を示すフロー図である。このフ
ロー図は、図１に示す立体画像生成装置１から左右画像
が出力されたのち、立体画像処理装置２による画像処
理、およびＨＭＤ３による画像表示動作までを示すもの
である。以下、図４以降の図も適時参照しながら本実施
形態の装置の動作を説明する。

【００２１】[ステップＳ１]立体画像生成生装置１から
出力された立体画像信号ＳＡである左右画像信号が立体
画像処理装置２に順次入力し受信される。今、図４の
（ａ）に示す左画像フレームｍ−１（Ｌ）と図４の
（ｂ）に示す右画像フレームｍ−１（Ｒ）とを受信した
のち、同図（ｃ）に示す左画像フレームｍ（Ｌ）と同図
（ｄ）に示す右画像フレームｍ（Ｒ）とを受信したとす
る。

【００２２】ここに示す画像例は、図面上、右方向に走
行している自動車を追尾してステレオ撮影した場合の画
像例である。したがって同図（ａ）に対する同図（ｃ）
の自動車画像位置は変化していない。一方、背景画像は
左方向に変化している。以上のことは同図（ｂ）と同図
（ｄ）との間でも同じことが言える。

【００２３】また、カメラ近方に位置していると想定さ
れる自動車は、同図（ａ）に示す左画像の画像位置より
も、同図（ｂ）に示す右画像の画像位置が左にずれてい
る。つまり視差を持っている。一方、背景はカメラから
無限遠に位置していると想定されるため、同図（ａ）と
同図（ｂ）の画像位置は一致している。つまり視差が０
となっている。同図（ｃ）と（ｄ）についても同じこと
が言える。

【００２４】[ステップＳ２]時刻の異なる画像間の動き
ベクトルを検出する。ここでは、左画像フレームまたは
右画像フレームのいずれかを用いる。例えば左画像を用
いるものとし、図４では同図（ａ）の画像に対する同図
（ｃ）の画像の動きベクトルを検出する。動きベクトル
の検出法としては、それぞれの画像を小領域のブロック
に分割し、各ブロック毎にテンプレートマッチング処理
を行なう。このような処理を行なうことにより、結果と
して同図（ｅ）に示す如き動きベクトルが求まる。

【００２５】この図４の（ｅ）は、自動車の画像が位置
している領域が動きベクトル０、つまり動きがなく、そ
の他の画像が位置している領域は左方向の動きベクトル
つまり左方向へ画像が変化していることを表している。

【００２６】[ステップＳ３]観察者が注視するであろう
と予測される画像領域（注視予測領域と呼ぶ）が決定さ
れる。具体的には、画面中にある多数の動きベクトルの
中で一部だけ動きベクトルが異なる領域が選定される。
図４の（ｅ）の場合は点線枠で囲った部分だけが他の動
きベクトルとは異なる。したがって、この領域が注視予
測領域であると判断する。

【００２７】図４の（ｅ）の場合とは逆に、例えば図５
のように画面の一部だけが動きベクトルを有し、その他
の動きベクトルが０である場合には、動きベクトルを有
する領域を注視予測領域とする。

【００２８】また、図６のように、画面の一部の画像自
体が変化した場合には、その変化した領域のみが動きベ
クトルが得られない異常値となる。この場合は、その異
常値を呈した領域を注視予測領域とする。

【００２９】上記した例は、いずれも画面中に存在する
多数の動きベクトルの中で、一部だけ動きベクトルが他
とは異なる領域が存在している例であり、その一部だけ
動きベクトルが異なる領域を注視予測領域として選定す
る。

【００３０】尚、図７のように、一つの画面中に一部だ
け動きベクトルの異なる領域が複数（図７の場合は２箇
所）存在する場合には、画面の中央に近い方を注視予測
領域として選択する。また、画像がほとんど変化しない
場合、動きベクトルの違いが相対的に小さく略０値とな
る。このような場合には、画面中央部の所定面積の領域
を注視予測領域とする。

【００３１】更に、図８のように、例えば車窓から見た
風景のように、画面全体が一様に一方の側から他方の側
へ変化している場合には、動きベクトルが全て同じベク
トル値を有する。このような場合には、画面の中央位置
から動きベクトル量とは逆方向に一定幅だけシフトした
位置を注視予測領域とする。すなわち観察者は動きに関
して、いわば上流側（図示例では新たな画像が出現して
くる左側）に注目する傾向をもつ。したがって上記の如
く「動きベクトル量とは逆方向に一定幅シフトした位
置」を注視予測領域とすることが妥当と言える。

【００３２】図９は、上述したステップＳ３における
「注視予測領域決定」の判断過程を示すフロー図であ
る。

【００３３】[ステップＳ４]注視予測領域内の画像の奥
行き距離を求める。画像の奥行き距離を求める方法には
幾つかあるが、その代表的なもの三つを以下に例示す
る。 (1)相関方式；注視予測領域において左画像フレームと
右画像フレームとの相関計算を行ない、視差を導出す
る。 (2)距離信号付加方式；画像領域毎に予め奥行き距離を
表す信号を付加しておく。そして注視予測領域を選定す
ることで、その領域に対応した奥行き距離信号を特定す
る。 (3)測距方式；注視予測領域の方向にある物体の奥行き
距離を検出する。この検出には、ステレオカメラに設け
られている測距センサや、コンピュータグラフィックス
のＺバッファ値を用いる。

【００３４】ここでは、上記(1)の相関方式で奥行き距
離を求める場合について、前述の図４を用いて説明す
る。同図（ｆ）に示すように、フレームｍ（Ｌ）の左画
像における注視予測領域は、ステップＳ３で既に定まっ
ている。そこで点線で囲った領域に対応する部分が右画
像ｍ（Ｒ）のどの位置に存在するかを相関演算すること
によって求める。相関演算の例としては、同図（ｆ）の
点線で囲った画像をテンプレートとし、同図（ｇ）に示
すフレームｍ（Ｒ）の点線で囲った画像に対してテンプ
レートマッチングを行なう。ここで、同図（ｇ）の点線
の領域は、同図（ｆ）に示すように、点線の領域を中心
として左右方向に拡大した領域となっている。

【００３５】相関演算した結果、例えば図１０の（ａ）
に示すように、ある相関ピーク値を有する相関シフト量
から対応部分がわかる。結果として、図４の（ｇ）の斜
線を施した領域が、同図（ｆ）の点線枠で囲った画像と
対応していることがわかる。次に、同図（ｆ）の点線領
域の中心位置のＸ座標ｘＬと同図（ｇ）の斜線領域の中
心位置のＸ座標ｘＲとのずれ（ｘＬーｘＲ）を求める。
ここで、Ｘ座標とは、画像の横方向の位置を示す。この
ずれ（ｘＬーｘＲ）がいわゆる視差であり、奥行き距離
を表している。図１０の（ａ）の場合においては、相関
ピーク値の相関シフト量がそのまま視差（ｘＬーｘＲ）
を示す。

【００３６】ところで図４の（ｆ）の中に奥行きの異な
る複数の画像が含まれている場合もあり得る。この場合
には、相関演算の結果、複数の視差値が出力される。こ
のような場合においては、以下のようにして最終的な視
差を決定する。 (1)視差の大きい方を最終的な視差とする。つまり近方
の視差を選択する。図１０の（ｂ）のように、二つある
相関ピークのうち、相関シフト量の大きい方を選択す
る。 (2)複数の視差の平均値を最終的な視差とする。図１０
の（ｃ）のように、二つある相関ピークの相関シフト量
の平均値とする。 (3)視差を求める際の相関ピークの大きい方の視差を最
終的な視差とする。コントラストの低い画像の場合に
は、左右画像の相関ピークは小さくなる。一方、コント
ラストがはっきりしている画像領域や、一箇所にデータ
値が集まっている場合には相関ピークは高くなる。よっ
て観察者は、後者の方を注視するものと予測し、相関ピ
ークの高い方の画像の視差を最終的な視差とする。図１
０の（ｄ）のように相関ピーク値の高い方の相関シフト
量を視差とする。

【００３７】[ステップＳ５]奥行き距離の信号に基づい
て視距離と輻輳距離とが一致するように、立体画像の奥
行き制御を行なう。この奥行き制御の制御方式は、大き
く分けると次の２通りとなる。 (1)輻輳距離制御方式；左右画像を水平方向にシフトす
ることにより、輻輳距離が目標の輻輳距離（＝視距離）
となるように制御する方式。 (2)視距離制御方式；視距離が奥行き距離と一致するよ
うに視距離を制御する方式（例えば、ＨＭＤ３の接眼光
学系における表示素子とレンズとの距離を制御するもの
等）。

【００３８】ここでは、上記 (1)輻輳距離制御方式につ
いて説明する。まず、立体画像観察時の視差と輻輳距離
Ｌとの関係について説明する。

【００３９】図１１に示すように、左表示面２１の水平
位置ＸL と右表示面２２の水平位置ＸR とに像を表示し
たとき、点Ｂの位置でＸL とＸR の像は一致する。この
点Ｂから左右の接眼レンズ２３，２４の主平面までの距
離を輻輳距離Ｌとする。このときのＸL とＸR は次式
（１）（２）で表される。 ＸL ＝｛ ｄ＋（−Ｈ）｝／Ｌ・tanθ …（１） ＸR ＝｛−ｄ＋（−Ｈ）｝／Ｌ・tanθ …（２） ｄは左右レンズの中間点（原点）から左右レンズのそれ
ぞれの中心点（左右の主点Ｃ，Ｅ）までの距離である
（右眼側は正、左眼側は負の値となる）。θはレンズの
半画角である。また、−Ｈは、点Ｂの水平位置である。

【００４０】ここで、左表示面２１の水平位置ＸL と右
表示面２２の水平位置ＸR とは、表示領域における光軸
との交差点を０として、図１２に示すように表示領域の
水平長さを「２」として規格化している。式（１）は、
図１１における点Ａ、点Ｂ及び点Ｃによって作られる三
角形と、左表示面２１での原点０と点ＸL と点Ｃとによ
って作られる三角形とが相似であることから導くことが
できる。式（２）も同様に、点Ｄ、点Ｂ及び点Ｅによっ
て作られる三角形と、右表示面２２での原点０と点ＸR
と点Ｅとによって作られる三角形とが相似であることか
ら導くことができる。上記二つの式から次式が導かれ
る。 ＸL −ＸR ＝２ｄ／Ｌ・tanθ …（３） 上式（３）は視差（ＸL-ＸR ）と輻輳距離Ｌとの関係を
表している。よって輻輳距離Ｌと視距離Ｉとが一致する
ための視差の条件は次式（４）で表せる。 ＸL −ＸR ＝２ｄ／Ｉ・tanθ …（４）

【００４１】前記奥行き制御方式のうち、 (1)輻輳距離
制御方式では、視差（ＸL-ＸR ）が常に上式（４）を満
たすように視差制御が行なわれる。その制御の仕方とし
てはステップＳ５で求めた視差（ＸL-ＸR ）と、式
（４）の差分だけ画像全体を水平方向にシフトする。そ
の左画像のシフト量ＳLと右画像のシフト量ＳRとは例え
ば次式となる。 ＳL＝−（ＸL −ＸR ）＋ｄ／Ｉ・tanθ …（５） ＳR＝−（ＸL −ＸR ）−ｄ／Ｉ・tanθ …（６）

【００４２】ここで、ＳLとＳRの符号「−」は左水平方
向シフトを示し、符号「＋」は右水平方向シフトを示し
ている。視差（ＸL−ＸR ）が目標視差よりも大きい
時、つまり輻輳距離Ｌが視距離Ｉよりも近方にあるとき
は、左画像を右方向へシフトし右画像を左方向へシフト
して、輻輳距離Ｌと視距離Ｉとを一致させる。これとは
逆に視差（ＸL−ＸR ）が目標視差よりも小さい時、つ
まり輻輳距離Ｌが視距離Ｉよりも遠方にあるときは、左
画像を左方向へシフトし右画像を右方向へシフトして、
輻輳距離Ｌと視距離Ｉとを一致させる。

【００４３】このステップＳ５ではステップＳ４で求め
た自動車画像の視差（ＸL−ＸR ）に基づいて式（５）
（６）の演算を実行し、シフト量ＳLとＳRとを求め、画
像シフトを行なう。図４の例では、自動車画像の視差
（ＸL−ＸR ）が目標視差よりも大きい時は、同図
（ｈ）（ｉ）に示すように左画像を左方向へシフトさ
せ、右画像を右方向へシフトさせる。

【００４４】[ステップＳ６]立体画像処理装置２で奥行
き制御された左右画像信号がＨＭＤ３に供給され、ＨＭ
Ｄ３によって上記奥行き制御された左右画像信号の表示
が行なわれる。以下、これらのステップＳ１〜Ｓ６まで
が繰り返される。

【００４５】図１３は、図４に示した画像例について上
述した如く処理した立体画像を観察する場合の状況を示
す図である。図１３に示すように、自動車像が虚像面上
で融像し、背景が遠方に融像した状態で、左方向へ流れ
ていく立体画像を観察することができる。

【００４６】図１４は第１実施形態における立体画像処
理装置２の内部構成を示すブロック図である。尚、図１
４の左上に、二点鎖線で囲ったブロック６０（視線検出
器６１からの信号を視線ベクトル演算部６２で演算して
出力するブロック）は、第４実施形態の構成を示すため
に付加された部分であり、第１実施形態の構成には直接
関係がない。

【００４７】図１４に示すように立体画像生成装置１か
らの左画像信号および右画像信号を受信すると、この左
右画像信号から分離された垂直同期信号が、各ブロック
の処理タイミングを制御するためのタイミング制御部３
１へ入力する。尚、図１４に示されている符合ＴＣは、
上記垂直同期信号に相当する信号を示している。

【００４８】上記左右画像信号は、Ａ／Ｄ変換器３２，
３３でＡ／Ｄ変換された後、切換えスイッチ３４，３５
を介してメモリ1〜メモリ5へ選択的に供給されるものと
なっている。左画像信号はメモリ1とメモリ2とメモリ3
のうちいずれかに記憶される。これらの各メモリへの記
憶動作は、切換えスイッチ３４によりフィールド毎また
はフレーム毎に交互にスイッチングされながら実行され
る。したがって、メモリ1〜メモリ3には、１フィールド
毎または１フレーム毎に異なった画像が記憶される。

【００４９】今、時刻ｍにおいてメモリ1には左画像ｍ
（Ｌ）が記憶され、メモリ2には左画像ｍ−1（Ｌ）が記
憶されるものとする。また、メモリ3には次のフレーム
左画像ｍ＋1（Ｌ）が記憶されるものとする。

【００５０】一方、右画像もメモリ4及びメモリ5に対
し、切換えスイッチ３５によりスイッチングされて記憶
される。ここではメモリ4には右画像ｍ（Ｒ）が記憶さ
れ、メモリ5には右画像ｍ＋１（Ｒ）が記憶されるもの
とする。

【００５１】次に、メモリ1〜メモリ3のうち、二つのメ
モリ内に記憶されている両画像が比較され動きベクトル
を演算される。時刻ｍではメモリ1とメモリ2とが選択さ
れ、ｍ（Ｌ）画像信号とｍ-1（Ｌ）画像信号とが動きベ
クトル検出部へ出力される。ここで、選択されるメモリ
番号は時刻に応じて順次切り替わる。（以上がステップ
Ｓ１に相当。尚、ステップＳ１では全ブロックのベクト
ルの各値を得てそれらの平均を求める。）

【００５２】動きベクトル検出部３６は、両画像を複数
のブロックに分割し、一方の画像内のブロックと相関の
高いブロックをもう一方の画像内から探す。両画像にお
けるブロックの位置の差が動きベクトルとなる。この演
算処理は各ブロック毎に行なわれ、各ベクトル信号が注
視予測領域決定部３７に入力する。（以上がステップ２
に相当）

【００５３】注視予測領域決定部３７は、前述したよう
に図９に示すフロー図にしたがって注視予測領域の演算
を行なう。以下、図９に示すフロー図について説明す
る。

【００５４】ステップＳ３ー１では、全体の動きベクト
ルの中で一部だけ異なるベクトルがあるか否かを判定す
る。この判定は先ず全体の動きベクトルの分散値を求
め、その分散値が規定の値を超えるか否かを確認するこ
とによって行なわれる。ここで、分散値とは、複数に分
割した各画像ブロック毎の動きベクトルのバラツキ度合
をいう。

【００５５】ステップＳ３ー２では、ステップＳ３ー１
で一部だけ異なるベクトルがあると判定されたとき、そ
のベクトル領域が一つなのか複数なのかを判定する。こ
の判定は、動きベクトルの偏差（バラツキの幅）の90％
以上偏位している動きベクトルがあるか否かを検索し、
90％以上偏位している動きベクトルが存在している画面
上の座標位置を見つけ、いわゆるラベリングを行ない、
このラベリングを行なった数が一つか複数かで判定する
ものである。

【００５６】ステップＳ３ー３では、前記ステップＳ３
ー２での判定結果が「一つ」である場合、当該ラベリン
グされた一つのブロック番号に相当する信号を注視予測
領域信号として相関演算部３８へ出力する。

【００５７】一方、ステップＳ３ー４では、ステップＳ
３ー２での判定結果が「複数」である場合、各ラベルの
中心座標を演算し、その中心座標が画面中央に近い方の
ラベルにおけるブロック番号に相当する信号を注視予測
領域信号として相関演算部３８へ出力する。

【００５８】前記ステップＳ３ー１において、一部だけ
異なる動きベクトルは存在しないと判定された場合に
は、ステップＳ３ー５へ移る。ステップＳ３ー５では、
全体の動きベクトルの平均値が０であるか否かを判定す
る。ステップＳ３ー６では、ステップＳ３ー５で全体の
動きベクトルの平均値が０であると判定されたとき、予
め注視予測領域決定部内に記憶されている画面中央部に
おけるブロック番号に相当する信号を、注視予測領域信
号として相関演算部３８へ出力する。ステップＳ３ー７
では、ステップＳ３ー５で全体の動きベクトルの平均値
が０でないと判定されたとき、上述のブロック番号を動
きベクトル平均値の反対方向にシフトしたブロック番号
に相当する信号を注視予測領域信号として相関演算部３
８へ出力する。

【００５９】以上が注視予測領域決定部３７の動作であ
る。次に相関演算部３８について説明する。相関演算部
３８は、前記した如く注視予測領域として決定されたブ
ロック番号を、そのままメモリ1〜メモリ3のいずれかに
出力する。時刻ｍにおいては左画像ｍ（Ｌ）が記憶され
ているメモリ1へ出力する。一方、右画像に対しては、
先ほどのブロック番号に予め相関演算部３８が記憶して
いる水平冗長ブロック数分α（視差相応の見込みずれ
量。これだけのマージン領域αを広げてブロック番号で
特定される領域を全てカバーし得る領域Ｚを特定し、そ
の上で左右のずれ量の比較を行なう必要があるからであ
る。）を付加して、メモリ4、メモリ5のいずれかに出力
する。時刻ｍにおいては、右画像ｍ（Ｒ）が記憶されて
いるメモリ4へ出力する。メモリ1とメモリ4は受信した
ブロック番号内の画像信号を相関演算部３８に返す。そ
して相関演算部３８は左画像信号をテンプレートにし
て、１ブロックづつ左画像をシフトして右画像信号との
減算を行なう。ここで、減算値が小さいほど相関値は高
い。相関演算部３８は、各シフト量に対する減算値を視
差演算部３９へ出力する。

【００６０】視差演算部３９では、図１０に示す視差決
定法に基づき、減算値を利用して最終的な視差値を求め
る。視差値はシフト量演算部４０へ出力される。（ステ
ップ４に相当）

【００６１】シフト量演算部４０では、式（５）（６）
の演算を行なって左画像用シフト量と右画像用シフト量
を求める。各シフト量は左右それぞれの画像読み出し制
御部４１，４２へ出力され、各画像読み出し制御部４
１，４２は、各メモリ内の画像信号をシフト量だけシフ
トして読み出す。（ステップ５に相当）

【００６２】読み出された左右画像信号は、Ｄ／Ａ変換
器４３，４４によりそれぞれＤ／Ａ変換されたたのち、
ＨＭＤ３の左右表示素子にそれぞれ供給されて表示され
る。（ステップ６に相当）

【００６３】上述した第１実施形態は、動きベクトルを
検出し、画面中において一部だけ画像の変化が異なる領
域を求め、その領域内にある画像の奥行き距離を求め、
立体画像観察における視距離と輻輳距離とが合致するよ
う制御するものである。本実施形態によれば、視線検出
器を用いる必要がないので、装置全体を小型に、しかも
安価に得ることができる。

【００６４】「第２実施形態」（左右画像の動きベクト
ル検知） 第１実施形態では動きベクトルを左右画像の一方のみに
ついて求めたが、この第２実施形態では、第１実施形態
の一部を変形し、左右画像の双方に動きベクトルを求め
るようにしたものである。

【００６５】図１５に示す画像例では、同図（ａ）
（ｃ）に示す左画像について同図（ｅ）に示す動きベク
トルを求めると共に、同図（ｂ）（ｄ）に示す右画像に
ついても同図（ｆ）に示す動きベクトルを求める。そし
て、同図（ｇ）（ｈ）に示すように、それぞれの注視予
測領域を決定する。

【００６６】次に、それぞれの注視予測領域の中心座標
ｘＬ、ｘＲを求める。そして、これらの座標ｘＬとｘＲ
との差（ｘＬーｘＲ）を視差と定める。このように第２
実施形態では相関演算を行なわない。

【００６７】図１６は第２実施形態における立体画像処
理装置の内部構成を示すブロック図である。左右画像と
もに、注視予測領域決定部３７までは共通である。この
ため共通部分は二点鎖線で囲み一方を省略した。左右そ
れぞれの注視予測領域決定部３７からは中心座標値ｘＬ
とｘＲとが視差演算部３９へ出力される。視差演算部３
９では（ｘＬ−ｘＲ）を行ない、その結果をシフト量演
算部４０へ出力する。後の処理は第１実施形態の場合と
同じなので説明は省略する。

【００６８】本実施形態では、相関演算を行なわずに視
差量を求め得るので、処理時間を短くて済むというメリ
ットがある。

【００６９】「第３実施形態」（フィールド順次対応） 第３実施形態は、第１実施形態の一部を変形し、フィー
ルド順次（またはフレーム順次）立体映像に対して有効
なものとした例である。すなわち、時刻の異なる左右画
像間の動きベクトルを検出し、注視点を予測して視差を
求めるようにする。

【００７０】図１７は第３実施形態の処理動作を示すフ
ロー図である。このフロー図について、図１８に示す画
像処理例を参照しながら説明する。尚、本実施形態で
は、図１８の（ａ）（ｂ）（ｃ）に示すように、右画像
フレーム番号ｍ−１（Ｒ）、左画像フレームｍ（Ｌ）、
右画像フレームｍ＋１（Ｒ）…と言う具合に、左右画像
を交互に受信するものとする。

【００７１】[ステップＳ１１]左画像フレームｍ（Ｌ）
を受信する。 [ステップＳ１２]右画像フレーム番号ｍ−１（Ｒ）に対
する左画像フレームｍ（Ｌ）の動きベクトルｍをブロッ
ク毎に求める。すなわち隣接フィールド区間どうしの比
較（左用フィールドと右用フィールドとの間の比較）で
動きベクトルを求める。したがってこの結果は左右の視
差を含んだものとなる。図１８の（ｄ）は上記結果例を
示す。背景画像については左方向の動きベクトルが現れ
る。また、車の画像領域については視差分の動きベクト
ルが現れる。 [ステップＳ１３]右画像フレームｍ＋１（Ｒ）を受信す
る。

【００７２】[ステップＳ１４]左画像フレーム番号ｍ
（Ｌ）に対する右画像フレーム番号ｍ＋１（Ｒ）の動き
ベクトルをブロック毎に求める。図１８の（ｅ）はその
結果例を示す。背景画像については、（ｄ）と同様に左
方向の動きベクトルが現れる。一方、車の画像領域につ
いては、（ｄ）とは逆方向の視差分の動きベクトルが現
れる。

【００７３】[ステップＳ１５]図１８の（ｄ）の動きベ
クトルと、同図（ｅ）の動きベクトルとについて、ブロ
ック毎の平均値を求める。等速運動をする物体について
は視差分がキャンセルされるためこのようにする。図１
８の（ｆ）はその結果を示している。背景画像について
は左方向の動きベクトルが現れ、車の画像に関しては動
きベクトルが０となる。

【００７４】[ステップＳ１６]得られた動きベクトルの
平均を用いて第１実施形態と同様の注視予測領域の決定
を行なう。図１８の場合には、等速運動をする物体につ
いては視差分がキャンセルされるため動きベクトルが０
値である領域を注視予測領域とする。

【００７５】[ステップＳ１７]図１８の（ｄ）の動きベ
クトルから同図（ｅ）の動きベクトルをブロック毎に差
分し１／２にする。こうすることにより背景に関する動
きがキャンセルされ、視差ベクトルが現われる。図１８
の（ｇ）はその結果を示している。図示の如く背景画像
についてはベクトル値が０となり、車の画像に関しては
右方向の視差ベクトルが現れる。この視差ベクトル値が
車の画像の奥行き情報となる。この後のステップは第１
実施形態の場合と同じであるため説明を省略する。

【００７６】図１９は第３実施形態における立体画像処
理装置の内部構成を示すブロック図である。フィールド
毎に交互に受信した左右画像信号はＡ／Ｄ変換器５０に
よりＡ／Ｄ変換されたのち、メモリ1、メモリ2、メモリ
3に記憶されていく。

【００７７】今、時刻ｍにおいて、メモリ1にはフィー
ルド画像ｍ（Ｌ）が記憶され、メモリ2にはフィールド
画像ｍ−１（Ｒ）が記憶されており、そして次のフィー
ルド画像ｍ＋１（Ｒ）がメモリ3に記憶されるものとす
る。三つのメモリのうち二つのメモリが選択され、その
内容が動きベクトル検出部３６へ出力される。

【００７８】時刻ｍにおいては、メモリ1とメモリ2とが
選択され、読み出された画像信号が動きベクトル検出部
３６に入力する。動きベクトル検出部３６は、選択され
た二つのメモリの画像における動きベクトルを検出して
出力する。この出力された動きベクトルは第１動きベク
トルメモリ５１に記憶される。次の時刻ｍ＋１になる
と、メモリ1とメモリ3とが選択され、両画像の動きベク
トルが検出される。この検出された動きベクトルは第２
の動きベクトルメモリ５２に記憶される。

【００７９】次に、第１，第２の動きベクトルメモリ５
１，５２に記憶されている各動きベクトルの信号は、動
きベクトル加算器５３へ出力される。動きベクトル加算
器５３で加算された結果は、注視予測領域決定部３７へ
出力される。注視予測領域決定部３７は、図１４に示す
第１実施形態の構成ブロック図における注視予測領域決
定部３７と同じ働きをする。注視予測領域決定部３７
は、演算結果が相対的に特異な値を示す領域を識別し、
その領域のブロック番号を視差演算部３９へ出力する。

【００８０】一方、第１，第２の動きベクトルメモリ５
１，５２に記憶されている各動きベクトルは、動きベク
トル減算器５４にも出力される。この動きベクトル減算
器５４による減算結果は視差演算部３９へ出力される。
視差演算部３９では、注視予測領域決定部３７から受信
したブロック番号における動きベクトルと動きベクトル
減算器５４から受信した減算の結果とに基づいて視差を
決定する。決定された視差信号は、シフト量演算部４０
へ出力され、シフト量が演算される。この演算されたシ
フト量に応じて、メモリ1〜メモリ3に記憶されている画
像が、表示用読み出し制御部５５によってシフトされた
状態で読み出される。読み出された画像は、Ｄ／Ａ変換
器５６でＤ／Ａ変換された後、切替え器５７によりフィ
ールド毎に左表示素子と右表示素子への出力に切替られ
て送出される。

【００８１】第３実施形態においては、フィールド順次
立体画像に対応する如く構成されており、第１実施形態
における相関演算部３８の働きを、動きベクトル検出部
３６が兼ねた構成となっているため、全体のブロック数
が少なくて済み、安価に製作できるという利点を持つ。

【００８２】「第４実施形態」（視線動きベクトルを利
用） 第４実施形態は、第１実施形態の一部を変形し、動画像
間の動きベクトルと観察者の視線の動きベクトルとを検
出し、両者の比較から注視予測領域を決定するようにし
た例である。

【００８３】観察者の視線の動きベクトルを検出する方
法として、ＨＭＤ３に設けた視線検出器を利用する。た
だしこの視線検出器は、従来用いられていたような、視
線の絶対座標を調べるのものではなく、視線の相対的な
変動を検出する目的で用いるものである。よって高精度
なものである必要はなく、また、視線の絶対座標を割り
出すためのキャリブレーション等も不要である。

【００８４】図２０は第４実施形態の動作を示すフロー
図である。図３に示した第１実施形態の動作を示すフロ
ー図との比較から分かるように、「観察者の視線の動き
ベクトルの検出」（ステップＳ２３）が新たに加わった
ことと、「立体画像の奥行き制御」（ステップＳ５）の
代わりに「視距離と輻輳距離との合致制御」（ステップ
Ｓ２６）が加わったことの二点が大きく異なるだけで他
はほぼ同様である。

【００８５】第１実施形態の場合と同様に、まず動きベ
クトルを検出し、同時に観察者の視線の動きベクトルを
検出する。そして全体の動きベクトルの中で、視線の動
きベクトルと同じベクトルを有する画像領域を決定し、
この画像領域を注視予測領域とする。

【００８６】尚、ステップＳ２３における「観察者の視
線の動きベクトルの検出」は、視線方向角の変化Δθを
精度よく検出することは比較的容易であるが、視線方向
の絶対値を検出することは困難である。したがって本実
施形態では、上記Δθに相応する動きベクトルが、画面
内のブロックのいずれの位置に対応するかに基づいて注
視予測領域を特定することにした。この結果、例えば図
２１の（ｃ）に示すような動きベクトルが現れる。

【００８７】次に、フレーム間での視線の動きベクトル
を検出する。その検出の結果、視線の動きベクトルが、
例えば図２１の（ｄ）に示す如く右向きであれば、図２
１の（ｃ）に示す如く、注視予測領域は動きベクトルが
右向きの領域となる。

【００８８】第４実施形態における立体画像処理装置の
内部構成を示すブロック図は、図１４の左上に、一点鎖
線で囲ったブロック６０（視線検出器６１からの信号を
視線ベクトル演算部６２で演算して出力するブロック）
が付加された状態の全体ブロック図に相当するものとな
る。

【００８９】第４実施形態は、第１実施形態のように画
像のみから注視予測領域を決定するのではなく、視線の
動きを検出する視線検出器６１を用いて注視予測領域を
決定するように構成されているので、注視する領域が観
察者によって大きく変わる場合であっても、より的確に
対応できるという利点を持つ。

【００９０】「第５実施形態」（周辺のみの動きベクト
ル） 第５実施形態は、第１実施形態の一部を変形し、動きベ
クトルを画像の周辺のみについて検出し、画像周辺にお
いて、一部だけ動きベクトルの異なる領域がある場合に
は、その領域を注視予測領域となし、ない場合には画面
中央を注視予測領域とするものである。

【００９１】図２２は第５実施形態の動作を示すフロー
図である。また、図２３は上記フロー図の説明に用いる
処理画像例を示す図である。 [ステップＳ３１]左右画像信号を、例えば図２３の
（ａ）（ｂ）（ｃ）（ｄ）の順で順次受信する。 [ステップＳ３２]画像中央領域内の画像に対する奥行き
距離を演算する。図２３の（ｅ）（ｆ）に示すように、
左右画像の中央領域の画像を用いて相関演算を行ない、
視差1を求める。 [ステップＳ３３]画像領域の周辺画像についてのみ、動
きベクトルを検出する。図２３の（ｇ）に示すような動
きベクトルが表れる。

【００９２】[ステップＳ３４]第１実施形態の注視予測
領域決定と同じ処理を用い注視予測領域を選定する。す
なわち周辺画像領域内における特異な動きベクトルを示
す領域を特定（判定）する。図２３の（ｇ）における点
線で囲んだ部分が注視予測領域となる。 [ステップＳ３５]第１実施形態の場合と同様に、上記注
視予測領域に関する奥行き距離を演算する。図２３の
（ｈ）（ｉ）に示すように、相関演算を行ない視差2を
求める。 [ステップＳ３６]ステップＳ３２で得られた画像中央奥
行き距離と、ステップＳ３５で得られた注視予測領域奥
行き距離とに基づいて、立体画像の奥行き制御値を決定
する。その決定方法としては、図１０に示した決定方法
と同じ方法を用いる。

【００９３】尚、ステップＳ３４で、一部だけ動きベク
トルの異なる画像領域が見つからなかった場合には、画
像中央の奥行き距離をもって奥行き制御を行なう。ま
た、ステップＳ３４で、一部だけ動きベクトルの異なる
画像領域が見つかった場合には、図２３に示した二つの
視差値、つまり視差1と視差2とを用い、以下の三つの方
法により最終視差値を求める。 (1)観察者からみて手前側にある画像を注視するであろ
うという判断に基づいて、視差の大きい方を最終的な視
差とする。 (2)どちらも見ている場合もあり得るため、そのような
ケースに対応する為、複数の視差の平均値を最終的な視
差とする。 (3)相関比較においてマッチングの度合いが高い方、は
っきりした画像部分に注目するであろうという判断に基
づき、視差を求める際の相関ピークが大きい方の視差を
最終的な視差とする。 この後の処理は第１実施形態の場合と同じである。

【００９４】図２４は第５実施形態における立体画像処
理装置の内部構成を示すブロック図である。図１４に対
して以下の点が異なっている。

【００９５】一対のＡ／Ｄ変換器３２，３３によるＡ／
Ｄ変換後の左右画像信号がそれぞれ二つに分岐される。
そして一方の左右画像信号は、図１４の場合と同じ処理
が行なわれる。ただし動きベクトル検出は周辺画像につ
いてのみ行なわれる。周辺画像の動きベクトル検出部３
６は周辺部データの抽出と、抽出したデータ値の比較
（動き検出）との双方を行なう。すなわち動きベクトル
検出部３６は、メモリ1〜メモリ3から周辺画像信号のみ
を受信し、動きベクトルを検出した後、注視予測領域決
定部３７へ供給される。

【００９６】他方、分岐されたもう一方の左右画像信号
は、画像中央抽出部７１によって画像中央の画像信号の
みを抽出される。抽出された画像中央の画像信号は、相
関演算部７２に入力し、画像中央のみについての左右画
像の相関演算が行なわれる。その結果は視差演算部３９
に出力される。視差演算部３９では、上記相関演算部７
２および図１４で説明した相関演算部３８からの相関演
算の結果を用い、前述した決定方法により最終視差値を
決定する。この後の処理は第１実施形態の場合と同じで
ある。

【００９７】本実施形態では、画像周辺部だけの動きベ
クトルの検出と、最も注視する確率の高い画像中央部の
奥行き距離の演算とが同時平行して行なわれることか
ら、全体の処理時間を大幅に短縮できるという利点があ
る。また、本実施形態においては前記最終視差値を求め
る三つの方法(1)(2)(3)が加味された注視予測領域の弁
別が行なわれる為、より目的に合致した判別がなされ得
る利点がある。

【００９８】「第６実施形態」（精度の低い視線検出器
で選択） 第６実施形態は、第１実施形態の一部を変形し、注視予
測領域決定において、動きベクトルの異なる領域が複数
存在する場合に、視線検出器での観察者の視線信号を用
いて、複数のうちどれかを決定する。ここで用いる視線
検出器は、絶対座標として視線位置が可能であるが，検
出角度精度が±５°程度のかなり低い精度のものでも使
用可能である。

【００９９】図２５の（ａ）〜（ｃ）に示すように、動
きベクトルの異なる二つの領域Ｍ，Ｎがある場合におい
て、観察者が同図（ｄ）に示すように、画面中央下部を
見ているという情報を精度の低い視線検出器（例えば角
度精度±５°程度のもの）で検出したとき、当該画面中
央下部の領域内にある方の動きベクトルを選択するもの
である。

【０１００】本実施形態は、第１実施形態のように画像
だけから注視予測領域を決定するものではないので、注
視する領域が観察者によって大きく変わる場合において
も、的確に対応できるという利点を持つ。

【０１０１】「第７実施形態」本実施形態では、第１実
施形態で用いた動きベクトルの代わりにエッジ差分画像
を用い、画面中において一部だけ画像の変化が異なる領
域を求め、その領域を観察者が注視するであろうと予測
する。その後、第１実施形態と同様に注視予測領域内に
ある画像の奥行き距離を求め、立体画像観察における視
距離と輻輳距離とが合致するように制御する。

【０１０２】この第７実施形態に係る立体画像表示装置
の構成（概要）は、図１及び図２に示した第１実施形態
の構成と同じなので、その説明は省略する。

【０１０３】図２６は第７実施形態の動作を示すフロー
図である。このフロー図は、図１に示す立体画像生成装
置１から左右画像が出力されたのち、立体画像処理装置
２による画像処理、およびＨＭＤ３による画像表示動作
までを示すものである。以下他の図も適時参照しながら
本実施形態の装置の動作を説明する。

【０１０４】[ステップＳ４１]立体画像生成装置１から
出力された左右画像信号は、立体画像処理装置２に順次
受信される。今、第１実施形態と同様に、図４の（ａ）
（ｂ）に示す左画像フレームｍ−1（Ｌ）と右画像フレ
ームｍ−1（Ｒ）を受信した後、同図の（ｃ）（ｄ）に
示す左画像フレームｍ（Ｌ）と右画像フレームｍ（Ｒ）
とを受信したとする。これらの画像は既に説明したよう
に、自動車は画面上の所定位置にあって動かず背景のみ
が移動する画像である。

【０１０５】[ステップＳ４２]立体画像処理装置２は受
信した画像を順次エッジ抽出を行ない、エッジ画像を生
成する。図２７の（ａ）（ｂ）（ｃ）（ｄ）は、それぞ
れ図４の（ａ）（ｂ）（ｃ）（ｄ）に対応するエッジ画
像である。これらのエッジ画像は２値化されており、エ
ッジ部分が「１」で、それ以外が「０」である。 [ステップＳ４３]フレーム間におけるエッジ画像の変形
部分を検出する。検出方法として、現フレームのエッジ
画像から前フレームのエッジ画像を減算し差分画像を生
成する。ここで差分の結果、負の値となるものは０値と
する。

【０１０６】図２７の場合は、同図（ｃ）の左画像フレ
ームｍ（Ｌ）のエッジ画像から同図（ａ）の左画像フレ
ームｍ−1（Ｌ）を減算する。同図（ｅ）は減算により
得られた画像を示している。同図（ｅ）に示す如く、静
止した車の画像は消える。また、結果がマイナスになる
ところの画像も消える。また、右画像フレームについて
も同様に、同図（ｄ）の右画像フレームｍ（Ｒ）のエッ
ジ画像から同図（ｂ）の右画像フレームｍ−1（Ｒ）を
減算する。同図（ｆ）は減算により得られる画像を示し
ている。どちらも背景画像に関するエッジ画像が抽出さ
れている。ステップＳ４３の処理により生成される画像
を、本実施形態では「変形エッジ画像」と呼ぶことにす
る。

【０１０７】[ステップＳ４４]このステップＳ４４で
は、フレーム間において変形していない部分の検出を行
なう。その検出方法としては、現フレームのエッジ画像
からステップＳ４３で検出した変形エッジ画像を減算
し、差分画像を生成する。図２７の（ｇ）（ｈ）はそれ
ぞれ同図（ｃ）から（ｅ）を減算した画像と、同図
（ｄ）から（ｆ）を減算した画像である。どちらも自動
車に関するエッジ画像が抽出されている。ステップＳ４
４の処理によって生成される画像を、本実施形態では
「固定エッジ画像」と呼ぶことにする。

【０１０８】[ステップＳ４５]このステップＳ４５は第
１実施形態のステップＳ３の注視予測領域の決定に相当
する。本実施形態では、ステップＳ４３で求めた変化エ
ッジ画像と、ステップＳ４４で求めた固定エッジ画像の
うち、どちらに観察者が注目する画像情報が入っている
かを予想する。その予想は、エッジが一箇所に集中して
いる方を注視するものと予測する方法を用いて行なう。

【０１０９】具体的な処理方法としては、「１」の値を
示す点の画像内での分布状況を検出する。しかるのち変
形エッジ画像と固定エッジ画像のいずれの分布の広がり
が小であるかを判別する。これは分布の小さい方が画面
内における特異な領域である蓋然性が高いとの思想に基
づいている。そこで分布の広がりの小さい方を選ぶ。分
布の広がりがほぼ同じ場合には平均値がより画像中央座
標に近い方を選ぶ。

【０１１０】図２８の場合には、同図（ｅ）と（ｇ）を
比較し、（ｇ）の方がエッジの分布の広がりが小さいの
で、固定エッジ画像である（ｇ）を選択する。同様に右
画像についても同図（ｆ）と（ｈ）を比較し、（ｈ）の
方がエッジの分布の広がりがが小さいので、固定エッジ
画像である（ｈ）を選択する。勿論、図２８のように自
動車が画面上を移動する画像の場合には、変形エッジ画
像である同図（ｅ）又は（ｆ）を選択する。

【０１１１】このように変形エッジ画像又は固定エッジ
画像を選択し、選択したエッジ画像における上記平均座
標値を中心とした予め定めた面積の領域を注視予測領域
とする。

【０１１２】図２７の場合には、同図（ｇ）（ｈ）に示
した点線で囲んだ領域を注視予測領域とする。また、変
形エッジ画像と固定エッジ画面とのいずれかのデータ数
の総和（例えば小区分毎に弁別するときの全画面につい
て「１」となる箇所の総和）が予め設定したデータ数よ
りも少ない場合には、他方の画像を選択する。つまり少
ない方の画像は判断の基礎として用いない。これは画面
全体が一様に変化している場合や静止画の場合に適応可
能とする為である。

【０１１３】例えば、図２９に示すように、画面が一様
に変化する場合には、変形エッジ画像である同図（ｅ）
（ｆ）は、ほぼ現フレームのエッジ画像（ｃ）（ｄ）と
同じであり、固定エッジ画像である（ｇ）（ｈ）はエッ
ジが現れない。この場合には（ｇ）（ｈ）のデータ数の
総和は小さいので変形エッジ画像である（ｅ）（ｆ）が
選択される。

【０１１４】一方、図３０に示すような静止画の場合に
は、図２９とは逆になる。すなわち変形エッジ画像であ
る（ｅ）（ｆ）はエッジが現れない。この場合には、固
定エッジ画像である（ｇ）（ｈ）が選択される。

【０１１５】このように変形エッジ画像か固定エッジ画
像かを選択し、選択したエッジ画像において予め定めて
ある画面中央領域を注視予測領域とする。前記した図２
９の場合は、（ｅ）（ｆ）の点線で囲んだ領域が注視予
測領域である。

【０１１６】図３１は、上述したステップＳ４５におけ
る画像選択操作を示すフロー図である。本実施形態のよ
うに変形エッジ画像と固定エッジ画像とを生成し、いず
れを注視するかについて自動認識することにより、上記
のような各種画像に幅広く対応できる。

【０１１７】図２６に説明を戻す。 [ステップＳ４６]ステップＳ４５で選択した方の画像に
ついて奥行き距離を求める。奥行き距離の求め方は第１
実施形態のステップＳ４と同様である。 [ステップＳ４７]奥行き距離の信号に基づいて視距離と
輻輳距離とが合致するように制御する。この制御の方法
は第１実施形態のステップＳ５と同様である。 [ステップＳ４８]左右画像を表示する。第１実施形態の
ステップＳ６と同じである。以下、これらステップＳ４
１〜Ｓ４８までを繰り返す。

【０１１８】図３２は第７実施形態における立体画像処
理装置の内部構成を示すブロック図である。尚、図３２
において、二点鎖線枠で囲んだ左右画像に対応する前処
理部は同じ構成であるため、右画像側内部構成の図示を
省略した。

【０１１９】立体画像生成装置１から到来した左右画像
信号は、一方においてＡ／Ｄ変換器３２，３３によりＡ
／Ｄ変換されたのち、前処理部８０，９０に入力する。
上記左右画像信号から分離された同期信号は、各ブロッ
クの処理タイミングを制御するためのタイミング制御部
３１へ供給される。

【０１２０】前処理部８０に入力した左画像信号は、ス
イッチ３４により各フレーム毎にスイッチングされて、
メモリ1〜メモリ3のいずれかに記憶される。このため各
メモリには１フレーム毎に異なった画像が記憶される。
時刻ｍにおいて、メモリ1には左画像ｍ（Ｌ）が記憶さ
れ、メモリ2には左画像ｍ−１（Ｌ）が記憶されたとす
る。又メモリ3には次のフレーム左画像ｍ＋１（Ｌ）が
記憶されるものとする。右画像についても左画像と同じ
である。（ステップＳ４１に相当）

【０１２１】次に、メモリ1〜メモリ3から読み出された
各画像は、スイッチ８１を介してエッジ処理部８２へ順
次入力し、ここでエッジ画像が生成される。上記エッジ
処理は、前述したようにエッジ部分を「１」、それ以外
を「０」とする２値化処理である。生成されたエッジ画
像は、変形エッジ画像生成部８３と固定エッジ画像生成
部８４へと出力される。（ステップＳ４２に相当）

【０１２２】変形エッジ画像生成部８３では、順次受信
されるエッジ画像を用いて、エッジ画像の減算を行な
う。時刻ｍにおいては、変形エッジ画像生成部はｍ−１
（Ｒ）のエッジ画像を記憶しており、今受信したｍ
（Ｒ）のエッジ画像からこのｍ−１（Ｒ）のエッジ画像
を減算する。この減算したエッジ画像信号を固定エッジ
画像生成部８４と注視予測領域決定部８５へ出力する。
（ステップＳ４３に相当）

【０１２３】固定エッジ画像生成部８４では、順次受信
するエッジ画像について、変形エッジ画像生成部８３か
ら順次受信する変形エッジ画像を減算し，固定エッジ画
像を生成する。生成された固定エッジ画像は注視予測領
域決定部８５へ出力される。（ステップＳ４４に相当）

【０１２４】注視予測領域決定部８５では、変形エッジ
画像と固定エッジ画像とを用いて注視予測領域を決定す
る。この注視予測領域決定部８５では、図３１に示すフ
ローに基づいた注視予測領域の演算が行なわれる。結果
として、注視予測領域のエッジ画像が相関演算部３８へ
出力される。右画像においても同様の処理が行なわれ右
画像の注視予測領域のエッジ画像が相関演算部３８へ出
力される。（ステップＳ４５に相当）

【０１２５】相関演算部３８では、左右のエッジ画像の
相関演算が行なわれる。この相関演算は、第１実施形態
の相関演算と同じであるため説明を省略する。結果とし
て、相関シフト量に対する相関値が視差演算部３９へ出
力される。視差演算部３９では、第１実施形態と同様の
作業を行ない最終的な視差値を求める。視差値はシフト
量演算部４０へ出力される。（ステップＳ４６に相当）

【０１２６】シフト量演算部４０は、第１実施形態と同
様に、式（５）（６）の演算を行なって、左画像用シフ
ト量と右画像用シフト量とを求め、各シフト量を左右そ
れぞれの画像読み出し制御部４１，４２へ出力する。各
画像読み出し制御部４１，４２は、各メモリ内の画像信
号をシフト量分だけシフトして読み出す。（ステップＳ
４７に相当）

【０１２７】この様にシフトして読み出された左右画像
信号は、Ｄ／Ａ変換器４３，４４によりＤ／Ａ変換され
たのち、ＨＭＤ３内の左右表示素子に供給され表示され
る。（ステップＳ４８に相当）

【０１２８】第７実施形態は、エッジ画像の差分を検出
し、画面中において一部だけ画像の変化が異なる領域を
求め、その領域内にある画像の奥行き距離を求め、立体
画像観察における視距離と輻輳距離とが合致するよう制
御するものである。本実施形態によれば、視線検出器を
用いる必要がないので装置全体を小型にでき、安価に製
作し得る。また、本実施形態では差分演算処理を用いる
ので、動きベクトルを用いる第１実施形態に比べると、
処理時間が速いという利点がある。

【０１２９】「第８実施形態」（固定・変形ともに視差
を求める） この第８実施形態は、第７実施形態の一部を変形した例
である。前記第７実施形態では、変形エッジ画像と固定
エッジ画像との選択において、エッジデータ値が一箇所
に集まっている方を選んだが、この第８実施形態では、
変形エッジ画像に関する視差と、固定エッジ画像に関す
る視差とを比較し、その比較結果を最終的な視差とする
ものである。

【０１３０】図３３を用いて説明する。同図の（ｅ）
（ｆ）で示した変形エッジ画像と、同図の（ｇ）（ｈ）
で示した固定エッジ画像とを導くところまでは、第７実
施形態と同じである。次に左右の変形エッジ画像を相関
演算して視差を求めると共に、左右の固定エッジ画像を
相関演算して視差を求める。そして、求めた二つの視差
値を用いて最終的な視差量を決定する。その決定は以下
に示す如く第７実施形態の場合と同様の決定方法によ
る。

【０１３１】(1)視差の大きい方を最終的な視差とす
る。つまり近方の視差を選択する。図３３の場合には、
固定エッジ画像の視差を最終的視差とする。 (2)変形エッジ画像の視差と固定エッジ画像の視差との
平均値を最終的な視差とする。 (3)視差を求める際の相関ピークの大きい方の視差を最
終的な視差とする。背景画像のようにデータ値が画面全
体に散らばっている場合には、左右画像の相関ピークは
小さくなる。一方、コントラストがはっきりしている画
像領域や、一箇所にデータ値が集まっている場合には、
相関ピークは高くなる。よって観察者は後者の方を注視
すると予測し、相関ピークの高い方の画像の視差を最終
的な視差とする。図３３の場合には、固定エッジ画像の
視差を最終的視差とする。

【０１３２】図３４は第８実施形態における立体画像処
理装置の内部構成を示すブロック図である。尚、左右画
像ともに変形エッジ画像と固定エッジ画像とを求めるま
では、第７実施形態におけるブロック図と同じである。
その後、左右の変形エッジ画像を受信し相関を行なう変
形エッジ画像相関演算部１０１と、左右の固定エッジ画
像を受信し相関を行なう固定エッジ画像相関演算部１０
２とが、第７実施形態の注視予測領域決定部６５および
相関演算部３８の代わりに加わっている。

【０１３３】第８実施形態においては、注視予測領域決
定とその後の相関演算作業を行なう代わりに、二つの相
関演算作業を同時に並行して行なえるので、処理時間が
速くなるという利点がある。

【０１３４】「第９実施形態」（太線エッジ画像を用い
て変化の大きさを分別） この第９実施形態は、第７実施形態の一部を変形したも
のである。この第９実施形態では、動画像の中から変化
のない画像と、少し変化する画像と、大きく変化する画
像との三つの画像を抽出して分割する。そして三つの画
像から観察者が注視するであろう画像を選択する。その
方法を実行するために、エッジ画像として新たにエッジ
線の太いエッジ画像を追加生成する。

【０１３５】図３５はその画像例である。同図の（ａ）
（ｂ）（ｃ）（ｄ）は、それぞれ受信したｍ−１（Ｌ）
画像、ｍ−１（Ｒ）画像、ｍ（Ｌ）画像、ｍ（Ｒ）画
像、の各エッジ画像である。ここで画像内の円は動きの
ない画像であり、自動車画像は画像間で大きな変化のあ
る画像であり、それ以外の背景画像は画像間で少し変化
する画像である。また、同図の（ｅ）（ｆ）（ｇ）
（ｈ）は、同図の（ａ）（ｂ）（ｃ）（ｄ）の各エッジ
画像を、公知の太線化処理によって太線化した画像であ
る。

【０１３６】次に、通常のエッジ画像を用いて画像間で
変化のないエッジ画像を生成する。生成方法としては、
通常のエッジ画像間の乗算を行なう。図３５の場合に
は、同図の（ａ）と（ｃ）との乗算を行ない、結果とし
て同図（ｉ）を得る。変化のない画像部分は乗算しても
値は「１」となり、変化のある画像部分は乗算すると値
は「０」となり、結果として変化のないエッジ画像部分
だけが抽出される。結局ここでは円のエッジ画像だけが
残る。同様に、同図の（ｂ）と（ｄ）の乗算を行ない、
結果として同図の（ｊ）を得る。ここで生成した画像を
固定エッジ画像と呼ぶことにする。

【０１３７】次に、現フレームの太線化エッジ画像から
前フレームの太線化エッジ画像を減算し、差分画像を生
成する。差分の結果、負の値となるものは０値とする。
図３５の場合、同図（ｇ）に示したフレームｍ（Ｌ）の
太線化エッジ画像から，同図（ｅ）に示したフレームｍ
−１（Ｌ）の太線化エッジ画像を減算する。この減算の
結果得られる画像は同図（ｋ）に示すものとなる。つま
り減算の結果として、動きのないエッジ画像は消去さ
れ、動きが大きい画像ほどエッジ線の太い画像が得られ
る。これは動きが大きいほど両画像のエッジのずれが大
きくなるためである。又右画像フレームについても同様
の処理を行なうことにより、同図の（ｌ）に示す画像が
得られる。

【０１３８】次に、太線化エッジ画像の差分画像を、予
め定めたエッジ線幅を基準として、エッジ線の幅の違い
により二つに分別する。太線化エッジ画像による動き検
出では、その線幅内での微細な動きに関しては動き幅を
含んだ情報（もとの線幅に対し減算によりオーバラップ
部については減じられるが、残る線幅部分があるため、
この線幅で微細な動きの程度を計り知ることができる）
を得ることができる。第７実施形態のように、細線のみ
で動き検出を行なうと、微細な動きに対しても直ちに対
応するエッジ部（細線）のオーバラップ状態から抜け出
るために、太線同士のオーバラップ部は生じず、動き幅
（程度）に関する情報は得られないことになる。

【０１３９】図３５の（ｋ）の画像の中からエッジ線の
細い画像部分だけを抽出することにより、同図の（ｍ）
が得られる。また、エッジ線の画像部分だけを抽出する
ことにより、同図の（ｏ）が得られる。エッジ線の細い
画像は、少し変化のある画像であり、ここでは小変形エ
ッジ画像と呼ぶ。他方、エッジ線の太い画像は、大きな
変化のある画像であり、ここでは大変形エッジ画像と呼
ぶ。右画像についても同様の処理を行なうことにより、
同図の（ｎ）及び（ｐ）が得られる。

【０１４０】次に、上述の如く得られた固定エッジ画像
と、小変形エッジ画像と、大変形エッジ画像とを用い
て、第７実施形態におけるステップＳ４５と同じ処理を
行なうことにより、注視予測領域を決定する。図３５の
場合には大変形エッジ画像が選択される。後の処理は第
７実施形態と同じである。

【０１４１】図３６は第９実施形態における立体画像処
理装置の内部構成を示すブロック図である。第７実施形
態におけるブロック図（図３２）と異なる点は、変形エ
ッジ画像生成部８３の代わりに、エッジ線太線化部１１
１と、差分画像生成部１１２と、エッジ線幅検出部１１
３と、小変形エッジ画像生成部１１４と、大変形エッジ
画像生成部１１５とが組み込まれている点である。第９
実施形態においては、画像を、固定エッジ画像と、小変
形エッジ画像と、大変形エッジ画像との３種類に分別し
た例を示したが、エッジ線幅の分別判断を更に細かく
し、４種類、５種類〜…と増やしても良い。すなわち図
３６に示されている小変形エッジ画像生成部１１４およ
び大変形エッジ画像生成部１１５を、「小変形エッジ画
像生成部」「中変形エッジ画像生成部」「大変形エッジ
画像生成部」〜…という具合に増設する事により実現可
能である。このようにエッジ画像の種類を増やすほど、
画像の変化の大きさをより細かく分別することが可能と
なる。

【０１４２】第９実施形態によれば、画像の変化の大き
さに応じて画像を分別することができるため、注視予測
領域をより正確に決定することが出来る。

【０１４３】「第１０実施形態」（ラインメモリ） この第１０実施形態は第７実施形態の一部を変形したも
のである。第１０実施形態では、第７実施形態と同様の
シフト量演算結果に応じて画像データ伝送路に介挿され
たラインメモリの読み出しタイミングを制御する事によ
って、左右各出力段のＤ／Ａ変換器に供給される当該画
像データに対し、所要の視差に対応したシフトを与え
る。

【０１４４】図３７は第１０実施形態における立体画像
処理装置の内部構成を示すブロック図である。この実施
形態では画像信号そのものを記憶しておく必要がないの
で、第７実施形態で必要としたメモリ1〜メモリ3が不要
となる。その代わり画像シフトを行なう為のラインメモ
リ１２０を用意する必要がある。画像信号は二つに分岐
され、一方はエッジ処理部へ供給され、もう一方はライ
ンメモリ１２０へ供給される。そして第７実施形態と同
様の処理が行なわれ、求めたシフト量の信号は左右表示
用画像読み出し制御部４１，４２に出力される。ここで
ラインメモリ１２０に記憶されているのは画像ｍではな
く数フレーム後の画像である。

【０１４５】第１０実施形態は、視差が大きく変化しな
い立体画像に対しては有効である。そしてメモリとして
はラインメモリ１２０だけでよいので安価に製作できる
という利点をもつ。尚、全実施形態において、立体画像
処理装置２の左右画像信号を直接立体画像表示器３に出
力するのみならず、一旦、記録媒体に左右画像信号を記
録して、その後、この記録媒体中の左右画像信号を読み
出して立体画像表示器３で表示しても良い。

【０１４６】以下、前述実施形態に示された本発明の構
成と効果を列挙する。

【０１４７】［１］（全実施形態に対応） （構成）立体画像を表わす信号の供給を受けるための入
力手段（３１，３２，３３，メモリ等）と、上記入力手
段により受けた信号による立体画像の経時的な変化を検
出する画像変化検出手段（３６）と、上記画像変化検出
手段による検出結果に基づいて画像領域中の特定の部分
領域を観察者が注視する蓋然性の高い領域として指定す
る注視予測領域決定手段（３７）と、上記注視予測領域
決定手段によって指定される特定の部分領域内に表示さ
れる画像の奥行きを表わす情報を得る奥行き検出手段
（３８，３９）と、上記奥行き検出手段により得た画像
の奥行きを表わす情報に基づいて、上記入力手段により
受けた信号による立体画像の奥行きに係る量を制御する
奥行き制御手段（４０）と、上記奥行き制御手段によっ
て上記奥行きに係る量が制御された立体画像を表わす信
号を適用された立体画像表示手段（３）に被表示立体画
像信号として出力し得る出力手段（４１，４２）と、を
備えてなることを特徴とする立体画像表示装置。

【０１４８】（効果）立体動画像の経時的変化が検出さ
れ、その変化に基づいて観察者が注視するであろう画像
領域が決定され、その画像領域内にある像の奥行き情報
から立体動画像の奥行きが制御されるので、検出精度の
高い視線検出器を使うことなしに観察者にとって見やす
い立体動画像が得られる。

【０１４９】［２］（第１〜第３実施形態および第５〜
１０実施形態に対応） （構成）前記注視予測領域決定手段は、前記画像変化検
出手段による検出結果に基づいて被検出画像全体の中で
特異な検出結果が得られる特定の部分領域が存在すると
きには当該特定の部分領域を当該注視予測領域として指
定し、特異な検出結果が得られる特定の部分領域が存在
しないときには予め設定した所定領域を当該注視予測領
域として指定するように構成されたものであることを特
徴とする［１］に記載の立体画像表示装置。

【０１５０】（効果）画像の中で像の変化が異なる領域
が検出され、その領域が注目されるものと予測されるの
で、いろいろなシーン（画像が一部動いている、画像が
一部変化していない、一様に変化する、静止画）にも適
切に対応できる。 ［３］（第１〜第３実施形態および第５、第６実施形態
に対応）

【０１５１】（構成）前記画像変化検出手段は、被検出
画像全体を複数の各小領域に分割してなる該複数の各小
領域毎に、画像の経時変化を検出する画像動き量検出手
段を有してなり、且つ前記注視予測領域決定手段は、前
記複数の小領域のうち画像変化検出手段によって検出さ
れる画像の経時変化の値が特異な値を示す小領域を当該
注視予測領域として指定するように構成されたものであ
ることを特徴とする［２］に記載の立体画像表示装置。

【０１５２】（効果）画像の中で像の変化が異なる領域
を検出し、その領域を注視予測領域と定めるので、いろ
いろなシーン（画像が一部動いている、画像が一部変化
していない）にも適切に対応できる。

【０１５３】［４］（第４実施形態に対応） （構成）前記画像変化検出手段は、被検出画像全体を複
数の各小領域に分割してなる該複数の各小領域毎に画像
の経時変化を表わす動きベクトルを検出する動きベクト
ル検出手段を有してなり、且つ、前記注視予測領域決定
手段は、前記複数の小領域のうち前記画像変化検出手段
によって検出される自己の動きベクトルが適用された視
線検出手段によって検出された観察者の視点の動きを表
わす視点動きベクトルに、実質的に等しい小領域を当該
注視予測領域として指定するように構成されたものであ
ることを特徴とする［１］に記載の立体画像表示装置。

【０１５４】（効果）観察者の視点の変化を検出する手
段と、画像の変化を検出する手段とから注視領域が検出
されるので、観察者の個人差にも十分適応して注視領域
を決定することができる。

【０１５５】［５］（第７実施形態に対応） （構成）前記画像変化検出手段は、前記被検出画像全体
の中で画像の経時変化が認められる変化領域と該経時変
化が認められない無変化領域とに区分する画像領域区分
手段を備えてなり、且つ、前記注視予測領域決定手段
は、上記変化領域と無変化領域とを比較してこれら双方
の領域のうち何れかの領域を当該注視予測領域として指
定するように構成されたものであることを特徴とする
［１］に記載の立体画像表示装置。

【０１５６】（効果）画像の中での像の変化量によって
領域が分解され、その分解された領域のいずれを注視す
るかが予測されるので、いろいろなシーン（画像が一部
動いている、画像が一部変化していない）にも適切に対
応できる。

【０１５７】以上の他、本願における種々の局面で見た
発明を以下列挙する。

【０１５８】（１）請求項１の「奥行きに係る量」に関
して（上記記載項目「００４１」に対応）：上記奥行き
制御手段は、上記奥行きに係る量としての上記被表示立
体画像信号による左眼用画像と右眼用画像との視差を制
御対象とした制御動作を行うものであることを特徴とす
る請求項１記載の立体画像表示装置。

【０１５９】（２）請求項１の「奥行きに係る量」に関
して（上記記載項目「００３７」に対応）：上記奥行き
制御手段は、上記奥行きに係る量としての上記被表示立
体画像信号による画像に対する視度を制御対象とした制
御動作を行うものであることを特徴とする請求項１記載
の立体画像表示装置。

【０１６０】（３）請求項３の「画像変化検出手段」に
関して（上記記載項目「００２４」に対応）：上記画像
変化検出手段は、テンプレート・マッチングを利用した
検出動作を行うものであることを特徴とする請求項３記
載の立体画像表示装置。

【０１６１】（４）請求項１の「注視予測領域決定手
段」に関して（図８及び上記記載項目「００３１」に対
応）：上記画像変化検出手段は、被検出画像全体を複数
の各小領域に分割してなる該複数の各小領域毎に画像の
経時変化を表わす動きベクトルを検出する動きベクトル
検出手段を有してなり、且つ、上記注視予測領域決定手
段は、上記複数の各小領域毎の各動きベクトルが実質的
に一様であるときには、当該画像の中央位置から一つの
上記ベクトルとは逆方向に所定幅だけ変位した位置にあ
る小領域を当該注視予測領域として指定するように構成
されたものであることを特徴とする請求項１記載の立体
画像表示装置。

【０１６２】（５）図９及び上記記載項目「００５３」
〜「００５８」に対応；上記画像変化検出手段は、被検
出画像全体を複数の各小領域に分割してなる該複数の各
小領域毎に画像の経時変化を表わす動きベクトルを検出
する動きベクトル検出手段を有してなり、且つ、上記注
視予測領域決定手段は、上記複数の各小領域毎複の各動
きベクトルの値のばらつきの分布域を認識し、該分布域
が所定幅以上の広がりを有するときには、この分布域内
の所定領域を逸脱した値を示す動きベクトルに対応する
領域の一又は複数の連なりでなる領域群毎にラベリング
を施し、このラベリングが施された領域群のうちの所定
の一の領域群を当該注視予測領域として指定し、上記分
布域が所定幅以上の広がりを有しないときには、当該画
像内の所定の領域又は当該画像の中央位置から各ベクト
ルの平均値相応の量だけ該ベクトルとは逆方向に変位し
た位置にある小領域を当該注視予測領域として指定する
ように構成されたものであることを特徴とする請求項１
記載の立体画像表示装置。

【０１６３】（６）第２実施形態に関して（図１５と図
１６及び上記記載項目「００６４」〜「００６８」に対
応）：立体画像を表わす信号の供給を受けるための入力
手段と、上記入力手段により受けた信号による立体画像
を構成する左眼用画像及び右眼用画像の各経時的な変化
を夫々検出する画像変化検出手段と、上記画像変化検出
手段による検出結果に基づいて当該左眼用画像及び右眼
用画像の領域中の各特定の部分領域を夫々観察者が注視
する蓋然性の高い左眼用画像特定領域及び右眼用画像特
定領域として各指定する注視予測領域決定手段と、上記
左眼用画像特定領域及び右眼用画像特定領域の各中心座
標の位置のずれの程度に基づいて視差データを算出する
視差算出手段と、上記視差算出手段により得た視差デー
タに基づいて上記入力手段により受けた信号による立体
画像の奥行きに係る量を制御する奥行き制御手段と、上
記奥行き制御手段によって上記奥行きに係る量が制御さ
れた立体画像を表わす信号を、適用された立体画像表示
手段に被表示立体画像信号として出力し得る出力手段
と、を備えてなることを特徴とする立体画像表示装置。

【０１６４】（７）第３実施形態に関して（図１７〜図
１９及び上記記載項目「００６９」〜「００８１」に対
応）：立体画像を表わす左眼用画像及び右眼用画像の信
号の供給をフィールド又はフレーム順次で受けるように
なされた入力手段と、上記入力手段により受けた信号に
よる立体画像を構成する画像の経時的な変化を、隣接す
るフィールド又はフレーム時間区間での左眼用（右眼
用）画像信号に対する右眼用（左眼用）画像信号を比較
した比較値、及び、この比較に用いた右眼用（左眼用）
画像信号に対する続く左眼用（右眼用）画像信号のを比
較した比較値との両比較値の平均を求めることにより検
出する画像変化検出手段と、上記画像変化検出手段によ
る検出結果に基づいて当該画像のうちの特定の部分領域
を観察者が注視する蓋然性の高い特定領域として指定す
る注視予測領域決定手段と、上記両比較値の差分に基づ
いて視差データを算出する視差算出手段と、上記視差算
出手段により得た視差データに基づいて上記入力手段に
より受けた信号による立体画像の奥行きに係る量を制御
する奥行き制御手段と、上記奥行き制御手段によって上
記奥行きに係る量が制御された立体画像を表わす信号
を、適用された立体画像表示手段に被表示立体画像信号
として出力し得る出力手段と、を備えてなることを特徴
とする立体画像表示装置。

【０１６５】（８）第４実施形態に関して（図２０、図
２１、図２５及び上記記載項目「００８２」〜「００８
９」、「００９８」〜「０１００」に対応）：立体画像
を表わす信号の供給を受けるための入力手段と、上記入
力手段により受けた信号による立体画像の経時的な変化
を検出する画像変化検出手段と、観察者の視線の方向を
大まかに検出する視線検出手段と、上記画像変化検出手
段による検出結果、及び、視線検出手段による検出結果
に基づいて、画像領域中の特定の部分領域を観察者が注
視する蓋然性の高い領域として指定する注視予測領域決
定手段と、上記注視予測領域決定手段によって指定され
る特定の部分領域内に関して、視距離と輻輳距離とを一
致せしめるための制御動作を行う手段と、を備えてなる
ことを特徴とする立体画像表示装置。

【０１６６】（９）第５実施形態に関して（図２３と図
２４及び上記記載項目「００９０」〜「００９７」に対
応）：立体画像を表わす信号の供給を受けるための入力
手段と、上記入力手段により受けた信号による立体画像
の周辺部の領域について経時的な変化を検出する画像変
化検出手段と、上記画像変化検出手段による検出結果に
基づいて、上記周辺部の領域についてそのうちの特定の
部分領域が特異な経時的な変化を呈することが検出され
たときにはその特定の部分領域を、又、上記周辺部の領
域について特異な経時的な変化を呈する部分がないこと
が検出されたときには立体画像の中央部の領域を、観察
者が注視する蓋然性の高い領域として指定する注視予測
領域決定手段と、上記注視予測領域決定手段によって指
定される特定の部分領域内に表示される画像の奥行きを
表わす情報を得る奥行き検出手段と、上記検出手段によ
り得た画像の奥行きを表わす情報に基づいて上記入力手
段により受けた信号による立体画像の奥行きに係る量を
制御する奥行き制御手段と、上記奥行き制御手段によっ
て上記奥行きに係る量が制御された立体画像を表わす信
号を、適用された立体画像表示手段に被表示立体画像信
号として出力し得る出力手段と、を備えてなることを特
徴とする立体画像表示装置。

【０１６７】（１０）第７実施形態に関して（図２６〜
図３２及び上記記載項目「０１０１」〜「０１２８」に
対応）：立体画像を表わす左右のフレーム画像信号の供
給を順次時系列的に受けるための入力手段と、上記入力
手段により受けた順次の左右のフレーム画像信号につい
て各画像に関するエッジ成分を抽出して各エッジ画像を
生成するエッジ画像生成手段と、上記エッジ画像生成手
段により生成された順次のエッジ画像のうち時系列的に
隣接する時間区間に該当する現在の区間のものから先行
する区間のものを差し引いた差分をとることによって第
１の種別の画像を生成し、また、上記現在の区間のエッ
ジ画像から第１の種別の画像を差し引いて第２の種別の
画像を生成し、これら上記第１の種別の画像と第２の種
別の画像についてエッジが特定の領域に集中している度
合いが高い側のものが存在する画面中の部分領域を観察
者が注視する蓋然性の高い領域として指定する注視予測
領域決定手段と、上記注視予測領域決定手段によって指
定される特定の部分領域内に表示される画像の奥行きを
表わす情報を得る奥行き検出手段と、上記検出手段によ
り得た画像の奥行きを表わす情報に基づいて上記入力手
段により受けた信号による立体画像の奥行きに係る量を
制御する奥行き制御手段と、上記奥行き制御手段によっ
て上記奥行きに係る量が制御された立体画像を表わす信
号を、適用された立体画像表示手段に被表示立体画像信
号として出力し得る出力手段と、を備えてなることを特
徴とする立体画像表示装置。

【０１６８】（１１）第８実施形態に関して（図３３、
図３４及び上記記載項目「０１２９」〜「０１３３」に
対応）：立体画像を表わす左右のフレーム画像信号の供
給を順次時系列的に受けるための入力手段と、上記入力
手段により受けた順次の左右のフレーム画像信号につい
て各画像に関するエッジ成分を抽出して各エッジ画像を
生成するエッジ画像生成手段と、上記エッジ画像生成手
段により生成された順次のエッジ画像のうち時系列的に
隣接する時間区間に該当する現在の区間のものから先行
する区間のものを差し引いた差分をとることによって第
１の種別の画像を生成し、また、上記現在の区間のエッ
ジ画像から第１の種別の画像を差し引いて第２の種別の
画像を生成し、更にこれら上記第１の種別の画像と第２
の種別の画像について立体画像としての左右画像の視差
を求め、両者の視差のうち所定の規約に該当する方の視
差を観察者が注視する蓋然性の高い領域に係る視差とし
て指定する注視予測領域視差決定手段と、上記入力手段
により受けた信号による立体画像係る視差を、上記注視
予測領域視差決定手段により得た視差に合わせるように
制御する視差制御手段と、上記視差制御手段によって視
差が制御された立体画像を表わす信号を、適用された立
体画像表示手段に被表示立体画像信号として出力し得る
出力手段と、を備えてなることを特徴とする立体画像表
示装置。

【０１６９】（１２）第９実施形態に関して（図３５、
図３６及び上記記載項目「０１３４」〜「０１４２」に
対応）：立体画像を表わす左右のフレーム画像信号の供
給を順次時系列的に受けるための入力手段と、上記入力
手段により受けた順次の左右のフレーム画像信号につい
て各画像に関するエッジ成分を抽出して各エッジ画像を
生成するエッジ画像生成手段と、上記エッジ画像生成手
段により生成された各エッジ画像に太線化処理を施して
各太線化エッジ画像を生成する太線化エッジ画像生成手
段と、上記エッジ画像生成手段により生成された順次の
エッジ画像のうちもの同士の２値化データを乗算するこ
とによって画像の静止部分に対応する第１のエッジ画像
を生成し、また、上記太線化エッジ画像生成手段によっ
て生成された時系列的に隣接する時間区間に該当する各
太線化エッジ画像のうち現在の区間の太線化エッジ画像
から先行する区間の太線化エッジ画像を差し引いて画像
の動きの程度に対応した線幅の第２のエッジ画像を生成
し、更にこれら上記第１のエッジ画像と第２のエッジ画
像のうち所定の規約に該当する方の画像が存在する領域
を観察者が注視する蓋然性の高い領域として指定する注
視予測領域決定手段と、上記注視予測領域決定手段によ
って指定される特定の部分領域内に表示される画像の奥
行きを表わす情報を得る奥行き検出手段と、上記検出手
段により得た画像の奥行きを表わす情報に基づいて上記
入力手段により受けた信号による立体画像の奥行きに係
る量を制御する奥行き制御手段と、上記奥行き制御手段
によって上記奥行きに係る量が制御された立体画像を表
わす信号を、適用された立体画像表示手段に被表示立体
画像信号として出力し得る出力手段と、を備えてなるこ
とを特徴とする立体画像表示装置。

【０１７０】（１３）第１０実施形態に関して（図３７
及び上記記載項目「０１４３」〜「０１４５」に対
応）：立体画像を表わす左右のフレーム画像信号の供給
を順次時系列的に受けるための入力手段と、上記入力手
段により受けた順次の左右のフレーム画像信号について
各画像に関するエッジ成分を抽出して各エッジ画像を生
成するエッジ画像生成手段と、上記エッジ画像生成手段
により生成された順次のエッジ画像のうち時系列的に隣
接する時間区間に該当する現在の区間のものから先行す
る区間のものを差し引いた差分をとることによって第１
の種別の画像を生成し、また、上記現在の区間のエッジ
画像から第１の種別の画像を差し引いて第２の種別の画
像を生成し、これら上記第１の種別の画像と第２の種別
の画像についてエッジが特定の領域に集中している度合
いが高い側のものが存在する画面中の部分領域を観察者
が注視する蓋然性の高い領域として指定する注視予測領
域決定手段と、上記注視予測領域決定手段によって指定
される特定の部分領域内に表示される画像の奥行きを表
わす情報を得る奥行き検出手段と、上記検出手段により
得た画像の奥行きを表わす情報に基づいて上記入力手段
により受けた信号による立体画像の奥行きに係る量を制
御する奥行き制御手段と、上記奥行き制御手段によって
上記奥行きに係る量が制御された立体画像を表わす信号
を、適用された立体画像表示手段に被表示立体画像信号
として出力し得る出力手段と、を備えてなり、上記注視
予測領域決定手段、奥行き検出手段、奥行き制御手段、
及び、出力手段のうち何れか一又は複数のものは遅延要
素を利用して該当する処理を実行するように構成された
ものであることを特徴とする立体画像表示装置。

【０１７１】

【発明の効果】本発明によれば、立体画像の経時的変化
の検出結果に基づいて、観察者が注視するであろう注視
点（画像領域）が予測され、その予測された注視点に存
在する画像の奥行き情報に基づいて立体画像の奥行き制
御が行なわれるので、格別に検出精度の高い視線検出器
を用いなくてもよく、軽量で安価に製作可能な上、極め
て見やすい立体画像を安定に得ることのできる立体画像
表示装置を提供できる。

【図面の簡単な説明】

【図１】本発明による第１の実施形態に係る立体画像表
示装置の構成（概要）を示す図である。

【図２】本発明による第１の実施形態に係る立体画像表
示装置のＨＭＤ光学系の構成図である。

【図３】本発明による第１の実施形態に係る立体画像表
示装置の処理動作を示すフロー図である。

【図４】本発明による第１の実施形態に係る立体画像表
示装置の画像処理例を示す図である。

【図５】本発明による第１の実施形態に係る立体画像表
示装置の画像処理例を示す図である。

【図６】本発明による第１の実施形態に係る立体画像表
示装置の画像処理例を示す図である。

【図７】本発明による第１の実施形態に係る立体画像表
示装置の画像処理例を示す図である。

【図８】本発明による第１の実施形態に係る立体画像表
示装置の画像処理例を示す図である。

【図９】本発明による第１の実施形態に係る立体画像表
示装置の注視予測領域決定フロー図である。

【図１０】本発明による第１の実施形態に係る立体画像
表示装置の視差決定法の説明図である。

【図１１】本発明による第１の実施形態に係る立体画像
表示装置の奥行き制御の説明図である。

【図１２】本発明による第１の実施形態に係る立体画像
表示装置の左右表示面の水平位置を説明するための図で
ある。

【図１３】本発明による第１の実施形態に係る立体画像
表示装置の立体画像観察状況を示す図である。

【図１４】本発明による第１の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図１５】本発明による第２の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図１６】本発明による第２の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図１７】本発明による第３の実施形態に係る立体画像
表示装置の処理動作を示すフロー図である。

【図１８】本発明による第３の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図１９】本発明による第３の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図２０】本発明による第４の実施形態に係る立体画像
表示装置の処理動作を示すフロー図である。

【図２１】本発明による第４の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図２２】本発明による第５の実施形態に係る立体画像
表示装置の処理動作を示すフロー図である。

【図２３】本発明による第５の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図２４】本発明による第５の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図２５】本発明による第６の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図２６】本発明による第７の実施形態に係る立体画像
表示装置の処理動作を示すフロー図である。

【図２７】本発明による第７の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図２８】本発明による第７の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図２９】本発明による第７の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図３０】本発明による第７の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図３１】本発明による第７の実施形態に係る立体画像
表示装置の注視予測領域決定フロー図である。

【図３２】本発明による第７の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図３３】発明の第８の実施形態に係る立体画像表示装
置の画像処理例を示す図である。

【図３４】本発明による第８の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図３５】本発明による第９の実施形態に係る立体画像
表示装置の画像処理例を示す図である。

【図３６】本発明による第９の実施形態に係る立体画像
表示装置の画像処理装置内部構成を示すブロック図であ
る。

【図３７】本発明による第１０の実施形態に係る立体画
像表示装置の画像処理装置内部構成を示すブロック図で
ある。

【符号の説明】

１ 立体画像生成装置 ２ 立体画像処理装置 ３ 立体画像表示器（ＨＭＤ） ３１ タイミング制御部 ３６ 動きベクトル検出部 ３７ 注視予測領域決定部 ３８ 相関演算部 ３９ 視差演算部 ４０ シフト量演算部 ４１ 左表示用画像読み出し制御部 ４２ 右表示用画像読み出し制御部

Claims (5)

【特許請求の範囲】
1. 【請求項１】立体画像を表わす信号の供給を受けるため
   の入力手段と、 上記入力手段により受けた信号による立体画像の経時的
   な変化を検出する画像変化検出手段と、 上記画像変化検出手段による検出結果に基づいて画像領
   域中の特定の部分領域を観察者が注視する蓋然性の高い
   領域として指定する注視予測領域決定手段と、 上記注視予測領域決定手段によって指定される特定の部
   分領域内に表示される画像の奥行きを表わす情報を得る
   奥行き検出手段と、 上記奥行き検出手段により得た画像の奥行きを表わす情
   報に基づいて上記入力手段により受けた信号による立体
   画像の奥行きに係る量を制御する奥行き制御手段と、 上記奥行き制御手段によって上記奥行きに係る量が制御
   された立体画像を表わす信号を、適用された立体画像表
   示手段に被表示立体画像信号として出力し得る出力手段
   と、を備えてなることを特徴とする立体画像表示装置。
2. 【請求項２】上記注視予測領域決定手段は、上記画像変
   化検出手段による検出結果に基づいて被検出画像全体の
   中で特異な検出結果が得られる特定の部分領域が存在す
   るときには該特定の部分領域を当該注視予測領域として
   指定し、特異な検出結果が得られる特定の部分領域が存
   在しないときには予め設定した所定領域を当該注視予測
   領域として指定するように構成されたものであることを
   特徴とする請求項１に記載の立体画像表示装置。
3. 【請求項３】上記画像変化検出手段は、被検出画像全体
   を複数の各小領域に分割してなる該複数の各小領域毎
   に、画像の経時変化を検出する画像動き量検出手段を有
   してなり、且つ、上記注視予測領域決定手段は、上記複
   数の小領域のうち画像変化検出手段によって検出される
   画像の経時変化の値が特異な値を示す小領域を、当該注
   視予測領域として指定するように構成されたものである
   ことを特徴とする請求項２に記載の立体画像表示装置。
4. 【請求項４】上記画像変化検出手段は、被検出画像全体
   を複数の各小領域に分割してなる該複数の各小領域毎に
   画像の経時変化を表わす動きベクトルを検出する動きベ
   クトル検出手段を有してなり、且つ、上記注視予測領域
   決定手段は、上記複数の小領域のうち上記画像変化検出
   手段によって検出される自己の動きベクトルが適用され
   た視線検出手段によって検出された観察者の視点の動き
   を表わす視点動きベクトルに、実質的に等しい小領域を
   当該注視予測領域として指定するように構成されたもの
   であることを特徴とする請求項１に記載の立体画像表示
   装置。
5. 【請求項５】上記画像変化検出手段は、上記被検出画像
   全体の中で画像の経時変化が認められる変化領域と該経
   時変化が認められない無変化領域とに区分する画像領域
   区分手段を備えてなり、且つ、上記注視予測領域決定手
   段は、上記変化領域と無変化領域とを比較してこれら双
   方の領域のうち何れかの領域を当該注視予測領域として
   指定するように構成されたものであることを特徴とする
   請求項１に記載の立体画像表示装置。