JPH10178658A

JPH10178658A - 立体画像表示装置

Info

Publication number: JPH10178658A
Application number: JP8339641A
Authority: JP
Inventors: Yoshiaki Hashimoto; 良昭橋本
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1996-12-19
Filing date: 1996-12-19
Publication date: 1998-06-30
Anticipated expiration: 2016-12-19
Also published as: JP3803442B2

Abstract

(57)【要約】【課題】機械駆動系を使用することなく輻輳と眼のピン
ト調節とを通常の生活と同じ状態に保ち得、かつリアル
タイム処理が可能な立体画像表示装置を提供。【解決手段】入力した左右画像(201,202) をそれぞれ複
数のエリアに分割し、これら分割した各エリア内の画像
ブロックを各々特徴づける複数種の特徴ベクトルを、前
記画像(201,202) からそれぞれ別個に抽出する特徴ベク
トル抽出部(400)と、観察者の視線の方向を検出する視
線検出部 (600)と、この検出部 (600)の出力により注視
点が存在するエリアの特徴ベクトルを用いて左右の対応
する当該エリア内の画像の違いを定数化し、これを画像
ブロックを構成する物体の距離(L)に換算し、これに対
応した画素数分を水平方向にずらす処理を行なう画像補
正部(700)と、この画像補正部 (700)で処理された左右
画像出力(701.702) を独立に表示する画像表示部 (800)
とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、左右に独立した画
像表示部を有し、この画像表示部により立体画像を表示
可能とした立体画像表示装置に関する。なお本発明にお
いて特徴ベクトルとは、各画像ブロックの特徴を示す複
数種（ｎ種）の特徴点一つ一つを座標軸としたｎ次元の
空間を想定し、この空間上の原点を始点とするベクトル
をいう。

【０００２】

【従来の技術】従来のこの種の立体画像表示装置には、
観察者がこの表示装置に表示された画像を観察し続ける
と、比較的短い観察時間で眼に疲労感を覚えるという問
題があった。

【０００３】この疲労感を覚える原因の一つとして、両
眼の輻輳と眼のピント調節との関係が、通常の生活にお
ける場合とは異なる点が挙げられる。両眼の輻輳と眼の
ピントの調節作用との間には密接な関係がある。すなわ
ち両眼の輻輳に変化が生じると、眼のピント調節がこれ
に自動的に追従するという特性を持っている。しかる
に、一般に立体画像表示装置においては、光学系と画像
表示部との関係が予め固定化されていることから、視差
のある画像を左右の画像表示部に独立に与えると両眼の
輻輳は変化するが、眼のピント調節は行なわれずに固定
化された状態を呈する。

【０００４】このように輻輳に合わせて自動的に行なわ
れる筈の眼のピント調節が行なわれない状態が持続する
と、観察者が不自然さを感じ、これが疲労感につなが
る。したがって上記疲労感を軽減するには、両眼の輻輳
と眼のピント調節との関係を通常の生活と同じ状態にす
ることが必要となる。

【０００５】上記問題を解決するものとして、特開平３
−２９２０９３号公報に示されているように、輻輳に合
わせて光学系のレンズを駆動し、眼のピント調節が行な
われるようにしたものがある。

【０００６】また、特開平７−１６７６３３号公報に示
されているように、両眼の輻輳が画像表示装置における
光学系の視度に合った角度となるように、左右の画像を
画像表示部に与えるようにしたものがある。この特開平
７−１６７６３３号公報に示されている例では、左右の
画像間で画素がｎ×ｎのブロックを平行移動しながらブ
ロック相互間における相関度をとり、最も相関の高いブ
ロック位置との距離を構成要素とする視差地図を作成
し、検出した視線方向に対応する画素の視差地図の値だ
け片方もしくは両方の画像を平行移動し、注視対象が表
示面上で同一位置にくるようにして、輻輳と眼のピント
調節との関係が通常の生活における場合と同じになるよ
うにしている。

【０００７】

【発明が解決しようとする課題】しかしながら上記従来
の技術には次のような問題がある。前者すなわち輻輳に
合わせてレンズを駆動するようにしたものでは、機械駆
動系が必要となることから、装置の重量が増し、装置全
体が大型化するという問題がある。また上記機械駆動系
の動作に伴う騒音や微細な振動が発生する難点もある。

【０００８】他方、後者すなわち視差地図を作成するよ
うにしたものでは、左右の一画面分のデータを一旦すべ
て取り込んでからでないと必要な処理が行なえない。加
えてその演算量が多いことから、すべての画像フレーム
に対して連続的に処理する事が困難であるという問題が
ある。

【０００９】本発明の目的は、観察者にとって疲労感の
少ない表示を行なえるのは勿論、小型軽量に製作可能で
あり、加えて演算量の少ない立体画像表示装置を提供す
ることにある。

【００１０】

【課題を解決するための手段】前記課題を解決し目的を
達成するために、本発明の立体画像表示装置は以下に示
す如く構成されている。なお本発明における左右の入力
画像は、それぞれ眼の位置が画面の中央にくるようにし
た画像である。従って、左右の画像の違いは両眼の視軸
を平行に置いたときに見られる視差だけとなる。このよ
うな違いをもった画像であれば、カメラで撮像したもの
でも、ＣＧで作成したものでも、その他いかなるのもの
であってもよい。上記視差による左右の画像の違いが類
似度ｓとなって現れてくる。そこで本発明においては、
これを利用して類似度ｓを距離に換算することを特徴と
している。（１）本発明の立体画像表示装置は、左右の独立した画
像表示部に両眼視差のある画像を与えて立体視を行なう
立体画像表示装置において、入力した左右の画像をそれ
ぞれ複数のエリアに分割し、これら分割した各エリア内
の画像である各画像ブロックの特徴を示す複数種（ｎ
種）の特徴ベクトルを前記左右の画像ブロックからそれ
ぞれ別個に抽出する特徴ベクトル抽出部と、観察者の視
線の方向を検出する視線検出部と、この視線検出部の検
出結果により注視点が存在すると認定されるエリアにお
ける画像ブロックの特徴ベクトルを用いて左右の対応す
る当該エリア内の画像の違いを定数化し、当該定数値を
前記観察者の目の位置に相当する点から当該エリアの画
像を構成する物体までの物理的距離に換算し、当該換算
値に対応した画素数分だけ前記左右の画像もしくはいず
れか一方の画像を左右方向にずらす処理を行なう画像補
正部と、この画像補正部により補正処理された左右画像
出力を独立に表示する画像表示部と、を備えている。（２）本発明の立体画像表示装置は、上記（１）に記載
した装置であって、かつ前記左右の画像ブロックの違い
を定数化する手段は、前記視線検出部の検出結果により
選択されたエリアの右側画像ブロックの特徴ベクトルを
ｆｒ、左側画像ブロックの特徴ベクトルをｆｈとしたと
き、次式により類似度ｓを求めるものであることを特徴
としている。

【００１１】類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）ただし、ｆｒ・ｆｈ：特徴ベクトル間の内積 ‖ｆｒ‖：特徴ベクトルｆｒのノルム（複素数の絶対値
に類似の性質をもつベクトル空間上のスカラー値関数） ‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ
１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）
としたとき、次式で定義されるもの ‖ｆｒ‖＝（ａ１² ＋ａ２² ＋…＋ａｎ² ）^1/2 ‖ｆｈ‖＝（ｂ１² ＋ｂ２² ＋…＋ｂｎ² ）^1/2 （３）本発明の立体画像表示装置は、上記（１）に記載
した装置であって且つ前記分割されたエリアの各画像ブ
ロックをＦ（Ｘ，Ｙ）とし、その位置を示す横方向（左
右方向）のブロック番号をＸ（Ｘ１，Ｘ２…）とし、縦
方向のブロック番号をＹ（Ｙ１，Ｙ２…）としたとき、
前記類似度ｓが定数ｑより小さい画像ブロックＦ（Ｘ
１，Ｙ１）が存在する場合であって、且つ同じ値のＹ１
において類似度ｓが上記定数ｑよりも小さい他の画像ブ
ロックＦ（Ｘｎ，Ｙ１）が存在する場合、前記一方の画
像ブロックＦ（Ｘ１，Ｙ１）と他方の画像ブロックＦ
（Ｘｎ，Ｙ１）との間の類似度ｓを算出し、この類似度
ｓが定数ｐよりも大きいとき、当該画像ブロックＦ（Ｘ
１，Ｙ１）と画像ブロックＦ（Ｘｎ，Ｙ１）との横方向
の距離｜Ｘｎ−Ｘ１｜を類似度ｔと定め、この類似度ｔ
を前記観察者の目の位置に相当する点から当該エリアの
画像を構成する物体までの物理的距離に換算して使用す
ることを特徴としている。

【００１２】

【発明の実施の形態】

（第１実施形態）図１は本発明を頭部装着型画像表示装
置に適用した本発明の第１実施形態に係る立体画像表示
装置の外観を示す斜視図である。図１に示すように、こ
の立体画像表示装置Ａは使用時において観察者Ｂの頭部
１に対して装着して使用される。この立体画像表示装置
Ａの前部には、後述する画像表示部８００を内蔵する表
示装置本体１０が設けられており、これが観察者Ｂの顔
面２における両眼の前方に位置する。表示装置本体１０
の左右両側には連結フレーム２０，３０の一端部が結合
されている。連結フレーム２０，３０の他端部は、電装
部品収容体４０の両側に結合している。この電装部品収
容体４０には、本発明に直接関係のない位置情報検出手
段や、信号処理系１００等の電装部品が、例えば基板に
搭載された状態で収容されている。

【００１３】図２は第１実施形態に係る立体画像表示装
置Ａの電装部品収容体４０および表示装置本体１０に分
離収容されている信号処理系１００の概略的構成を示す
ブロック図である。図２に示すように入力端子１１０か
らは右側画像信号１０１が入力し、入力端子１２０から
は左側画像信号１０２が入力する。

【００１４】画像入力部２００は、入力端子１１０から
入力する右側画像信号１０１および入力端子１２０から
入力する左側画像信号１０２をＡ／Ｄ変換する。このＡ
／Ｄ変換によりディジタル化された右眼用画像データ２
０１および左眼用画像データ２０２は、一方において類
似度検出部３００に入力し、他方において画像加工部７
００に入力する。

【００１５】類似度検出部３００は、特徴ベクトル抽出
部を含む画像認識部４００および類似度保持部５００か
らなり、入力する左右画像データに基づいて類似度ｓを
示す信号を生成し、且つ後述する如く選択された信号の
みを出力するものとなっている。

【００１６】画像認識部４００は、入力する左右の画像
データ２０１，２０２から類似度ｓを生成して出力す
る。また類似度保持部５００は画像認識部４００で生成
された類似度ｓを示す信号４０１〜４０ｉを格納する。

【００１７】視線検出部６００は、観察者の視線の方向
を検出するものである。この視線検出部６００の検出結
果は、視線検出結果信号６０１となって類似度検出部３
００の類似度保持部５００および画像加工部７００に入
力する。視線検出結果信号６０１が類似度保持部５００
に入力する結果、この類似度保持部５００から上記視線
検出結果信号６０１によって選択された類似度ｓを示す
出力信号５０１が出力される。この出力信号５０１は画
像加工部７００に入力する。

【００１８】画像加工部７００は、画像補正部を含んで
おり、入力する画像データ２０１，２０２を前記信号５
０１，６０１に基づいて加工処理する。加工処理された
結果は右眼用画像データ７０１、左眼用画像データ７０
２として画像表示部８００へ出力される。

【００１９】画像表示部８００は表示装置本体１０に内
蔵されており、画像加工部７００により加工処理された
デジタル信号である左右画像データ７０１，７０２を、
左右の画像表示に適した信号形態にそれぞれ変換したの
ち、各々独立した表示部により立体画像を表示する。

【００２０】制御部９００は、信号処理系１００全体の
動作を制御するためのもので、画像認識部４００、視線
検出部６００、画像加工部７００をそれぞれ動作させる
のに必要なモード指示信号９０４，９０６，９０７を各
々出力する。

【００２１】なお上記各ブロック２００〜９００は、電
源投入時に生成されるパワーオンリセット信号によりリ
セットされ、かつ同期がとられるものとなっている。以
下、各ブロック２００〜９００の機能について、さらに
詳細に説明する。

【００２２】「画像入力部２００」画像入力部２００
は、前述したように画像信号１０１，１０２をＡ／Ｄ変
換して信号処理系１００内に取り込む。このＡ／Ｄ変換
された画像データを濃度と呼ぶ事とする。この画像デー
タは、説明を簡単にするために、ノンインターレースの
ものとする。

【００２３】「画像認識部４００」画像認識部４００で
生成される特徴ベクトルを、本実施形態においては次の
ように定義する。

【００２４】画像ブロックＦ（Ｘ，Ｙ）に属する画素の
平均濃度値をｍ、隣合う画素間の濃度の差を変化値と呼
ぶときｘ方向の変化値がある定数以内にある画素のｘの
平均値をｗ、前記画像ブロックＦ（Ｘ，Ｙ）に属する画
像の濃度値の分散をｕとしたとき、ｆ（Ｘ，Ｙ）＝（ｍ，ｗ，ｕ）を前記画像ブロックの特徴ベクトルとする。

【００２５】本実施形態においては、画像画面を横、縦
ともに２０分割することにより、４００個に分けられた
各エリアの画像を画像ブロックとして取り扱うものとす
る。図３の（ａ）（ｂ）は、分割されたエリア毎の画像
ブロックおよび１画像ブロック内の画素数を示す模式図
である。図３の（ａ）（ｂ）に示すように、横がａ個、
縦がｂ個の画素数とし、アドレスをｘ，ｙで表すものと
する。特徴ベクトルの生成処理は、左右独立に行なわれ
る。

【００２６】図４は画像認識部４００の内部構成を示す
図である。図中４１０は右側画像データの特徴ベクトル
生成部、４２０は左側画像データの特徴ベクトル生成部
である。この両者４１０，４２０によって特徴ベクトル
抽出部が構成されている。右側画像データの特徴ベクト
ル生成部４１０と左側画像データの特徴ベクトル生成部
４２０の内部構成は同じである。このため、図４では左
側画像データの特徴ベクトル生成部４２０の内部構成に
ついては図示を省略してある。以下、右側画像データの
特徴ベクトル生成部４１０の内部構成について説明す
る。

【００２７】特徴ベクトル生成部４１０は、制御部４３
０，記憶部４４０，制御ライン部４５０，セレクタ部４
６０，組み合わせ回路部４７０，等から構成されてい
る。制御部４３０は、動作タイミング信号やアドレス指
定信号を制御ライン部４５０を介して出力する。

【００２８】記憶部４４０は、二つの記憶ユニット４４
１，４４２を備えている。各記憶ユニット４４１，４４
２は、それぞれ画像ブロックＦ（Ｘ，Ｙ）の画素数ａ×
ｂに相当するサイズの記憶要素Ｍ（Ｍ1 〜Ｍｉ）を、上
記画像ブロックＦ（Ｘ，Ｙ）の横方向の分割数と同数の
２０個分だけ配列したものとなっている。すなわち本実
施形態においては、ｉ＝２０である。記憶部４４１と４
４２とは、一方が書き込み動作を行なう時は他方が読み
出し動作を行なうように、制御部４３０によって、書き
込み動作と読み出し動作とが交互に繰り返される如く制
御される。

【００２９】制御ライン４５０は、制御部４３０からの
アドレス指定信号を各記憶ユニット４４１および４４２
の各記憶要素Ｍに与えるための書き込みアドレス指定ラ
イン４５１および読み出しアドレス指定ライン４５２
と、記憶ユニット動作切換え指令ライン４５３とからな
っている。記憶ユニット動作切換え指定ライン４５３の
二股に分岐された分岐ラインの一方には極性反転用イン
バータ素子４５４が介挿されている。

【００３０】セレクタ部４６０は、記憶部４４０の記憶
ユニット４４１に対応するセレクタ群４６１と記憶ユニ
ット４４２に対応するセレクタ群４６２とに分かれてい
る。セレクタ群４６１は、対応する記憶ユニット４４１
の所定の記憶要素Ｍに対し、書き込みアドレス指定ライ
ン４５１および読み出しアドレス指定ライン４５２を介
して送り込まれる所定のアドレス指定信号を、選択的に
与え得るものとなっている。同様にセレクタ群４６２
は、対応する記憶ユニット４４２の所定の記憶要素Ｍに
対し、書き込みアドレス指定ライン４５１および読み出
しアドレス指定ライン４５２を介して送り込まれる所定
のアドレス指定信号を選択的に与え得るものとなってい
る。

【００３１】各記憶要素Ｍへのアドレスは、記憶ユニッ
ト４４１，４４２内の記憶要素Ｍを選択する上位部と、
各記憶要素Ｍの内部のデータ位置を選択する下位部とに
分かれている。そして書き込みアドレス指定ライン４５
１を介しての書き込みアドレスは、上位部と下位部とを
連結した一つのアドレスとして、また読み出しアドレス
指定ライン４５２を介しての読み出しアドレスは、上位
部は各々の記憶要素Ｍを選択する固定アドレスを与え、
下位部は書き込みアドレスの１／２０の早さでインクリ
メントを行なう。

【００３２】組み合わせ回路部４７０は、記憶ユニット
４４１および４４２の各記憶要素Ｍの記憶情報を組み合
わせて特徴ベクトルの生成を行なう回路である。上述し
た右側画像データの特徴ベクトル生成部４１０および左
側データの特徴ベクトル生成部４２０の出力は、類似度
計算部４８０に入力する。

【００３３】類似度計算部４８０は、上記特徴ベクトル
生成部４１０及び４２０における各組み合わせ回路部４
７０のそれぞれの回路４７１，４７２〜４７ｉから出力
される対応する画像ブロック同士を、各計算回路４８
１，４８２〜４８ｉのそれぞれの入力とし類似度ｓを計
算する。類似度計算部４８０の各計算回路４８１，４８
２〜４８ｉで計算された各類似度ｓは、出力信号４０
１，４０２〜４０ｉとして前記類似度保持部５００に出
力される。上記類似度ｓは左右の特徴ベクトルをｆｒ＝（ｍ１，ｗ１，ｕ１，）、ｆｈ＝（ｍ２，ｗ
２，ｕ２）としたとき、前記定義から類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）ｆｒ・ｆｈ＝ｍ１ｍ２＋ｗ１ｗ２＋ｕ１ｕ２ ‖ｆｒ‖＝（ｍ１² ＋ｗ１² ＋ｕ１² ）^1/2 ‖ｆｈ‖＝（ｍ２² ＋ｗ２² ＋ｕ２² ）^1/2 であり、０≦ｓ≦１となる。

【００３４】「類似度保持部５００」図５は類似度保持
部５００の内部構成を示すブロック図である。書き込み
アドレス生成部５１０は書き込みアドレス信号５１１お
よび書き込みイネーブル信号５１２を出力する。

【００３５】読み出しアドレス生成部５２０は、視線検
出部６００からの出力信号６０１に対応した読み出しア
ドレス信号５２１を生成して出力する。類似度記憶部５
３０は、書き込みアドレス生成部５１０からの書き込み
アドレス信号５１１および書き込みイネーブル信号５１
２と、読み出しアドレス生成部５２０からの読み出しア
ドレス信号５２１と、画像認識部４００からの類似度ｓ
を示す各出力信号４０１，４０２〜４０ｉとを入力す
る。かくして類似度記憶部５３０は読み出しアドレス信
号５２１で指示されたデータを類似度保持部出力信号５
０１として出力する。

【００３６】「視線検出部６００」本実施形態では表示
画面のどの位置に視線が向いているかが判ればよいの
で、視線検出部６００での視線検出法についての詳細な
記述は行なわない。ただし、精度としては最低でも画像
ブロックＦ（Ｘ，Ｙ）の位置を指定できることが必要で
ある。本実施形態では、右眼側の視線方向を検出する事
とする。

【００３７】図６は、視線検出部６００によって検出す
る視線変化領域の定義を示す図である。（ａ）に示す如
く水平方向の視線変化領域については、表示画面の中心
Ｏを境として視線が左側の領域にあるときは「＋」、右
側の領域にあるときは「−」と定める。また（ｂ）に示
す如く上下方向の視線変化領域については、表示画面の
中心Ｏを境として視線が上側の領域にあるときは
「＋」、下側の領域にあるときは「−」と定める。

【００３８】かくして類似度保持部５００内の読み出し
アドレス生成部５２０においては、視線検出部６００の
出力信号６０１に基づき画像ブロックＦ（Ｘ，Ｙ）に対
応したアドレスが生成されることになる。

【００３９】「画像加工部７００」図７は、画像加工部
７００の内部構成を示すブロック図である。書き込みア
ドレス生成部７１０は書き込みアドレス信号７１１およ
び書き込みイネーブル信号７１２を生成し、これはフレ
ームメモリ７３１，７３２に対して共に出力する。また
一方の読み出しアドレス生成部７２１は、読み出しアド
レス７２１１を生成し、フレームメモリ７３１に出力す
る。他方の読み出しアドレス生成部７２２は読み出しア
ドレス７２１２を生成し、フレームメモリ７３２に出力
する。

【００４０】フレームメモリ７３１は入力する右眼用の
画像データ２０１を格納し、フレームメモリ７３２は入
力する左眼用の画像データ２０２を格納する。画像デー
タ２０１，２０２の画像は、視線検出を行なわない左側
画像の方が水平方向に幅広いものとする。フレームメモ
リ７３１，７３２は、それぞれ２セットづつ設けてあ
り、一方が書き込み用として用いられる時は他方は読み
出し用として用いられ、交互に使用される。

【００４１】距離換算部７４０は、類似度保持部５００
から送られてくる類似度ｓを示す信号５０１を距離デー
タに置き換える。ずらし幅計算部７５０は距離換算部７
４０の出力信号７４１と視線検出部６００から送られて
くる信号６０１とから左側画像のずらし幅を計算し、こ
れを前記読み出しアドレス生成部７２２に出力する。

【００４２】前述した読み出しアドレス生成部７２２
は、上記ずらし幅計算部７５０からの出力信号に基づい
て前記フレームメモリ７３２の読み出しアドレスを生成
し、これをフレームメモリ７３２へ出力する。

【００４３】セレクタ７６１および７６２は、フレーム
メモリ７３１および７３２の出力を選択的に取り出す。
選択的に取り出された出力信号は、画像加工部７００の
出力信号すなわち左右の画像データ７０１，７０２とし
て画像表示部８００に送られる。距離換算部７４０にお
ける処理は、表１，表２等に示すような対応づけにより
行なわれる。

【００４４】

【表１】

【００４５】

【表２】

【００４６】［表１］［表２］に示される類似度と距離
値との関係は、取り扱う画像の種類等を考慮し、予め実
際の画像を用いてシミュレーション等で求めておき決定
することが望ましい。

【００４７】図８および図９は、ずらし幅計算部７５０
の処理内容の説明図である。画像入力部２００の入力と
なる右眼用画像信号１０１による画像の中心は図８の符
号Q1で示す位置にあり、左眼用画像信号１０２による画
像の中心は図８の符号Q2で示す位置にある。光学系によ
る虚像表示位置までの距離をｇメートル、観察対象物ま
での実際の距離をＬメートル、眼幅をｄメートル、視線
検出部６００での水平方向の検出角をθとしたときの観
察対象物の左眼用画像信号１０２による虚像表示位置
は、中心からｅ＝ｇｄ／Ｌ−ｇtan θ だけずれた位置である。輻輳と眼のピント調節とを合わ
せる為には、図９に示すように、観察対象物の虚像表示
位置がｅ′＝ｇtan θ−ｄだけ中心からずれた位置に表示されればよい。観察物ま
での実際の距離Ｌは、前述した距離換算部７４０からの
出力信号７４１を用いて求め得る。また水平方向の検出
角θは、視線検出部６００の出力６０１から得る事がで
きる。ここで仮に距離換算部７４０の出力をｇ１とすれ
ば、左眼用画像データのずらし幅ｋはｋ＝ｅ′−ｅ＝２ｇtan θ−ｄ（ｇ１＋ｇ）／ｇ１に相当する値となる。このずらし幅ｋを示す出力信号７
５１は、図７に示されているずらし幅計算部７５０から
出力される。読み出しアドレス生成部７２２ではずらし
幅ｋに相当する分だけずれたアドレスを生成し、フレー
ムメモリ７３２に与える。このため左眼用画像出力７０
２は水平方向に所定距離だけシフトされたものとなり、
画像表示部８００で表示される画像は輻輳と眼のピント
位置とが略一致したものとなる。

【００４８】「画像表示部８００」画像表示部８００
は、上記画像加工部７００からの左右の画像データ７０
１，７０２に基づいて所要の立体画像を表示する。

【００４９】上記の如く構成された本実施形態の立体画
像表示装置は、以下のように動作する。入力画像信号１
０１，１０２は、信号処理系１００に取り込まれるに際
し、その入力端において画像入力部２００によりＡ／Ｄ
変換され、ディジタル画像信号すなわち画像データ２０
１，２０２として取り込まれる。画像データ２０１，２
０２は連続的に画像認識部４００内の記憶ユニット４４
１，４４２と，画像加工部７００のフレームメモリ７３
１，７３２とに格納される。

【００５０】このとき画像認識部４００は次のように動
作する。左右の特徴ベクトル生成部４１０，４２０にお
いて各制御部４３０からの制御信号により、取り込まれ
た画像データ２０１，２０２は、まず記憶ユニット４４
１に順次格納されていく。ｂ行分の画像データの格納が
終わった段階では、記憶ユニット４４１の記憶要素Ｍ
（Ｍ1 〜Ｍｉ）の各々には、それぞれ一つの画像ブロッ
クＦ（Ｘ，Ｙ）の画像データが格納終了済みである。し
たがって記憶ユニット４４１全体では、Ｆ（１，１），
Ｆ（１，２），…，Ｆ（１，２０）の各画像ブロックの
各画像データが格納されることになる。

【００５１】次の段階にて、記憶ユニット４４１は読み
だし動作に切り換わり、記憶ユニット４４２は書き込み
動作に切り換わる。記憶ユニット４４２への書き込み動
作は記憶ユニット４４１に対する書き込み動作と同じで
ある。ただし記憶ユニット４４２には次の列の画像ブロ
ックＦ（Ｘ，Ｙ）のデータが格納される。記憶ユニット
４４２の書き込みと平行して読み出される記憶ユニット
４４１の画像データは組み合わせ回路部４７０の各回路
４７１，４７２〜４７ｉへの入力となる。

【００５２】読み出しアドレスの上位部を、各記憶要素
Ｍ（Ｍ1 〜Ｍｉ）の各々に固有のものとすることで、各
画像ブロックＦ（Ｘ，Ｙ）内の同じ（ｘ，ｙ）番地にあ
る画像データを同時に読み出し、１列分の画像ブロック
Ｆ（Ｘ，Ｙ）の処理が並列に行なわれる。読み出しアド
レス指定ライン４５２による読み出しアドレスの下位部
を、書き込みアドレス指定ライン４５１による書き込み
アドレスの１／２０の早さでインクリメントすること
で、一つの画素データに関しての処理時間は一つの画素
データの書き込み時間の２０倍にすることができる。こ
のためリアルタイム処理が可能となる。記憶ユニット４
４１，４４２の書き込み動作および読みだし動作は、制
御部４３０からの制御信号によって交互に繰り返し行な
われる。

【００５３】組み合わせ回路部４７０の各回路４７１，
４７２〜４７ｉからの出力は、１列分の画像ブロックＦ
（Ｘ，Ｙ）のデータ処理終了に同期して類似度計算部４
８０の各計算回路４８１，４８２〜４８ｉに取り込まれ
る。類似度計算部４８０は前述の定義にしたがって類似
度ｓを計算する。その計算結果は出力信号４０１，４０
２〜４０ｉとして送り出される。

【００５４】左側画像データ２０１による画像の方が右
側画像データ２０２による画像よりも幅が広いが、類似
度ｓの算出は、画像の中心を一致させた、右側の画像と
同じ幅の分の画像ブロックＦ（Ｘ，Ｙ）に対して行な
う。

【００５５】画像加工部７００では、画素データが、書
き込みアドレス生成部７１０の制御により指示されたフ
レームメモリ７３１，７３２の所定位置に書き込まれ
る。２セットあるフレームメモリは、一方が書き込み用
で他方が読み出し用となり、交互に使用される。

【００５６】本実施形態では、左側画像データの方が右
側画像データよりも幅が広いものとなっているが、説明
を簡単化するために、右側画像データも表示に必要な画
素データの前後に空データを付加することにより、見掛
け上、左側データと同じ幅を持つものとする。ただし読
みだし時においては、前後の空データのアドレスは生成
されない。

【００５７】類似度保持部５００における類似度記憶部
５３０は、画像認識部４００から出力される類似度ｓを
一画面分だけ格納可能となっている。視線検出部６００
からの視線検出信号６０１で指示される画像ブロックＦ
（Ｘ，Ｙ）に対応したアドレスが、読み出しアドレス生
成部５２０により生成される。この生成されたアドレス
５２１が類似度記憶部５３０に与えられることによって
指示された類似度ｓが出力信号５０１として画像加工部
７００に出力される。

【００５８】画像加工部７００では、類似度保持部５０
０からの出力信号５０１に基づいて距離換算部７４０が
作動し、対応する距離Ｌを算出する。この距離Ｌを示す
信号７４１に基づいて、ずらし幅計算部７５０では既に
説明した計算法により、左側画像のずらし幅が算出され
る。読み出しアドレス生成部７２２では上記算出された
ずらし幅に相当する分だけずらしたアドレス７２１２を
発生させる。フレームメモリ７３２では上記ずらされた
アドレス７２１２での読み出し動作が行なわれる。これ
により画像表示部８００で表示される画像は、左側の画
像が輻輳と光学系の視度が合った状態になるように左右
方向にずれた画像となる。

【００５９】なお、特徴ベクトル生成、類似度ｓの算
出、類似度ｓの距離換算、ずらし幅計算、読み出しアド
レスの生成までの過程は、画像ブロック１列分のデータ
転送時間より若干オーバした時間的ずれが生じるが、ほ
ぼ１フレームの画像データ転送時間と同じ時間内での処
理が可能である。

【００６０】次に、類似度ｔを使用する場合の例を示
す。図１０は類似度ｔに対応した画像認識部４００Ｔの
ブロック図を示す。前にも述べたように、本実施形態に
おける画像表示装置に与えられる左右画像は、それぞれ
の眼の位置が画面の中央にくるように撮像した画像であ
る。したがって左右画像の違いは、両眼の視軸を平行に
置いたときに見られる視差だけである。この違いが類似
度ｓとなって現れてくるのであり、これを利用して類似
度ｓを距離に換算しているのであるが、観察対象物まで
の距離やその大きさによっては、当該観察対象物の画像
が左右画像の対応する画像ブロックＦ（Ｘ，Ｙ）の片方
にしか現れないケースも出てくる。この場合、類似度ｓ
は十分に小さな或る定数ｑよりも小さくなる。問題とな
る観察対象物は同じＹ列における類似度ｓが小さい他の
画像ブロックＦ（Ｘ，Ｙ）に存在するのであるから、類
似度ｓの小さい異なったＸ位置に存在する左右の画像ブ
ロック間で類似度ｓを算出してみたとき、もし同一の観
察対象物が存在していれば、類似度ｓは十分に大きな或
る定数ｐよりも大きくなる。この場合の画像ブロックＦ
（Ｘ，Ｙ）のＸ値の差（｜Ｘｎ−Ｘ１｜）を、類似度ｔ
と定める。

【００６１】なお類似度ｔを使用する場合、定数ｐ，ｑ
の値はシミュレーション等の結果により適切な値に設定
される。しかし画像ブロックＦ（Ｘ，Ｙ）内の画像を構
成する物体によっては、類似度ｓが定数ｑ以下となる画
像ブロックＦ（Ｘ，Ｙ）が他に存在しないケースが発生
する場合も考えられる。この場合は類似度ｔを使用しな
い場合と同等に扱うようにするとか、隣りの画像ブロッ
クＦ（Ｘ，Ｙ）の類似度ｓと関連づけて処理を行なうな
どの対応策を盛り込めばよい。

【００６２】また、類似度ｓが定数ｑより小さい画像ブ
ロックＦ（Ｘ，Ｙ）が３個以上存在し、異なるブロック
間の類似度ｓが定数ｐ以上にならなかったり、逆に定数
ｐ以上となるものが複数存在するケースが発生すること
も考えられる。定数ｐ以上にならなかった場合は類似度
ｔを使用しない場合と同等に扱うようにし、定数ｐより
大きい画像ブロックＦ（Ｘ，Ｙ）が複数ある場合には最
も大きい画像ブロックＦ（Ｘ，Ｙ）を選択し類似度ｔを
決定するなどの対応策を盛り込めばよい。

【００６３】画像加工部７００における距離換算部７４
０では、上記類似度ｔに基づいて前記表２に示すような
対応付けによる距離換算処理が行なわれる。すなわち類
似度ｔが観察者の目の位置に相当する点から当該画像を
構成する物体までの物理的距離に換算される。なお類似
度ｓは１以下の値をとるが、類似度ｔは１以上の値をと
る。

【００６４】図１０において、第１，第２の特徴ベクト
ル生成部４１０，４２０は、図４に示したものと同じで
ある。ただし、各特徴ベクトル生成部４１０，４２０の
出力信号が、新たに追加した類似度ｔ計算部４９０Ｔに
も出力されている。類似度計算部４９０は、図４におけ
る類似度計算部４８０に，類似度ｓが一定値ｑ以下とな
った画像ブロックＦ（Ｘ，Ｙ）の位置を示すフラグ信号
４９１を出力する機能を付加したものである。このフラ
グ信号４９１によって指示される画像ブロックＦ（Ｘ，
Ｙ）間で、すでに説明した方法により類似度ｔが算出さ
れる。算出された類似度ｔを示す出力信号４０１Ｔ〜４
０ｉＴは、セレクタ４９２により切り替え選択されて類
似度保持部５００に出力される。

【００６５】類似度ｔの計算の追加により、処理に必要
な時間は長くなるが、視線検出信号６０１を入力し、該
当する画像ブロックＦ（Ｘ，Ｙ）の列のみ行なうように
し、類似度保持部２３０の格納手順を変更すれば、処理
時間の増加は無視できるレベルまで抑制可能である。

【００６６】（変形例）実施形態に示された立体画像表
示装置は、下記の変形例を含んでいる。・予めデジタル信号に変換された画像データを、入力画
像信号として信号処理系１００内に導入するようにした
もの。

【００６７】・特徴ベクトルとして、「平均濃度値ｍ」
「ｘ方向の変化値がある定数以内にある画素のｘの平均
値ｗ」「濃度値の分散ｕ」のほか、取り扱う画像に適合
した要素等を適宜組合わせて用いるようにしたもの。

【００６８】（実施形態における特徴点のまとめ）実施
形態（変形例を含む）に示された立体画像表示装置の特
徴点をまとめると次の通りである。［１］実施形態に示された立体画像表示装置は、左右の
独立した画像表示部 (800)に両眼視差のある画像(701.7
02) を与えて立体視を行なう立体画像表示装置におい
て、入力した左右の画像をそれぞれ複数のエリアに分割
し、これら分割した各エリア内の画像である各画像ブロ
ックＦ（Ｘ，Ｙ）の特徴を示す複数種（ｎ種）の特徴ベ
クトル(f) を、前記左右の画像ブロックＦ（Ｘ，Ｙ）か
らそれぞれ別個に抽出する特徴ベクトル抽出部(300)
と、観察者の視線の方向を検出する視線検出部 (600)
と、この視線検出部 (600)の検出結果により注視点が存
在すると認定されるエリアにおける画像ブロックＦ
（Ｘ，Ｙ）の特徴ベクトル(f) を用いて左右の対応する
当該エリア内の画像の違いを定数化し、当該定数値を前
記観察者の目の位置に相当する点から当該エリアの画像
を構成する物体までの物理的距離に換算し、当該換算値
に対応した画素数分だけ前記左右の画像もしくはいずれ
か一方の画像を左右方向にずらす処理を行なう画像補正
部 (700)と、この画像補正部 (700)により補正処理され
た左右画像出力を独立に表示する画像表示部 (800)と、
を備えている。

【００６９】上記の如く構成された立体画像表示装置に
おいては、輻輳と眼のピント調節とを通常の生活と同じ
状態に保つ事ができるため、疲労感の少い立体表示を行
なえる。しかも機械駆動系を用いる必要がないため、小
型軽量に製作可能である。また特徴ベクトルと類似度
ｓ，ｔの計算は該当する画像ブロックＦ（Ｘ，Ｙ）のみ
で行なえることから、一旦すべての画像(101,102) を取
り込んでからでないと処理ができないという制限がなく
なり、リアルタイム処理が可能な装置を実現できる。［２］実施形態に示された立体画像表示装置は、上記
［１］に記載した装置であって、かつ左右の画像ブロッ
クＦ（Ｘ，Ｙ）の違いを定数化する手段は、前記視線検
出部 (600)の検出結果により選択されたエリアの右側画
像ブロックの特徴ベクトルをｆｒ、左側画像ブロックの
特徴ベクトルをｆｈとしたとき、次式により類似度ｓを
求めるものであることを特徴としている。

【００７０】類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）ただし、ｆｒ・ｆｈ：特徴ベクトル間の内積 ‖ｆｒ‖：特徴ベクトルｆｒのノルム（複素数の絶対値
に類似の性質をもつベクトル空間上のスカラー値関数） ‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ
１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）
としたとき、次式で定義されるもの ‖ｆｒ‖＝（ａ１² ＋ａ２² ＋…＋ａｎ² ）^1/2 ‖ｆｈ‖＝（ｂ１² ＋ｂ２² ＋…＋ｂｎ² ）^1/2 上記立体画像表示装置においては、前記［１］と同様の
作用効果を奏する上、左右の画像ブロックＦ（Ｘ，Ｙ）
の違いを定数化するための具現手段が明確に特定されて
いることから、実施しやすい利点がある。［３］実施形態に示された立体画像表示装置は、上記
［１］に記載した装置であって、且つ前記分割されたエ
リアの各画像ブロックをＦ（Ｘ，Ｙ）とし、その位置を
示す横方向（左右方向）のブロック番号をＸ（Ｘ１，Ｘ
２…）とし、縦方向のブロック番号をＹ（Ｙ１，Ｙ２
…）としたとき、前記類似度ｓが定数ｑより小さい画像
ブロックＦ（Ｘ１，Ｙ１）が存在する場合であって、且
つ同じ値のＹ１において類似度ｓが上記定数ｑよりも小
さい他の画像ブロックＦ（Ｘｎ，Ｙ１）が存在する場
合、前記一方の画像ブロックＦ（Ｘ１，Ｙ１）と他方の
画像ブロックＦ（Ｘｎ，Ｙ１）との間の類似度ｓを算出
し、この類似度ｓが定数ｐよりも大きいとき、当該画像
ブロックＦ（Ｘ１，Ｙ１）と画像ブロックＦ（Ｘｎ，Ｙ
１）との横方向の距離｜Ｘｎ−Ｘ１｜を類似度ｔと定
め、この類似度ｔを前記観察者の目の位置に相当する点
から当該エリアの画像を構成する物体までの物理的距離
に換算して使用することを特徴としている。

【００７１】上記立体画像表示装置においては、前記
［１］と同様の作用効果を奏する上、当該観察対象物の
画像が対応する左右画像ブロックの片方にしか現れない
ケースにおいても、左右画像の違いを的確に距離換算し
て、画像の補正処理を行なうことが可能となる。

【００７２】

【発明の効果】本発明によれば、機械駆動系を使用する
ことなく、輻輳と眼のピントの調節を通常の生活と同じ
状態に保つ事ができ、しかもその為の処理を簡単に行な
える。この結果、観察者にとって疲労感の少ない表示を
行なえるのは勿論、小型軽量に製作可能であり、加えて
演算量の少ない立体画像表示装置を提供できる。

【図面の簡単な説明】

【図１】本発明を頭部装着型画像表示装置に適用した本
発明の第１実施形態に係る立体画像表示装置の外観を示
す斜視図。

【図２】本発明の第１実施形態に係る立体画像表示装置
の信号処理系の概略的構成を示すブロック図。

【図３】本発明の第１実施形態に係る立体画像表示装置
の分割された画像エリア毎の画像ブロックおよび１画像
ブロック内の画素数を示す模式図。

【図４】本発明の第１実施形態に係る立体画像表示装置
の画像認識部の内部構成を示す図。

【図５】本発明の第１実施形態に係る立体画像表示装置
の類似度保持部の内部構成を示すブロック図。

【図６】本発明の第１実施形態に係る立体画像表示装置
の視線検出部によって検出する視線変化領域の定義を示
す図。

【図７】本発明の第１実施形態に係る立体画像表示装置
の画像加工部の内部構成を示すブロック図。

【図８】本発明の第１実施形態に係る立体画像表示装置
のずらし幅計算部の処理内容説明図。

【図９】本発明の第１実施形態に係る立体画像表示装置
のずらし幅計算部の処理内容説明図。

【図１０】本発明の第１実施形態に係る立体画像表示装
置の類似度ｔに対応した画像認識部のブロック図。

【符号の説明】

１０…表示装置本体４０…電装部品収容体１００…信号処理系２００…画像入力部３００…類似度検出部４００…画像認識部５００…類似度保持部６００…視線検出部７００…画像加工部８００…画像表示部９００…制御部

Claims

【特許請求の範囲】

【請求項１】左右の独立した画像表示部に両眼視差のあ
る画像を与えて立体視を行なう立体画像表示装置におい
て、入力した左右の画像をそれぞれ複数のエリアに分割し、
これら分割した各エリア内の画像である各画像ブロック
の特徴を示す複数種（ｎ種）の特徴ベクトルを前記左右
の画像ブロックからそれぞれ別個に抽出する特徴ベクト
ル抽出部と、観察者の視線の方向を検出する視線検出部と、この視線検出部の検出結果により注視点が存在すると認
定されるエリアにおける画像ブロックの特徴ベクトルを
用いて左右の対応する当該エリア内の画像の違いを定数
化し、当該定数値を前記観察者の目の位置に相当する点
から当該エリアの画像を構成する物体までの物理的距離
に換算し、当該換算値に対応した画素数分だけ前記左右
の画像もしくはいずれか一方の画像を左右方向にずらす
処理を行なう画像補正部と、この画像補正部により補正処理された左右画像出力を独
立に表示する画像表示部と、を備えたことを特徴とする立体画像表示装置。
【請求項２】前記左右の画像ブロックの違いを定数化す
る手段は、前記視線検出部の検出結果により選択された
エリアの右側画像ブロックの特徴ベクトルをｆｒ、左側
画像ブロックの特徴ベクトルをｆｈとしたとき、次式に
より類似度ｓを求めるものであることを特徴とする請求
項１に記載の立体画像表示装置。類似度ｓ＝ｆｒ・ｆｈ／（‖ｆｒ‖‖ｆｈ‖）ただし、ｆｒ・ｆｈ：特徴ベクトル間の内積 ‖ｆｒ‖：特徴ベクトルｆｒのノルム ‖ｆｒ‖及び‖ｆｈ‖：ｆｒ及びｆｈを夫々ｆｒ＝（ａ
１，ａ２，…ａｎ）、ｆｈ＝（ｂ１，ｂ２，…，ｂｎ）
としたとき、次式で定義されるもの ‖ｆｒ‖＝（ａ１² ＋ａ２² ＋…＋ａｎ² ）^1/2 ‖ｆｈ‖＝（ｂ１² ＋ｂ２² ＋…＋ｂｎ² ）^1/2
【請求項３】前記分割されたエリアの各画像ブロックを
Ｆ（Ｘ，Ｙ）とし、その位置を示す横方向（左右方向）
のブロック番号をＸ（Ｘ１，Ｘ２…）とし、縦方向のブ
ロック番号をＹ（Ｙ１，Ｙ２…）としたとき、前記類似
度ｓが定数ｑより小さい画像ブロックＦ（Ｘ１，Ｙ１）
が存在する場合であって、且つ同じ値のＹ１において類
似度ｓが上記定数ｑよりも小さい他の画像ブロックＦ
（Ｘｎ，Ｙ１）が存在する場合、前記一方の画像ブロッ
クＦ（Ｘ１，Ｙ１）と他方の画像ブロックＦ（Ｘｎ，Ｙ
１）との間の類似度ｓを算出し、この類似度ｓが定数ｐ
よりも大きいとき、当該画像ブロックＦ（Ｘ１，Ｙ１）
と画像ブロックＦ（Ｘｎ，Ｙ１）との横方向の距離｜Ｘ
ｎ−Ｘ１｜を類似度ｔと定め、この類似度ｔを前記観察
者の目の位置に相当する点から当該エリアの画像を構成
する物体までの物理的距離に換算して使用することを特
徴とする請求項１に記載の立体画像表示装置。