JPH0577414B2 - - Google Patents

Description

【発明の詳細な説明】

［産業上の利用分野］ 本発明は、立体テレビ放送、視覚心理学、人間
工学などの分野における視線の動き分析に好適な
立体視検出装置に関し、特に両眼立体視の両眼輻
輳角、輻輳速度および奥行き情報の情報をリアル
タイムで処理し、平面デイスプレイあるいは立体
デイスプレイ上に色わけして表示したり、記憶媒
体に記録する立体視検出装置に関するものであ
る。 ［発明の概要］ 本発明は、立体視したときの両眼輻輳角の計測
および実際に視線が捉えている奥行き情報の計測
を行なうもので、被験者の両眼の眼球運動情報を
サンプルする毎に、輻輳角、奥行き情報を精度よ
く実時間で計測できるように今回開発した輻輳
角、奥行き情報の近似計測法を用い、現行方式あ
るいは立体テレビのCRTデイスプレイ上に色分
けして表示したり、メモリに記録できるようにし
たものである。 ［従来の技術］ 眼球運動に関して、眼球の位置を検出し、陰極
線管上やフイルム上に注視点を表示する装置はす
でに存在し、いわゆるアイカメラとして知られて
いる。しかし、その情報を解析し、利用すること
については、ほとんど行われていないのが現状で
ある。また、テレビジヨン画像の評価を行う場
合、従来は、１コマずつ対応させながら、停留時
間および移動距離を相当の時間をかけて算出して
いた。しかも、その結果を原画像に１コマずつ対
応させて比較することは不可能に近い問題であつ
た。 そこで、本願人は、眼球の移動速度、移動方
向、移動距離、注視時間などの情報を同時にかつ
迅速に処理し、注視点分布、速度分布、移動距離
分布、ベクトル分布をリアルタイムで分析できる
ようにした視覚情報分析装置を提案した（特願昭
58−232761号）。 この装置は、ある一定以上、離れた視距離で両
眼の輻輳を無視できることを前提としている。 その他の従来の技術として左・右両眼の輻輳角
を測定する装置としてはVTR（ビデオ装置）でデ
ータを収録し、オフラインで計算処理するものが
ある。 ［発明が解決しようとする問題点］ しかしながら、このような従来装置では、輻輳
角や奥行き情報のリアルタイム処理はできないと
いう不都合があり、そのため視線の動きは、被験
者の見ている画面に直接表示して、初めて何を見
たかがわかることが多いので立体視の分析に適用
するには困難であつた。 上述の特願昭58−232761号で提案した視線情報
分析装置に輻輳角・奥行き情報分析部を加えて両
眼立体視を分析することも可能であるが、従来の
計測方式では計算処理時間が膨大となりマイクロ
コンピユータ程度の計算機ではリアルタイム処理
が不可能であつた。この原因は、「被験者の体が
自由に動く」という条件のもとで両眼の動きだけ
から輻輳角や奥行き情報を計測するという計測方
式のため、回路の処理容量が極めて大きくなるこ
とにある。 このように従来装置は両眼立体視のリアルタイ
ム処理に適さないので、上述のように一般にオフ
ライン処理している。その結果、たとえば被験者
が画面上の何ｍか奥を見ているときに、その見て
いる対象が何かを知る必要が生じたときには、静
止写真上で、データを分析して定規を使つて位置
を対照させて確認するという一連の煩わしい手作
業等が必要であり、立体視の分析手段としては、
理想に程遠いものであつた。 そこで、本発明の目的は、立体視したときの被
験者の両眼の眼球の運動情報をサンプルする毎
に、両眼輻輳角情報および実際に視線が捉えてい
る奥行き情報とを精度良く実時間で計測でき、現
行方式デイスプレイあるいは立体デイスプレイ上
の注視中の同一画面に色分けして表示したり、メ
モリに記録できるようにした立体視検出装置を提
供することにある。 ［問題点を解決するための手段］ かかる目的を達成するために、本発明では、立
体視したときの両眼の眼球の位置を検出する検出
手段と、検出手段により検出された両眼の眼球の
位置のデータをサンプリングするサンプリング手
段と、サンプリングされたサンプル値のデータを
デイジタル量に変換するデイジタル化手段と、デ
イジタル化手段でデイジタル化されたデイジタル
量X_R，X_Lと、あらかじめ与えられた両眼間隔Ｄ、
表示画面の基準面と両眼との間の距離ｄの所定値
に基づき、実際に両眼が見ていると考えられる虚
像面が両眼を中心とした円弧面であると仮定し
て、被験者が実際に見ていると考えられる奥行き
距離Ｓを近似的に算出する奥行き情報計測手段
と、奥行き情報計測手段で得られた奥行き距離Ｓ
と前記両眼間隔Ｄにより両眼輻輳角θを近似的に
算出する両眼輻輳角計測手段と、奥行き距離Ｓ、
両眼輻輳角θのうちの少くともひとつを表示する
表示手段とを具備したことを特徴とする。 ［作用］ 本発明では、両眼の輻輳角・奥行き情報の計測
に後述のような円弧近似回路を開発して用いてお
り、注視点と眼との間の絶対的な距離を測定する
必要がないので、被験者の頭の動きを考慮しなく
ても、非常に簡単かつ高速に計測することがで
き、その結果リアルタイムで、被験者の見ている
画面（もしくは視野）と同じ画面上に、輻輳角や
奥行き情報を表示することができ、また従来の２
次元画面のみならず、立体画面上にリアルタイム
で直接表示できて、被験者の視線の動きを精度良
く実時間で３次元的に分析できる。 ［実施例］ 以下に、図面を参照して本発明の実施例を詳細
に説明する。 第１図は本発明の基本構成を示し、ここで、モ
ニタ画面を凝視する被験者の両眼EL，ERに対し
てアイマーカーカメラなどの眼球位置検出手段１
を設置しておく。 この眼球位置検出手段１としては、弱い赤外線
を眼球に照射して、眼球の強膜と角膜の反射の差
を取る方式のものや、角膜を直接ビデオカメラ等
で撮影して角膜の位置を検出する方式のもの、あ
るいは生体の電位を検出するEOG（electro−
oculography）方式のものなど公知の技術が利用
できる。この眼球位置検出手段１から得られた左
右両眼の眼球位置情報を、サンプリング手段２に
供給して適当なサンプル周期、例えばほぼ10〜
100ms間隔でサンプリングしてホールドする。そ
のサンプルホールド出力をデイジタル化手段３に
より８〜12ビツトのデイジタル量に変換する。か
かるデイジタル化されたサンプル値のうち、時間
的に前の眼球位置との差分、さらに左右の眼球位
置の相互間の差分とを算出する算出手段４により
求める。このようにして求められた現在の眼球位
置と前の眼球位置との差分データを移動・停止判
定手段５に供給する。この判定手段５には、停留
限界を示す基準データ、例えば眼球の移動角度０
〜20度／secの範囲のデータを予め記憶しておき、
上述の差分をこの停留限界と比較する、差分が停
留限界より大きいときには眼球は移動と判断し、
他方、差分が停留限界より小さいときには眼球が
停留と判定する。 眼球移動と判定されたときには、算出手段６に
おいて、上述したデイジタル化サンプル値に基づ
いて眼球の移動速度、距離および方向を算出す
る。眼球停留と判定されたときには、積算手段７
において、停留時間を積算する。これら手段６お
よび７からの演算出力を表示手段８において表示
する。 なお、上述の５〜７の手段については本願人が
提案した特願昭58−232761号で詳述しており、本
発明とは直接関係がないので、さらに詳細な説明
は省略する。 本図の鎖線Ａで囲んで示した奥行情報計測手段
９と両眼輻輳角計測手段１０とが新たに開発され
た本発明の要部である。算出手段４で求められた
左右の眼球位置の相互間の差分値を奥行き情報計
測手段９および両眼輻輳角計測手段１０に送り、
両眼が今、何ｍ先の奥を見ているのか、あるいは
両眼間の角度が何度であるかなどの計測値を後述
の円弧、近似計算方式を用いて算出する。これら
の各計算結果は現行方式のデイスプレイまたは立
体デイスプレイの表示手段８に送り、この表示手
段８により、停留中は停留時間により停留点の色
分け、移動中は、速度距離によりその軌跡上への
色分けを行なつて表示すると共に、また両眼輻輳
角もしくは輻輳速度については、両眼の視線に追
随する軌跡を角度もしくは速度のそれぞれの各段
階に応じて色分けして表示する。また奥行き情報
は例えば棒グラフの長さなどによつて表示を行な
う。このとき、被験者がデイスプレイの基準面
（例えば立体テレビの観視時なら、CRTの表面）
より奥を見ているか、または手前を見ているかに
より色分けの表示をする。 次に、本発明の一実施例を第２図に示し、その
電気回路部分を第３図に示す。 第２図において、１１は眼球位置検出部、すな
わちいわゆるアイカメラの部分を示し、例えば赤
外線を眼球にあて、その反射光を検出して両眼球
の運動位置データを測定する。アイカメラ１１は
立体視検出装置本体１２に対して着脱自在とな
し、大型映像やフイールド実験の場合には眼鏡も
しくはゴーグル方式で眼に装着するのが好適であ
る。１３は被験者が凝視する画面を映出するテレ
ビモニタの表示面、１４は奥行き、両眼輻輳角、
眼球の移動速度、距離および方向、さらに停留時
間等を表示するデイスプレイである。この装置本
体１２にはアイカメラ１１からの位置データに基
づいて各種の演算および処理を行う電気回路部分
１５が内蔵されている。 次に、かかる電気回路部分の一例を第３図に示
す。図中、第２図と同様の個所は同一符号を付
す。ここで、アイカメラ１１からの両眼の運動情
報である両眼球の横方向および縦方向の位置デー
タｘおよびｙをサンプルホールド回路１２により
サンプリングする。 そのサンプル周期は、上述したように10〜
100msecにするのが好適である。その理由につい
て述べる。人間が文字などを読んだり、所定の対
象物を見つめる場合に、その注視点に対して200
〜300msec程度の間注視してから直ちにその注視
点のまわりに眼球位置を移してまわりも見るの
で、かかる注視点での眼球の停留時間200〜
300msecの間に少なくとも１サンプル、好ましく
は数サンプルほどサプリングすることが必要であ
り、かかる観点からサンプリングの周期を10〜
100msecにとるのがよいことが実験的に確かめら
れた。 次いで、サンプルホールド回路２１からのサン
プル値をアナログ−デジタル変換器２２によりデ
イジタル量に変換し、そのデイジタルデータをマ
イクロコンピユータなどを構成することのできる
中央処理装置２３に供給する。 中央処理装置２３では、眼球運動中の入力デー
タに基づいて停留点の分離と停留時間、移動速度
および移動距離の算出を行い、また輻輳角・奥行
情報計測回路２４にデータを送つて高速演算させ
ることにより、両眼輻輳角、輻輳速度、奥行距離
を算出する。これらの算出結果は映像処理装置２
５へ送り、映像処理装置２５では、これらの算出
結果を被験者が見ているのと同じ画面を示してい
るデイスプレイ１４の画面上に上述したような色
分けを行なつてスーパーインポーズで表示する。 この表示の方法としては、例えば左眼もしくは
右眼で見た映像を従来の現行デイスプレイ１４−
１上に左眼、右眼に対応する２つの画像を加算混
合し、視差情報の重なつた映像上にスーパーイン
ポーズする方法、あるいは立体デイスプレイ１４
−２の左・右画像のそれぞれに、左・右眼の目の
動きをスーパーインポーズし、実験者が立体デイ
スプレイ１４−２によりこの映像を見て被験者の
視線の動きを奥行き方向の動きまで含めて観察で
きるようにする方法などが挙げられる。なお、こ
の映像処理装置２５から出力されるビデオ信号
は、同時にVTR２６に収録し、繰り返し分析に
用いることができる。 第４図Ａ，Ｂは、奥行き距離および両眼輻輳角
の計測原理を示す。第４図Ａは従来の計測原理。
第４図Ｂは本実施例で用いた本発明に係る円弧近
似計測方式による計測原理を示すものである。第
４図Ａ，Ｂにおいて、I₁はCRTデイスプレイ１
４−１または１４−２上の実像面（もしくは基準
面）の位置を示し、I₂は実際に眼が見ていると考
えられる虚像面の位置を示す。また、Ｄは両眼の
間隔、ｄはCRTデイスプレイなどの基準面と両
眼との間の距離、Ｓは被験者が実際に見ていると
考えられる距離、およびθは両眼輻輳角を表す。 第４図Ａの従来方式では、図上の位置関係から
して以下の式が得られる。 tanα＝ｄ−S′／X_R−ｂ ……(1) tanβ＝ｄ−S′／X_L−ｂ ……(2) θ＝β−α ……(3) γ＝α−θ／２ ……(4) S′＝ｄ＋（X_L−X_R）tanαtanβ／tanβ−tanα……(
5) Ｓ＝S′／sinγ ……(6) 一方、第４図Ｂの本発明に係る円弧近似計測方
式では、ｄ》Ｄと考え、O′が円に接していると
考える。従つて、図の位置関係から、以下の式が
得られる。 tanα＝ｄ／X_R＋Ｄ／２ ……(7) tanβ＝ｄ／X_L＋Ｄ／２ ……(8) 第４図Ｂの三角形LRO′と三角形J′K′O′の相似
関係により、 S′／（ｄ−S′）＝Ｄ／（X_R−X_L） ……(9) S′＝dD／X_R−X_L＋Ｄ ……(10) Ｓ≒S′／sinγ′ ……(11) γ＝γ′≒（α＋β）／２ ……(12) θ≒θ′であり、tanθ′／２＝Ｄ／2Sだから、 θ≒2tan^-1Ｄ／2S ……(13) となる。 第４図Ａによる上式(1)〜(6)と、第４図Ｂによる
上式(7)〜(13)とを比較すると、被験者が実際に見
ていると考えられる距離（奥行き距離）Ｓを求め
るのに、従来では(5)式および(6)式の複雑な演算が
必要であつたが、本発明では上述のように円弧近
似をしているので、(10)式および(11)式のように極
めて簡略される。また、両眼輻輳角θについては
従来の(3)式に比べ、本発明による(13)式では
tan^-1の演算を１回に減じることができる。 上式を用いてＳおよびθを計測したときの両方
式の精度を次の第１表に示す。

【表】 このように本発明では視線が円弧に接している
と仮定することにより演算式を定めているので、
演算は極めて簡単化され、しかも実用上問題ない
精度を得ることができる。この結果、演算のハー
ドウエア化が後述のように可能となつた。 第５図は第３図の中央処理装置２３と輻輳・奥
行計測回路２４の処理手順の関係を示すフローチ
ヤートである。図の左側半分のステツプS1〜S10
は特願昭58−232761号で詳しく説明しており、本
発明と直接関係がないので、その詳細な説明は省
略し、鎖線Ｂで囲む本発明に係るステツプS11〜
S16についてのみ説明する。左眼および右眼の位
置情報は、ステツプS3でデイジタルデータに変
換し、右側のフローチヤートのステツプS11〜
S14により、右眼回転角α、左眼回転角β、平均
回転角γおよび視差Δxについての演算を行う。
引き続き、第４図Ｂで上述した計算式により、ス
テツプS15およびステツプS16で奥行距離と輻輳
角の計算を行う。計算結果はステツプS18でデイ
スプレイ１４上に表示される。 第６図は第５図で述べた奥行距離と輻輳角の計
測を実際に行う輻輳角・奥行情報計測回路２４の
構成例を示す。中央処理装置２３からX_R，X_Lの
デイジタルデータを入力し、あらかじめ中央処理
装置２３からdRDが与えられているROMテーブ
ル３１からsinγの読み出しを行い、デジタル差分
回路３２でX_R，X_Lのデイジタル差分を行う。差
分回路３２の出力はデイジタル加算回路３３で中
央処理装置２３から与えられるデータＤとの加算
を行う。Ｄは両眼距離で一定値である。テーブル
３１と加算回路３３の出力は乗算器３４を経て除
算器３５で中央処理装置からあらかじめ入力され
たｄ×Ｄとの除算を行い、奥行き距離Ｓを算出す
る。算出された奥行き距離Ｓによりあらかじめ
ROMテーブル３６に入つている輻輳角θが読み
出され、そのＳとθとは中央処理装置２３に送ら
れる。 このように、本発明では視線の動きを円弧で近
似させたので、ROMテーブル３１，３６、乗算
器３４、除算器３５、加算回路３３、差分回路３
２のような非常に簡単なハードウエアで奥行距
離、両眼輻輳角の計測が可能となり、その結果立
体視をリアルタイムで処理および分析することが
できる。 ［発明の効果］ 以上説明したように、本発明によれば、新たに
開発した円弧近似計測方式を採用しているので、
両眼立体視における奥行距離、輻輳角をリアルタ
イムで計測することができる。 これらの計測は、従来では非常に複雑な計算を
要し、少くともミニコンピユータクラスの計算機
を用いない限り、リアルタイム処理はできず、マ
イクロコンピユータ程度の計算機ではオフライン
処理にとどまつていた。本発明では上述のように
計算式を極めて簡略化できるので、容易にかつ廉
価にハードウエア化でき、しかもこのハートウエ
アを用いることにより、マイクロコンピユータで
もリアルタイム処理が可能となり、立体テレビや
視覚心理の分野での立体視の研究に大いに貢献す
ることができる。 また、本発明では立体テレビ上で眼の奥行き方
向の動きを、直接に立体的に見ることができる
が、これは今までになかつた全く新しい機能であ
り、立体視のリアルタイム分析は望まれていたが
実現不可能と考えられていただけに相当数の需要
に結び付くと期待される。

【図面の簡単な説明】

第１図は本発明の基本構成を示すブロツク図、
第２図は本発明装置の外観の一例を示す斜視図、
第３図はその電気回路部分の構成の一例を示すブ
ロツク図、第４図は、奥行距離・立体輻輳角の計
測原理を示し、Ａは従来の計測方式、Ｂは本発明
による円弧近似計測方式を示す原理図、第５図
は、第３図の実施例の具体的な制御手順の一例を
示すフローチヤート、第６図は、本発明による輻
輳角奥行情報計測回路の構成の一例を示すブロツ
ク図である。 １……眼球位置検出手段、２……サンプリング
手段、３……デイジタル化手段、４……サンプル
値の差分算出手段、８……表示手段、９……奥行
き情報計測手段、１０……両眼輻輳角計測手段、
１１……アイカメラ、１２……立体視検出装置本
体、１３……テレビモニタ、１４……デイスプレ
イ、１５……電気回路部分、２１……サンプルホ
ールド回路、２２……Ａ／Ｄ変換器、２３……中
央処理装置、２４……輻輳角・奥行き情報計測回
路、２５……映像処理装置、２６……VTR。

Claims (1)

1. 【特許請求の範囲】 １ 立体視したときの両眼の眼球の位置を検出す
   る検出手段と、 該検出手段により検出された前記両眼の眼球の
   位置のデータをサンプリングするサンプリング手
   段と、 該サンプリングされたサンプル値のデータをデ
   イジタル量に変換するデイジタル化手段と、 該デイジタル化手段でデイジタル化された前記
   デイジタル量X_R，X_Lと、あらかじめ与えられた
   両眼間隔Ｄ、表示画面の基準面と両眼との間の距
   離ｄの所定値に基づき、実際に両眼が見ていると
   考えられる虚像面が両眼を中心とした円弧面であ
   ると仮定して、被験者が実際に見ていると考えら
   れる奥行き距離Ｓを近似的に算出する奥行き情報
   計測手段と、 該奥行き情報計測手段で得られた前記奥行き距
   離Ｓと前記両眼間隔Ｄにより両眼輻輳角θを近似
   的に算出する両眼輻輳角計測手段と、 前記奥行き距離Ｓ、前記両眼輻輳角θのうちの
   少くともひとつを表示する表示手段とを具備した
   ことを特徴とする立体視検出装置。 ２ 前記奥行き情報計測手段は、前記デイジタル
   量X_R，X_L、前記両眼間隔Ｄ、前記距離ｄとによ
   り、次式 α＝tan^-1ｄ／X_R＋Ｄ／２ ，β＝tan^-1ｄ／X_L＋Ｄ／２ に基づき、右眼回転角α、左眼回転角βを求める
   手段と、 前記α，βの値から、次式 γ＝（α＋β）／２ に基づき、平均回転角γを求める手段と、 前記γの値から、次式 Ｓ＝（dD／X_R−X_L＋Ｄ）／sinγ に基づき前記奥行き距離Ｓを求める手段と を具えたことを特徴とする特許請求の範囲第１項
   記載の立体視検出装置。 ３ 前記両眼輻輳角計測手段は、前記奥行き距離
   Ｓ、前記両眼間隔Ｄとにより、次式 θ＝2tan^-1Ｄ／2S に基づき前記両眼輻輳角θを求めることを特徴と
   する特許請求の範囲第１項または第２項記載の立
   体視検出装置。 ４ 前記表示手段は前記奥行き情報計測手段で得
   られた前記奥行き距離Ｓとあらかじめ定めた基準
   距離とを比較して、被験者が前記基準距離に対し
   て遠くにあるのを見たのか、近くにあるのを見た
   のかを色分けで表示することを特徴とする特許請
   求の範囲第１項ないし第３項のいずれかの項に記
   載の立体視検出装置。 ５ 前記表示手段は前記両眼輻輳角計測手段で求
   められた前記両眼輻輳角θと、該両眼輻輳角θの
   時間的相互間の差分より求めた輻輳速度に従つ
   て、両眼の視線の動きに追随する軌跡を各段階別
   に色分けで表示することを特徴とする特許請求の
   範囲第１項ないし第４項のいずれかの項に記載の
   立体視検出装置。 ６ 前記表示手段は前記奥行き情報計測手段で求
   められた奥行き距離Ｓに基づき、両眼の眼球の視
   線の位置および該視線の軌跡を立体画像と重ね合
   せて立体的に表示するようにしたことを特徴とす
   る特許請求の範囲第１項ないし第５項記載の立体
   視検出装置。