JPH04242394A - 視差融合型立体画像ｔｖ電話機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は視差融合型立体画像ＴＶ
電話機，特に人間の生理としての視差融合特性を利用し
た２眼式の立体画像の生成において視差融合領域を自在
に移動させることを特徴とした視差融合型立体画像ＴＶ
電話機に関する。

【０００２】

【従来の技術】図７は従来の視差融合型立体画像ＴＶ電
話機の一例であるＮＴＴヒューマンインターフェース研
究所が開発した視差融合型立体画像ＴＶ電話機のブロッ
ク図である。図７において、視差融合型立体画像ＴＶ電
話機は時分割型２眼カメラ（１０）と、立体画像表示器
（１１）と、レンチキュラレンズ板（１２）とから構成
されている。

【０００３】一般に、２台のＴＶカメラもしくは時分割
型２眼カメラ（１０）で得た両眼画像は立体画像表示器
（１１）に伝送される。この立体画像表示器（１１）の
前にはレンチキュラレンズ板（１２）が置かれ、それぞ
れ両眼の位置に応じたレンチキュラレンズの焦点の位置
に両眼の画像のそれぞれのピクセルを配置し、別々の画
像を両眼に与える。

【０００４】図２は立体画像表示器（１１）とレンチキ
ュラレンズ板（１２）の位置関係を示した部分図である
。図２に置いてレンチキュラレンズ板（１２）は絶えず
立体画像表示器（１１）と平行になるように位置しなが
ら、立体画像表示器（１１）に対して左右、前後に移動
できるように構成されている。そして、一般的には観測
者が観測位置から腕を伸ばし最も良好に立体画像が見え
るように調整して使用している。

【０００５】

【発明が解決しようとする課題】しかし、観測者がメガ
ネ等の装着物を何も装着せずに立体画像の観測ができる
唯一の観測方法であるレンチキュラレンズ板を使用する
方法の場合、立体画像表示器（１１）の表示画面の前面
において両眼分離画像が得られる領域は、画面前方を水
平方向に平行に移動して測定したとすると波状に存在し
、その谷間領域では両眼に適切な画像が得られないため
不安定な状態となることが知られている。それ故、全方
向で良好な立体画像が得られるわけではなく、複数の観
測者がいる場合は各々の観測者が立体画像を容易に与え
られるわけではない。この欠点はレンチキュラレンズを
用いた場合の特有の最大の欠点である。

【０００６】また、観測者が一人であっても連続して最
適立体画像を得るためにはその観測位置を固定化する必
要があり、これは観測者にとっても大きな忍耐力を必要
とすることになるので、現実的には大変困難であった。 それ故、視差融合の可能な領域を広げるか追従移動させ
るかして、絶えず観測者に適合させて置かなければなら
ないと言う問題点があった。

【０００７】本発明は上記のような問題点を解消するた
めになされたもので，視差融合による立体画像の通信に
おいて良質の立体画像を安定して得ることのできる視差
融合型立体画像ＴＶ電話機を目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に，本発明の第１の発明に係わる視差融合型立体画像Ｔ
Ｖ電話機は，ＴＶ電話機の操作者が絶えず視差融合可能
な立体画像を得られるようにレンチキュラレンズ板の位
置を自律的に調整する位置調整機構を有することを特徴
とする。

【０００９】第２の発明に係わる視差融合型立体画像Ｔ
Ｖ電話機は，時分割型２眼カメラからの両眼の各々の映
像を分析することにより操作者の両眼の画像表示器から
の位置を推定・算出し、その位置にレンチキュラレンズ
の焦点が位置するようにすると共に、パーナムの視差融
合領域の中心領域となるようにレンチキュラレンズ板の
位置を調整する位置調整機構を有することを特徴とする
。

【００１０】第３の発明に係わる視差融合型立体画像Ｔ
Ｖ電話機は，レンチキュラレンズ板の位置調整を行うた
めに、電歪素子などの電気・位置変換素子あるいは磁歪
素子などの磁気・位置変換素子を用いた位置変換機構を
有することを特徴とする。

【００１１】第４の発明に係わる視差融合型立体画像Ｔ
Ｖ電話機は，生理的視差闘争を起こさないようにするた
めにそれぞれの両眼画像間の対象物の大きさ・ピントぼ
けの量・明暗輝度・色合いなどを監視する機能を有し、
任意限度を越えると擬似的に前記対象物の大きさ・ピン
トぼけの量・明暗輝度・色合いなどを調整する自動調整
機構を有することを特徴とする。

【００１２】第５の発明に係わる視差融合型立体画像Ｔ
Ｖ電話機は，生成された対人立体画像による対人距離イ
メージが、ソマーのパーソナル・スペースを侵さないよ
うにレンズのＦ値及び魚眼率を設定する自動設定機構を
有することを特徴とする。

【００１３】以上により、レンチキュラレンズ板による
立体画像の観測可能領域を操作者の両眼の位置に絶えず
追随させて移動できるように構成した。

【００１４】

【作用】したがって、本発明の視差融合型立体画像ＴＶ
電話機によれば，送信時に使用する時分割型２眼カメラ
から取り込まれた両眼の画像を比較分析することによっ
て、操作者の位置を算出し、この算出されたデータを基
に操作者の両眼の位置に最もよい視差融合の領域が配置
されるようにレンチキュラレンズ板の位置を微妙に調整
できるようになる。

【００１５】

【実施例】本発明の視差融合型立体画像ＴＶ電話機は、
人間の生理としての視差融合特性を利用した２眼式の立
体画像の生成において、視差融合領域を自在に移動させ
ることを特徴としている。以下，本発明の一実施例を図
について説明する。

【００１６】まず、図２は従来の技術で説明したように
両眼画像を二重に映し出す立体画像表示器（１１）に前
置きして配置されたレンチキュラレンズ板（１２）の必
要な移動方向を示す図である。例えば、操作者が立体画
像表示器（１１）から遠くはなれて位置しているときは
、レンチキュラレンズ板（１２）はより立体画像表示器
（１１）に近づける必要があるし、操作者が立体画像表
示器（１１）の画面より右手に移動するとわずかに右手
に移動させる必要がある。

【００１７】次に、図１はレンチキュラレンズ板（１２
）の位置の調整のために設けられた本発明の位置調整機
構の構造図である。立体画像表示器（１１）の本体はレ
ンチキュラレンズ板（１２）と平行に配置されており、
電歪素子（１３）はレンチキュラレンズ板（１２）を立
体画像表示器（１１）の表示画面に対して前後に移動さ
せるための電歪素子である。電歪素子（１４）はレンチ
キュラレンズ板（１２）を立体画像表示器（１１）に対
して左右に移動させるための電歪素子である。そして、
支え板（１５），（１６）はレンチキュラレンズ板（１
２）とその駆動部である前記電歪素子（１３），（１４
）を保持するための支え板である。

【００１８】電歪素子（１３），（１４）は印可される
電圧によってその伸縮が自由に制御される特性を持って
いる。従って、電歪素子（１３），（１４）に印可する
電圧を制御することにより、レンチキュラレンズ板（１
２）を前後方向、及び水平左右方向に微調整するのであ
る。これにより操作者の両眼に良好な視差融合領域が展
開され、支障なく立体画像通信が行われる。

【００１９】また、図３は本発明の視差融合型立体画像
ＴＶ電話機の時分割型２眼カメラの構成ブロック図であ
る。図３において、本発明の時分割型２眼カメラはそれ
ぞれ右眼・左眼に対応したレンズ（２１）と、レンズ（
２１）によって結像された被写体の光景を撮像部（２３
）に導くための全反射型鏡（２２）と、右眼・左眼の結
像された被写体の画像信号を得る撮像部（２３）と、右
眼・左眼に対応した被写体の光景の結像を前記撮像部（
２３）の同一光軸上にそれぞれ重なるように入力するた
めの半透過型鏡（２４）と、右眼・左眼に対応した被写
体の光景をそれぞれ撮像部（２３）に交互に入力するよ
うに切り替えるため光軸に挿入されている液晶シャッタ
（２５）とから構成されている。

【００２０】従って、本発明の時分割型２眼カメラはそ
れぞれ右眼・左眼に対応したレンズ（２１）によって被
写体の光景を結像し、その結像された被写体の光景は全
反射型鏡（２２）によって撮像部（２３）に導かれる。 そして、半透過型鏡（２４）は右眼・左眼に対応した被
写体の光景の結像を前記撮像部（２３）の同一光軸上に
それぞれ入力するように合わせる働きをしている。さら
に、液晶シャッタ（２５）は撮像部（２３）に入力され
る右眼・左眼に対応した被写体の光景をそれぞれ切り替
える。従って、液晶シャッタ（２５）を交互に同期して
、ＯＮ／ＯＦＦさせることによって撮像部（２３）に交
互に右眼・左眼に対応した被写体の光景が入力され、そ
れ故、時間的に交互に右眼・左眼の画像信号を得ること
ができるようになるのである。

【００２１】次に上記の通り構成される本発明の視差融
合型立体画像ＴＶ電話機の動作について図４、図５、及
び図６を用いて説明する。まず、図４は本発明の視差融
合型立体画像ＴＶ電話機で操作者が通話するときの送信
用両眼画像を示す図である。図４（ａ）は左眼の画像で
あり、図４（ｂ）は右眼の画像である。図４（ａ）では
操作者の姿が映し出されており、その位置は画面中心に
配置されている。同様に図４（ｂ）でも操作者の姿が映
し出されているが、その位置はかなり左方向にずれてい
る。そして、それぞれの画像の画像表示画面の中心位置
からのずれに応じたカメラ光軸からのずれによって操作
者の位置が固定化されるのである。

【００２２】次に、図５は本発明の操作者の位置検出の
原理を説明するための説明図である。図５において線Ｂ
Ｄ・線ＣＤは時分割型２眼カメラ（１０）の右眼・左眼
各々の光軸であって、左眼カメラ位置を点Ｂで示し、右
眼カメラ位置を点Ｃで示してある。図５から明らかなよ
うに線ＢＣの中心点Ａにおける垂直線ＡＤと、線ＢＤ・
線ＣＤは点Ｄで交わっているが、この線ＢＤ・線ＣＤが
交わる点Ｄが初期状態における操作者検出位置である。 点Ｄを初期位置とする理由は通常操作者がこの位置にい
る確率が大きいことと、人間が通常凝視している場合も
同様な光軸関係となっていることが多いことによる。

【００２３】今、実際に点Ｅが操作者のいる位置とする
と、初期状態のカメラ光軸である線ＢＤ・線ＣＤと、新
しいカメラ光軸である線ＢＥ・線ＣＥの角度のずれはθ
１　・θ２　となり、この角度のずれが画像表示画面で
はそれぞれｄ１　・ｄ２　のずれとして表示される。

【００２４】なお、カメラのピントを簡略化するため、
通常焦点深度を増加させる工夫がなされるが、これが災
いしてカメラは広角化・魚眼化の傾向にある。従って、
カメラの視野角度は、通常人の視野角度より若干広くな
っているため、立体画像を構成しようとした場合、異様
な立体感覚をもたらすことになると共に、立体画像を構
成するためには非線形型で、複雑な計算過程が必要とな
る。

【００２５】図６は本発明の視差融合型立体画像ＴＶ電
話機の機能を構成するアルゴリズムと、制御の流れを示
すフローチャートである。図６において、本発明の視差
融合型立体画像ＴＶ電話機は、まず、両眼入力画像の背
景部を切り落とす作業を行なう（ステップ６１）。次に
、背景部を切り落とした人物画像における人物の数をチ
ェックする（ステップ６２）。以下、説明の簡略化のた
めに人物画像の人数が一人の場合について説明する。

【００２６】背景部を切り落とした人物画像の重心を求
め（ステップ６３）、この人物画像の重心の画像表示画
面の中心線からのずれを算出する（ステップ６５）。こ
の中心線からのずれの量を極座標にデータ変換し、その
極座標のもとでの操作者の位置を算出する（ステップ６
６）。この算出されたデータを基に、先に示したように
電歪素子（１３），（１４）に印可する電圧を制御する
ことによりレンチキュラレンズ板を前後方向、及び水平
左右方向に微調整する（ステップ６７）。

【００２７】もちろん、一般的な処理と同様にまず人物
画像の顔の輪郭を取り出し、さらに両眼・鼻の位置を抽
出（ステップ６４）するアルゴリズムを実行することも
可能であるが、この様に厳密な解を求めなくとも、視差
融合の範囲内にあれば特に不都合がないので、処理時間
やプログラム容量などの節約のために割愛し、上記処理
とすることも当然可能である。

【００２８】なお、上記実施例では時分割型２眼カメラ
とレンチキュラレンズ板による立体画像生成についての
み説明したが、この方法に制限されるわけではなく他の
方法、例えば偏光メガネや液晶シャッタメガネ等を用い
ることもできる。しかし、偏光メガネや液晶シャッタメ
ガネ等を用いた場合は、操作者が被写体となるので、メ
ガネを着用した操作者の画像が伝送されることになるの
で好ましいこととはいえないと判断される。従って、レ
ンチキュラレンズ板を用いる上記実施例の方が、操作者
が特殊な装置を着用しなくてもよいだけでなく、被写体
としての操作者としても好ましいことであろうと考えら
れる。

【００２９】また、ホログラフィや振動・回転した半透
明板にレーザービームを走査・照射することにより立体
画像を得る生成方法があるが、この方法に対しては、装
置が煩雑となること、フルカラー化が困難であること、
２眼以上の多眼カメラの必要もあること、３次元ＣＡＤ
データの再現には適当であるが３次元撮像画像の双方向
通信には不適当であることなどの問題を指摘するにとど
める。

【００３０】

【発明の効果】以上説明したように，本発明の視差融合
型立体画像ＴＶ電話機によれば，レンチキュラレンズ板
による立体画像の観測可能領域を操作者の両眼の位置に
絶えず追随させて移動するように構成したので、視差融
合による立体画像の通信において良質の立体画像を安定
して得ることができるという効果がある。

【図面の簡単な説明】

【図１】本発明の視差融合型立体画像ＴＶ電話機におけ
るレンチキュラレンズ板（１２）の位置の調整のために
設けられた位置調整機構の構造図である

【図２】両眼画
像を二重に映し出す立体画像表示器（１１）に前置きし
て配置されたレンチキュラレンズ板（１２）の必要な移
動方向を示す図である

【図３】本発明の視差融合型立体画像ＴＶ電話機の一実
施例を示す時分割型２眼カメラの構成ブロック図である

【図４】本発明の視差融合型立体画像ＴＶ電話機で操作
者が通話するときの送信用両眼画像を示す図である。図
４（ａ）は左眼の画像であり、図４（ｂ）は右眼の画像
である

【図５】視差融合型立体画像ＴＶ電話機にける操作者の
位置検出の原理を説明するための説明図である

【図６】
本発明の視差融合型立体画像ＴＶ電話機の機能を構成す
るアルゴリズムと、制御の流れを示すフローチャートで
ある

【図７】従来の視差融合型立体画像ＴＶ電話機の一例で
あるＮＴＴヒューマンインターフェース研究所が開発し
た視差融合型立体画像ＴＶ電話機のブロック図である。

【符号の説明】

（１０）　　時分割型２眼カメラ （１１）　　画像表示器 （１２）　　レンチキュラレンズ板 （１３），（１４）　　電歪素子 （１５），（１６）　　支え板 （２１）　　レンズ （２２）　　全反射型鏡 （２３）　　撮像部 （２４）　　半透過型鏡 （２５）　　液晶シャッタ

Claims (5)

【特許請求の範囲】
1. 【請求項１】時分割型２眼カメラと、画像表示器と、該
   画像表示器に前置されるレンチキュラレンズ板とから構
   成され、前記画像表示器のそれぞれのレンチキュラレン
   ズ焦点位置に、前記時分割型２眼カメラの右眼カメラ・
   左眼カメラの各々の画像を二重に且つ交互に表示する視
   差融合型立体画像ＴＶ電話機であって、前記時分割型２
   眼カメラは被写体の画像信号を得る撮像部と、レンズに
   より結像された被写体を前記撮像部に導くための複数の
   全反射型鏡と、前記全反射型鏡により導かれる右眼・左
   眼から入力された被写体の結像を前記撮像部の同一光軸
   上に重なるようにする半透過型鏡と、前記全反射型鏡に
   より導かれる右眼・左眼から入力された被写体の結像を
   前記撮像部に交互に入力するために光軸に挿入されてい
   る複数の液晶シャッタとから構成されることを特徴とす
   る視差融合型立体画像ＴＶ電話機において、ＴＶ電話機
   の操作者が絶えず視差融合可能な立体画像を得られるよ
   うにレンチキュラレンズ板の位置を自律的に調整する位
   置調整機構を有することを特徴とする視差融合型立体画
   像ＴＶ電話機。
2. 【請求項２】請求項１記載の視差融合型立体画像ＴＶ電
   話機において、前記時分割型２眼カメラからの両眼の各
   々の映像を分析することにより操作者の両眼の前記画像
   表示器からの位置を推定・算出し、該位置にレンチキュ
   ラレンズの焦点が位置するようにすると共に、パーナム
   の視差融合領域の中心領域となるようにレンチキュラレ
   ンズ板の位置を調整する位置調整機構を有することを特
   徴とする視差融合型立体画像ＴＶ電話機。
3. 【請求項３】請求項１及び請求項２記載の視差融合型立
   体画像ＴＶ電話機において、レンチキュラレンズ板の位
   置調整を行うために、電歪素子などの電気・位置変換素
   子あるいは磁歪素子などの磁気・位置変換素子を用いる
   とともに、摩擦、すべり、回転等の機構を含まないよう
   にした位置変換機構を有することを特徴とする視差融合
   型立体画像ＴＶ電話機。
4. 【請求項４】請求項１、請求項２、及び請求項３記載の
   視差融合型立体画像ＴＶ電話機において、生理的視差闘
   争を起こさないようにするために、それぞれの両眼画像
   間の対象物の大きさ・ピントぼけの量・明暗輝度・色合
   いなどを監視する機能を有し、任意限度を越えると擬似
   的に前記対象物の大きさ・ピントぼけの量・明暗輝度・
   色合いなどを調整する自動調整機構を有することを特徴
   とする視差融合型立体画像ＴＶ電話機。
5. 【請求項５】請求項１、請求項２、請求項３、及び請求
   項４記載の視差融合型立体画像ＴＶ電話機において、生
   成された対人立体画像による対人距離イメージが、ソマ
   ーのパーソナル・スペースを侵さないようにレンズのＦ
   値及び魚眼率を設定する自動設定機構を有することを特
   徴とした視差融合型立体画像ＴＶ電話機。