JP4516188B2

JP4516188B2 - 画像表示装置

Info

Publication number: JP4516188B2
Application number: JP2000189891A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-06-23
Filing date: 2000-06-23
Publication date: 2010-08-04
Anticipated expiration: 2020-06-23
Also published as: JP2002010299A

Description

【０００１】
【発明の属する技術分野】
本発明は立体画像を表示するための画像表示装置に関し、特にステレオペア画像の観察に好適な画像表示装置に関する。
【０００２】
【従来の技術】
画像を立体的情報を含んで撮影記録し、これを再生観察する方式には多種多様な提案がある。その中でも最も簡単、安価な割に効果が大きいものとしては、左右両眼の視点に対応する視差を持った２画像を記録し、これを左右両眼に対してそれぞれ提示するいわゆる２眼式ステレオ方式が、旧くから今日に至るまで利用されている。
【０００３】
この２眼式ステレオにおいても提示方式にはまた各種あり、例えば大画面による多人数同時観察を行なう場合には、偏光メガネを併用した偏光投影方式や、シャッタメガネを併用した時分割提示方式が使用されているが、これらはいずれも大がかりで高価なシステムを必要とするため特殊な業務用途以外には使用されることは少ない。そこでいわゆるパーソナルユースに対しては、同時には１人しか観察できないという制約はあるものの、最も基本的かつ古典的な方法であるステレオペア画像を用いる方式が、極めて安価にまた鮮明な画像を観察できる方式として、今日なお広く使用されている。
【０００４】
このステレオペア画像について詳述すれば、左眼視点対応画像であるＬ画像と右眼視点対応画像であるＲ画像とが、通常僅かな隙間を介して２枚並列に並べられて１つの画像を構成している（図２参照）。この種の画像の最も手軽な撮影装置として普及している３５ミリ１眼レフカメラ＋ステレオアダプターのシステム上の制約等のため、ＬＲ画像は実際には１つの標準横位置画像（横３：縦２）を縦に２分割した形で構成されており、従って各画像すなわち観察される立体画像は縦位置（横縦比約３：４程度）になっているのが一般的である。
【０００５】
本明細書に於いては、このようにＬＲ２画像が空間的に（画像平面上に）併置されて１つの画像を構成しているものをステレオペア画像と称する。なお、上記した具体的な構成（数値等）は一例に過ぎないが、説明を簡明にするために、特記しない場合は上記具体例のものが例として取り上げられていることを前提に説明する。
【０００６】
このステレオペア画像は、
（１）記録、印画、伝送、印刷等に際して何らの特殊なシステムを要しない
（２）適当な条件を充たせば、直接立体視観察できる（左右像の融合が何らの装置を用いることなくできる）
という極めて優れた特長を有している。
【０００７】
特に（２）に関して詳述すれば、ＬＲ画像が正しく左右眼によって捉えられ、２つの異なる画像では無く一つの立体画像として認識される状態を左右像の融合と称するが、例えば適当な大きさ（具体的には横幅が眼幅の２倍よりやや小さい程度＝１０〜１３ｃｍ）に印画された「平行配置」（Ｌを左、Ｒを右に配置）のものであれば、観察に際しても視線を平行に向けるいわゆる「平行法」（人によっては若干の練習を要するが）を用いることで融合可能である。またこれとは左右の画像を入れ替えた「交差配置」も使用され、こちらは印画サイズの制約が無く、視線を交差させる「交差法」によってやはり直接立体視観察できるが、観察時の眼の疲労と立体観察時の不自然さ（箱庭現象）がやや大きいため、上記平行配置の方がより普及しているものである。
【０００８】
いずれにせよこのように（１）システムを選ばず（２）直接観察も可能であるという２つの大きな特長をもつステレオペア画像は、互換性に優れているため、特にインターネットやデジタルカメラの普及などいわゆるメディアミックス化が進めば進むほどその不朽の価値が見直され、利用され続けるものと予想される。
【０００９】
一方、ステレオペア画像の直接観察には
（ア）比較的容易な平行法であっても若干の練習を要する（立体視＝像の融合の難易の個人差が大きい）
（イ）視差情報と眼球の焦点合わせのための緊張（ピント情報）の食い違いが大きいことから生じる立体感の不自然さ（書割、箱庭効果）が大きいこと
（ウ）平行法の場合は画像サイズが限られること
などの問題がある。すなわち、直接観察法は何ら装置を必要としないという基本的優位性はあるものの、臨場感の高い高画質観察を容易に行なう場合には充分とは言えないものである。そこで従来より観察用補助光学系たるステレオビュアーが用いられていた。このようなビュアーとして公知のものには、いわゆるプリントビュアーとスライドビュアーとがあり、前者の一例は特開平０７−１１０５３６号公報にも記載されている。
【００１０】
上記公報記載のものはプリントビュアーであるから印画（印刷）されたステレオペア画像は高画質に観察できるが、例えばディジタルカメラで撮影されたディジタルステレオペア画像のようなマルチメディア媒体におけるステレオペア画像（以下 a Stereo Pear in Multimedia:ＳＰＭと称する）については印刷しなければ適用できないという不具合があった。
【００１１】
詳述すれば、このようなＳＰＭであっても、マルチメディア環境のプラットフォームというべき汎用パーソナルコンピュータの画面上に表示した場合は単純にステレオペア画像が表示されるから、これを直接観察する限りは上記（２）と同じ状況であって、新たな不具合は生じない。しかしながら直接観察には（ア）〜（ウ）のような問題があることは上記したところであり、改善が必要であった。なお印刷してプリントビュアーを適用することは一つの策ではあるが、プリンターの画質が悪いと本来の画質が再現できない、印刷に時間がかかり紙やインクを消耗するため検索的な使用には適用困難であるなど、本質的な解決にならないことは明らかである。
【００１２】
【発明が解決しようとする課題】
そこで、本出願人は先にＳＰＭを用いて臨場感の高い高画質観察を容易に行なうために、ＬＲ画像に異なるシフトを与える観察方法および観察装置（ビュアー）に関する技術を提案している（特願２０００−１１５３５７号明細書）。
【００１３】
この技術においては、通常は、２つの表示デバイスには同一の画像が表示されるが（モノキュラモード）、電子的なステレオペア画像たるＳＰＭをメモリカードから読み出して表示する場合には、左眼画像側と右眼画像側とで互いに異なるシフト処理がステレオペア画像シフト処理部によって施され、そのシフト処理後の画像信号がそれぞれ左眼画像および右眼画像として２つの表示デバイスからそれぞれ表示される（ステレオモード）。このシフト処理により、左眼画像側におけるＳＰＭのＬ画像と右眼画像側におけるＳＰＭのＲ画像とが一つの立体画像として融合するようになり、臨場感の高い高画質の立体画像を容易に観察することが可能となるというものである。
【００１４】
ところが、このようなビュアーで観察する場合、本来の立体画像の両側に画像が観察され、融合の妨害になったり不自然になることがあった。
【００１５】
また、表示される立体画像の大きさが小さく臨場感を欠く場合があった。加えて、同じ画素数の平面（非ステレオ）画像と比べて表示画像サイズが小さくなるという不具合もあった。
【００１６】
本発明は上記問題点を解決し、融合妨害が無く、臨場感を増した立体画像の観察に適した画像表示装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するため、本発明の画像表示装置は、左右両眼に対する各表示画像である左眼画像および右眼画像の各画像を左右両眼に対して個別に表示可能な表示手段と、前記表示手段に表示させるべき画像信号を入力する入力手段と、ＬＲ画像を含むステレオペア画像信号を前記入力手段により入力して前記表示手段により左右両眼に対して個別に表示する場合、各表示画像が拡大表示されるように、前記入力されたステレオペア画像信号に対して電子的拡大処理を施す電子的変倍手段とを具備とを具備し、前記電子的拡大処理における拡大倍率は、前記ステレオペア画像全体の対角長とこれに含まれるＬＲの各画像の対角長の比にほぼ等しい値以上で、かつ前記ステレオペア画像全体の水平長とこれに含まれるＬＲの各画像の水平長の比にほぼ等しい値以下に設定されたものであることを特徴とする。
【００２３】
このように電子的拡大処理を行なうことによって画質を損なうことなく臨場感を増すことができ、あるいはこれに加えて特に非ステレオ画像とステレオ画像が混在した状態での画像表示面積（対角長）や画像の水平長を等しく保つことができる。
【００２４】
また電子的拡大処理における拡大倍率は、前記ステレオペア画像全体の対角長とこれに含まれるＬＲの各画像の対角長の比にほぼ等しい値以上で、かつ前記ステレオペア画像全体の水平長とこれに含まれるＬＲの各画像の水平長の比にほぼ等しい値以下に設定するか、あるいは前記ステレオペア画像全体の対角長とこれに含まれるＬＲの各画像の対角長の比にほぼ等しい値に設定することが好ましい。これにより、適正な像拡大を実現でき、臨場感を高めることが可能となる。
【００２５】
なお、観察者の好みや入力されるＬＲ画像の特性の違い等に対応するため、電子的拡大処理における拡大倍率の設定は入力手段からの入力によって切換え可能に構成しておくことが望ましい。
【００２７】
また前記入力手段により入力された画像信号が前記ステレオペア画像信号であるか否かを検出するステレオペア画像検出手段をさらに設け、前記ステレオペア画像信号である旨の検出結果を受けた場合、これに応答して前記電子的拡大処理が自動実行されるように構成することが好ましい。
【００２８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係わる画像表示装置の構成が示されている。この画像表示装置１００はＳＰＭを用いて立体画像の高画質画像観測を実現するためのビューアであり、例えばフェイスマウンテッドディスプレイ（ＦＭＤ）などとして実現されている。図中、１１１は装置全体の動作を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１２は各種操作ボタンからなる操作スイッチ系、１１３は操作状態及びモード状態等を表示するための操作表示系、１１４は各種画像信号処理機能を持つデジタルプロセス回路、１１５はＬＣＤ画像表示系を示している。
【００２９】
ＬＣＤ画像表示系１１５は左右両眼に対する各表示画像である左眼画像および右眼画像の各画像を左右両眼に対して個別に表示することによって、左眼画像および右眼画像の仮想的な合成拡大像を仮想表示画面として観察者に提示するためのものであり、左眼画像表示用のＬＣＤ表示デバイス（ＤＬ）１１５ａおよび右眼画像表示用のＬＣＤ表示デバイス（ＤＲ）１１５ｂの２つのＬＣＤ表示デバイスを有している。
【００３０】
また、図中の１１６はメモリカードインターフェース、１１７はメモリカード、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００３１】
メモリカード１１７は表示再生対象の画像信号を記録するためのものであり、ここには電子的なステレオペア画像からなる上述のＳＰＭ、および他の通常の非ステレオ画像が公知の画像フォーマット（ＢＭＰ、ＪＰＥＧ等）によって記録されている。
【００３２】
本実施形態の画像表示装置１００においては、システムコントローラ１１１の制御の下、表示再生対象の画像信号がメモリカード１１７から読み出され、それが表示再生対象の入力画像信号としてＬＣＤ画像表示系１１５に送られて２つの表示デバイス１１５ａ，１１５ｂにてそれぞれ個別に表示される。通常は、２つの表示デバイス１１５ａ，１１５ｂには同一の画像が表示されるが（モノキュラモード）、電子的なステレオペア画像たるＳＰＭをメモリカード１１７から読み出して表示する場合には、左眼画像側と右眼画像側とで互いに異なるシフト処理、トリミング処理、電子的拡大処理が施された後の画像信号がそれぞれ左眼画像および右眼画像として表示デバイス１１５ａ，１１５ｂから表示される（ステレオモード）。
【００３３】
すなわち、システムコントローラ１１１には図示のようにステレオペア画像シフト処理部２０１、トリミング処理部２０２、電子的変倍処理部２０３が設けられており、ステレオモードにおいてはステレオペア画像シフト処理部２０１によって上述のシフト処理が、トリミング処理部２０２によってトリミング処理が、電子的変倍処理部２０３によって電子的拡大処理が、それぞれ実行される。これらの処理の詳細については図５以降で後述するが、それぞれ左眼画像側におけるＬ画像の位置と右眼画像側におけるＲ画像の位置とを合わせ、不要な画像を除去しまた画像の観察画角を大きくするために行われる。これらの処理により、左右両眼で左眼画像および右眼画像をそれぞれ観察したときに左眼画像側におけるＳＰＭのＬ画像と右眼画像側におけるＳＰＭのＲ画像とが一つの立体画像として融合するようになり、臨場感の高い高画質の立体画像を容易に観察することが可能となる。
【００３４】
（ＳＰＭ）
図２には、本実施形態で用いられるＳＰＭの構成の一例が示されている。
上述したように、ＳＰＭは、１枚の画像空間を２分割するように併置されたＬ、Ｒの２つの画像（ＰＬ，ＰＲ）から構成されている。Ｌ画像（ＰＬ）は左眼視点対応画像であり、Ｒ画像（ＰＲ）は右眼視点対応画像である。従って平行配置のＳＰＭを前提としている。ＳＰＭの巾（横巾）はＷピクセル、高さ（縦巾）がＨピクセルである。また、ここで取扱うＳＰＭの横縦比は一般的なフィルムカメラフォーマットに併せてＨ＝Ｗ×２／３としている。なお、Ｗの例示値として７２０、すなわち横７２０×縦４８０のＳＰＭであるとする。
【００３５】
（ＦＭＤ）
図３には、本実施形態で用いられるＦＭＤにおける表示部の構成が模式的に示されている。図３は観察者が装着した状態のＦＭＤを上から見たものである。
【００３６】
メガネ型の形状を持つＦＭＤフレーム１０の左眼対応位置には前述のＬＣＤ表示デバイス（ＤＬ）１１５ａとルーペ光学系（ＬＬ）１１６ａが取り付けられており、また右眼対応位置には前述のＬＣＤ表示デバイス（ＤＲ）１１５ｂとルーペ光学系（ＬＲ）１１６ｂが取り付けられている。ルーペ光学系１１６ａ，１１６ｂはＦＭＤ本来の像拡大機能並びに像距離変換作用を実現するための拡大光学系であり、ルーペ光学系１１６ａ，１１６ｂによって拡大された左眼画像および右眼画像を左右両眼に個別に提示することにより、例えば眼前１ｍに対角５０インチ（１２７０ｍｍ）の仮想表示画面があるように表示される。なお横縦比は４：３すなわち水平４０インチ（１０１６ｍｍ）垂直３０インチ（７６２ｍｍ）であり、標準状態における画像の表示密度は３２画素／インチとする。従って上記ＳＰＭをそのまま平面画像として表示観察した場合には、横２２．５インチ×縦１５インチの画像として観察される。
【００３７】
また、ＦＭＤフレーム１０には、ステレオ／モノキュラ切換スイッチ１１２ａが設けられている。ステレオ／モノキュラ切換スイッチ１１２ａは図１の操作スイッチ系１１２内の１操作スイッチであり、前述のステレオモード／モノキュラモードの切り換えのために用いられる。
【００３８】
（インターフェースボックス）
実際のＦＭＤに実現に際しては、その本体内に図１のブロック図の機能を単独で有する構成のもの（再生装置）のみならず、例えばパーソナルコンピュータやデジタルカメラなどからのディスプレイ出力を受けて、それを表示するための表示系のみを本体内に持つＦＭＤも考えられる。この場合には、図４に示すように、パーソナルコンピュータやデジタルカメラなどの画像信号出力装置３０からのディスプレイ出力を入力画像信号として受けるインターフェースボックス２０を用意し、このインターフェースボックス２０からケーブル等を通じてＦＭＤ１０に入力画像信号を導けばよい。
【００３９】
この際、ＦＭＤ１０は受けた画像信号をそのまま表示するだけであるので、前述の各処理機能はインターフェースボックス２０内に設けた画像シフト処理部２０ａ、トリミング処理部２０ｂ、電子的変倍処理部２０ｃによって実行されることになる。画像シフト処理部２０ａとしては、例えば画像信号出力装置３０からの入力画像信号を保持するバッファメモリと、このバッファメモリからの画像信号の読み出し時のアドレス制御を左眼画像と右眼画像とで独立に可変設定可能なメモリコントロール回路などによって実現することができる。その具体的な実施例としては「バッファメモリ、メモリコントロール回路とも左右独立に２系統とするもの」「バッファメモリは１系統（左右共通）で、読み出しアドレス制御を左右点順次の時分割（倍速読み出し）で行ない、左右独立（２系統）のラッチ回路によって左右分離を行なうもの」の２例を挙げておくが、以下では前者の２系統方式として説明する。また、トリミング処理部２０ｂは、上記左右独立に設けられたバッファメモリ上に取り込まれた各画像のそれぞれ不要部分のデータをクリア（例えば全て０値とする）することによりトリミング処理を行なう。さらに、電子的変倍処理部２０ｃはこのトリミング処理された画像データに対して、アドレス変換およびデータ補間演算処理による公知のいわゆる電子ズームによる電子的拡大処理を行なう。
【００４０】
また、インターフェースボックス２０には、前述と同様のステレオ／モノキュラ切換スイッチが設けられると共に、入力画像信号に対するシフト処理におけるシフト量、トリミング処理におけるトリミング範囲および、電子的拡大処理における拡大倍率の設定に必要なＳＰＭパラメータをマニュアル操作で入力するためのパラメータ入力スイッチが設けられており、観察者自身が当該パラメータ入力スイッチの操作によってマニュアルで設定操作を行い得ると同時に、一旦設定された値をインターフェースボックス２０内のＥＥＰＲＯＭに記録しておくことにより、再設定操作を簡略化することもできる。
【００４１】
（画像表示動作１）
次に、ＦＭＤが図１のブロック図の機能を単独で有する再生装置として実現されている場合を例示して、その画像表示動作について説明する。
【００４２】
＜モノキュラモード＞
ステレオ／モノキュラ切換スイッチ１１２ａでモノキュラモードを選択した場合は従来どおりであるから、ＬＣＤ表示デバイス（ＤＬ）１１５ａに左眼画像として表示される表示画像（以下、ＩＬと称する）と、ＬＣＤ表示デバイス（ＤＲ）１１５ｂに右眼画像として表示される表示画像（以下、ＩＲと称する）は全く同一である。
【００４３】
この際、仮想画面上に表示される虚像の画像サイズは大きくなるので、仮に通常の２０インチＣＲＴディスプレイ上で表示した場合には並行法によって立体像の直接観察が可能であるようなステレオペア画像を表示した場合でも、ＦＭＤでは、例えば前述のように眼前１ｍに対角５０インチ程度の仮想表示画面があるように表示されるため、ステレオペア画像のＬ画像（ＰＬ）とＲ画像（ＰＲ）の表示画像サイズが共に並行法による立体像観察可能範囲を超えてしまい、左右両像の融合は通常不可能となる。
【００４４】
＜ステレオモード＞
［シフト処理］
ステレオ／モノキュラ切換スイッチ１１２ａでステレオモードを選択した場合は、表示対象の入力画像信号に対してシフト処理が施される。ここで、シフト処理の原理を図５を参照して説明する。
【００４５】
図１のシステムコントローラ１１１は表示対象入力画像信号であるＳＰＭの画像サイズを認識しているので、シフト量ＳをＳＰＭの画像幅Ｗの１／４に設定する。そして、ＳＰＭに対して左眼画像と右眼画像とで互いに異なるシフト処理を施し、図５に示すように、左眼表示画像ＩＬについては右方向にＷ／４ピクセル分だけシフトし、逆に右眼表示画像ＩＲについては左方向にＷ／４ピクセル分だけシフトする。
【００４６】
図５は、ＬＣＤ表示デバイス１１５ａ，１１５ｂそれぞれに対する入力画像信号全体をシフトした場合の例であり、ＬＣＤ表示デバイス１１５ａによって表示されるＩＬの表示画枠の左端はＷ／４ピクセル分のブランク領域となり、ＳＰＭのＬＲ画像は本来の表示位置よりも右側にＷ／４ピクセル分だけ移動することになる。この時、Ｌ画像（ＰＬ）の表示位置は、非ステレオ表示である通常表示（モノキュラーモード）におけるＳＰＭの画枠中心位置（ＰＬとＰＲの境界位置）に設定される。同様にして、ＬＣＤ表示デバイス１１５ｂによって表示されるＩＲの表示画枠の右端はＷ／４ピクセル分のブランク領域となり、ＳＰＭのＬＲ画像は本来の表示位置よりも左側にＷ／４ピクセル分だけ移動することになる。この時、Ｒ画像（ＰＲ）の表示位置は、非ステレオ表示である通常表示（モノキュラーモード）におけるＳＰＭの画枠中心位置（ＰＬとＰＲの境界位置）に設定される。
【００４７】
このようなシフト処理により、ＩＬの表示画枠に対するＬ画像（ＰＬ）の相対位置とＩＲの表示画枠に対するＲ画像（ＰＲ）の相対位置とが相等しく設定される。ここで、ＩＬとＩＲを左右両眼でそれぞれ観察した場合に得られる仮想表示画面の様子を説明する。図６はＳＰＭを非ステレオ表示（モノキュラーモード）で表示した場合の仮想表示画面を示し、また図７はＳＰＭをステレオ表示（ステレオモード）で表示した場合の仮想表示画面を示している。
【００４８】
図６から分かるように、仮想表示画面はＩＬの表示画枠とＩＲの表示画枠とを一致するように重ねてそれを拡大した像に相当するものであるから、非ステレオ表示において観察されるのは、ＩＬとＩＲの両表示画像間のＬ画像（ＰＬ）同士およびＲ画像（ＰＲ）同士を互いに合成した像となる。
【００４９】
これに対し、ステレオモードを用いた場合には、図７に示すように、ＩＬの表示画枠内のＬ画像（ＰＬ）とＩＲの表示画枠内のＲ画像（ＰＲ）との相対的な位置関係が一致するため、左眼で観測されるＬ画像（ＰＬ）と右眼で観測されるＲ画像（ＰＲ）とが一つの立体画像として認識されやすくなり、両画像の融合度を顕著に高めることが可能となる。
【００５０】
すなわち、本実施形態のシフト処理は、左眼および右眼それぞれに対する左右像の相対的な位置関係を合わせるという一種のセンタリング処理である。したがって、Ｌ画像（ＰＬ）をＩＬの表示画枠の中心に設定し、Ｒ画像（ＰＲ）をＩＲの表示画枠の中心に設定しても、同様の効果が得られる。実際、通常の非ステレオ表示でＳＰＭがＩＬ，ＩＲの表示画枠の中心に表示されるような場合には、上述のシフト処理により、Ｌ画像（ＰＬ）はＩＬの表示画枠の中心に設定され、Ｒ画像（ＰＲ）はＩＲの表示画枠の中心に設定されることになる。また、観察時の画像の融合という点では、ＩＬの表示画枠に対するＬ画像（ＰＬ）の相対位置とＩＲの表示画枠に対するＲ画像（ＰＲ）の相対位置とが必ずしも完全に一致している必要はなく、仮想画面上でＬ画像（ＰＬ）とＲ画像（ＰＲ）とが重複して観察されるように、Ｌ画像（ＰＬ）の中心位置とＲ画像（ＰＲ）の中心位置を互いに近接させるようなシフト処理を施せば良い。
【００５１】
なお、本実施形態ではＳＰＭの画像巾に基づいてシフト量Ｓを決定しているが、これは入力画像信号中のＳＰＭの画枠位置を認識せずとも、画像巾さえ認識していれば十分なセンタリング効果を得られるようにするためである。
【００５２】
またシフト量Ｓの値は基本的には画像巾に基づいて自動的に決定されるが、立体画像の視認性を向上させるために微調整可能にしておくことが好ましい。例えば、ＥＥＰＲＯＭ１１８に微調整用データを予め記録しておき、使用者によるスイッチ操作などに基づいて、その微調整用データを用いてシフト量Ｓの値を増減できるように構成しておくことにより、立体画像の視認性をより高めることが可能となる。
【００５３】
［トリミング処理］
ステレオモードにおいては、さらにトリミング処理が行なわれる。上記図７に示したように、ステレオペア画像を用いて画像を観察した場合には左眼で観測されるＬ画像（ＰＬ）と右眼で観測されるＲ画像（ＰＲ）とが融合した一つの立体画像（ＰＬ＋ＰＲ）の両側に、本来不要な画像であるＩＲの表示画枠内のＬ画像（ＰＬ）とＩＬの表示画枠内のＲ画像（ＰＲ）とがそれぞれ並んで観察されてしまう。この不要画像は、従来のステレオ写真を直接観察法で鑑賞する場合に極めて大きな融合妨害要因となることが知られており、また融合可能な場合においても画像観察時においてより不自然感を与える画質劣化要因となるものであった。
【００５４】
本実施例においては上記したシフト処理を用いているから融合は比較的容易に行なえるが、それでもなおこの不要画像はやはり融合に対する妨害効果を有するものであり、そして融合状態における観察時の画質劣化要因となる。従ってトリミング処理は上記不要画像であるＩＲの表示画枠内のＬ画像（ＰＬ）とＩＬの表示画枠内のＲ画像（ＰＲ）を取り除き、ＩＬの表示画枠内にはＬ画像（ＰＬ）を、ＩＲの表示画枠内にはＲ画像（ＰＲ）のみが表示されるようにトリミングを行なう。この際図８に示したように、必要な（融合対象の）画像部分以外の全表示領域を、例えば黒（０値）で埋め尽くすことも好適である。
【００５５】
またトリミング範囲は、基本的には、ＰＬ画像については画像の左右中心から左側半分、すなわち画像全体の中心点から左にＷ／４移動した点を中心に持つ、横巾がＷ／２、高さ（縦巾）がＨ＝２／３Ｗの領域とし、ＰＲ画像については画像の左右中心から右側半分、すなわち画像全体の中心点から右にＷ／４移動した点を中心に持つ、横巾がＷ／２、高さ（縦巾）がＨ＝２／３Ｗの領域とすれば良い。ただしこの際ＳＰＭ内のＬＲ画像間の隙間等を考慮して、トリミング範囲をこれより若干狭く設定（例えば横方向のみあるいは横縦とも、上記の９０％程度とする。図８に点線で例示）しても良い。また、融合状態の立体画像において画像の存在範囲が左右の眼で異なってしまわないために、左右のトリミングの中心点間の距離を若干増減することも好ましい。
【００５６】
なお、このＳＰＭに対する表示時におけるトリミング処理は、上記シフト処理と併せて用いることが極めて好ましいものではあるが、シフト処理の併用を絶対要件とするものでは無く単独でも効果を有するものである。すなわち、例えば用いるＳＰＭが交差配置のものであった場合はシフト処理を行なわないでも融合は可能であり、このとき上記したようなトリミング処理（ただし交差配置であるから上記平行配置の場合に対してトリミング範囲が左右入れ替わることは勿論である）を行なうことによって不要画像が除去されるから、融合の妨害要因が大いに軽減され立体画像の観察を極めて容易ならしめると同時に観察画質を向上することができるものである。
【００５７】
［拡大処理］
ステレオモードにおいては、さらに電子的拡大処理が行なわれる。一般に立体画像は提示画角が大きい方が視覚に対するいわゆる取り囲み効果による臨場感の向上が期待出来る。一方でＳＰＭは１画面中に２枚の単眼画像を配するから、その画像サイズは記録画像全体の画素数の１／２相当しか無いという基本的な制約を有し、またこれとは別に上記トリミングのやり方によってはさらに画像サイズが減少している。以上のような観点から、上記トリミング後の画像に拡大処理を施すことが有効である。
【００５８】
具体例を図９に示す。ＰＬ’，ＰＲ’は上記ＳＰＭのＰＬ，ＰＲ画像をそれぞれ電子的に１．４倍の拡大処理をしたものであって、拡大後の相当画素数は横５０４×縦６７２となっている。すなわち同フォーマットで記録した平面（非ステレオ）画像横７２０×４８０の画素数（表示面積）とほぼ等しくなるようにしてある。表示面積従って対角長がほぼ等しいから、同フォーマットで記録された平面（非ステレオ）画像と立体画像（ＳＰＭ）とが混在した場合にも、画像サイズに関しては事実上不変の（単に画像の横位置と縦位置が変わったと認識される）状態を保つことができる。なお上記例において、画素数（表示面積）を最も等しくする倍率は１．４４倍（拡大後の相当画素数横５１８×縦６９１）であるが、この点若干の誤差があっても効果が充分得られることは自明であり本実施形態では切りの良い扱い易い数値として上記１．４倍を用いているものである。
【００５９】
また、この時上記９０％トリミングを行なっている場合には、これによる画像サイズの減少を考慮して倍率を１．４４／０．９＝１．６倍とすることも望ましい。（以下倍率のトリミング補正と呼ぶ。）
上記標準的な拡大処理は、非ステレオ画像との面積（対角長）不変を狙いとしたものであったが、これとは別に、立体画像としての臨場感向上を主目的とすれば、画像の水平画角を充分確保することが極めて効果的である。しかしながらこの時、本来の画像サイズと無関係に任意の拡大を施すことは、視覚に対する無制限な解像度劣化を生じることになり却って画質を損ねてしまうことになる。この意味からは、拡大倍率は横位置の非ステレオ画像に対して水平長を等しくするように設定されるべきである。すなわち拡大倍率２倍（ステレオペア画像全体の水平長とこれに含まれるＬＲの各画像の水平長の比）の電子的拡大を行ない、拡大後の相当画素数を横７２０×縦９６０とする。このとき本例では画像高（縦巾）が表示画面高にちょうど一致しており特に好ましいが、ＳＰＭおよび表示画面の横縦比によっては表示画面高をはみ出してしまうことも生じ得る。このような場合の処理策は以下の２通り（及び妥協的な解決策としてこの２通りの間の処理）に分けられる。
【００６０】
第１の処理ははみ出しても構わないとするもので、画像の上下は一部カットされてしまうが、立体画像としての臨場感確保を優先してこれを許容する。従って倍率は常に２倍である。第２の処理は２倍の倍率では上下がはみ出すような場合は、これがはみ出さない倍率に制限するものである。例えば表示画面がワイドアスペクトタイプで画面高が２２．５インチ（対応画素数７２０）しか無かったとすれば倍率は７２０／４８０＝１．５倍とすれば良い。
【００６１】
またこのような臨場感を優先させた拡大処理においても、上記標準的な拡大処理と同様、倍率のトリミング補正を用いることができる。（例示９０％トリミングに対して、上記第１の処理では倍率２／０．９＝２．２２、上記第２の処理では倍率１．５／０．９＝１．６７）
念のため付記すれば、このような臨場感向上を優先させた拡大処理を行なった場合は、トリミング補正を考慮しても、倍率は通常２倍程度以下に限られるから、視覚に対する無制限な解像度劣化を生じて却って画質を損なうことは無いものである。
【００６２】
さらに、上記標準的な拡大倍率と、臨場感向上を主目的とした拡大倍率の両者の間に存在する任意の値を採用することは、「上記サイズ不変」と「臨場感向上」とを妥協的に解決することになるから、このような倍率を採用することも極めて好適な実施例の一つと言える。またこれとは別に上記「標準的な拡大倍率（上記では１.４倍）」と「これとは異なる別の倍率（上記では２倍）」とを切換え可能とすることも好適であって、一例を示せば、動作開始時のデフォルト設定モードにおいてはステレオモードにおける拡大倍率は上記標準（１．４倍）であるが装置の適所に設けたズームスイッチを操作することによってステレオモードにおける拡大倍率が２倍に変わり、ズームスイッチの再度の操作でまた標準倍率に復帰（以下いわゆるインクリメント動作）するような構成を挙げることができる。
【００６３】
なお、このＳＰＭに対する表示時における電子的拡大処理は、上記シフト処理およびトリミング処理と併せて用いることが極めて好ましいものではあるが、これらの処理の併用を絶対要件とするものでは無く単独でも効果を有するものである。すなわち、例えば用いるＳＰＭが交差配置のものであった場合はこれらの処理を行なわないでも融合は可能であり、このとき上記したような電子的拡大処理を行なうことによって画質を損なうことなく臨場感を増すことができ、あるいはこれに加えて特に非ステレオ画像とステレオ画像が混在した状態での画像表示面積（対角長）や画像の水平長を等しく保つことができるものである。また、トリミング処理のみを省略し、上記シフト処理と拡大処理の組み合わせを利用するようにしてもよい。
【００６４】
＜シフト処理その２＞
次に、図１０を参照して、ステレオモード時に実行されるシフト処理の第２の例について説明する。
【００６５】
本例は、左眼画像側あるいは右眼画像の一方を止めておき、他方のみをシフトさせることによって、左眼および右眼それぞれに対する左右像の相対的な位置関係を合わせるというものである。この場合、シフト量ＳをＳＰＭの画像幅Ｗの１／２に設定する。そして、ＳＰＭの入力画像信号に対して例えば左眼画像についてのみシフト処理を施し、図１０に示すように、左眼表示画像ＩＬについては右方向にＷ／２ピクセル分だけシフトし、右眼画像ＩＲについてはシフト量Ｓをゼロにして、原画像信号のまま保持する。
【００６６】
これにより、ＬＣＤ表示デバイス１１５ａによって表示されるＩＬの表示画枠の左端はＷ／２ピクセル分のブランク領域となり、ＳＰＭのＬＲ画像は本来の表示位置よりも右側にＷ／２ピクセル分だけ移動することになる。この時、Ｌ画像（ＰＬ）の表示位置は、非ステレオ表示である通常表示（モノキュラーモード）におけるＳＰＭのＲ画像（ＰＲ）の表示位置に設定される。よって、画像画面上ではＩＬのＬ画像（ＰＬ）とＩＲのＲ画像（ＰＲ）とが重なり合い、両画像の融合が可能となる。
【００６７】
（画像表示動作２）
次に、インターフェースボックス２０によってシフト処理を行う場合を例示して、ＦＭＤによる画像表示動作を説明する。
【００６８】
＜モノキュラモード＞
インターフェースボックス２０のステレオ／モノキュラ切換スイッチでモノキュラモードを選択した場合は、前述の画像表示動作１と全く同じである。
【００６９】
＜ステレオモード＞
インターフェースボックス２０のステレオ／モノキュラ切換スイッチでステレオモードを選択した場合は、使用者は、パラメータ入力スイッチより、この場合のＳＰＭパラメータ「画像表示位置情報（画像中心位置アドレス）」と「画像サイズ（縦横の各画素数）」を入力する。これらが指定されれば、インターフェースボックス２０への入力信号に関するＳＰＭ画像の存在領域が完全に特定されたことになるから、画像シフト処理部２０ａ、トリミング処理部２０ｂ、電子的変倍処理部２０ｃはそれぞれこれに基づいて、上記画像表示動作１と全く同じ処理を行なうものである。
【００７０】
なお、複数の画像を同時に表示する場合には、これに対応した複数組のＳＰＭパラメータを入力可能に構成すれば良い。この際、例えば複数の画像の存在領域が重複するなど、本来有り得ない（矛盾する）パラメータの指定に対しては、例えば入力を禁止する（受付けない）とか、重複した画像の一方を優先的に取扱って解釈した処理を行なうなど、適当な不具合回避策を講じることがより望ましいことを指摘しておく。
【００７１】
なお、インターフェースボックス２０内のシフト処理においても、左眼画像側あるいは右眼画像の一方を止めておき、他方のみをシフトさせるという図１０の処理を利用可能である。
【００７２】
（動作モードの自動切り換え）
次に、図１１のフローチャートを参照して、ステレオモード／モノキュラモードを自動的に切り換える場合の動作について説明する。
【００７３】
これは、ＦＭＤが図１のブロック図の機能を単独で有する再生装置として実現されている場合に適用される制御であり、ステレオ／モノキュラ切換スイッチによるモード切り換えではなく、表示対象の画像がステレオペア画像であるか否かを検出し、それによってステレオモード／モノキュラモードの切り換えを行う。この場合、表示対象の画像がステレオペア画像であるか否かの検出は、画像ファイルのヘッダ領域に「ステレオペア画像」であるという情報を予め記録しておき、これを認識するという方法を利用することができる。
【００７４】
まず、システムコントローラ１１１はメモリカード１１７から表示対象の画像ファイルを読み込み、そのヘッダ領域の解析を行う（ステップＳ１０１，Ｓ１０２）。そして、ヘッダ領域に「ステレオペア画像」である旨の情報が含まれているか否かによって、ステレオペア画像であるかどうかの判定を行う（ステップＳ１０３）。ステレオペア画像、つまりＳＰＭであることが検出された場合には、システムコントローラ１１１は、動作モードをステレオモードとし、ステレオペア画像シフト処理部２０１、トリミング処理部２０２、電子的変倍処理部２０３に前述のシフト処理、トリミング処理、電子的拡大処理のステレオ対応処理を自動実行させる（ステップＳ１０４〜Ｓ１０６）。そしてシフト処理後の画像信号がＬＣＤ表示系１１５により表示される（ステップＳ１０７）。
【００７５】
一方、ステレオペア画像以外の画像であれば、システムコントローラ１１１は、不要なステレオ対応処理が実行されることによる表示画像の位置ずれ、不適切なトリミングや変倍などの問題が生じないように、上記各処理部２０１〜２０３によるステレオ対応処理の実行を禁止し、ステレオ対応処理を行わない状態でＬＣＤ表示系１１５により表示する（ステップＳ１０７）。
【００７６】
これにより、ＳＰＭ／モノキュラーの両画像が混在している場合であっても、入力される表示対象画像の種類に応じて適切な処理を行うことが可能となり、モノキュラーの画像に対して不要なステレオ対応処理が誤って施されることによる表示画質低下などの問題を事前に防ぐことが可能となる。
【００７７】
以上説明したように、本実施形態においては、ＦＭＤ本体内、あるいはＦＭＤ本体内に外部からの入力画像信号を導くインターフェースボックス内に、シフト処理機能、トリミング処理機能、電子的拡大処理機能を設けて、入力された画像信号に対して左眼画像と右眼画像とで互いに異なるステレオ対応処理を施す構成を採用することにより、ＳＰＭを用いて臨場感の高い立体画像の高画質観察を行うことが可能となる。
【００７８】
なお、この他にも様々な実施例が考えられる。
以上の実施形態では、シフト量Ｓの基本値としてＷ／４（またはＷ／２）を用いたが、ＳＰＭ内のＬＲ画像間の隙間を考慮してシフト量Ｓを基本値よりも若干大きく設定したり、あるいは逆に臨場感の補正を考慮して若干小さくするなどしても良い。つまり、入力画像信号に対するシフト処理はＬ画像とＲ画像の融合度を高め、従来融合が不可能あるいは極めて困難であった画像を容易に融合可能ならしめることを最小限の目的とするものであるので、仮想画面上でＬ画像とＲ画像が融合可能な範囲内に位置されるように設定すればそれで必要最小限の基本的な効果が得られる。言い換えれば、より高次の目的としては臨場感の高い高画質の立体画像を容易に観察することにあるから、そのための最適配置を得るために、シフト量Ｓを上記基本的な例示値に対して調整的な範囲で適量だけ変更することは、望ましい１つの変形実施形態として本発明に当然に含まれるものである。
また、Ｌ画像が右側に、Ｒ画像が左側に配置されてなる左右逆配置のＳＰＭを用いることも可能である。ただし、この場合には、入力画像信号に対して左眼画像は左シフト、右眼画像は右シフトを施すことになる。
【００７９】
さらに、Ｌ画像とＲ画像が上下に配置されてなるＳＰＭを用いることもできる。この場合のシフト処理の様子を図１２に示す。すなわち、左眼表示画像ＩＬについては下方向にＨ／４ピクセル分だけシフトし、逆に右眼表示画像ＩＲについては上方向にＨ／４ピクセル分だけシフトする。もちろん、どちらか一方の表示画像のみをＨ／２ピクセル分だけ上または下方向にシフトしてもよい。このような場合、トリミング処理および電子的拡大処理についても、同様に、対象となるＬ、Ｒの各画像に対して適用されることは当然である。ただし上記インターフェースボックス２０による実施形態についても同様の対応を行なうためには、指定パラメータとして画像の配置（左右配置か上下配置か、ＬＲの割当てはどうかなど）情報も追加する必要がある。
【００８０】
また、ＳＰＭの横縦比は任意であり、様々なアスペクト非の画像信号を扱うことが可能である。
【００８１】
また、上記実施例においてはＳＰＭは静止画の場合を例示したが、これに限られることなく、例えばＭＰＥＧなど動画であっても全く同様に適用可能である。動画ＳＰＭの場合、動画のままプリントすることは不可能であり従って従来のプリントビュアーを用いることができないという意味からも、極めて有効であることを付言する。
【００８２】
【発明の効果】
以上説明したように、本発明によれば、電子画像のステレオペアを用いて、臨場感の高い高画質観察を容易に行なうことが可能になる。また電子的拡大処理によって画質を損なうことなく臨場感を増すことができ、あるいはこれに加えて特に非ステレオ画像とステレオ画像が混在した状態での画像表示面積（対角長）や画像の水平長を等しく保つことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる画像表示装置の構成を示すブロック図。
【図２】同実施形態の画像表示装置で用いられるステレオペア画像ＳＰＭの構造を示す図。
【図３】同実施形態で用いられるＦＭＤの表示部の構成を示す図。
【図４】同実施形態で用いられるＦＭＤとインターフェースボックスとの関係を示す図。
【図５】同実施形態で実行されるシフト処理の第１の例を示す図。
【図６】同実施形態の非ステレオモード時における仮想表示画面の表示例を示す図。
【図７】同実施形態のステレオモード時（画像シフト処理）における仮想表示画面の表示例を示す図。
【図８】同実施形態のステレオモード時（画像シフト、トリミング処理）における仮想表示画面の表示例を示す図。
【図９】同実施形態のステレオモード時（画像シフト、トリミング、画像拡大）における仮想表示画面の表示例を示す図。
【図１０】同実施形態で実行されるシフト処理の第２の例を示す図。
【図１１】同実施形態における動作モードの自動切り換え動作を説明するためのフローチャート。
【図１２】同実施形態で実行されるシフト処理の第３の例を示す図。
【符号の説明】
１１１…システムコントローラ
１１２…操作スイッチ系
１１２ａ…ステレオ／モノキュラ切り換えスイッチ
１１７…メモリカード
１１５…ＬＣＤ表示系
１１５ａ…左眼画像表示用のＬＣＤ表示デバイス（ＤＬ）
１１５ｂ…右眼画像表示用のＬＣＤ表示デバイス（ＤＲ）
２０１…ステレオペア画像シフト処理部
２０２…トリミング処理部
２０３…電子的変倍処理部

Claims

左右両眼に対する各表示画像である左眼画像および右眼画像の各画像を左右両眼に対して個別に表示可能な表示手段と、
前記表示手段に表示させるべき画像信号を入力する入力手段と、
ＬＲ画像を含むステレオペア画像信号を前記入力手段により入力して前記表示手段により左右両眼に対して個別に表示する場合、各表示画像が拡大表示されるように、前記入力されたステレオペア画像信号に対して電子的拡大処理を施す電子的変倍手段とを具備とを具備し、
前記電子的拡大処理における拡大倍率は、前記ステレオペア画像全体の対角長とこれに含まれるＬＲの各画像の対角長の比にほぼ等しい値以上で、かつ前記ステレオペア画像全体の水平長とこれに含まれるＬＲの各画像の水平長の比にほぼ等しい値以下に設定されたものであることを特徴とする画像表示装置。
左右両眼に対する各表示画像である左眼画像および右眼画像の各画像を左右両眼に対して個別に表示可能な表示手段と、
前記表示手段に表示させるべき画像信号を入力する入力手段と、
ＬＲ画像を含むステレオペア画像信号を前記入力手段により入力して前記表示手段により左右両眼に対して個別に表示する場合、各表示画像が拡大表示されるように、前記入力されたステレオペア画像信号に対して電子的拡大処理を施す電子的変倍手段とを具備し、
前記電子的拡大処理における拡大倍率は、前記ステレオペア画像全体の対角長とこれに含まれるＬＲの各画像の対角長の比にほぼ等しい値に設定されたものであることを特徴とする画像表示装置。
前記電子的拡大処理における前記拡大倍率の設定を切換えるための入力手段を有したことを特徴とする請求項１又は２記載の画像表示装置。
前記入力手段により入力された画像信号が前記ステレオペア画像信号であるか否かを検出するステレオペア画像検出手段をさらに具備し、
前記ステレオペア画像信号である旨の検出結果を受けた場合、これに応答して前記電子的拡大処理が自動実行されるように構成されていることを特徴とする請求項１乃至３のいずれか１項記載の画像表示装置。
非ステレオペア画像信号である旨の検出結果を受けた場合、これに応答して前記電子的拡大処理の実行が禁止されるように構成されていることを特徴とする請求項４記載の画像表示装置。