JP4677175B2 - 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、立体画像表示を行うための立体画像データを出力可能な画像処理装置、並びに、この画像処理装置を備える画像撮像システム、画像表示システム、及び画像撮像表示システム、あるいは、コンピュータを上記画像処理装置として動作させる画像処理プログラム、及びこの画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
従来、立体画像を表示する画像表示装置が、ゲームやＣＡＤ（computer aided design）システム、航空機、医療用機器等の様々な用途に使用されている。
【０００３】
立体画像を使用者に呈示する原理は、使用者の両目に視差のついた物体像を呈示することで可能となる。このような画像を使用者に呈示する代表的な方法としては、次のものが挙げられる。
【０００４】
１つ目はアナグリフ方式である。このアナグリフ方式では、通常の画像表示装置を用いて、右目用に赤い画像を、左目用に青い画像を呈示する。そして、使用者には右目には赤い画像だけが見えるよう青いフィルムを、左目には青い画像だけが見えるよう赤いフィルムを貼った眼鏡を着用してもらう。これにより、使用者の左右の目に、それぞれに対応する画像のみを見せる。
【０００５】
２つ目は偏光眼鏡方式である。この偏光眼鏡方式では、右目用画像表示装置と左目用画像表示装置とを用い、各画像表示装置の前に、それぞれ互いに直交する偏光板を配置し、偏光板を介した各画像をハーフミラーで合成して使用者に呈示する。そして、使用者には、それぞれの目に対する画像のみが見えるように、それぞれ互いに直交した偏光板を貼った眼鏡を着用してもらう。これにより、使用者の左右の目に、それぞれに対応する画像のみを見せる。
【０００６】
３つ目は時分割シャッタ方式である。この時分割シャッタ方式では、通常の画像表示装置に視差のついた画像を、一定時間毎に切り替えて表示する。そして、使用者には、上記と同じ一定時間ごとに左右のシャッタが交互に閉まる眼鏡を着用してもらう。このシャッタの切り替えと、画像の切り替えとを同期させることで、使用者の左右の目に、それぞれに対応する画像のみを見せる。
【０００７】
４つ目はパララックスバリア方式である。このパララックスバリア方式は、例えば特許文献１に開示されている。この方式の原理を図１９及び図２０に基づいて説明する。
【０００８】
この方式では、液晶表示素子１５１などの表示素子における前後の面に、直線偏光板１６２・１６３がそれぞれ設けられ、さらに、液晶表示素子１５１の表示面前方には、パララックスバリア１７１が設けられて、立体画像表示装置１５０が構成される。また、液晶表示素子１５１にはｎ個の画素からなる画素グループ１６４が複数形成されている。これら画素グループ１６４における画素配列は次のようになっている。
【０００９】
（Ｒ１，Ｇ２，Ｂ３，・・・，Ｒｎ）、（Ｇ１，Ｂ２，Ｒ３，・・・，Ｇｎ）、（Ｂ１，Ｒ２，Ｇ３，・・・，Ｂｎ）、・・・ただし、同一の括弧内に示された画素は同一の画素グループ１６４に属しているものとする。また、上記のＲ、Ｇ、Ｂはそれぞれ、赤、緑、青に対応する色信号で駆動される画素を示している。また、添え数字は、ｎ個の視差像のうちのいずれであるかを示している。このように、液晶表示素子１５１には、視差像を表示する各画素がＲ、Ｇ、Ｂの順番で配置されている。
【００１０】
なお、ｎ個の視差像とは、ある物体を１，２，・・・，ｎの方向から眺めたときに得られるｎ個の画像を指す。このようにｎ個の画像を用いる方式は一般的にｎ眼式と呼ばれている。
【００１１】
パララックスバリア１７１は、図１９に示すように、開口部１７２となる複数のスリットと遮光部１７３とから構成され、液晶表示素子１５１の１個の画素グループ１６４が１個の開口部１７２に対応するように配置されている。
【００１２】
このような構成により、液晶表示素子１５１の各画素から出射される光は、本来、液晶表示素子１５１の前面のあらゆる方向に出射されるが、同一の画素グループ１６４内に属する画素から出射される光は、図１９中の矢印の光路で示すように同一の開口部１７２を透過することになる。
【００１３】
すると、図２０に示すように、立体画像表示装置１５０の前面には、１，２，・・・，ｎの各々の画像を観察できる観察領域Ｅ１，Ｅ２，・・・，Ｅｎが空間的に分割形成される。これにより、使用者の目を例えば観察領域Ｅ１内に入れると、使用者は液晶表示素子１５１に表示される全ての“１”の画像を観察することができる。それゆえ、パララックスバリア１７１を挟んで液晶表示素子１５１と反対側の位置にいる使用者は、観察領域Ｅ１、Ｅ２、・・・、Ｅｎのうちのいずれかの２領域に各目を入れることにより、１からｎの画像のうちのいずれかを選び出して立体画像を観察できるようになる。つまり、使用者は、観察する角度によって様々な立体画像を観察できるようになる。
【００１４】
５つ目はレンチキュラレンズ方式である。このレンチキュラレンズ方式も、例えば特許文献１に開示されている。この方式の原理を図２１に基づいて説明する。
【００１５】
この方式では、上記パララックスバリア１７１の代わりにレンチキュラレンズ１８１が液晶表示素子１５１の表示面前方に設けられて立体画像表示装置１５０が構成される。
【００１６】
レンチキュラレンズ１８１は、複数のシリンドリカルレンズ１８２が基板１８３上に並設されて構成されていると共に、液晶表示素子１５１の１個の画素グループ１６４が１個のシリンドリカルレンズ１８２に対応するように配置されている。したがって、使用者がレンチキュラレンズ１８１を介して表示面を観察したときには、シリンドリカルレンズ１８２の作用により、観察している方向によって見える画像が選択されることになる。
【００１７】
例えば、ある物体を“１”の方向から見たときの画像を表示する画素（以下、画素１と称する）から出射される光がシリンドリカルレンズ１８２の主点を通るような方向（図２１中実線の矢印で示すような方向）に使用者がいる場合、使用者は破線で示す領域で表示される、画素１の画像だけを観察できることになる。したがって、液晶表示素子１５１の前面にレンチキュラレンズ１８１を配置することにより、パララックスバリア１７１を配置したときと同様の効果を得ることができる。
【００１８】
【特許文献１】
特開平１１−７２７４５号公報（公開日１９９９年３月１６日）
【００１９】
【発明が解決しようとする課題】
特許文献１には、立体画像を表示するための技術が開示されているが、立体画像と平面画像とを切り替えて表示する技術については何ら検討されていない。
【００２０】
本発明の目的は、立体画像表示と平面画像表示とを切り替えて表示することができる画像処理装置等を提供することにある。
【００２１】
【課題を解決するための手段】
本発明の画像処理装置は、上記の課題を解決するために、互いに視差像の関係にある複数の画像に対応する複数の入力画像データに対して、それぞれの画像を横方向に縮減するための縮減演算を行う縮減演算手段と、前記縮減演算手段にて縮減演算が施された縮減画像データを組み合わせることで立体画像データを生成する立体化処理手段と、当該画像処理装置からの出力として、前記立体化処理手段にて生成される立体画像データを出力するか、前記複数の入力画像データの何れかを用いて生成される平面画像データを出力するかを切り替える切替手段とを備えることを特徴としている。
【００２２】
上記構成の画像処理装置では、例えば通常の撮像装置を複数用いて、互いに視差像の関係にある複数の画像を撮像し、それぞれの入力画像データを入力することで、立体画像表示のための立体画像データと、平面画像表示のための平面画像データとを切り替えて画像表示装置に対して出力することができる。
【００２３】
すなわち、立体画像表示を行う場合には、入力画像データを縮減演算手段によって横方向に縮減して縮減画像データを生成し、その縮減画像データを立体化処理手段によって組み合わせることで立体画像データを生成することができる。一方、平面画像表示を行う場合には、入力画像データの何れかを用いて平面画像データを生成することができる。立体画像データと平面画像データとの何れを出力するかは、切替手段によって切り替えることができる。
【００２４】
これにより、立体画像表示と平面画像表示とを同一の装置構成で実現することができるとともに、例えば、使用者による表示の切り替えの指示に基づいて、立体画像表示と平面画像表示とを簡単に切り替えることができる。
【００２５】
本発明の画像処理装置は、上記の画像処理装置において、前記入力画像データの数に対応して前記縮減演算手段を複数備えていてもよい。
【００２６】
上記の構成では、複数の入力画像データに対する縮減演算を同時並行に実行することができる。これにより、立体化処理手段による処理において、大容量を要するフレームメモリなどを用いることなく立体画像データを生成することが可能になる。したがって、立体化処理手段の装置構成を簡略化することができる。
【００２７】
本発明の画像処理装置は、上記の画像処理装置において、前記縮減演算手段が、前記複数の入力画像データそれぞれに対する縮減演算を時間的に切り替えて行うことで、前記各入力画像データに対応する各縮減画像データを時分割で出力するものであってもよい。
【００２８】
上記の構成では、複数の入力画像データに対する縮減演算を１つの縮減演算手段により時間的に切り替えて実行することができる。これにより、縮減演算手段を入力画像データの数に対応して複数設ける必要がなくなり、縮減演算手段の数を削減することができる。
【００２９】
本発明の画像処理装置は、上記の画像処理装置において、前記縮減演算手段による縮減演算が、前記入力画像データに対するデータの間引き演算であってもよい。
【００３０】
上記の構成では、縮減演算手段での縮減演算量を減らすことができるため、回路規模が小さく消費電力も低い画像処理装置を実現できる。
【００３１】
本発明の画像処理装置は、上記の画像処理装置において、前記入力画像データの数がｎ（ｎは２以上の整数）であり、前記立体化処理手段が、前記ｎ個の入力画像データのうちのｍ個（ｍは２以上、かつ、ｎ未満の整数）の入力画像データに対応する縮減画像データを組み合わせることで前記立体画像データを生成するものであってもよい。
【００３２】
上記構成のように、入力される入力画像データの中から選択した所定数の入力画像データに対応する縮減画像データを用いて立体画像データを生成することができる。
【００３３】
本発明の画像撮像システムは、上記の画像処理装置と、互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを前記画像処理装置に入力する撮像手段とを備えて構成される。
【００３４】
また、本発明の画像表示システムは、上記の画像処理装置と、前記画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えて構成される。
【００３５】
さらに、本発明の画像撮像表示システムは、上記の画像処理装置と、互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを前記画像処理装置に入力する撮像手段と、前記画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えて構成される。
【００３６】
本発明の画像撮像表示システムは、上記の画像撮像表示システムにおいて、前記撮像手段が入力する入力画像データの数はｎ（ｎは２以上の整数）であり、前記表示手段が、横ｗ本×縦ｈ本（ｗ，ｈは正の整数）の解像度を有するｎ眼式の立体画像表示が可能であり、前記撮像手段が、横ｗ／ｎ本×縦ｈ本よりも高い解像度を有するものであってもよい。
【００３７】
上記の構成では、表示手段の解像度が横ｗ本×縦ｈ本であり、この表示手段の解像度とは異なる解像度を有する撮像手段を用いて画像撮像表示システムを構成する場合であっても、横ｗ／ｎ本×縦ｈ本よりも高い解像度を有する撮像手段を用いることで、縮減演算手段での縮減演算が可能となる。
【００３８】
本発明の画像撮像表示システムは、上記の画像撮像表示システムにおいて、前記撮像手段が、前記複数の入力画像データごとに異なる解像度を有していてもよい。
【００３９】
本発明の画像処理プログラムは、上記の画像処理装置を動作させる画像処理プログラムであって、コンピュータを前記画像処理装置の各手段として機能させるためのものである。また、本発明のコンピュータ読み取り可能な記録媒体は、上記の画像処理プログラムを記録したものである。
【００４０】
【発明の実施の形態】
〔実施形態１〕
本発明の第１の実施形態について図１から図６に基づいて説明すれば、以下の通りである。
【００４１】
図１に本実施形態の画像撮像表示システム１のブロック構成を示す。この画像撮像表示システム１は、撮像手段としての撮像装置１１ａ・１１ｂ・１１ｃ、画像表示手段としての画像表示装置１２、及び画像処理手段としての画像処理装置１ａを備えている。なお、ここでは３個の撮像装置１１ａ・１１ｂ・１１ｃを用いることを想定しているが、撮影装置は２個以上であればその数は特に限定されない。また、撮像装置１１ａ・１１ｂ・１１ｃを総称する場合に、撮像装置１１と記すこともある。
【００４２】
撮像装置１１ａ・１１ｂ・１１ｃは、それぞれＣＣＤカメラやＣＭＯＳイメージセンサ等を備えて構成されており、それぞれ画像を撮像して画像データを生成し、画像処理装置１ａに入力する。特に、撮像装置１１ａ・１１ｂ・１１ｃは、３個の視差像を撮像して、それぞれに対応する画像データを画像処理装置１ａに入力することができる。
【００４３】
画像表示装置１２は、後述するように画像処理装置１ａにて生成される立体画像データを入力することにより立体画像を表示することができ、かつ、撮像装置１１ａ・１１ｂ・１１ｃの何れかにより生成された画像データである平面画像データを入力することにより平面画像を表示することができるものである。この画像表示装置１２は、立体画像表示及び平面画像表示の双方が可能なものであればよく、例えば図１９又は図２１に示した立体画像表示装置１５０を用いることができる。
【００４４】
画像処理装置１ａは、撮像装置１１ａ・１１ｂ・１１ｃそれぞれに１対１に対応して備えられた画像データ縮減部１３ａ・１３ｂ・１３ｃと、画像データ立体化部１４と、表示切替制御部１５とを備えている。なお、画像データ縮減部１３ａ・１３ｂ・１３ｃを総称する場合に、画像データ縮減部１３と記すこともある。
【００４５】
画像データ縮減部１３ａ・１３ｂ・１３ｃは、それぞれ縮減演算手段としての縮減演算部１６ａ・１６ｂ・１６ｃと、セレクタ１７ａ・１７ｂ・１７ｃとを備えている。なお、縮減演算部１６ａ・１６ｂ・１６ｃ及びセレクタ１７ａ・１７ｂ・１７ｃを総称する場合に、それぞれ縮減演算部１６及びセレクタ１７と記すこともある。
【００４６】
縮減演算部１６ａ・１６ｂ・１６ｃは、撮像装置１１ａ・１１ｂ・１１ｃから入力される画像データ、つまり、互いに視差像の関係にある複数の画像に対応する複数の画像データ（入力画像データ）に対して、それぞれの画像を横方向に縮減するための縮減演算を行う。撮像装置１１及び画像データ縮減部１３の数をｎとすると（ここでは、ｎ＝３）、縮減演算部１６は、入力画像データを横方向に１／ｎに縮減する。なお、「画像データを横方向に縮減する」とは、画像データの横方向のデータ量を削減することを意味し、特に行列状の画像データについては、列数を削減することを意味する。
【００４７】
縮減演算部１６において入力画像データを横方向に１／ｎに縮減するには、画像の縮小でよく知られた、ニアレストネイバー法やバイリニア法、バイキュービック法等のアルゴリズムを利用すればよい。
【００４８】
セレクタ１７ａ・１７ｂ・１７ｃは、画像データ縮減部１３ａ・１３ｂ・１３ｃに入力され、何も処理を施していない入力画像データそのものと、縮減演算部１６ａ・１６ｂ・１６ｃにて縮減演算を施した画像データ（縮減画像データ）とのうちの一方を選択して出力する。セレクタ１７ａ・１７ｂ・１７ｃにおいて何れを選択するかは、表示切替制御部１５の制御に基づく。
【００４９】
画像データ立体化部１４は、立体化処理手段としての立体化処理部１８と、セレクタ１９とを備えて構成される。この立体化処理部１８及びセレクタ１９には、画像データ縮減部１３ａ・１３ｂ・１３ｃのセレクタ１７ａ・１７ｂ・１７ｃから送出される画像データが入力される。
【００５０】
立体化処理部１８は、縮減演算部１６ａ・１６ｂ・１６ｃにて縮減演算が施された縮減画像データを組み合わせることで立体画像データを生成する。
【００５１】
セレクタ１９は、立体化処理部１８にて生成される立体画像データと、画像データ縮減部１３ａ・１３ｂ・１３ｃのセレクタ１７ａ・１７ｂ・１７ｃから送出される３つの画像データのうちの予め定めた１つの画像データ（代表画像データ）とのうちの一方を選択し、画像表示装置１２に対して出力する。セレクタ１９において何れを選択するかは、表示切替制御部１５の制御に基づく。
【００５２】
なお、セレクタ１９による選択とセレクタ１７ａ・１７ｂ・１７ｃによる選択とは、表示切替制御部１５の制御のもとで連携しており、セレクタ１９が立体画像データを選択する際には、セレクタ１７ａ・１７ｂ・１７ｃは縮減画像データを選択するようになっており、セレクタ１９が代表画像データを選択する際には、セレクタ１７ａ・１７ｂ・１７ｃは縮減されていない入力画像データを選択するようになっている。
【００５３】
したがって、セレクタ１９が代表画像データを選択しているときにセレクタ１９から出力される画像データは、縮減されていない３つの入力画像データの何れかであり、これは平面画像データである。なお、平面画像データは、入力画像データそのものである必要はなく、例えば入力画像データに対して通常の画像処理が施されたものであってもよい。つまり、平面画像データは、３つの入力画像データの何れかを用いて生成されたものであればよい。
【００５４】
表示切替制御部１５は、使用者からの立体画像表示／平面画像表示の切り替えの指示に基づき、上述のようにセレクタ１７及びセレクタ１９での選択を制御する。使用者からの立体画像表示／平面画像表示の切り替えの指示は、図示しない表示切替入力装置を使用者が操作することで、その切替入力装置から表示切替制御部１５へ送られる。
【００５５】
したがって、表示切替制御部１５は、画像処理装置１ａからの出力として、立体化処理部１８にて生成される立体画像データを出力するか、複数の入力画像データの何れかを用いて生成される平面画像データを出力するかを切り替える切替手段として機能する。
【００５６】
なお、平面画像データを出力する場合において、撮像装置１１ａ・１１ｂ・１１ｃの何れで撮像された入力画像データを用いるのかを、表示切替制御部１５の制御によってセレクタ１９で切り替えることができるようになっていてもよい。
【００５７】
以下では、一例として、図２に示すように画像撮像表示システム１が２つの撮像装置１１ａ・１１ｂを備えるものとし、この２つの撮像装置１１ａ・１１ｂでそれぞれ右目用及び左眼用の視差像を撮像し、これにより立体画像表示を行う場合、つまり２眼式の立体画像表示を行う場合について説明する。
【００５８】
まず、２眼式の立体画像表示の表示原理について説明する。画像表示装置１２と使用者との関係を図３及び図４に示す。
【００５９】
図３は、画像表示装置１２としてパララックスバリア方式の表示装置を用いた場合である。この画像表示装置１２は、液晶表示素子２０の表示面前方に、複数の開口部２１ａ…を有するパララックスバリア２１を配置し、このパララックスバリア２１の前方における特定の領域において、使用者の右目ＥＲ及び左目ＥＬにそれぞれに対応した画像のみが見えるようにしたものである。
【００６０】
そのために、液晶表示素子２０には、右目用の画像であるＲｉ，Ｒｊ，Ｒｋ，Ｒｌ，Ｒｍと、左目用の画像であるＬｉ，Ｌｊ，Ｌｋ，Ｌｌ，Ｌｍとを交互に配し、これをパララックスバリア２１を介して見せることによって、使用者の左右それぞれの目にそれぞれに対応する画像のみを見せることを実現している。
【００６１】
例えば、Ｒｉの画像と使用者の右目ＥＲとを結ぶ線（実線）上にはパララックスバリア２１の開口部２１ａがあるため、使用者は右目ＥＲでＲｉの画像を見ることができる。一方、Ｒｉの画像と使用者の左目ＥＬとを結ぶ線（破線）上には開口部２１ａがないため、使用者の左目ＥＬにはＲｉは見えないようになっている。これにより、使用者に眼鏡等の装置を着用させずとも左右の目にそれぞれの画像のみを見せることができる。
【００６２】
また、図４は、画像表示装置１２としてレンチキュラレンズ方式の表示装置を用いた場合である。この画像表示装置１２は、液晶表示素子２０の表示面前方に、レンチキュラレンズ２２を配置し、レンチキュラレンズ２２の前方における特定の領域において、使用者の右目ＥＲ及び左目ＥＬにそれぞれ対応した画像のみが見えるようにしたものである。
【００６３】
そのために、液晶表示素子２０には、右目用の画像であるＲｉ，Ｒｊ，Ｒｋ，Ｒｌ，Ｒｍと、左目用の画像であるＬｉ，Ｌｊ，Ｌｋ，Ｌｌ，Ｌｍとを交互に配し、これをレンチキュラレンズ２２を介して見せることによって、使用者の左右それぞれの目にそれぞれに対応する画像のみを見せることを実現している。
【００６４】
レンチキュラレンズ２２は、右目用の画像及び左目用の画像の１組に対して、１つのレンズ２２ａが割り当てられた単位構成を有し、この単位構成が繰り返されたものである。このレンズ２２ａにより、例えばＲｋから発せられた光はレンズ２２ａで屈折されて使用者の右目ＥＲにのみ入射し、Ｌｋから発せられた光はレンズ２２ａで屈折されて使用者の左目ＥＬにのみ入射される。これにより、使用者に眼鏡等の装置を着用させずとも左右の目にそれぞれの画像のみを見せることができる。
【００６５】
このように、パララックスバリア方式及びレンチキュラレンズ方式の何れの方法においても、右目用の画像と左目用の画像とを液晶表示素子２０に一列毎に交互に表示する。なお、一般のｎ眼式の立体画像表示の場合は、従来の技術として図１９から図２１に基づいて説明した通りである。
【００６６】
このような表示を行うための立体画像データを、画像処理装置１ａにより生成する方法について図２及び図５に基づいて説明する。立体画像表示の際には、画像データは、図２の実線部分を流れて処理される。このとき、図２の破線部分の画像データの流れは、セレクタによって選択されないことになる。また、図５は、撮像装置１１から画像表示装置１２の間で画像データが変化する様子を示している。
【００６７】
撮像装置１１ａ・１１ｂで撮像された解像度が横ｗ本×縦ｈ本（ｗ，ｈは正の整数）の入力画像データは、画像データ縮減部１３ａ・１３ｂに入ると、それぞれの縮減演算部１６ａ・１６ｂにて横方向にのみ１／２に縮減されて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、それぞれのセレクタ１７ａ・１７ｂを通って画像データ立体化部１４へ出力される。これらの縮減画像データは、画像データ立体化部１４に入ると、立体化処理部１８にて画像表示装置１２に合ったフォーマットとなるように、それぞれの列が交互に並ぶように組み合わされて、立体画像データに変換される。変換された立体画像データは、セレクタ１９を通って画像表示装置１２に出力されて立体画像表示される。ここでは、画像表示装置１２の解像度が横ｗ本×縦ｈ本であるものとしており、立体画像データのデータサイズも横ｗ本×縦ｈ本となっている。
【００６８】
図５において、「Ｒｉｊ」は右目用の撮像装置１１ａから送られてきた入力画像データにおけるｉ行ｊ列の画素のデータを示し、「Ｌｉｊ」は左目用の撮像装置１１ｂから送られてきた入力画像データにおけるｉ行ｊ列の画素のデータを示す。画像データ縮減部１３ａ・１３ｂを通過した後の縮減画像データにおける画素のデータを、「Ｒ’ｉｊ」、「Ｌ’ｉｊ」で示しているのは、縮減演算により各画素のデータが入力画像データのものとは異なる値となっているからである。
【００６９】
本画像処理装置１ａにおける縮減演算部１６での縮減演算は、画像の横方向のみの縮減であり、縦方向には縮減しないため、通常の縮減演算回路と比較して演算回路の規模を小さくできる。
【００７０】
次に、平面画像表示を行う場合の画像データの流れについて図６を用いて説明する。ここでは、一例として撮像装置１１ｂで撮像された入力画像データを用いて平面画像表示を行う場合を想定する。
【００７１】
平面画像表示の際には、画像データは、図６の実線部分を流れて処理される。このとき、図６の破線部分の画像データの流れは、セレクタによって選択されないことになる。また、破線で示したブロックは、使用されていないことになる。
【００７２】
撮像装置１１ｂで撮像された解像度が横ｗ本×縦ｈ本の入力画像データは、画像データ縮減部１３ｂに入るとそのままの解像度でセレクタ１７ｂを通って出力される。そして、画像データ立体化部１４に入ると、立体化処理部１８に入ることなくセレクタ１９を通って画像表示装置１２に出力されて平面画像表示される。
【００７３】
このとき、セレクタ１９により撮像装置１１ａの入力画像データは選択されず、撮像装置１１ｂの入力画像データによって平面画像表示が行われる。撮像装置１１ａの撮像した画像を平面画像表示する場合には、セレクタ１９により選択される画像データが画像データ縮減部１３ａの出力になるよう、表示切替制御部１５によって切り替えればよい。これにより、２つの撮像装置１１ａ・１１ｂのうち、任意の１つの撮像装置が撮像した画像を平面画像表示することが可能となる。
【００７４】
このように、本実施形態の画像撮像表示システム１は、ｎ個の撮像装置１１と、この撮像装置１１で取り込まれたそれぞれの画像データを立体画像表示時は横方向に１／ｎに縮減を行い、平面画像表示時は何も処理を行わないｎ個の画像データ縮減部１３と、立体画像表示時はそれぞれの画像データ縮減部１３からの画像データを立体化して後段に転送し、平面画像表示時は１つの画像データ縮減部１３からの画像データのみを後段に転送する画像データ立体化部１４と、撮像装置１１と同じ解像度を有し、立体画像表示及び平面画像表示可能な画像表示装置１２と、立体画像表示及び平面画像表示の何れを行うかを制御する表示切替制御部１５とを備えたものである。
【００７５】
本実施形態の画像撮像表示システム１では、入力画像データの数に対応して縮減演算部１６を複数備えている。この構成では、複数の入力画像データに対する縮減演算を同時並行に実行することができる。これにより、立体化処理部２８による処理において、大容量を要するフレームメモリなどを用いることなく立体画像データを生成することが可能になる。したがって、立体化処理部２８の装置構成を簡略化することができる。
【００７６】
なお、画像処理装置１ａでは、必ずしもｎ個全ての撮像装置１１の画像データを使用して立体画像表示を行う必要はなく、任意のｍ（２≦ｍ＜ｎ）個を選択的に使用するようにしてもよい。つまり、入力画像データの数がｎである場合に、画像データ立体化部１４は、ｎ個の入力画像データのうちのｍ個の入力画像データに対応する縮減画像データを組み合わせることで立体画像データを生成するようにしてもよい。これにより、入力される入力画像データの中から選択した所定数の入力画像データに対応する縮減画像データを用いて立体画像データを生成することができる。
【００７７】
〔実施形態２〕
本発明の第２の実施形態について図７から図１４に基づいて説明すれば、以下の通りである。
【００７８】
図７に本実施形態の画像撮像表示システム２のブロック構成を示す。この画像撮像表示システム２は、撮像装置１１ａ・１１ｂ・１１ｃ、画像表示装置１２、及び画像処理装置２ａを備えている。なお、撮像装置１１ａ・１１ｂ・１１ｃ及び画像表示装置１２は、実施形態１で説明した同一符号の部材と同一の機能を有するものである。
【００７９】
本実施形態では、画像処理装置２ａの構成が、実施形態１の画像処理装置１ａと異なっている。画像処理装置２ａは、画像データ縮減部２３、画像データ立体化部２４、及び表示切替制御部１５を備えている。なお、表示切替制御部１５は、実施形態１で説明した同一符号の部材と同一の機能を有するものである。また、画像データ縮減部２３及び画像データ立体化部２４は、実施形態１の画像データ縮減部１３及び画像データ立体化部１４に相当するものであるが、その構成、機能が次のように異なっている。
【００８０】
画像データ縮減部２３は、撮像装置１１ａ・１１ｂ・１１ｃごとに設けられているのではなく、撮像装置１１ａ・１１ｂ・１１ｃ全体に対して１つ設けられている。したがって、撮像装置１１ａ・１１ｂ・１１ｃそれぞれから画像処理装置２ａに入力される入力画像データは、全て画像データ縮減部２３に入る。
【００８１】
画像データ縮減部２３は、縮減演算部１６、セレクタ１７に加えて、セレクタ３１を備えている。なお、縮減演算部１６及びセレクタ１７は、それぞれ実施形態１の縮減演算部１６ａ・１６ｂ・１６ｃの何れか、及びセレクタ１７ａ・１７ｂ・１７ｃの何れかと同一の機能を有している。セレクタ３１は、撮像装置１１ａ・１１ｂ・１１ｃからの入力画像データを順次切り替えて縮減演算部１６及びセレクタ１７に送る機能を有している。
【００８２】
この構成により、画像データ縮減部２３では、撮像装置１１ａ・１１ｂ・１１ｃから送出される各入力画像データに対する縮減演算部１６での縮減演算を、時間的に切り替えて行い、各入力画像データに対応する縮減画像データを時分割で出力する。つまり、縮減演算部１６では、例えば、撮像装置１１ａからの入力画像データの縮減が完了したらその縮減画像データを後段に転送し、次の撮像装置１１ｂからの入力画像データの処理を行うということを、撮像装置の数であるｎ回繰り返す。
【００８３】
そのために、セレクタ３１では、撮像装置１１ａ・１１ｂ・１１ｃそれぞれからの入力画像データの何れを後段に転送するかを順次選択する。また、セレクタ３１は、縮減演算を行わない入力画像データを転送する際には、何れの入力画像データを後段に転送するかを順次選択する。
【００８４】
画像データ立体化部２４は、立体化処理部２８、セレクタ１９に加えて、フレームメモリ３２を備えている。なお、セレクタ１９は、実施形態１のセレクタ１９とほぼ同一の機能を有している。
【００８５】
立体化処理部２８は、実施形態１の立体化処理部１８に相当する部材であるが、縮減演算部１６にて縮減演算が施された縮減画像データを組み合わせて立体画像データを生成する際に、フレームメモリ３２を用いる点が実施形態１の場合と異なっている。すなわち、立体化処理部２８では、縮減演算部１６から送られてくる時分割された縮減画像データを、順次フレームメモリ３２に記憶させて復元しつつ立体画像データを生成する。そのために、フレームメモリ３２は、画像表示装置１２の解像度に対応する立体画像データを記憶できる容量を有している。
【００８６】
つまり、立体化処理部２８にて縮減画像データを立体化する場合、立体化処理部２８には、各撮像装置１１ａ・１１ｂ・１１ｃからの入力画像データに対応する縮減画像データが順次転送されてくるため、立体化処理部２８は、それらの縮減画像データをフレームメモリ３２に記憶させながら立体画像データを形成する。そして、画像データ縮減部２３から転送されてきた、横方向に１／ｎに縮減されたｎ個の縮減画像データの転送が完了すると、その時点で立体画像データが完成し、この立体画像データがセレクタ１９を通って画像表示装置１２に転送される。
【００８７】
以下では、一例として、図８に示すように画像撮像表示システム２が２つの撮像装置１１ａ・１１ｂを備えるものとし、この２つの撮像装置１１ａ・１１ｂでそれぞれ右目用及び左眼用の視差像を撮像し、これにより立体画像表示を行う場合、つまり２眼式の立体画像表示を行う場合について説明する。
【００８８】
立体画像表示の際には、画像データは、図８の実線部分を流れて処理される。
このとき、図８の破線部分の画像データの流れは、セレクタによって選択されないことになる。また、撮像装置１１から画像表示装置１２の間で画像データが変化する様子を、図９から図１３に時系列に示す。
【００８９】
なお、図９から図１３において、「Ｒｉｊ」は右目用の撮像装置１１ａから送られてきた入力画像データにおけるｉ行ｊ列の画素のデータを示し、「Ｌｉｊ」は左目用の撮像装置１１ｂから送られてきた入力画像データにおけるｉ行ｊ列の画素のデータを示す。画像データ縮減部２３を通過した後の縮減画像データにおける画素のデータを、「Ｒ’ｉｊ」、「Ｌ’ｉｊ」で示しているのは、縮減演算により各画素のデータが入力画像データのものとは異なる値となっているからである。
【００９０】
撮像装置１１ａ・１１ｂで撮像された解像度が横ｗ本×縦ｈ本の入力画像データは、最初にセレクタ３１にて撮像装置１１ａの入力画像データが選択され（図９参照）、画像データ縮減部２３に入り、縮減演算部１６にて横方向にのみ１／２にされて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、セレクタ１７（図９では図示せず）を通って画像データ立体化部２４へ出力される（図１０参照）。
【００９１】
次に、撮像装置１１ｂの入力画像データがセレクタ３１にて選択されて画像データ縮減部２３に入り、上記と同様の処理がなされて縮減画像データが出力される（図１１参照）。
【００９２】
これらの縮減画像データは順次画像データ立体化部２４に入り、立体化処理部２８により、画像表示装置１２に合ったフォーマットとなるように、それぞれの列が交互に並ぶように組み合わされて、フレームメモリ３２に保存される。このようにして縮減画像データの全てがフレームメモリ３２に保存された時点で、立体画像データが完成する（図１２参照）。この立体画像データは、セレクタ１９を通って画像表示装置１２に出力されて立体画像表示される（図１３参照）。
【００９３】
本画像処理装置２ａにおける縮減演算部１６での縮減演算は、画像の横方向のみの縮減であり、縦方向には縮減しないため、通常の縮減演算回路と比較して演算回路の規模を小さくできる。
【００９４】
次に、平面画像表示を行う場合の画像データの流れについて図１４を用いて説明する。ここでは、一例として撮像装置１１ｂで撮像された入力画像データを用いて平面画像表示を行う場合を想定する。
【００９５】
平面画像表示の際には、画像データは、図１４の実線部分を流れて処理される。このとき、図１４の破線部分の画像データの流れは、セレクタによって選択されないことになる。また、破線で示したブロックは、使用されていないことになる。
【００９６】
撮像装置１１ｂで撮像された解像度が横ｗ本×縦ｈ本の入力画像データは、画像データ縮減部２３に入るとそのままの解像度でセレクタ３１及びセレクタ１７を通って出力される。そして、画像データ立体化部２４に入ると、立体化処理部２８に入ることなくセレクタ１９を通って画像表示装置１２に出力されて平面画像表示される。
【００９７】
このとき、セレクタ３１により撮像装置１１ａの入力画像データは選択されず、撮像装置１１ｂの入力画像データによって平面画像表示が行われる。撮像装置１１ａの撮像した画像を平面画像表示する場合には、セレクタ３１により選択される入力画像データが撮像装置１１ａの出力になるよう、表示切替制御部１５によって切り替えればよい。これにより、２つの撮像装置１１ａ・１１ｂのうち、任意の１つの撮像装置が撮像した画像を平面画像表示することが可能となる。
【００９８】
本実施形態の画像処理装置２ａでは、実施形態１の画像処理装置１ａと比較して、回路規模の大きい縮減演算部１６を複数設ける必要がないため、回路規模を小さくすることができ、画像処理装置２ａのコスト及び消費電力を低減することが可能となる。
【００９９】
このように、本実施形態の画像撮像表示システム２は、ｎ個の撮像装置１１と、この撮像装置１１で取り込まれたそれぞれの画像データを立体画像表示時は横方向に１／ｎに縮減を行い、平面画像表示時は何も処理を行わない画像データ縮減部２３と、立体画像表示時はフレームメモリ３２を使用しながら画像データ縮減部２３からの画像データを立体化して後段に転送し、平面画像表示時は１つの撮像装置１１からの画像データのみを後段に転送する画像データ立体化部２４と、撮像装置１１と同じ解像度を有し、立体画像表示及び平面画像表示可能な画像表示装置１２と、立体画像表示及び平面画像表示の何れを行うかを制御する表示切替制御部１５とを備えたものである。
【０１００】
本実施形態の画像撮像表示システム２では、縮減演算部１６が、複数の入力画像データそれぞれに対する縮減演算を時間的に切り替えて行うことで、各入力画像データに対応する各縮減画像データを時分割で出力する。この構成では、複数の入力画像データに対する縮減演算を１つの縮減演算部１６により時間的に切り替えて実行することができる。これにより、縮減演算部１６を入力画像データの数に対応して複数設ける必要がなくなり、縮減演算部１６の数を削減することができる。
【０１０１】
〔実施形態３〕
本発明の第３の実施形態について図１５に基づいて説明すれば、以下の通りである。
【０１０２】
本実施形態では、縮減演算部１６における縮減演算として、間引き演算を用いる場合について説明する。なお、本実施形態で説明する演算を行うための装置構成は、実施形態１、２の何れの構成であってもよい。ここでは、実施形態１の装置構成を前提として説明する。
【０１０３】
図１５は、撮像装置１１から画像表示装置１２の間で画像データが変化する様子を示しており、実施形態１の図５に対応するものである。
【０１０４】
撮像装置１１ａ・１１ｂで撮像された解像度が横ｗ本×縦ｈ本の入力画像データは、画像データ縮減部１３ａ・１３ｂに入ると、それぞれの縮減演算部１６ａ・１６ｂにて横方向にのみ１／２に縮減されて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、それぞれのセレクタ１７ａ・１７ｂを通って画像データ立体化部１４へ出力される。
【０１０５】
この縮減演算部１６ａ・１６ｂでの縮減演算として、単純なデータ間引きを行い、例えば奇数列目のデータのみからなるデータを縮減画像データとする。この場合、偶数列目のデータは立体画像表示には使用されていない。
【０１０６】
そして、これらの縮減画像データは、画像データ立体化部１４に入ると、立体化処理部１８にて画像表示装置１２に合ったフォーマットとなるように、それぞれの列が交互に並ぶように組み合わされて、立体画像データに変換される。変換された立体画像データは、セレクタ１９を通って画像表示装置１２に出力されて立体画像表示される。ここでは、画像表示装置１２の解像度が横ｗ本×縦ｈ本であるものとしており、立体画像データのデータサイズも横ｗ本×縦ｈ本となっている。
【０１０７】
これにより、縮減演算部１６での縮減演算量が減るため、回路規模が小さく消費電力も低い画像処理装置１ａを実現できる。
【０１０８】
〔実施形態４〕
本発明の第４の実施形態について図１６に基づいて説明すれば、以下の通りである。
【０１０９】
本実施形態では、縮減演算部１６における縮減演算として、縦方向及び横方向の両方に任意の縮減率で縮減可能にしている点、及び、画像表示装置１２の解像度が横ｗ本×縦ｈ本の場合に、撮像装置１１の解像度が横ｗ／ｎ本×縦ｈ本よりも高い解像度を有する点が実施形態１、２の場合と異なる。ここで、ｎは、立体画像表示に用いる入力画像データの数である。
【０１１０】
なお、本実施形態で説明する演算を行うための装置構成は、実施形態１、２の何れの構成であってもよい。ここでは、実施形態１の装置構成を前提として説明する。
【０１１１】
図１６は、撮像装置１１から画像表示装置１２の間で画像データが変化する様子を示しており、実施形態１の図５に対応するものである。ここでは、撮像装置１１ａ・１１ｂの解像度がそれぞれ横ｘ本×縦ｙ本、画像表示装置１２の解像度が横ｗ本×縦ｈ本とする。
【０１１２】
撮像装置１１ａ・１１ｂで撮像された解像度が横ｘ本×縦ｙ本の入力画像データは、画像データ縮減部１３ａ・１３ｂに入ると、それぞれの縮減演算部１６ａ・１６ｂにて横方向にｗ／（２×ｘ）、縦方向にｈ／ｙに縮減されて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、それぞれのセレクタ１７ａ・１７ｂを通って画像データ立体化部１４へ出力される。これらの縮減画像データは、画像データ立体化部１４に入ると、立体化処理部１８にて画像表示装置１２に合ったフォーマットとなるように、それぞれの列が交互に並ぶように組み合わされて、立体画像データに変換される。変換された立体画像データは、セレクタ１９を通って画像表示装置１２に出力されて立体画像表示される。これにより、立体画像データのデータサイズが横ｗ本×縦ｈ本となる。
【０１１３】
このように、本実施形態の画像処理装置１ａは、画像処理装置１ａに入力される入力画像データの数がｎであり、画像表示装置１２は横ｗ本×縦ｈ本の解像度を有するｎ眼式の立体画像表示が可能であり、撮像装置１１は横ｗ／ｎ本×縦ｈ本よりも高い解像度を有するものである。
【０１１４】
ここで、撮像装置１１の解像度が横ｗ／ｎ本×縦ｈ本よりも高い必要があるのは、撮像装置１１の解像度が縮減演算部１６の出力解像度よりも大きい必要があるためである。
【０１１５】
本実施形態では、画像表示装置１２の解像度とは異なる解像度を有する撮像装置１１を用いて画像撮像表示システムを実現することができる。
【０１１６】
〔実施形態５〕
本発明の第５の実施形態について図１７に基づいて説明すれば、以下の通りである。
【０１１７】
本実施形態は、互いに解像度の異なる撮像装置１１ａと撮像装置１１ｂとを用いる点において実施形態４と異なるほかは、実施形態４と同じである。本実施形態の装置構成も、実施形態１、２の何れの構成であってもよいが、ここでは、実施形態１の装置構成を前提として説明する。
【０１１８】
図１７は、撮像装置１１から画像表示装置１２の間で画像データが変化する様子を示しており、実施形態４の図１６に対応するものである。ここでは、撮像装置１１ａの解像度が横ｐ本×縦ｑ本、撮像装置１１ｂの解像度が横ｘ本×縦ｙ本、画像表示装置１２の解像度が横ｗ本×縦ｈ本とする。
【０１１９】
撮像装置１１ａで撮像された解像度が横ｐ本×縦ｑ本の入力画像データは、画像データ縮減部１３ａに入ると、縮減演算部１６ａにて横方向にｗ／（２×ｐ）、縦方向にｈ／ｑに縮減されて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、セレクタ１７ａを通って画像データ立体化部１４へ出力される。
【０１２０】
一方、撮像装置１１ｂで撮像された解像度が横ｘ本×縦ｙ本の入力画像データは、画像データ縮減部１３ｂに入ると、縮減演算部１６ｂにて横方向にｗ／（２×ｘ）、縦方向にｈ／ｙに縮減されて、解像度が横ｖ（＝ｗ／２）本×縦ｈ本の縮減画像データとなり、セレクタ１７ｂを通って画像データ立体化部１４へ出力される。
【０１２１】
これらの縮減画像データは、画像データ立体化部１４に入ると、立体化処理部１８にて画像表示装置１２に合ったフォーマットとなるように、それぞれの列が交互に並ぶように組み合わされて、立体画像データに変換される。変換された立体画像データは、セレクタ１９を通って画像表示装置１２に出力されて立体画像表示される。これにより、立体画像データのデータサイズが横ｗ本×縦ｈ本となる。
【０１２２】
〔実施形態６〕
本発明の第６の実施形態について図１８に基づいて説明すれば、以下の通りである。
【０１２３】
実施形態１〜５における画像処理装置１ａ・２ａは、ハードウェアで実現してもよく、コンピュータに画像処理プログラムを読み込むことで、コンピュータを画像処理装置１ａ・２ａとして動作させることで実現してもよい。本実施形態では、後者の場合のハードウェア構成について、図１８に基づいて説明する。
【０１２４】
本実施形態の画像撮像表示システム４は、撮像装置１１ａ・１１ｂ・１１ｃ、画像表示装置１２、表示切替入力装置４５、及び画像処理装置４ａを備えている。なお、撮像装置１１ａ・１１ｂ・１１ｃ及び画像表示装置１２は、実施形態１、２で説明した同一符号の部材と同一の機能を有するものである。
【０１２５】
本実施形態では、画像処理装置４ａは、ＣＰＵ４１（central processing unit）、メモリ４２、入出力装置４３、及びバス４４を備えるコンピュータにより構成されている。
【０１２６】
この画像処理装置４ａでは、画像処理プログラムが読み込まれることにより、ＣＰＵ４１において、図１の画像データ縮減部１３、画像データ立体化部１４、表示切替制御部１５、あるいは図７の画像データ縮減部２３、画像データ立体化部２４、表示切替制御部１５を構成する。ただし、図２のフレームメモリ３２については、メモリ４２で構成する。
【０１２７】
なお、入出力装置４３は、撮像装置１１や画像表示装置１２、表示切替入力装置４５とのデータの入出力を媒介するものである。また、バス４４は、ＣＰＵ４１と、メモリ４２及び入出力装置４３との間のデータ転送路である。これらは、通常のコンピュータが有する構成部材である。
【０１２８】
また、表示切替入力装置４５は、図１、図２では図示していなかったが、使用者の走査に基づき、表示切替制御部１５に対して立体画像表示／平面画像表示の切り替えの指示を与えるものである。
【０１２９】
この画像処理装置４ａでは、立体画像表示を行う場合、撮像装置１１ａ・１１ｂ・１１ｃから入力される入力画像データを、入出力装置４３及びバス４４経由でＣＰＵ４１が読み出し、メモリ４２を用いて画像の縮減及び立体化を行って立体画像データを生成する。そして、生成した立体画像データを、再びバス４４及び入出力装置４３経由で画像表示装置１２に送出する。
【０１３０】
また、画像処理装置４ａで平面画像表示を行う場合、撮像装置１１ａ・１１ｂ・１１ｃから入力される入力画像データを、入出力装置４３及びバス４４経由でＣＰＵ４１が読み出し、必要に応じてメモリ４２を用いて縮減を行ってから、平面画像データとして再びバス４４及び入出力装置４３経由で画像表示装置１２に送出する。
【０１３１】
これら立体画像表示を行うか、平面画像表示を行うかは、表示切替入力装置４５からの入力に基づいて、ＣＰＵ４１が判別する。
【０１３２】
なお、上記画像処理プログラムは、その画像処理プログラムを記録した記録媒体から画像処理装置４ａに供給されてもよく、通信ネットワーク（インターネット、イントラネット等を含む）と画像処理装置４ａとを接続可能に構成して、その通信ネットワークを介して画像処理装置４ａに供給されてもよい。
【０１３３】
画像処理プログラムを記録する記録媒体は、画像処理装置４ａと分離可能に構成してもよく、画像処理装置４ａに組み込むようになっていてもよい。この記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるように画像処理装置４ａに装着されるものであっても、外部記憶装置として画像処理装置４ａに接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。
【０１３４】
例えば、上記記録媒体としては、磁気テープやカセットテープ等のテープ系、フレキシブルディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０１３５】
以上、実施形態１〜６で説明したように、本発明の画像処理装置（画像処理装置１ａ・２ａ・４ａ）は、互いに視差像の関係にある複数の画像に対応する複数の入力画像データに対して、それぞれの画像を横方向に縮減するための縮減演算を行う縮減演算手段（縮減演算部１６ａ・１６ｂ・１６ｃ、縮減演算部１６）と、この縮減演算手段にて縮減演算が施された縮減画像データを組み合わせることで立体画像データを生成する立体化処理手段（立体化処理部１８・２８）と、当該画像処理装置からの出力として、立体化処理手段にて生成される立体画像データを出力するか、複数の入力画像データの何れかを用いて生成される平面画像データを出力するかを切り替える切替手段（表示切替制御部１５）とを備えるものである。
【０１３６】
上記構成の画像処理装置では、例えば通常の撮像装置１１を複数用いて、互いに視差像の関係にある複数の画像を撮像し、それぞれの入力画像データを入力することで、立体画像表示のための立体画像データと、平面画像表示のための平面画像データとを切り替えて画像表示装置１２に対して出力することができる。
【０１３７】
すなわち、立体画像表示を行う場合には、入力画像データを縮減演算手段によって横方向に縮減して縮減画像データを生成し、その縮減画像データを立体化処理手段によって組み合わせることで立体画像データを生成することができる。一方、平面画像表示を行う場合には、入力画像データの何れかを用いて平面画像データを生成することができる。立体画像データと平面画像データとの何れを出力するかは、切替手段によって切り替えることができる。
【０１３８】
これにより、立体画像表示と平面画像表示とを同一の装置構成で実現することができるとともに、例えば、使用者による表示の切り替えの指示に基づいて、立体画像表示と平面画像表示とを簡単に切り替えることができる。
【０１３９】
なお、本発明の画像撮像システムは、上記画像処理装置と、互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを前記画像処理装置に入力する撮像手段（撮像装置１１ａ・１１ｂ・１１ｃ）とを備えて構成される。また、本発明の画像表示システムは、上記画像処理装置と、この画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段（画像表示装置１２）とを備えて構成される。
【０１４０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１４１】
【発明の効果】
以上のように、本発明の画像処理装置は、複数の入力画像データに対して縮減演算を行う縮減演算手段と、縮減演算が施された縮減画像データを組み合わせることで立体画像データを生成する立体化処理手段と、当該画像処理装置からの出力として、立体画像データを出力するか、上記複数の入力画像データの何れかを用いて生成される平面画像データを出力するかを切り替える切替手段とを備える構成である。
【０１４２】
上記構成の画像処理装置では、例えば通常の撮像装置を複数用いて、互いに視差像の関係にある複数の画像を撮像し、それぞれの入力画像データを入力することで、立体画像表示のための立体画像データと、平面画像表示のための平面画像データとを切り替えて画像表示装置に対して出力することができる。
【０１４３】
これにより、立体画像表示と平面画像表示とを同一の装置構成で実現することができるとともに、例えば、使用者による表示の切り替えの指示に基づいて、立体画像表示と平面画像表示とを簡単に切り替えることができるという効果を奏する。
【０１４４】
本発明の画像処理装置は、上記の画像処理装置において、入力画像データの数に対応して縮減演算手段を複数備えていてもよい。
【０１４５】
上記の構成では、立体化処理手段による処理において、大容量を要するフレームメモリなどを用いることなく立体画像データを生成することが可能になる。したがって、立体化処理手段の装置構成を簡略化することができる。
【０１４６】
本発明の画像処理装置は、上記の画像処理装置において、縮減演算手段が、複数の入力画像データそれぞれに対する縮減演算を時間的に切り替えて行うことで、各入力画像データに対応する各縮減画像データを時分割で出力するものであってもよい。
【０１４７】
上記の構成では、縮減演算手段を入力画像データの数に対応して複数設ける必要がなくなり、縮減演算手段の数を削減することができる。
【０１４８】
本発明の画像処理装置は、上記の画像処理装置において、縮減演算手段による縮減演算が、入力画像データに対するデータの間引き演算であってもよい。
【０１４９】
上記の構成では、縮減演算手段での縮減演算量を減らすことができるため、回路規模が小さく消費電力も低い画像処理装置を実現できる。
【０１５０】
本発明の画像処理装置は、上記の画像処理装置において、入力画像データの数がｎ（ｎは２以上の整数）であり、立体化処理手段が、ｎ個の入力画像データのうちのｍ個（ｍは２以上、かつ、ｎ未満の整数）の入力画像データに対応する縮減画像データを組み合わせることで立体画像データを生成するものであってもよい。
【０１５１】
上記構成のように、入力される入力画像データの中から選択した所定数の入力画像データに対応する縮減画像データを用いて立体画像データを生成することができる。
【０１５２】
本発明の画像撮像システムは、上記の画像処理装置と、互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを画像処理装置に入力する撮像手段とを備えて構成される。
【０１５３】
また、本発明の画像表示システムは、上記の画像処理装置と、画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えて構成される。
【０１５４】
さらに、本発明の画像撮像表示システムは、上記の画像処理装置と、互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを画像処理装置に入力する撮像手段と、画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えて構成される。
【０１５５】
本発明の画像撮像表示システムは、上記の画像撮像表示システムにおいて、撮像手段が入力する入力画像データの数はｎ（ｎは２以上の整数）であり、表示手段が、横ｗ本×縦ｈ本（ｗ，ｈは正の整数）の解像度を有するｎ眼式の立体画像表示が可能であり、撮像手段が、横ｗ／ｎ本×縦ｈ本よりも高い解像度を有するものであってもよい。
【０１５６】
上記の構成では、表示手段の解像度とは異なる解像度を有する撮像手段を用いて画像撮像表示システムを構成する場合であっても、縮減演算手段での縮減演算が可能となる。
【０１５７】
本発明の画像撮像表示システムは、上記の画像撮像表示システムにおいて、撮像手段が、複数の入力画像データごとに異なる解像度を有していてもよい。
【０１５８】
本発明の画像処理プログラムは、上記の画像処理装置を動作させる画像処理プログラムであって、コンピュータを画像処理装置の各手段として機能させるためのものである。また、本発明のコンピュータ読み取り可能な記録媒体は、上記の画像処理プログラムを記録したものである。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像撮像表示システムの構成を示すブロック図である。
【図２】図１の画像撮像表示システムにおいて、立体画像表示を行う場合の画像データの流れを説明するためのブロック図である。
【図３】パララックスバリア方式の立体画像表示の原理を説明するために、画像表示装置と使用者との関係を示す平面図である。
【図４】レンチキュラレンズ方式の立体画像表示の原理を説明するために、画像表示装置と使用者との関係を示す平面図である。
【図５】図１の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図である。
【図６】図１の画像撮像表示システムにおいて、平面画像表示を行う場合の画像データの流れを説明するためのブロック図である。
【図７】本発明の第２の実施形態に係る画像撮像表示システムの構成を示すブロック図である。
【図８】図７の画像撮像表示システムにおいて、立体画像表示を行う場合の画像データの流れを説明するためのブロック図である。
【図９】図７の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図であり、特に、右目用及び左目用のそれぞれの撮像装置で入力画像データが生成されたところを示すブロック図である。
【図１０】図７の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図であり、特に、右目用の撮像装置で生成された入力画像データが、縮減演算部で横方向にのみ１／２に縮減されて送出されたところを示すブロック図である。
【図１１】図７の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図であり、特に、縮減後の右目用の縮減画像データが画像データ立体化部でフレームメモリに保存され、それと同時に左目用の撮像装置で生成された入力画像データが、縮減演算部で横方向にのみ１／２にされて送出されたところを示すブロック図である。
【図１２】図７の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図であり、特に、縮減後の左目用の縮減画像データが画像データ立体化部でフレームメモリに保存されて完成した立体画像データがフレームメモリに入っている状態を示すブロック図である。
【図１３】図７の画像撮像表示システムで立体画像表示を行う場合において、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図であり、特に、フレームメモリに保存された立体画像データが、画像表示装置に対して送出されたところを示すブロック図である。
【図１４】図７の画像撮像表示システムにおいて、平面画像表示を行う場合の画像データの流れを説明するためのブロック図である。
【図１５】本発明の第３の実施形態に係る画像データの処理について、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図である。
【図１６】本発明の第４の実施形態に係る画像データの処理について、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図である。
【図１７】本発明の第５の実施形態に係る画像データの処理について、画像撮像表示システムの各ブロック間での画像データの変化の様子を示したブロック図である。
【図１８】本発明の第６の実施形態に係る画像撮像表示システムの構成を示すブロック図である。
【図１９】従来のパララックスバリア方式の画像表示装置の断面を示す断面図である。
【図２０】立体画像表示の原理を説明するために、図１９の画像表示装置と使用者との関係を示す平面図である。
【図２１】従来のレンチキュラレンズ方式の画像表示装置の断面を示す断面図である。
【符号の説明】
１ 画像撮像表示システム
１ａ 画像処理装置
２ 画像撮像表示システム
２ａ 画像処理装置
４ 画像撮像表示システム
４ａ 画像処理装置
１１ａ・１１ｂ・１１ｃ 撮像装置（撮像手段）
１２ 画像表示装置（表示手段）
１３ａ・１３ｂ・１３ｃ 画像データ縮減部
１４ 画像データ立体化部
１５ 表示切替制御部（切替手段）
１６ 縮減演算部（縮減演算手段）
１６ａ・１６ｂ・１６ｃ 縮減演算部（縮減演算手段）
１７ａ・１７ｂ・１７ｃ セレクタ
１８ 立体化処理部（立体化手段）
１９ セレクタ
２０ 液晶表示素子
２１ パララックスバリア
２２ レンチキュラレンズ
２３ 画像データ縮減部
２４ 画像データ立体化部
２８ 立体化処理部（立体化手段）
３１ セレクタ
３２ フレームメモリ
４１ ＣＰＵ
４２ メモリ
４３ 入出力装置
４４ バス
４５ 表示切替入力装置

Claims (10)

1. 互いに視差像の関係にある複数の画像に対応する複数の平面画像データである複数の入力画像データに対して、それぞれの画像を横方向に縮減するための縮減演算を時間的に切り替えて行うことで、前記各入力画像データに対応する各縮減画像データを時分割で出力する縮減演算手段と、
   前記縮減演算手段にて縮減演算が施された縮減画像データを組み合わせることで立体画像データを生成する立体化処理手段と、
   当該画像処理装置からの出力として、前記立体化処理手段にて生成される立体画像データを出力するか、前記複数の入力画像データの何れかを用いて生成される平面画像データを出力するかを切り替える切替手段とを備え、
   前記切替手段は、前記立体画像データを出力する場合には、前記立体化処理手段が生成する立体画像データを出力し、前記平面画像データを出力する場合には、前記複数の入力画像データのいずれかであって、前記縮減演算手段にて縮減演算が施されていない入力画像データを出力することを特徴とする画像処理装置。
2. 前記縮減演算手段による縮減演算は、前記入力画像データに対するデータの間引き演算であることを特徴とする請求項１記載の画像処理装置。
3. 前記入力画像データの数はｎ（ｎは２以上の整数）であり、
   前記立体化処理手段は、前記ｎ個の入力画像データのうちのｍ個（ｍは２以上、かつ、ｎ以下の整数）の入力画像データに対応する縮減画像データを組み合わせることで前記立体画像データを生成することを特徴とする請求項１記載の画像処理装置。
4. 請求項１記載の画像処理装置と、
   互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを前記画像処理装置に入力する撮像手段とを備えることを特徴とする画像撮像システム。
5. 請求項１記載の画像処理装置と、
   前記画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えることを特徴とする画像表示システム。
6. 請求項１記載の画像処理装置と、
   互いに視差像の関係にある複数の画像の撮像により得られる複数の入力画像データを前記画像処理装置に入力する撮像手段と、
   前記画像処理装置から出力される立体画像データ及び平面画像データに基づいて、立体画像表示及び平面画像表示が可能な表示手段とを備えることを特徴とする画像撮像表示システム。
7. 前記撮像手段が入力する入力画像データの数はｎ（ｎは２以上の整数）であり、
   前記表示手段は、横ｗ本×縦ｈ本（ｗ，ｈは正の整数）の解像度を有するｎ眼式の立体画像表示が可能であり、
   前記撮像手段は、横ｗ／ｎ本×縦ｈ本よりも高い解像度を有することを特徴とする請求項６記載の画像撮像表示システム。
8. 前記撮像手段は、前記複数の入力画像データごとに異なる解像度を有することを特徴とする請求項７記載の画像撮像表示システム。
9. 請求項１記載の画像処理装置を動作させる画像処理プログラムであって、コンピュータを前記画像処理装置の各手段として機能させるための画像処理プログラム。
10. 請求項９に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images