JP4972716B2 - ステレオ画像表示装置 - Google Patents

Description

本発明は、ステレオ画像を表示するステレオ画像表示装置に関する。

従来、ステレオ画像として視差を持った左眼用画像と右眼用画像とを用意し、シャッター式メガネを用いて、それぞれ独立に左右の眼に投影することにより立体視を行う装置があった。この装置では、使用者は、左眼用画像と右眼用画像とを多重合成した２次元映像を見ながら、立体映像信号の視差を調整する。（例えば、特許文献１参照）。

また別の方法では、画像中に、視差が大きい等により使用者にとって視覚的な負担が大きい画素が増えた場合、視覚的な負担が大きい画素を色づけして表示し、これを参照しつつ視差を調整する方法がある（例えば、非特許文献１参照）。

特開２００５−１１０１２０号公報

次世代立体視コンテンツ制作環境の開発に関するフィージビリティスタディ報告書、機械システム振興協会、平成２１年３月、４１ページ〜４３ページ

しかしながら、従来の技術においては左眼用画像と右眼用画像に基づいて得られる視差に関する情報を、画像全体については調整できるが、任意の部分的な領域について調整することが出来なかった。

本発明は上記の課題に対して、左眼用画像と右眼用画像に基づく画像を表示しながら、画像内において指定された任意の領域における視差情報を調整できるステレオ画像表示装置を提供することを目的とする。

本発明のステレオ画像表示装置は、ステレオ画像を示す画像データを取得する画像取得部と、画像取得部が取得した画像データに基づく画像を表示する表示部と、表示部が表示した画像内における任意の位置の指定を受け付ける受付部と、画像取得部が取得した画像データにおける、受付部で指定された位置に対応する部分の視差情報を取得する情報取得部と、画像とともに、情報取得部が取得した視差情報を表示するように表示部を制御する制御部と、を備える。表示部は、視差情報を視差の大きさと方向を示す形式で表示し、受付部は、視差情報が示す視差の大きさの変更命令を受け付け、制御部は、受付部が受け付けた前記変更命令に基づいて、画像データにおける、指定された位置に対応する部分における視差の大きさを変更する。

このようにすれば、ステレオ画像表示装置は、ステレオ画像を示す画像データに基づく画像内における位置を指定できる。さらに、指定した位置に対応する部分の視差情報を表示部で表示している画像とともに表示できる。これにより、使用者はステレオ画像を示す画像データに基づく画像を確認しながら、指定した部分における視差情報を同時に確認できる。

また、ステレオ画像表示装置は、視差情報の大きさを変更するに伴い、前記画像取得部で取得した画像データの視差の大きさを変更できる。これにより、使用者は表示部に表示される視差情報を確認し、当該視差情報の大きさを変更するだけで、ステレオ画像の視差調整ができる。

本発明におけるステレオ画像表示装置は、少なくともステレオ画像を示す画像データに基づく画像とともに、指定した位置における視差情報を表示することができる。また、指定した位置の視差情報の調整を容易に行うことができる。そのため、本発明によれば、使用者によって使い勝手のよいステレオ画像表示装置を提供することができる。

本実施形態に係るステレオカメラのハードウェア構成を示す図 視差情報算出部が視差情報を算出する動作を説明するための図 ステレオカメラの構成および表示部の表示画面を説明するための図 表示部が表示処理部から出力される映像信号を表示する際の動作を示すフローチャート 表示部に視差情報を表示した場合におけるステレオカメラを示す図 表示部に視差情報を表示する場合におけるステレオカメラの一例を示す図 表示部に視差情報を表示する場合におけるステレオカメラの一例を示す図 ステレオカメラにおいて、視差情報が許容値を超えた度合いを表示する例を説明する概念図 ステレオカメラにおいて、視差の大きい順に所定個数のマークとグラフで表示する例を説明する概念図 ステレオカメラにおいて、視差の大きい順に所定個数の色分けゼブラパターンにより表示する例を説明する概念図 ステレオカメラにおいて、視差最大値に加えてフォーカスポイントの視差情報を表示する例を説明する概念図 ドラッグ操作による視差情報の調整を説明するための図 表示部に視差情報を表示する場合におけるステレオカメラの一例を示す図 ステレオカメラにおいて、タッチした場所の視差を０にする動作を説明する概念図 ステレオカメラが行うシフト処理を説明するための図 ステレオカメラにおいて、撮影部の撮影パラメータを調整することにより実際の視差情報を調整する動作を説明する概念図 ステレオカメラにおいて、視差調整で視差最大値が切り替わる場合に警告表示する動作を説明する概念図 ステレオカメラにおいて、ステレオカメラの移動時は視差表示を出さない例を説明する概念図 ステレオカメラにおいて、タッチした位置の視差よりも大きい視差を持つ部分のぼかし処理を行う例を説明する図 ステレオカメラにおいて、視差情報が表示された部分を拡大表示する例を説明する図

（実施の形態）
以下、実施形態について図面を参照しながら説明する。

１．構成
１−１．ステレオカメラのハードウェア構成
図１は、本実施形態に係るステレオ画像を撮影可能なステレオカメラのハードウェア構成を示す図である。図１に示されるように、ステレオカメラ２００は、撮影部１、視差情報算出部２、信号処理部３、表示処理部４、表示部５、操作部６、ＧＵＩ生成部７、入力部８、制御部９、記録処理部１０、記録媒体１１を備える。なお、記録媒体１１はステレオカメラに内蔵されるものに限定されず、ステレオカメラ２００に対して着脱可能な可搬型の媒体でも良い。

撮影部１は、第１の光学系２１０、第２の光学系２２０、カメラ制御部２３０を備える。第１の光学系２１０は、第１の視点位置に配置され、第１のレンズ群２１１、第１の撮像部２１２、第１のＡ／Ｄ変換部２１３を備える。第２の光学系２２０は、第２の視点位置に配置され、第２のレンズ群２２１、第２の撮像部２２２、第２のＡ／Ｄ変換部２２３を備える。

第１のレンズ群２１１は、複数の光学レンズから構成される。第１のレンズ群２１１は、入射した光を第１の撮像部２１２に集光する。

第１の撮像部２１２は、撮像素子などから構成され、第１のレンズ群２１１を介して入射した光を撮像する。具体的には、第１の撮像部２１２は、入力された光信号をアナログ信号（電気信号）に変換して、当該アナログ信号を第１のＡ／Ｄ変換部２１３に出力する。

第１のＡ／Ｄ変換部２１３は、第１の撮像部２１２から出力されたアナログ信号をデジタル信号に変換する。第１のＡ／Ｄ変換部２１３は、変換したデジタル信号を第１の画像として視差情報算出部２、および信号処理部３に出力する。

第２のレンズ群２２１は、複数の光学レンズから構成される。第２のレンズ群２２１は、入射した光を第２の撮像部２２２に集光する。

第２の撮像部２２２は、撮像素子などから構成され、第２のレンズ群２２１を介して入射した光を撮像する。具体的には、第２の撮像部２２２は、入力された光信号をアナログ信号（電気信号）に変換して、当該アナログ信号を第２のＡ／Ｄ変換部２２３に出力する。

第２のＡ／Ｄ変換部２２３は、第２の撮像部２２２から出力されたアナログ信号をデジタル信号に変換する。第２のＡ／Ｄ変換部２２３は、変換したデジタル信号を第２の画像として視差情報算出部２、および信号処理部３に出力する。

なお、上記の構成では第１の光学系２１０と第２の光学系２２０を別の構成として記載した。しかし、第１の光学系２１０および第２の光学系２２０は同一（単一）のデバイスで構成されても構わない。要するに、第１の光学系２１０および第２の光学系２２０は第１の視点位置における第１の画像と、第２の視点位置における第２の画像が取得可能であれば、どのような構成でも構わない。

カメラ制御部２３０は、制御部９からの制御に基づき、撮像部１の各部が焦点距離や絞
り値など必要な撮影パラメータに対応した動作を行うよう制御する。

視差情報算出部２は、入力された第１の画像および第２の画像を構成する画像データを基に、当該第１の画像および当該第２の画像で構成されるステレオ画像の視差に関する情報（以下、視差情報と称す）を算出する。そして、視差情報算出部２は算出した視差情報をＧＵＩ生成部７に出力する。例えば、視差情報算出部２は、第１の画像および第２の画像を複数の領域に分割し、分割した領域毎に視差情報を算出する。この分割領域は例えば１６×１６画素単位など、どのような大きさでも構わない。なお視差情報算出部２は、視差情報を算出する際、ブロックマッチング法など、どのような方法を用いても構わない。

ここで、視差情報とは、第１の画像と第２の画像の両方に共通のオブジェクトが写っており、かつ、第１の画像における当該オブジェクトの位置に対して第２の画像における当該オブジェクトの位置が異なる場合に、第１の画像における当該オブジェクトの水平位置に対する第２の画像における当該オブジェクトの水平位置の水平方向の移動量を示す値（以下、「視差の大きさ」という）である。例えば、視差情報は、水平方向の移動量であるピクセル値であっても構わない。なお、視差情報の表示は、視差量を数値で表示してもよく、後述するようにベクトルで表示してもよい。この場合、視差情報は、視差の大きさ（量）と、視差の向き（方向）を含む概念である。

なお、第１の画像および第２の画像は、撮影部１が生成した画像であっても記録媒体１１から読み出した画像であっても構わない。つまり、視差情報算出部２に入力される画像は撮影部１で生成された第１の画像および第２の画像に限定されるものではない。

具体的には、視差情報算出部２は、制御部９からの信号に基づき、操作部６を介して使用者が指定した位置に対応する視差情報を算出する。

図２は、視差情報算出部２が視差情報を算出する動作を説明するための図である。

視差情報算出部２は、使用者により操作部６を介して位置１５０１が指定された場合、位置１５０１を含む領域１５０２における視差情報を算出する。この場合、領域１５０２に含まれる画像データから算出される視差情報（視差の大きさ、視差の向き）の平均値を算出する。なお、視差情報算出部２は領域１５０２における視差情報を算出する代わりに、位置１５０１における視差情報を算出する構成にしても構わない。要するに、領域１５０１は複数の画素で構成しても構わないし、１つの画素で構成しても構わない。

また、視差情報算出部２は、画像の全領域の視差情報のうち、最大の視差情報を制御部９に出力する。ここで、最大の視差情報とは、複数の視差情報のうち、視差情報を構成する視差量が最大の値の視差情報である。また、最大の視差情報とは、使用者が第１の画像および第２の画像を立体映像として視認した際、最も飛び出して（最も使用者に近い位置に）視認されるオブジェクトの視差情報および最も引き込んで視認されるオブジェクトの視差情報のうち、少なくとも一方を示す。要するに、最も飛び出して視認されるオブジェクトの視差情報を最大の視差情報としても構わない。また、最も引き込んで（最も使用者から離れた位置に）視認されるオブジェクトの視差情報を最大の視差情報としても構わない。さらに、最も飛び出して視認されるオブジェクトにおける視差情報および最も引き込んで視認されるオブジェクトの視差情報の双方を最大の視差情報としても構わない。

信号処理部３は、撮影部１で生成された第１の画像および第２の画像に対して各種の処理を施す。信号処理部３は、第１の画像および第２の画像のうちいずれか１つまたは双方の画像を構成する画像データに対して処理を施し、表示部５に表示するための画像データであるレビュー画像を生成したり、記録する映像信号を生成したりする。例えば、信号処理部３は、第１の画像および第２の画像に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。信号処理部３は、生成したレビュー画像を表示処理部４に出力する。なお、信号処理部３が生成するレビュー画像は、２次元の画像でも構わないし、３次元の画像でも構わない。

さらに、信号処理部３は、上記処理された第１の画像および第２の画像に対して、それぞれＪＰＥＧ規格に準拠した圧縮形式等により圧縮処理する。第１の画像および第２の画像を圧縮して得られる各圧縮信号は、関連付けられ、記録処理部１０を介して記録媒体１１に記録される。なお、各圧縮信号が記録される際、ＭＰＯファイルフォーマットを用いて記録されるのが望ましい。圧縮する映像信号が動画の場合、Ｈ．２６４／ＡＶＣ等の動画圧縮規格が適用されることになる。また、ＭＰＯファイルフォーマットと、ＪＰＥＧ画像若しくはＭＰＥＧ動画と、を同時に記録する構成にしても構わない。なお、第１の画像および第２の画像を記録する際に適用する圧縮形式およびファイルフォーマットは、ステレオ画像に適した形式であればどのようなものを利用しても構わない。

また、信号処理部３は、制御部９から入力される信号に基づいて、第１の画像および第２の画像に対して信号処理を行い、視差調整を行う。具体的には、信号処理部３が行う信号処理は、例えばトリミング処理により実現される。なお、信号処理部３が行う信号処理は上記の方法に限定されるものではなく、電子的に視差調整が可能な方法であればどのようなものを利用しても構わない。

信号処理部３は、ＤＳＰやマイコンなどで実現可能である。なお、レビュー画像の解像度は、表示部５の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され生成される画像データの解像度に設定しても構わない。

表示処理部４は、信号処理部３から入力されたレビュー画像と、ＧＵＩ生成部７から入力されたＧＵＩ画像とを重畳する。そして表示処理部４は、重畳して得られる映像信号を表示部５に出力する。

表示部５は表示処理部４から入力された映像信号を表示する。

操作部６は、タッチパネルで構成され、使用者のタッチ操作を受け付ける。操作部６は、使用者のタッチ操作を受け付けた場合、当該操作を電気信号に変換して入力部８に出力する。使用者は、操作部６に対するタッチ操作により、表示部５に表示される映像内における任意の位置を指定することができる。なお、操作部６はタッチパネルに限定されるものではなく、上下左右方向に関する情報の入力が可能な操作部材で構成しても構わない。また、操作部６は、任意の方向に関する情報の入力が可能なジョイスティックで構成しても構わない。つまり操作部６は、使用者の操作を受け付けるデバイスであれば、どのようなものを利用しても構わない。

ＧＵＩ生成部７は、制御部９から入力される信号に基づいてＧＵＩ（Graphical User Interface）画像を生成する。例えばＧＵＩ生成部７は、表示部５に表示する映像内において使用者が操作部６を用いて指定した位置に対して、視差情報に関するＧＵＩ画像を生成し、表示させる。またＧＵＩ生成部７は、表示部５に表示する映像内において使用者が操作部６を用いて指定した位置に対応する視差情報を含むＧＵＩ画像を生成する。ＧＵＩ生成部７は、ベクトル形式の視差情報を表示要素として含むＧＵＩ画像を生成しても構わない。ここで、ベクトル形式とは、視差情報を構成する視差の大きさ（視差量）と視差の向き（方向）が分かる表示形式であって、例えば矢印で表現される表示形式となる。つまり、矢印の向きで視差の向きが表現され、矢印の長さで視差の大きさが表現される。なお、ベクトル形式で視差情報を表示する場合、矢印に限定されるものではなく、向きと大きさが分かる他の方式で表示しても構わない。

入力部８は、操作部６から電気信号を受信し。そして、受信した電気信号に基づく信号を制御部９に出力する。

入力部８は、使用者の操作部６に対する操作により、操作部６から、表示部５に表示する画像上の同じ位置における電気信号が連続して入力された場合、制御部９に対して視差調整を指示する信号を出力する。

また、入力部８は、使用者の操作部６に対する操作により、操作部６から、ドラッグ操作を規定する電気信号を入力した場合、制御部９に対して当該ドラッグ操作に応じて視差調整を指示する信号を出力する。

制御部９は、ステレオカメラ２００全体の制御を行う。

記録処理部１０は、信号処理部３から入力される第１の画像および第２の画像を、記録媒体１１に記録する。

１−２．表示画面
以下、本実施形態における表示処理部４が生成する映像信号に基づいて表示部５に表示される表示画面について、図面を参照しながら説明する。

図３は、ステレオカメラ２００の構成および表示部５の表示画面を説明するための図である。図３に示すように、ステレオカメラ２００は、使用者の操作を受け付ける操作部材３０１を備える。なお、操作部材３０１は、操作部６と兼用されてもよい。

使用者は、操作部材３０１を介して、上下左右方向の操作指示および決定指示を行うことができる。

ここで、表示部５および操作部６は、表示画面１６０１として一体構成されているものとする。

使用者は、表示画面１６０１を介してタッチ操作またはドラッグ操作をすることができる。使用者からタッチ操作を受けると、ステレオカメラ２００は、表示画面１６０１におけるタッチ操作された位置を含む領域１６０２を破線の枠により表示する。使用者は、操作部材３０１を介して、領域１６０２の移動操作を行うことができる。例えば、使用者が操作部材３０１を介して、上方向の操作指示を行った場合、領域１６０２は上方向に移動する。さらに、使用者は操作部材３０１を介して、領域１６０２の位置を指定することができる。

１−３．動作
表示処理部４による表示部５への表示動作について説明する。図４は、表示部５が、表示処理部４から出力される映像信号を表示する際の動作を示すフローチャートである。

まず、表示画面１６０１は、表示処理部４が生成する映像信号を表示する（ステップＳ１７０１）。

この状態でステレオカメラ２００は、使用者から表示画面内の位置が指定されるか否か判断する（ステップＳ１７０２）。表示画面内の位置は、操作部６に対するタッチ操作や操作部材３０１による領域１６０２の操作により指定される。ステレオカメラ２００は、位置の指定を受け付けつけた場合、使用者により指定された位置における視差情報を算出する（ステップＳ１７０３）。

そして、ステレオカメラ２００は、算出した視差情報を表示画面１６０１に表示する（ステップＳ１７０４）。

２．視差情報の表示形式
以下、視差情報の表示画面１６０１上での表示形式について種々の例を参照して説明する。

２−１．視差情報として視差の大きさのみ表示
図５は、表示部５に表示画面１６０１上での視差情報の表示例を示す図である。図５は、視差情報として、視差の大きさ（視差量）のみを表示した例を示している。ここで、領域１８０１は使用者によってタッチ操作がなされた位置または操作部材３０１を介して指定を受け付けた位置である。ステレオカメラ２００は、視差情報を表示する場合、領域１８０１の近傍に視差情報を表示するのが好ましい。ここで、領域１８０１の近傍とは、領域１８０１に近い位置を示す。要するに、領域１８０１の近傍とは、表示画面１６０１に表示した視差情報を使用者が視認した場合において、領域１８０１と視差情報とを対応づけて認識できる位置をいう。例えば、図５に示すように、領域１８０１の右上に視差情報を表示すればよい。なお、視差情報の表示位置は、領域１８０１の左上、左下、右下、上下左右等、どの位置に表示させても構わない。さらに、視差情報は、使用者が見た際、領域１８０１との対応付けがわかる位置に表示させればよい。そのため、視差情報は、表示画面１６０１の上部分または下部分に表示させても構わない。

また、ステレオカメラ２００は、視差情報を表示画面１６０１に表示する場合、領域１８０１の近傍に限らず、表示画面１６０１の何れかの領域に表示しても構わない。例えば、ステレオカメラ２００は、表示画面１６０１の下端部に視差情報を表示しても構わないし、上端部に視差情報を表示しても構わない。

２−２．視差情報をベクトル形式で表示
図６に示すように、視差情報を表示画面１６０１に表示する際、当該視差情報をベクトル形式で表示しても構わない。図６の場合、ステレオカメラ２００は視差情報を矢印により表示している。この場合、ステレオカメラ２００は視差の大きさ（視差量）を矢印の長さで表示し、視差の向き（視差方向）を矢印の向きで表示する。例えば、図６の例では、ステレオカメラ２００は、右向きの矢印が引っ込み方向、左向きの矢印が飛び出し方向を示し、矢印の長さが視差の大きさを示す。

２−３．最飛び出し位置及び最引き込み位置の視差情報を合わせて表示
ステレオカメラ２００は、図７に示すように、使用者からの操作を受け付けた場合、当該操作に係る位置の視差情報だけでなく、最も飛び出している位置（部分）の視差情報および最も引き込んでいる位置（部分）の視差情報を合わせて表示画面１６０１に表示しても構わない。なお、ステレオカメラ２００は使用者からのタッチ操作または領域１６０２の指定を受け付けつけた位置における視差情報と、最も飛び出している位置（部分）の視差情報および最も引き込んでいる位置（部分）の視差情報のうちいずれか一方を表示画面１６０１に表示しても構わない。

２−４．視差の大きさが許容値を超えた場合の表示
ステレオカメラ２００は、視差情報における視差の大きさが許容値を超えた場合、表示画面１６０１への視差情報の表示形式を変更しても構わない。許容値は、例えば、使用者がステレオ画像を３次元映像として視認可能な限界値である。なお、許容値は操作部材３０１が事前に設定する値でも構わないし、使用者が設定する値でも構わない。

図８は、ステレオカメラ２００において、視差情報における視差の大きさが許容値を超えた度合いを表示する例を説明した図である。

ステレオカメラ２００は、視差の許容値と、画面内に含まれる視差情報における視差の大きさとを比較し、比較した結果、視差の大きさが許容値を超える場合、当該許容値を超える視差情報の表示形式を変更する。例えば、図８に示すように、矢印２１０１および矢印２１０２に関する視差情報における視差の大きさが許容値を超える場合、矢印２１０１および矢印２１０２は、許容値を超えない矢印２１０３の表示形式とは異なり、例えば斜線の矢印として表現される。

なお、ステレオカメラ２００は、矢印を表示する際、許容値の越えた度合いに応じて色を変更する構成にしても構わない。例えば、ステレオカメラ２００は、視差の大きさが許容値を超える度合いが大きいほど、矢印が赤くなるように表示しても構わない。要するに、ステレオカメラ２００は、許容値を閾値として、表示画面１６０１に表示する視差情報の表示形式を変更する。表示形式の変更は、使用者が許容値を超えたことが認識できる表示形式であればどのようなものでも構わない。

２−５．視差が大きいものから順に所定個数の視差情報を表示
また、ステレオカメラ２００は、複数の領域の視差情報を表示する場合、使用者からのタッチ操作等により指定された位置における視差情報だけでなく、視差が大きいものから順に所定個数（複数）の視差情報を表示しても構わない。これにより、使用者は、表示部５に示された複数の矢印を参照することで、画面における複数の位置の視差の向き及び視差の大きさを容易に判断できる。さらに、視差の大きさ及び視差の向きの調整をタッチパネルによって直感的に行うことができる。

２−５−１．異なるマーク及び棒グラフで表示
図９は、ステレオカメラ２００において、視差情報として、視差の大きいものから順に所定個数のマークと棒グラフを表示する例を説明する図である。図９（ａ）は表示処理部４が表示部５に表示する左目用画像と右目用画像の合成画像の例（視差情報の調整前）を、図９（ｂ）は視差情報の調整後に表示処理部４が表示部５に表示する合成画像の例を示す。なお、視差情報の調整処理の詳細は後述する。

図９（ａ）において、表示部５に表示されている合成画像画面９００に使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報に関する信号を出力する。その結果、画面内で引っ込み方向の視差が最大になる位置に、その位置を示すマーク９０が表示されるとともに、マーク９０の位置の視差情報を示す棒グラフ９０ｂが表示される。同時に、画面内で飛び出し方向の視差が最大になる位置に、その位置を示すマーク９１が表示されるとともに、マーク９１の位置の視差情報を示す棒グラフ９１ｂが表示される。ここで、棒グラフ９１ｂは、右端が視差の大きさが０の位置で、そこから左に伸びており、棒グラフ９０ｂは、左端が視差の大きさが情報０の位置で、そこから右に伸びている。

２−５−２．異なるゼブラパターン及び棒グラフで表示
図１０は、ステレオカメラ２００において、視差情報として、視差の大きいものから順に所定個数の色分けゼブラパターンを表示する例を説明する図である。図１０（ａ）は信号処理部３から出力されている立体映像信号による第２の画像（（視差情報の調整前））を、図１０（ｂ）は視差情報の調整後に信号処理部３から出力されている立体映像信号による第２の画像を示した図である。

図１０（ａ）において、表示部５に表示されている左目用画像と右目用画像の合成画像画面に使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報に関する信号を出力する。その結果、画面内で引っ込み方向の視差が最大になる領域に、斜線（いわゆるゼブラパターン）１００が表示されるとともに、ゼブラ１００の領域の視差情報を示す棒グラフ１００ｂが表示される。同時に、画面内で飛び出し方向の視差が最大になる領域に、ゼブラ１０１が表示されるとともに、ゼブラ１０１の視差情報を示す棒グラフ１０１ｂが表示される。

２−６．最大視差情報に加えフォーカスポイントの視差情報を表示
また、ステレオカメラ２００は、ステレオ画像を基に、合焦領域（フォーカスポイント）を判定し、当該合焦領域における視差情報を表示しても構わない。

図１１は、ステレオカメラ２００において、視差が最大となる領域の視差情報に加えてフォーカスポイントの視差情報を表示する例を説明するための図である。図１１（ａ）は調整前に表示処理部４が表示部５に表示する合成画像の例、図１１（ｂ）は調整後に表示処理部４が表示部５に表示する合成画像の例を示す図である。図１１では、視差情報調整を行いたい位置の視差情報のみを表示するのではなく、画面内の複数個所の視差情報を表示する場合について説明する。

図１１（ａ）において、表示部５に表示されている立体映像画面に使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報に関する信号を出力する。その結果、画面内で引っ込み方向の視差が最大になる位置に、その位置の視差情報を示す矢印１１０が表示される。同時に、画面内で飛び出し方向の視差が最大になる位置に、その位置の視差情報を示す矢印１１１が表示される。加えて、フォーカスポイントの位置の視差情報を示す例えば緑色の矢印１１２をあわせて表示する。

これらの矢印は、ＧＵＩ生成部７が生成し、表示処理部４によって立体映像信号に多重されたものである。右向きの矢印が引っ込み方向、左向きの矢印が飛び出し方向を示し、矢印の長さが視差の大きさを示すように矢印の画像が生成されている。さらに矢印が３つ表示されるようになるため、引っ込み方向の矢印が赤色、飛び出し方向の矢印が青色、フォーカスポイントの矢印が緑色と色分けされても構わない。

次に使用者は、上記３つの矢印を参考にして、視差の大きさを増減させるかどうか、増減させる場合はどの方向かを決定したものとする。図１１（ａ）の場合、一番奥の被写体の引っ込み量が過多になっており、この被写体が画面全体の中で視差の大きさが最大の被写体となっているものとする。このとき、使用者は、図１１（ｂ）に示すように引っ込み量の過多が緩和されるように調整したものとする。

この場合において、使用者が、右向きの矢印１１０が示す視差の大きさを減らすための操作を、図８において説明したのと同様の手順で行ったものとする。このとき、図１１（ｂ）に示すように、矢印１１０の位置における引っ込み方向の視差の大きさが減少し、矢印１１２の長さが短くなる。また、このとき、矢印１１０と同方向を向く矢印１１２の引っ込み方向の視差の大きさが減少し、矢印１１０の長さが短く表示される。一方、矢印１１０とは反対方向を向く矢印１１１については、飛び出し方向の視差の大きさが増加し、矢印１１１の長さが長くなる。

このような視差調整を行う場合、使用者は、画面中で視差が大きい矢印１１０と矢印１１１とを意識しながら視差調整を行うこととなるが、その結果として、主要被写体である、フォーカスポイントに写った被写体の視差が大きくなる恐れがある。そこで、主要被写体の視差情報を視差調整中に確認できるように、例えば緑色の矢印でフォーカスポイントにおける視差情報を表示する。

以上説明した動作により、使用者が視差情報を調整したときに、視差の大きさが最大の視差情報が見やすくなる一方で、主要被写体の視差情報が使用者の意図と異なる状態に調整されてしまうことを防ぐことができる。

３．視差情報の調整
以下、ステレオカメラ２００が表示部５の表示面に表示した視差情報の調整に関して図面を参照しながら説明する。

ステレオカメラ２００は、表示部５の表示画面に視差情報が表示されている場合、使用者による操作部３６に対する操作にしたがい、表示している視差の大きさを調整することができる。

３−１．ドラッグ操作による視差の調整
表示部５の表示画面に視差情報が表示されている場合に、操作部６に対して使用者のドラッグ操作があると、ステレオカメラ２００は表示中の視差の大きさを調整する。

図１２は、使用者のドラッグ操作による視差情報の調整を説明するための図である。

使用者が操作部６に対してタッチ操作をした場合、ステレオカメラ２００は図１２（ａ）に示すようにタッチ操作を行った場所の視差情報（矢印）１２１を表示部５に表示する。このとき、使用者が表示部５への接触を維持したまま、ドラッグ操作をした場合、ステレオカメラ２００は図１２（ｂ）および図１２（ｃ）に示すように表示部５に表示する矢印１２１の大きさを変更させる。つまり、視差の大きさを変更する。なお、視差情報が変更された場合、後述するようにステレオカメラ２００は、変更後の視差情報の大きさに対応する映像信号となるように、撮影部１における撮影パラメータの変更または表示部５に表示される映像信号の信号処理を実行する。この変更動作については後述する。

なお、上記では、ドラッグ操作を実行することにより視差情報を増加させることを説明した。しかし、ステレオカメラ２００は上記の動作に限定されるものではなく、ドラッグ操作を実行することにより視差の大きさを減少するようにしても構わない。この場合、使用者は矢印の向きとは逆の方向にドラッグ操作をすることになる。

以上説明した動作により、使用者は、表示部に示された矢印によってタッチ操作により指定した位置の視差の大きさ及び視差の向きを容易に判断でき、かつ視差の大きさ及び視差の向きの調整をタッチパネルによって直感的に行うことができる。

３−２．操作部材による視差の調整
ステレオカメラ２００はドラッグ操作以外の操作によっても視差情報を調整することが可能である。

例えば、ステレオカメラ２００は図６等に示される操作部材３０１を用いて視差情報の大きさを調整することが可能である。表示部５の表示画面に矢印が表示されている場合、ステレオカメラ２００は、矢印の方向と同じ方向に操作部材３０１が操作されると視差情報を大きくするように制御する。一方、矢印の方向とは逆の方向に操作部材３０１が操作されると視差情報を小さくするように制御する。

具体的には、例えば、使用者により、右向きの矢印が示す視差情報を減らすべく、表示部５に表示されている矢印を左向きになぞる動作がなされたものとする。この場合、操作部６がこれを感知し、入力部８が制御部９に操作情報を出力する。その結果、制御部９は、信号処理部３が引っ込み方向の視差情報における視差の大きさを減らす視差調整を行うように制御する。

３−３．タップ操作による視差の調整
また、ステレオカメラ２００は表示部５の表示画面に表示される矢印を時間的に連続してタップ操作をすることで段階的に視差情報を調整する構成にしても構わない。タップ操作とは、タッチ操作を任意の回数連続的に行うことである。つまり、表示されている矢印に対して使用者が操作部６を介して連続してタップ操作を行った場合、ステレオカメラ２００は、予め設定された大きさだけ、タップ操作にかかる矢印の視差情報を調整するように制御する。なお、時間的に連続して２回タップ操作を受け付けた場合、視差情報を大きく調整するように制御しても構わない。また、時間的に連続して３回タップ操作を受け付けた場合、視差情報を小さく調整するように制御しても構わない。さらに、図１３に示すように、操作情報１３１に関連する領域１８０１を基準として矢印１３１の方向にある領域Ｒ１でタップ操作を行った場合、視差情報を大きくするように制御しても構わない。また、矢印１３１の方向とは逆の方向側の領域Ｒ２でタップ操作を行った場合、視差情報を小さくするように制御しても構わない。

３−４．視差量の大きさの０への調整
ステレオカメラ２００は、操作部６を介してタッチ操作を受け付けた場合、タッチ操作がなされた矢印の長さ（視差の大きさ）の大きさを０とするように制御しても構わない。

図１４は、ステレオカメラ２００において、タッチした位置の視差を０にする動作を説明するための図である。図１４（ａ）は視差情報調整前に信号処理部３から出力されている立体映像を示す図であり、図１４（ｂ）は視差情報調整後に信号処理部３から出力されている立体映像を示す図である。

図１４においては、表示処理部４は、左眼用画像（以下、「第１の画像」という）１４０１Ｌ及び右眼用画像（以下、「第２の画像」という）１４０１Ｒのうち、第２の画像のみを選択して表示部５に表示しているものとする。なお、左眼用画像と右眼用画像のうち、いずれを第１の画像としても、または、第２の画像としてもよい。

調整前の立体映像において、一番奥にある立方体１４１の視差の大きさは第１の画像１４０１Ｌと第２の画像１４０１Ｒの差の６０であるとする。使用者がこの立方体１４１を、再生時は表示画面上にあるように見えるように表示したいときの動作について説明する。

表示部５に表示されている第２の画像１４０１Ｒのうち、調整したい位置６６に使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、制御部９はタッチした位置６６の視差の大きさを０にする視差調整を行うように制御する。

以上説明したように、使用者によりタッチパネルがタッチされたときに画像上の任意の位置の視差を０に、つまり画像上の任意の位置に対応する部分を表示装置の画面上（視差０の位置）にあるように見せることができる。

３−４．視差情報の調整に伴う画像の視差調整
上記の方法で視差情報を変更した後に行われる処理について説明する。

３−４−１．視差情報の変更に伴う信号処理
視差情報を変更した場合におけるステレオカメラ２００が実行する信号処理に関して説明する。

ステレオカメラ２００は、使用者の操作によって画面上で視差情報が変更された場合、変更後の視差情報に整合した画像となるように第１の画像および第２の画像をシフトする信号処理を行う。この処理をシフト処理という。

図１５は、ステレオカメラ２００が行うシフト処理を説明するための図である。

図１５に示すように、視差情報（矢印）１５１における視差の大きさ（矢印の長さ）が、図１５（ａ）に示す長さから図１５（ｂ）に示す長さに調整された場合、信号処理部３は、第１の画像および第２の画像から算出される視差の大きさが小さくなるように、第１の画像すなわち左眼用画像を右方向にシフトし、第２の画像すなわち右眼用画像を左方向にシフトする。この際、視差調整に伴ってできる画像信号の無い部分が例えば灰色単色でマスクされる。そのため、合成画像には図１５（ｂ）のように画像の両端にマスク領域（１５３）が表示される。

このように処理することで、使用者による視差調整に伴って、第１の画像および第２の画像から算出される視差情報も小さくすることができる。

３−４−２．撮影パラメータの変更による視差情報の調整
視差情報調整を信号処理ではなく、撮影部１の撮影パラメータを調整することにより視差を調整してもよい。

図１６は、ステレオカメラ２００において、撮影部１の撮影パラメータを調整することにより実際の視差情報を調整する動作を説明するための図である。図１６（ａ）は視差情報調整前の撮影部１と被写体の位置関係を示す図、図１６（ｂ）は視差情報調整後の撮影部１と被写体の位置関係を示す図、図１６（ｃ）は視差情報調整前に表示処理部４から出力されている合成画像を示す図、図１６（ｄ）は視差情報調整後に表示処理部４から出力されている合成画像を示す図である。

図１６（ａ）に示した調整前の撮影部１と被写体の位置関係において、第１の光学系２１０の光軸４０と第２の光学系２１１の光軸４１とが仮想スクリーン４２の上で交わるように、第１の光学系２１０と第２の光学系２１１の向きが調整されている。この状態で撮影された被写体、すなわち円柱４３と立方体４４とが、図１６（ｃ）に示した視差情報調整前に表示処理部４から出力されている合成画像に表れる。

視差情報の調整前においては、図１６（ａ）に示すように、光軸４０と光軸４１の交点付近にある円柱４３は、表示側では飛び出し状態にも引っ込み状態にもならず、合成画像でもほぼ１つの画像に集約されて表示される。一方、最も引っ込んだ位置にある立方体４４は、図１６（ｃ）に示すように、大きな視差情報４０１を保持して表示される。

使用者が視差調整のため、立方体４４の画像付近をタッチすると、立方体４４を撮影した画像の視差情報が図１６（ｃ）に示すように矢印４００として表示される。使用者が、右向きの矢印４００が示す視差情報における視差の大きさが大きい（立方体４４が引っ込み過ぎ）と認識し、これを減らすべく、表示部５に表示されている矢印４００を左向きにドラッグ操作を行ったものとする。操作部６がこの操作を感知し、入力部８が制御部９に操作情報を出力する。その結果、制御部９は、カメラ制御部２３０が引っ込み方向の視差情報における視差の大きさを減らすように視差調整を行うように制御する。

具体的には、カメラ制御部２３０は、図１６（ｂ）に示すように、第１の画像すなわち左眼用画像を撮影する光学系２１０の光軸４０を左よりに傾け、調整後のカメラ光学系と被写体の位置関係における光軸４７となるように調整する。また、第２の画像すなわち右眼用画像を撮影する光学系２１１の光軸４１を右よりに傾け、光軸４８となるように調整する。これにより、第１の光学系２１０の光軸４７と第２の光学系２１１の光軸４８とが仮想スクリーン４２よりも遠方の、仮想スクリーン４９の上で交わるようになる。

この状態で撮影された被写体、すなわち円柱４３と立方体４４とは、図１６（ｄ）に示すように、視差情報調整後に表示処理部４から出力される合成画像信号に表れる。この場合、円柱４３は飛び出して表示されるようになり、合成画像において、視差が付いた二重像として記録される。一方、視差調整の対象である立方体４４は、第１の画像と第２の画像の差４０６が示すように、視差情報が減少した状態で表示される。これに対応してＧＵＩ生成部７が生成する矢印４０５も短く表示される。

この段階で使用者が矢印の短くなった度合、すなわち視差情報調整の度合に満足し、矢印を左向きになぞる動作を中止したものとする。それ以降、このときの視差情報を保って立体映像撮影が行われる。このように光学系による視差調整を行った場合、図１６（ｄ）に示した合成画像には図１５（ｂ）のような画像の両端のマスク領域１５３は発生しない。

３−４−３．最大視差を有する部分の位置が変わった旨を示す情報の表示
上記のように使用者による視差情報の調整に伴い、実際の視差情報を調整した結果、画面における最大視差を有する部分の位置が変わる場合がある。この場合、ステレオカメラ２００は、この最大視差を有する部分の位置が変わった旨を示す情報を表示部５に表示しても構わない。

図１７は、ステレオカメラ２００において、視差調整で視差の大きさの最大値が切り替わる場合に警告表示する動作を説明するための図である。ここでは表示部５が立体表示可能なデバイスを用いて構成されているものとし、立体表示の映像信号を概念的に図示している。図１７（ａ）は視差情報調整前に表示部５が表示する立体映像、図１７（ｂ）は視差情報調整後に表示部５が表示する立体映像である。図１７では、視差情報調整を行う際に調整したい位置の視差情報のみを表示するのではなく、画面内の複数個所の視差情報を表示する場合について説明する。

図１７（ａ）において、表示部５に表示されている立体映像信号画面に使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、画面内で引っ込み方向の視差が最大になる位置に、その位置の視差情報を示す矢印１１０が表示される。同時に、画面内で飛び出し方向の視差が最大になる位置に、その位置の視差情報を示す矢印１１１が表示される。

これらの矢印１１０、１１１の画像は、ＧＵＩ生成部７が生成し、表示処理部４によって立体映像信号に多重化して表示したものである。右向きの矢印が引っ込み方向、左向きの矢印が飛び出し方向を示し、矢印の長さが視差情報を示すように矢印の画像が生成されている。さらに矢印が２種類表示されるようになるため、引っ込み方向の矢印が赤色、飛び出し方向の矢印が青色と色分けされても構わない。

次に使用者は、２つの矢印を参考に視差情報を増減させるかどうか、増減させる場合はどの方向かを決定したものとする。図１７（ａ）の調整前の場合、一番奥の被写体Ｘが引っ込み過多になっており、この被写体Ｘが画面全体の中で最大視差を有している。そのため、使用者は引っ込み過多を緩和するように調整したものとする。

この場合、使用者が右向きの矢印１１０が示す視差情報を減らすための操作を、図８において説明したのと同様の手順で行ったとき、矢印１１０の位置における引っ込み方向の視差情報が減少し、図１７（ｂ）に示すように、矢印１１２が短く表示される。一方、視差調整により、逆に飛び出し方向の視差情報が増加し、これに対応して矢印１１３が長い表示に変化する。

使用者の視差調整量が多かった場合、調整前は矢印１１０の位置の視差情報が画面全体で最大であったのが、調整中に画面中の最大視差を有する位置が矢印１１３の位置に切り替わることがある。この場合、最大視差を有する位置の切り替わりを制御部９が判定すると、ＧＵＩ生成部７を制御して表示処理部４を介し、表示部５に最大視差情報の切り替わりを警告するための矢印１１４を表示させる。警告であるため、矢印１１４は、一定時間だけ点滅させてから消してもよいし、表示と同時に警告音を鳴らしても良い。

以上説明した動作により、使用者が視差情報を調整した結果として視差情報が最大になる位置が移動した場合、そのことを警告することで、画面の一部分に注目する余り別の位置の視差情報が過大になるまで視差調整してしまうことを防ぐことができる

３−４−４．視差の大きさを棒グラフで表示している場合の視差情報の調整
ステレオカメラ２００が図９に示す画面を表示している場合は、以下のように視差情報を調整することが出来る。

使用者が、図９（ａ）に示す２つの棒グラフ９０ｂ、９１ｂを参考に視差情報を増減させるかどうか、増減させる場合はどの方向かを決定したものとする。図９（ａ）の場合は一番奥の被写体Ｘの引っ込み量が過多になっており、使用者は図９（ｂ）に示したように引っ込み量の過多を緩和するように調整したものとする。具体的には、使用者は、棒グラフ９０ｂが示す視差の大きさが減るように、表示部５に表示されている画像の任意の位置を左向きになぞる動作を行ったものとする。操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、制御部９は、信号処理部３が引っ込み方向の視差の大きさを減らす視差調整を行うように制御する。

この制御により、マーク９０の位置における引っ込み方向の視差の大きさが減少し、棒グラフ９０ｂは、図９（ｂ）のようにより短く表示される。一方、引っ込み方向を減少させる視差調整により、逆に飛び出し方向の視差の大きさが増加し、図９（ａ）の棒グラフ９１ｂは図９（ｂ）のようにより長い表示に変化する。棒グラフ９０ｂ、９１ｂの長さが意図する長さになったときに使用者が画面をなぞる動作を中止すると、このときの視差情報を保ってそれ以降の立体映像撮影が行われる。

なお、ステレオカメラ２００が図１０に示す画面を表示している場合は、以下のように視差情報を調整することが出来る。

使用者は、図１０（ａ）に示す２つの棒グラフ１００ｂ、１０１ｂを参考に視差情報を増減させるかどうか、増減させる場合はどの方向かを決定したものとする。図１０（ａ）の場合は一番奥の被写体Ｘの引っ込み量が過多になっており、使用者は図１０（ｂ）に示したように引っ込み量の過多が緩和されるように調整したものとする。この場合の使用者の操作は、図９を用いて説明した操作と同じになり、それに対応して図９と同様の視差情報調整と棒グラフ表示の変更が行われる。

以上説明した動作により、表示部５に示された画面上の複数の位置における視差情報の調整を、視差情報の方向・大きさを判断した上で、タッチパネルによって直感的かつ容易に行うことができる。

３−５その他の動作
以下、ステレオカメラ２００におけるその他の動作について、図面を参照しながら説明する。

３−５−１．移動中の視差表示停止
ステレオカメラ２００は、ステレオカメラ２００が移動中においては、表示部５に対して視差情報を表示しないように制御しても構わない。

図１８は、ステレオカメラ２００の移動時は視差表示を出さない例を説明する概念図である。図１８（ａ）はステレオカメラ２００の移動中に表示処理部４が表示部５に表示する第２の画像、図１８（ｂ）はステレオカメラ２００が停止した後に表示処理部４が表示部５に表示する第２の画像を示す。

図１８（ａ）においては、視差情報の調整中に使用者がステレオカメラ２００を右方向にパンしながら撮影範囲の再設定を行っているものとする。このとき、ステレオカメラ２００の制御部９は、視差情報検出部２もしくは信号処理部３で画像全体が同じ量だけ移動していることを動きベクトル検出により検出するか、もしくは図示しない加速度センサからの情報によりステレオカメラ２００の水平移動を検出する。そして、検出結果に基づいてステレオカメラ２００がパンしていることを判定し、図１８（ａ）に示した通り、「カメラ移動中です」という警告表示１４０を表示する。このとき、視差情報の検出結果は一切表示しない。

使用者がステレオカメラ２００を右方向にパンする動作を止めると、ステレオカメラ２００はそのことを検出し、図１８（ｂ）に示した通り、視差情報検出結果の矢印１４３、１４４、１４５、１４６を表示部５に表示する。

なお、図１８の例においては、図８と同様に事前に制御部９が視差情報の許容値を記憶しているものとする。図８の場合は、視差情報が許容値を超える度合いを矢印の色分けにより示したが、図１８においては矢印の太さで表し、かつ引っ込み方向、飛び出し方向のそれぞれについて視差の大きさが大きい順に２箇所ずつ矢印を表示する例を示している。図１８（ｂ）の例では、引っ込み方向の最大視差情報を示す矢印１４３、引っ込み方向の２番目に大きい視差情報を示す矢印１４６、飛び出し方向の最大視差情報を示す矢印１４５、飛び出し方向の２番目に大きい視差情報を示す矢印１４４の、合計４本の矢印を表示している。

ここで、使用者が視差調整中にパン・ズームなどステレオカメラの位置や姿勢を移動する操作を行った場合、その移動操作の間は使用者が視差調整ではなく撮影範囲（フレーミング）の再設定を行っている。そのため、視差調整表示を行うと、使用者操作の妨げとなる。上記の例では、視差調整表示を一時中断することにより、これを防止することができる。

３−５−１．映像等の表示形式
以下、表示部５への映像や視差情報の表示形式に関して説明する。

３−５−１．タッチした位置の視差よりも大きい視差を持つ部分のぼかし処理
タッチした位置の視差よりも大きい視差を持つ領域のぼかし処理を行ってもよい。以下、このぼかし処理について図１９を用いて説明する。図１９においては、表示処理部４は、第２の画像のみを選択して表示部５に表示しているものとする。

表示部５に表示されている第２の画像のうち、高精細に見せたい被写体とぼかしたい被写体の境界を使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、タッチした位置の視差情報を示す矢印７１が、タッチした位置に表示される。この矢印７１は、ＧＵＩ生成部７が生成し、表示処理部４によって第２の画像に多重されたものである。右向きの矢印が引っ込み方向、左向きの矢印が飛び出し方向を示し、矢印の長さが視差の大きさを示すように矢印の画像が生成されている。

次に使用者は、表示部５に表示されている矢印７１を複数回タッチすることで、画像の一部をぼかす信号処理を加えることを指示したものとする。操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、制御部９はタッチした位置の視差情報７０よりも大きい視差を持つ領域をぼかす処理を行うように制御する。

具体的には、信号処理部３はタッチした位置の視差の大きさ７０よりも大きい視差を持つ、第１の画像および第２の画像の領域にローパスフィルタを掛けて出力する。これにより、矢印７１の位置よりもディスプレイ面に近い被写体は高精細に表示され、矢印７１の位置よりも大きい視差で飛び出し、または引っ込んだ被写体の精細度を下げる（ぼかす）。したがって、見やすい３Ｄ画像を撮影することができる。

以上説明した動作により、使用者は、表示部に示された矢印によって、画面上の視差の向き・視差の大きさを判断して３Ｄ画像としての見易さの調整をタッチパネルによって直感的かつ容易に行うことができる。

３−５−２．視差情報が表示された部分の拡大表示
図２０を用いて、表示部５における視差情報が表示されている部分をタッチした場合、この所望の部分とともに視差情報も拡大して表示してもよい。

表示部５に表示されている画像のうち、視差を調整したい領域を使用者がタッチすると、操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。その結果、タッチした位置の視差情報を示す矢印２００１が、タッチした位置に表示される。

次に使用者は、表示部５に表示されている矢印２００１を複数回タッチすることで、画像の一部を拡大する信号処理を加えることを指示したものとする。操作部６がこれを感知し、入力部８が制御部９に操作情報として出力する。制御部９はタッチした位置に対応する領域の画像を拡大する処理を行うように制御する。また、このとき、矢印２００１も拡大して表示する。

以上説明した動作により、使用者は、表示部に示された矢印によって、画面上の視差の向き・視差の大きさを判断したうえで、３Ｄ画像としての見易さの調整をタッチパネルによって直感的かつ容易に行うことができる。

以上、本実施形態におけるステレオカメラ２００によれば、画像の領域ごとに視差情報（視差の方向（引っ込み方向、飛び出し方向）、視差の大きさ）を算出し、使用者がタッチパネル操作で指定した位置、あるいは視差が最大になった位置、もしくは視差が大きいものから順に所定個数（複数）の位置に、その位置、視差の方向、視差の大きさを判定可能な形式で表示する。これにより、使用者は、表示部に示された画面上の視差の向き・視差の大きさを判断したうえで、視差情報の調整や撮影意図の反映をタッチパネルによって直感的かつ容易に行うことができる。

また、撮影する画像に視差の大きい部分が発生した場合に、立体視しやすいように視差調整した画像を撮影する、立体視が困難な部分をぼかす、立体視がやや困難でもあえて撮影する、などの複数の対応方法から、撮影者が即座に好みの方法を選択し、撮影画像に反映することが可能なステレオ画像表示装置を実現することができる。
４．まとめ

本実施形態のステレオカメラ２００は、ステレオ画像を示す画像データを取得する撮影部１と、撮影部１が取得した画像データに基づく画像を表示する表示部５と、表示部５が表示した画像内における任意の位置の指定を受け付ける操作部６と、撮影部１が取得した画像データにおける、操作部６で指定された位置に対応する部分の視差情報を取得する視差情報算出部２と、画像とともに、視差情報算出部２が取得した視差情報を表示するように表示部５を制御する制御部９と、を備える。表示部５は、視差情報を視差の大きさと方向を示す形式で表示し、操作部６は、視差情報が示す視差の大きさの変更命令を受け付け、制御部９は、操作部６が受け付けた前記変更命令に基づいて、画像データにおける、指定された位置に対応する部分における視差の大きさを変更する。

このようにすれば、ステレオカメラ２００は、ステレオ画像を示す画像データに基づく画像内における位置を指定できる。さらに、指定した位置に対応する部分の視差情報を表示部５で表示している画像とともに表示できる。これにより、使用者はステレオ画像を示す画像データに基づく画像を確認しながら、指定した部分における視差情報を同時に確認できる。

また、ステレオカメラ２００は、視差情報の大きさを変更するに伴い、撮影部１で取得した画像データの視差の大きさを変更できる。これにより、使用者は表示部５に表示される視差情報を確認し、当該視差情報の大きさを変更するだけで、ステレオ画像の視差調整ができる。

また好ましくは、制御部９は、操作部６で指定された位置の近傍に、視差情報算出部２が取得した視差情報を表示するよう表示部５を制御する。

このようにすれば、ステレオカメラ２００は、指定された位置と取得した視差情報とを対応付けて表示できる。これにより、使用者はステレオ画像を示す画像データに基づく画像を視認するだけで、表示される視差情報の当該画像における位置を確認できる。

また好ましくは、制御部９は、視差情報算出部２が取得した視差情報をベクトル形式で表示させるよう前記表示部５を制御する。

このようにすれば、ステレオカメラ２００は、取得した視差情報をベクトル形式で表示できる。これにより、使用者はステレオ画像を示す画像データに基づく画像を視認するだけで、表示される視差情報の当該画像における位置、当該視差情報の大きさおよび当該視差情報の方向を確認できる。

また好ましくは、撮影部１から前記ステレオ画像を示す画像データを取得し、操作部６は、視差情報が示す視差の大きさの変更命令を受け付け、制御部９は、変更命令に基づいて視差の大きさを変更するように撮影部における撮影パラメータを制御する。

このようすれば、ステレオカメラ２００は、視差情報算出部２で取得した視差情報を構成する視差の大きさの変更に伴い、撮影部１における撮影パラメータを自動的に変更できる。このとき、撮影パラメータは撮影部１において撮影するステレオ画像の視差が変更後の視差情報における視差の大きさとなるように設定できる。これにより、使用者は表示部５に表示される視差情報を構成する視差の大きさを変更するだけで、撮影部１における撮影パラメータの調整ができる。

また好ましくは、前記ステレオカメラ２００は、前記ステレオ画像を示す画像データの視差の大きさに関する情報を設定する操作部６をさらに備え、制御部９は、操作部６が設定した視差の大きさよりも視差情報算出部２が取得した視差情報の大きさが大きい場合と、操作部６が設定した視差の大きさよりも視差情報算出部２が取得した視差情報の大きさが小さい場合とで、視差情報の表示形式が変更して表示されるように表示部５を制御する。

このようにすれば、ステレオカメラ２００は、操作部６で設定した情報を境に、表示部５で表示する視差情報の表示形式を変更できる。これにより、使用者は表示部５に表示される視差情報を視認するだけで、設定したステレオ画像を示す画像データにおける視差の大きさよりも、表示している視差情報における視差の大きさが大きいか否かを確認できる。

また好ましくは、表示部５および操作部６は、少なくとも画像データに基づく画像を表示しながら使用者のタッチ操作を検出可能なタッチパネルとして一体構成されている。

このようにすれば、視差情報の調整をタッチパネルによって直感的かつ容易に行うことができる。

また好ましくは、操作部６は、視差情報を表示中に当該視差情報の表示部分に対して連続してタッチ操作を複数回検出した場合、当該タッチ操作を前記変更命令として受け付ける。

このようにすれば、ステレオカメラ２００は、視差情報の表示中における当該視差情報の表示部分に対する連続したタッチ操作を変更命令とみなせる。これにより、使用者は表示部５に表示された視差情報を確認しながら、当該視差情報の表示部分に対してタッチ操作を複数回行うことで、視差情報における視差の大きさを変更できる。

また好ましくは、操作部６は、視差情報を表示中に視差情報の表示部分に対してドラッグ操作を検出した場合、当該ドラッグ操作を変更命令として受け付ける。

このようにすれば、ステレオカメラ２００は、視差情報の表示中における当該視差情報の表示部分に対するドラッグ操作を変更命令とみなせる。これにより、使用者は表示部５にベクトル形式で表示される視差情報を確認しながら、ドラッグ操作により視差の大きさを直感的に変更できる。

また好ましくは、視差情報算出部２は、画像データの視差に関する視差情報のうち最大の視差に関する最大視差情報をさらに取得し、制御部９は、変更命令に基づき視差の大きさを変更したことにより、画像データにおける最大の視差を有する部分の位置が変わった場合、画像データにおける最大の視差を有する部分の位置が変わった旨を示す情報を表示するように表示部５を制御する。

このようにすれば、撮影部１が取得した画像データの視差に関する視差情報のうち最大の視差に関する視差情報を取得し、この最大の視差視を有する部分の位置が変更した旨を表示部５に表示できる。これにより、使用者は、視差情報の大きさを調整しているとき、自動的に最大の視差情報に対応する部分が変更されたことを認識できる。

また好ましくは、視差情報算出部２は、画像データの視差情報のうち視差の大きさが最も大きいものから順に所定個数の視差情報をさらに取得し、制御部９は、指定された位置に対応する部分の視差情報を表示させるとともに、所定個数の視差情報を表示させるように表示部５を制御する。

このようにすれば、ステレオカメラ２００は、撮影部１で取得された画像データの視差に関する視差情報のうち視差の大きさが最も大きい視差情報と、次に視差が大きい視差情報ものから順に少なくとも１つ以上の他の視差情報を取得し、この他の視差情報を、指定された位置に対応する部分の視差情報とともに、表示部５に表示することができる。これにより、使用者は、指定された位置に対応する部分の視差情報と、他の視差情報との関係を、ステレオ画像を示す画像データとともに表示部５で確認できる。

また好ましくは、視差情報算出部２は、画像データにおける、ステレオ画像における合焦領域に対応する部分の視差情報をさらに取得し、制御部９は、前記指定された位置に対応する部分の視差情報を表示させるとともに、合焦領域に対応する部分の視差情報を表示させるように表示部５を制御する。

このようにすれば、ステレオカメラ２００は、撮影部１で取得された画像データにおける合焦領域に対応する部分の視差情報を取得し、この視差情報を、指定された位置に対応する部分の視差情報とともに、表示部５に表示することができる。これにより、使用者は、指定された位置に対応する部分の視差情報と、合焦領域に対応する部分の視差情報との関係を、ステレオ画像を示す画像データとともに表示部５で確認できる。

また好ましくは、制御部９は、ステレオカメラ２００の動きを検出し、撮影部１が取得した画像データをのみを表示させるよう前記表示部５を制御する。

このようにすれば、ステレオカメラ２００は、ステレオカメラ２００の動きに合わせて取得した視差情報の表示をＯＮ／ＯＦＦ制御できる。これにより、使用者は視差が時間的に大きく変動しないときにのみ、ステレオ画像を示す画像データとともに視差情報を表示部５において確認することができる。

本実施形態におけるステレオカメラ２００は、少なくともステレオ画像を示す画像データに基づく画像とともに、指定した位置における視差情報を表示することができる。また、指定した位置の視差情報の調整を容易に行うことができる。そのため、本実施形態によれば、使用者によって使い勝手のよいステレオカメラ２００を提供することができる。

５．その他の実施形態
上記実施形態においては、第１の光学系２１０で撮影した画像、および第２の光学系２２０で撮影した画像を、それぞれＡ／Ｄ変換部２１３およびＡ／Ｄ変換部２２３でデジタル信号に変換したあとで視差情報算出や視差情報調整のための信号処理を行うようにしたが、本発明はこれに限られるものではない。例えば、視差情報算出を撮影部１の内部で、アナログ信号のままで処理するようにしても良い。

また、視差情報を調整する方法として、右眼用画像と左眼用画像との相対位置をシフトさせることにより視差情報を変更する方法と、光学系の光軸角度を変更することで視差情報を変更させる方法とを用いたが、本発明においてはこの方法に限定されるものではなく、画像そのものを拡大または縮小させるなど、視差情報を変更させられる方法であればなんでも良い。

なお、上記実施形態においては、使用者による操作部６上でのドラッグ操作に応じて視差情報を変更するように構成したが、使用者の二本の指先の間隔を操作部６上で変更するピンチイン操作やピンチアウト操作に応じて視差情報を変更するように構成してもよい。

また、本発明に係るステレオカメラは、ＣＰＵ（Central Processing Unit）、システムＬＳＩ（Large Scale Integration）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ネットワークインターフェースなどを備えてもよい。さらに、ＤＶＤ−ＲＡＭ、Ｂｌｕ−ｒａｙディスク、ＳＤ（Secure Digital）メモリカードのような可搬性の記録媒体に対して読み出し、もしくは読み書き可能なドライブ装置を備えてもよい。

本発明に係るステレオカメラは、デジタルビデオカメラ、デジタルカメラ、携帯電話機などに組み込みシステムとし適用することができる。

さらに、ステレオカメラの各機能は、ＨＤＤまたはＲＯＭなどに、ステレオカメラを制御するプログラム（以下、画像撮影プログラムと呼称する。）をインストールしておき、当該画像撮影プログラムを実行することによって、実現してもよい。

なお、画像撮影プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されていてもよい。さらに、画像撮影プログラムは、記録媒体を介して他のハードウェアシステムに読み出されて実行されてもよい。これによって、ステレオカメラの各機能を他のハードウェアシステムにおいて実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体としては、光学記録媒体（例えば、ＣＤ−ＲＯＭ）、磁気記録媒体（例えば、ハードディスク）、光磁気記録媒体（例えば、ＭＯ）、半導体メモリ（例えば、メモリカード）などがある。

また、画像撮影プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されていてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されてもよい。これによって、ステレオカメラの各機能を他のハードウェアシステムにおいて実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Power Line Communication）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３）、無線通信網（例えば、ＩＥＥＥ８０２．１１）がある。

または、ステレオカメラに実装される画像撮影回路によって、ステレオカメラの各機能が実現されてもよい。

なお、画像撮影回路は、フルカスタムＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Field Programmable Gate Array）やＣＰＬＤ（Complex Programmable Logic Device）などのようなプログラマブル・ロジック・デバイス、動的に回路構成が書き換え可能なダイナミック・リコンフィギュラブル・デバイスに形成されてもよい。

さらに、ステレオカメラの各機能を画像撮影回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと呼称する。）で構成してもよい。さらに、設計データは、ＨＤＬプログラムを論理合成して得られるゲート・レベルのネットリストで構成してもよい。また、設計データは、ゲート・レベルのネットリストに、配置情報、プロセス条件等を付加したマクロセル情報で構成してもよい。また、設計データは、寸法、タイミング等が規定されたマスクデータで構成してもよい。ここで、ハードウェア記述言語としては、ＶＨＤＬ（Very high speed integrated circuit Hardware Description Language）、Ｖｅｒｉｌｏｇ−ＨＤＬ、ＳｙｓｔｅｍＣがある。

さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されていてもよい。さらに、設計データは、記録媒体を介して他のハードウェアシステムに読み出されて実行されてもよい。そして、これらの記録媒体を介して他のハードウェアタシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされてもよい。

また、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されていてもよい。さらに、設計データは、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブル・ロジック・デバイスにダウンロードされてもよい。

また、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておいてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされてもよい。

また、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされてもよい。

本発明は、立体映像信号を撮影するステレオカメラなどとして、特に、立体映像信号を撮影する際にタッチパネルを用いて視差情報の調整を容易に行うことができるビデオカメラレコーダーなどとして、利用することができる。

１ 撮影部
２ 視差情報算出部
３ 信号処理部
４ 表示処理部
５ 表示部
６ 操作部
７ ＧＵＩ生成部
８ 入力部
９ 制御部
１０ 記録処理部
１１ 記録媒体
４０、４１、４７、４８ 光軸
４２、４９ 仮想スクリーン
４３ 円柱
４４ 立方体
６０ 第１の画像と第２の画像の差
６６ タッチした位置
７０ タッチした位置の視差情報
７１、１１０、１１１、１２０、１２１、１２２、１４３、１４５、１４６、１４４、２１０１、２１０２、２１０３ 矢印
９０、９１ マーク
９２、９３、９６、９７、１０２、１０３ 棒グラフ
１００、１０１ ゼブラ
１４０ 警告表示
２００ ステレオカメラ
２１０ 第１の光学系
２１１ 第１のレンズ群
２１２ 第１の撮像部
２１３ 第１のＡ／Ｄ変換部
２２０ 第２の光学系
２２１ 第２のレンズ群
２２２ 第２の撮像部
２２３ 第２のＡ／Ｄ変換部
２３０ カメラ制御部
３０１ 操作部材
４００ 矢印
４０５ 矢印画像
４０６ 第１の画像と第２の画像の差
１５０１、１５０２、１６０２、１８０１ 領域
１６０１ 表示画面

Claims (12)

1. ステレオ画像を示す画像データを取得する画像取得部と、
   前記画像取得部が取得した画像データに基づく画像を表示する表示部と、
   前記表示部が表示した画像内における任意の位置の指定を受け付ける受付部と、
   前記画像取得部が取得した画像データにおける、前記受付部で指定された位置に対応する部分の視差情報を取得する情報取得部と、
   前記画像とともに、前記情報取得部が取得した視差情報を表示するように前記表示部を制御する制御部と、
   を備え、
   前記表示部は、前記視差情報を視差の大きさと方向を示す形式で表示し、
   前記受付部は、前記視差情報が示す視差の大きさの変更命令を受け付け、
   前記制御部は、前記受付部が受け付けた前記変更命令に基づいて、前記画像データにおける、前記指定された位置に対応する部分における視差の大きさを変更する、
   ステレオ画像表示装置。
2. 前記制御部は、前記受付部で指定された位置の近傍に、前記情報取得部が取得した視差情報を表示するよう前記表示部を制御する請求項１に記載のステレオ画像表示装置。
3. 前記制御部は、前記情報取得部が取得した視差情報をベクトル形式で表示させるよう前記表示部を制御する請求項２に記載のステレオ画像表示装置。
4. 前記ステレオ画像を撮影する撮影部をさらに備え、
   前記画像取得部は、前記撮影部から前記ステレオ画像を示す画像データを取得し、
   前記受付部は、前記視差情報が示す視差の大きさの変更命令を受け付け、
   前記制御部は、前記変更命令に基づいて前記視差の大きさを変更するように前記撮影部における撮影パラメータを制御する請求項１に記載のステレオ画像表示装置。
5. 前記ステレオ画像を示す画像データの視差の大きさに関する情報を設定する設定部をさらに備え、
   前記制御部は、前記設定部が設定した視差の大きさよりも前記情報取得部が取得した視差情報の大きさが大きい場合と、前記設定部が設定した視差の大きさよりも前記情報取得部が取得した視差情報の大きさが小さい場合とで、前記視差情報の表示形式が変更して表示されるように前記表示部を制御する請求項３に記載のステレオ画像表示装置。
6. 前記表示部および前記受付部は、少なくとも前記画像データに基づく画像を表示しながら使用者のタッチ操作を検出可能なタッチパネルとして一体構成されている請求項１に記載のステレオ画像表示装置。
7. 前記受付部は、前記視差情報を表示中に当該視差情報の表示部分に対して連続してタッチ操作を複数回検出した場合、当該タッチ操作を前記変更命令として受け付ける請求項６に記載のステレオ画像表示装置。
8. 前記受付部は、前記視差情報を表示中に前記視差情報の表示部分に対してドラッグ操作を検出した場合、当該ドラッグ操作を前記変更命令として受け付ける請求項６に記載のステレオ画像表示装置。
9. 前記情報取得部は、前記画像データの視差に関する視差情報のうち最大の視差に関する最大視差情報をさらに取得し、
   前記制御部は、前記変更命令に基づき視差の大きさを変更したことにより、前記画像データにおける前記最大の視差を有する部分の位置が変わった場合、前記画像データにおける前記最大の視差を有する部分の位置が変わった旨を示す情報を表示するように前記表示部を制御する請求項１に記載のステレオ画像表示装置。
10. 前記情報取得部は、前記画像データの視差情報のうち視差の大きさが最も大きいものから順に所定個数の視差情報をさらに取得し、
    前記制御部は、前記指定された位置に対応する部分の視差情報を表示させるとともに、前記所定個数の視差情報を表示させるように前記表示部を制御する請求項１に記載のステレオ画像表示装置。
11. 前記情報取得部は、前記画像データにおける、前記ステレオ画像における合焦領域に対応する部分の視差情報をさらに取得し、
    前記制御部は、前記指定された位置に対応する部分の視差情報を表示させるとともに、前記合焦領域に対応する部分の視差情報を表示させるように前記表示部を制御する請求項１に記載のステレオ画像表示装置。
12. 自装置の動きを検出する検出部をさらに備え、
    前記制御部は、前記検出部が自装置の動きを検出している場合、前記画像取得部が取得した画像データをのみを表示させるように前記表示部を制御する請求項１に記載のステレオ画像表示装置。

Images