JP5868045B2

JP5868045B2 - 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理装置の制御方法

Info

Publication number: JP5868045B2
Application number: JP2011154031A
Authority: JP
Inventors: 片山　達嗣; 達嗣片山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-07-12
Filing date: 2011-07-12
Publication date: 2016-02-24
Anticipated expiration: 2031-07-12
Also published as: US9392250B2; JP2013021550A; US20130016191A1

Description

本発明は撮像装置、画像処理装置、撮像装置の制御方法、画像処理装置の制御方法、プログラム及び記憶媒体に関し、特に、３Ｄ映像を表示するために用いて好適な技術に関する。

近年、立体（以降、３Ｄと表記）映像を用いた映画等が増えてきており、それに伴い家庭用のテレビも３Ｄ映像の立体表示に対応するものが開発されている。そこで、立体表示に対応した家庭用のテレビにカムコーダ等の記録再生装置を接続するような場合に、カムコーダのＧＵＩを３Ｄ化して表示するような用途が一般的になると想定される。

３Ｄ映像の表示は、ステレオ視の原理を利用しており、左眼用及び右眼用の映像を準備し、各々の映像を水平方向に相対的にシフトさせ、相対位置の異なる左眼用の映像及び右眼用の映像が表示される。画面からの飛び出し量（立体感）は、前記相対位置の差によって制御され、この相対位置の差を両眼視差とする。このようにユーザーは左眼用の映像と右眼用の映像との視差を知覚し、視差量に応じた立体感のある映像を見ることができる。

従来、立体表示を用いたＧＵＩとして、オブジェクトが有する属性（使用頻度、重要度、ユーザの嗜好等）を抽出して、抽出した属性に応じて立体表示の飛び出し量（立体感）、立体表示期間等を決定してデータを変換する装置が提案されている（特許文献１参照）。また、ユーザーが任意に視差量を調整できるようにし、立体効果を個々の観察者に適合したものとできるように、リモコンインターフェースからの制御信号に基づいて、視差情報を調整する装置が提案されている（特許文献２参照）。

特開２００５−４９６６８号公報特開平１１−１５５１５５号公報

しかしながら、特許文献１に記載の装置では、オブジェクトの立体表示形態は属性情報に基づいて決定されるので、ユーザーが任意に立体感を変更することができない。立体表示では立体感はユーザーによってばらつきがあるので、予め決められた視差量では、ユーザーによっては所望の立体感が得られない場合がある。また、特許文献２に記載の装置では、ユーザーが任意に視差量を調整できるが、視差量の調整をどのような操作で行えば直感的な操作となるかについては考慮されていない。

本発明は前述の問題点に鑑み、直感的な操作感によって３Ｄ映像の視差量を調整できるようにすることを目的としている。

本発明の撮像装置は、撮像手段と、ユーザーからの操作を受け付ける受付手段と、前記撮像手段での撮像時に、前記受付手段で第１の操作を受け付けたことに応じて前記撮像手段での撮像に用いるズームレンズを望遠側に光学ズームするように駆動し、前記受付手段で第２の操作を受け付けたことに応じて前記ズームレンズを広角側に駆動するように制御する光学ズーム手段と、３Ｄ表示用のＧＵＩ部品を含む映像を表示手段に出力可能な出力手段と、前記出力手段から３Ｄ表示用のＧＵＩ部品を含む映像を出力している際に、前記受付手段で前記第１の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が大きくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整し、前記受付手段で前記第２の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が小さくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整する視差量調整手段とを有することを特徴とする。

本発明によれば、ＧＵＩの立体感をズーム操作部材により直感的かつ簡便に調整することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。インデックス画面の一例を示す図である。実施形態に係る立体表示装置の接続例及び内部構成例を示す図である。実施形態における条件情報の一例を示す図である。ライン・バイ・ライン方式による立体表示の概略を示す図である。フレームシーケンシャル方式による立体表示の概略を示す図である。多眼式立体表示方式の概略を示す図である。第１の実施形態において、撮像装置から立体表示装置にＧＵＩを表示させる処理手順の一例を示すフローチャートである。立体表示装置に２Ｄまたは３Ｄ画面を表示させたときに撮像装置の表示パネルに表示される画面の一例を示す図である。３Ｄ表示の概要を説明する図である。選択領域が拡大された表示画面の一例を示す図である。ズームレバーが操作されたときの左目用画像及び右目用画像の一例を示す図である。第２の実施形態において、撮像装置から立体表示装置にＧＵＩを表示させる処理手順の一例を示すフローチャートである。３Ｄ表示されたインデックス画面の一例を示す図である。３Ｄ表示されたインデックス画面の飛び出し量が変化した場合の一例を示す図である。変化プロファイルの一例を示す図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る撮像装置１０の構成例を示すブロック図である。
図１において、撮像部１００は、レンズ等の光学系、撮像素子、ＡＤ変換器等から構成されている。信号処理部１０１は、撮像して生成された信号に対して所定の処理を施し、符号化処理部１０２は、映像信号の圧縮／復号を行う。メモリ１０３は、符号化された映像信号を一時的に格納するものであり、記録ドライブ１０４は、ＳＤカード、ハードディスク、ＤＶＤ等の記録媒体１１１に映像信号を記録する。

グラフィック処理部１０５は、文字やアイコン等のＯＳＤ情報を生成し、表示画面を生成するものである。ビデオ信号処理部１０６は、各種ビデオ信号への変換を行うものであり、表示制御手段として機能する場合は、ＯＳＤ情報を撮影時の映像信号に重畳して表示パネル１０７に出力する。表示パネル１０７はＬＣＤ等の表示部である。外部接続ＩＦ１０８は、外部機器と接続してビデオ信号処理部１０６から出力される信号に所定の処理を施して外部機器に送信するためのインターフェースである。ＣＰＵ１０９は撮像装置１０全体を制御するものであり、操作部１１０はボタン、ズームレバー、タッチパネル等の操作部材であり、ボタンの押し下げや、ズームレバーの位置、十字キーの位置等を検出する。

次に、本実施形態に係る撮像装置１０による記録時の動作について説明する。撮像部１００は、入力した被写体像を光電変換して信号処理部１０１に送信する。信号処理部１０１は、光電変換された映像信号を、輝度信号及び色差信号に変換するとともに、ＡＧＣ（自動ゲイン制御）、ガンマ補正等の各種の信号処理を施す。符号化処理部１０２は、信号処理部１０１より送信される映像信号を圧縮してメモリ１０３に保持する。記録ドライブ１０４は、メモリ１０３に保持されている圧縮映像信号を所定のタイミングで記録媒体１１１に記録する。

次に、再生時の動作について説明する。ユーザーにより操作部１１０が操作されて再生モードに切り替わると、図２に示すように、撮影済みの映像の代表画像を表示するインデックス画面２００がＧＵＩとして表示パネル１０７に表示される。ここで、インデックス画面２００を表示されるまでの動作を以下に示す。

ＣＰＵ１０９が操作部１１０の操作状態を検知し、再生モードに移行したことを判別すると、ＣＰＵ１０９が記録ドライブ１０４を制御し、記録媒体１１１に記録されている映像データを読み出す。符号化処理部１０２は、読み出された映像データの先頭フレームを代表画像データとして復号処理し、メモリ１０３に格納する。このように、図２に示すインデックス画面２００に表示する代表画像の分だけ映像データを記録媒体１１１から逐次読み出して、上記の処理を繰り返す。

次に、グラフィック処理部１０５は、メモリ１０３に保持された代表画像データを用いて各代表画像のサイズを必要に応じて拡大または縮小して配置するためのインデックス画面を生成する。さらに、撮影日時を示す文字やアイコン等のＯＳＤ画像を生成する。ビデオ信号処理部１０６は、メモリ１０３に保持された代表画像データ、インデックス画面及びＯＳＤ画像のデータを入力して、所定の信号に変換処理して表示パネル１０７に出力する。以上のような一連の動作により、図２のインデックス画面２００が表示される。インデックス画面２００では、操作部１１０の十字キー等の操作に応じて代表画像の選択枠２０１を移動させることができる。

次に、本実施形態に係る撮像装置１０の外観と外部機器である立体表示装置との接続について説明する。図３（ａ）は、本実施形態に係る撮像装置１０と立体表示機能を有する立体表示装置３５０とが接続された状態を示す概略図である。
図３（ａ）において、十字キー３１０は、液晶パネル３１１に表示されるメニューや代表画像の選択等に用いられるキーである。録画開始ボタン３１２は、録画の開始及び停止を指示する時に操作されるボタンである。ズームレバー３１３は、撮影時に左側に倒すことによりズームレンズを広角側に移動させ、右側に倒すことにより望遠側に移動させることができる。また、ズームレバー３１３は、再生時の拡大縮小（電子ズーム）にも使用することができ、左側に倒すことにより画像を縮小し、右側に倒すことにより画像を拡大することができる。さらに、本実施形態に係る撮像装置１０では、立体表示装置３５０にＧＵＩを立体表示する際に、立体表示装置３５０の奥行き方向の移動手段としてズームレバー３１３が用いられる。接続端子３１４は、立体表示装置３５０と撮像装置１０とを接続ケーブル３１５により接続し、映像情報や制御情報などの送受信を行う。

図３（ｂ）は、本実施形態に係る立体表示装置３５０の内部構成例を示すブロック図である。本実施形態に係る撮像装置１０は、外部接続ＩＦ１０８を介してモニタ等の外部機器と接続して映像データを送受信することができる。外部接続ＩＦ１０８としては、例えばＨＤＭＩ（High Definition Multimedia Interface）規格等を用いることができる。

図３（ｂ）に示すように、立体表示装置３５０は、本実施形態の撮像装置１０と接続して通信するための外部接続ＩＦ３５１と、３Ｄ表示を行う液晶等の表示部３５２と、立体表示装置３５０の全体を制御する制御部３５３とを備えている。

図４は、撮像装置１０が立体表示装置３５０の表示能力を検出するために、立体表示装置３５０から取得する条件情報の一例を示す図である。立体表示装置３５０から取得する情報としては、モニタを特定するための機器情報として、モニタの製造者、製品コード、シリアル番号がある。また、表示条件情報として、対応する解像度、対応可能なアスペクト比、画像表示形式、フレームレート等がある。さらに、音声条件情報としては、ドルビー対応、ＤＴＳ対応等の情報がある。本実施形態においては、表示条件情報として３Ｄ対応の有無、３Ｄ表示形式の情報が付加されている。

撮像装置１０及び立体表示装置３５０は、互いに各々の外部接続ＩＦを介して所定のプロトコルで接続及び通信を行う。撮像装置１０は、図４に示すような情報を立体表示装置３５０より取得して、取得した条件に従ってＧＵＩの表示処理を切り替える。ここで、図７を参照しながら３Ｄ表示方式について説明する。３Ｄ表示用の方式は公知の技術を用いることで対応する。以下、３つの方式について説明する。

図５は、ライン・バイ・ライン方式による立体表示の概略を示す図である。ライン・バイ・ライン方式では、モニタ５００の走査線に左眼用画像と右眼用画像とを交互に表示する。立体視する際には、モニタ５００にケーブル５０１を介して液晶シャッタメガネ５０２を接続する。そして、モニタ５００がインターレース走査によりフィールド単位で左眼用ラインＬ１、Ｌ２、・・・と右眼用ラインＲ１、Ｒ２、・・・を表示するのに同期して、液晶シャッタメガネ５０２を制御する。これにより、フィールド毎に左眼と右眼とに視差に応じて異なる映像を表示することにより立体視するものである。

図６は、フレームシーケンシャル方式による立体表示の概略を示す図である。この方式では、プログレッシブ走査により表示を行うものとし、１／６０秒単位でフレームを切り換える６０ｐ表示と、１／１２０秒単位でフレームを切り換える１２０ｐ表示とについて説明する。

６０ｐ表示では、左眼用画像と右眼用画像とを１／６０秒単位で交互に切り換えながら表示する。図６に示す左１画像、右１画像、左２画像、右２画像はそれぞれ、各々フレーム毎の左眼用画像及び右眼用画像である。１２０ｐ表示では、左眼用画像と右眼用画像とを１／１２０秒単位で交互に切り換えながら表示する。立体視の際には、図５に示す液晶シャッタメガネ５０２をフレーム切り替え信号に同期して制御する。

図７は、多眼式立体表示方式の概略を示す図であり、２分割の多眼式表示と４分割の多眼式表示の一例を示している。
図７において、２分割の多眼式による立体表示では、ＬＣＤ７１２を左眼用の画素Ｌと右眼用の画素Ｒとに割り当てる。そして、パネル前面のフィルタ７１０に装着された視差バリア７１１において、画素Ｌ及び画素Ｒが各々左眼及び右眼のみに投影されるように光路を遮断する。これにより、左眼と右眼とに各々異なる画像が投影されることにより立体視することができる。図７に示すように、画素の分割数を４分割にすると、立体視が可能な視点の数を増やすことができる。

図８は、本実施形態に係る撮像装置１０から立体表示装置３５０にＧＵＩを表示させる処理手順の一例を示すフローチャートである。以下、図８に従い３ＤのＧＵＩを表示させる際の動作について説明する。なお、図８に示す各処理は、ＣＰＵ１０９の制御により行われる。また、図８の説明では、図３（ａ）に示すように、撮像装置１０と立体表示装置３５０とが接続ケーブル３１５により接続されていることを前提とする。そして、立体表示装置３５０は、映像信号を受信すると、制御部３５３は、映像をそのまま表示部３５２に表示する制御を行うものとする。

まず、Ｓ８０１において、立体表示装置２１６と外部接続ＩＦ１０８を介して通信を開始する。次に、Ｓ８０２において、立体表示装置３５０から図４に示すような条件情報を、外部接続ＩＦ１０８を介して取得し、立体表示装置３５０の３Ｄ表示能力の有無を検知する。なお、本実施形態では、立体表示装置３５０は３Ｄ表示能力を有しているものとする。仮に３Ｄ表示能力を有していない場合は、グラフィック処理部１０５によりその旨を告知するＧＵＩを生成する。そして、ビデオ信号処理部１０６により外部接続ＩＦ１０８を経由して立体表示装置３５０にそのデータを送信し、立体表示装置３５０の画面に表示させる。

３Ｄ表示能力を有していることを検知すると、前記条件情報から３Ｄ表示形式の情報を取得する。そして、取得した３Ｄ表示形式に従って、グラフィック処理部１０５により立体画像の変換処理方式を設定する。３Ｄ表示形式としては、図５〜図７に示したように、ライン・バイ・ライン方式、フレームシーケンシャル方式、または多眼式立体表示方式に対応し、各方式に応じて立体画像に変換する。なお、図５〜図７に示した３Ｄ表示方式以外の方式を用いてもよい。そして、ＧＵＩの最初の画面のデータを、ビデオ信号処理部１０６により外部接続ＩＦ１０８を介して送信し、立体表示装置３５０でＧＵＩの最初の画面を表示させる。

また、本実施形態では、撮像装置１０側で３Ｄ表示方式に応じた立体画像に変換するが、他の方式として３Ｄ表示形式にかかわらず、撮像装置１０側から左眼用画像と右眼用画像とを所定のフレームレートで立体表示装置３５０に出力してもよい。この場合には、立体表示装置３５０側で、受け取った左右の画像を所定の３Ｄ表示形式に応じて変換することにより３Ｄ表示を行うことになる。

次に、Ｓ８０３において、次に表示させる画面の種別判定を行う。ここでの種別判定は２Ｄ対象画面か３Ｄ対象画面かを判定する。２Ｄ対象画面の場合は、撮影画面や、メニュー画面などを表示する場合であり、３Ｄ対象画面の場合は、録画した画像の代表画像を縮小表示するインデックス画面などを表示する場合である。撮影した動画または静止画を全画面表示するような場合は、操作部１１０のボタンより２Ｄ表示と３Ｄ表示とを切り換えることができる。このとき、どの画面を３Ｄ対象とするかを任意に選択できるようにしてもよい。画面の種別判定は、ＣＰＵ１０９により行われ、遷移する画面毎に種別を表す情報を割り振ることにより判定することができる。

次に、Ｓ８０４において、次画面の種別が３Ｄ対象画面であるか否かを判定する。この判定の結果、２Ｄ対象画面の場合には、Ｓ８０６に移行して、グラフィック処理部１０５により２Ｄ用の画面データを生成し、ビデオ信号処理部１０６により外部接続ＩＦ１０８を介してそのデータを送信し、立体表示装置３５０で２Ｄ画面を表示させる。このとき、撮像装置１０の表示パネル１０７には、図９（ａ）に示すように、画面９５０に外部装置で２Ｄ表示している旨を表示する。

一方、Ｓ８０４の判定の結果、３Ｄ対象画面である場合は、Ｓ８０５に移行し、グラフィック処理部１０５により設定された立体画像の変換処理方式に従って３Ｄ用の画面を生成する。そして、ビデオ信号処理部１０６により外部接続ＩＦ１０８を介してそのデータを送信し、立体表示装置３５０で３Ｄ画面を表示させる。このとき、撮像装置１０の表示パネル１０７には、図９（ｂ）に示すように、画面９６０に外部装置で３Ｄ表示している旨を表示する。

ここで、Ｓ８０５における３Ｄ表示動作について説明する。図１０は、ＧＵＩの３Ｄ変換の概要を説明する図である。ＧＵＩの３Ｄ変換処理はグラフィック処理部１０５により行われる。図１０（ａ）は、立体視の際の飛び出し量と投影面上の位置との関係を説明する図である。また、図１０（ｂ）は、図１０（ａ）に示す位置Ｐ２に立体像を生成させる場合の左眼用及び右眼用の画面の一例を示す図であり、図１０（ｃ）は、図１０（ａ）に示す位置Ｐ１に立体像を生成させる場合の画面の一例を示す図である。

図１０に示すように、左眼と右眼とに視差を与えた画像を投影することにより立体視を実現させる。飛び出し量は、画面１００１上の部品１００２の描画位置を各々の画面の中心ライン１００３、１００４から所定量シフトさせることにより調整する。

位置Ｐ２に立体像を生成させる場合には、図１０（ｂ）に示すように、左側用の画像には中心ライン１００３からｘ１＿Ｌ右側へシフトした位置に部品１００２を描画する。そして、右側用の画像には中心ライン１００４からｘ１＿Ｒ左側へシフトした位置に部品１００２を描画する。また、位置Ｐ１に立体像を生成する場合には、図１０（ｃ）に示すように、左側の画像には中心ライン１００３からｘ２＿Ｌ右側へシフトした位置に部品１００２を描画する。そして、右側用の画像には中心ライン１００４からｘ２＿Ｒ左側へシフトした位置に部品１００２を描画する。このようにグラフィック処理部１０５では、左眼用及び右眼用に、視差に合わせて部品の表示位置をシフトしたＧＵＩを生成して、そのデータをメモリ１０３に格納する。

そしてビデオ信号処理部１０６は、３Ｄ表示方式に従ってメモリ１０３に保持されている左眼用及び右眼用のＧＵＩのデータを所定のビデオ信号に変換する。例えば、図６に示したフレームシーケンシャルの立体表示の場合には、左眼用の画像と右眼用の画像とを指定されたフレーム駆動周期で交互に読み出して、所定のビデオ信号に変換し、外部接続ＩＦ１０８を介して立体表示装置３５０に出力する。これにより、立体表示装置３５０で３Ｄ化されたＧＵＩを表示することができる。他の３Ｄ表示方式の場合でも、表示方式に応じたビデオ信号に変換することにより立体表示装置３５０で立体表示することが可能である。

また、撮像装置１０で対応できない３Ｄ表示方式の場合には、グラフィック処理部１０５で通常の２Ｄの表示画面を１画面だけ生成する。ビデオ信号処理部１０６ではこの表示画面のデータを変換処理して、左眼用及び右眼用に同一のビデオ信号を出力する。この場合は、左眼と右眼とで視差のない同一の画像が投影されるので、結果的に２ＤのＧＵＩ画面として表示される。

さらに、立体表示装置３５０と通信する際に、立体表示装置３５０から３Ｄ表示しているか否かの情報を取得するようにしてもよい。これにより、接続したときに３Ｄ表示しているときのみＧＵＩを３Ｄに変換し、２Ｄで表示しているときはＧＵＩを２Ｄで表示するように適応的に動作するようにしてもよい。

図８の説明に戻り、立体表示装置３５０に２Ｄ画面または３Ｄ画面が表示され、Ｓ８０７において、操作部１１０からユーザーによる操作を検出するまで待機する。ユーザーによる操作を検出した場合には、Ｓ８０８に移行する。そして、Ｓ８０８において、ユーザーによる操作が、図３（ａ）に示す十字キー３１０に対するものであるか否かを判定する。この判定の結果、十字キー３１０に対する操作である場合には、Ｓ８０９に移行して、操作部１１０からキー情報を取得する。

次に、Ｓ８１０において、ＣＰＵ１０９は取得したキー情報を解析し、画面遷移が発生するか否かを判定する。画面遷移は、２Ｄ画像の全画面表示からメニュー画面に切り替わる場合や、メニュー画面からインデックス画面に切り替わる場合など画面表示モードが変更されるときに発生する。Ｓ８１０の判定の結果、画面遷移が発生する場合は、Ｓ８０３に移行して、遷移後の次画面の種別判定を行う。Ｓ８０３以降は、前述と同様の動作となる。一方、Ｓ８１０の判定の結果、画面遷移が発生しない場合は、Ｓ８１１において、キー操作に応じて画面内容を更新させる。そしてＳ８０７に移行し、ユーザーによる操作待ち状態となる。

一方、Ｓ８０８の判定の結果、ユーザーによる操作が十字キー３１０に対する操作でない場合は、Ｓ８１２に移行する。そして、Ｓ８１２において、ユーザーによる操作が、図３（ａ）に示すズームレバー３１３に対する操作であるか否かを判定する。この判定の結果、ズームレバー３１３に対する操作でない場合は、Ｓ８１３において、操作に応じた処理を行う。一方、ズームレバー３１３に対する操作である場合は、次に、Ｓ８１４において、立体表示装置３５０が３Ｄ画面表示中であるか否かを判定する。この判定は、立体表示装置３５０から３Ｄ表示しているか否かの情報を取得することにより判定する。この判定の結果、３Ｄ画面表示中でない場合は、Ｓ８１５に移行して画面内のズーム（操作方向に応じた電子ズームによる拡大または縮小）を行う。

図１１は、画面内ズームの概略を説明する図である。ズーム前の表示画面１１０１が立体表示装置３５０に表示されている時に、ズームレバー３１３が望遠側に倒されると、画面の一部が拡大表示される。表示画面１１０２は、ズームレバー３１３が操作された後に、ズーム領域１１０３が拡大された画面を示している。画面の一部として表示画面１１０１のズーム領域１１０３を選択しているときには、Ｓ８１５において、ズームレバー３１３の操作により画面内のズーム処理が施される。すなわち、グラフィック処理部１０５によりズーム処理が施された拡大率の異なる画面を生成する。そして、ビデオ信号処理部１０６により外部接続ＩＦ１０８を介してそのデータを送信し、立体表示装置３５０でズーム処理された画面を表示させる。なお、選択領域は、操作部１１０からの指示により設定することができる。

一方、ステップＳ８１４の判定の結果、３Ｄ画面表示中である場合には、Ｓ８１６において、選択領域が設定されているか否かを判定する。この判定の結果、選択領域が設定されている場合は、Ｓ８１８に移行して前述した手順と同様にズームレバー３１３の操作に応じて選択した領域を拡大または縮小表示させる。一方、Ｓ８１６の判定の結果、選択領域が設定されていない場合は、Ｓ８１６に移行する。そして、Ｓ８１６において、ズームレバー３１３の操作に連動して飛び出し量を変更してグラフィック処理部１０５により立体画像の変換処理を行い、Ｓ８１７において、画面内容を更新する。

ここで、図１２を参照しながら、ズームレバー３１３の操作による飛び出し量の変更について説明する。図１２は、グラフィック処理部１０５が生成する左眼用画像１２０１及び右眼用画像１２０２の概略を示す図である。図１２（ａ）及び図１２（ｂ）には、ズームレバー３１３の位置とＧＵＩの部品１２０３、１２０４の描画位置との関係を示している。また、左眼用画像１２０１の部品１２０３及び右眼用画像１２０２の部品１２０４は、撮影画像の代表的な被写体の１つを表している。

図１０で説明したように、立体表示は、同一の表示部品を飛び出し量に応じた視差量を設定して配置することにより実現している。図１２（ａ）は、左眼用画像１２０１の中心ライン１２０５からｘ１＿Ｌ右側にシフトした位置に部品１２０３の位置を変更し、右眼用画像１２０２の中心ライン１２０６からｘ１＿Ｒ左側にシフトした位置に部品９１２の位置を変更した画像を示している。この場合、飛び出し量は、図１０（ａ）に示す位置Ｐ２となる。また、図１２（ｂ）では、左眼用画像１２０１及び右眼用画像１２０２でそれぞれ、視差をｘ２＿Ｌ、ｘ２＿Ｒに変更することにより、飛び出し量を図１０（ｂ）に示す位置Ｐ１となるように調整している。

本実施形態では、上記の視差の調整を、ズームレバー３１３を操作することにより実現している。即ち、図１２（ａ）に示すように、ズームレバー３１３をどちらかの方向に倒すことにより、グラフィック処理部１０５は、部品１２０３、１２０４の描画位置を調整した左眼用画像及び右眼用画像を生成する。このように、立体表示の際にズームレバー３１３を望遠方向に倒すと、ＧＵＩの部品はより手前に飛び出してくるようにユーザーに知覚され、ズームレバー３１３を広角方向に倒すと、ＧＵＩの部品はより奥に移動していくようにユーザーに知覚される。

以上のように本実施形態によれば、立体表示装置と通信して取得した情報により、ＧＵＩ画面を３Ｄに変換して出力し、その際にズームレバーによって立体表示の飛び出し量を調整する。望遠側へのズーム操作によって光学ズームあるいは電子ズームで拡大（ズームアップ）を行うと、被写体を近くに寄せるという印象をユーザーに与える。また、広角側へのズーム操作によって光学ズームあるいは電子ズームで縮小（ズームダウン）を行うと、被写体を遠くにするという印象をユーザーに与える。これは３Ｄ表示における立体感の調整、すなわち飛び出し量、奥行き量を変化させるという感覚に近い。従って本実施形態のように、光学ズームや電子ズームを行う操作と同じ操作で３Ｄ表示の立体感の調整（視差調整）を行うことで、ユーザーにとって直感的な操作でＧＵＩの立体感を変更することができる。より詳しくは、被写体を近くに寄せるという感覚が一致するよう、光学ズームあるいは電子ズームで拡大する操作方法であるズーム操作部材の望遠側への操作で、３Ｄ表示した表示アイテム（ＧＵＩ部品）がより手前に飛び出してくるように視差を調整する。逆に、被写体を遠くにするという感覚が一致するよう、光学ズームあるいは電子ズームで縮小する操作方法であるズーム操作部材の広角側への操作で、３Ｄ表示した表示アイテム（ＧＵＩ部品）がより奥に移動していくように視差を調整する。これによって、ユーザーにとって直感的な操作でＧＵＩの立体感を変更することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、ズームレバーが操作された時の立体表示の制御方法が第１の実施形態と異なっている。以下、図面を参照しながら本実施形態における動作について説明する。なお、本実施形態に係る撮像装置及び立体表示装置の構成については、それぞれ図１及び図３に示した構成と同様であるため、説明は省略する。

図１３は、本実施形態に係る撮像装置１０から立体表示装置３５０にＧＵＩを表示させる処理手順の一例を示すフローチャートである。なお、図１３に示す各処理は、ＣＰＵ１０９の制御により行われる。また、図１３の説明でも同様に、図３（ａ）に示すように、撮像装置１０と立体表示装置３５０とが接続ケーブル３１５により接続されていることを前提に説明する。本実施形態においては、Ｓ１３０１からＳ１３０４の処理が第１の実施形態と異なり、その他の処理は第１の実施形態と同様であるため説明は省略する。

Ｓ８１４の判定の結果、３Ｄ画面表示中である場合は、Ｓ１３０１において、画面がインデックス画面であり、かつその中で任意の画像を選択しているか否かを判定する。

ここで、画像の選択について図１４を参照しながら説明する。図１４は、立体表示装置３５０の表示パネル１４０１に表示されるインデックス画面１４０２の一例を示す図である。本実施形態では、表示パネル１４０１はタッチパネル対応であり、矩形領域は各々の代表画像を表している。

ユーザーによる指の操作により代表画像を選択することができ、その情報が接続ケーブル３１５を介して撮像装置１０に送信される。図１４に示す例では、選択された代表画像が選択枠１４０３で強調表示されている。なお、撮像装置１０の十字キー３１０等のキー操作によっても画像を選択することができる。

Ｓ１３０１の判定の結果、条件に合致する場合は、Ｓ１３０２に移行し、操作されたズームレバー３１３の方向に従い、選択されている画像の飛び出し量を調整する。そして、Ｓ１３０４において、画面内容を更新する。また、Ｓ１３０１の判定の結果、条件に合致しない場合は、Ｓ１３０３に移行し、操作されたズームレバー３１３の方向に従い、全画像（画面全体）の飛び出し量を調整する。そして、Ｓ１３０４において、画面内容を更新する。なお、飛び出し量を調整した画像を生成して表示する方法については第１の実施形態と同様である。

図１５（ａ）は、Ｓ１３０３の処理により飛び出し量が調整されたインデックス画面の概要を示す図である。ズームレバー３１３が望遠側に倒されると、図１５（ａ）に示すように各画像が矢印が示す手前に移動して見えるようになる。これにより、元々最前列に位置していた画像は点線で示す位置に飛び出すように観察される。また、ズームレバー３１３が広角側に倒されると、各画像は奥の方に移動して見えるようになる。

図１５（ｂ）は、Ｓ１３０２の処理により飛び出し量が調整されたインデックス画面の概要を示す図である。この場合、ズームレバー３１３が望遠側に倒されると、選択されている画像１５０１のみが手前に飛び出すように観察される。

さらに本実施形態では、立体感をズームレバー３１３で調整する際に、ズームレバー３１３の位置に応じて立体感（視差の変更量）を切り換えることができる。例えば、図１６に示すように、変化プロファイルＡは、ズームレバー３１３の位置に依存しないで常に同じ速度で視差を変化させる場合である。

これに対して変化プロファイルＢは、ズームレバー３１３が初期位置の近傍付近では、予め設定されている基準速度で変換する。ところが、近傍付近を超える場合には、ズームレバー３１３が広角側に移動するのに従ってズームレバー３１３の操作に対する視差の変化速度を基準速度より速くし、望遠側に移動するのに従い視差の変化速度を基準速度より遅くする。この場合、３Ｄ表示を観察しているユーザーにとって、画像が奥の方に移動していくのに従い移動速度が速くなり、手前に飛び出してくるのに従い移動速度が遅くなるように観察される。また、変化プロファイルＣのように変化速度が曲線になるように設定してもよい。

以上のように本実施形態によれば、ズームレバー３１３の位置に応じて立体感が変化する速度を変更することができる。これにより、画像が近くにあるときはゆっくりした速度で微妙な調整が可能となり、遠くに移動させるときは素早く移動できるので操作性が向上する。また、一般のユーザーが取り扱いに慣れたズームレバーを用いて立体感を調整するため、より直感的な操作感で簡単に調整することができる。

（その他の実施形態）
前述した第１及び第２の実施形態では、立体表示装置３５０に３Ｄ表示させる例について説明したが、撮像装置１０の表示パネル１０７へ同様に３Ｄ表示させるようにしてもよい。この場合、外部装置と通信を行わないため、図３（ａ）に示すように外部装置と接続ケーブルで接続されている必要はなく、Ｓ８０１の処理は不要となる。また、撮像装置１０が図４に示すような自身の条件情報を予め保持しているため、Ｓ８０２で条件情報を取得する処理は不要となる。さらに、Ｓ８０５及びＳ８０６では、ビデオ信号処理部１０６から表示パネル１０７に２Ｄまたは３Ｄの画像が出力されるため、図９に示すような表示は行われないものとする。

なお、ＣＰＵ１０９の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することにより、装置全体の制御を行ってもよい。また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明を撮像装置に適用した場合を例にして説明したが、これはこの例に限定されず、光学ズームあるいは電子ズームを指示するズーム操作部材を有する装置であれば適用可能である。すなわち、本発明はカメラ付き携帯電話端末やカメラ付き音楽プレーヤー、カメラ付きゲーム機、カメラ付き電子ブックリーダーなどに適用可能である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明を構成することになる。

１００撮像部
１０５グラフィック処理部
１０６ビデオ信号処理部
１０９ＣＰＵ
１１０操作部

Claims

撮像手段と、
ユーザーからの操作を受け付ける受付手段と、
前記撮像手段での撮像時に、前記受付手段で第１の操作を受け付けたことに応じて前記撮像手段での撮像に用いるズームレンズを望遠側に光学ズームするように駆動し、前記受付手段で第２の操作を受け付けたことに応じて前記ズームレンズを広角側に駆動するように制御する光学ズーム手段と、
３Ｄ表示用のＧＵＩ部品を含む映像を表示手段に出力可能な出力手段と、
前記出力手段から３Ｄ表示用のＧＵＩ部品を含む映像を出力している際に、前記受付手段で前記第１の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が大きくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整し、前記受付手段で前記第２の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が小さくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整する視差量調整手段と
を有することを特徴とする撮像装置。
前記３Ｄ表示用のＧＵＩ部品を含む映像は左目用画像と右目用画像とを含み、
前記視差量調整手段は、前記第１の操作を受け付けたことに応じて前記左目用画像を右に、前記右目用画像を左にシフトさせ、前記第２の操作を受け付けたことに応じて前記左目用画像を左に、前記右目用画像を右にシフトさせることを特徴とする請求項１に記載の撮像装置。
前記受付手段で前記第１の操作または前記第２の操作を受け付けたことに応じて、前記出力手段から出力される映像の電子ズーム処理を行う電子ズーム処理手段を更に有することを特徴とする請求項１または２に記載の撮像装置。
前記電子ズーム処理手段は、前記第１の操作を受け付けたことに応じて電子ズームでの拡大処理を行い、前記第２の操作を受け付けたことに応じて電子ズームでの縮小処理を行うことを特徴とする請求項３に記載の撮像装置。
前記出力手段は、２Ｄ表示用の映像も出力可能であり、
前記電子ズーム処理手段は、前記出力手段から前記２Ｄ表示用の映像を出力している際に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記出力手段から出力される２Ｄ表示用の映像の電子ズーム処理を行うことを特徴とする請求項３または４に記載の撮像装置。
前記出力手段から出力される３Ｄ表示用のＧＵＩ部品を含む映像の一部領域を選択する選択手段と、
前記選択手段で３Ｄ表示用のＧＵＩ部品を含む映像の一部領域が選択されている場合に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記電子ズーム処理手段が前記選択手段で選択されている前記一部領域の電子ズーム処理を行うように制御し、
前記選択手段で３Ｄ表示用のＧＵＩ部品を含む映像の一部領域が選択されていない場合に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記視差量調整手段が前記出力手段から出力される３Ｄ表示用のＧＵＩ部品の視差量を調整するように制御する制御手段と
を更に有することを特徴とする請求項３乃至５の何れか１項に記載の撮像装置。
前記受付手段は、前記第１の操作及び前記第２の操作が可能な単一のズーム操作手段に対する操作を受け付けることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
前記ズーム操作手段は、複数の位置に操作することが可能であり、
前記視差量調整手段は、前記ズーム操作手段が前記複数の位置のいずれに操作されているかに応じて異なる変化速度で段階的に視差量を変化させることを特徴とする請求項７に記載の撮像装置。
前記表示手段を有する外部機器と接続する接続手段を更に有し、
前記出力手段は、３Ｄ表示用のＧＵＩ部品を含む映像を前記接続手段を介して前記表示手段に出力することを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
前記表示手段を更に有することを特徴とする請求項１乃至９の何れか１項に記載の撮像装置。
ユーザーからの操作を受け付ける受付手段と、
３Ｄ表示用のＧＵＩ部品を含む映像を表示手段に出力可能な出力手段と、
前記受付手段で第１の操作を受け付けたことに応じて、前記出力手段から出力される映像の電子ズームでの拡大処理を行い、前記受付手段で第２の操作を受け付けたことに応じて前記出力手段から出力される映像の電子ズームでの縮小処理を行う電子ズーム処理手段と、
前記出力手段から３Ｄ表示用のＧＵＩ部品を含む映像を出力している際に、前記受付手段で前記第１の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が大きくなるように視差量を調整し、前記受付手段で前記第２の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が小さくなるように視差量を調整する視差量調整手段と
を有することを特徴とする画像処理装置。
前記３Ｄ表示用のＧＵＩ部品を含む映像は左目用画像と右目用画像とを含み、
前記視差量調整手段は、前記第１の操作を受け付けたことに応じて前記左目用画像を右に、前記右目用画像を左にシフトさせ、前記第２の操作を受け付けたことに応じて前記左目用画像を左に、前記右目用画像を右にシフトさせることを特徴とする請求項１１に記載の画像処理装置。
前記出力手段は、２Ｄ表示用の映像も出力可能であり、
前記電子ズーム処理手段は、前記出力手段から前記２Ｄ表示用の映像を出力している際に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記出力手段から出力される２Ｄ表示用の映像の電子ズーム処理を行うことを特徴とする請求項１１または１２に記載の画像処理装置。
前記出力手段から出力される３Ｄ表示用のＧＵＩ部品を含む映像の一部領域を選択する選択手段と、
前記選択手段で３Ｄ表示用のＧＵＩ部品を含む映像の一部領域が選択されている場合に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記電子ズーム処理手段が前記選択手段で選択されている前記一部領域の電子ズーム処理を行うように制御し、
前記選択手段で３Ｄ表示用のＧＵＩ部品を含む映像の一部領域が選択されていない場合に前記第１の操作または前記第２の操作を受け付けたことに応じて、前記視差量調整手段が前記出力手段から出力される３Ｄ表示用のＧＵＩ部品の視差量を調整するように制御する制御手段と
を更に有することを特徴とする請求項１１乃至１３の何れか１項に記載の画像処理装置。
前記受付手段は、前記第１の操作及び前記第２の操作が可能な単一のズーム操作手段に対する操作を受け付けることを特徴とする請求項１１乃至１４の何れか１項に記載の画像処理装置。
前記ズーム操作手段は、複数の位置に操作することが可能であり、
前記視差量調整手段は、前記ズーム操作手段が前記複数の位置のいずれに操作されているかに応じて異なる変化速度で段階的に視差量を変化させることを特徴とする請求項１５に記載の画像処理装置。
前記表示手段を有する外部機器と接続する接続手段を更に有し、
前記出力手段は、３Ｄ表示用のＧＵＩ部品を含む映像を前記接続手段を介して前記表示手段に出力することを特徴とする請求項１１乃至１６の何れか１項に記載の画像処理装置。
前記表示手段を更に有することを特徴とする請求項１１乃至１７の何れか１項に記載の画像処理装置。
撮像手段と、ユーザーからの操作を受け付ける受付手段と、３Ｄ表示用のＧＵＩ部品を含む映像を表示手段に出力可能な出力手段とを有する撮像装置の制御方法であって、
前記撮像手段での撮像時に、前記受付手段で第１の操作を受け付けたことに応じて前記撮像手段での撮像に用いるズームレンズを望遠側に光学ズームするように駆動し、前記受付手段で第２の操作を受け付けたことに応じて前記ズームレンズを広角側に駆動するように制御する光学ズームステップと、
前記出力手段から３Ｄ表示用のＧＵＩ部品を含む映像を出力している際に、前記受付手段で前記第１の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が大きくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整し、前記受付手段で前記第２の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が小さくなるように前記出力手段から出力される前記３Ｄ表示用のＧＵＩ部品の視差量を調整する視差量調整ステップと
を有することを特徴とする撮像装置の制御方法。
ユーザーからの操作を受け付ける受付手段と、３Ｄ表示用のＧＵＩ部品を含む映像を表示手段に出力可能な出力手段とを有する画像処理装置の制御方法であって、
前記受付手段で第１の操作を受け付けたことに応じて、前記出力手段から出力される映像の電子ズームでの拡大処理を行い、前記受付手段で第２の操作を受け付けたことに応じて前記出力手段から出力される映像の電子ズームでの縮小処理を行う電子ズーム処理ステップと、
前記出力手段から３Ｄ表示用のＧＵＩ部品を含む映像を出力している際に、前記受付手段で前記第１の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が大きくなるように視差量を調整し、前記受付手段で前記第２の操作を受け付けたことに応じて前記３Ｄ表示用のＧＵＩ部品の飛び出し量が小さくなるように視差量を調整する視差量調整ステップと
を有することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至１０の何れか１項に記載された撮像装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１乃至１０の何れか１項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
コンピュータを、請求項１１乃至１８の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１１乃至１８の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。