JP5433774B2 - 電子機器、表示制御方法及び表示制御プログラム - Google Patents

Description

本発明の実施形態は、三次元映像コンテンツを再生する電子機器、この電子機器に適用される表示制御方法及び表示制御プログラムに関する。

近年、三次元映像を観賞するための様々な映像表示装置が提供されている。このような映像表示装置の一つに、裸眼立体視方式（裸眼３Ｄ方式）による映像表示装置がある。裸眼立体視方式では、例えば、液晶ディスプレイ（ＬＣＤ）上に左眼用映像と右眼用映像とを同時に表示し（空間分割方式）、ＬＣＤの表示面に配置されたレンチキュラレンズやパララックスバリアによって、それら映像内の画素に対応する光線が射出される方向を制御する。これによりユーザは、左眼用映像の画素を左眼で、右眼用映像の画素を右眼で見ることができるので、三次元映像（立体映像）を知覚することができる。三次元映像は、例えばユーザの指定に応じて設定された領域において表示される。

特開平１０−２２４８２５号公報

従来では、三次元映像（立体映像）を表示する領域は、例えばユーザによって指定された位置やサイズに応じて予め設定される。この三次元映像（立体映像）を表示する領域の位置は固定されており、三次元映像を表示している間に変更することを想定していない。

本発明の目的は、裸眼立体視方式で三次元映像を表示している領域の範囲を変更する場合に、領域内で正しく映像を表示できる電子機器、表示制御方法及び表示制御プログラムを提供することである。

実施形態によれば、電子機器は、判別手段と、表示制御手段とを有する。判別手段は、映像を表示する対象とする領域の一部のみが画面内に存在するか否かを判別する。表示制御手段は、前記領域の一部のみが画面内に存在する場合には、前記領域に二次元映像を表示し、前記領域の全体が画面内に存在する場合には、前記領域に三次元映像を表示する。

本実施形態に係る電子機器の外観を示す斜視図。 本実施形態におけるパーソナルコンピュータのシステム構成を示す図。 本実施形態における映像コンテンツ再生プログラムの機能構成の例を示すブロック図。 本実施形態における映像再生処理の手順の例について示すフローチャート。 本実施形態における映像表示領域移動処理の手順の例について示すフローチャート。 本実施形態における映像表示領域移動処理を説明するための画面例を示す図。 本実施形態における映像表示領域移動処理を説明するための画面例を示す図。 本実施形態における映像表示領域移動処理を説明するための画面例を示す図。 本実施形態における映像表示領域移動処理を説明するための画面例を示す図。 本実施形態における三次元映像データのデータ構造の例を示す図。 本実施形態における映像表示領域移動処理を説明するための画面例を示す図。 本実施形態における映像表示領域サイズ変更処理の手順の例を示すフローチャート。 本実施形態における映像表示領域サイズ変更処理を説明するための画面例を示す図。 本実施形態における映像表示領域サイズ変更処理を説明するための画面例を示す図。 本実施形態における映像表示領域サイズ変更処理を説明するための画面例を示す図。

以下、実施の形態について図面を参照して説明する。
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この電子機器は、テレビジョン受信機、映像データを保存するためのレコーダ（例えば、ハードディスクレコーダ、ＤＶＤレコーダ）、タブレットＰＣ、スレートＰＣ、ＰＤＡ（personal digital assistant）、カーナビゲーション装置、スマートフォン等として実現され得る。

図１に示すように、パーソナルコンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。
ディスプレイユニット３には、三次元ディスプレイ（３Ｄディスプレイ）１５が組み込まれている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。

また、３Ｄディスプレイ１５は、ＬＣＤ（liquid crystal display）１５Ａとレンズユニット１５Ｂとを備える。レンズユニット１５Ｂは、ＬＣＤ１５Ａの表示面に重ね合わせられている。レンズユニット１５Ｂは、ＬＣＤ１５Ａに表示される映像に含まれる複数の画素に対応する複数の光線をそれぞれ所定の方向に射出するための複数のレンズ機能を含む。レンズユニット１５Ｂは、例えば、三次元映像表示に必要なレンズ機能を電気的にスイッチングできる液晶ＧＲＩＮ（gradient index）レンズである。液晶ＧＲＩＮレンズでは、平坦な液晶層を用いて電極で屈折率分布を作るので、例えば、画面内の指定した領域で三次元映像を表示し、他の領域で二次元映像を表示することができる。つまり、三次元映像を表示する領域と二次元映像を表示する領域とでレンズの屈折率を変えることにより、三次元映像を表示するための三次元映像表示モードと、二次元映像を表示するための二次元映像表示モードとを、画面内で部分的に切り替えることができる。三次元映像表示モードに設定された領域では、その領域に表示される左眼用映像と右眼用映像とを含む三次元映像が眼間距離や観視距離等に応じた視差を有するように、屈折率が変更される。二次元映像表示モードに設定された領域では、その領域に表示される二次元映像が屈折されることなくそのまま表示されるように、屈折率が変更される。３Ｄディスプレイ１５では、画面内に設定された、任意の位置及びサイズを有する複数の領域それぞれを、三次元映像表示モードと二次元映像表示モードのいずれか一方に設定できる。

３Ｄディスプレイ１５は、三次元映像表示モードの領域では左眼用映像と右眼用画像とを表示し、二次元映像表示モードの領域では二次元映像を表示する。そのためユーザは、画面内の三次元映像表示モードに設定された領域を見たとき三次元映像を知覚し、二次元映像表示モードに設定された領域を見たとき二次元映像を知覚することができる。

コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、パーソナルコンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、ポインティングデバイス（タッチパッド）２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。

コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子１０Ａが設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

図２は、パーソナルコンピュータ１のシステム構成を示す図である。
パーソナルコンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、表示コントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、３Ｄディスプレイ１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、ＴＶチューナ１０等を備えている。

ＣＰＵ１１は、パーソナルコンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、及び映像コンテンツ再生プログラム１３Ｂ等のようなアプリケーションプログラムを実行する。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータを視聴するための機能を有するソフトウェアである。この映像コンテンツ再生プログラム１３Ｂは、ＴＶチューナ１０によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ２１に記録する録画処理、ＨＤＤ２１に記録された放送番組データ／ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータを再生する再生処理等を実行する。また、映像コンテンツ再生プログラム１３Ｂは、ＤＶＤのような記憶メディアやハードディスクのような記憶装置に格納された映像コンテンツデータを再生することもできる。

さらに、映像コンテンツ再生プログラム１３Ｂは、三次元映像を再生するための機能も有する。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータに含まれる二次元映像を三次元映像にリアルタイムで変換して画面（３Ｄディスプレイの画面）１５上に表示する。映像コンテンツ再生プログラム１３Ｂは、様々な映像コンテンツデータ（たとえば、放送番組データ、記憶メディアや記憶装置に格納されたビデオデータ、インターネット上のサーバから受信したビデオデータ、等）を２Ｄ−３Ｄ変換することができる。

三次元映像の表示には、裸眼立体視方式（例えば、インテグラルイメージング方式、レンチキュラ方式、パララックスバリア方式等）による３Ｄディスプレイ１５が用いられる。ユーザは、裸眼立体視方式による３Ｄディスプレイ１５に表示された映像を見ることにより、三次元映像を裸眼で知覚することができる。

また、映像コンテンツ再生プログラム１３Ｂは、三次元映像を再生している時に発生した、三次元映像を表示する領域の範囲を変更するイベントに応じて、三次元映像から二次元映像に表示を変更する表示制御機能を有する。領域の範囲を変更するイベントには、例えば領域の移動やサイズの変更などがある。

裸眼立体視方式による三次元映像を表示する領域は、例えばＯＳ１３Ａの制御により矩形指定する。一般に、ＯＳ１３Ａにより設定される領域（ウィンドウ）は、ユーザの操作によって任意に移動やリサイズが可能となっている。本実施形態では、三次元映像を表示するためのウィンドウについても同様に移動やリサイズを可能とする。三次元映像を再生しているウィンドウを移動あるいはリサイズした場合、移動あるいはリサイズの変化に応じてリアルタイムで三次元映像を継続して表示するためには負担が大きい処理が必要となる。例えば、連続的に変化するウィンドウの位置やサイズに合わせた三次元映像を生成して、ウィンドウ内に三次元映像を表示させると共に、ウィンドウの位置やサイズに合わせてレンズユニット１５Ｂを駆動させる必要がある。このため、ウィンドウの移動やリサイズをしている間に、三次元映像を表示するための処理が追随できずに正しく映像を表示できなくなる可能性がある。

そのため、映像コンテンツ再生プログラム１３Ｂは、表示制御機能により、三次元映像を表示しているウィンドウの位置やサイズを変更するイベントが発生した場合に、ウィンドウの位置やサイズが変更されている間においては、三次元映像を二次元映像に変更して表示するように制御する。そして、ウィンドウの位置やサイズの変更が終了した時に、再び、三次元映像が表示させる。これにより、三次元映像を表示しているウィンドウの位置やサイズ変更がある場合であっても、継続してウィンドウ内で正しく映像を表示させると共に、ユーザにストレスを与えないようにできる。

また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、表示コントローラ１４との通信を実行する機能も有している。

表示コントローラ１４は、パーソナルコンピュータ１のディスプレイとして使用されるＬＣＤ１５Ａを制御するデバイスである。この表示コントローラ１４によって生成される表示信号はＬＣＤ１５Ａに送られる。ＬＣＤ１５Ａは、表示信号に基づいて映像を表示する。

サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。

また、サウスブリッジ１６は、映像コンテンツ再生プログラム１３Ｂによる要求等に応じて、レンズユニット１５Ｂ内の複数の領域がそれぞれ三次元映像表示モードと二次元映像表示モードのいずれか一方に設定されるように制御するための制御信号を、レンズユニット１５Ｂに出力することができる。レンズユニット１５Ｂは、サウスブリッジ１６によって出力された制御信号に応じて、例えば、複数の領域それぞれに対応する液晶層内の部分の屈折率を変更することにより、その領域を三次元映像表示モードと二次元映像表示モードのいずれか一方に設定する。

サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じてパーソナルコンピュータ１をパワーオン／パワーオフする機能を有している。

ＴＶチューナ１０はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１０Ａに接続されている。もちろん、ＴＶチューナ１０が内蔵アンテナを用いてＴＶ放送信号を受信するようにしてもよい。このＴＶチューナ１０は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１０は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

図３は、映像コンテンツ再生プログラム１３Ｂの機能構成の例を示すブロック図である。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータ３０を三次元映像又は二次元映像として再生するための映像再生機能を有する。また。映像コンテンツ再生プログラム１３Ｂは、三次元映像を再生している時に発生した、三次元映像を表示する領域の範囲を変更するイベントに応じて、三次元映像から二次元映像に表示を変更する表示制御機能を有する。

映像コンテンツ再生プログラム１３Ｂは、映像リード部３１、映像処理部３２、映像表示部３３、２Ｄ／３Ｄ切替部３４、イベント検出部３５（領域座標入力部３６、終了判別部３７）、及び領域位置判別部３８を備える。映像リード部３１、映像処理部３２、映像表示部３３、及び２Ｄ／３Ｄ切替部３４は、映像再生機能を実現する。映像処理部３２、イベント検出部３５、領域位置判別部３８、及び２Ｄ／３Ｄ切替部３４は、表示制御機能を実現する。以下では、映像再生機能のための構成と表示制御機能のための構成とを説明する。

まず、映像再生機能のための構成について説明する。
映像リード部３１は、例えば、ＤＶＤのような記憶メディアやＨＤＤ２１のような記憶装置から、映像コンテンツデータ３０を読み出す。なお、映像リード部３１は、ＴＶチューナ３０やＬＡＮコントローラ２０，２３等を介して、映像コンテンツデータ３０を受信してもよい。映像コンテンツデータ３０は、二次元映像を表示するための二次元映像データ、又は三次元映像を表示するための三次元映像データを含む。これら映像データは、例えば、圧縮符号化された映像データ（例えば、ＭＰＥＧ（Moving Picture Experts Group）方式）である。その場合、映像データは復号して用いられる。また、映像コンテンツデータ３０は、各種のメタデータを含んでもよい。映像リード部３１は、読み出した（受信した）映像コンテンツデータ３０を映像処理部３２に出力する。

なお、映像コンテンツデータ３０に含まれる三次元映像データには、三次元映像用の左眼用映像データと右眼用映像データが含まれる。三次元映像データのデータ構造には、例えば、１つのフレーム内に左眼用映像データと右眼用映像データとを左右に配置したサイドバイサイド形式と、１つのフレーム内に左眼用映像データと右眼用映像データとを上下に配置したトップアンドボトム形式があるものとする。

映像処理部３２は、映像リード部３１によって出力された映像コンテンツデータ３０を用いて、映像データを生成する。具体的には、映像処理部３２は、まず、映像が二次元映像表示モードと三次元映像表示モードのいずれで表示されるかを決定する。映像処理部３２は、例えば、映像コンテンツデータ３０に三次元映像データが含まれるとき、映像を三次元映像表示モードで表示することを決定する。また、映像処理部３２は、例えば、ユーザによって指定された表示モードで映像を表示することを決定する。ユーザは、例えば、二次元映像表示モードと三次元映像表示モードのいずれかを選択するためのボタンを含む操作画面を用いて、映像表示モードを選択する。

映像処理部３２は、三次元映像表示モードで映像を表示することが決定され、且つ映像コンテンツデータ３０に三次元映像データが含まれるとき、その三次元映像データを用いて、左眼用映像データと右眼用映像データとを生成する。映像処理部３２は、２Ｄ／３Ｄ切替部３４に、３Ｄディスプレイ１５内の映像表示領域を三次元映像表示モードに設定することを要求する。より具体的には、映像処理部３２は、映像表示領域（表示ウィンドウ）の範囲を示す情報（例えば、矩形の左上頂点と右下頂点の座標情報等）と、指定した領域（すなわち、映像表示領域）を三次元映像表示モードに設定することを示す情報とを２Ｄ／３Ｄ切替部３４に出力する。映像表示領域は、例えば、映像コンテンツデータ３０に基づく映像を表示するためのウィンドウ領域である。そして、映像処理部３２は、映像表示領域（表示ウィンドウ）の範囲を示す座標情報と、生成した左眼用映像データと右眼用映像データとを映像表示部３３に出力する。なお、映像表示領域（表示ウィンドウ）がＬＣＤ１５Ａの表示範囲に収まらない位置にある場合、すなわち映像表示領域の一部のみが表示される位置にある場合には、表示可能な範囲を示す座標情報が映像表示部３３に出力される。

また、映像処理部３２は、三次元映像表示モードで映像を表示することが決定され、且つ映像コンテンツデータ３０に二次元映像データが含まれるとき、その二次元映像データに２Ｄｔｏ３Ｄ変換を施す。２Ｄｔｏ３Ｄ変換により、二次元映像内の各画像フレームに含まれる複数の画素に対応する複数の奥行き値が推定され、両眼視差や観視距離等を考慮して、推定された複数の奥行き値に対応する複数の視差が算出される。つまり、画像フレームに含まれる複数の画素に対応する複数の視差が算出される。映像処理部３２は、算出された視差に基づいて、左眼用映像データと右眼用映像データとを生成する。映像処理部３２は、２Ｄ／３Ｄ切替部３４に、３Ｄディスプレイ１５内の映像表示領域を三次元映像表示モードに設定することを要求する。そして、映像処理部３２は、生成した左眼用映像データと右眼用映像データとを映像表示部３３に出力する。

さらに、映像処理部３２は、二次元映像表示モードで映像を表示することが決定され、且つ映像コンテンツデータ３０に二次元映像データが含まれるとき、２Ｄ／３Ｄ切替部３４に、３Ｄディスプレイ１５内の映像表示領域を二次元映像表示モードに設定することを要求する。そして、映像処理部３２は、二次元映像データを映像表示部３３に出力する。

２Ｄ／３Ｄ切替部３４は、映像処理部３２による要求に応じて、映像表示領域の映像表示モードを切り替える。具体的には、２Ｄ／３Ｄ切替部３４は、映像処理部３２によって出力された情報に基づいて、指定された領域を指定された映像表示モードに設定する。例えば、映像処理部３２によって映像表示領域を三次元映像表示モードに設定することが要求され、且つ映像表示領域が二次元映像表示モードに設定されているとき、２Ｄ／３Ｄ切替部３４は、映像表示領域を二次元映像表示モードから三次元映像表示モードに切り替える。また、映像処理部３２によって二次元映像表示モードに設定することが要求され、且つ映像表示領域が三次元映像表示モードに設定されているとき、２Ｄ／３Ｄ切替部３４は、映像表示領域を三次元映像表示モードから二次元映像表示モードに切り替える。三次元映像表示モードでは、レンズユニット１５Ｂ内の映像表示領域に対応する部分が、三次元映像表示に必要なレンズ機能（屈折率）を有するように制御される。二次元映像表示モードでは、レンズユニット１５Ｂ内の映像表示領域に対応する部分が、二次元映像表示に必要なレンズ機能を有するように（すなわち、二次元映像が偏光されることなくそのまま表示されるように）制御される。

映像表示部３３は、ＬＣＤ１５Ａ内の映像表示領域に映像を表示する。具体的には、映像処理部３２によって左眼用映像データと右眼用映像データとが出力されているとき、映像表示部３３は、それら左眼用映像データと右眼用映像データとを用いて、左眼用映像と右眼用映像とをＬＣＤ１５Ａ内の映像表示領域に表示する。具体的には、映像表示部３３は、三次元映像データがサイドバイサイド形式である場合、１つのフレームを左右に分割する中心線の左側にある左眼用映像データと右側にある右眼用映像データとを抽出し、それぞれのデータを合成して１フレームで左眼用映像と右眼用映像を表示するための三次元映像用の表示データを生成する。ＬＣＤ１５Ａは、映像表示部３３により生成された三次元映像用の表示データをもとに映像を表示する。

なお、映像表示領域（表示ウィンドウ）がＬＣＤ１５Ａの表示範囲に収まらない位置にある場合、すなわち映像表示領域の一部のみが表示される位置にある場合には、表示可能な範囲を示す座標情報が映像表示部３３に出力される。この場合、座標情報に対応する、映像表示領域の一部に対応する三次元映像データを用いて三次元映像用の表示データを生成することになる。すなわち、三次元映像データの一部のみを用いて三次元映像用の表示データを生成することになるため、本来の三次元映像とは異なる崩れた映像を表示してしまう。そこで、本実施形態の映像コンテンツ再生プログラム１３Ｂでは、映像表示領域の全体がＬＣＤ１５Ａの表示範囲に収まらない位置にある場合には、強制的に映像処理部３２によって二次元映像表示モードに切り替えて二次元映像が表示されるようにする。これにより、映像表示領域に表示される映像が崩れないようにすることができる。

映像表示部３３は、映像処理部３２によって二次元映像データが出力されているとき、二次元映像データを用いて、二次元映像をＬＣＤ１５Ａ内の映像表示領域に表示する。

以上の映像再生機能のための構成により、ユーザは、３Ｄディスプレイ１５（映像表示領域）に表示された三次元映像又は二次元映像を観賞することができる。なお、３Ｄディスプレイ１５に三次元映像が表示されるとき、ＬＣＤ１５Ａ内の映像表示領域に表示された左眼用映像と右眼用映像とは、レンズユニット１５Ｂ内の映像表示領域に対応する部分によって各画素の射出方向が制御される。これによりユーザは、映像を裸眼で立体的に知覚することができる。

次いで、表示制御機能のための構成について説明する。
イベント検出部３５は、映像表示領域（表示ウィンドウ）の範囲を変更するイベント、例えば映像表示領域の位置を移動するイベントや映像表示領域のサイズを変更するイベントの発生を検出する。すなわち、イベント検出部３５は、映像表示領域の移動／サイズ変更のイベントの発生に伴って、変更後の映像表示領域の範囲を示す座標情報（領域座標）をＯＳ１３Ａから入力する。イベント検出部３５の領域座標入力部３６は、映像表示領域の範囲を変更する処理が行われている間、例えば一定時間毎に変更後の座標情報をＯＳ１３Ａから取得する。終了判別部３７は、イベントが発生した後、領域座標入力部３６によって一定時間が経過しても座標情報が入力されない場合に、映像表示領域の移動／サイズ変更が終了したことを判別する。なお、終了判別部３７は、例えば、映像表示領域の移動／サイズ変更の処理の開始と終了がＯＳ１３Ａから通知される場合には、この通知に基づいて終了を判別することも可能である。

イベント検出部３５は、映像表示領域の移動／サイズ変更のイベント発生に応じて、映像表示領域の範囲を変更する処理が行われている間、例えば一定時間毎に変更後の座標情報を映像処理部３２に通知する。映像処理部３２は、イベント検出部３５からの通知に応じて、移動／サイズ変更の対象となっている映像表示領域を三次元映像表示モードに設定している場合には、二次元映像表示モードに切り替えて二次元映像を表示させる。すなわち、映像処理部３２は、２Ｄ／３Ｄ切替部３４に対して、変更後の映像表示領域の範囲を示す座標情報（領域座標）を通知すると共に、映像表示領域を二次元映像表示モードに設定することを要求する。

領域位置判別部３８は、映像表示領域の範囲の変更がしたことが終了判別部３７により判別された場合に、変更後の映像表示領域の全体がＬＣＤ１５Ａの表示範囲に含まれているかを判別する。映像表示領域の全体がＬＣＤ１５Ａの表示範囲に含まれないと判別した場合、領域位置判別部３８は、映像処理部３２に通知して、映像表示領域に二次元映像を表示させる。

次に、図４のフローチャートを参照して、映像再生処理の手順の例について説明する。映像コンテンツ再生プログラム１３Ｂは、映像コンテンツデータ３０を用いて、三次元映像又は二次元映像を映像表示領域に表示する。

まず、映像リード部３１は、例えばＨＤＤ２１のような記憶装置から映像コンテンツデータ３０を読み出す（ブロックＢ１０１）。映像コンテンツデータ３０は、二次元映像データ又は三次元映像データを含む。映像リード部３１は、読み出された映像コンテンツデータ３０を映像処理部３２に出力する。

次いで、映像処理部３２は、映像リード部３１によって出力された映像コンテンツデータ３０が三次元映像として再生されるか否かを判定する（ブロックＢ１０２）。例えば映像コンテンツデータ３０が三次元映像データを含むとき、映像処理部３２は映像コンテンツデータ３０が三次元映像として再生されると判定する。また、例えばユーザによって映像コンテンツデータ３０を三次元映像として再生することが指示されているとき、映像処理部３２は、映像コンテンツデータ３０が三次元映像として再生されると判定する。

映像コンテンツデータ３０が三次元映像として再生されると判定されたとき（ブロックＢ１０２のＹＥＳ）、映像処理部３２は、現在の映像表示領域の全体が、ＬＣＤ１５Ａの表示範囲に含まれているかを判別する（ブロックＢ１０３）。

映像表示領域の全体がＬＣＤ１５Ａの表示範囲に含まれていると判定されたとき（ブロックＢ１０４のＹＥＳ）、映像処理部３２は、映像コンテンツデータ３０を用いて左眼用映像データと右眼用映像データとを生成する（ブロックＢ１０５）。具体的には、映像コンテンツデータ３０が三次元映像データを含む場合、映像処理部３２は、その三次元映像データを用いて左眼用映像データと右眼用映像データとを生成する。また、映像コンテンツデータ３０が二次元映像データを含む場合、映像処理部３２は、その二次元映像データに２Ｄｔｏ３Ｄ変換を施すことにより、左眼用映像データと右眼用映像データとを生成する。

そして、２Ｄ／３Ｄ切替部３４は、左眼用映像データと右眼用映像データとが表示される映像表示領域が三次元映像表示モードに設定されているか否かを判定する（ブロックＢ１０６）。映像表示領域が三次元映像表示モードに設定されているとき（ブロックＢ１０６のＹＥＳ）、映像表示部３３は、左眼用映像データと右眼用映像データとを用いて、映像表示領域に左眼用映像と右眼用映像とを表示する（ブロックＢ１０８）。

また、映像表示領域が三次元映像表示モードに設定されていないとき（ブロックＢ１０６のＮＯ）、すなわち、二次元映像表示モードに設定されているとき、２Ｄ／３Ｄ切替部３４は、映像表示領域（映像表示領域に対応するレンズユニット１５Ｂ内の部分）を二次元映像表示モードから三次元映像表示モードに切り替える（ブロックＢ１０７）。そして、映像表示部３３は、左眼用映像データと右眼用映像データとを用いて、映像表示領域に左眼用映像と右眼用映像とを表示する（ブロックＢ１０８）。

一方、映像表示領域の全体がＬＣＤ１５Ａの表示範囲に含まれていないと判定されたとき（ブロックＢ１０４のＮＯ）、映像処理部３２は、 映像コンテンツデータ３０が三次元映像データを含むとき、あるいはユーザによって映像コンテンツデータ３０を三次元映像として再生することが指示されているときであっても、次のようにして映像表示領域に二次元映像を表示する。

すなわち、映像処理部３２は、映像コンテンツデータ３０を用いて二次元映像データを生成する（ブロックＢ１０９）。映像コンテンツデータ３０に三次元映像データが含まれる場合には、例えば左眼用映像データあるいは右眼用映像データの何れか一方を用いて二次元映像データを生成する。そして、２Ｄ／３Ｄ切替部３４は、映像表示領域が二次元映像表示モードに設定されているか否かを判定する（ブロックＢ１１０）。映像表示領域が二次元映像表示モードに設定されているとき（ブロックＢ１１０のＹＥＳ）、映像表示部３３は、二次元映像データを用いて、映像表示領域に二次元映像を表示する（ブロックＢ１１１）。

また、映像表示領域が二次元映像表示モードに設定されていないとき（ブロックＢ１１０のＮＯ）、すなわち、三次元映像表示モードに設定されているとき、２Ｄ／３Ｄ切替部３４は、映像表示領域を三次元映像表示モードから二次元映像表示モードに切り替える（ブロックＢ１１１）。そして、映像表示部３３は、二次元映像データを用いて、映像表示領域に二次元映像を表示する（ブロックＢ１１２）。

こうして、映像表示領域の全体がＬＣＤ１５Ａの表示範囲に含まれない場合には、映像表示領域を二次元映像表示モードに設定して二次元映像を表示することにより、表示が崩れないようにすることができる。

なお、映像コンテンツデータ３０が三次元映像として再生されないと判定されたとき（ブロックＢ１０２のＮＯ）には、前述と同様にして、映像表示領域に二次元映像を表示する（ブロックＢ１０９〜Ｂ１１２）。

以上の処理により、映像コンテンツデータ３０を用いて、映像表示領域４０に二次元映像又は三次元映像が表示される。映像コンテンツデータ３０は、フレーム毎に順次再生される。

次に、図５のフローチャートを参照して、映像表示領域移動処理の手順の例について説明する。図６、図７、図８、及び図９は、映像表示領域移動処理を説明するためのＬＣＤ１５Ａにおける画面例を示す図である。

図６に示す画面例は、画面１５１の一部領域に映像を表示するための映像表示領域４０ａが設定された例を示している。映像表示領域４０ａは、三次元映像を表示する三次元映像表示モードと二次元映像を表示する二次元映像表示モードのいずれかに設定することができる。映像表示領域４０ａ以外の領域では、二次元映像（二次元画像）が表示される。

また、画面１５１には、ユーザによるポインティングデバイス２７（タブレット、マウス等）の操作によって移動するポインタ４２が表示されている。映像表示領域４０ａの位置は、映像表示領域４０ａに付加された所定の領域（例えば、タイトルバー４１ａ）にポインタ４２を合わせて、ドラッグ操作することにより移動させることができる。

ここでは、映像表示領域４０ａに三次元映像表示モードが設定され、三次元映像が表示されている状態にあるものとする。ユーザによるポインティングデバイス２７の操作によって映像表示領域４０ａの移動が指示されると、ＯＳ１３Ａは、映像表示領域４０ａの表示位置を変更させる。また、映像コンテンツ再生プログラム１３Ｂの領域座標入力部３６は、映像表示領域４０ａの移動に伴って、映像表示領域４０ａの範囲を示す座標情報をＯＳ１３Ａから取得する。

イベント検出部３５は、領域座標入力部３６による座標情報の取得によって、映像表示領域４０ａの移動を検出すると（ブロックＢ２０１のＹＥＳ）、映像処理部３２に映像表示領域４０ａの移動イベントの発生と座標情報を通知する。

映像処理部３２は、イベント検出部３５からの通知に応じて、２Ｄ／３Ｄ切替部３４に対して、映像表示領域４０ａについての三次元領域指定の無効化を指示する（ブロックＢ２０２）。２Ｄ／３Ｄ切替部３４は、映像処理部３２からの指示に応じて、レンズユニット１５Ｂの映像表示領域４０ａに対応する領域を二次元映像表示モードに切り替える。

イベント検出部３５は、映像表示領域４０ａの移動が行われている間、例えば一定時間毎に変更後の座標情報をＯＳ１３Ａから取得して映像処理部３２に通知する。映像処理部３２は、二次元映像データを生成して映像表示部３３に出力すると共に、一定時間毎に入力される座標情報を映像表示部３３に出力する（ブロックＢ２０３）。従って、映像表示部３３は、図７に示すように、移動されている間の映像表示領域４０ｂに二次元映像を表示させることができる。

図７は、映像表示領域４０ａが移動されている間の画面例を示している。図７に示すように、ポインタ４２を移動させる操作に伴って映像表示領域４０ａ及びタイトルバー４１ｂの移動が開始されると、移動されている間の映像表示領域４０ｂには二次元映像が表示される。

イベント検出部３５の終了判別部３７は、映像表示領域４０ｂ及びタイトルバー４１ｂの移動が停止されたことを判別すると（ブロックＢ２０４のＹＥＳ）、映像処理部３２と領域位置判別部３８に通知する。領域位置判別部３８は、移動後の映像表示領域の位置がＬＣＤ１５Ａの表示範囲に含まれているか判別する（ブロックＢ２０５）。

例えば、図８に示すように、ポインタ４２を移動させる操作に伴って映像表示領域４０ｃ及びタイトルバー４１ｃが移動され、映像表示領域４０ｃの全体が画面１５１に表示される位置で移動が終了された場合には、領域位置判別部３８により移動後の映像表示領域の位置がＬＣＤ１５Ａの表示範囲に含まれていると判別される（ブロックＢ２０６のＹｅｓ）。

この場合、映像処理部３２は、領域位置判別部３８からの通知に応じて三次元映像データを生成して映像表示部３３に出力すると共に、移動後の映像表示領域４０ｃの座標情報を映像表示部３３に出力する（ブロックＢ２０７）。また、映像処理部３２は、２Ｄ／３Ｄ切替部３４に対して、映像表示領域４０ｃについての三次元領域指定の有効化を指示する。２Ｄ／３Ｄ切替部３４は、映像処理部３２からの指示に応じて、レンズユニット１５Ｂの映像表示領域４０ｃに対応する領域を三次元映像表示モードに切り替える（ブロックＢ２０８）。従って、像表示部３３は、図８に示すように、移動後の映像表示領域４０ｃに三次元映像を表示させることができる。

一方、図９に示すように、ポインタ４２を移動させる操作に伴って映像表示領域４０ｄ及びタイトルバー４１ｄが移動され、映像表示領域４０ｄの全体が画面１５１に表示されない位置で移動が終了された場合には、領域位置判別部３８により移動後の映像表示領域４０ｄの位置がＬＣＤ１５Ａの表示範囲に含まれていないと判別される（ブロックＢ２０６のＮＯ）。この場合、領域位置判別部３８は、映像処理部３２に対して、映像表示領域４０ｄがＬＣＤ１５Ａの表示範囲からはみ出していることを通知する。映像処理部３２は、映像表示領域４０ｄを二次元映像表示モードにしたままにして、映像表示部３３によって二次元映像を映像表示領域４０ｄに表示させる。映像表示部３３は、表示可能な範囲を示す座標情報を映像処理部３２から入力し、この範囲に該当する二次元映像データを用いて、映像表示領域４０ｄに二次元映像を表示させる。

このようにして、三次元映像を表示させている映像表示領域４０ａの位置が移動される場合、映像表示領域４０ａが二次元映像表示モードに切り替えられ、移動されている間の映像表示領域４０ｂには二次元映像が表示される。二次元映像を表示させる場合には、レンズユニット１５Ｂの駆動や三次元映像データの生成など、負荷の大きい処理が不要であるため、映像表示領域４０ｂ内で表示される映像が崩れてしまうことがない。すなわち、移動中の映像表示領域４０ｂにおいて正しい映像を継続して表示することが可能となる。

なお、前述した説明では、図９に示すように、映像表示領域４０ｄの全体が画面１５１に含まれない場合には、二次元映像表示モードのままで二次元映像を表示させるとしているが、三次元映像データのデータ構造と、映像表示領域が画面１５１からはみ出た位置に基づいて、映像表示領域を二次元映像表示モードまたは三次元映像表示モードの何れに設定するかを判別するようにしても良い。

図１０は、１つのフレーム５０内に左眼用映像データ５１と右眼用映像データ５２とを左右に配置したサイドバイサイド形式の三次元映像データのデータ構造を示している。

このデータ構造の場合、図１０に示すように、１つのフレームを左右に分割する中心線５３の左側にある左眼用映像データ５１と右側にある右眼用映像データ５２とを抽出し、それぞれのデータを合成して１フレームで左眼用映像と右眼用映像を表示するための三次元映像用の表示データ５４を生成する。ＬＣＤ１５Ａは、映像表示部３３により生成された三次元映像用の表示データ５４をもとに三次元映像を表示する。

この場合、図１１に示すように、映像表示領域４０ｅが画面１５１の右辺からはみ出している場合、映像処理部３２は、映像表示領域４０ｆの表示可能な範囲を示す座標情報（Ｐ１，Ｐ２）を映像表示部３３に出力する。映像処理部３２が映像表示部３３に対して、図１０に示すサイドバイサイド形式の三次元映像データを出力すると、表示可能な範囲に対応するデータを対象として三次元映像用の表示データ５４を生成して表示する。すなわち、本来の中心線５３とは異なる、表示可能な範囲に対応するデータの中心線５５をもとにして三次元映像用の表示データ５４を生成して表示する。この場合、正しい三次元映像を表示することができなくなるため、前述したように、映像表示領域４０ｅでは二次元映像表示モードにして二次元映像を表示させる。なお、画面１５１の左辺から映像表示領域４０ｅがはみ出した場合も同じである。

これに対して、図１１に示すように、映像表示領域４０ｆが画面１５１の上辺からはみ出している場合、映像処理部３２は、映像表示領域４０ｅの表示可能な範囲を示す座標情報（Ｐ３，Ｐ４）を映像表示部３３に出力する。この場合、表示可能な範囲に対応するデータの中心線５３をもとにして三次元映像用の表示データ５４を生成して表示する。すなわち、表示可能な範囲に対応する左眼用映像データ５１と右眼用映像データ５２をもとにして三次元映像用の表示データ５４を生成するため、映像表示領域４０ｆ中の表示可能な範囲（Ｐ３，Ｐ４）では正しい三次元映像を表示することができる。なお、画面１５１の下辺から映像表示領域４０ｆがはみ出した場合も同じである。

従って、領域位置判別部３８は、三次元映像データのデータ構造がサイドバイサイド形式である場合には、画面１５１の左辺あるいは右辺から映像表示領域４０ｅがはみ出していることを判別すると映像処理部３２に通知し、映像表示領域４０ｅを二次元映像表示モードにさせる。一方、領域位置判別部３８は、画面１５１の上辺あるいは下辺から映像表示領域４０ｅがはみ出していることを判別した場合であっても、映像処理部３２に映像表示領域４０ｅがはみ出していることを通知しない。従って、映像表示領域４０ｆが三次元映像表示モードのままとなり継続して三次元映像を表示させることができる。

同様にして、三次元映像データのデータ構造が、１つのフレーム内に左眼用映像データと右眼用映像データとを上下に配置したトップアンドボトム形式である場合には、画面１５１の上辺あるいは下辺から映像表示領域４０ｆがはみ出している場合には、映像表示領域４０ｆを二次元映像表示モードにし、画面１５１の右辺あるいは左辺から映像表示領域４０ｅがはみ出している場合には、映像表示領域４０ｅを三次元映像表示モードのままにする。

このようにして、三次元映像データのデータ構造と、映像表示領域が画面１５１からはみ出た位置に基づいて、映像表示領域を二次元映像表示モードと三次元映像表示モードの何れにするか決定することで、画面１５１からはみ出る位置に映像表示領域が移動された場合であっても可能な限り三次元映像の表示を継続することができる。

次に、図１２のフローチャートを参照して、映像表示領域サイズ変更処理の手順の例について説明する。図１３、図１４、及び図１５は、映像表示領域サイズ変更処理を説明するためのＬＣＤ１５Ａにおける画面例を示す図である。

図１３に示す画面例は、図６と同様にして、画面１５１の一部領域に映像を表示するための映像表示領域４０ａが設定された例を示している。映像表示領域４０ａの所定の位置、例えば映像表示領域４０ａの４隅あるいは辺上にポインタ４２を合わせた場合に、映像表示領域４０ａのサイズを変更するモードに移行したことを示すポインタ４３に変更される。映像表示領域４０ａのサイズは、ポインタ４３をドラッグ操作することにより変更することができる。

なお、映像表示領域サイズ変更処理は、前述した映像表示領域移動処理（図５）と基本的に同様にして実行されるものとして、詳細な説明を省略する。すなわち、図５に示すブロックＢ２０１〜Ｂ２０８の処理と、図１２に示すブロックＢ３０１〜Ｂ３０８の処理とがそれぞれ対応している。

映像表示領域サイズ変更処理では、図１４に示すように、映像表示領域４０ｇのサイズが変更されている間、映像表示領域４０ｇを二次元映像表示モードに切り替えて二次元映像を表示させる。そして、サイズ変更の処理が終了した場合、図１５に示すように、サイズ変更後の映像表示領域４０ｈを三次元映像表示モードに切り替えて三次元映像を表示させる。

なお、前述した説明では、ポインタ４２，４３の操作によって映像表示領域４０ａの範囲の変更する場合を例にしているが、その他の操作によって映像表示領域４０ａの範囲の変更する場合においても同様の処理を実行することができる。

例えば、キーボード２６に対する所定の操作、あるいはタイトルバー４１ａに設けられたボタン（最大化ボタン、最小化ボタン）の操作によって、映像表示領域４０ａを画面１５１の全体まで広げる最大化、あるいは映像表示領域４０ａを閉じてタスクバーに収める最小化することが可能である。また、タスクバーに収められた映像表示領域４０ａを選択する操作により、元の範囲に映像表示領域４０ａを表示させることができる。

イベント検出部３５は、映像表示領域４０ａを最大化／最小化させるイベント、あるいはタスクバーに収められた映像表示領域４０ａを元の範囲に戻すイベントを検出して、前述したように、映像表示領域４０ａを変更する処理が行われている間、映像表示領域４０ａを二次元映像表示モードに切り替えて二次元映像を表示させる。

特に、最大化／最小化させるイベントに応じて、映像表示領域４０ａのサイズの変化をユーザが認識できるように映像表示領域４０ａのサイズを段階的に変化させる場合に、変化している間の映像表示領域４０ａに二次元映像を表示させることにより映像が崩れるのを防ぐことができる。

なお、最大化／最小化させるイベント以外にも、映像表示領域４０ａの範囲を変化させる他のイベントについても同様に対応することが可能である。

このようにして、三次元映像を表示させている映像表示領域４０ａのサイズが変更される場合、映像表示領域４０ａが二次元映像表示モードに切り替えられ、サイズ変更されている間の映像表示領域４０ｇには二次元映像が表示される。二次元映像を表示させる場合には、レンズユニット１５Ｂの駆動や三次元映像データの生成など、負荷の大きい処理が不要であるため、映像表示領域４０ｇ内で表示される映像が崩れてしまうことがない。すなわち、移動中の映像表示領域４０ｇにおいて正しい映像を継続して表示することが可能となる。

なお、前述した説明では、３Ｄディスプレイ１５に設定された領域（表示ウィンドウ）に映像を表示させる場合について説明しているが、三次元静止画像を表示する場合についても同様の処理を実行することが可能である。

また、前述した説明では、左眼用映像データと右眼用映像データとを用いた２視差の三次元映像を表示する３Ｄディスプレイ１５を対象として説明しているが、２視差より多い三次元映像を表示するディスプレイを対象とすることも可能である。

また、本実施形態の映像再生処理及び表示制御処理の手順は全てソフトウェアによって実行することができる。このため、映像再生処理及び表示制御処理の手順を実行する映像コンテンツ再生プログラム１３Ｂを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。コンピュータ読み取り可能な記憶媒体には、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどがある。また、通信媒体により伝送してコンピュータにプログラムを提供することも可能である。

また、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１３Ｂ…映像コンテンツ再生プログラム、１５…３Ｄディスプレイ、１５Ａ…ＬＣＤ、１５Ｂ…レンズユニット、３０…映像コンテンツデータ、３１…映像リード部、３２…映像処理部、３３…映像表示部、３４…２Ｄ／３Ｄ切替部、３５…イベント検出部、３６…領域座標入力部、３７…終了判定部、３８…領域位置判別部。

Claims (6)

1. 映像を表示する対象とする領域の一部のみが画面内に存在するか否かを判別する判別手段と、
   前記領域の一部のみが画面内に存在する場合には、前記領域に二次元映像を表示し、前記領域の全体が画面内に存在する場合には、前記領域に三次元映像を表示する表示制御手段と
   を具備する電子機器。
2. 前記領域を変更する変更手段をさらに具備し、
   前記判別手段は、前記領域が変更される場合に、前記領域の内の一部のみが画面内に存在か否かを判別する請求項１記載の電子機器。
3. 前記判別手段は、前記領域に前記三次元映像が表示されている場合に、前記領域の内の一部のみが画面内に存在か否かを判別する請求項１記載の電子機器。
4. 前記表示制御手段は、前記変更手段により前記領域が変更された後に、前記領域の前記画面中の位置に応じて、前記領域に前記二次元映像または前記三次元映像を表示する請求項２記載の電子機器。
5. 映像を表示する対象とする領域の一部のみが画面内に存在するか否かを判別し、
   前記領域の一部のみが画面内に存在する場合には、前記領域に二次元映像を表示し、前記領域の全体が前記画面内に存在する場合には、前記領域に三次元映像を表示する表示制御方法。
6. コンピュータを、
   映像を表示する対象とする領域の一部のみが画面内に存在するか否かを判別する判別手段と、
   前記領域の一部のみが画面内に存在する場合には、前記領域に二次元映像を表示し、前記領域の全体が画面内に存在する場合には、前記領域に三次元映像を表示する表示制御手段として機能させるための表示制御プログラム。

Images