WO2013021527A1

WO2013021527A1 - 画像処理装置

Info

Publication number: WO2013021527A1
Application number: PCT/JP2012/003307
Authority: WO
Inventors: 正貴高橋; 好伸的野
Original assignee: 株式会社ソニー・コンピュータエンタテインメント
Priority date: 2011-08-05
Filing date: 2012-05-21
Publication date: 2013-02-14
Also published as: JP2013038557A

Abstract

　表示画像生成部１３４は、２Ｄ画像または３Ｄ画像を生成する。表示処理部４４は、表示画像生成部１３４が生成した画像を表示する。再生制御部１３２は、表示処理部４４が３Ｄ画像を表示している際に、画面の表示状況が所定の状況となった場合に、表示処理部４４に、３Ｄ画像の表示を中止させて、２Ｄ画像を表示させる。再生制御部１３２は、表示画像が移動する場合に、表示処理部４４に２Ｄ画像を表示させる。

Description

画像処理装置

　本発明は、画像処理技術に関する。

　３Ｄ（３次元）テレビを代表とする３Ｄディスプレイが普及している。３Ｄディスプレイは、ユーザに左目用と右目用の画像を見せることで、立体感のある映像を提供する。３次元ディスプレイの種類には複数の方式があるが、ユーザが左右の見え方の異なるメガネを着用するタイプのものが一般に流通している。近年の画像処理技術によると、２Ｄ（２次元）画像に演算処理を加えることで、左目用画像と右目用画像とを作り出すことも可能となっている。

　デジタルカメラの機能および性能の向上に伴って、互いに関連をもつ複数の画像データをまとめて記録するフォーマットが規定されている。カメラ映像機器工業会（Camera & Imaging Products Association）により策定された規格（standard）は、複数の画像データを記録するためのデータ構造を定義し、このデータ構造を用いた「マルチピクチャフォーマット（Multi-Picture Format）」と呼ばれるフォーマットを規定している。マルチピクチャフォーマットでは、画像の種別として「マルチビュー」が定義され、マルチビューは細分として、「立体視」の種別を有している。この画像種別は、デジタルカメラの撮影時に、ユーザが撮影モードを設定することで決定され、撮影された２つの画像データは、デジタルカメラの内部回路により、画像種別コードを含めた１つの画像ファイルとしてまとめられる。

「Standard of the Camera & Imaging Products Association, CIPA DC-007-Translation-2009, Multi-Picture Format」、Camera & Imaging Products Association、２００９年２月４日、インターネット＜URL : http://www.cipa.jp/english/hyoujunka/kikaku/pdf/DC-007_E.pdf＞

　３Ｄ画像は、左右画像のずれ（視差量）を利用して、立体感を生み出している。複数の３Ｄ画像を連続して表示するような場合、それぞれの３Ｄ画像の視差量が異なると、ユーザに違和感を与える可能性があることを、本発明者は知見として得た。また本発明者は３Ｄ画像を画面中で移動させるような場合も同様に、ユーザに違和感を与える可能性があることを知見として得た。そこで本発明者は３Ｄディスプレイにおいて、ユーザが快適に見ることのできる画像を提供する技術を開発するに至った。またユーザは、デジタルカメラで撮影した３Ｄ写真を、３Ｄ表示させたいことが多いと考えられるが、一方で、３Ｄディスプレイにおいても２Ｄ表示させたいユーザも存在する。これは、ユーザの好みによるため、ユーザに対して適切な選択肢を提供できることが好ましい。

　そこで本発明は、画像データを適切に再生する技術を提供することを目的とする。

　上記課題を解決するために、本発明のある態様の画像処理装置は、２Ｄ画像または３Ｄ画像を生成する表示画像生成部と、表示画像生成部が生成した画像を表示する表示処理部と、画面の表示状況に基づいて、表示処理部の表示を制御する再生制御部とを備える。表示処理部が３Ｄ画像を表示している際に、画面の表示状況が所定の状況となった場合に、再生制御部は、表示処理部に、３Ｄ画像の表示を中止させて、２Ｄ画像を表示させる。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

　本発明の情報処理技術によると、画像データを適切に再生する技術を提供することが可能となる。

本発明の実施例にかかる画像処理システムの使用環境を示す図である。入力装置の外観構成を示す図である。画像処理装置の機能ブロック図である。制御部の機能ブロックを主として示す図である。表示装置に表示されるメニュー画面の一例を示す図である。表示画面上に重ねて表示される通知画像を示す図である。確認画面を示す図である。（ａ）および（ｂ）は、クロスフェード演出の説明図である。（ａ）および（ｂ）は、ノーマル演出の説明図である。複数の写真画像をグリッド表示した例を示す図である。画像上にメニュー表示領域を表示した例を示す図である。

　図１は、本発明の実施例にかかる画像処理システム１の使用環境を示す。画像処理システム１は、ユーザが操作する入力装置２０と、画像処理ソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、３Ｄディスプレイであり、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）により無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されて、画像処理機能を搭載した携帯端末装置として構成されてもよい。

　画像処理システム１において、画像処理装置１０は、ケーブル１４を介してパーソナルコンピュータなどの外部機器と接続し、外部機器から画像データを取得できる。また画像処理装置１０はＵＳＢ（Universal Serial Bus）端子を有し、デジタルカメラとＵＳＢケーブルで接続して、デジタルカメラから画像データを取得できる。また画像処理装置１０はメディアドライブを有し、ＲＯＭ媒体から画像データを取得してもよく、ネットワーク経由で外部サーバなどから画像データを取得してもよい。

　画像処理装置１０は、たとえばゲーム装置であって、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現する。なお画像処理装置１０は、パーソナルコンピュータであってもよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。

　本実施例の画像処理装置１０は、マルチピクチャフォーマットで立体視画像として撮影された画像データを用いて、表示装置１２に３Ｄ画像を表示する機能をもつ。また画像処理装置１０は、２Ｄ画像データを３Ｄ画像データに変換して、３Ｄ画像を表示する機能を有してもよい。

　また画像処理装置１０は、３次元コンピュータグラフィックス（３ＤＣＧ）を実行する機能ももつ。画像処理装置１０は、ジオメトリエンジンおよびレンダリングエンジンを有し、ジオメトリエンジンは、光源と仮想カメラの設定をした上で透視変換を行い、レンダリングエンジンは、透視変換されたデータをもとに、フレームバッファにオブジェクトを描画する。ジオメトリエンジンが、２台の仮想カメラを、それぞれの視線方向が交わるように設定し、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、表示装置１２に３Ｄ画像を表示することができる。

　図２は、入力装置２０の外観構成を示す。入力装置２０は、その筐体表面において、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。また入力装置２０の筐体背面には、左側にＬ１ボタン２９ａ、右側にＲ１ボタン２９ｂが設けられている。ユーザは、左グリップ２８ａを左手で把持し、右グリップ２８ｂを右手で把持して、各操作手段を操作する。

　入力装置２０は、ユーザにより入力された操作信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、ユーザにより入力された操作信号を画像処理装置１０に伝送してもよい。

　図３は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

　スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された操作信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。

　またスイッチ４２は、ケーブル１４を介して外部機器に接続し、外部機器から、複数の画像ファイルを取得する。画像ファイルは、マルチピクチャフォーマット（以下、「ＭＰフォーマット」と呼ぶ）で規定された画像ファイル（以下、「ＭＰファイル」とも呼ぶ）であってよく、またＪＰＥＧやＧＩＦ等の通常のフォーマットで規定された画像ファイルであってよい。

　ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。スイッチ４２を介して受信された画像ファイルは、ハードディスクドライブ５０に格納される。表示処理の際、ハードディスクドライブ５０に格納された画像ファイルは、デコード処理されて、バッファメモリ７０に記憶される。

　記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。画像ファイルは、リムーバブル記録媒体またはＲＯＭディスクに記録されていて、記録媒体装着部５２またはディスクドライブ５４からハードディスクドライブ５０にインストールされてもよく、また表示処理の実行時にデコード処理されてバッファメモリ７０に記憶されてもよい。

　制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。

　制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０はＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、制御部１００による画像処理結果を出力する。

　図４は、制御部１００の機能ブロックを主として示す。制御部１００は、入力受付部１０２、出力モード処理部１１０および再生処理部１３０を備える。出力モード処理部１１０は、表示処理部４４による表示出力モードを管理する機能を有し、モード設定部１１２、判定部１１４、通知画像生成部１１６および確認画像生成部１１８を備える。再生処理部１３０は、画像データを再生する機能を有し、再生制御部１３２、表示画像生成部１３４、表示対象決定部１３６および画像データ読出部１３８を備える。これらの機能の少なくとも一部は、画像処理装置１０にインストールされた画像再生アプリケーション（以下、「画像ビューワ」と呼ぶ）により実現される。

　図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００には１つのＰＰＵと複数のＳＰＵとが設けられており、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　ディスプレイ情報記憶部１５０は、ハードディスクドライブ５０の記憶領域に構成され、表示装置１２のディスプレイサイズ、解像度、出力形式などのディスプレイ情報を記憶する。ディスプレイ情報は、画像処理装置１０を表示装置１２に接続するときに、ユーザにより登録される。なお画像処理装置１０と表示装置１２とがＨＤＭＩ（High Definition Multimedia Interface）ケーブルで接続されている場合、画像処理装置１０のシステムソフトウェアが表示装置１２に問い合わせることで、表示装置１２がディスプレイ情報を画像処理装置１０に通知してもよい。本実施例において、表示装置１２の出力形式は、３次元表示可能であるか、または２次元表示しかできないかを示す情報である。以下、３次元表示可能な出力形式を「３Ｄ対応」、２次元表示しかできない出力形式を「２Ｄ対応」と呼ぶ。

　画像データ記憶部１５２は、複数の画像データを記憶する。本実施例の画像ビューワは、ハードディスクドライブ５０に格納された写真画像だけでなく、外部の記録媒体に記録されている写真画像も再生できる。したがって本実施例において画像データ記憶部１５２は、ハードディスクドライブ５０に限らず、再生対象となる画像データが記録された記録媒体の記憶領域に構成されていてよい。図４には、画像データ記憶部１５２がハードディスクドライブ５０の記憶領域に構成されている様子が示されている。

　画像処理装置１０において、システムソフトウェアは、画像ファイルをハードディスクドライブ５０にインストールする際に、画像ファイルに含まれる付属情報を参照して、ファイルチェックを行う。画像ファイルが正常であれば、システムソフトウェアは、付属情報の少なくとも一部を抽出し、属性情報として属性情報記憶部１５４に記憶する。本実施例において抽出される付属情報には、サムネイル画像など、メニュー画面に表示されるデータが含まれる。画像ファイルがＭＰファイルである場合、システムソフトウェアは、ＭＰファイルの種別コードから、ＭＰファイルの表示形式を特定し、属性情報として属性情報記憶部１５４に記憶してもよい。なお画像ファイルのインストール時、システムソフトウェアは、画像データを縮小して、サムネイル画像を生成してもよい。

　図５は、表示装置１２に表示されるメニュー画面の一例を示す。本実施例の画像処理装置１０では、システムソフトウェアがメニュー画像を生成する。横方向に配列された複数のフォルダ画像のうち、フォルダ画像２００は、写真コンテンツのフォルダを示す。縦方向には、アイコン画像２０２、２０４、２０６が配列される。ユーザは、入力装置２０を操作して所望のアイコン画像をフォーカス領域の位置までスクロールさせて動かし、入力装置２０の所定のボタンを押下することで、そのアイコン画像に対応付けられている処理を実行させることができる。図５の例では、写真コンテンツのアイコン画像２０２がフォーカス領域に配置され、ユーザが入力装置２０の○ボタン２２を押下すると再生指示が生成され、画像ビューワが起動される。なお、図５に示すメニュー画面には、画像データを記録した記録媒体のアイコン画像を示していないが、フォトアイコン画像の直下に、記録媒体のアイコン画像が表示され、媒体アイコン画像の直下または右方に、アイコン画像２０２、２０４、２０６が配列されてもよい。

　システムソフトウェアは、画像ファイルにサムネイル画像が含まれている場合には、そのサムネイル画像を用いて、アイコン画像を生成し、画像ファイルにサムネイル画像が含まれていない場合には、画像データを縮小して、アイコン画像を生成する。なお画像ファイルがＭＰファイルである場合、システムソフトウェアは、ハードディスクドライブ５０から属性情報を読み出して、代表画像フラグが１に設定されている個別画像のサムネイル画像を特定し、アイコン画像を生成する。システムソフトウェアがメニュー画像データを生成すると、表示処理部４４が、メニュー画像データを表示装置１２に出力して、メニュー画面が表示装置１２に表示される。

　図５に示すメニュー画面において、ユーザが入力装置２０の所定のボタンを押下すると、画像ファイルの再生指示が形成されて画像ビューワが起動される。これにより、フォーカス領域に配置されたアイコン画像２０２で特定される画像ファイルの再生処理が開始される。画像ビューワが起動されると、まず出力モード処理部１１０が、表示出力モードを決定する。ここで表示出力モードとは、表示装置１２から２Ｄ画像を表示するか、または３Ｄ画像を表示するかを特定するモードである。出力モード処理部１１０が表示出力モードを決定すると、再生処理部１３０が、決定された表示出力モードにしたがって、表示画像を生成する。

　入力受付部１０２が再生指示を受け付けると、画像ビューワが起動されて、出力モード処理部１１０および再生処理部１３０の機能が実行可能となる。出力モード処理部１１０において、モード設定部１１２は、２Ｄ表示出力モードと、３Ｄ表示出力モードとを選択的に設定する機能をもつ。画像ビューワの起動時、モード設定部１１２は、２Ｄ表示出力モードを設定する。

　再生処理部１３０において、表示対象決定部１３６が、表示対象となる画像ファイルを決定する。画像ビューワの起動時、表示対象決定部１３６は、アイコン画像２０２で特定される画像ファイルを表示対象として決定し、画像データ読出部１３８は、画像データ記憶部１５２から、表示対象となる画像ファイルおよびその属性情報を読み出して、表示画像生成部１３４に供給する。再生制御部１３２は、表示画像生成部１３４に対して、モード設定部１１２において設定された表示出力モードで表示画像を生成することを指示する。これにより、表示画像生成部１３４は、モード設定部１１２で設定された表示出力モードにしたがって、画像データをデコードして、表示画像データを生成する。画像ビューワの起動時、モード設定部１１２は、２Ｄ表示出力モードを設定しているため、表示画像生成部１３４は、２Ｄ画像データを生成して、表示処理部４４が、表示装置１２に２Ｄ画像を出力する。

　通知画像生成部１１６は、表示出力モードを切替可能であることを示す通知画像を生成する。この通知画像は、表示出力モードを切替可能であることを示すと同時に、表示出力モードを切り替えるための操作をユーザに提示するものであることが好ましい。たとえば、表示出力モードを切り替えるための操作が特定のボタンに割り当てられる場合には、そのボタンを含めて、通知画像が形成されることが好ましい。たとえば通知画像は、「□　２Ｄ／３Ｄ」という表示態様をとり、ここで「２Ｄ／３Ｄ」は、表示出力モードを切替可能であることを示し、「□」は、切り替えるための操作ボタンが□ボタン２４であることを示す。

　判定部１１４は、通知画像の生成条件が成立しているか否かを判定する。そもそも表示装置１２が３Ｄ対応ディスプレイを有していなければ、表示出力モードを２Ｄ表示出力モードから３Ｄ表示出力モードに切り替えることはできない。したがって通知画像の生成条件には、モード設定部１１２が２Ｄ表示出力モードを設定しており、且つ表示装置１２が３Ｄ表示可能であることが少なくとも含まれる。判定部１１４が、通知画像の生成条件が成立したことを判定した場合、通知画像生成部１１６は通知画像データを生成して、表示処理部４４が、２Ｄ表示されている画面の上に、通知画像を重ねて表示する。

　図６は、２Ｄ表示画面上に重ねて表示される通知画像を示す。表示処理部４４は、通知画像生成部１１６により生成された通知画像２１０を、表示画面中の所定の位置に配置する。ユーザは、この通知を見ることで、２Ｄ表示されている表示画像を、□ボタン２４を押下することで、３Ｄ表示画像に切り替えられることを認識できる。ユーザが、３Ｄ表示出力モードに切り替えたい場合、□ボタン２４を押下すると、入力受付部１０２が、表示出力モードの切替指示を受け付ける。

　図７は、確認画面を示す。入力受付部１０２が表示出力モードの切替指示を受け付けると、確認画像生成部１１８が、表示出力モード切替の確認画像データを生成して、表示処理部４４が確認画面を表示装置１２に表示する。３Ｄ表示画像を見る際、３Ｄディスプレイのタイプによっては左右の見え方の異なる専用のメガネが必要となることもあるため、３Ｄ表示出力モードに切り替える場合には、一度、確認画面をユーザに提示して、ユーザの意志を確認するようにしている。

　ユーザが「はい」を選択して、○ボタン２２を押下すると、入力受付部１０２が確認指示を受け付け、モード設定部１１２が、表示出力モードを３Ｄ表示出力モードに設定する。これにより、表示出力モードの切替が行われる。再生制御部１３２は、３Ｄ表示出力モードが設定されたことを受けて、表示画像生成部１３４および表示処理部４４に、現在表示中の画像ファイルの出力形式の変更を指示する。これにより、表示画像生成部１３４は、左目用画像データおよび右目用画像データからなる３Ｄ画像データを生成して、表示処理部４４が、表示装置１２から３Ｄ画像を出力する。

　なお、通知画像２１０は、メニューの選択項目に含まれるようにしてもよい。画像の表示中、ユーザがたとえば所定のボタンを操作すると、複数の選択項目を含むメニューが表示画面の上に重ねて表示される。このとき、メニュー項目からユーザが通知画像２１０を選択することで、入力受付部１０２が表示出力モードの切替指示を受け付けるようになる。なお、メニュー項目から通知画像２１０を選択するユーザインタフェースを提供する場合には、ユーザは、通知画像２１０を選択して決定ボタンを押下することで、表示出力モードの切替指示を入力できるため、図６に示す通知画像２１０から「□」が除かれた「２Ｄ／３Ｄ」の表示がメニューに含まれるようにする。

　なお、ユーザは、３Ｄ表示出力モードを、２Ｄ表示出力モードに切り替えることも可能である。３Ｄ表示出力モードから２Ｄ表示出力モードへの切替は原則としていつでも可能であるため、３Ｄ表示出力モード中においては、表示画面中に通知画像２１０を常に出すようにしてもよい。これにより、ユーザは□ボタン２４を押下することで、２Ｄ表示出力モードにいつでも戻すことができるようになる。なお、後述するように、３Ｄ表示出力モード中、通知画像２１０は、所定の条件が満たされたときに、表示されるようにしてもよい。

　２Ｄ表示出力モードから３Ｄ表示出力モードに切り替える場合には、図７に示す確認画面を提供するようにしたが、一方で、３Ｄ表示出力モードから２Ｄ表示出力モードに切り替える場合には、確認画像生成部１１８は、確認画像を生成しない。２Ｄ表示画像を見るには、専用のメガネを必要としないため、２Ｄ表示出力モードに切り替える場合には、改めて確認する必要性に乏しいという理由による。確認画面を出さないことで、３Ｄ表示出力モードから２Ｄ表示出力モードの遷移を、スムーズに実行することが可能となる。

　なお、２Ｄ表示出力モードにおいて、表示画像生成部１３４が、３Ｄコンテンツの画像データを表示対象として決定することがある。たとえば、ＭＰフォーマットにおいて、立体視の種別コードが付加された画像ファイルは、もともと３Ｄ表示されることを予定されているコンテンツである。したがって、このような場合には、ユーザに、３Ｄ表示可能であることを通知できることが好ましい。

　そこで、通知画像の生成条件には、モード設定部１１２が２Ｄ表示出力モードを設定していること、および、表示装置１２が３Ｄ表示可能であることに加えて、表示画像生成部１３４が３Ｄ画像データから表示画像を生成することが含まれてもよい。たとえば表示対象決定部１３６が、表示対象とする画像ファイルを特定した際、判定部１１４が、その画像ファイルに対応する表示形式（種別コード）を属性情報記憶部１５４から読み出し、立体視画像であるか否かを判定する。表示対象となる画像ファイルが、２Ｄコンテンツから３Ｄコンテンツに切り替わった際に、判定部１１４は、通知画像の生成条件が成立したことを判定し、通知画像生成部１１６が、図６に示す通知画像２１０を生成して、表示処理部４４が、２Ｄ表示画像に重畳して通知画像２１０を表示する。これにより、出力モード処理部１１０は、ユーザに対して、３Ｄコンテンツを３Ｄ表示させる機会を、効果的に提供することができる。なお、表示出力モードが変更されたとき、ユーザが表示出力モードを元に戻せるように、表示処理部４４は、通知画像２１０を表示してもよい。

　なお、３Ｄコンテンツの表示時に、表示処理部４４が通知画像２１０を表示して、ユーザが表示された通知画像２１０にしたがって２Ｄ表示出力モードから３Ｄ表示出力モードに切り替えた後、表示画像生成部１３４が、２Ｄコンテンツの画像データを表示対象として決定することがある。２Ｄコンテンツの画像ファイルは、２Ｄ表示されることを予定されたものであるため、ユーザに、２Ｄ表示可能であることを通知できることが好ましい。

　そこで、３Ｄコンテンツの表示の際にユーザが通知画像２１０にしたがって３Ｄ表示出力モードを選択したこと、表示画像生成部１３４が２Ｄ画像データから表示画像を生成することを通知条件とし、判定部１１４が、通知画像の生成条件が成立したことを判定した場合に、通知画像生成部１１６が通知画像データを生成して、表示処理部４４が、３Ｄ表示されている画面の上に、通知画像２１０を重ねて表示する。また写真画像の再生処理が終了したことを通知条件として、表示処理部４４が、３Ｄ表示されている画面の上に、通知画像２１０を重ねて表示してもよい。

　以上のように、表示装置１２が３Ｄ出力可能なディスプレイを有する場合、ユーザは、２Ｄ表示出力モードで画像を表示するか、または３Ｄ表示出力モードで画像を表示するかを選択できる。なお、３Ｄ表示画像を見る際には、専用のメガネが必要となる場合もあることに配慮して、画像ビューワの起動時には、モード設定部１１２が２Ｄ表示出力モードをデフォルト設定することとしているが、表示装置１２が２Ｄ対応ではなく、３Ｄ対応であれば、３Ｄ表示出力モードをデフォルト設定してもよい。

　以上のように、出力モード処理部１１０により表示出力モードが決定される。以下では、再生処理部１３０における画像再生処理について説明する。
　本実施例において、画像データ記憶部１５２に記憶される複数の画像ファイルには、画像ビューワによる表示順序が予め設定されている。この表示順序は、画像データ記憶部１５２において各画像ファイルが記憶された順序であってもよく、また各画像ファイルの生成日時（撮影日時）にしたがった順序であってもよい。画像ビューワが起動され、表示装置１２に画像が表示されると、ユーザは、入力装置２０の筐体背面に設けられたＬ１ボタン２９ａまたはＲ１ボタン２９ｂを押下することで、表示対象となる画像ファイルを切り替えることができる。ある画像ファイルがデコードされて表示装置１２に表示されている場合、ユーザがＬ１ボタン２９ａを押下すると、一つ前の画像ファイルがデコードされて表示装置１２に表示され、一方でＲ１ボタン２９ｂを押下すると、一つ先の画像ファイルがデコードされて表示装置１２に表示される。このように画像処理装置１０において、ユーザによるＬ１ボタン２９ａボタンの操作は、所定の順序が設定された画像ファイル列に対して逆方向表示指示を形成し、一方で、ユーザによるＲ１ボタン２９ｂの操作は、画像ファイル列に対して順方向表示指示を形成する。以下、表示画像を切り替える指示を、「切替表示指示」と呼ぶ。

　画像ビューワは、ユーザに対して、画像切替時の演出の選択肢を提供する。選択肢として、少なくとも以下の２つが用意されている。
（１）クロスフェード演出
　クロスフェード演出は、２つの表示画像の一方のフェードアウト中に、他方をフェードインして、表示画像を切り替える演出をいう。画像データをデコードして生成した表示画像の不透明度を１００％、表示画像が完全にフェードアウトして画面から消えたときの不透明度を０％とすると、第１の表示画像を不透明度１００％からフェードアウトしていき、不透明度が０％となる前に、第２の表示画像を不透明度０％からフェードインすることで、クロスフェード演出が実現される。
（２）ノーマル演出
　ノーマル演出は、２つの表示画像を即時に切り替える演出をいう。即時に切り替えることを、上記の不透明度を用いて説明すると、第１の表示画像をフェードすることなく、その不透明度を１００％から０％とし、その後、第２の表示画像の不透明度を０％から１００％とすることで、ノーマル演出が実現される。ノーマル演出では、表示画像の不透明度が０～１００％の中間値をとらない。
（３）フェードアウト、フェードイン演出
　フェードアウト、フェードイン演出は、１つの表示画像をフェードアウトした後、別の表示画像をフェードインして、表示画像を切り替える演出をいう。クロスフェード演出とは異なり、第１の表示画像を不透明度１００％からフェードアウトしていき、不透明度が０％となった後に、第２の表示画像を不透明度０％からフェードインする。

　画像ビューワが起動すると、ユーザは、画像切替時の演出を選択する。たとえば、画像切替時の演出として、デフォルトでクロスフェード演出が設定されており、ユーザがノーマル演出を希望する場合に、メニュー項目から、ノーマル演出を選択できるようにユーザインタフェースが構成されていてもよい。以下、クロスフェード演出とノーマル演出について説明する。

　再生制御部１３２は、モード設定部１１２により設定された表示出力モードに応じて、表示画像の切替を制御する。具体的に再生制御部１３２は、表示出力モードが２Ｄ表示出力モードである場合と、３Ｄ表示出力モードである場合とで、表示画像の切替制御を異ならせる。

　図８（ａ）～図８（ｂ）は、クロスフェード演出の説明図である。図８（ａ）は、２Ｄ表示出力モードにおけるクロスフェード演出を示し、図８（ｂ）は、３Ｄ表示出力モードにおけるクロスフェード演出を示している。クロスフェード演出では、先に表示されている画像（以下、「第１表示画像」と呼ぶ）の不透明度を時間の経過に応じて１００％から０％まで徐々に下げ、後から表示する画像（以下、「第２表示画像」と呼ぶ）の不透明度を、時間の経過に応じて０％から１００％まで徐々に上げる。このとき、第１表示画像のフェードアウトが終了してから第２表示画像をフェードインするのではなく、第１表示画像のフェードアウト中に、第２表示画像をフェードインさせることで、クロスフェード演出が実現される。

　画像データをデコードして生成した表示画像の画素値がＰ０であるとすると、画素値Ｐ０の不透明度は１００％である。画素値を小さくしていき、画素値がＰ１となったとき、画素値Ｐ１の不透明度は、（Ｐ１／Ｐ０）×１００％となる。したがって、表示画像が完全にフェードアウトして、画素値が０となったとき、不透明度は０％となる。再生制御部１３２は、表示画像生成部１３４を制御して、第１表示画像と第２表示画像の不透明度を時間の経過に応じて変化させることで、２つの表示画像をクロスフェードする。

　図８（ａ）および図８（ｂ）において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第１表示画像の不透明度の変化を、太線は第２表示画像の不透明度の変化を示す。またクロスフェード演出の開始時刻をｔ１、終了時刻はｔ５として示す。なお、クロスフェード演出の開始時刻は、第１表示画像の不透明度が１００％から下がり出すタイミングであり、また終了時刻は、第２表示画像の不透明度が１００％に到達したタイミングである。以下では、クロスフェード演出の開始時刻から終了時刻までの期間（ｔ１からｔ５）を「クロスフェード処理期間」と呼ぶ。時間ｔ１で入力受付部１０２が切替表示指示を受け付けると、再生制御部１３２が、クロスフェード演出の制御を開始する。

　図８（ａ）において、第１変化線２３０ａは、第１表示画像の不透明度の変化を示し、第２変化線２３０ｂは、第２表示画像の不透明度の変化を示す。第１変化線２３０ａと第２変化線２３０ｂは、クロスフェード処理期間の中央（ｔ３）でクロスし、そのときの不透明度は両者ともに５０％となる。２Ｄ表示出力モードでは、クロスフェード処理期間において、第１表示画像の不透明度をα％とした場合、第２表示画像の不透明度は（１００－α）％と表現され、したがって、第１表示画像の不透明度と第２表示画像の不透明度の和は、α％＋（１００－α）％＝１００％となる。

　図８（ｂ）において、第１変化線２３２ａは、第１表示画像の不透明度の変化を示し、第２変化線２３２ｂは、第２表示画像の不透明度の変化を示す。第１変化線２３２ａと第２変化線２３２ｂは、クロスフェード処理期間の中央（ｔ３）でクロスし、そのときの不透明度は両者ともにＯＰ％（＜５０％）となる。３Ｄ表示出力モードでは、クロスフェード処理期間において、第１表示画像の不透明度をβ％、第２表示画像の不透明度をγ％とした場合、（β＋γ）％が、１００％以下となるように、第１変化線２３２ａおよび第２変化線２３２ｂが設定される。

　なお、（β＋γ）＝１００となる場合は、クロスフェード処理の開始時刻（ｔ１）と終了時刻（ｔ５）であって、それ以外のクロスフェード処理期間では、（β＋γ）＜１００となる。つまり、クロスフェード処理期間において、３Ｄ表示出力モードにおける第１表示画像の不透明度と第２表示画像の不透明度の和（（β＋γ）％）は、２Ｄ表示出力モードにおける第１表示画像の不透明度と第２表示画像の不透明度の和（１００％）以下となるように設定される。このことは、３Ｄ表示出力モードでは、２Ｄ表示出力モードと比較して、クロスフェード演出における２つの表示画像のオーバラップ量（不透明度の和）を少なくすることを意味している。

　３Ｄ表示出力モードで第１表示画像と第２表示画像とをクロスフェードする場合、第１表示画像と第２表示画像の視差量が異なる場合がある。そのような場合に、図８（ａ）に示すように、第１表示画像と第２表示画像とをαブレンドすると、２つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。また、仮に２つの表示画像の視差量が異ならない場合であっても、２つの３Ｄ画像が画面に重畳表示されることで、やはりユーザは違和感を覚えやすくなる。そこで、３Ｄ表示出力モードでは、２Ｄ表示出力モードと比較してクロスフェード演出における２つの表示画像のオーバラップ量を少なくすることで、ユーザの目にやさしい演出を提供する。

　また、クロスフェード処理期間において、３Ｄ表示出力モードにおける第１表示画像の不透明度と第２表示画像の不透明度とが等しくなるときの不透明度（ＯＰ％）は、２Ｄ表示出力モードにおける第１表示画像の不透明度と第２表示画像の不透明度とが等しくなるときの不透明度（５０％）よりも小さく設定される。２つの表示画像の不透明度が等しくなるとき（ｔ３）、両画像の視差量が異なると、ユーザが覚える違和感は最も大きくなる。そのため、時間ｔ３において、３Ｄ表示出力モードにおける不透明度ＯＰ％を小さくすることで、ユーザが覚える違和感を低減することができる。ＯＰは、３０以下となるように設定されることが好ましい。

　また、図８（ａ）において、第２表示画像のフェードイン開始時刻は時間ｔ１であり、第１表示画像のフェードアウト終了時刻は時間ｔ５である。したがって、クロスフェード処理期間において、第１表示画像と第２表示画像の両方が表示されている期間（オーバラップ期間）は、時間ｔ１からｔ５までの期間となる。一方、図８（ｂ）において、第２表示画像のフェードイン開始時刻は時間ｔ２であり、第１表示画像のフェードアウト終了時刻は時間ｔ４である。したがって、オーバラップ期間は、時間ｔ２からｔ４までの期間となる。このように、３Ｄ表示出力モードでは、２Ｄ表示出力モードと比べて、オーバラップ期間を短くすることで、クロスフェード演出を実行しつつ、ユーザが覚える違和感を低減することができる。

　以上のように、再生制御部１３２が、表示出力モードに応じて、表示画像生成部１３４における画像生成処理を制御する。これにより表示画像生成部１３４は、図８（ａ）または図８（ｂ）に示す変化線にしたがって、生成する画像データの画素値を調整する。これにより、３Ｄ表示出力モードにおいて、ユーザの目にやさしいクロスフェード演出を実行することが可能となる。

　なお、再生制御部１３２は、表示出力モードに応じて、表示処理部４４における表示処理を制御してもよい。表示処理部４４は、表示画像生成部１３４が生成した不透明度１００％の画像データの画素値を、図８（ａ）または図８（ｂ）に示す変化線にしたがって調整する。画素値の調整を表示処理部４４に任せることで、表示画像生成部１３４は、フレームごとに画像データを生成する必要がなくなるため、システム全体の処理負荷を大幅に低減できるようになる。

　図９（ａ）～図９（ｂ）は、ノーマル演出の説明図である。図９（ａ）は、２Ｄ表示出力モードにおけるノーマル演出を示し、図９（ｂ）は、３Ｄ表示出力モードにおけるノーマル演出を示している。ノーマル演出では、先に表示されている画像（以下、「第１表示画像」と呼ぶ）の不透明度を１００％から０％に下げ、即時に、後から表示する画像（以下、「第２表示画像」と呼ぶ）の不透明度を、０％から１００％まで上げる。つまり、ノーマル演出では、０％から１００％の間の不透明度は利用せず、第１表示画像の表示を終了した後、第２表示画像の表示を開始する。再生制御部１３２は、表示処理部４４または表示画像生成部１３４を制御して、第１表示画像と第２表示画像とを即時に切り替えることで、ノーマル演出を実行する。なお、即時に切り替えるとは、第１表示画像の表示終了と同時に第２表示画像の表示を開始する場合だけでなく、第１表示画像の表示終了から短時間経過後に第２表示画像の表示を開始する場合も含む。

　図９（ａ）および図９（ｂ）において、縦軸は不透明度、横軸は時間を表現し、図中の細線は第１表示画像の表示状態を、太線は第２表示画像の表示状態を示す。また第１表示画像の表示終了時刻をｔ６として示す。時間ｔ６で入力受付部１０２が切替表示指示を受け付けると、再生制御部１３２が、ノーマル演出の制御を開始する。

　図９（ａ）において、第１線２４０ａは、第１表示画像の表示状態を示し、第２線２４０ｂは、第２表示画像の表示状態を示す。第２表示画像は、第１表示画像の表示を終了した次のフレームから表示される。つまり、２Ｄ表示出力モードにおいて、第１表示画像の最後のフレームと、第２表示画像の最初のフレームとは連続している。

　図９（ｂ）において、第１線２４２ａは、第１表示画像の表示状態を示し、第２線２４２ｂは、第２表示画像の表示状態を示す。第２表示画像は、第１表示画像の表示を終了してから、数フレーム後に表示される。この例では、第１表示画像の表示終了時刻がｔ６であり、数フレーム後、たとえば３フレーム後のｔ７から、第２表示画像の表示が開始されている。つまり、３Ｄ表示出力モードにおいて、第１表示画像の最後のフレームと、第２表示画像の最初のフレームとは、連続していない。

　以上のように、第１表示画像の表示を終了してから第２表示画像の表示を開始するまでの切替期間は、３Ｄ表示出力モードの方が２Ｄ表示出力モードよりも長く設定される。３Ｄ表示出力モードで第１表示画像と第２表示画像とを即時に切り替える場合、第１表示画像と第２表示画像の視差量が異なる場合がある。そのような場合に、図９（ａ）に示すように、第１表示画像と第２表示画像とを連続して切り替えると、２つの表示画像の視差量が異なることで、ユーザは違和感を覚えやすくなる。そこで、３Ｄ表示出力モードでは、２Ｄ表示出力モードと比較して、画像の切替期間を長くすることで、ユーザの目にやさしい切替演出を提供する。

　なお、本発明者は、３Ｄ表示出力モードにおいて、切替期間に、所定色の画像を表示することで、違和感を軽減できるという知見を得た。この所定色は、たとえば黒色である。３Ｄ表示出力モードにおいて、３Ｄ画像を切り替える際に、切替期間に黒色画像を挟み込むことで、２つの表示画像の視差量の違いをリセットし、ユーザが覚える違和感を一層低減することが可能となる。なお、２Ｄ画像を切り替える際にも、切替期間に黒色画像を挟み込んでもよいが、上記したように、切替期間は、３Ｄ表示出力モードの方が２Ｄ表示出力モードよりも長く設定され、したがって、黒色画像の表示時間は、３Ｄ表示出力モードの方が長くされることが好ましい。

　以上のように、再生制御部１３２が、表示出力モードに応じて、表示処理部４４の表示処理を制御し、表示処理部４４は、図９（ａ）または図９（ｂ）に示す切替処理にしたがって、表示画像を切り替える。これにより、３Ｄ表示出力モードにおいて、ユーザの目にやさしいノーマル演出を実行することが可能となる。

　なお、フェードアウト、フェードイン演出においても、第１表示画像の表示を終了してから第２表示画像の表示を開始するまでの切替期間は、３Ｄ表示出力モードの方が２Ｄ表示出力モードよりも長く設定される。ノーマル演出と同様に、切替期間に、所定色の画像を表示してもよく、黒色画像の表示時間は、３Ｄ表示出力モードの方が長く設定される。これにより、３Ｄ表示出力モードにおいて、ユーザの目にやさしいフェードアウト、フェードイン演出を実行することが可能となる。

　以上は、各表示出力モードにおいて表示画像を切り替える際の演出について説明した。以下では、画面の表示状況が３Ｄ表示に適切でなくなった場合に、３Ｄ表示を中止して、２Ｄ表示を行う例を説明する。

　図１０は、複数の３Ｄ写真画像をグリッド表示した例を示す。表示画像生成部１３４は、複数の写真を配列した３Ｄ画像データを生成し、表示処理部４４が、複数の３Ｄの写真画像２５０が配列された表示画像を表示装置１２に表示する。

　表示画像生成部１３４は、マルチピクチャフォーマットで立体視画像として撮影された画像ファイルから、左目用画像データと右目用画像データを生成し、表示処理部４４が、左目用画像および右目用画像を画面に表示することで、３Ｄ画像が表示される。なお表示画像生成部１３４は、立体視用の画像ファイルだけでなく、ＪＰＥＧやＧＩＦなどのフォーマットで作成された１枚の画像データから、左目用画像データと右目用画像データを生成することもできる。表示処理部４４は、背景画像上に複数の写真の左目用画像データを配列した左目用画像データと、背景画像上に複数の写真の右目用画像データを配列した右目用画像データとを表示装置１２に出力することで、図１０に示すグリッド表示画面が生成される。

　また別の例として、表示画像生成部１３４は、ジオメトリエンジンおよびレンダリングエンジンを有して、左目用画像データと右目用画像データを生成してもよい。この場合、ジオメトリエンジンが、複数の写真オブジェクトを仮想空間内に配列し、２台の仮想カメラを、それぞれの視線方向が交わるように設定して、レンダリングエンジンが、それぞれの仮想カメラからのデータをレンダリングすることで、左目用画像データと右目用画像データを生成する。表示処理部４４が、生成された左目用画像データと右目用画像データとを表示装置１２に出力することで、図１０に示すグリッド表示画面が生成される。

　このように表示処理部４４は、表示画像生成部１３４が生成した３Ｄ画像を表示する。３Ｄ画像の表示中、再生制御部１３２は、画面の表示状況に基づいて、表示処理部４４の表示を制御する。具体的には、表示処理部４４が３Ｄ画像を表示している際に、画面の表示状況が所定の状況となった場合に、再生制御部１３２は、表示処理部４４に、３Ｄ画像の表示を中止させて、２Ｄ画像を表示させるように制御する。

　図１０に示すグリッド表示画面は、たとえば写真画像を撮影日毎にまとめて表示する際に利用される。そのため、表示画面をスクロールすると、表示画面の全体が上方向または下方向に動き、表示されている日付以外の日に撮影された写真画像が表示されるようになっている。ユーザは、入力装置２０のアナログスティック２７ｂを操作して、表示画面をスクロールすることができ、たとえばアナログスティック２７ｂを上（奥）方向に倒すと、グリッド表示画面が上方向にスクロールされ、下（手前）方向に倒すと、グリッド表示画面が下方向にスクロールされる。

　グリッド表示画面が、３Ｄ表示のまま移動すると、ユーザは、各写真画像を目で追うことになるため、視差量を合わせるために、違和感を覚えやすくなる。そこで、再生制御部１３２は、表示画像が移動する場合には、表示処理部４４に３Ｄ画像の表示を中止させて、２Ｄ画像を表示させるようにする。

　たとえば、表示画像生成部１３４が、画像ファイルから両目用の画像データを生成している場合、表示処理部４４は、一方の画像データのみを用いて、２Ｄのグリッド表示画面を表示してもよい。また、再生制御部１３２が、表示画像生成部１３４に対して２Ｄ画像の生成を指示し、表示処理部４４は、表示画像生成部１３４が生成した２Ｄ画像データを用いて、２Ｄのグリッド表示画面を表示装置１２に表示してもよい。

　また、表示画像生成部１３４が、レンダリングにより両目用の画像データを生成している場合、表示画像生成部１３４が、２台の仮想カメラの位置および視線方向が一致するようにして、それぞれの仮想カメラからのデータをレンダリングすることで、表示処理部４４が、２Ｄのグリッド表示画面を表示装置１２に表示する。

　なお、表示画面が低速でスクロールされている間は、それほどユーザが覚える違和感も大きくない。そのため、再生制御部１３２は、表示画像の移動速度を監視し、移動速度が所定値を超えた場合に、表示処理部４４に３Ｄ画像の表示を中止させて、２Ｄ画像を表示させるようにしてもよい。たとえば、表示画像の移動速度が所定値を超えると、視差量がなめらかに０となるように左目用画像データと右目用画像データとを生成することで、２Ｄ画像を表示させるようにしてもよい。また、移動速度に応じて、視差量を減らしていくことで、移動速度が所定値を超えた場合に、２Ｄ画像が表示されるようにしてもよい。これにより、高速スクロール処理の場合のユーザが覚える違和感を軽減できつつ、且つ低速スクロール処理時に３Ｄ表示を継続することが可能となる。

　図１１は、３Ｄ画像上に、メニュー表示領域を表示した例を示す。ここでは、３Ｄ表示されたグリッド表示画面に重ねて、複数のメニュー項目を表示するメニュー表示領域２６０が形成されている。なお、複数のメニュー項目は、２Ｄ表示されている。このメニュー表示領域２６０では、ユーザが選択したいメニュー項目を中央のフォーカス領域に配置し、決定ボタンを押下することで、選択した項目に対応する処理が起動するようになる。フォーカス領域に配置されるメニュー項目は、３Ｄ表示されるようにしてもよい。

　メニュー表示領域２６０におけるメニュー項目は、フォーカス領域以外では２Ｄで表示される。そのため、背景となるグリッド表示画面が３Ｄ表示されていると、背景のグリッド表示画面の方が、メニュー項目よりも飛び出して見える視差矛盾が生じる可能性がある。そこで、再生制御部１３２は、表示画像の上に重ねて別の画像が表示される場合に、表示処理部４４に、背景画像を２Ｄ表示させるようにする。このように、３Ｄ画像の上に、２Ｄ画像を表示する状況を回避することで、目にやさしい表示画面をユーザに提供できるようになる。

　以上の例では、再生制御部１３２が表示処理部４４の表示を制御する例を説明したが、再生制御部１３２が、表示画像生成部１３４に３Ｄ画像データの生成を中止させて、２Ｄ画像データを生成させ、表示処理部４４が、表示画像生成部１３４が生成した２Ｄ画像データを用いて、２Ｄ画像を表示装置１２に表示するようにしてもよい。

　以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、４４・・・表示処理部、１００・・・制御部、１０２・・・入力受付部、１１０・・・出力モード処理部、１１２・・・モード設定部、１１４・・・判定部、１１６・・・通知画像生成部、１１８・・・確認画像生成部、１３０・・・再生処理部、１３２・・・再生制御部、１３４・・・表示画像生成部、１３６・・・表示対象決定部、１３８・・・画像データ読出部、１５０・・・ディスプレイ情報記憶部、１５２・・・画像データ記憶部、１５４・・・属性情報記憶部。

　本発明は、画像処理技術の分野に利用できる。

Claims

　２Ｄ画像または３Ｄ画像を生成する表示画像生成部と、
　前記表示画像生成部が生成した画像を表示する表示処理部と、
　画面の表示状況に基づいて、前記表示処理部の表示を制御する再生制御部と、を備えた画像処理装置であって、
　前記表示処理部が３Ｄ画像を表示している際に、画面の表示状況が所定の状況となった場合に、前記再生制御部は、前記表示処理部に、３Ｄ画像の表示を中止させて、２Ｄ画像を表示させることを特徴とする画像処理装置。
　前記再生制御部は、表示画像が移動する場合に、前記表示処理部に２Ｄ画像を表示させることを特徴とする請求項１に記載の画像処理装置。
　前記再生制御部が、表示画像の移動速度が所定値を超えた場合に、前記表示処理部に２Ｄ画像を表示させることを特徴とする請求項２に記載の画像処理装置。
　前記再生制御部は、表示画像の上に重ねて別の画像が表示される場合に、前記表示処理部に背景画像を２Ｄ表示させることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
　前記再生制御部は、前記表示画像生成部に、３Ｄ画像の生成を中止させて、２Ｄ画像を生成させ、
　前記表示処理部は、前記表示画像生成部が生成した２Ｄ画像を表示することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
　コンピュータに、
　２Ｄ画像または３Ｄ画像を生成する機能と、
　生成した画像を表示する機能と、
　画面の表示状況に基づいて、表示機能を制御する機能と、実現させるためのプログラムであって、
　制御機能は、表示機能により３Ｄ画像が表示されている際に、画面の表示状況が所定の状況となった場合に、表示機能に、３Ｄ画像の表示を中止させて、２Ｄ画像を表示させることを特徴とするプログラム。
　請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。