JP5267606B2 - 表示装置及びプログラム - Google Patents

Description

本発明は、表示装置及びプログラムに関する。

複数のデジタルスチル画像を記憶し、順次切り替えてスライドショーを行うデジタルフォトフレームと呼ばれる画像表示装置が知られている。
デジタルフォトフレームの中には、音楽再生機能を備え、再生している音楽に合わせて画像を切り替えてスライドショーを行うものがある。

ここで、特許文献１は、画像と音声データとを対応付け、音声データの再生が完了したタイミングで次の画像を表示するデジタルフォトフレームを開示している。

特開２００２−２８１４４０号公報

従来のデジタルフォトフレームは、予め記憶している画像を順番に切り替えて表示するのみであり、表示におもしろみや意外性に欠ける場合があった。
また、音楽に合わせて画像を切り替えるデジタルフォトフレームでは、画像の切り替えのタイミングが固定的で、おもしろみや意外性に欠ける場合があった。このため、画像の表示を開始してしばらくすると、観者が表示を注目しなくなる傾向がある。
同様の問題は、デジタルフォトフレームに限らず、予め記憶している画像を順次切り替えて表示するタイプの種々の表示装置に共通に存在する。

本発明は上記のような事情に鑑みてなされたもので、観者に意外感やおもしろみを感じさせることができる表示装置及びプログラムを提供することを目的とする。
また、この発明は、観者の注目を引きつけることができる表示装置とプログラムを提供することを他の目的とする。
また、この発明は、予め記憶させた画像以外の画像を表示することのできる表示装置とプログラムを提供することを他の目的とする。

上記目的を達成するための本発明に係る表示装置は、
複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている複数の画像と該複数の画像の少なくとも１つを画像変換して得られる変換画像との表示スケジュールを設定するスケジュール設定手段と、
前記スケジュール設定手段により設定されたスケジュールに従って、表示対象の画像を順次表示する表示手段と、
前記スケジュール設定手段により設定された変換画像の表示タイミングまでに前記複数の画像のうちの少なくとも１つを画像変換して前記変換画像を生成する画像変換手段と、
を備え、
前記画像変換手段は、複数の変換プログラムを備え、
さらに、
前記複数の変換プログラムのうちの所定の変換プログラムによる画像変換が前記スケジュールで設定された変換画像の表示タイミングまでに終了するか否かを判別する判別手段と、
前記判別手段により終了しないと判別されたときに、前記スケジュールで設定された変換画像の表示タイミングまでに画像変換処理を終了することができる他の変換プログラムを選択する選択手段と、
前記所定の変換プログラム又は前記選択手段により選択された他の変換プログラムにより画像変換を行う手段と、
を備えることを特徴とする。

本発明の表示装置及びプログラムによれば、複数の画像と変換画像を表示するスケジュールを設定し、設定したスケジュールに従って表示対象の画像を順次表示し、複数の画像の少なくとも１つを画像変換して変換画像を生成する。そのため、予め記憶している画像以外の画像を表示することができ、観者に意外感やおもしろみを感じさせることができ、その結果観者の注目を引きつけることができる。

本発明の実施形態１に係る表示装置の構成を表すブロック図である。 実施形態１に係る表示処理の概要を表す図である。 実施形態１に係る曲データの構成を示す図である。 実施形態１に係るスライドショー実行前処理を表すフローチャートである。 実施形態１に係るスライドショー実行処理を表すフローチャートである。 本発明の実施形態２に係るスライドショー実行前処理を表すフローチャートである。 実施形態２に係る画像変換プログラム情報の構成を示す図である。 本発明の実施形態３に係る表示装置の構成を表すブロック図である。 実施形態３に係る表示処理の概要を表す図である。 実施形態３に係るスライドショー実行前処理を表すフローチャートである。 実施形態３に係る画像変換プログラム情報の構成を示す図である。 本発明の実施形態に係る画像を徐々に切り替えて表示する処理を示す図である。 本発明の実施の形態に係る表示装置のハードウェア構成の一例を示すブロック図である。

以下、本発明を実施するための形態を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
本発明の実施形態１に係る表示装置１は、予め記憶している音楽を再生しつつデジタルスチル画像を切り替えつつ順次表示する機能を備えるデジタルフォトフレームであり、図１に示すように、制御部１０と、記憶部２０と、タッチパネル３０と、入力部４０と、音声出力部５０と、から構成される。

制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＰＳ（Ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｅｒ）等から構成され、記憶部２０に記憶されたプログラムに基づき動作し、記憶部２０と、タッチパネル３０と、入力部４０と、音声出力部５０と、を制御する。制御部１０は、マルチタスクで複数のプログラムを平行して実行する機能を備える。制御部１０は、このような構成により、機能的に、タッチパネル制御部１１と、入力制御部１２と、音声出力制御部１３と、記憶制御部１４と、を備える。

タッチパネル制御部１１は、タッチパネル３０を制御する。具体的には、制御部１０は、タッチパネル３０を構成する表示部３１に画像を表示させ、また、センサ３２が検出したユーザの操作を示す情報を受け取る。

入力制御部１２は、入力部４０からユーザが行った入力操作を特定する情報を受け取る。
音声出力制御部１３は、音声出力部５０に制御部１０が行った処理結果に基づき音声を出力させる。音声とは、楽曲、人の声、その他の音、等の音を意味する。

記憶制御部１４は、記憶部２０を制御する。具体的には、記憶制御部１４は、記憶部２０に制御部１０の処理結果に基づく情報を記憶させ、記憶部２０に記憶されていた情報を読み出す。

記憶部２０は、物理的にはフラッシュメモリ等の不揮発性メモリ等から構成され、機能的には音声記憶部２１と、画像記憶部２２と、スライドショー実行プログラム記憶部２３と、画像変換プログラム記憶部２４と、から構成される。

音声記憶部２１は、音声データとヘッダ情報とから構成される曲データを記憶する。

画像記憶部２２は、写真等の複数の画像の画像データを記憶する。画像の種類や画像データの形式は任意であるが、予め表示部３１の画素数等に合わせてサイズ等が調整されたラスターイメージであることが好ましい。本実施形態では、画像は写真の画像であって、撮影日時等の属性情報と共に画像記憶部２２に格納されている。

スライドショー実行プログラム記憶部２３は、制御部１０が下記スライドショーを実行するためのプログラムを記憶する。

画像変換プログラム記憶部２４は、制御部１０が画像変換を実行するための画像変換プログラムを記憶する。画像変換プログラムの種類は任意であるが、例えば、ｉ）写真を絵画風（油彩調、水彩調等）に変換するプログラム、ii）写真中の背景部分を特定し、背景部分に他の画像を合成するプログラム、iii）写真中の人物を特定し、人物を加工するプログラム、iv）画像の全部又は一部の画素の色相・彩度・明度を変換するプログラム等、既知の任意の画像変換プログラムを採用できる。

タッチパネル３０は、画面を表示し、ユーザによる画面をなぞる等の操作を検出するデバイスである。タッチパネル３０は、タッチパネル制御部１１から指定された画像を表示する表示部３１の上に、その画像をなぞる等によって行われた操作を検出するセンサ３２（タッチセンサ）が重ねられた構成を有する。タッチパネル３０は、センサ３２が検出した操作の情報をタッチパネル制御部１１に伝達する。

入力部４０は、複数のキーと、キー操作を入力制御部１２に伝達する入出力部と、から構成される。

音声出力部５０は、物理的には音声出力制御部１３から伝達された音声データを入力する入力部と、入力された音声データを放音するスピーカと、から構成され、音声出力制御部１３から指示された音声を放音する。

次に、表示装置１が実行する処理の概要を、図２を参照して説明する。
表示装置１は、音声記憶部２１に予め記憶しておいた曲データに基づいて音楽を再生しつつ、画像記憶部２２に予め記憶されている複数の画像を切り替えて順次表示するというスライドショーを行う。ここで、音楽の歌詞がある部分に予め記憶している画像を表示し、間奏部分（歌詞の無い部分）に間奏の直前に演奏していた画像を所定の手法で変換した画像を表示する。

このような表示を行うため、表示装置１は起動されると（時刻ｔ０）、前処理を開始する。前処理では、スライドショーのスケジュール等を決定する。ここでは、表示対象の画像を画像１〜画像４とする。
まず、間奏を除いた曲の長さ（時間）を特定し、特定した時間を画像数４で割って、各画像の表示時間ｔを決定する。

次に、間奏が開始される直前に表示される画像が特定される。図２の例では、画像３が、間奏が開始される直前に表示される画像となる。
間奏時に画像３を所定の手法で変換した変換画像を表示するために、画像変換プログラム記憶部２４に記録された変換プログラムを用いて画像３を変換する処理を開始する。この変換画像は、画像３（写真）を絵画調に変換したものである。

前処理が終わると、スライドショーを開始する（時刻ｔ１）。具体的には、ＢＧＭとして音声記憶部２１に記憶された曲の再生を開始し、併せて、スケジュールに基づいて画像を表示部３１に表示する。

時間の経過と共に、画像１から画像２へ（時刻ｔ２）、画像２から画像３へ（時刻ｔ３）と切り替えて画像を表示部３１に表示する。このとき、ｔ２−ｔ１と、ｔ３−ｔ２と、の値はｔである。
曲が間奏部分にさしかかると（時刻ｔ４）、直前まで表示されていた画像３を変換した変換画像が表示される。

間奏部分が終了すると（時刻ｔ５）、スライドショーを再開する。再開したスライドショーでは、画像３が残り時間（ｔ−ｔ４＋ｔ３）だけ表示される。画像３を、累計時間ｔだけ表示すると（時刻ｔ６）、画像４を表示する。
画像４を時間ｔだけ表示すると、曲が終了し、スライドショーを終了する。

上記した処理では、前処理が終了した時点からスライドショーが開始される。その後、画像３の変換画像を生成する処理が、前処理が終わった後でスライドショーと並行して行われる。そのため、画像３を変換する時間を待たずにスライドショーが開始できる。また、時刻ｔ４において変換画像を表示する時点では画像３を変換した変換画像の生成は終了しているため、時刻ｔ４において処理遅延がおこらないという効果が得られる。さらに、画像を表示するスケジュールや変換画像を表示するタイミングを自動的に定めるため、ユーザが予め煩雑な設定操作を行う必要がない。

なお、上記処理が終了した後の表示装置１の動作は、初期設定又はユーザ設定によって定まる。この設定は任意であり、例えば、上記スライドショーを繰り返し実行する設定、スライドショーの後に予め定められた画像を表示する設定、スライドショーの終了と共に表示装置１の電源をオフにする設定、等が可能である。

ここで、音声記憶部２１に記憶された曲データ３００の構造を、図３を参照して説明する。
曲データ３００は、音楽の音を記述する音声データ３０１と、曲の構成要素等の情報を記載したヘッダ情報３０２と、から構成される。ヘッダ情報３０２は、曲データ３００のヘッダ部に記載されている。

ヘッダ情報３０２は、曲名（Name）、アーティスト名（Artist）、全曲長、曲の構成要素が曲の中でどこに位置するかを表す情報、から構成される。図３の例では、音声データ３０１は、前奏部分（イントロ、Intro)と、Ａメロディー(MelodyA)と、Ｂメロディー(MelodyB)と、間奏(Interlude)と、Ａ’メロディー(MelodyA2)と、から構成される。ヘッダ情報３０２では、上記各構成要素に対して、開始時間と終了時間とが定義されている。

当該曲が演奏されると、まず前奏部分(Intro）が曲の開始２秒から始まり、１０秒まで続く。次にＡメロディー（MelodyA）が１０秒から１分４０秒まで流れる。次に、Ｂメロディー(MelodyB）が１分４０秒から２分４０秒まで流れる。そして、間奏が２分４０秒から３分までの２０秒流れる。そして、間奏が終わると、Ａメロディーの変形であるＡ’メロディー（MelodyA2）が流れ、曲は終了する。なお、最初と最後とにある構成要素が定義されていない部分は、音の無い余白部分である。

制御部１０は、音声記憶部２１に記憶された曲データ３００のヘッド部からヘッダ情報３０２を抽出し、間奏部分が曲のどの部分を占めるか検出する。

次に、表示装置１が上記処理をどのように実行するか、図４〜５を参照して具体的に説明する。

表示装置１が立ち上げられると、制御部１０は、図４に示すスライドショー実行前処理１を開始する。
まず、制御部１０は画像記憶部２２に記憶されている画像の情報を取得する（ステップＳ１０１）。具体的には、記憶されている画像の数と、それぞれの画像の撮影時期と、を取得する。

次に、音声記憶部２１に記憶されている曲データ３００のヘッダ情報３０２を取得する（ステップＳ１０２）。

次に、制御部１０はヘッダ情報３０２および画像の情報から、画像を表示するスケジュールを決定する（ステップＳ１０３）。具体的には、ヘッダ情報３０２から、曲の全長から間奏部分を除いた長さを計算する。そして、求めた長さを画像の数で除算して、画像一枚あたりの表示時間ｔを算出し、各画像を、曲の間奏部分を除いて、撮影時期が古い順番に当該表示時間だけ表示してスライドショーを終了するようスケジュールを決定する。図２の例では、画像１をｔ１からｔ２まで、画像２をｔ２からｔ３まで、画像３をｔ３からｔ４までとｔ５からｔ６まで、画像４をｔ６から曲終了まで、それぞれ時間ｔだけ表示するというスケジュールが決定される。

次に、前記スケジュールにおいて、曲の間奏が開始される直前に表示される画像を検出する（ステップＳ１０４）。図２の例では、画像３を検出する。

最後に、上記ステップＳ１０４で検出された間奏開始直前に表示される画像を変換した変換画像の生成が開始される（ステップＳ１０５）。この変換は、画像変換プログラム記憶部２４に記憶されたプログラムを用いて、制御部１０が実行する。
そして、スライドショー実行前処理１は終了する。

スライドショー実行前処理１が終了すると、制御部１０は次に図５に示すスライドショー実行処理１を開始する。
スライドショー実行処理１を開始すると、音声記憶部２１に記憶された曲データ３００の音声データ３０１の再生を開始する（ステップＳ２０１）。当該音声データは、音声出力制御部１３が、音声出力部５０を用いて出力する。合わせてスライドショーの経過時間を示すタイマＴ１のカウントを開始する。

次に、タイマＴ１を参照してスライドショーの終了時間（曲の終了時間）に到達したかを判別する（ステップＳ２０２）。
スライドショーの終了時間に到達した場合（ステップＳ２０２；ＹＥＳ）、処理は終了する。

一方、スライドショーの終了時間に到達していない場合（ステップＳ２０２；ＮＯ）、スケジュールに従って、次の画像が表示される（ステップＳ２０３）。スライドショーが開始された直後の場合は、最初の画像が表示される。さらに、今回表示した画像の表示時間を計測するタイマＴ２のカウントを開始させる。Ｔ２のカウントがすでに行われている場合はＴ２をリセットしたのちカウントを開始する。

画像が表示されると、次に、タイマＴ１を参照して間奏の開始時間に到達したか判別される（ステップＳ２０４）。間奏の開始時間に到達している場合（ステップＳ２０４；ＹＥＳ）、間奏に入った場合の処理（ステップＳ２０６）が行われる。この場合の処理については後述する。

一方、間奏に入っていない場合（ステップＳ２０４；ＮＯ）、タイマＴ２を参照して現在表示されている画像の表示時間が終了したか判別される（ステップＳ２０５）。具体的には、タイマＴ２の計測時間が、スライドショー実行前処理１のステップＳ１０３で定義された各画像の表示時間ｔを超えているか判別され、超えている場合に当該画像の表示時間が終了したと判別される。

現在の画像の表示時間が終了していない場合（ステップＳ２０５；ＮＯ）、ステップＳ２０４にリターンし、ステップＳ２０４から繰り返しチェックが行われ、間奏に入るか、表示時間が終了するか、どちらかの時刻に到達するまでその画像が表示される。

一方、表示時間が終了していた場合（ステップＳ２０５；ＹＥＳ）、ステップＳ２０３に戻り、次の画像を表示する。

ステップＳ２０４で、間奏に入る時間に到達したと判別すると（ステップＳ２０４；ＹＥＳ）、その直前まで表示されていた画像（スライドショー実行前処理１のステップＳ１０４で検出された画像）の変換画像を表示する（ステップＳ２０６）。直前に表示された画像の表示時間を表すタイマＴ２のカウントを一旦停止する。
この変換画像は、上記スライドショー実行前処理１（図４）のステップＳ１０５で生成が開始され、記憶部２０に格納されている。間奏に入るまでの時間の間、スライドショーを表示する処理と平行して制御部１０が当該変換画像の生成処理を行っているため（図２）、ステップＳ２０６においてこの変換画像を遅滞なく表示することが出来る。

次に、タイマＴ１を参照して間奏が終了したか判別される（ステップＳ２０７）。間奏が終了していない場合（ステップＳ２０７；ＮＯ）、間奏が終了するまで当該変換画像が表示される。一方、間奏が終了した場合（ステップＳ２０７；ＹＥＳ）、間奏が開始される直前に表示されていた画像が表示される（ステップＳ２０８）。さらに、タイマＴ２のカウントを再開し、ステップＳ２０５にもどり、スライドショーを続行する。

以上でスライドショー実行処理１についての説明を終える。

上記した実施形態１の表示装置１によれば、煩雑な準備操作を行わなくても、音声記憶部２１に記憶された曲の間奏中に画像変換を行った、画風の異なる画像を表示することが出来る。また、スライドショーの開始前・途中で、画像変換を実行するための待ち時間がない。さらに、変換画像を表示する際に、画像変換を事前に行っているために、間奏に入るタイミングとずれることも無い。そのため、ユーザにストレスを与えることなく予め記憶している画像以外の画像を表示することができ、観者に意外感やおもしろみを感じさせることができ、その結果観者の注目を引きつけることができる。

（実施形態２）
本発明の実施形態２について説明する。実施形態２は、実施形態１の構成に加え、スライドショー実行前処理において、変換画像を表示するタイミングまでの時間に基づいて、画像変換を実行するプログラムを選択する構成を持つ事を特徴とする。

実施形態２に係る表示装置２の構成は、以下の相違点を除き実施形態１（図１）と同様である。
その相違点とは、画像変換プログラム記憶部２４が、図７に例示するように、複数の画像変換プログラムを記憶し、さらに当該複数の画像変換プログラムの特徴（標準処理時間、優先度等）を登録したリスト（画像変換プログラム情報）を記憶している点である。

次に、表示装置２が実行する処理を、図６を参照して説明する。

表示装置２が立ち上げられると、スライドショー実行前処理２が開始される。
スケジュール実行前処理２において、画像情報の取得（ステップＳ３０１）から間奏が開始される直前に表示される画像を検出する（ステップＳ３０４）までは、実施形態１に係るスライドショー実行前処理１（図４、ステップＳ１０１〜１０４）と同様の処理が行われる。

スライドショー実行前処理２においては、次に、予め定められたデフォルトの変換処理プログラムを用いた変換画像の生成が、間奏の開始までに間に合うかどうかが判別される（ステップＳ３０５）。具体的な判別方法については後述する。

そして、間奏の開始までに間に合うと判別された場合は（ステップＳ３０５；ＹＥＳ）、デフォルトの変換プログラムが選択され（ステップＳ３０６）、当該プログラムによって変換処理が行われる。

一方、間奏の開始までに間に合わないと判別された場合には（ステップＳ３０５；ＮＯ）、代替プログラムが選択される（ステップＳ３０７）。具体的な選択方法については後述する。
ステップＳ３０６又はステップＳ３０７のどちらかで変換プログラムが選択されると、ステップ３０４で検出された画像を変換した変換画像の生成が、選択された変換プログラムを用いて開始される（ステップＳ３０８）。
そして、スライドショー実行前処理２は終了する。

スライドショー実行前処理２が終了すると、次にスライドショーが実行される。スライドショーは、実施形態１のスライドショー実行処理１（図５）と同様に実行される。

ここで、実施形態２において間奏の開始までに処理が間に合うか判別する処理（図６、ステップＳ３０５）及び代替プログラムを選択する処理（図６，ステップＳ３０７）がどのように行われるか具体的に説明する。この処理は、画像変換プログラム情報に基づいて行われる。

画像変換プログラム情報の構成について、図７を参照して説明する。画像変換プログラム情報は、画像変換プログラム記憶部２４に記憶されている各画像変換プログラムの特性を登録したリストである。

上記リストは、プログラム名、プログラムＩＤ，標準処理時間、優先度等を対応づけて記憶する。
プログラム名は、画像処理プログラムの名前を示す。
プログラムＩＤは、対応する画像処理プログラムを一意に表すＩＤ（識別情報）である。

標準処理時間は、各画像処理プログラムが画像処理を実行するために必要な処理時間の目安が登録されている。処理時間の目安は、例えば、そのプログラムが画像記憶部２２に記憶された画像データ（好ましくは、予め表示部３１の表示に適したサイズに調整されている）を処理するために要する標準的な時間を、実験等によって求めた値である。

優先度は、各行が対応する画像処理プログラムを選択する際の優先度を定義する数値（自然数）が登録されている。この数値の値が小さいほど優先度が高いことを意味する。デフォルトの画像変換プログラムとは、優先度が１に設定されているプログラムのことである。

制御部１０は、図６のステップＳ３０５において、現時点から間奏開始までの時間と、デフォルトの画像変換プログラム（優先度１のプログラム）の標準処理時間に安全係数を乗算した時間（処理時間）と、を比較する。この安全係数は、処理時間に余裕を見るためのもので、予め実験等によって求められた数値である。

前記処理時間が、間奏開始までの時間よりも短い場合、生成処理は間に合うと判別される。
例えば、前記安全係数が１．３である場合に、図７の例でデフォルトのプログラムである油絵調変換１というプログラムを用いる場合、変換開始から間奏までの時間が３９０秒以上あれば生成処理は間に合うと判別される。

一方、前記処理時間が、間奏開始までの時間よりも長い場合、代替プログラムが選択される（ステップＳ３０７）。具体的には、画像変換プログラム情報に登録されたプログラムの優先度が高い（優先度の数値が低い）順に、上記処理時間が求められ、当該処理時間が間奏までの時間と比較される。処理時間が間奏までの時間よりも短いプログラムの中で、最も優先度が高い処理プログラムが代替プログラムとして選択される。

間奏までに非常に時間がない場合に備え、画像変換プログラム情報には、無処理（処理を行わない）という行が登録されている。この行の優先度の数値は、常にリストの中で最大値（図７の例では９９９）を取る。

上記した実施形態２によれば、実施形態１の効果に追加して、間奏までの時間に基づき、その時間内で行える最良の（優先度の高い）画像処理を行った画像を間奏中に表示することが出来る。そのため、処理時間が間に合う中で最もおもしろみのある画像を表示することにより、観者に意外感やおもしろみを感じさせることができ、その結果観者の注目を引きつけることができる。

（実施形態３）
実施形態３について説明する。
実施形態３は、スライドショーを開始してから変換元画像に選ばれた画像を解析する処理を行い、最適な画像処理プログラムを選択する構成を持つことを特徴とする。

画像変換プログラムの中には、画像のサイズが同じであっても、処理に必要な時間が画像によって大きく変動するものがある。
例えば、ラスターイメージから線にあたる部位を抽出してベクトル画像に変換し、当該線を筆で描いたような画像に変換するプログラムでは、変換元となる画像に含まれるベクトル要素の数によって大きく処理時間が異なる。実施形態３は、このような画像によって大きく処理時間が変動するような変換プログラムを用いた変換画像であっても、所定のタイミングで表示できる事を特徴とする。

実施形態３に係る表示装置３の構成は、実施形態２に係る表示装置２と比して、制御部１０に画像解析部１５を備える点で異なる（図８）。
画像解析部１５は、画像を解析し、画像変換プログラムが画像を変換するためにどの程度の時間が必要となるか推定する。

実施形態３に係る表示装置３が実行する処理の概要を、図９を参照して説明する。実施形態３が実行する処理は、前処理及び変換処理が、実施形態１及び２と比べて異なる。

表示装置３が起動されると（時刻ｔ０）、前処理が開始される。前処理では、スライドショーのスケジュール等が決定される。
実施形態３では、画像変換を実行するプログラムを決定する前に画像表示と音声出力とが開始される（ｔ１）。そして、画像表示及び音声出力と平行して、画像変換を実行するためのプログラムを選択するために、画像３の解析とプログラム選択処理が行われる。
なお、このとき間奏までの時間が所定の閾値より短いと判別された場合（解析を行う余裕がない場合）は、解析処理は行われず、実施形態２と同様の処理が行われる。具体的には、例えば、間奏に入る間での時間（ｔ４）と、実験的に求められた所定の閾値（例えば１分）と、を比較して、間奏に入るまでの時間の方が短ければ解析処理は実行されない。

選択処理が終わると、画像３を変換するプログラムが特定され、画像３の変換が開始される。その他の処理については実施形態１及び２（図２）と同様である。

上記した処理では、画像３の変換を実行するプログラムを選択するための解析処理が、スライドショー（画像表示、音声出力）と平行して実行される。そのため、解析処理に時間が長くかかる場合でも、スライドショーの開始までの待ち時間は長くならない。

続いて、実施形態３に係るスライドショー実行前処理３について、図１０を参照して説明する。スライドショー実行前処理３では、図９で示した、前処理と、画像の解析・選択処理と、が実行される。

スライドショー実行前処理３は、画像枚数を取得する処理（ステップＳ４０１）から、間奏直前の表示画像を検出する処理（ステップＳ４０４）までは、実施形態１に係るスライドショー実行前処理１（図４、ステップＳ１０１〜ステップＳ１０４）と同様に処理が実行される。

次に、スライドショーが開始される（ステップＳ４０５）。即ち、図９で示した画像表示処理、音声出力処理が開始される。具体的には、図５で示したスライドショー実行処理１と同じ処理が開始される。

次に、ステップＳ４０４において検出された画像の解析が行われる（ステップＳ４０６）。具体的には、画像をベクトル画像に変換し、当該ベクトル画像にベクトルが何単位含まれているかを取得する。取得した数をＵとする。このとき、例えば１００ベクトルを一単位として、含まれるベクトルが３０００個であるとすると、元画像にはベクトル要素が３０単位含まれていることになり、Ｕ＝３０が得られる。このベクトルの単位は予め定められた所定の数値である。

次に、前記解析結果を用いて、予め定められたデフォルトの変換処理プログラムを用いた変換画像の生成が、間奏の開始までに間に合うかどうかが判別される（ステップＳ４０７）。具体的な判別方法については後述する。

そして、間奏の開始までに間に合うと判別された場合は（ステップＳ４０７；ＹＥＳ）、スライドショー実行プログラム記憶部２３に記憶されたデフォルトの変換プログラムが選択され（ステップＳ４０８）、当該プログラムを用いて、ステップＳ４０４の変換画像の生成が開始される。

一方、間奏の開始までに間に合わないと判別された場合には（ステップＳ４０７；ＮＯ）、処理時間が短くてすむ代替プログラムが選択される（ステップＳ４０９）。具体的な選択方法については後述する。
そして、当該選択されたプログラムを用いて、ステップＳ４０４の変換画像の生成が開始される。

ステップＳ４０８又はステップＳ４０９が終了すると、スライドショー実行前処理３は終了する。
このとき、スライドショーはすでに開始されているため、あらたにスライドショー実行処理は始まらない。

ここで、間奏の開始までに処理が間に合うか判別する処理（図１０、ステップＳ４０７）及び代替処理を選択する処理（図１０、ステップＳ４０８）がどのように行われるか具体的に説明する。この処理は、画像変換プログラム情報に基づいて行われる。

実施形態３の画像変換プログラム情報の構成について、図１１を参照して説明する。実施形態３の画像変換プログラム情報は、各プログラムについて、ベクトル数による変動指数が定義されている点が実施形態２の画像変換プログラム情報と異なる。

実施形態３の画像変換プログラム情報には、プログラム名、プログラムＩＤ、標準処理時間、優先度に加えて、ベクトル数による変動指数等が対応づけて記録されている。
プログラム名は、画像処理プログラムの名前を示す。
プログラムＩＤは、対応する画像処理プログラムを一意に表すＩＤ（識別情報）である。
標準処理時間は、各行が対応する画像処理プログラムが画像処理を実行するための基礎となる時間を示す。
また、ベクトル数による変動指数は、そのプログラムによる変換画像の生成に必要な処理時間が、変換元となる画像に含まれているベクトル要素１単位につきどの程度増加するかを示す。
各プログラムの推定処理時間ＰＴは、ＰＴ＝（標準処理時間＋変動指数×Ｕ）によって求められる。
標準処理時間と変動指数とは実験によって求められた値である。

制御部１０は、図１０のステップＳ４０７において、現時点から間奏開始までの時間と、デフォルトの画像変換プログラム（優先度１のプログラム）のＰＴに安全係数を乗算した時間（処理時間）と、を比較する。この安全係数は、処理時間に余裕を見るためのもので、予め実験によって求められた数値である。

前記処理時間が、間奏開始までの時間よりも短い場合、生成処理は間に合うと判別される（ステップＳ４０７；ＹＥＳ）。

一方、前記処理時間が、間奏開始までの時間よりも長い場合、代替プログラムが選択される（ステップＳ４０９）。具体的には、画像変換プログラム情報に登録されたプログラムの優先度が高い（優先度の数値が低い）順に、上記処理時間が求められ、当該処理時間が間奏までの時間と比較される。処理時間が間奏までの時間よりも短いプログラムの中で、最も優先度が高い処理プログラムが代替プログラムとして選択される。

間奏までに非常に時間がない場合に備え、画像変換プログラム情報には、無処理（処理を行わない）という行が登録されている。この行の優先度の数値は、常にリストの中で最大値を取る。

上記した実施形態３によれば、画像変換プログラム記憶部２４にベクトル数に依存して処理速度が大きく変動する画像変換プログラムが記憶されている場合でも、画像変換にかかる時間を推定して、所定のタイミングに間に合うプログラムを選択することが出来る。
そのため、様々な画像変換プログラムを候補として画像変換プログラム記憶部２４に記憶して利用できるため、変換画像の画風を幅広く取ることが出来きる。その結果、観者により意外感やおもしろみを感じさせることができ、その結果観者の注目を引きつけることができる。

以上、本発明の実施形態について説明したが、本発明の実施形態は上記に限られる物ではない。

例えば、上記実施形態では、変換画像を表示する際に、元画像から変換画像に瞬時に切り替える。しかし、本発明において変換画像を表示する方法はこれに限られない。
例えば、画像を切り替える際に、変換の中間段階の画像を徐々に入れ替えて表示するようにしてもよい。

この場合に行われる処理を、図１２を参照して説明する。図２の変換処理において、元画像（変換度０％）を変換した変換画像（変換度１００％）の画像を生成が完了すると、元画像と変換処理とを合成して中間段階の画像を複数生成する。図１２の例では、元画像と変換画像を重みづけて加算して平均値を作成し、変換度２５％、変換度５０％、変換度７５％の画像を生成して保存する（図１２（Ａ））。この合成画像（中間段階の画像）は、例えば対応する各画素について、色値を合成比率に基づいて加重平均する事によって生成するプログラム等、既知の合成画像生成プログラムを用いて生成する。

そして、当該中間段階の画像を、間奏に入るタイミング（ｔ４）で当該中間段階の画像を変換度０％から１００％まで順次切り替えて表示する（図１２（Ｂ））。また、元画像に切り替えるタイミング（ｔ５）において変換度１００％から変換度０％まで順次切り替えて表示する。
これにより、ユーザに間奏に入るタイミングで写真が徐々に絵画に変わっていくような印象を与える事が出来る。

また、ユーザがスライドショーの実行の設定等を自由に行う事ができるようにしてもよい。例えば、ユーザが入力部４０又はタッチパネル３０を操作して種々の設定をできるようにしてもよい。
また、この実施形態では、音声記憶部２１に複数の曲データを記憶させておき、スライドショーの起動にあたって当該複数の曲データのうち一つをユーザ又は所定の条件により選択し、選択された音声データによってスライドショーを実施するようにしてもよい。さらに、ユーザ又は所定の条件により、画像記憶部２２に記憶されている画像の中から、スライドショーで表示される画像を選択するようにしてもよい。曲データや画像の選択の手法自体は任意である。
このとき、また、画像表示の順番を自由に選択することも出来る。
この場合、ユーザはニーズにあったスライドショーを任意に設定して実行することができる。

また、上記実施形態においては、再生される音声は、間奏部分を特定する情報が付与された曲データであった。しかし、本発明はこれに限定されない。ヘッダ情報の無い曲データであってもよい。この場合、例えば、制御部１０が曲データを解析し、人間の歌声が含まれている部分と含まれていない部分を抽出して間奏部分を特定するようにしてもよい。
また、曲データを間奏部分とメロディー部分とに分離できない場合には、曲調が変化するタイミングを抽出し、当該タイミングで変換画像を表示するようにしてもよい。
さらに、この場合に再生される音は楽曲に限らず、人間の会話する声等、その他の音であってよい。

また、上記実施形態では、間奏中に一つの変換画像を見せる構成を取った。しかし、間奏中に表示される変換画像は一つで無くても良い。このとき、当該間奏中に表示される複数の変換画像の変換処理を予め実行する。また、複数の間奏部分を持つ曲に対して、それぞれの間奏部分に対応する画像を変換して表示する構成も可能である。

さらに、上記実施形態では、音楽の間奏部分で変換画像を表示する例を説明したが、本発明の応用範囲はこれに限定される物ではなく、スライドショーにおいて準備作業や待ち時間無く変換画像を表示する様々な状況において広く応用可能である。
例えば、新たな告知手段を持つタイマ機能を持つ表示装置が考えられる。この表示装置は、所定の時間までは写真によるスライドショーを行い、所定のタイミングになると、例えば、油絵調に変換された写真を表示する。ユーザは、表示画面に油絵調の画像が表示されたことにより、時間が経過したことを知ることができる。

ここで、本発明の実施の形態に係る表示装置１〜３の具体的なハードウェア構成の一例を、図１３を参照して説明する。
表示装置１〜３は、制御部１０１、主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６および送受信部１０７を備える。
主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６および送受信部１０７はいずれも内部バス１００を介して制御部１０１に接続されている。

制御部１０１はＣＰＵ、画像処理用ＤＳＰ、音信号処理用ＤＳＰ、等から構成され、外部記憶部１０３に記憶されている制御プログラム１０８に従って、表示装置１の制御部１０の各処理を実行する。

主記憶部１０２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部１０３に記憶されている制御プログラム１０８をロードし、制御部１０１の作業領域として用いられる。

外部記憶部１０３は、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成され、表示装置１の処理を制御部１０１に行わせるためのプログラムをあらかじめ記憶し、また、制御部１０１の指示に従って、このプログラムが記憶するデータを制御部１０１に供給し、制御部１０１から供給されたデータを記憶する。表示装置１の記憶部２０は、主記憶部１０２と外部記憶部１０３とによって構成される。

操作部１０４は筐体に備えられたキーあるいはキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス１００に接続するインターフェース装置から構成されている。

タッチパネル１０５は、ＬＣＤ（Liquid Crystal Display）と感圧センサ又は静電気センサなどから構成される。

入出力部１０６は、シリアルインターフェースまたはパラレルインターフェースから構成されている。入出力部１０６は、ユーザが外部装置を接続して情報伝達する場合、当該外部装置と接続される。

送受信部１０７は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインターフェースまたはＬＡＮ（Local Area Network）インターフェースから構成されている。送受信部１０７は、ネットワークを介して、他のユーザに表示装置１に記憶された情報を伝達する。また、他のユーザから情報を受信する。

表示装置１〜３及びその他の実施形態に係る表示装置の、制御部１０、記憶部２０、タッチパネル３０、入力部４０、音声出力部５０、の処理は、制御プログラム１０８が、制御部１０１、主記憶部１０２、外部記憶部１０３、操作部１０４、タッチパネル１０５、入出力部１０６および送受信部１０７などを資源として用いて処理することによって実行する。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
複数の画像を記憶する画像記憶手段と、
前記画像記憶手段に記憶されている複数の画像と該複数の画像の少なくとも１つを画像変換して得られる変換画像との表示スケジュールを設定するスケジュール設定手段と、
前記スケジュール設定手段により設定されたスケジュールに従って、表示対象の画像を順次表示する表示手段と、
前記スケジュール設定手段により設定された変換画像の表示タイミングまでに前記複数の画像のうちの少なくとも１つを画像変換して前記変換画像を生成する画像変換手段と、
を備えることを特徴とする表示装置。

（付記２）
前記画像変換手段は、複数の変換プログラムを備え、
さらに、
前記複数の変換プログラムのうちの所定の変換プログラムによる画像変換が前記スケジュールで設定された変換画像の表示タイミングまでに終了するか否かを判別する判別手段と、
前記判別手段により終了しないと判別されたときに、前記スケジュールで設定された変換画像の表示タイミングまでに画像変換処理を終了することができる他の変換プログラムを選択する選択手段と、
前記所定の変換プログラム又は前記選択手段により選択された他の変換プログラムにより画像変換を行う手段と、
を備える、ことを特徴とする付記１に記載の表示装置。

（付記３）
音声データを再生する再生手段をさらに備え、
前記スケジュール設定手段は、音声データに基づいて、前記スケジュールを設定する、
ことを特徴とする付記１又は２に記載の表示装置。

（付記４）
前記音声データの間奏部分を検出する間奏検出手段をさらに備え、
前記スケジュール設定手段は、前記再生手段が前記間奏部分を再生する期間中に前記変換画像の表示タイミングを設定する、
ことを特徴とする付記３に記載の表示装置。

（付記５）
前記画像変換手段は、前記スケジュール設定手段が決定したスケジュールにおいて、前記変換画像を表示する直前に表示される画像を、前記画像変換を行う前記複数の画像のうちの少なくとも１つの画像として選択する、
ことを特徴とする付記１乃至４の何れか一つに記載の表示装置。

（付記６）
前記画像変換手段は、前記画像変換の程度が異なる中間段階の画像を生成し、
前記表示手段は、前記中間段階の画像を表示した後、前記変換画像を表示する、
ことを特徴とする付記１乃至５のいずれか１つに記載の表示装置。

（付記７）
コンピュータを、
予め記憶されている複数の画像と該複数の画像の少なくとも１つを画像変換して得られる変換画像との表示スケジュールを設定するスケジュール設定手段、
前記スケジュール設定手段により設定されたスケジュールに従って、表示対象の画像を順次表示する表示手段、
前記複数の画像のうちの少なくとも１つを画像変換して前記変換画像を生成する画像変換手段、
として機能させることを特徴とするプログラム。

１…表示装置、２…表示装置、３…表示装置、１０…制御部、１１…タッチパネル制御部、１２…入力制御部、１３…音声出力制御部、１４…記憶制御部、１５…画像解析部、２０…記憶部、２１…音声記憶部、２２…画像記憶部、２３…スライドショー実行プログラム記憶部、２４…画像変換プログラム記憶部、３０…タッチパネル、３１…表示部、３２…センサ、４０…入力部、５０…音声出力部、１００…内部バス、１０１…制御部、１０２…主記憶部、１０３…外部記憶部、１０４…操作部、１０５…タッチパネル、１０６…入出力部、１０７…送受信部、３００…曲データ、３０１…音声データ、３０２…ヘッダ情報

Claims (6)

1. 複数の画像を記憶する画像記憶手段と、
   前記画像記憶手段に記憶されている複数の画像と該複数の画像の少なくとも１つを画像変換して得られる変換画像との表示スケジュールを設定するスケジュール設定手段と、
   前記スケジュール設定手段により設定されたスケジュールに従って、表示対象の画像を順次表示する表示手段と、
   前記スケジュール設定手段により設定された変換画像の表示タイミングまでに前記複数の画像のうちの少なくとも１つを画像変換して前記変換画像を生成する画像変換手段と、
   を備え、
   前記画像変換手段は、複数の変換プログラムを備え、
   さらに、
   前記複数の変換プログラムのうちの所定の変換プログラムによる画像変換が前記スケジュールで設定された変換画像の表示タイミングまでに終了するか否かを判別する判別手段と、
   前記判別手段により終了しないと判別されたときに、前記スケジュールで設定された変換画像の表示タイミングまでに画像変換処理を終了することができる他の変換プログラムを選択する選択手段と、
   前記所定の変換プログラム又は前記選択手段により選択された他の変換プログラムにより画像変換を行う手段と、
   を備える、
   ことを特徴とする表示装置。
2. 音声データを再生する再生手段をさらに備え、
   前記スケジュール設定手段は、音声データに基づいて、前記スケジュールを設定する、
   ことを特徴とする請求項１に記載の表示装置。
3. 前記音声データの間奏部分を検出する間奏検出手段をさらに備え、
   前記スケジュール設定手段は、前記再生手段が前記間奏部分を再生する期間中に前記変換画像の表示タイミングを設定する、
   ことを特徴とする請求項２に記載の表示装置。
4. 前記画像変換手段は、前記スケジュール設定手段が決定したスケジュールにおいて、前記変換画像を表示する直前に表示される画像を、前記画像変換を行う前記複数の画像のうちの少なくとも１つの画像として選択する、
   ことを特徴とする請求項１乃至３の何れか一項に記載の表示装置。
5. 前記画像変換手段は、前記画像変換の程度が異なる中間段階の画像を生成し、
   前記表示手段は、前記中間段階の画像を表示した後、前記変換画像を表示する、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の表示装置。
6. コンピュータを、
   予め記憶されている複数の画像と該複数の画像の少なくとも１つを画像変換して得られる変換画像との表示スケジュールを設定するスケジュール設定手段、
   前記スケジュール設定手段により設定されたスケジュールに従って、表示対象の画像を順次表示する表示手段、
   前記複数の画像のうちの少なくとも１つを画像変換して前記変換画像を生成する画像変換手段、
   として機能させ、
   前記画像変換手段は、複数の変換プログラムを備え、
   さらに、
   前記複数の変換プログラムのうちの所定の変換プログラムによる画像変換が前記スケジュールで設定された変換画像の表示タイミングまでに終了するか否かを判別する判別手段、
   前記判別手段により終了しないと判別されたときに、前記スケジュールで設定された変換画像の表示タイミングまでに画像変換処理を終了することができる他の変換プログラムを選択する選択手段、
   前記所定の変換プログラム又は前記選択手段により選択された他の変換プログラムにより画像変換を行う手段、
   として機能させることを特徴とするプログラム。

Images