JP5421144B2 - 端末装置及びプログラム - Google Patents

Description

本発明は、画像を表示部に３Ｄ表示する端末装置及びプログラムに関する。

従来、携帯電話機などの端末装置においては、画像を撮影する際に、匂いなどの周囲の情景を検出し、この検出結果をその情景を再現するための情景再現情報として、撮影された画像に対応付けて記憶しておき、この撮影画像を再生表示させる際に、その撮影画像に対応付けて記憶されている情景再現情報に基づいて撮影時の情景を再現出力するようにした技術が知られている。例えば、情景再現情報として匂い情報を記録可能なデジタルカメラにおいて、撮影に用いる撮影モードと匂いを再現させるための匂い情報との対応付けを予め設定しておき、撮影時に選択された撮影モードに基づいて、匂い情報を画像に対応付けて記録媒体に記録するようにした技術が開示されている（特許文献１参照）。

特開２００３−２６４７３０号公報

上述した先行技術にあっては、撮影画像の再生時、それに対応付けられている匂い情報（情景再現情報）に基づいて撮影時の情景を再現することができるために大きな臨場感を得ることができるが、画像を表示させる度に匂いを再現出力させることは、周囲にとって迷惑になるなど、必ずしも得策とは言えない。そこで、ユーザ操作により匂いを再現出力させることも考えられるが、ユーザにとっては匂いが再現されることを知った上で画像を見る結果となり、画像との連帯感や迫力感などが不十分で、大きな再現効果までも期待できるとは言えない。

本発明の課題は、表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する場合に、その再現出力を適切に制御できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、画像を表示部に３Ｄ表示する端末装置であって、前記表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて前記情景を再現出力する出力手段と、前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する指定手段と、この指定手段により指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる表示制御手段と、前記指定手段により指定された３Ｄ深度に基づいて、前記出力手段により情景を再現出力する際の出力強度を決定する決定手段と、この決定手段により決定された出力強度で前記出力手段から情景を再現出力させる出力制御手段と、を備え、前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも大きい場合に、所定の強度よりも大きい強度に決定する、ことを特徴とする。

請求項１に従属する発明として、前記情景再現情報は、視覚以外の人の感覚である嗅覚、触覚、聴覚、味覚のうち、少なくともそのいずれかの感覚で認識される情景を再現させるための情報であり、前記出力手段は、前記情景再現情報に基づいて、視覚以外の人の感覚である嗅覚、触覚、聴覚、味覚のうち、少なくともそのいずれかの感覚で認識させるための刺激を、前記情景として生成して再現出力する、ようにしたことを特徴とする請求項２記載の発明であってもよい。

請求項２に従属する発明として、前記情景再現情報は、匂いに関する情報で、前記出力手段により情景を出力する際の出力強度は、匂いの強さである、ことを特徴とする請求項３記載の発明であってもよい。

請求項２に従属する発明として、前記情景再現情報は、温度に関する情報で、前記出力手段により情景を出力する際の出力強度は、該端末装置を構成する筐体を加熱あるいは冷却する範囲である、ことを特徴とする請求項４記載の発明であってもよい。

請求項１に従属する発明として、画像を撮影する撮影手段と、この撮影手段により画像の撮影時における周囲の情景を検出して前記情景再現情報として取得する情景検出手段と、前記撮影手段により撮影された画像と前記情景検出手段により検出された情景再現情報とを対応付けて記憶部に記憶させる記憶制御手段と、を備え、前記出力制御手段は、前記表示部に表示されている画像に対応付けられている情景再現情報を前記記憶部から読み出して前記出力手段から情景を再現出力させる、ようにしたことを特徴とする請求項５記載の発明であってもよい。

また、上述した課題を解決するために請求項６記載の発明は、画像を表示部に３Ｄ表示する端末装置であって、前記表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて前記情景を再現出力する出力手段と、前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する指定手段と、この指定手段により指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる表示制御手段と、前記指定手段により指定された３Ｄ深度に基づいて、前記出力手段により情景を再現出力する際の出力強度を決定する決定手段と、この決定手段により決定された出力強度で前記出力手段から情景を再現出力させる出力制御手段と、を備え、前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度を所定の強度よりも小さく決定する、ことを特徴とする。

請求項６に従属する発明として、前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度をゼロに決定する、ようにしたことを特徴とする請求項７記載の発明であってもよい。

請求項６に従属する発明として、前記決定手段は、前記指定手段により指定された３Ｄ深度がゼロの場合に、情景を再現出力する際の出力強度をゼロに決定する、ようにしたことを特徴とする請求項８記載の発明であってもよい。

請求項１または６に従属する発明として、前記表示部に表示される画像の３Ｄ深度が変更されたことを検出する変更検出手段を更に備え、前記決定手段は、前記変更検出手段により３Ｄ深度が変更されたことが検出された場合に、変更後における３Ｄ深度に基づいて、情景を再現出力する際の出力強度を新たに決定し、前記出力制御手段は、前記出力手段から再現出力されている情景の出力強度を、前記決定手段により新たに決定された出力強度に切り替えて該情景を再現出力する、ようにしたことを特徴とする請求項９記載の発明であってもよい。

また、上述した課題を解決するために請求項１０記載の発明は、コンピュータに対して、表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する機能と、前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する機能と、前記指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる機能と、前記指定された３Ｄ深度に基づいて、前記情景を再現出力する際の出力強度を決定する際に、前記指定された３Ｄ深度が所定の３Ｄ深度よりも大きい場合に、所定の強度よりも大きい強度に決定する機能と、前記決定された出力強度で情景を再現出力させる機能と、を実現させるためのプログラムであることを特徴とする。

また、上述した課題を解決するために請求項１１記載の発明は、コンピュータに対して、表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する機能と、前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する機能と、前記指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる機能と、前記指定された３Ｄ深度に基づいて、前記情景を再現出力する際の出力強度を決定する際に、前記指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度を所定の強度よりも小さく決定する機能と、前記決定された出力強度で情景を再現出力させる機能と、を実現させるためのプログラムであることを特徴とする。

本発明によれば、表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する場合に、その再現出力を適切に制御することができ、画像との連帯感や迫力感により臨場感や演出効果を更に高めることが可能となる。

端末装置として適用した携帯電話機が利用可能な通信ネットワークシステムを示したブロック図。 携帯電話機１の基本的な構成要素を示したブロック図。 携帯電話機１の外観図。 画像記憶部Ｍ３を説明するための図。 ３Ｄ深度設定情報記憶部Ｍ４を説明するための図。 出力条件記憶部Ｍ５を説明するための図。 電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したフローチャート。 画像取得処理（図７のステップＡ６）を詳述するためのフローチャート。 画像表示処理（図７のステップＡ８）を詳述するためのフローチャート。 図９の動作に続くフローチャート。

以下、図１〜図１０を参照して本発明の実施形態を説明する。
この実施形態は、端末装置として携帯電話機に適用した場合を例示したもので、図１は、この携帯電話機が利用可能な通信ネットワークシステムを示したブロック図である。
携帯電話機１には、通話機能、電子メール機能、インターネット接続機能（Ｗｅｂアクセス機能）のほか、デジタルテレビ放送（地上デジタルテレビ放送）を受信可能なテレビ放送受信機能、カメラ機能、３Ｄ表示機能などが備えられている。

３Ｄ表示機能は、左右の目の視差を利用した視差バリア方式によって画像（動画、静止画、テレビ番組など）を３Ｄ表示の奥行きあるいは飛び出しの程度を示す３Ｄ深度で表示させる機能である。すなわち、互いに少しずらした右目用の画像と左目用の画像を用意し、それら２つの画像を同時に表示させるが、その際、右目用の画像は右目で見えて左目では見えないように、左目用の画像は左目で見えて右目では見えないようにするために光の経路を遮断する視差バリアを適切な位置に配置することによって画像を立体に見せるようにしている。

携帯電話機１は、最寄りの基地局２Ａ、交換機２Ｂから無線通信網（移動体通信網）２に接続されると、この無線通信網２を介して他の携帯電話機（図示省略）との間で通話可能な状態となる。また、携帯電話機１は、無線通信網２を介してインターネット３に接続されると、Ｗｅｂサイトをアクセスして閲覧可能となり、また、画像配信装置４から画像（動画や静止画）などをインターネット３、無線通信網２を介してダウンロード可能となる。また、携帯電話機１は、テレビ局５から送信アンテナ６を介して発信された地上波デジタル放送を受信するようにしているが、インターネットラジオのように無線通信網２、インターネット３を介して画像配信装置４からデジタル放送をダウンロード受信することもできる。

図２は、携帯電話機１の基本的な構成要素を示したブロック図である。
中央制御部１１は、二次電池を備えた電池部１２からの電力供給によって動作し、記憶部１３内の各種のプログラムに応じてこの携帯電話機１の全体動作を制御する中央演算処理装置やメモリ（図示省略）などを有している。この記憶部１３には、プログラム記憶部Ｍ１、各種情報一時記憶部Ｍ２、画像記憶部Ｍ３、３Ｄ深度設定情報記憶部Ｍ４、出力条件記憶部Ｍ５などが設けられている。

プログラム記憶部Ｍ１は、図７〜図１０に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要とする情報などが記憶されている。なお、記憶部１３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。各種情報一時記憶部Ｍ２は、フラグ情報、画面情報など、携帯電話機１が動作するために必要な各種の情報を一時的に記憶するワーク領域である。なお、画像記憶部Ｍ３、３Ｄ深度設定情報記憶部Ｍ４、出力条件記憶部Ｍ５については後で詳述するものとする。

無線通信部１４は、無線部、ベースバンド部、多重分離部などを備え、例えば、通話機能、電子メール機能、インターネット接続機能などの動作時に、最寄りの基地局２Ａとの間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調して中央制御部１１に対して出力すると、中央制御部１１は、音声信号処理部１５を介して通話用スピーカＳＰから音声出力させ、また、通話用マイクＭＣからの入力音声データを音声信号処理部１５から取り込み、送信ベースバンド信号に符号化した後、ベースバンド部の送信側に与えてアンテナＡＮ１から発信出力させる。

テレビ放送受信部１６は、例えば、通信端末装置向けのワンセグ地上波デジタルテレビ放送を受信するもので、放送信号を抽出する受信部（アナログ回路部）と、受信した放送信号をＯＦＤＭ（直交周波数分割多重）復調したり、多重化されている放送信号から映像、音声、データ（文字データ）に分離して復号化したり、圧縮データの解凍などを行うデジタル回路部を有している。撮像部１７は、カメラ機能を構成する構成要素で、撮像素子（例えば、ＣＣＤあるいはＣＭＯＳ）を有し、静止画撮影のほかに動画撮影も可能となっている。そして、撮像部１７は、撮影レンズ、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランスなどを制御したりする。

表示部１８は、高精細液晶を使用し、例えば、文字情報、待受画像、テレビ映像などを表示させるもので、この表示部１８の表面には、視差バリアを生成するための液晶の層が設けられている。３Ｄ変換処理部１９は、３Ｄ表示時に３Ｄ深度に応じた右目用の画像と左目用の画像を生成するもので、視差バリア制御部２０は、３Ｄ表示時に３Ｄ変換処理部１９により生成された右目用の画像と左目用の画像が表示部１８に同時に表示されている状態において、正しく３Ｄ表示が見えるように視差バリアを表示部１８の表層に生成する。

操作部２１は、ダイヤル入力、文字入力、コマンド入力などを入力するもので、中央制御部１１は、この操作部２１からの入力操作信号に応じた処理を実行する。例えば、電源オンオフ操作に応じて電源オン／オフ処理を行ったり、画像のダウンロードを指示するダウンロード操作や撮影を指示する撮影操作などの画像取得操作に応じて画像取得処理を行ったりする。ＲＴＣ（リアルタイムクロックモジュール）２２は、時計部を構成するもので、中央制御部１１は、ＲＴＣ２２から現在日時を取得する。報知部２３は、サウンドスピーカ２３Ａ、ＬＥＤ（発光ダイオード）２３Ｂ、振動モータ２３Ｃを備え、着信時に駆動されて着信報知を行うほか、アラーム報知時などでも駆動される。

匂い検出部２４及び温度検出部２５は、撮像部１７により画像を撮影する際に、その周囲に漂う匂い（種類）や温度を撮影時の情景として検出するもので、中央制御部１１は、匂い検出部２４及び温度検出部２５の検出結果を、撮影された画像に関する情景を再現させるための情景再現情報として取得する。この情景再現情報は、視覚以外の人の感覚である嗅覚、触覚で認識される情景を再現させるための匂い情報、温度情報である。匂い検出部２４は、撮像部１７により画像を撮影する際に、その周囲に漂う匂い（種類）を感知するもので、匂い物質が感応膜に付着することで電圧変化を検出する複数のセンサを有し、この複数のセンサからの検出信号に基づいて匂いの種類を識別して匂いを特定するようにしている。

そして、匂い検出部２４は、不快な悪臭などを除き、例えば、匂いの種類として１０種類の匂いを識別可能となっているが、その種類や数は任意であるほか、その構成も任意である。また、温度検出部２５は、撮像部１７により画像を撮影する際に、その周囲の温度（気温など）を感知するもので、温度に応答して起電力や抵抗変化を検出するサーミスタなどの温度センサを有し、例えば、５℃単位で温度変化を検出するようにしているが、その単位は任意であるほか、その構成も任意である。

芳香部２６及び加熱／冷却部２７は、表示部１８に表示される画像（撮影画像、ダウンロード画像など）に関する情景を再現させるための情景再現情報に基づいて情景を再現出力するもので、視覚以外の人の感覚である嗅覚、触覚で認識させるための刺激（匂いや温度）を、画像に関する情景として生成して再現出力する。すなわち、芳香部２６は、ハッカ、レモンなどの各種芳香（例えば、１０種類）の中から指定された種類の芳香を選択的に発生するもので、例えば、芳香剤を浸み込ませた炭火綿を通電することにより芳香を発生するようにしている。この場合、芳香の発生量（匂いの出力強度）は、上述した炭火綿への通電量で制御するようにしている。また、加熱／冷却部２７は、携帯電話機１を構成する筐体を加熱したり、冷却したりするもので、ユーザが携帯電話機１を手に持っている状態において、手に接触する筐体の部分（例えば、側面部、背面部）に亘って配設されたもので、加熱／冷却の出力強度は、加熱／冷却する範囲で制御するようにしている。

図３は、携帯電話機１の外観図である。
携帯電話機１は、その機器本体（装置本体）を構成する複数の筐体の連結状態に応じて複数のスタイルに変更可能な２軸ヒンジタイプで、操作部筐体１Ａと表示部筐体１Ｂとは、折り畳み開閉自在及び回動自在にヒンジ部１Ｃを介して連結されている。このような２軸ヒンジタイプの携帯電話機１は、操作部筐体１Ａと表示部筐体１Ｂとが、どのように連結されているかの携帯電話機１の使用状態に応じて、この携帯電話機１の形態を複数のスタイルに変更可能なもので、図示の例は、操作部筐体１Ａと表示部筐体１Ｂとの折り畳みを開いた状態のオープンスタイルを示している。

操作部筐体１Ａの内面には、操作部２１が配置され、また、表示部筐体１Ｂの内面には、表示部１８が配置されている。また、操作部筐体１Ａの内面側には、通話用マイクＭＣが配置され、表示部筐体１Ｂの内面には、通話用スピーカＳＰが配置されている。そして、操作部筐体１Ａの側面部や背面部には、図３では図示しないが、加熱／冷却部２７が所定の範囲内に亘って埋め込まれている。例えば、この実施形態では、操作部筐体１Ａの側面部及び背面部に所定の範囲に亘って加熱／冷却部２７を埋め込むようにしているが、操作部筐体１Ａの両側面部又は一側面部に所定の範囲に亘って加熱／冷却部２７を埋め込むようにしてもよい。また、この実施形態では、通話用マイクＭＣの音孔から芳香部２６により発生された匂いを放出させるようにしているが、操作部筐体１Ａの上面部に多数の専用孔を設け、その専用孔から芳香を放出させるようにしてもよい。

図４は、画像記憶部Ｍ３を説明するための図である。
画像記憶部Ｍ３は、各種の画像を記憶するもので、「画像」、「情景再現情報」などを対応付けて記憶する構成となっている。「画像」は、撮像部１７により撮影された画像や画像配信装置４からダウンロード受信した画像などであり、「画像ＩＤ」、「タイトル」、「種別」、「３Ｄ深度」、「実データ」を有している。「画像ＩＤ」は、画像を識別する情報を示し、「タイトル」は、画像名を示し、「種別」は、画像の種類として動画か静止画かを示している。また、「３Ｄ深度」は、３Ｄ表示の奥行きあるいは飛び出しの程度（レベル“０”〜“２”）を示すもので、３Ｄ深度の強い順に、レベル２＞レベル１＞レベル０の関係となっている。なお、“レベル０”は、３Ｄ深度が“０（ゼロ）”で、２Ｄ（平面）であることを示し、「３Ｄ深度」が“レベル０”の画像は、２Ｄ表示される。「実データ」は、各３Ｄ深度毎のダウンロード画像や撮影画像などの実際の画像データを示している。

「情景再現情報」は、例えば、対応する画像が撮影された画像であれば、上述したように撮像部１７により画像を撮影する際に、匂い検出部２４、温度検出部２５により検出されてコード化された匂い情報や温度情報であるが、対応する画像がダウンロード画像であれば、その画像と共にダウンロード受信した匂い情報や温度情報である。なお、「種別」が動画の場合、それに対応する「情景再現情報」は、経時的に変化する匂い情報や温度情報であってもよい。なお、図中「−」は、画像に対応して「情景再現情報」が存在していないことを示している。

図５は、３Ｄ深度設定情報記憶部Ｍ４を説明するための図である。
３Ｄ深度設定情報記憶部Ｍ４は、画像を最初に表示する際の３Ｄ深度が任意に設定されるメモリで、「３Ｄ深度」、「設定フラグ」を有している。「設定フラグ」は、「３Ｄ深度」の“レベル０”、“レベル１”、“レベル２”のうち、どのレベルを使用して表示するかを示すもので、その値が“１”のときには、使用する有効なレベルであることを示し、“０”のときには、使用しない無効なレベルであることを示している。なお、図示の例は、「設定フラグ」の“１”を「３Ｄ深度」の“レベル０”に対応して設定した場合であり、画像を最初に表示する際には２Ｄ表示で行うことを示す設定内容となっている。

図６は、出力条件記憶部Ｍ５を説明するための図である。
出力条件記憶部Ｍ５は、画像を表示する際の「３Ｄ深度」のレベル毎に、匂いや温度の出力強度が任意に設定されるメモリで、「３Ｄ深度」、「出力強度（匂い、温度）」、「設定フラグ」を有している。すなわち、出力条件記憶部Ｍ５は、芳香部２６、加熱／冷却部２７から匂いや温度を再現出力する際の出力強度を決定するためのテーブルであり、中央制御部１１は、出力条件記憶部Ｍ５を参照し、画像を表示する際の「３Ｄ深度」に応じて、匂いや温度の出力強度を決定するようにしている。

すなわち、図示の例では、「３Ｄ深度」の“レベル０”に対応する「出力強度」として“レベル０”、“レベル１”を有し、また、「３Ｄ深度」の“レベル１”に対応する「出力強度」として“レベル０”、“レベル１”、“レベル２”を有し、更に、「３Ｄ深度」の“レベル３”に対応する「出力強度」として“レベル０”、“レベル１”、“レベル２”を有している。「出力強度」の大きさは、“レベル２”＞“レベル１”＞“レベル０”の関係となっている。なお、「出力強度」の“レベル０”は、匂いや温度を再現出力しないことを示している。

「設定フラグ」は、「出力強度」の各レベル毎に設定されるもので、どのレベルの「出力強度」を使用して匂いや温度を再現させるかを示すもので、その値が“１”のときには、使用する有効なレベルであることを示し、“０”のときには、使用しない無効なレベルであることを示している。図示の例において、「３Ｄ深度」の“レベル０”には、「出力強度」の“レベル０”に対応する「設定フラグ」に“１”が設定され、また、「３Ｄ深度」の“レベル１”には、「出力強度」の“レベル１”に対応する「設定フラグ」に“１”が設定され、更に、「３Ｄ深度」の“レベル２”には、「出力強度」の“レベル２”に対応する「設定フラグ」に“１”が設定されている場合である。

上述のように「３Ｄ深度」のレベル毎に記憶されている複数の「出力強度」の中から所望する「出力強度」をユーザ操作により任意に指定可能としているが、匂いや温度の「出力強度」を設定する場合には、次の条件で行うようにしてもよい。すなわち、表示される画像の「３Ｄ深度」が所定の３Ｄ深度よりも大きい場合には、所定の強度よりも大きい値となるように匂いや温度の「出力強度」を設定するようにしてもよい。例えば、「３Ｄ深度」が所定の３Ｄ深度“レベル０”よりも大きい“レベル１”であれば、「出力強度」は、所定の出力強度“レベル０”よりも大きい“レベル１”以上となるように設定するようにしてもよい。

逆に、表示される画像の「３Ｄ深度」が所定の３Ｄ深度よりも小さい場合には、所定の強度よりも小さな値となるように匂いや温度の「出力強度」を設定するようにしてもよい。例えば、「３Ｄ深度」が所定の３Ｄ深度“レベル２”よりも小さい“レベル１”であれば、「出力強度」は、所定の出力強度“レベル１”よりも小さい“レベル１”以下となるように設定するようにしてもよい。また、「３Ｄ深度」が所定の３Ｄ深度、例えば、“レベル１”よりも小さい場合には、「出力強度」を“０（ゼロ）”に設定するようにしてもよい。また、「３Ｄ深度」が“レベル０”の場合には、「出力強度」を“０（ゼロ）”に設定するようにしてもよい。また、図示の例は、匂いの「出力強度」と温度の「出力強度」とを同一とした場合を示しているが、匂いの「出力強度」と温度の「出力強度」とを別々に設定可能な構成であってもよい。

次に、この実施形態における携帯電話機１の動作概念を図７〜図１０に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図７は、電源投入に伴って実行開始される携帯電話機１側の全体動作の概要を示したフローチャートである。
先ず、携帯電話機１の中央制御部１１は、電源を投入する電源オン操作が行われると（ステップＡ１でＹＥＳ）、電源供給を開始させて所定のメモリなどを初期化する電源オン処理を実行したのち、所定の待受画像を読み出して表示させたり、基地局２Ａとの間で通信を行って位置登録をしたりする待受処理を行う（ステップＡ２）。ここで、設定操作が行われたか（ステップＡ３）、画像取得操作が行われたか（ステップＡ５）、画像表示指示の発生を検出したか（ステップＡ７）、３Ｄ深度変更指示の発生を検出したか（ステップＡ９）、着信を検出したか（ステップＡ１１）、電源オフ操作が行われたか（ステップＡ１３）、その他の操作が行われたかを調べる（ステップＡ１５）。

いま、任意の情報を設定するための設定操作が行われたときには（ステップＡ３でＹＥＳ）、その操作に対応する設定処理として、例えば、３Ｄ深度設定情報記憶部Ｍ４、出力条件記憶部Ｍ５に対する設定が行われる（ステップＡ４）。すなわち、３Ｄ深度設定情報記憶部Ｍ４、出力条件記憶部Ｍ５に対しては「設定フラグ」の内容を任意に書き替え可能な設定処理を行う。このような設定処理が終わると、上述のステップＡ３に戻る。また、画像取得操作が行われたときには、つまり、画像のダウンロードを指示するダウンロード操作や撮影を指示する撮影操作などの画像取得操作が行われたときには（ステップＡ２でＹＥＳ）、画像取得処理を行った後（ステップＡ６）、上述のステップＡ３に戻る。この画像取得処理は、画像を取得してその情景再現情報と共に画像記憶部Ｍ３に対応付けて記憶させる処理である。

図８は、画像取得処理（図７のステップＡ６）を詳述するためのフローチャートである。
先ず、中央制御部１１は、画像取得処理の開始を指示する画像取得操作がダウンロード操作によるものなのか（ステップＢ１）、撮影操作によるものなのかその他の操作によるものなのかを調べる（ステップＢ４）。いま、画像取得操作がダウンロード操作によるものであれば（ステップＢ１でＹＥＳ）、画像配信装置４から画像（動画や静止画）と共にその画像に関する情景を再現させるための情景再現情報（匂い情報や温度情報）をダウンロード受信する（ステップＢ２）。そして、ダウンロード受信した画像とその情景再現情報とを対応付けて画像記憶部Ｍ３に記憶させる（ステップＢ３）。

また、画像取得操作が撮影操作によるものであれば（ステップＢ４でＹＥＳ）、撮像部１７を駆動させて撮影画像を取得すると共に（ステップＢ５）、その撮影時に匂い検出部２４、温度検出部２５の検出結果を取得することにより（ステップＢ６）、情景再現情報を生成する（ステップＢ７）。そして、取得した撮影画像とその情景再現情報とを対応付けて画像記憶部Ｍ３に記憶させる（ステップＢ３）。また、画像取得操作がダウンロード操作、撮影操作以外のその他の操作によるものであれば（ステップＢ４でＮＯ）、その他の操作に応じて画像と共にその情景再現情報を取得した後（ステップＢ８）、取得した撮影画像とその情景再現情報とを対応付けて画像記憶部Ｍ３に記憶させる（ステップＢ３）。例えば、その他の操作が外部記憶媒体から画像をコピーするコピー操作であれば、外部記憶媒体から画像と共にその情景再現情報を取得した後（ステップＢ８）、取得した撮影画像とその情景再現情報とを対応付けて画像記憶部Ｍ３に記憶させる（ステップＢ３）。このような画像取得処理が終わると、図７のステップＡ３に戻る。

また、画像表示指示の発生を検出したときには（図７のステップＡ７でＹＥＳ）、つまり、ユーザ操作により画像表示が指示されたとき又はスライドショーのように複数の画像を所定時間毎に次々に切り替え表示させるための切り替えるタイミングを検出したときには、画像表示処理を行った後（ステップＡ８）、上述のステップＡ３に戻る。この画像表示処理は、画像を２Ｄ／３Ｄ表示させる表示処理であるが、この表示処理に連動して３Ｄ表示時にはその３Ｄ深度に応じた出力強度で情景再現情報（匂い情報、温度情報）を再現出力させる処理である。

図９及び図１０は、画像表示処理（図７のステップＡ８）を詳述するためのフローチャートである。
先ず、中央制御部１１は、画像の表示指示の発生がテレビ番組の視聴操作によるものなのか（ステップＣ１）、動画ストリーミング視聴操作によるものなのかその他の要因として、例えば、画像記憶部Ｍ３に記憶されている画像の表示操作によるものなのか、次の画像への切り替え表示（自動表示）によるものなのかを調べる（ステップＣ２）。いま、テレビ番組の視聴操作によるものであれば（ステップＣ１でＹＥＳ）、テレビ機能を起動させて、テレビ放送受信部１６から画像（テレビ番組）とその画像に関する情景再現情報を受信する受信動作を開始させた後（ステップＣ３）、この受信画像（テレビ番組）とその情景再現情報とを各種情報一時記憶部Ｍ２に対応付けて一時記憶させる（ステップＣ６）。

また、画像の表示指示の発生が動画ストリーミング視聴操作によるものであれば（ステップＣ２でＹＥＳ）、画像配信装置４から画像（動画）と共にその画像に関する情景を再現させるための情景再現情報（匂い情報、温度情報）を受信する受信動作を開始させた後（ステップＣ４）、この受信画像（動画）とその情景再現情報とを対応付けて各種情報一時記憶部Ｍ２に一時記憶させる（ステップＣ６）。また、画像の表示指示の発生が、その他の要因によるものであれば（ステップＣ２でＮＯ）、その他の要因に応じて表示対象の画像とその情景再現情報を画像記憶部Ｍ３から読み出した後（ステップＣ５）、この表示対象の画像とその情景再現情報とを各種情報一時記憶部Ｍ２に対応付けて一時記憶させる（ステップＣ６）。

そして、３Ｄ深度設定情報記憶部Ｍ４から「設定フラグ」が“１”の３Ｄ深度を読み出すと共に（ステップＣ７）、その３Ｄ深度を表示制御用の情報として指定して（ステップＣ８）、この指定した３Ｄ深度（指定深度）を各種情報一時記憶部Ｍ２に一時記憶させる（ステップＣ９）。そして、上述のように指定した３Ｄ深度（指定深度）は、“レベル０”であるか否かを調べ（ステップＣ１０）、この指定深度が“レベル０”であれば（ステップＣ１０でＹＥＳ）、２Ｄ表示処理に移る（ステップＣ１１、Ｃ１２）。この場合、表示部１８に視差バリアが生成されていれば、この視差バリアを視差バリア制御部２０により消去させた後（ステップＣ１１）、各種情報一時記憶部Ｍ２に一時記憶されている画像を読み出して表示部１８に２Ｄ表示させる（ステップＣ１２）。

また、指定深度が“レベル０”でなければ（ステップＣ１０でＮＯ）、すなわち、“レベル１”又は“レベル２”であれば、３Ｄ表示処理に移る（ステップＣ１４〜Ｃ１６）。この場合、指定深度の画像は、各種情報一時記憶部Ｍ２に一時記憶されているか、つまり、一時記憶されている画像は、指定深度の画像であるかを調べる（ステップＣ１３）。ここで、指定深度の画像でなければ（ステップＣ１３でＮＯ）、例えば、テレビ放送を受信番組（画像）や動画ストリーミングの受信画像などが指定深度の画像でない場合や指定深度の「実データ」が画像記憶部Ｍ３に記憶されていない場合など、一時記憶されている画像が指定深度の画像でなければ、３Ｄ変換処理部１９を動作させて、一時記憶されている画像（指定深度とは異なる別の３Ｄ深度の画像）を、指定深度の画像に３Ｄ変換させる（ステップＣ１４）。この場合、３Ｄ変換処理部１９は、指定深度に応じて右目用の画像と左目用の画像を生成する。そして、表示部１８に視差バリアが生成されていなければ、この視差バリアを視差バリア制御部２０により生成させた後（ステップＣ１５）、一時記憶されている画像を指定深度で表示部１８に３Ｄ表示させたり、３Ｄ変換された画像を表示部１８に３Ｄ表示させたりする（ステップＣ１６）。

そして、図１０のステップＣ１７に移り、上述の指定深度に基づいて出力条件記憶部Ｍ５を参照し、この指定深度に対応する「３Ｄ深度」の各「出力強度」のうち、「設定フラグ」が“１”の「出力強度」を読み出す。例えば、指定深度が“レベル０”であれば、“レベル０”の「出力強度」、また、指定深度が“レベル１”であれば、“レベル１”の「出力強度」、更に、指定深度が“レベル２”であれば、“レベル２”の「出力強度」を読み出す。これにより出力条件記憶部Ｍ５から読み出した「出力強度」を、情景再現情報（匂い情報、温度情報）を再現出力する際の出力強度として決定する（ステップＣ１８）。

そして、上述のようにして決定した「出力強度」は“レベル０”であるかを調べ（ステップＣ１９）、「出力強度」が“レベル０”であれば（ステップＣ１９でＹＥＳ）、芳香部２６、加熱／冷却部２７を駆動させずに（情景を再現出力させずに）、図７のステップＡ３に戻るが、「出力強度」が“レベル０”でなければ（ステップＣ１９でＮＯ）、芳香部２６、加熱／冷却部２７を駆動させる（ステップＣ２０）。この場合、中央制御部１１は、各種情報一時記憶部Ｍ２に一時記憶されている情景再現情報（匂い情報、温度情報）を読み出して、芳香部２６、加熱／冷却部２７に与える。

これによって芳香部２６、加熱／冷却部２７は、この情景再現情報（匂い情報、温度情報）と、上述のようにして決定された「出力強度」に応じて情景を再現出力する（ステップＣ２１）。すなわち、芳香部２６は、情景再現情報（匂い情報）に応じた種類の匂いを発生するが、その際、決定された「出力強度」に応じて芳香の発生量を制御する。また、加熱／冷却部２７は、情景再現情報（温度情報）に応じた温度で筐体の一部分（例えば、側面部、背面部）を加熱／冷却するが、その際、決定された「出力強度」に応じて加熱／冷却する範囲を制御する。このようにして情景を再現出力させた後（ステップＣ２１）、図７のステップＡ３に戻るが、上述した一時記憶の画像がテレビ番組や動画などの動画系の画像であれば、画像表示の終了がユーザ操作又は自動的に指示されるまで、図９及び図１０の画像表示処理を逐次繰り返す。

一方、３Ｄ深度変更指示の発生を検出したときには（図７のステップＡ９でＹＥＳ）、つまり、ユーザ操作により所望する３Ｄ深度に変更すべきことが指示されたとき、又は自動的に３Ｄ深度の変更が指示されたときには、変更された３Ｄ深度を表示制御用の情報として指定した後（ステップＡ１０）、図９のステップＣ９に移り、この変更された３Ｄ深度（指定深度）を各種情報一時記憶部Ｍ２に一時記憶させる。以下、図９及び図１０の画像表示処理を行う（ステップＣ１０〜Ｃ２１）。これにより画像表示と情景の再現出力は、変更後の３Ｄ深度（指定深度）に応じたものとなる。

その他、着信を検出したときには（図７のステップＡ１１でＹＥＳ）、その応答操作に応じて通話処理を行った後（ステップＡ１２）、上述のステップＡ３に戻る。また、電源オフ操作を検出したときには（ステップＡ１３でＹＥＳ）、電源オフ処理を行った後（ステップＡ１４）、このフローの終了となるが、発信操作など、その他の操作が行われたときには（ステップＡ１５でＹＥＳ）、操作に応じた処理として発信処理などを行った後（ステップＡ１６）、上述のステップＡ３に戻る。

以上のように、この実施形態においては、画像を３Ｄ表示させる際の３Ｄ深度に基づいて、その画像に関する情景の出力強度を決定し、この出力強度で情景を再現出力するようにしたので、画像に関する情景の再現出力を適切に制御することができ、画像との連帯感や迫力感により臨場感や演出効果を更に高めることができる。

視覚以外の人の感覚である嗅覚、触覚で認識させるための刺激（匂いや温度）を、画像に関する情景として生成して再現出力するようにしたので、情景の再現に視覚以外の感覚（嗅覚、触覚）を利用することができる。

画像を３Ｄ表示させる際の３Ｄ深度に基づいて匂いの強さを制御するようにしたので、３Ｄ表示の奥行きあるいは飛び出しに応じて、匂いの強弱をつけることができ、演出効果を有するものとなる。

画像を３Ｄ表示させる際の３Ｄ深度に基づいて筐体を加熱あるいは冷却する範囲を制御するようにしたので、３Ｄ表示の奥行きあるいは飛び出しに応じて、加熱あるいは冷却の強弱をつけることができ、演出効果を有するものとなる。

撮影時における周囲の情景を検出して情景再現情報として撮影画像に対応付けて記憶しておき、この撮影画像に対応付けられている情景再現情報を読み出して再現出力するようにしたので、撮影時の情景をいつでも自由に再現することが可能となる。

３Ｄ深度が所定の３Ｄ深度よりも大きい場合に、所定の強度よりも大きい出力強度に決定するようにしたので、ユーザに視覚的な臨場感を与えるだけでなく、それに合わせて視覚以外の感覚を利用した臨場感も与えることができ、その結果、ユーザに総合的な臨場感を与えることが可能となる。

３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、所定の強度よりも小さい出力強度に決定するようにしたので、ユーザに与える視覚的な臨場感を減らすだけでなく、それに合わせて視覚以外の感覚を利用した臨場感も減らすことができ、不必要な処理の負担を軽減したり、周囲への迷惑を防止したりすることができる。

３Ｄ深度が所定の３Ｄ深度よりも小さい場合や“０（ゼロ）”に、出力強度を“０（ゼロ）”に決定するようにしたので、視覚以外の感覚を利用する情景の再現出力を抑制することができる。

３Ｄ深度が変更された場合に、変更後の３Ｄ深度に応じた出力強度で情景を再現出力するようにしたので、３Ｄ深度が変更されても、それに対応した情景の再現出力が可能となる。

画像を２Ｄ表示させるか３Ｄ表示させるかを指定することが可能であり、３Ｄ表示が指定された場合には、画像を３Ｄ表示するほか、その画像に関する情景を再現出力するようにしたので、画像を３Ｄ表示させるか否かに基づいて、画像に関する情景の再現出力を適切に制御することができ、３Ｄ表示に合わせた情景の再現出力で臨場感や演出効果を高めることが可能となる。

２Ｄ表示が指定された場合に、画像を２Ｄ表示するようにしたので、２Ｄ表示時には、その画像に関する情景の再現出力を抑制することができる。

なお、上述した実施形態においては、３Ｄ深度及び情景の出力強度として“レベル０”、“レベル１”、“レベル２”までを例示したが、“レベル３”以上であってもよい。また、匂いの出力強度として匂いの発生量を示したが、匂いの濃度であってもよく、また、温度の出力強度として加熱あるいは冷却する範囲を示したが、温度の強さであってもよい。また、触覚として温度を例示したが、振動、湿度、肌触り感などであってもよい。また、上述した実施形態においては、嗅覚、触覚を利用して情景を再現出力するようにしたが、聴覚、味覚を利用するようにしてもよい。この場合、マイクや味覚センサを設ければよい。この場合、音声の出力強度は、音量となり、味覚の出力強度は、味の濃度となる。更に、嗅覚、触覚、聴覚、味覚の組み合わせで、情景を再現出力するようにしてもよい。

上述した実施形態においては、画像をダウンロード取得したり、テレビ番組（画像）を受信取得したり、外部記憶媒体から画像をコピー取得したりした場合に、その画像に関する情景再現情報も画像と共に取得するようにしたが、画像を解析することによりその情景再現情報を得るようにしてもよい。すなわち、画像を解析して、その画像に含まれている被写体を特定すると共に、その被写体は、匂いを発生するものか、温度の高いものか低いものかなどを特定して情景再現情報を生成するようにしてもよい。例えば、画像に含まれている被写体がレモンや温泉であれば、レモンの匂い示す情景再現情報、温泉（硫黄）の匂いや温度を示す情景再現情報を生成して記憶するようにしてもよい。このように情景再現情報を生成してその画像に対応付けて記憶しておけば、次回、その画像を再生出力する場合、情景再現情報を読み出して情景を再現出力すればよい。

上述した実施形態においては、テレビ番組（画像）や動画ストリーミング画像などが指定深度の画像でない場合あるいは指定深度の「実データ」が画像記憶部Ｍ３に記憶されていない場合など、一時記憶されている画像が指定深度の画像でなければ、３Ｄ変換処理部１９を動作させて、一時記憶されている画像（指定深度とは異なる別の３Ｄ深度の画像）を、指定深度に３Ｄ変換するようにしたが、指定深度の画像の送信要求を画像配信装置４に対して行い、それに応答して画像配信装置４から送信されてきた指定深度の画像を受信することにより入手するようにしてもよい。

また、上述した各実施形態において３Ｄの画像は、その３Ｄ深度に応じた右目用の画像と左目用の画像を同時に表示して、それらが正しく３Ｄに見えるように３Ｄ深度に応じた視差バリアを表示部１８の表層に生成して３Ｄ表示を行う方法を例示したが、例えば、画像が３Ｄに見えるような視覚効果を施して３Ｄ表示を行う方法など、任意の３Ｄ表示方法であってもよい。また、表示部１８に表示させる画像は、静止画、動画、テレビ番組、テキストを含む画像など、その種類は、任意である。

その他、表示部１８は、外部モニタなど、任意の外部表示装置であってもよい。また、端末装置としては携帯電話機１に限らず、パーソナルコンピュータ、ＰＤＡ、デジタルカメラ、音楽プレイヤーなど、任意の端末装置であってもよい。更に、折り畳みタイプの端末装置に限らず、ストレートタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であってもよい。

また、上述した各実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 携帯電話機
２ 無線通信網
４ 画像配信装置
１１ 中央制御部
１３ 記憶部
１６ テレビ放送受信部
１７ 撮像部
１８ 表示部
１９ ３Ｄ変換処理部
２０ 視差バリア制御部
２１ 操作部
２４ 匂い検出部
２５ 温度検出部
２６ 芳香部
２７ 加熱／冷却部
Ｍ１ プログラム記憶部
Ｍ２ 各種情報一時記憶
Ｍ３ 画像記憶部
Ｍ４ ３Ｄ深度設定情報記憶部
Ｍ５ 出力条件記憶部

Claims (11)

1. 画像を表示部に３Ｄ表示する端末装置であって、
   前記表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて前記情景を再現出力する出力手段と、
   前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する指定手段と、
   この指定手段により指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる表示制御手段と、
   前記指定手段により指定された３Ｄ深度に基づいて、前記出力手段により情景を再現出力する際の出力強度を決定する決定手段と、
   この決定手段により決定された出力強度で前記出力手段から情景を再現出力させる出力制御手段と、
   を備え、
   前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも大きい場合に、所定の強度よりも大きい強度に決定する、
   ことを特徴とする端末装置。
2. 前記情景再現情報は、視覚以外の人の感覚である嗅覚、触覚、聴覚、味覚のうち、少なくともそのいずれかの感覚で認識される情景を再現させるための情報であり、
   前記出力手段は、前記情景再現情報に基づいて、視覚以外の人の感覚である嗅覚、触覚、聴覚、味覚のうち、少なくともそのいずれかの感覚で認識させるための刺激を、前記情景として生成して再現出力する、
   ようにしたことを特徴とする請求項１記載の端末装置。
3. 前記情景再現情報は、匂いに関する情報で、前記出力手段により情景を出力する際の出力強度は、匂いの強さである、
   ことを特徴とする請求項２記載の端末装置。
4. 前記情景再現情報は、温度に関する情報で、前記出力手段により情景を出力する際の出力強度は、該端末装置を構成する筐体を加熱あるいは冷却する範囲である、
   ことを特徴とする請求項２記載の端末装置。
5. 画像を撮影する撮影手段と、
   この撮影手段により画像の撮影時における周囲の情景を検出して前記情景再現情報として取得する情景検出手段と、
   前記撮影手段により撮影された画像と前記情景検出手段により検出された情景再現情報とを対応付けて記憶部に記憶させる記憶制御手段と、
   を備え、
   前記出力制御手段は、前記表示部に表示されている画像に対応付けられている情景再現情報を前記記憶部から読み出して前記出力手段から情景を再現出力させる、
   ようにしたことを特徴とする請求項１記載の端末装置。
6. 画像を表示部に３Ｄ表示する端末装置であって、
   前記表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて前記情景を再現出力する出力手段と、
   前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する指定手段と、
   この指定手段により指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる表示制御手段と、
   前記指定手段により指定された３Ｄ深度に基づいて、前記出力手段により情景を再現出力する際の出力強度を決定する決定手段と、
   この決定手段により決定された出力強度で前記出力手段から情景を再現出力させる出力制御手段と、
   を備え、
   前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度を所定の強度よりも小さく決定する、
   ことを特徴とする端末装置。
7. 前記決定手段は、前記指定手段により指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度をゼロに決定する、
   ようにしたことを特徴とする請求項６記載の端末装置。
8. 前記決定手段は、前記指定手段により指定された３Ｄ深度がゼロの場合に、情景を再現出力する際の出力強度をゼロに決定する、
   ようにしたことを特徴とする請求項６記載の端末装置。
9. 前記表示部に表示される画像の３Ｄ深度が変更されたことを検出する変更検出手段を更に備え、
   前記決定手段は、前記変更検出手段により３Ｄ深度が変更されたことが検出された場合に、変更後における３Ｄ深度に基づいて、情景を再現出力する際の出力強度を新たに決定し、
   前記出力制御手段は、前記出力手段から再現出力されている情景の出力強度を、前記決定手段により新たに決定された出力強度に切り替えて該情景を再現出力する、
   ようにしたことを特徴とする請求項１または６記載の端末装置。
10. コンピュータに対して、
    表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する機能と、
    前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する機能と、
    前記指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる機能と、
    前記指定された３Ｄ深度に基づいて、前記情景を再現出力する際の出力強度を決定する際に、前記指定された３Ｄ深度が所定の３Ｄ深度よりも大きい場合に、所定の強度よりも大きい強度に決定する機能と、
    前記決定された出力強度で情景を再現出力させる機能と、
    を実現させるためのプログラム。
11. コンピュータに対して、
    表示部に表示される画像に関する情景を再現させるための情景再現情報に基づいて情景を再現出力する機能と、
    前記表示部に表示される画像の３Ｄの奥行きあるいは飛び出しの程度を示す３Ｄ深度を指定する機能と、
    前記指定された３Ｄ深度で前記表示部に画像を３Ｄ表示させる機能と、
    前記指定された３Ｄ深度に基づいて、前記情景を再現出力する際の出力強度を決定する際に、前記指定された３Ｄ深度が所定の３Ｄ深度よりも小さい場合に、情景を再現出力する際の出力強度を所定の強度よりも小さく決定する機能と、前記決定された出力強度で情景を再現出力させる機能と、
    を実現させるためのプログラム。

Images