JP5846507B2 - 端末装置およびプログラム - Google Patents

端末装置およびプログラム Download PDF

Info

Publication number
JP5846507B2
JP5846507B2 JP2014003549A JP2014003549A JP5846507B2 JP 5846507 B2 JP5846507 B2 JP 5846507B2 JP 2014003549 A JP2014003549 A JP 2014003549A JP 2014003549 A JP2014003549 A JP 2014003549A JP 5846507 B2 JP5846507 B2 JP 5846507B2
Authority
JP
Japan
Prior art keywords
image
scroll
additional information
scrolling
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014003549A
Other languages
English (en)
Other versions
JP2014089754A (ja
Inventor
仁久 小山
仁久 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014003549A priority Critical patent/JP5846507B2/ja
Publication of JP2014089754A publication Critical patent/JP2014089754A/ja
Application granted granted Critical
Publication of JP5846507B2 publication Critical patent/JP5846507B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像スクロールを適切な表示位置に自動的に停止させる端末装置およびプログラムに関する。
携帯電話機などの端末装置では、例えば撮像して得た画像、メール添付受信した画像あるいはダウンロードした画像など各種画像が記憶される記憶部からユーザ所望の画像を選択的に読み出して表示部に画面表示する機能を備えるものが多い。複数の画像の中からユーザ所望の画像を選択するには、画像検索やスクロールが用いられる。例えば特許文献1には、ユーザ操作によって入力された文字列と対応関係にある位置情報を含む画像を記憶部から検索して表示する技術が開示されている。
特開2007−219615号公報
上記特許文献1に開示の技術では、画像検索しようとする度に文字列を入力しなければならず、その操作が煩わしいという弊害がある。一方のスクロールでは、検索用の文字列を入力する操作を必要とせず、スクロール操作だけで画面に表示される画像をスクロール表示(移動表示)させ、そのスクロール表示される画像の中で所望の画像を選択することが可能になる。
しかしながら、とりわけ近年の端末装置では、記憶デバイスの大容量化により大量の画像を保存可能としており、これに伴いスクロールする速度も高速化している。この為、スクロール操作に応じて一気にスクロール表示が進んでしまい、ユーザが適切な位置で画像スクロールを停止させて所望の画像を選択することが難しくなっている。つまり、画像スクロールを適切な表示位置に自動的に停止させることが出来ない、という問題がある。
本発明は、このような事情に鑑みてなされたもので、画像スクロールを適切な表示位置に自動的に停止させることができる端末装置およびプログラムを提供することを目的としている。
上記目的を達成するため、請求項1に記載の発明では、属性を表す付加情報が付与された複数の画像を記憶する画像記憶部から画像を読み出す読出手段と、前記読出手段によって読み出された画像を画面に表示する表示制御手段と、画面上に設けられたタッチパネルのスライド操作に応じて、スクロールの実行を指示する指示手段と、前記指示手段の実行指示に応じて、前記表示制御手段により画面に表示される画像を順次更新してスクロールするスクロール手段と、ユーザの入力音声を認識する音声認識手段と、前記スクロール手段によって現在スクロールされた画像の付加情報と、前記音声認識手段の音声認識結果とを比較する比較手段と、前記比較手段の比較結果に基づき、音声認識結果と異なる付加情報を持つ画像が所定枚数分連続する間は前記スクロール手段のスクロールを継続させ、一方、現在スクロールされた画像の付加情報と音声認識結果とが一致すれば、前記スクロール手段のスクロールを停止させるスクロール制御手段と、前記スクロール制御手段が前記スクロール手段のスクロールを停止させた場合に、スクロールの停止を報知する報知手段とを具備することを特徴とする。
上記請求項1に従属する請求項に記載の発明では、前記表示制御手段が一画面に一つの画像を表示する場合、前記比較手段は、前記スクロール手段のスクロールによって表示更新された画像の付加情報と、前記音声認識手段による音声認識結果とを比較することを特徴とする。
上記請求項1に従属する請求項に記載の発明では、前記表示制御手段が一画面内に設けられた複数の表示位置にそれぞれ画像を表示する場合、前記比較手段は、前記スクロール手段のスクロールにより所定の表示位置で表示される画像の付加情報と、前記音声認識手段による音声認識結果とを比較することを特徴とする。
上記請求項1に従属する請求項に記載の発明では、前記スクロール制御手段は、現在スクロールされた画像の付加情報と前記音声認識手段による音声認識結果との類似性が高いという比較結果が得られた場合に、スクロールを停止させることを特徴とする。
上記請求項1に従属する請求項に記載の発明では、画像に付与され、属性を表す付加情報とは、少なくとも撮影の内容を表す撮影情報、被写体の内容を表す被写体情報、日付情報および位置情報の何れか一つを含むことを特徴とする。
請求項に記載の発明では、タッチパネルを備えた端末装置に搭載されるコンピュータに、属性を表す付加情報が付与された複数の画像を記憶する画像記憶部から画像を読み出す読出ステップと、前記読出ステップによって読み出された画像を画面に表示する表示制御ステップと、画面上に設けられたタッチパネルのスライド操作に応じて、スクロールの実行を指示する指示ステップと、前記指示ステップの実行指示に応じて、前記表示制御ステップにより画面に表示される画像を順次更新してスクロールするスクロールステップと、ユーザの入力音声を認識する音声認識ステップと、前記スクロールステップにより現在スクロールされた画像の付加情報と、前記音声認識ステップで得られた音声認識結果とを比較する比較ステップと、前記比較ステップの比較結果に基づき、音声認識結果と異なる付加情報を持つ画像が所定枚数分連続する間は前記スクロールステップによるスクロールを継続させ、一方、現在スクロールされた画像の付加情報と音声認識結果とが一致すれば、前記スクロールステップによるスクロールを停止させるスクロール制御ステップと、前記スクロール制御ステップが前記スクロールステップのスクロールを停止させた場合に、スクロールの停止を報知する報知ステップとを実行させることを特徴とする。
本発明では、画像スクロールを適切な表示位置に自動的に停止させることができる。
実施の一形態による携帯電話10が有する機能の概要を説明する為のシステム構成図である。 携帯電話10の電気的構成を示すブロック図である。 スクロール情報記憶部101cに記憶されるスクロール情報の構成を示す図である。 画像記憶部101dに記憶される画像情報の構成を示す図である。 表示部106に画面表示される画像リスト画面LGの一例を示す図である。 メインルーチンの動作を示すフローチャートである。 表示処理の動作を示すフローチャートである。 初期表示処理の動作を示すフローチャートである。 付加情報スクロールA処理の動作を示すフローチャートである。 スクロール表示処理の動作を示すフローチャートである。 付加情報スクロールB処理の動作を示すフローチャートである。 音声スクロールA処理の動作を示すフローチャートである。 音声スクロールA処理の動作を示すフローチャートである。 音声スクロールB処理の動作を示すフローチャートである。 音声スクロールB処理の動作を示すフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。
A.構成
(1)システム構成
図1は、実施の一形態による携帯電話10が備える機能の概要を説明する為のシステム構成図である。携帯電話10は、周知の折り畳み開閉タイプの筐体構造を有し、移動無線通信機能およびメール送受信機能を備える。移動無線通信機能を用いて通話する場合、携帯電話10は、位置登録している基地局BSを介して発信側の交換機SWに発呼する。発信側の交換機SWは、発呼に応じて、無線通信網RN中に設けられる加入者登録サーバ(不図示)から問い合せた着番号(加入者番号)および位置登録情報に基づき着信側の交換機SWを呼出す。着信側の交換機SWは、着信側の基地局BSを介して着信側の携帯電話10(不図示)を呼出し、これに応じて着信側が着呼応答すると、発信側の交換機SWと着信側の交換機SWとのリンクが確立して通話可能になる。
メール送受信機能を用いて携帯電話10から送信されるメールは、基地局BS、交換機SWおよび無線通信網RN中に設けられるゲートウェイサーバ(不図示)を経てインターネットITN上のメールサーバ(不図示)に伝送される。メールサーバは、上述とは逆の経路を辿って宛先のメールアドレスを有する携帯電話10にメールを送るようになっている。
また、携帯電話10は、移動無線通信機能を用い、基地局BS、交換機SWおよび無線通信網RNを経由してインターネットITN上の画像配信装置20にアクセスして画像をダウンロードして取得するダウンロード機能や、GPS衛星30からのGPS信号を受信して現在位置データを取得するGPS受信機能も具備する。
(2)携帯電話10の電気的構成
図2は、携帯電話10の電気的構成を示すブロック図である。この図において、制御部100は、CPUおよび入出力回路などから構成され、後述する操作部107から供給される各種の操作イベントに応じて、携帯電話10の各部の動作を制御する。本発明の要旨に係わる制御部100の特徴的な処理動作については追って詳述する。
記憶部101は、ROMおよびRAMから構成され、後述の各記憶部101a〜101dを有する。プログラム記憶部101aには、制御部100により実行される各種プログラムデータや、所定のプログラムにより参照される制御データの他、例えば待受画面などの各種表示画面を形成する画面データが記憶される。なお、プログラム記憶部101aに記憶される各種プログラムとは、追って詳述するメインルーチン、表示処理、初期表示処理、付加情報スクロールA処理、スクロール表示処理、付加情報スクロールB処理、音声スクロールA処理および音声スクロールB処理を含む。
各種情報一時記憶部101bには、携帯電話10の動作に必要な各種レジスタ・フラグデータや、表示部106の表示画面を形成するための画面情報などが記憶される。また、各種情報一時記憶部101bには、後述する付加情報や音声解析結果(音声認識された単語)を一時記憶する記憶エリアを備える。
スクロール情報記憶部101cには、スクロール動作を停止するか否かを判定する為の判定項目を指定するスクロール情報が記憶される。ここで、図3を参照してスクロール情報の構成を説明する。スクロール情報は、スクロール動作を停止するか否かを判定する為の判定項目として大項目および小項目を備える。大項目は、「付加情報」と「音声」とに大別される。「付加情報」とは、画像に付与される付加情報(後述する)を、スクロール動作を停止するか否かを判定する為の判定項目に用いることを表す。「音声」とは、ユーザが入力した音声を解析して得た情報(音声認識された単語)を、スクロール動作を停止するか否かを判定する為の判定項目に用いることを表す。
大項目の「付加情報」および「音声」の内、設定フラグ「1」がセットされた側が判定項目として用いられる。この設定フラグは、ユーザ操作に応じて設定される。例えば図3に図示する一例では、設定フラグ「1」がセットされた大項目の「付加情報」が判定項目として用いられる。大項目の「付加情報」および「音声」は、いずれもスクロール動作を停止するか否かを判定する為の具体的な判定項目を表す複数の小項目(撮影モード、被写体、日付および場所など)から構成される。これら複数の小項目の何れかがユーザ操作で選択され、選択された小項目に対応する設定フラグが「1」にセットされる。設定フラグ「1」の小項目が具体的な判定項目として用いられる。
画像情報記憶部101dには、撮像部105により撮影されて記録指示された画像や、インターネットITN上の画像配信装置20からダウンロードした画像などが記憶される。画像情報記憶部101dに記憶される画像は、図4に図示するように、画像IDに対応付けられた実データ(画像データ本体)と付加情報とから構成される。付加情報は、画像データ本体の属性を表す「タイトル」、「撮影モード」、「被写体」、「日付」および「場所」などを含む。なお、付加情報中の「場所」は、図4に図示する一例のように地名を用いる他、後述のGPS受信部103により取得される位置情報を用いる態様であっても構わない。
再び図2を参照して携帯電話10の電気的構成の説明を進める。図2において、無線通信送受信部102は、データ通信時には制御部100の制御の下に、アンテナANT1を介して基地局BSとデータ授受を行い、音声通話時にはアンテナANT1を介して受信復調した音声データを制御部100に出力する一方、制御部100から供給される音声データを変調して得た送信信号を高周波増幅してアンテナANT1から送出する。GPS受信部103は、アンテナANT2を介して複数のGPS衛星からのGPS信号を受信して現在位置情報を取得して出力する。
スピーカSPおよびマイクMICを備える音声信号処理部104は、移動無線通信機能が起動している場合、制御部100から供給される音声データを音声信号にD/A変換してスピーカSPから発音させたり、マイクMICから出力される音声信号を音声データにA/D変換して制御部100に供給する。なお、制御部100が後述の音声スクロールA処理あるいは音声スクロールB処理を実行中の場合、音声信号処理部104は、マイクMICで取り込んだユーザの音声を音声データにA/D変換して制御部100に供給する。これにより制御部100では、入力された音声データに音声解析(音声認識)を施す。
撮像部105は、ユーザ設定される撮影モードに応じて制御部100が指定する撮影パラメータ(ISO感度およびシャッター速度)に従って撮影した画像データを発生する。表示部106は、カラー液晶パネルおよび表示ドライバから構成され、制御部100の制御の下に、待受画面など各種の操作画面の他、画像情報記憶部101dに保存された各種画像データを画面表示する。また、表示部106の表示画面上には、後述する操作部107のタッチ操作部の構成要素となる透明タッチパネルが設けられる。
操作部107は、キー操作部とタッチ操作部とから構成される。操作部107のキー操作部は、パワーオンオフする電源スイッチ、通話開始/終了時に操作されるオフフック/オンフックスイッチ、ダイヤルキーと兼用の文字入力キー、記憶された画像の一覧表示を指示する画像リスト表示スイッチ(後述する)、画像リスト表示終了を指示する画像リスト表示終了スイッチ(後述する)、シャッタボタン等の各種操作キーやボタンを有し、それらキーやボタンの操作に応じたイベントを発生して制御部100に出力する。
操作部107のタッチ操作部は、表示部106の表示画面上に配設される透明タッチパネルから構成され、その透明タッチパネルの接触操作(タッチ操作やスライド操作)に応じた出力(操作イベント)を発生する。ここで、図5を参照してタッチ操作部におけるタッチ操作およびスライド操作を説明する。図5は、表示部106に画面表示される画像リスト画面LGの一例を示す図である。画像リスト画面LGには、方向キーアイコンRK、方向キーアイコンLKおよび詳細キーアイコンDKが設けられる。
方向キーアイコンRK(又は方向キーアイコンLK)が一回タッチ操作されると、画像リスト画面LGにおいて循環的に表示される画像が1枚分スクロールする。1枚分スクロールとは、例えば方向キーアイコンRKが一回タッチ操作された時に画面中央の画像IMGが、当該画像IMGの右背面側に重なる画像IMG1として方向へ移動すると同時に、画面中央の画像IMGの左背面側に重なる画像IMG2が方向前面に移動して新たな画像IMGとして画面中央に表示されることを指す。
また、前述したスクロール情報によって指定される判定項目が「付加情報」の場合に、方向キーアイコンRK(又は方向キーアイコンLK)をタッチ操作し続けると、画面中央の画像IMGの位置にスクロールした画像の付加情報(現在の付加情報)が、1つ前にスクロールした画像の付加情報(前回の付加情報)に一致していれば、スクロール動作を継続し、現在と前回との付加情報が異なると、自動的にスクロール動作を停止する。
さらに、前述したスクロール情報によって指定される判定項目が「音声」の場合に、方向キーアイコンRK(又は方向キーアイコンLK)をタッチ操作し続けると、画面中央の画像IMGの位置にスクロールした画像の付加情報(現在の付加情報)が、ユーザの入力音声を認識して得た解析結果(単語)に一致しなければ、スクロール動作を継続し、現在の付加情報の内容と解析結果(単語)とが一致すると、自動的にスクロール動作を停止する。
詳細キーアイコンDKがタッチ操作されると、画面中央の画像IMGを詳細表示(全画面表示)する。画像リスト画面LGの上部のスライドエリアSEでは、スライド操作(タッチしてそのまま横に移動してタッチを離す操作)を行うと、スライドさせた方向に所定枚数分(例えば10枚分)の画像を連続してスクロールする。
このスライド操作により起動される所定枚数分の連続スクロールでは、前述のスクロール情報によって指定される判定項目が「付加情報」ならば、画面中央の画像IMGの位置にスクロールした画像の付加情報(現在の付加情報)と、1つ前にスクロールした画像の付加情報(前回の付加情報)とが異なった時に連続スクロールを自動的に中断して停止する。また、前述のスクロール情報によって指定される判定項目が「音声」ならば、画面中央の画像IMGの位置にスクロールした画像の付加情報(現在の付加情報)と、ユーザの入力音声を認識して得た解析結果(単語)とが一致した時に連続スクロールを自動的に中断して停止する。
再び図2に戻り、構成の説明を進める。図2において、RTC108は、時刻計時やタイマ割り込みに用いるリアルタイムクロックを発生して制御部100に供給する。報知部109は、制御部100から供給される報知信号に応じて報知動作(サウンドスピーカ109aの鳴音、LED109bの発光および振動モータ109cの駆動)を行う。電池部110は、携帯電話10の各部を駆動する駆動電圧を発生する。
B.動作
次に、図6〜図15を参照して上記構成による携帯電話10の動作を説明する。以下では、制御部100が実行するメインルーチン、表示処理、初期表示処理、付加情報スクロールA処理、スクロール表示処理、付加情報スクロールB処理、音声スクロールA処理および音声スクロールB処理の各動作について述べる。
(1)メインルーチンの動作
図6は、制御部100が実行するメインルーチンの動作を示すフローチャートである。制御部100は、ステップSA1において電源オン操作が為されるまで待機し、ユーザが電源オン操作を行うと、判断結果は「YES」になり、ステップSA2に進む。ステップSA2では、電源オンに応じて携帯電話10の各部をイニシャライズした後、無線通信網RNに位置登録を行って待ち受け状態に入る待受処理を実行する。なお、待ち受け状態になると、表示部106には待受画面(図示略)が画面表示される。
続いて、ステップSA3〜SA8では、それぞれ「設定操作」、「画像取得」、「画像リスト表示操作」、「着信検知」、「電源オフ操作」および「その他の操作」の各イベントの有無を判断する。これらイベントが発生しなければ、ステップSA3〜SA8の各判断結果はいずれも「NO」になり、上記ステップSA2の待ち受け状態で待機する。そして、この待ち受け状態において上記イベントのいずれかが発生すると、その発生したイベントに対応した処理を実行する。以下、イベント別に分けて動作の説明を進める。
<設定操作された場合>
設定操作イベントが発生すると、上記ステップSA3の判断結果が「YES」となり、ステップSA9に進み、ユーザにより行われた設定操作に応じた設定処理を実行する。具体的には、前述したスクロール情報記憶部101cに記憶されるスクロール情報(図3参照)中の設定フラグをセットして、スクロール動作を停止するか否かを判定する為の判定項目(大項目および小項目)を設定する等の設定処理を実行した後、上記ステップSA2の待ち受け状態に復帰する。
<画像取得した場合>
撮像部105により画像を撮影したり、あるいはインターネットITN上の画像配信装置20から画像をダウンロードする等して画像取得すると、上記ステップSA4の判断結果が「YES」になり、ステップSA10に進む。ステップSA10〜SA11では、取得した画像(以下、取得画像と称す)に対して、例えばパターンマッチングに基づきオブジェクト認識する画像解析を施し、これにより得られる取得画像のオブジェクト属性を、被写体を表す付加情報として抽出する。具体的には、取得画像が風景を撮影したものであれば、その風景を表すオブジェクト属性(「山」や「海」など)が被写体を表す付加情報として抽出され、また、取得画像が人物像を含むものであると、オブジェクト属性として「人物」が被写体を表す付加情報として抽出される。
こうして取得画像の被写体を表す付加情報が得られると、ステップSA12に進み、取得画像と付加情報とを画像情報記憶部101d(図4参照)に記憶する。すなわち、撮像部105により撮影された画像の場合には、自動生成又はユーザ入力される「タイトル」、撮影時に発生する「撮影モード」、「日付」、「場所」および上記ステップSA11にて抽出された「被写体」(オブジェクト属性)から構成される付加情報を、画像IDが付与された実データ(画像データ本体)に対応付けて画像情報記憶部101dに記憶する。
また、画像配信装置20からダウンロードした画像の場合には、取得時点で既に付加されている情報と、上記ステップSA11にて抽出されたオブジェクト属性である「被写体」(オブジェクト属性)とから構成される付加情報を、画像IDが付与された実データ(画像データ本体)に対応付けて画像情報記憶部101dに記憶する。この後、上記ステップSA2の待ち受け状態に復帰する。
<画像リスト表示操作された場合>
画像情報記憶部101dに記憶された各種画像の一覧を指示する画像リスト表示スイッチが操作されると、上記ステップSA5の判断結果が「YES」になり、ステップSA13を介して表示処理を実行する。
表示処理では、後述するように、一度に画面表示可能な枚数分の画像を画像情報記憶部101dから読み出して画像リスト画面LG(図5参照)に表示する初期表示を行い、この画像リスト画面LGに設けられる方向キーアイコンRK(又は方向キーアイコンLK)をタッチする方向キー操作が行われた場合には、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報(図3参照)を読み出す。
読み出されたスクロール情報が「付加情報」ならば、方向キー操作(方向キーアイコンのタッチ操作)に応じて、画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とが異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する付加情報スクロールA処理を実行する。
一方、読み出されたスクロール情報が「音声」ならば、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報の内容と、ユーザの入力音声を認識して得た解析結果(単語)とが一致すると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する音声スクロールA処理を実行する。
また、初期表示された画像リスト画面LGにおいて、スライドエリアSEをタッチしてそのまま横に移動してからタッチを離すスライド操作が行われた場合には、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報を読み出し、読み出されたスクロール情報が「付加情報」ならば、スライド操作に応じて、画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とが異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する付加情報スクロールB処理を実行する。
一方、読み出されたスクロール情報が「音声」ならば、スライド操作に応じて、画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが一致すると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する音声スクロールB処理を実行する。
<着信検知した場合>
着信検知イベントが発生すると、上記ステップSA6の判断結果が「YES」になり、ステップSA14に進む。ステップSA14では、着信報知を行うと共に、この着信報知中にオフフック操作されると発呼側と回線接続して通話を開始させ、通話中にオンフック操作されると回線切断する通話処理を実行した後、上記ステップSA2の待ち受け状態に復帰する。
<電源オフ操作された場合>
電源オフ操作イベントが発生すると、上記ステップSA7の判断結果が「YES」になり、ステップSA15に進み、電源オフ処理を実行した後、本処理を完了させる。
<その他の操作の場合>
その他の操作(例えば発信操作やメール受信操作など)が行われると、上記ステップSA8の判断結果が「YES」となり、ステップSA16に進み、操作に対応した処理を実行した後、上記ステップSA2の待ち受け状態に復帰する。
(2)表示処理の動作
次に、図7を参照して表示処理の動作について説明する。上述したメインルーチンのステップSA13(図6参照)を介して本処理が実行されると、制御部100は図7に図示するステップSB1に進み、初期表示処理を実行する。初期表示処理では、後述するように、一度に画面表示可能な枚数分の画像を画像情報記憶部101dから読み出して画像リスト画面LG(図5参照)に表示すると共に、その画面中央に表示される画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
画像リスト画面LGが初期表示されると、ステップSB2〜SB5において、「画像リスト表示終了操作」、「方向キー操作」、「スライド操作」および「その他の操作」のイベントの有無を判断する。これら操作が何れも行われず、イベントが発生しなければ、上記ステップSB2〜SB5の各判断結果は何れも「NO」になり、初期表示を維持する。そして、上記イベントのいずれかが発生すると、その発生したイベントに対応した処理を実行する。以下、イベント別に分けて動作説明を進める。
<画像リスト表示終了操作された場合>
操作部107のキー操作部に配設される画像リスト表示終了スイッチが操作されると、上記ステップSB2の判断結果は「YES」となり、ステップSB6に進み、画像リスト画面LGの消去を表示部106に指示して本処理を終える。なお、表示処理が完了して前述のメインルーチンに復帰すると、待ち受け状態に戻り、表示部106には待受画面(図示略)が表示されるようになる。
<方向キー操作された場合>
画像リスト画面LG(図5参照)において方向キー操作された場合、すなわち当該画面GLに設けられる方向キーアイコンRK(又は方向キーアイコンLK)がタッチ操作されると、上記ステップSB3の判断結果が「YES」になり、ステップSB7に進む。ステップSB7では、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報(図3参照)を読み出す。次いで、ステップSB8では、読み出されたスクロール情報が「付加情報」であるか否かを判断する。読み出されたスクロール情報が「付加情報」であると、判断結果は「YES」となり、ステップSB9に進み、付加情報スクロールA処理を実行する。
付加情報スクロールA処理では、後述するように、方向キー操作(方向キーアイコンのタッチ操作)に応じて、画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とを比較し、現在と前回との付加情報の内容が同一であって、かつ方向キー操作が継続していれば、スクロール動作を継続させる。
一方、現在と前回との付加情報の内容が異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。そして、こうした付加情報スクロールA処理が完了すると、上述したステップSB2〜SB5のイベント有無の判断に復帰する。
これに対し、上記ステップSB7において読み出されたスクロール情報が「音声」ならば、上記ステップSB8の判断結果は「NO」となり、ステップSB10に進み、音声スクロールA処理を実行する。音声スクロールA処理では、後述するように、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報の内容と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ方向キー操作が継続していれば、スクロール動作を継続させる。
一方、付加情報の内容と解析結果(単語)とが一致すると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。そして、こうした音声スクロールA処理が完了すると、上述したステップSB2〜SB5のイベント有無の判断に復帰する。
<スライド操作された場合>
画像リスト画面LG(図5参照)においてスライドエリアSEをタッチしてそのまま横に移動してからタッチを離すスライド操作が行われると、上記ステップSB4の判断結果が「YES」になり、ステップSB11に進む。ステップSB11では、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報(図3参照)を読み出す。次いで、ステップSB12では、読み出されたスクロール情報が「付加情報」であるか否かを判断する。読み出されたスクロール情報が「付加情報」ならば、判断結果は「YES」となり、ステップSB13に進み、付加情報スクロールB処理を実行する。
付加情報スクロールB処理では、後述するように、スライド操作に応じて、画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とを比較し、現在と前回との付加情報の内容が同一であって、かつ所定枚数分の画像をスクロールし終えるまではスクロール動作を継続させる。
一方、現在と前回との付加情報の内容が異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。そして、こうした付加情報スクロールB処理が完了すると、上述したステップSB2〜SB5のイベント有無の判断に復帰する。
これに対し、上記ステップSB11において読み出されたスクロール情報が「音声」であると、上記ステップSB12の判断結果は「NO」となり、ステップSB14に進み、音声スクロールA処理を実行する。音声スクロールB処理では、後述するように、スライド操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ所定枚数分の画像をスクロールし終えるまでスクロール動作を継続させる。
一方、付加情報の内容と解析結果(単語)とが一致すると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。そして、こうした音声スクロールB処理が完了すると、上述したステップSB2〜SB5のイベント有無の判断に復帰する。
<その他の操作が為された場合>
その他の操作として、例えば画像リスト画面LGに設けられた詳細キーアイコンDKをタッチ操作したとする。そうすると、上記ステップSB5の判断結果が「YES」になり、ステップSB15に進み、画像リスト画面LGの中央に表示される画像を詳細表示(全画面表示)する等の、その他の処理を実行した後、上述したステップSB2〜SB5のイベント有無の判断に復帰する。
(3)初期表示処理の動作
次に、図8を参照して初期表示処理の動作について説明する。上述した表示処理のステップSB1(図7参照)を介して本処理が実行されると、制御部100は図8に図示するステップSC1に進む。ステップSC1では、1番目からP番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出す。なお、P番目とは、画像リスト画面LG(図5参照)において一度に表示可能な画像枚数に対応する。続いて、ステップSC2では、読み出した各画像の実データを画像リスト画面LGに表示する。
次いで、ステップSC3では、画像リスト画面LGに表示された1番目からP番目の画像の内、(1+P)/2番目の画像、すなわち画像リスト画面LGの中央に表示された画像の付加情報を画像情報記憶部101dから読み出す。そして、ステップSC4では、読み出した付加情報を各種情報一時記憶部101bに一時記憶して本処理を終える。
なお、本実施形態では、画像リスト画面LGの中央に表示された画像の付加情報を読み出すようにしたが、これに限らず、例えば画像リスト画面LG中の最も左端に表示された画像あるいは最も右端に表示された画像など、所定の位置に表示された画像の付加情報を読み出す態様であっても構わない。また、画像リスト画面LGに一度に表示可能な画像の枚数が偶数(Pが偶数)の場合には、(1+P)/2の値について小数点以下の切り上げ又は切り下げを行って画面中央に表示される画像の画像IDを指定する。
このように、初期表示処理では、画像リスト画面LGに一度に表示可能な枚数分の画像を画像情報記憶部101dから読み出して当該画面LGに表示すると共に、画面の中央に表示された(1+P)/2番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
(4)付加情報スクロールA処理の動作
次に、図9を参照して付加情報スクロールA処理の動作について説明する。前述した表示処理のステップSB9(図7参照)を介して本処理が実行されると、制御部100は図9に図示するステップSD1に進み、方向キー操作(タッチ操作)に応じて歩進されるスクロールポインタNを初期値「1」にセットする。続いて、ステップSD2では、スクロール表示処理を実行する。
スクロール表示処理では、後述するように、方向キー操作(タッチ操作)に応じて歩進されるスクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出して画像リスト画面LGに表示すると共に、画面の中央に表示される((1+P)/2)+N番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
次いで、ステップSD3では、前述のステップSB7(図7参照)において読み出された「付加情報」のスクロール情報が表す設定フラグ「1」の小項目について、各種情報一時記憶部101bに一時記憶した現在の付加情報と、その一つ前に一時記憶された前回の付加情報とを比較し、続くステップSD4では、現在の付加情報の内容と、前回の付加情報の内容とが異なるか否かを判断する。例えば「付加情報」のスクロール情報が表す設定フラグ「1」の小項目が「日付」であったならば、現在の付加情報中の日付と、前回の付加情報中の日付とが異なるかどうかを判断する。
設定フラグ「1」の小項目について、現在の付加情報の内容と前回の付加情報の内容とが異なると、上記ステップSD4の判断結果は「YES」となり、ステップSD5に進み、スクロール停止と判別してスクロール動作を停止させ、続くステップSD6では、報知部109に報知動作を指示し、これによりサウンドスピーカ109aを鳴音、LED109bを発光、振動モータ109cを駆動させ、振動・光・音でユーザにスクロール動作の停止を報知して本処理を終える。
一方、設定フラグ「1」の小項目について、現在の付加情報の内容と前回の付加情報の内容とが同じならば、上記ステップSD4の判断結果は「NO」になり、ステップSD7に進み、スクロール継続と判別する。続いて、ステップSD8では、方向キー操作が終了したかどうかを判断する。方向キーアイコンからタッチが離れて方向キー操作が終了していれば、判断結果は「YES」となり、本処理を終える。
これに対し、方向キーアイコンがタッチされ続け、方向キー操作が継続中ならば、上記ステップSD8の判断結果は「NO」になり、ステップSD9に進む。そして、ステップSD9では、スクロールポインタNの値をインクリメントして歩進させた後、上述のステップSD2に処理を戻す。
このように、付加情報スクロールA処理では、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とを比較し、現在と前回との付加情報の内容が同一であって、かつ方向キー操作が継続していれば、スクロール動作を継続させ、一方、現在と前回との付加情報の内容が異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。
なお、上述した付加情報スクロールA処理では、現在と前回との付加情報の内容が完全に一致するか否かに応じてスクロールの停止/継続を判別するようにしたが、これに限らず、設定フラグ「1」の小項目について、現在の付加情報の内容と前回の付加情報の内容との類似性を判別した結果に基づきスクロールの停止/継続を判別する態様としても構わない。
例えば現在の付加情報中の位置情報と前回の付加情報中の位置情報とが所定の範囲内に位置しているか否かに応じてスクロールの停止/継続を判別したり、現在の付加情報中の日付と前回の付加情報中の日付とが所定の期間内であるか否かに応じてスクロールの停止/継続を判別したりすることで画像属性の類似性に基づき画像スクロールを適切な表示位置に自動的に停止させることが可能になる。このことは後述する付加情報スクロールB処理においても同様である。
(5)スクロール表示処理の動作
次に、図10を参照してスクロール表示処理の動作について説明する。上述した付加情報スクロールA処理のステップSD2(図9参照)を介して本処理が実行されると、制御部100は図10に図示するステップSE1に進み、方向キー操作(タッチ操作)に応じて歩進されるスクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出す。なお、Pは画像リスト画面LG(図5参照)において一度に表示可能な画像の枚数に相当する。
次いで、ステップSE2では、読み出した各画像の実データを画像リスト画面LGに表示し、続くステップSE3では、画像リスト画面LGに表示された1+N番目からP+N番目の画像の内、((1+P)/2)+N番目の画像、すなわち画像リスト画面LGの中央に表示された画像の付加情報を画像情報記憶部101dから読み出す。そして、ステップSE4では、読み出した付加情報を各種情報一時記憶部101bに一時記憶して本処理を終える。
このように、スクロール表示処理では、方向キー操作(タッチ操作)に応じて歩進されるスクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出して画像リスト画面LGに表示すると共に、画面の中央に表示される((1+P)/2)+N番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
したがって、例えば前述の初期表示処理(図8参照)によって画像リスト画面LGに1番目から10番目の記憶IDに対応する画像が表示される初期表示状態において、方向キーアイコンを1回タッチ操作したとする。そうすると、2番目から11番目の記憶IDに対応する画像が画像リスト画面LGに表示され、その際に画面の中央に表示される6番目の画像の付加情報が画像情報記憶部101dから読み出されて各種情報一時記憶部101bに一時記憶される。
(6)付加情報スクロールB処理の動作
次に、図11を参照して付加情報スクロールB処理の動作について説明する。前述した表示処理のステップSB14(図7参照)を介して本処理が実行されると、制御部100は図11に図示するステップSF1に進み、スクロールポインタNに初期値「1」をセットする。そして、ステップSF2に進み、スライド操作に応じて歩進されるスクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出して画像リスト画面LGに表示すると共に、画面の中央に表示される((1+P)/2)+N番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶するスクロール表示処理を実行する。
次いで、ステップSF3では、前述のステップSB11(図7参照)において読み出された「付加情報」のスクロール情報が表す設定フラグ「1」の小項目について、各種情報一時記憶部101bに一時記憶した現在の付加情報と、その一つ前に一時記憶された前回の付加情報とを比較する。そして、ステップSF4では、現在の付加情報の内容と、前回の付加情報の内容とが異なるか否かを判断する。例えば「付加情報」のスクロール情報が表す設定フラグ「1」の小項目が「日付」であったならば、現在の付加情報中の日付と、前回の付加情報中の日付とが異なるかどうかを判断する。
設定フラグ「1」の小項目について、現在の付加情報の内容と前回の付加情報の内容とが異なると、上記ステップSF4の判断結果は「YES」となり、ステップSF5に進み、スクロール停止と判別してスクロール動作を停止させ、続くステップSF6では、報知部109に報知動作の開始を指示し、これによりサウンドスピーカ109aを鳴音、LED109bを発光、振動モータ109cを駆動させ、振動・光・音でユーザにスクロール動作の停止を報知して本処理を終える。
一方、設定フラグ「1」の小項目について、現在の付加情報の内容と前回の付加情報の内容とが同一ならば、上記ステップSF4の判断結果は「NO」になり、ステップSF7に進み、スクロール継続と判別する。続いて、ステップSF8では、所定枚数分の画像をスクロールし終えたかどうかを判断する。所定枚数分の画像をスクロールし終えると、判断結果は「YES」となり、本処理を終える。
これに対し、所定枚数分の画像をスクロールし終えていなければ、上記ステップSF8の判断結果は「NO」になり、ステップSF9に進む。そして、ステップSF9では、スクロールポインタNの値をインクリメントして歩進させた後、上述のステップSF2に処理を戻す。
このように、付加情報スクロールB処理では、スライド操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とを比較し、現在と前回との付加情報の内容が同一であって、かつ所定枚数分の画像をスクロールし終えるまではスクロール動作を継続させ、一方、現在と前回との付加情報の内容が異なると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。
(7)音声スクロールA処理の動作
次に、図12〜図13を参照して音声スクロールA処理の動作について説明する。前述した表示処理のステップSB10(図7参照)を介して本処理が実行されると、制御部100は図12に図示するステップSG1に進む。ステップSG1では、音声信号処理部104に音声入力開始を指示してマイクMICをオン状態に設定する。
続いて、ステップSG2〜SG4では、後述のステップSG16(図13参照)にてマイクMICがオフ状態に設定される迄の間、マイクMICを介してユーザの音声が入力される度に、その入力された音声に周知の音声認識(音声解析)を施し、これにより得られる解析結果(単語)を各種情報一時記憶部101bに一時記憶する。
次いで、ステップSG5では、スクロールポインタNに初期値「1」をセットする。続いて、図13に図示するステップSG6に進み、前述したスクロール表示処理(図10参照)を実行する。すなわち、ステップSG6では、スクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出して画像リスト画面LGに表示すると共に、画面の中央に表示される((1+P)/2)+N番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
そして、ステップSG7では、前述のステップSB7(図7参照)において読み出された「音声」のスクロール情報が表す設定フラグ「1」の小項目について、上記ステップSG6のスクロール表示処理によって各種情報一時記憶部101bに一時記憶された付加情報と、上記ステップSG4において各種情報一時記憶部101bに一時記憶された解析結果(単語)とを比較し、続くステップSG8では、付加情報の内容と解析結果(単語)とが異なるか否かを判断する。例えば「音声」のスクロール情報が表す設定フラグ「1」の小項目が「日付」であったならば、付加情報中の日付と、解析結果(単語)の日付とが異なるかどうかを判断する。
設定フラグ「1」の小項目について、付加情報の内容と解析結果(単語)とが一致すると、上記ステップSG8の判断結果は「YES」となり、ステップSG9に進み、スクロール停止と判別してスクロール動作を停止させる。続いて、ステップSG10では、報知部109に報知動作を指示し、これによりサウンドスピーカ109aを鳴音、LED109bを発光、振動モータ109cを駆動させ、振動・光・音でユーザにスクロール動作の停止を報知した後、後述のステップSG14に進む。
一方、設定フラグ「1」の小項目について、付加情報の内容と解析結果(単語)とが異なると、上記ステップSG8の判断結果は「NO」になり、ステップSG11に進み、スクロール継続と判別する。続いて、ステップSG12では、方向キー操作が終了したかどうかを判断する。方向キーアイコンからタッチが離れて方向キー操作が終了していれば、判断結果は「YES」となり、後述のステップSG14に進む。
これに対し、方向キーアイコンがタッチされ続け、方向キー操作が継続中ならば、上記ステップSG12の判断結果は「NO」になり、ステップSG13に進む。そして、ステップSG13では、スクロールポインタNの値をインクリメントして歩進させた後、上述のステップSG6に処理を戻す。
さて、上述したように、付加情報の内容と解析結果(単語)とが一致してスクロール動作を停止させた場合あるいは方向キー操作が終了した場合には、ステップSG14に進み、音声認識(音声解析)を終了し、続くステップSG15〜SG16では、音声信号処理部104に対して音声入力終了を指示してマイクMICをオフ状態に設定した後、本処理を終える。
以上のように、音声スクロールA処理では、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報の内容と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ方向キー操作が継続していれば、スクロール動作を継続させ、一方、付加情報の内容と解析結果(単語)とが一致すると、自動的にスクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。
なお、上述した音声スクロールA処理では、付加情報の内容と解析結果(単語)とが完全に一致するか否かに応じてスクロールの停止/継続を判別するようにしたが、これに限らず、設定フラグ「1」の小項目について、付加情報の内容と解析結果(単語)との類似性を判別した結果に基づきスクロールの停止/継続を判別する態様としても構わない。
例えば付加情報中の日付と解析結果(単語)が表す日付とが所定の期間内であるか否かに応じてスクロールの停止/継続を判別すれば、ユーザにより音声入力された言葉(単語)に類似した属性の付加情報を備える画像が、画像リスト画面LGの画面中央に表示されるようになるまでスクロールを継続させるので、画像スクロールを適切な表示位置に自動的に停止させることが可能になる。このことは後述する音声スクロールB処理においても同様である。
(8)音声スクロールB処理の動作
次に、図14〜図15を参照して音声スクロールB処理の動作について説明する。前述した表示処理のステップSB14(図7参照)を介して本処理が実行されると、制御部100は図14に図示するステップSH1に進み、音声信号処理部104に音声入力開始を指示してマイクMICをオン状態に設定する。
続いて、ステップSH2〜SH4では、後述のステップSH16(図13参照)にてマイクMICがオフ状態に設定される迄の間、マイクMICを介してユーザの音声が入力される度に、その入力された音声に周知の音声解析(音声認識)を施し、これにより得られる解析結果(単語)を各種情報一時記憶部101bに一時記憶する。
次いで、ステップSH5では、スクロールポインタNに初期値「1」をセットする。続いて、図13に図示するステップSH6に進み、前述したスクロール表示処理(図10参照)を実行する。すなわち、ステップSH6では、スクロールポインタNの値を加算した1+N番目からP+N番目の画像IDに対応する実データ(画像データ本体)を画像情報記憶部101dから読み出して画像リスト画面LGに表示すると共に、その画面の中央に表示される((1+P)/2)+N番目の画像の付加情報を画像情報記憶部101dから読み出して各種情報一時記憶部101bに一時記憶する。
そして、ステップSH7に進むと、前述のステップSB11(図7参照)において読み出された「音声」のスクロール情報が表す設定フラグ「1」の小項目について、上記ステップSH6のスクロール表示処理によって各種情報一時記憶部101bに一時記憶された付加情報と、上記ステップSH4において各種情報一時記憶部101bに一時記憶された解析結果(単語)とを比較し、続くステップSH8では、付加情報の内容と解析結果(単語)とが異なるか否かを判断する。例えば「音声」のスクロール情報が表す設定フラグ「1」の小項目が「日付」であったならば、付加情報中の日付と、解析結果(単語)の日付とが異なるかどうかを判断する。
設定フラグ「1」の小項目について、付加情報の内容と解析結果(単語)とが一致すると、上記ステップSH8の判断結果は「YES」となり、ステップSH9に進み、スクロール停止と判別してスクロール動作を停止させる。続いて、ステップSH10では、報知部109に報知動作を指示し、これによりサウンドスピーカ109aを鳴音、LED109bを発光、振動モータ109cを駆動させ、振動・光・音でユーザにスクロール動作の停止を報知した後、後述のステップSH14に進む。
一方、設定フラグ「1」の小項目について、付加情報の内容と解析結果(単語)とが異なると、上記ステップSH8の判断結果は「NO」になり、ステップSH11に進み、スクロール継続と判別する。続いて、ステップSH12では、所定枚数分の画像をスクロールし終えたかどうかを判断する。所定枚数分の画像をスクロールし終えると、判断結果は「YES」となり、後述のステップSH14に進む。
これに対し、所定枚数分の画像をスクロールし終えていなければ、上記ステップSH12の判断結果は「NO」になり、ステップSH13に進む。そして、ステップSH13では、スクロールポインタNの値をインクリメントして歩進させた後、上述のステップSH6に処理を戻す。
さて、上述したように付加情報の内容と解析結果(単語)とが一致してスクロール動作を停止させた場合あるいはスライド操作に応じて所定枚数分の画像をスクロールし終えた場合には、ステップSH14に進み、音声解析(音声認識)を終了し、続くステップSH15〜SH16では、音声信号処理部104に対して音声入力終了を指示してマイクMICをオフ状態に設定した後、本処理を終える。
このように、音声スクロールB処理では、スライド操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ所定枚数分の画像をスクロールし終えるまではスクロール動作を継続させ、一方、付加情報の内容と解析結果(単語)とが一致すると、スクロール動作を停止させると共に、スクロール動作の停止をユーザに報知する。
以上説明したように、本実施形態では、一度に画面表示可能な枚数分の画像を画像情報記憶部101dから読み出して画像リスト画面LGに表示しておき、この画像リスト画面LGに設けられる方向キーアイコンRK(又は方向キーアイコンLK)をタッチする方向キー操作が行われると、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報(大項目)を読み出す。
読み出されたスクロール情報が「付加情報」ならば、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報(現在の付加情報)と、そのスクロールが行われる以前に画面中央に表示されていた画像の付加情報(前回の付加情報)とを比較し、現在と前回との付加情報の内容が同一であって、かつ方向キー操作が継続していれば、スクロール動作を継続させ、一方、現在と前回との付加情報の内容が異なると、スクロール動作を停止させると共に、スクロール動作の停止をユーザに報知するので、画像スクロールを適切な表示位置に自動的に停止させることができる。
一方、読み出されたスクロール情報が「音声」であると、方向キー操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報の内容と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ方向キー操作が継続していれば、スクロール動作を継続させ、一方、付加情報の内容と解析結果(単語)とが一致すると、スクロール動作を停止させると共に、スクロール動作の停止をユーザに報知するので、画像スクロールを適切な表示位置に自動的に停止させることができる。
また、初期表示された画像リスト画面LGにおいてスライドエリアSEをタッチしてそのまま横に移動してからタッチを離すスライド操作が行われると、スクロール情報記憶部101cから設定フラグが「1」のスクロール情報(大項目)を読み出し、読み出されたスクロール情報が「付加情報」ならば、スライド操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ所定枚数分の画像をスクロールし終えるまではスクロール動作を継続させ、一方、付加情報の内容と解析結果(単語)とが一致すると、スクロール動作を停止させると共に、スクロール動作の停止をユーザに報知するので、画像スクロールを適切な表示位置に自動的に停止させることができる。
一方、読み出されたスクロール情報が「音声」ならば、スライド操作に応じて画像リスト画面LGに表示される画像をスクロールさせ、このスクロールにより画面中央に表示される画像の付加情報と、ユーザの入力音声を認識して得た解析結果(単語)とを比較し、付加情報の内容と解析結果(単語)とが異なり、かつ所定枚数分の画像をスクロールし終えるまではスクロール動作を継続させ、一方、付加情報の内容と解析結果(単語)とが一致すると、スクロール動作を停止させると共に、スクロール動作の停止をユーザに報知するので、画像スクロールを適切な表示位置に自動的に停止させることができる。
また、上述した実施形態において得られる、より具体的な他の効果は、下記(a)〜(l)項に記載の通りである。
(a)画像の付加情報の比較結果に基づいて、画像のスクロールを適切に継続させることができる。
(b)表示部に1つの画像が表示される場合には、スクロール前に表示されていた画像の付加情報と、スクロール後に表示される画像の付加情報との比較結果に基づいて、そのスクロールを適切な表示位置で自動的に停止させることができる。
(c)表示部に複数の画像が表示される場合には、スクロール前に所定の位置に表示されていた画像の付加情報と、スクロール後にその位置に表示される画像の付加情報との比較結果に基づいて、そのスクロールを適切な表示位置で自動的に停止させることができる。
(d)画像のスクロールを継続的に行っているときに、付加情報の類似性が低い画像でスクロールを自動的に停止させるができる。具体的には、付加情報が撮影モードであれば、例えば自動モード以外のマニュアル撮影モードで撮影された画像でスクロールを停止させたり、また付加情報が被写体ならば、例えば人物が写っている画像でスクロールを停止させたりすることが出来る。さらに、付加情報が日付であると、所定の日付で撮影された画像でスクロールを停止させたり、また付加情報が位置情報ならば、特定の場所で撮影された画像でスクロールを停止させたりすることができる。
(e)継続的に行われる操作に応じて、画像のスクロールを継続的に行っているときに、そのスクロールを適切な表示位置で自動的に停止させることができる。
(f)所定の回数又は所定の期間、スクロールを継続的に行っているときに、そのスクロールを適切な表示位置で自動的に停止することができる。
(g)画像の撮影情報、被写体情報、日付情報、位置情報に基づいて、画像のスクロールを適切な表示位置で容易に停止することができる。
(h)画像のスクロールを継続的に行っているときに、音声の解析結果と画像の付加情報との比較結果に基づいて、そのスクロールを適切な表示位置で容易に停止させることができる。
(i)音声の解析結果と画像の付加情報との比較結果に基づいて、画像のスクロールを適切に継続させることができる。
(j)表示部に1つの画像が表示される場合には、音声の解析結果と、スクロールした後に表示されている画像の付加情報との比較結果に基づいて、そのスクロールを適切な表示位置で自動的に停止させることができる。
(k)表示部に複数の画像が表示される場合には、音声の解析結果と、スクロールした後に所定の位置に表示されている画像の付加情報との比較結果に基づいて、そのスクロールを適切な位置で自動的に停止させることができる。
(l)画像のスクロールを継続的に行っているときに、音声の解析結果と画像の付加情報の類似性が高い画像でスクロールを自動的に停止させることができる。具体的には、付加情報が撮影モードであれば、例えば自動モード以外のマニュアル撮影モードで撮影された画像でスクロールを停止させたり、また付加情報が被写体ならば、例えば人物が写っている画像でスクロールを停止させたりすることが出来る。さらに、付加情報が日付であると、所定の日付で撮影された画像でスクロールを停止させたり、また付加情報が位置情報ならば、特定の場所で撮影された画像でスクロールを停止させたりすることができる。
なお、上述の実施形態は携帯電話10を想定しているが、本発明の要旨はこれに限らず、パーソナルコンピュータ、PDA、デジタルカメラ、音楽プレイヤーなど画像を表示する機能を有する装置全般に適用可能であることは言うまでもない。
本実施形態では、折り畳み開閉タイプの携帯電話10を一例としたが、これに限らず、ストレートタイプ、スライドタイプ、スピントップタイプなど任意の筐体構造であっても構わない。また、記憶部101は、携帯電話10の内部に設けられるメモリに限定されず、メモリカードや外付けハードディスクなど、任意の外部記憶装置でも良い。さらに、表示部106は、携帯電話10に備えられたものに限らず、外部モニタなど任意の外部表示装置を用いる形態であっても構わない。
記憶する画像は、静止画や動画など任意の種別の画像で良く、撮像部で撮像した画像、放送受信部で受信した画像、ダウンロードした画像、データ通信で受信した画像に限らず、任意の方法で取得した画像に適用可能となる。
また、本実施形態では、付加情報の一例として「撮影モード」、「被写体」、「日付」および「場所」を挙げたが、これに限定されず、例えば画像に付与するタイトルやファイル名など任意の付加情報を用いることが可能である。
さらに、本実施形態では、実データ(画像データ本体)に基づきスクロール表示するようにしたが、これに限らず、実データを間引き縮小して生成した周知のサムネイル画像データを対応する画像の付加情報として登録しておき、画像一覧する際に、このサムネイル画像データを用いてスクロール表示する態様であっても構わない。
加えて、上述した実施形態では、スクロールを継続的に行わせる操作として、画像リスト画面LGに設けられた方向キーアイコンの継続的なタッチ操作や、スライドエリアSEのスライド操作を挙げたが、これに限らず、例えばスクロール枚数指定操作とスクロール実行キー操作との組み合わせなど任意の操作でスクロール継続指示する態様としてもよい。
また、本実施形態では、スライド操作に応じて所定枚数分の画像をスクロールする態様としたが、これに限らず、スライド操作に応じて、一定時間(例えば10秒)が経過するまでの間、画像を連続的にスクロールする態様であっても構わない。
10 携帯電話
100 制御部
101 記憶部
101a プログラム記憶部
101b 各種情報一時記憶部
101c スクロール情報記憶部
101d 画像記憶部
102 無線通信部
103 GPS受信部
104 音声信号処理部
105 撮像部
106 表示部
107 操作部
108 RTC
109 報知部
109a サウンドスピーカ
109b LED
109c 振動モータ
110 電池部

Claims (6)

  1. 属性を表す付加情報が付与された複数の画像を記憶する画像記憶部から画像を読み出す読出手段と、
    前記読出手段によって読み出された画像を画面に表示する表示制御手段と、
    画面上に設けられたタッチパネルのスライド操作に応じて、スクロールの実行を指示する指示手段と、
    前記指示手段の実行指示に応じて、前記表示制御手段により画面に表示される画像を順次更新してスクロールするスクロール手段と、
    ユーザの入力音声を認識する音声認識手段と、
    前記スクロール手段によって現在スクロールされた画像の付加情報と、前記音声認識手段の音声認識結果とを比較する比較手段と、
    前記比較手段の比較結果に基づき、音声認識結果と異なる付加情報を持つ画像が所定枚数分連続する間は前記スクロール手段のスクロールを継続させ、一方、現在スクロールされた画像の付加情報と音声認識結果とが一致すれば、前記スクロール手段のスクロールを停止させるスクロール制御手段と、
    前記スクロール制御手段が前記スクロール手段のスクロールを停止させた場合に、スクロールの停止を報知する報知手段と
    を具備することを特徴とする端末装置。
  2. 前記表示制御手段が一画面に一つの画像を表示する場合、前記比較手段は、前記スクロール手段のスクロールによって表示更新された画像の付加情報と、前記音声認識手段による音声認識結果とを比較することを特徴とする請求項1記載の端末装置。
  3. 前記表示制御手段が一画面内に設けられた複数の表示位置にそれぞれ画像を表示する場合、前記比較手段は、前記スクロール手段のスクロールにより所定の表示位置で表示される画像の付加情報と、前記音声認識手段による音声認識結果とを比較することを特徴とする請求項1記載の端末装置。
  4. 前記スクロール制御手段は、現在スクロールされた画像の付加情報と前記音声認識手段による音声認識結果との類似性が高いという比較結果が得られた場合に、スクロールを停止させることを特徴とする請求項1記載の端末装置。
  5. 画像に付与され、属性を表す付加情報とは、少なくとも撮影の内容を表す撮影情報、被写体の内容を表す被写体情報、日付情報および位置情報の何れか一つを含むことを特徴とする請求項1記載の端末装置。
  6. タッチパネルを備えた端末装置に搭載されるコンピュータに、
    属性を表す付加情報が付与された複数の画像を記憶する画像記憶部から画像を読み出す読出ステップと、
    前記読出ステップによって読み出された画像を画面に表示する表示制御ステップと、
    画面上に設けられたタッチパネルのスライド操作に応じて、スクロールの実行を指示する指示ステップと、
    前記指示ステップの実行指示に応じて、前記表示制御ステップにより画面に表示される画像を順次更新してスクロールするスクロールステップと、
    ユーザの入力音声を認識する音声認識ステップと、
    前記スクロールステップにより現在スクロールされた画像の付加情報と、前記音声認識ステップで得られた音声認識結果とを比較する比較ステップと、
    前記比較ステップの比較結果に基づき、音声認識結果と異なる付加情報を持つ画像が所定枚数分連続する間は前記スクロールステップによるスクロールを継続させ、一方、現在スクロールされた画像の付加情報と音声認識結果とが一致すれば、前記スクロールステップによるスクロールを停止させるスクロール制御ステップと、
    前記スクロール制御ステップが前記スクロールステップのスクロールを停止させた場合に、スクロールの停止を報知する報知ステップと
    を実行させることを特徴とするプログラム。
JP2014003549A 2014-01-10 2014-01-10 端末装置およびプログラム Expired - Fee Related JP5846507B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014003549A JP5846507B2 (ja) 2014-01-10 2014-01-10 端末装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014003549A JP5846507B2 (ja) 2014-01-10 2014-01-10 端末装置およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009246064A Division JP5751607B2 (ja) 2009-10-27 2009-10-27 端末装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2014089754A JP2014089754A (ja) 2014-05-15
JP5846507B2 true JP5846507B2 (ja) 2016-01-20

Family

ID=50791538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014003549A Expired - Fee Related JP5846507B2 (ja) 2014-01-10 2014-01-10 端末装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5846507B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003167918A (ja) * 2001-11-30 2003-06-13 Sony Corp データ表示装置及びデータ表示方法
JP2006236286A (ja) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd 表示制御装置および表示制御プログラム
JP4922149B2 (ja) * 2007-12-27 2012-04-25 オリンパスイメージング株式会社 表示制御装置,カメラ,表示制御方法,表示制御プログラム

Also Published As

Publication number Publication date
JP2014089754A (ja) 2014-05-15

Similar Documents

Publication Publication Date Title
JP5370259B2 (ja) 携帯型電子機器
CN105531623B (zh) 影像记录装置和存储介质
US9554232B1 (en) Communication device
US9148586B2 (en) Terminal apparatus for combining images from two different cameras based on detected sound
US20100194903A1 (en) Mobile electronic device having camera
JP4818478B1 (ja) 携帯端末装置、アプリケーションソフトウェアの起動方法
JP5751607B2 (ja) 端末装置およびプログラム
KR100993218B1 (ko) 전자기기 및 전자기기의 처리 프로그램을 기록한 기록매체
JP2007181115A (ja) 携帯無線端末およびプログラム
JP2000180197A (ja) 現在位置表示システム、現在位置表示制御装置及び地図デ―タ送信装置
JP2005072945A (ja) 通信端末装置および通信情報処理のプログラム
JP5846507B2 (ja) 端末装置およびプログラム
JP2007221281A (ja) 携帯無線端末および携帯無線端末の処理プログラム
KR100724954B1 (ko) 이동 통신 단말기의 폰 북 데이터 저장 방법
JP2010033175A (ja) 携帯型電子機器
JP2010224901A (ja) 端末装置およびプログラム
US20140015859A1 (en) Mobile terminal and control method thereof
JP2006209558A (ja) 文字入力装置、および文字入力方法
KR101499133B1 (ko) 휴대 단말기의 메뉴수행 장치 및 방법
JP5263966B2 (ja) 端末装置およびプログラム
KR100672591B1 (ko) 호기에 따른 디스플레이 변화 기능을 갖는 이동통신 단말기및 이를 이용한 호기에 따른 디스플레이 변화 방법
JP5510008B2 (ja) 携帯端末装置
JP2005173877A (ja) 携帯情報端末
JP2006246113A (ja) 操作システムおよび被操作端末
JP5885002B2 (ja) 端末装置およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150323

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151112

R150 Certificate of patent or registration of utility model

Ref document number: 5846507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees