以下、図面を参照して本発明の実施の形態について説明する。
[第1実施形態]
A.構成
図1は、第1実施形態による端末装置としての携帯電話100の構成を示すブロック図である。この図において、制御部10は、CPUおよび入出力回路などから構成され、操作部11から供給される各種の操作イベントや、タッチ位置検出部17が発生するタッチ操作位置に応じて、携帯電話100の各部の動作を制御する。本発明の要旨に係わる制御部10の特徴的な処理動作については追って詳述する。なお、この制御部10では、マルチタスクOSに基づきフォアグラウンドとバックグラウンドとで異なる機能(アプリケーション)を並行して実行可能に構成されている。
操作部11は、パワーオンオフする電源スイッチ、通話開始/終了時に操作されるオフフック/オンフックスイッチ、ダイヤルスイッチと兼用の文字入力スイッチ、シャッタボタン等の各種操作キーやボタンを有し、それらキーやボタンの操作に応じたイベントを発生して制御部10に供給する。表示部12は、例えばカラー液晶パネルおよび表示ドライバから構成され、制御部10の制御の下に、待受画面など各種の操作画面を表示する。また、表示部12の表示パネル上には、周知のタッチパネルが敷設され、ユーザのタッチ操作位置(座標値)を検出するタッチ位置検出部17を構成する。タッチ位置検出部17が発生するタッチ操作位置は制御部10に供給される。
電源部13は、電池残量を検出すると共に、携帯電話100の各部を駆動する駆動電圧を発生する。電話部14は、スピーカSPおよびマイクMICを備え、制御部10から供給される音声データを音声信号にD/A変換してスピーカSPから発音させたり、マイクMICから出力される音声信号を音声データにA/D変換して制御部10に供給する。
無線通信部15は、データ通信時には制御部10の制御の下に、アンテナANTを介して最寄りの基地局BS(不図示)とデータ授受を行い、音声通話時にはアンテナANTを介して受信復調した音声データを制御部10に出力する一方、制御部10から供給される音声データを変調して得た送信信号を高周波増幅してアンテナANTから無線送信する。なお、無線通信部15において実行されるデータ通信は、例えばインターネットに接続して電子メール送受信したり、所定サイトからストリーミング画像をダウンロードする機能を含む。
記憶部16は、ROMおよびRAMから構成される。記憶部16のROM(不図示)には、制御部10により実行される各種プログラムデータや、所定のプログラムにより参照される制御データの他、例えば待受画面などの各種表示画面を形成する画面データが記憶される。なお、記憶部16のROMに記憶される各種プログラムとは、追って詳述するメインルーチンを含む。
記憶部16のRAMは、ワークエリアおよびデータエリアを備える。ワークエリアには、制御部10の処理に用いられる各種レジスタ・フラグデータの他、判定テーブルHTが記憶される。判定テーブルHTとは、図2に図示するように、フラグDF「0」〜「6」の中でユーザ操作に応じて選択設定されるフラグDFに対応した判定内容(判定条件)を指定するテーブルであり、この判定テーブルHTが意図するところについては後述する。
記憶部16のRAMに設けられるデータエリアは、ユーザエリア、撮像エリアおよび画像エリアから構成される。ユーザエリアには、図3に図示するように、一つのレコードが「名前」、「メールアドレス」、「電話番号」および「画像ファイル名」から構成されるアドレス帳ADRが登録される。撮像エリアには、撮像部18から撮影出力される画像データが一時記憶される。画像エリアには、制御部10の記録指示に従い、撮像エリアに一時記憶される画像データが静止画像データあるいは動画像データとして保存される。また、画像エリアには、後述の画像処理部20が実行する画像認識に供される画像パターン(「物体形状」や「人の顔」等)が格納される。
撮像部18は、被写体の明るさに応じて制御部10が指定する撮影パラメータ(AF指示、ISO感度およびシャッター速度)に従って被写体に合焦して撮影して得られる画像データを出力する。撮像部18から撮像出力される画像データは、記憶部16の撮像エリアに一時記憶される。明るさ検出部19は、制御部10の指示に従って明るさ(照度)を検出する。
画像処理部20は、制御部10の指示に従い、記憶部16の撮像エリアにストアされる画像データを表示部12の表示画面にスルー画像としてライブビュー表示する。また、画像処理部20は、表示部12にライブビュー表示したスルー画像の画像データに、所定の被写体(事前登録された「物体形状」あるいは「人の顔」)の画像パターンが含まれているか否かを検出する画像認識や、公知の文字認識を実行し、その結果を制御部10に出力する。現在位置取得部21は、制御部10の制御の下に、GPS信号を受信して現在の緯度および経度を表す位置情報を取得する。
B.動作
次に、図4〜図11を参照して制御部10が実行するメインルーチンの動作を説明する。携帯電話100では、電源スイッチのオン操作に応じてパワーオン状態に設定されると、制御部10がメインルーチンを実行する。メインルーチンが実行されると、ステップSA1に進み、携帯電話100の各部をイニシャライズした後、基地局を介して無線通信網に位置登録を行って待ち受け状態に入る初期化処理を実行する。そして、初期化処理が完了すると、ステップSA2に進み、撮影機能がバックグラウンドで実行中か否かを判断する。ここで言う撮影機能とは、制御部10の指示に従い、撮像部18が撮影出力を発生する状態を指す。
撮影機能がバックグラウンドで実行中でなければ、上記ステップSA2の判断結果は「NO」となり、ステップSA3に進み、撮影機能アイコンが通常表示の待ち受け画面を表示部12に画面表示する。なお、撮影機能アイコンが通常表示の待ち受け画面とは、図8(a)に図示する一例のように、撮影機能アイコンIC1がフォト撮影を示す通常のアイコン画像として表示される待ち受け画面を指す。
一方、撮影機能がバックグラウンドで実行中ならば、上記ステップSA2の判断結果が「YES」となり、ステップSA4に進み、撮影機能アイコンがスルー画像表示の待ち受け画面を表示部12に画面表示する。なお、撮影機能アイコンがスルー画像表示の待ち受け画面とは、ライブビュー(スルー画像)を間引き縮小した画像を、待ち受け画面中の撮影機能アイコンIC1(図8(b)参照)として表示する態様を指す。こうすることで、バックグラウンドで実行中の撮影機能により撮影されている状況がユーザに一目瞭然となる。
さて、こうしてバックグラウンドで撮影機能が実行中であるかどうかを示す待ち受け画面が表示される待ち受け状態になると、図4のステップSA5、図5のステップSA10〜SA11、図6のステップSA12および図7のステップSA13において、それぞれ「着信検知」、「通常表示の撮影機能アイコン選択」、「スルー画像表示の撮影機能アイコン選択」、「メインメニュー表示操作」および「その他の操作」の各イベントの有無を判断する。
これらイベントが発生しなければ、図4のステップSA5、図5のステップSA10〜SA11、図6のステップSA12および図7のステップSA13の各判断結果は何れも「NO」になり、上記ステップSA2に戻り、待ち受け状態で待機する。そして、この待ち受け状態において上記イベントの何れかが発生すると、その発生したイベントに対応した処理を実行する。以下、発生するイベント別に分けて動作の説明を進める。
(1)着信検知した場合
着信検知イベントが発生すると、図4に図示するステップSA5の判断結果が「YES」になり、ステップSA6に進む。ステップSA6では、着信報知を行うと共に、この着信報知中にオフフック操作の有無を判断する。オフフック操作が為されなければ、ステップSA6の判断結果は「NO」となり、上記ステップSA2に戻り、待ち受け状態に復帰する。
一方、着信報知中にオフフック操作されると、ステップSA6の判断結果が「YES」になり、ステップSA7に進み、発呼側と回線接続して通話を開始する通話処理を行い、続くステップSA8では、この通話処理中のオンフック操作の有無を判断する。すなわち、オンフック操作されるまでステップSA7の通話処理を継続させ、通話を終えてオンフック操作されると、ステップSA8の判断結果が「YES」となり、ステップSA9に進む。そして、ステップSA9では、発呼側との回線を切断する終話処理を実行した後、上記ステップSA2に戻り、待ち受け状態に復帰する。
(2)通常表示の撮影機能アイコンを選択した場合
図8(a)に図示する一例の待ち受け画面において、ユーザが撮影機能アイコンIC1をタッチ操作し、これにより通常表示の撮影機能アイコンIC1を指定したイベントが発生すると、図5に図示するステップSA10の判断結果が「YES」となり、ステップSA14に進む。ステップSA14では、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビューとして表示する。
次いで、ステップSA15〜SA19では、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断する。これらイベントが発生しなければ、ステップSA15〜SA19の各判断結果は何れも「NO」となり、スルー表示画面でライブビューが表示される状態を維持する。
スルー表示画面(図9参照)に設けられるシャッターアイコンSTがタッチ操作され、これにより「シャッタ操作」のイベントが発生すると、上記ステップSA15の判断結果が「YES」となり、ステップSA20に進み、スルー表示画面を静止画像として撮影記録する処理を実行した後、スルー表示画面でライブビューが表示される状態に復帰する。
スルー表示画面(図9参照)に設けられるサブメニューアイコンSBをタッチ操作してサブメニューを開き、このサブメニューにおいて、例えば撮影モード変更などの「その他の撮影操作」を指定するイベントが発生すると、ステップSA16の判断結果が「YES」となり、ステップSA21に進み、撮影モード変更などの、操作に応じた処理を実行した後、スルー表示画面でライブビューが表示される状態に復帰する。
スルー表示画面(図9参照)に設けられるサブメニューアイコンSBをタッチ操作してサブメニューを開き、このサブメニューで「撮影終了操作」を指定するイベントが発生すると、ステップSA17の判断結果が「YES」となり、ステップSA22に進み、フォアグラウンドで実行中の撮影機能を終了させる処理を実行した後、前述したステップSA2(図4参照)に戻る。この場合、図8(a)に図示した撮影機能アイコンIC1が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
操作部11のキー操作に応じて「メインメニュー表示操作」を指定するイベントが発生すると、ステップSA18の判断結果が「YES」となり、ステップSA23に進み、フォアグラウンドで実行中の撮影機能をバックグラウンドに移行させた後、図6に図示するステップSA31に進み、図10(a)に図示する一例のように、撮影機能アイコンIC1がスルー画像表示のメインメニュー画面を表示部12に表示する。この後の処理、すなわちステップSA31以降の処理については、メインメニュー表示操作の動作として追って述べる。
操作部11のキー操作に応じて、例えば電子メール機能やアドレス帳機能などの「その他の撮影機能以外の操作」を指定するイベントが発生すると、ステップSA19の判断結果が「YES」となり、ステップSA24に進み、フォアグラウンドで実行中の撮影機能をバックグラウンドに移行させた後、図7に図示するステップSA36に進む。ステップSA36以降の処理については、その他の操作に応じた動作として追って述べる。
(3)スルー画像表示の撮影機能アイコンを選択した場合
図8(b)に図示する一例の待ち受け画面において、ユーザが撮影機能アイコンIC1をタッチ操作し、これによりスルー画像表示の撮影機能アイコンIC1を指定したイベントが発生すると、図5に図示するステップSA11の判断結果が「YES」となり、ステップSA11−1に進む。
ステップSA11−1では、バックグラウンドで実行中の撮影機能をフォアグラウンドに移行させ、フォアグラウンドに移行した撮影機能により撮像された画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。つまり、撮影機能アイコンとして表示されていたスルー画像をスルー表示画面に拡大表示した後、ステップSA15に進む。そして、ステップSA15〜SA19では、「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断する。
そして、「シャッタ操作」のイベントが発生した場合には、ステップSA15の判断結果が「YES」となり、ステップSA20に進み、スルー画像を静止画像として撮影する処理を実行する。「その他の撮影操作」のイベントが発生した場合には、ステップSA16の判断結果が「YES」となり、ステップSA21に進み、操作に応じた処理を実行する。
「撮影終了操作」のイベントが発生した場合には、ステップSA17の判断結果が「YES」となり、ステップSA22に進み、バックグラウンドで実行中の撮影機能を終了させる処理を実行した後、前述したステップSA2(図4参照)に戻る。この場合、図8(a)に図示した撮影機能アイコンIC1が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
「メインメニュー表示操作」のイベントが発生した場合には、ステップSA18の判断結果が「YES」となり、ステップSA23を介して図6に図示するステップSA31に進む。ステップSA31以降の処理については、メインメニュー表示操作の動作として後述する。「その他の撮影機能以外の操作」のイベントが発生した場合には、ステップSA19の判断結果が「YES」となり、ステップSA24を介して図7に図示するステップSA36に進む。ステップSA36以降の処理については、その他の操作に応じた動作として後述する。
(4)メインメニュー表示操作が行われた場合
メインメニュー表示操作が行われると、図6に図示するステップSA12の判断結果が「YES」になり、ステップSA25に進む。ステップSA25では、バックグラウンドで撮影機能が実行中であるか否かを判断する。以下、バックグラウンドで撮影機能が実行中でない場合と、実行中の場合とに分けて動作説明を進める。
<バックグラウンドで撮影機能が実行中でない場合>
バックグラウンドで撮影機能が実行中でなければ、上記ステップSA25の判断結果は「NO」になり、ステップSA26に進み、図10(b)に図示する一例のように、撮影機能アイコンIC1が通常表示のメインメニュー画面を表示部12に表示する。次いで、ステップSA27では、このメインメニュー画面(図10(b)参照)において、ユーザのタッチ操作により撮影機能アイコンIC1が選択されたか否かを判断する。
撮影機能アイコンIC1がタッチ操作されて選択されると、判断結果は「YES」となり、前述したステップSA14(図5参照)に進み、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。そして、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を前述したステップSA15〜SA19で判断し、発生した操作イベントに対応した処理を実行する。
一方、撮影機能アイコンIC1がタッチ操作されなければ、上記ステップSA27の判断結果は「NO」となり、ステップSA28に進む。ステップSA28では、撮影機能アイコンIC1を除くメインメニュー画面のその他の機能アイコンの何れかが選択されたかどうかを判断する。何れかの機能アイコンが選択されると、判断結果は「YES」となり、図7に図示するステップSA36に進む。ステップSA36以降の処理については、その他の操作に応じた動作として後述する。
これに対し、何れかの機能アイコンが選択されなければ、上記ステップSA28の判断結果は「NO」となり、ステップSA29に進み、メインメニュー終了操作の有無を判断する。メインメニュー終了操作が為されなければ、判断結果は「NO」となり、上述のステップSA27に処理を戻すが、メインメニュー終了操作が為されると、上記ステップSA29の判断結果は「YES」となり、ステップSA30に進み、メインメニュー画面(図10(b)参照)を閉じるメインメニュー終了処理を行った後、前述したステップSA2(図4参照)に戻る。この場合、図8(a)に図示した撮影機能アイコンIC1が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
<バックグラウンドで撮影機能が実行中の場合>
さて一方、バックグラウンドで撮影機能が実行中であると、上述したステップSA25の判断結果が「YES」になり、ステップSA31に進む。ステップSA31では、図10(a)に図示する一例のように、撮影機能アイコンIC1がスルー画像表示のメインメニュー画面を表示部12に表示する。次いで、ステップSA32では、このメインメニュー画面(図10(a)参照)において、ユーザのタッチ操作により撮影機能アイコンIC1が選択されたか否かを判断する。
撮影機能アイコンIC1がタッチ操作されて選択されると、判断結果は「YES」となり、図5に図示するステップSA11−1に進む。ステップSA11−1では、バックグラウンドで実行中の撮影機能をフォアグラウンドに移行させ、フォアグラウンドに移行した撮影機能により撮像された画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。つまり、撮影機能アイコンとして表示されていたスルー画像をスルー表示画面に拡大表示する。この後、前述したステップSA15〜SA19において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
一方、撮影機能アイコンIC1がタッチ操作されなければ、上記ステップSA32の判断結果は「NO」となり、ステップSA33に進む。ステップSA33では、撮影機能アイコンIC1を除くメインメニュー画面のその他の機能アイコンの何れかが選択されたかどうかを判断する。何れかの機能アイコンが選択されると、判断結果は「YES」となり、図7に図示するステップSA36に進む。ステップSA36以降の処理については、その他の操作に応じた動作として後述する。
これに対し、何れかの機能アイコンが選択されなければ、上記ステップSA33の判断結果は「NO」となり、ステップSA34に進み、メインメニュー終了操作の有無を判断する。メインメニュー終了操作が為されると、上記ステップSA34の判断結果は「YES」となり、ステップSA30に進み、メインメニュー画面(図10(a))を閉じるメインメニュー終了処理を行った後、前述したステップSA2(図4参照)に戻る。この場合、図8(b)に図示した撮影機能アイコンIC1がスルー画像表示の待ち受け画面が表示される待ち受け状態に復帰する。
上記ステップSA34において、メインメニュー終了操作が為されなければ、判断結果は「NO」となり、ステップSA35に進む。ステップSA35では、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。
例えば現在設定されているフラグDFが「0」ならば、判定テーブルHTから「物認識部(画像処理部20)によりスルー画像に設定人物或いは物との類似を検出」という判定内容(判定条件)が指定され、現在の状況がこの判定条件に合致するか否かを判断する。つまり、記憶部16の画像エリア或いはアドレス帳ADRに登録された画像パターン(「物体形状」あるいは「人の顔」)に類似する被写体がスルー画像(ライブビュー)に写り込んでいるかどうかを判断する。
なお、現在設定されているフラグDFが「1」ならば、「記憶部16の画像エリアに登録された設定画像に類似する被写体がスルー画像(ライブビュー)に写り込んでいるか否か」を判断する。現在設定されているフラグDFが「2」ならば、「文字認識部(画像処理部20)によりスルー画像(ライブビュー)から設定キーワードを検出(認識)したか否か」を判断する。現在設定されているフラグDFが「3」ならば、「電源部13により検出される電池残量が所定値を下回ったか否か」を判断する。現在設定されているフラグDFが「4」ならば、「無線通信部15が通信圏外になったか否か」を判断する。現在設定されているフラグDFが「5」ならば、「現在位置取得部21により所定値を超える位置情報の変化を検出したか否か」を判断する。現在設定されているフラグDFが「6」ならば、「明るさ検出部19により所定値を超える明るさの変化を検出したか否か」を判断する。
現在の状況が判定条件に合致しなければ、上記ステップSA35の判断結果は「NO」になり、上述のステップSA32に処理を戻す。一方、現在の状況が判定条件に合致すると、上記ステップSA35の判断結果は「YES」となり、ステップSA35−1に進み、メインメニュー画面(図10(a)参照)の撮影機能アイコンIC1を拡大表示する。この後、前述したステップSA15〜SA19(図5参照)において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
(5)その他の操作が行われた場合
例えば電子メール機能を起動させる等の、その他の操作が行われると、図7に図示するステップSA13の判断結果が「YES」になり、ステップSA36に進む。ステップSA36では、操作に応じた処理、例えば電子メール機能を起動させた場合には電子メールに関する処理(メール作成、メール編集およびメール送信)を実行する。次いで、ステップSA37に進み、現在起動している機能の操作画面(不図示)内に撮影機能アイコンが表示されているか否かを判断する。
操作画面内に撮影機能アイコンが表示されていなければ、判断結果は「NO」となり、ステップSA38に進み、終了操作の有無を判断する。そして、終了操作が為されると、このステップSA38の判断結果が「YES」となり、前述したステップSA2(図4参照)に戻る。この場合、図8(a)に図示した撮影機能アイコンIC1が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
一方、操作画面内に撮影機能アイコンが表示されていると、上記ステップSA37の判断結果は「YES」となり、ステップSA39に進み、バックグラウンドで撮影機能が実行中であるか否かを判断する。バックグラウンドで撮影機能が実行中ならば、判断結果は「YES」になり、ステップSA40に進み、撮影機能アイコンをスルー画像表示する。例えば電子メール機能の操作画面であると、図11(a)に図示する一例のように、撮影機能アイコンIC1がスルー画像表示される。
次いで、ステップSA41では、現在起動中の機能の終了操作の有無を判断する。終了操作が為されると、判断結果は「YES」となり、前述したステップSA2(図4参照)に戻る。この場合、図8(b)に図示した撮影機能アイコンIC1がスルー画像表示の待ち受け画面が表示される待ち受け状態に復帰する。
これに対し、終了操作が為されなければ、上記ステップSA41の判断結果は「NO」となり、ステップSA42に進み、撮影機能が選択されたか否かを判断する。すなわち図11(a)に図示される一例の操作画面において、ユーザのタッチ操作により撮影機能アイコンIC1が選択されたか否かを判断する。撮影機能アイコンIC1が選択されると、判断結果は「YES」になり、ステップSA43−1に進み、操作画面(図11(a)参照)の撮影機能アイコンIC1を拡大表示する。この後、前述したステップSA15(図5参照)に進む。そして、前述したステップSA15〜SA19において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
撮影機能が選択されなければ、上記ステップSA42の判断結果は「NO」になり、ステップSA43に進み、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。現在の状況が判定条件に合致しなければ、上記ステップSA43の判断結果は「NO」になり、上述のステップSA41に処理を戻す。
一方、現在の状況が判定条件に合致すると、上記ステップSA43の判断結果は「YES」となり、ステップSA43−1に進み、操作画面(図11(a)参照)の撮影機能アイコンIC1を拡大表示する。この後、前述したステップSA15〜SA19(図5参照)において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
さて、バックグラウンドで撮影機能が実行中でなければ、上記ステップSA39の判断結果は「NO」になり、ステップSA44に進み、撮影機能アイコンを通常表示する。例えば電子メール機能の操作画面であると、図11(b)に図示する一例のように、撮影機能アイコンIC1が通常表示される。そして、ステップSA45に進むと、現在起動中の機能の終了操作の有無を判断する。終了操作が為されると、判断結果は「YES」となり、前述したステップSA2(図4参照)に戻る。この場合、図8(a)に図示した撮影機能アイコンIC1が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
一方、終了操作が為されなければ、上記ステップSA45の判断結果は「NO」になり、ステップSA46に進み、撮影機能が選択されたか否かを判断する。すなわち図11(b)に図示される一例の操作画面において、ユーザのタッチ操作により撮影機能アイコンIC1が選択されたか否かを判断する。撮影機能アイコンIC1が選択されなければ、判断結果は「NO」になり、上記ステップSA45に処理を戻す。
これに対し、撮影機能アイコンIC1が選択されると、上記ステップSA46の判断結果は「YES」になり、前述したステップSA14(図5参照)に進み、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。そして、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を前述したステップSA15〜SA19で判断し、発生した操作イベントに対応した処理を実行する。
[第2実施形態]
次に、図12〜図18を参照して第2実施形態による制御部10が実行するメインルーチンの動作を説明する。前述した第1実施形態と同様、電源スイッチのオン操作に応じてパワーオン状態に設定されると、制御部10はステップSB1に進み、携帯電話100の各部をイニシャライズした後、基地局を介して無線通信網に位置登録を行って待ち受け状態に入る初期化処理を実行する。そして、初期化処理が完了すると、ステップSB2に進み、撮影機能がバックグラウンドで実行中か否かを判断する。ここで言う撮影機能とは、制御部10の指示に従い、撮像部18が撮影出力を発生する状態を指す。
撮影機能がバックグラウンドで実行中でなければ、上記ステップSB2の判断結果は「NO」となり、ステップSB4に進み、撮影機能アイコンが通常表示の待ち受け画面を表示部12に画面表示した後、後述のステップSB6に進む。なお、撮影機能アイコンが通常表示の待ち受け画面とは、図16(a)に図示する一例のように、撮影機能アイコンIC2がムービー撮影を示す通常のアイコン画像として表示される待ち受け画面を指す。
一方、撮影機能がバックグラウンドで実行中ならば、上記ステップSB2の判断結果が「YES」となり、ステップSB3に進む。ステップSB3では、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。現在の状況が判定条件に合致しなければ、判断結果は「NO」になり、上記ステップSB4に進み、撮影機能アイコンが通常表示の待ち受け画面を表示部12に画面表示した後、後述のステップSB6に進む。
一方、現在の状況が判定条件に合致すると、上記ステップSB3の判断結果は「YES」となり、ステップSB5に進み、撮影機能アイコンがスルー画像表示の待ち受け画面を表示部12に画面表示する。なお、撮影機能アイコンがスルー画像表示の待ち受け画面とは、ライブビュー(スルー画像)を間引き縮小した画像を、待ち受け画面中の撮影機能アイコンIC2(図10(b)参照)として表示する態様を指す。こうすることで、バックグラウンドで実行中の撮影機能により撮影されている状況がユーザに一目瞭然となる。
さて、こうしてバックグラウンドで撮影機能が実行中であるかどうかを示す待ち受け画面が表示される待ち受け状態になると、図12のステップSB6、図13のステップSB11〜SB12、図14のステップSB13および図15のステップSB14において、それぞれ「着信検知」、「通常表示の撮影機能アイコン選択」、「スルー画像表示の撮影機能アイコン選択」、「メインメニュー表示操作」および「その他の操作」の各イベントの有無を判断する。
これらイベントが発生しなければ、図12のステップSB6、図13のステップSB11〜SB12、図14のステップSB13および図15のステップSB14の各判断結果は何れも「NO」になり、上記ステップSB2に戻り、待ち受け状態で待機する。そして、この待ち受け状態において上記イベントの何れかが発生すると、その発生したイベントに対応した処理を実行する。以下、発生するイベント別に分けて動作の説明を進める。
(1)着信検知した場合
着信検知イベントが発生すると、図12に図示するステップSB6の判断結果が「YES」になり、ステップSB7に進む。ステップSB7では、着信報知を行うと共に、この着信報知中にオフフック操作の有無を判断する。オフフック操作が為されなければ、ステップSB7の判断結果は「NO」となり、上記ステップSB2に戻り、待ち受け状態に復帰する。
一方、着信報知中にオフフック操作されると、ステップSB7の判断結果が「YES」になり、ステップSB8に進み、発呼側と回線接続して通話を開始する通話処理を行い、続くステップSB9では、この通話処理中のオンフック操作の有無を判断する。すなわち、オンフック操作されるまでステップSB8の通話処理を継続させ、通話を終えてオンフック操作されると、ステップSB9の判断結果が「YES」となり、ステップSB10に進む。そして、ステップSB10では、発呼側との回線を切断する終話処理を実行した後、上記ステップSB2に戻り、待ち受け状態に復帰する。
(2)通常表示の撮影機能アイコンを選択した場合
図16(a)に図示する一例の待ち受け画面において、ユーザが撮影機能アイコンIC2をタッチ操作し、これにより通常表示の撮影機能アイコンIC2を指定したイベントが発生すると、図13に図示するステップSB11の判断結果が「YES」となり、ステップSB15に進む。ステップSB15では、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビューとして表示する。
次いで、ステップSB16〜SB20では、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断する。これらイベントが発生しなければ、ステップSB16〜SB20の各判断結果は何れも「NO」となり、スルー表示画面でライブビューが表示される状態を維持する。
スルー表示画面(図9参照)に設けられるシャッターアイコンSTがタッチ操作され、これにより「シャッタ操作」のイベントが発生すると、上記ステップSB16の判断結果が「YES」となり、ステップSB21に進み、スルー表示画面を動画像として撮影記録する処理を実行した後、スルー表示画面でライブビューが表示される状態に復帰する。
スルー表示画面(図9参照)に設けられるサブメニューアイコンSBをタッチ操作してサブメニューを開き、このサブメニューにおいて、例えば撮影モード変更などの「その他の撮影操作」を指定するイベントが発生すると、ステップSB17の判断結果が「YES」となり、ステップSB22に進み、撮影モード変更などの、操作に応じた処理を実行した後、スルー表示画面でライブビューが表示される状態に復帰する。
スルー表示画面(図9参照)に設けられるサブメニューアイコンSBをタッチ操作してサブメニューを開き、このサブメニューで「撮影終了操作」を指定するイベントが発生すると、ステップSB18の判断結果が「YES」となり、ステップSB23に進み、フォアグラウンドで実行中の撮影機能を終了させる処理を実行した後、前述したステップSB2(図12参照)に戻る。この場合、図16(a)に図示した撮影機能アイコンIC2が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
操作部11のキー操作に応じて「メインメニュー表示操作」を指定するイベントが発生すると、ステップSB19の判断結果が「YES」となり、ステップSB24に進み、フォアグラウンドで実行中の撮影機能をバックグラウンドに移行させた後、図14に図示するステップSB33に進み、図17(a)に図示する一例のように、撮影機能アイコンIC2がスルー画像表示のメインメニュー画面を表示部12に表示する。この後の処理、すなわちステップSB33以降の処理については、メインメニュー表示操作の動作として追って述べる。
操作部11のキー操作に応じて、例えば電子メール機能やアドレス帳機能などの「その他の撮影機能以外の操作」を指定するイベントが発生すると、ステップSB20の判断結果が「YES」となり、ステップSB25に進み、フォアグラウンドで実行中の撮影機能をバックグラウンドに移行させた後、図15に図示するステップSB38に進む。ステップSB38以降の処理については、その他の操作に応じた動作として追って述べる。
(3)スルー画像表示の撮影機能アイコンを選択した場合
図16(b)に図示する一例の待ち受け画面において、ユーザが撮影機能アイコンIC2をタッチ操作し、これによりスルー画像表示の撮影機能アイコンIC2を指定したイベントが発生すると、図13に図示するステップSB12の判断結果が「YES」となり、ステップSB12−1に進む。ステップSB12−1では、バックグラウンドで実行中の撮影機能をフォアグラウンドに移行させ、フォアグラウンドに移行した撮影機能により撮像された画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。つまり、撮影機能アイコンとして表示されていたスルー画像をスルー表示画面に拡大表示した後、ステップSB16に進む。ステップSB16〜SB20では、「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断する。
そして、「シャッタ操作」のイベントが発生した場合には、ステップSB16の判断結果が「YES」となり、ステップSB21に進み、スルー画像を動画像として撮影する処理を実行する。「その他の撮影操作」のイベントが発生した場合には、ステップSB17の判断結果が「YES」となり、ステップSB22に進み、操作に応じた処理を実行する。「撮影終了操作」のイベントが発生した場合には、ステップSB18の判断結果が「YES」となり、ステップSB23に進み、バックグラウンドで実行中の撮影機能を終了させる処理を実行した後、前述したステップSB2(図12参照)に戻る。この場合、図16(a)に図示した撮影機能アイコンIC2が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
「メインメニュー表示操作」のイベントが発生した場合には、ステップSB19の判断結果が「YES」となり、ステップSB24を介して図14に図示するステップSB33に進む。ステップSB33以降の処理については、メインメニュー表示操作の動作として後述する。「その他の撮影機能以外の操作」のイベントが発生した場合には、ステップSB20の判断結果が「YES」となり、ステップSB25を介して図15に図示するステップSB38に進む。ステップSB38以降の処理については、その他の操作に応じた動作として後述する。
(4)メインメニュー表示操作が行われた場合
メインメニュー表示操作が行われると、図14に図示するステップSB13の判断結果が「YES」になり、ステップSB26に進む。ステップSB26では、バックグラウンドで撮影機能が実行中であるか否かを判断する。以下、バックグラウンドで撮影機能が実行中でない場合と、実行中の場合とに分けて動作説明を進める。
<バックグラウンドで撮影機能が実行中でない場合>
バックグラウンドで撮影機能が実行中でなければ、上記ステップSB26の判断結果は「NO」になり、ステップSB27に進み、図17(b)に図示する一例のように、撮影機能アイコンIC2が通常表示のメインメニュー画面を表示部12に表示する。次いで、ステップSB28では、このメインメニュー画面(図17(b)参照)において、ユーザのタッチ操作により撮影機能アイコンIC2が選択されたか否かを判断する。
撮影機能アイコンIC2が選択されると、判断結果は「YES」となり、前述したステップSB15(図13参照)に進み、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。そして、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を前述したステップSB16〜SB20で判断し、発生した操作イベントに対応した処理を実行する。
一方、撮影機能アイコンIC2がタッチ操作されなければ、上記ステップSB28の判断結果は「NO」となり、ステップSB29に進む。ステップSB29では、撮影機能アイコンIC2を除くメインメニュー画面のその他の機能アイコンの何れかが選択されたかどうかを判断する。何れかの機能アイコンが選択されると、判断結果は「YES」となり、図15に図示するステップSB38に進む。ステップSB38以降の処理については、その他の操作に応じた動作として後述する。
これに対し、何れかの機能アイコンが選択されなければ、上記ステップSB29の判断結果は「NO」となり、ステップSB30に進み、メインメニュー終了操作の有無を判断する。メインメニュー終了操作が為されなければ、判断結果は「NO」となり、上述のステップSB28に処理を戻すが、メインメニュー終了操作が為されると、上記ステップSB30の判断結果は「YES」となり、ステップSB31に進み、メインメニュー画面(図17(b)参照)を閉じるメインメニュー終了処理を行った後、前述したステップSB2(図12参照)に戻る。この場合、図16(a)に図示した撮影機能アイコンIC2が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
<バックグラウンドで撮影機能が実行中の場合>
さて一方、バックグラウンドで撮影機能が実行中であると、上述したステップSB26の判断結果は「YES」になり、ステップSB32に進む。ステップSB32では、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。現在の状況が判定条件に合致しなければ、判断結果は「NO」になり、上述したステップSB27に進む。
一方、現在の状況が判定条件に合致すると、上記ステップSB32の判断結果は「YES」となり、ステップSB33に進み、図17(a)に図示する一例のように、撮影機能アイコンIC2がスルー画像表示のメインメニュー画面を表示部12に表示する。次いで、ステップSB34では、このメインメニュー画面(図17(a)参照)において、ユーザのタッチ操作により撮影機能アイコンIC2が選択されたか否かを判断する。
撮影機能アイコンIC2が選択されると、判断結果は「YES」となり、図13に図示するステップSB12−1に進み、バックグラウンドで実行中の撮影機能をフォアグラウンドに移行させ、フォアグラウンドに移行した撮影機能により撮像された画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。つまり、撮影機能アイコンとして表示されていたスルー画像をスルー表示画面に拡大表示した後、前述したステップSB16(図13参照)に進む。そして、前述したステップSB16〜SB20において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
一方、撮影機能アイコンIC2が選択されなければ、上記ステップSB34の判断結果は「NO」となり、ステップSB35に進む。ステップSB35では、撮影機能アイコンIC2を除くメインメニュー画面のその他の機能アイコンの何れかが選択されたかどうかを判断する。何れかの機能アイコンが選択されると、判断結果は「YES」となり、図15に図示するステップSB38に進む。ステップSB38以降の処理については、その他の操作に応じた動作として後述する。
これに対し、何れかの機能アイコンが選択されなければ、上記ステップSB35の判断結果は「NO」となり、ステップSB36に進み、メインメニュー終了操作の有無を判断する。メインメニュー終了操作が為されると、上記ステップSB36の判断結果は「YES」となり、ステップSB31に進み、メインメニュー画面(図17(a)参照)を閉じるメインメニュー終了処理を行った後、前述したステップSB2(図12参照)に戻る。この場合、図16(b)に図示した撮影機能アイコンIC2がスルー画像表示の待ち受け画面が表示される待ち受け状態に復帰する。
上記ステップSB36において、メインメニュー終了操作が為されなければ、判断結果は「NO」となり、ステップSB37に進む。ステップSB37では、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。
例えば現在設定されているフラグDFが「0」ならば、判定テーブルHTから「物認識部(画像処理部20)によりスルー画像に設定人物或いは物との類似を検出」という判定内容(判定条件)が指定され、現在の状況がこの判定条件に合致するか否かを判断する。つまり、記憶部16の画像エリア或いはアドレス帳ADRに登録された画像パターン(「物体形状」あるいは「人の顔」)に類似する被写体がスルー画像(ライブビュー)に写り込んでいるかどうかを判断する。
なお、現在設定されているフラグDFが「1」ならば、「記憶部16の画像エリアに登録された設定画像に類似する被写体がスルー画像(ライブビュー)に写り込んでいるか否か」を判断する。現在設定されているフラグDFが「2」ならば、「文字認識部(画像処理部20)によりスルー画像(ライブビュー)から設定キーワードを検出(認識)したか否か」を判断する。現在設定されているフラグDFが「3」ならば、「電源部13により検出される電池残量が所定値を下回ったか否か」を判断する。現在設定されているフラグDFが「4」ならば、「無線通信部15が通信圏外になったか否か」を判断する。現在設定されているフラグDFが「5」ならば、「現在位置取得部21により所定値を超える位置情報の変化を検出したか否か」を判断する。現在設定されているフラグDFが「6」ならば、「明るさ検出部19により所定値を超える明るさの変化を検出したか否か」を判断する。
現在の状況が判定条件に合致しなければ、上記ステップSB37の判断結果は「NO」になり、上述のステップSB34に処理を戻す。一方、現在の状況が判定条件に合致すると、上記ステップSB37の判断結果は「YES」となり、ステップSB37−1に進み、メインメニュー画面(図17(a)参照)の撮影機能アイコンIC2を拡大表示する。この後、前述したステップSB16〜SB20(図13参照)において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
(5)その他の操作が行われた場合
例えば電子メール機能を起動させる等の、その他の操作が行われると、図15に図示するステップSB14の判断結果が「YES」になり、ステップSB38に進む。ステップSB38では、操作に応じた処理、例えば電子メール機能を起動させた場合には電子メールに関する処理(メール作成、メール編集およびメール送信)を実行する。次いで、ステップSB39に進み、現在起動している機能の操作画面(不図示)内に撮影機能アイコンが表示されているか否かを判断する。
操作画面内に撮影機能アイコンが表示されていなければ、判断結果は「NO」となり、ステップSB40に進み、終了操作の有無を判断する。そして、終了操作が為されると、このステップSB40の判断結果が「YES」となり、前述したステップSB2(図12参照)に戻る。この場合、図16(a)に図示した撮影機能アイコンIC2が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
一方、操作画面内に撮影機能アイコンが表示されていると、上記ステップSB39の判断結果は「YES」となり、ステップSB41に進み、バックグラウンドで撮影機能が実行中であるか否かを判断する。バックグラウンドで撮影機能が実行中ならば、判断結果は「YES」になり、ステップSB42に進む。ステップSB42では、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。
現在の状況が判定条件に合致しなければ、判断結果は「NO」になり、後述するステップSB47に進む。これに対し、現在の状況が判定条件に合致すると、上記ステップSB42の判断結果は「YES」となり、ステップSB43に進み、撮影機能アイコンをスルー画像表示する。例えば電子メール機能の操作画面であると、図18(a)に図示する一例のように、撮影機能アイコンIC2がスルー画像表示される。
次いで、ステップSB44では、現在起動中の機能の終了操作の有無を判断する。終了操作が為されると、判断結果は「YES」となり、前述したステップSB2(図12参照)に戻る。この場合、図16(b)に図示した撮影機能アイコンIC2がスルー画像表示の待ち受け画面が表示される待ち受け状態に復帰する。
終了操作が為されなければ、上記ステップSB44の判断結果は「NO」となり、ステップSB45に進み、撮影機能が選択されたか否かを判断する。すなわち図18(a)に図示される一例の操作画面において、ユーザのタッチ操作により撮影機能アイコンIC2が選択されたか否かを判断する。撮影機能アイコンIC2が選択されると、判断結果は「YES」になり、図13に図示するステップSB12−1に進み、バックグラウンドで実行中の撮影機能をフォアグラウンドに移行させ、フォアグラウンドに移行した撮影機能により撮像された画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。つまり、撮影機能アイコンとして表示されていたスルー画像をスルー表示画面に拡大表示した後、前述したステップSB16(図13参照)に進む。そして、前述したステップSB16〜SB20において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
撮影機能が選択されなければ、上記ステップSB45の判断結果は「NO」になり、ステップSB46に進み、判定テーブルHT(図2参照)に格納される各種判定内容(判定条件)の内、現在設定されているフラグDFに対応した判定内容(判定条件)に基づき現在の状況が条件合致しているか否かを判断する。現在の状況が判定条件に合致しなければ、上記ステップSB46の判断結果は「NO」になり、上述のステップSB44に処理を戻す。
一方、現在の状況が判定条件に合致すると、上記ステップSB46の判断結果は「YES」となり、ステップSB46−1に進み、操作画面(図18(a)参照)の撮影機能アイコンIC2を拡大表示する。この後、前述したステップSB16〜SB20(図13参照)において「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を判断し、発生した操作イベントに対応した処理を実行する。
さて、バックグラウンドで撮影機能が実行中でない場合や、現在の状況が判定条件に合致しない場合には、上記ステップSB41あるいは上記ステップSB42の判断結果の何れかが「NO」になり、ステップSB47に進み、撮影機能アイコンを通常表示する。例えば電子メール機能の操作画面であると、図18(b)に図示する一例のように、撮影機能アイコンIC2が通常表示される。そして、ステップSB48に進むと、現在起動中の機能の終了操作の有無を判断する。終了操作が為されると、判断結果は「YES」となり、前述したステップSB2(図12参照)に戻る。この場合、図16(a)に図示した撮影機能アイコンIC2が通常表示の待ち受け画面が表示される待ち受け状態に復帰する。
一方、終了操作が為されなければ、上記ステップSB48の判断結果は「NO」になり、ステップSB49に進み、撮影機能が選択されたか否かを判断する。すなわち図18(b)に図示される一例の操作画面において、ユーザのタッチ操作により撮影機能アイコンIC2が選択されたか否かを判断する。撮影機能アイコンIC2が選択されなければ、判断結果は「NO」になり、上記ステップSB48に処理を戻す。
これに対し、撮影機能アイコンIC2が選択されると、上記ステップSB49の判断結果は「YES」になり、前述したステップSB15(図13参照)に進み、フォアグラウンドで撮影機能を起動し、これにより撮像部18が被写体を撮像して得られる画像データを、図9に図示する一例のスルー表示画面にライブビュー表示する。そして、スルー表示画面が表示されている状態下で「シャッタ操作」、「その他の撮影操作」、「撮影終了操作」、「メインメニュー表示操作」および「その他の撮影機能以外の操作」のイベントの有無を前述したステップSB16〜SB20で判断し、発生した操作イベントに対応した処理を実行する。
以上説明したように、本実施形態では、他の機能実行中にバックグラウンドで動画像の取得を行い、バックグラウンドで動画像を取得しているか否かを判別し、バックグラウンドで行っている動画像の取得に関連する機能を実行するアイコンを表示する際に、判別されたバックグラウンドで動画像を取得しているか否かの判別結果に応じて、アイコンの表示を所定の表示とするか、或いはバックラウンドで取得中の動画像表示とするかを切り替える制御を行うようにしたことで、バックグラウンドで動画像を取得している場合に、他の表示に影響を与えることなく、動画像を取得中でありかつどういう動画像を取得しているかを把握することができる。つまり、現在表示中の画面内容に係わらず撮影状況を確認することができる。
バックグラウンドで取得中の動画像は、カメラ撮影機能により取得されるスルー画像であり、バックグラウンドで行っている動画像の取得に関連する機能は、カメラ機能により取得される動画像から静止画像、或いは動画像を記録するアプリケーションである態様とすれば、素早く撮影したい静止画或いは動画のカメラ撮影機能に切り替えることができる。
テレビ放送を受信する放送受信手段を更に設け、バックグラウンドで放送受信手段を実行させて動画像を表示する態様とすれば、素早く見たいテレビ番組の受信に切り替えることも可能になる。
バックグラウンドで取得中の動画像は、通信機能により取得されるストリーミング画像であり、バックグラウンドで行っている動画像の取得に関連する機能は、通信機能により取得されるストリーミング画像を表示するアプリケーションであるようにしたことで、素早く見たいストリーミング画像の受信に切り替えることができる。
バックグラウンドで行っている動画像の取得に関連する機能を実行するアイコンは、当該端末装置が備える各種機能の実行を選択するためのアイコンが並べて表示されるメニュー表示画面で表示されるようにしたことで、バックグラウンドで動画像を取得中に、表示の切り換え等の操作を行うことなく、メニュー表示画面で何を取得しているかを把握することができる。
バックグラウンドで行っている動画像の取得に関連する機能を実行するアイコンは、待ち受け表示画面で表示されるようにしたことで、バックグラウンドで動画像を取得中に、表示の切り換え等の操作を行うことなく、待ち受け表示画面で何を取得しているかを把握することができる。
バックグラウンドで行っている動画像の取得に関連する機能を実行するアイコンは、他のアプリケーション実行中の画面で表示されるようにしたことで、バックグラウンドで動画像を取得中に、バックグラウンドで行っている動画像の取得に関連する機能を実行するアイコンが表示される状態であれば、表示の切り換え等の操作を行うことなく、他のアプリケーション実行中でも何を取得しているかを把握することができる。
バックグラウンドで取得している動画像が所定の状態になったか否かを更に判別し、バックグラウンドで取得している動画像が所定の状態になったと判別された場合に、動画像表示を行っているアイコン表示を、拡大した動画像表示に切り替えるようにしたことで、表示の切り換え等の操作を行うことなく、ユーザが拡大表示を希望するときに、自動的に拡大した動画像表示に切り替えることができる。
バックグラウンドで取得している動画像が所定の状態になったか否かを更に判別し、更にバックグラウンドで取得している動画像が所定の状態になったと判別された場合に、アイコンの表示を所定の表示とするか、バックラウンドで取得中の動画像表示にするかを切り替える制御を行うようにしたことで、ユーザが動画像の確認を希望するときに、自動的にアイコンの表示を動画像表示に切り替えることができる。
動画像に含まれる人の顔或いは物を更に認識し、判別する所定の状態は、バックグラウンドで取得している動画像が所定の人物の顔或いは物に類似すると判別された場合であるようにしたことで、特別な人物や物が取得中の動画像に現れた際に、表示の切り換え等の操作を行うことなく、自動的に表示を切り替えることができる。
判別する所定の状態は、バックグラウンドで取得している動画像が当該端末装置に記憶されている所定の画像に類似すると判別された場合であるようにしたことで、自分で撮影した画像/動画、データフォルダに保存されている画像/動画、メールへ添付した画像といった特別な物や風景等が取得中の動画像に現れた際に、表示の切り換え等の操作を行うことなく、自動的に表示を切り替えることができる。
動画像に含まれる文字を更に認識し、判別する所定の状態は、バックグラウンドで取得している動画像内に所定のキーワードが含まれると判別された場合であるようにしたことで、Webの閲覧履歴、配信登録している動画等の番組名、ブログへのコメントといった特別な文字列が取得中の動画像に現れた際に、表示の切り換え等の操作を行うことなく、自動的に表示を切り替えることができる。
判別する所定の条件は、撮影状態の変化が検出された場合であるようにしたことで、電池残量不足、圏外、位置情報変化、明るさ変化といった撮影状態の変化に応じて表示の切り換え等の操作を行うことなく、自動的に表示を切り替えることができる。
なお、上述の実施形態では、判定テーブルHTのフラグDF0〜6の7種類の判定内容で現在の状況を判別しているが、例えば、バックグラウンドで撮影中に拡張現実技術による情報(AR情報)を取得してるような場合に、特定のAR情報を検出した場合も判定内容に含めるといったように判定内容を拡張してもよい。