JP5365060B2 - 情報処理装置 - Google Patents

Description

本発明は情報処理装置に係り、特に、マルチウィンドウシステムによって複数のウィンドウを同時に表示することができるようにした情報処理装置に関する。

近年、情報処理装置としての携帯電話機には、単なる通話による通信機能だけでなく、アドレス帳機能、基地局やインターネットなどのネットワークを介したメール機能や、Ｗｅｂページなどを閲覧することが可能なブラウザ機能、さらにはオーディオデータを聞くことができる音楽制御機能や、地上波ディジタルワンセグ放送波を受信することができる機能などが搭載されるようになってきている。また、地上波ディジタルワンセグ放送波に基づく受信画像や、その他の手段により取得された種々の映像コンテンツを、携帯電話機上にて再生することが可能となってきている。

最近では、マルチウィンドウシステムが搭載された携帯端末も提案されている。このマルチウィンドウシステムとは、複数のウィンドウ上に表示部品を載せていき、ウィンドウアプリケーションを実装する方法である。マルチウィンドウシステムが搭載された携帯電話機では、複数のウィンドウアプリケーションが画面上にて同時に動作し、複数のウィンドウが同時に表示される。

画面上にてウィンドウを利用するアプリケーションプログラム（ウィンドウアプリケーション）として、例えば動画像の再生に関するアプリケーションプログラム（すなわち、ビデオ再生アプリケーションプログラム）や、メールの送受信や作成に関するアプリケーションプログラムなどがある。なお、動画像の再生に関する技術として、処理負荷の高い動画像のデコード処理を行うに際し、処理負荷（例えば、プロセッサの使用率やメモリの使用率など）が高いことを検知すると、動画像のデコード処理の一部を省略する技術が知られている（例えば特許文献１参照）。

特許文献１に提案されている技術によれば、ビデオ再生アプリケーションプログラムは、コンピュータの現在の負荷量を検出し、コンピュータの現在の負荷量が高負荷状態ではい場合、ビデオ再生アプリケーションプログラムは、すべての符号化画面をデコードする通常のデコード処理を実行するとともに、コンピュータの現在の負荷量が高負荷状態となった場合、他の画面から参照されていない非参照画面のデコード処理を省略するデコード処理を実行する。これにより、動画像のデコードをスムーズに実行することができる。
特開２００６−１０１４０５号公報

複数のウィンドウアプリケーションが画面上にて同時に動作し、複数のウィンドウが同時に表示されるマルチウィンドウシステムにおいて、動作するウィンドウアプリケーションの中に、例えば動画像の再生に関するアプリケーションプログラムのようにＣＰＵに高負荷がかかるアプリケーションプログラムが存在する場合に、この動画像の再生に関するアプリケーションプログラムによる処理と同時に他のアプリケーションプログラムを実行しようとすると、ユーザにより入力部が操作されることによりコマンドが携帯電話機に対して入力されたとしても、他のアプリケーションプログラムにコマンドが受け付けられるまで時間がかかってしまい、携帯電話機の応答性が悪くなるだけでなく、ユーザにとって使い勝手が悪くなってしまうという課題があった。

勿論、特許文献１に提案されている技術を用いれば、コンピュータの現在の負荷量が高負荷状態となった場合、他の画面から参照されていない非参照画面のデコード処理を省略するデコード処理を実行することができ、これにより、動画像のデコードをスムーズに実行することも可能と考えるが、ユーザが動画像を見ているか否かにかかわらず、一律に動画像の一部のデコード処理が省略されてしまうために、ユーザが動画像を見ている場合であっても、ユーザの期待に反して動画像の一部のデコード処理が省略されてしまい、その結果、動画像の再生時における動きの滑らかさが失われてしまう。

本発明は、このような状況に鑑みてなされたものであり、マルチウィンドウシステムにて複数のウィンドウアプリケーションが動作している場合に、アクティブの状態にあるウィンドウアプリケーションの応答性を保ちながらもインアクティブなアプリケーションでの高負荷な処理を実行することができる情報処理装置を提供することを目的とする。

本発明の情報処理装置は、上述した課題を解決するために、少なくとも第１のアプリケーションプログラムと第２のアプリケーションプログラムが同時に動作するマルチウィンドウシステムにおいて、いずれかの入力がなされた場合に、各アプリケーションプログラムに入力に関するイベントを通知するイベント通知手段と、前記第１のアプリケーションプログラムの状態と前記第２のアプリケーションプログラムの状態はいずれもアクティブの状態またはインアクティブの状態に遷移可能であり、前記第１のアプリケーションプログラムの状態がインアクティブの状態であり、かつ、前記第２のアプリケーションプログラムの状態がアクティブの状態である場合に、前記イベント通知手段により前記第１のアプリケーションプログラムに通知された前記イベントがアクティブ切り替えキーによるアクティベートのイベントではないと判定し、かつ、アクティブ切り替えキー以外のキー入力のイベントであるか判定することにより、前記第２のアプリケーションプログラムに対して入力がなされたか否かを判定する判定手段と、前記判定手段により前記第２のアプリケーションプログラムに対して入力がなされたと判定された場合、所定の時間の計時を設定し、設定された前記所定の時間を計時する計時手段と、前記計時手段により前記所定の時間が計時されるまでの間、前記第１のアプリケーションプログラムによる処理を一部省略するように制御するか、前記第１のアプリケーションプログラムによる処理を構成する部分的な処理と当該処理と隣接する部分的な処理の間に何も処理を行わないで待機する所定のウェイト処理を設けるように制御するかのいずれかにより、前記第１のアプリケーションプログラムによる処理を軽くするための制御を行う制御手段とを備えることを特徴とする。

本発明によれば、マルチウィンドウシステムにて複数のウィンドウアプリケーションが動作している場合に、アクティブの状態にあるウィンドウアプリケーションの応答性を保ちながらもインアクティブなアプリケーションでの高負荷な処理を実行することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明に係る情報処理装置として適用可能な携帯電話機１の外観の構成を表している。なお、図１（Ａ）は、携帯電話機１を約１８０度に見開いたときの正面から見た外観の構成を表しており、図１（Ｂ）は、携帯電話機１を見開いたときの側面から見た外観の構成を表している。

図１（Ａ）および（Ｂ）に示されるように、携帯電話機１は、中央のヒンジ部１１を境に第１の筐体１２と第２の筐体１３とがヒンジ結合されており、ヒンジ部１１を介して矢印Ｘ方向に折り畳み可能に形成される。携帯電話機１の内部の所定の位置には、送受信用のアンテナ（後述する図２のアンテナ３１）が設けられており、内蔵されたアンテナを介して基地局（図示せず）との間で電波を送受信する。

第１の筐体１２には、その表面に「０」乃至「９」の数字キー、発呼キー、リダイヤルキー、終話・電源キー、クリアキー、および電子メールキーなどの操作キー１４が設けられており、操作キー１４を用いて各種指示を入力することができる。

第１の筐体１２には、操作キー１４として上部に十字キーと確定キーが設けられており、ユーザが十字キーを上下左右方向に操作することにより当てられたカーソルを上下左右方向に移動させることができる。具体的には、第２の筐体１３に設けられたメインディスプレイ１７に表示されている電話帳リストや電子メールのスクロール動作、簡易ホームページのページ捲り動作および画像の送り動作などの種々の動作を実行する。

また、確定キーを押下することにより、種々の機能を確定することができる。例えば第１の筐体１２は、ユーザによる十字キーの操作に応じてメインディスプレイ１７に表示された電話帳リストの複数の電話番号の中から所望の電話番号が選択され、確定キーが第１の筐体１２の内部方向に押圧されると、選択された電話番号を確定して電話番号に対して発呼処理を行う。

さらに、第１の筐体１２には、十字キーと確定キーの左隣に電子メールキーが設けられており、電子メールキーが第１の筐体１２の内部方向に押圧されると、メールの送受信機能を呼び出すことができる。十字キーと確定キーの右隣には、ブラウザキーが設けられており、ブラウザキーが第１の筐体１２の内部方向に押圧されると、Ｗｅｂページのデータを閲覧することが可能となる。

また、第１の筐体１２には、操作キー１４の下部にマイクロフォン１５が設けられており、マイクロフォン１５によって通話時のユーザの音声を集音する。また、このマイクロフォン１５の右隣には、複数のウィンドウアプリケーションが画面上にて同時に動作して複数のウィンドウが同時に表示されるマルチウィンドウシステムにて、アクティブの状態にあるウィンドウアプリケーションを切り替えることができるアクティブ切り替えキー２２が設けられている。さらに、第１の筐体１２には、携帯電話機１の操作を行うサイドキー１６が設けられている。

なお、第１の筐体１２は、背面側に図示しないバッテリパックが挿着されており、終話・電源キーがオン状態になると、バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。

一方、第２の筐体１３には、その正面にメインディスプレイ１７が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び送信履歴等の他、電子メールの内容、簡易ホームページ、ＣＣＤ（Charge Coupled Device）カメラ（後述する図２のＣＣＤカメラ２０）で撮像した画像、外部のコンテンツサーバ（図示せず）より受信したコンテンツ、メモリカード（後述する図２のメモリカード４６）に記憶されているコンテンツを表示することができる。また、メインディスプレイ１７の上部の所定の位置にはレシーバ（受話器）１８が設けられており、これにより、ユーザは音声通話することが可能である。なお、携帯電話機１の所定の位置には、レシーバ１８以外の音声出力部としてのスピーカ（図２のスピーカ５０）も設けられている。

また、第１の筐体１２と第２の筐体１３の内部の所定の位置には、携帯電話機１の状態を検知するための磁気センサ１９a、１９b、１９c、および１９dが設けられる。なお、メインディスプレイ１７は、例えば有機ＥＬにより構成されるディスプレイでもよいし、液晶ディスプレイ（Liquid Crystal Display）でもよい。

図２は、本発明に係る情報処理装置に適用可能な携帯電話機１の内部の構成を表している。図示せぬ基地局から送信されてきた無線信号は、アンテナ３１で受信された後、アンテナ共用器（ＤＵＰ）３２を介して受信回路（ＲＸ）３３に入力される。受信回路３３は、受信された無線信号を周波数シンセサイザ（ＳＹＮ）３４から出力された局部発振信号とミキシングして中間周波数信号に周波数変換（ダウンコンバート）する。そして、受信回路３３は、このダウンコンバートされた中間周波数信号を直交復調して受信ベースバンド信号を出力する。なお、周波数シンセサイザ３４から発生される局部発振信号の周波数は、制御部４１から出力される制御信号ＳＹＣによって指示される。

受信回路３３からの受信ベースバンド信号は、ＣＤＭＡ信号処理部３６に入力される。ＣＤＭＡ信号処理部３６は、図示せぬＲＡＫＥ受信機を備える。このＲＡＫＥ受信機では、受信ベースバンド信号に含まれる複数のパスがそれぞれの拡散符号（すなわち、拡散された受信信号の拡散符号と同一の拡散符号）で逆拡散処理される。そして、この逆拡散処理された各パスの信号は、位相が調停された後、コヒーレントＲａｋｅ合成される。Ｒａｋｅ合成後のデータ系列は、デインタリーブおよびチャネル復号（誤り訂正復号）が行われた後、２値のデータ判定が行われる。これにより、所定の伝送フォーマットの受信パケットデータが得られる。この受信パケットデータは、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＤＳＰ（Digital Signal Processor）などにより構成され、ＣＤＭＡ信号処理部３６から出力された受信パケットデータを図示せぬ多重分離部によりメディアごとに分離し、分離されたメディアごとのデータに対してそれぞれ復号処理を行う。例えば通話モードにおいては、受信パケットデータに含まれる通話音声などに対応するオーディオデータをスピーチコーデックにより復号する。また、例えばテレビ電話モードなどのように、受信パケットデータに動画像データが含まれていれば、この動画像データをビデオコーデックにより復号する。さらに、受信パケットデータがダウンロードコンテンツであれば、このダウンロードコンテンツを伸張した後、伸張されたダウンロードコンテンツを制御部４１に出力する。

復号処理により得られたディジタルオーディオ信号はＰＣＭコーデック３８に供給される。ＰＣＭコーデック３８は、圧縮伸張処理部３７から出力されたディジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号を受話増幅器３９に出力する。このアナログオーディオ信号は、受話増幅器３９にて増幅された後、レシーバ１８により出力される。

圧縮伸張処理部３７によりビデオコーデックにて復号されたディジタル動画像信号は、制御部４１に入力される。制御部４１は、圧縮伸張処理部３７から出力されたディジタル動画像信号に基づく動画像を、図示せぬビデオＲＡＭ（例えばＶＲＡＭなど）を介してメインディスプレイ１７に表示させる。なお、制御部４１は、受信された動画像データだけでなく、ＣＣＤカメラ２０により撮像された動画像データに関しても、図示せぬビデオＲＡＭを介してメインディスプレイ１７に表示させることも可能である。

また、圧縮伸張処理部３７は、受信パケットデータが電子メールである場合、この電子メールを制御部４１に供給する。制御部４１は、圧縮伸張処理部３７から供給された電子メールを記憶部４２に記憶させる。そして、制御部４１は、ユーザによる入力部としての操作キー１４の操作に応じて、記憶部４２に記憶されているこの電子メールを読み出し、読み出された電子メールをメインディスプレイ１７に表示させる。

一方、通話モードにおいて、マイクロフォン１５に入力された話者（ユーザ）の音声信号（アナログオーディオ信号）は、送話増幅器４０により適正レベルまで増幅された後、ＰＣＭコーデック３８によりＰＣＭ符号化される。このＰＣＭ符号化後のディジタルオーディオ信号は、圧縮伸張処理部３７に入力される。また、ＣＣＤカメラ２０から出力される動画像信号は、制御部４１によりディジタル化されて圧縮伸張処理部３７に入力される。さらに、制御部４１にて作成されたテキストデータである電子メールも、圧縮伸張処理部３７に入力される。

圧縮伸張処理部３７は、ＰＣＭコーデック３８から出力されたディジタルオーディオ信号を所定の送信データレートに応じたフォーマットで圧縮符号化する。これにより、オーディオデータが生成される。また、圧縮伸張処理部３７は、制御部４１から出力されたディジタル動画像信号を圧縮符号化して動画像データを生成する。そして、圧縮伸張処理部３７は、これらのオーディオデータや動画像データを図示せぬ多重分離部で所定の伝送フォーマットに従って多重化した後にパケット化し、パケット化後の送信パケットデータをＣＤＭＡ信号処理部３６に出力する。なお、圧縮伸張処理部３７は、制御部４１から電子メールが出力された場合にも、この電子メールを送信パケットデータに多重化する。

ＣＤＭＡ信号処理部３６は、圧縮伸張処理部３７から出力された送信パケットデータに対し、送信チャネルに割り当てられた拡散符号を用いてスペクトラム拡散処理を施し、スペクトラム拡散処理後の出力信号を送信回路（ＴＸ）３５に出力する。送信回路３５は、スペクトラム拡散処理後の信号をＱＰＳＫ（Quadrature Phase Shift Keying）方式などのディジタル変調方式を使用して変調する。送信回路３５は、ディジタル変調後の送信信号を、周波数シンセサイザ３４から発生される局部発振信号と合成して無線信号に周波数変換（アップコンバート）する。そして、送信回路３５は、制御部４１により指示される送信電力レベルとなるように、このアップコンバートにより生成された無線信号を高周波増幅する。この高周波増幅された無線信号は、アンテナ共用器３２を介してアンテナ３１に供給され、このアンテナ３１から図示せぬ基地局に向けて送信される。

また、携帯電話機１は、外部メモリインタフェース４５を備えている。この外部メモリインタフェース４５は、メモリカード４６を着脱することが可能なスロットを備えている。メモリカード４６は、ＮＡＮＤ型フラッシュメモリカードやＮＯＲ型フラッシュメモリカードなどに代表されるフラッシュメモリカードの一種であり、１０ピン端子を介して画像や音声、音楽等の各種データの書き込み及び読み出しが可能となっている。さらに、携帯電話機１には、現在の正確な現在の時刻を測定する時計回路（タイマ）４７が設けられている。

制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたは記憶部４２からＲＡＭにロードされた、オペレーティングシステム（ＯＳ）を含む各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより携帯電話機１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。

記憶部４２は、例えば、電気的に書換えや消去が可能な不揮発性メモリであるフラッシュメモリ素子やＨＤＤ（Hard Disc Drive）などからなり、制御部４１のＣＰＵにより実行される種々のアプリケーションプログラムや種々のデータ群を格納している。

電源回路４４は、バッテリ４３の出力を基に所定の動作電源電圧Ｖｃｃを生成して各回路部に供給する。また、地上波ディジタルワンセグ受信部４８は、図示せぬ放送局からの地上波ディジタルワンセグ放送波や地上波ディジタルラジオ放送波を受信し、受信された地上波ディジタルワンセグ放送波や地上波ディジタルラジオ放送波に基づくＴＳ（Transport Stream）信号を地デジ処理部４９に供給する。地デジ処理部４９は、地上波ディジタルワンセグ受信部４８にて地上波ディジタルワンセグ放送波が受信された場合、地上波ディジタルワンセグ受信部４８からの地上波ディジタルワンセグ放送波に基づくＴＳ信号から、音声データと映像データに関するＥＳ（Elementary Stream）にそれぞれ分離し、分離された音声データを地デジ処理部４９内の音声デコーダ（図示せず）にて所定の復号化方式でデコードするとともに、分離された映像データを地デジ処理部４９内の映像デコーダ（図示せず）にて所定の復号化方式でデコードし、デコード後のディジタル音声信号とディジタル動画像信号を制御部４１に供給する。

次に、図３を参照して、図２の携帯電話機１を用いてユーザがマルチウィンドウシステムを利用する際に想定される利用状況について説明する。図３に示されるように、図２の携帯電話機１を用いてユーザがマルチウィンドウシステムを利用する場合、メインディスプレイ１７に表示される表示画面が例えば２つの領域に分割され、異なるアプリケーション（アプリケーションプログラム）に関する表示画面がメインディスプレイ１７上に表示される。図３の場合、メインディスプレイ１７の上部表示領域のウィンドウ（Ｗｉｎｄｏｗ）Ａに、動画像再生に関するアプリケーションプログラムであるアプリケーションＡについての表示画面が表示されるとともに、メインディスプレイ１７の下部表示領域のウィンドウＢに、メールの送受信や作成に関するアプリケーションプログラムであるアプリケーションＢについての表示画面が表示される。

図３の場合、メインディスプレイ１７の上部表示領域のウィンドウＡにて実行されるアプリケーションＡは、現在インアクティブの状態にある。このとき、ユーザにより入力部の操作キー１４などが操作されたとしても、その入力はアプリケーションＡに対しては受け付けられない。一方、メインディスプレイ１７の下部表示領域のウィンドウＢにて実行されるアプリケーションＢは、現在アクティブの状態にある。このとき、ユーザにより入力部の操作キー１４などが操作されると、アプリケーションＢは、入力された操作キー１４に応じた処理を実行する。なお、図３の場合、ウィンドウＢにて実行されるアプリケーションＢが現在アクティブの状態にあり、アプリケーションＢに対してキー入力がなされていることから、ユーザの視線はアプリケーションＢに向いていると推定される。

そして、ユーザは、アクティブ切り替えキー２２を操作することで、メインディスプレイ１７の表示画面上において現在アクティブの状態にあるアプリケーションを切り替えることができる。例えば現在アクティブの状態にあるアプリケーションは上部表示領域のアプリケーションＡであることから、ユーザによりアクティブ切り替えキー２２が操作されることで、アクティブの状態にあるアプリケーションがアプリケーションＡからアプリーションＢに切り替えられる。

勿論、ユーザがマルチウィンドウシステムを利用する場合、メインディスプレイ１７に表示される表示画面が例えば３つ以上の領域に分割され、３つ以上の異なるアプリケーションに関する表示画面がメインディスプレイ１７上に表示されるようにしてもよい。そして、アクティブの状態にあるアプリケーションは１つである必要があるが、インアクティブの状態にあるアプリケーションは２つ以上存在するようにしてもよい。

ここで、図４は、マルチウィンドウシステムにおいて、図２の携帯電話機１の制御部４１により実行することができる機能的な構成を概略的に表している。図４に示されるように、制御部４１は、本発明に係る特徴的な構成としてアプリケーション管理部を有し、このアプリケーション管理部によって、マルチウィンドウシステムにおいて現在動作している複数のアプリケーション（ウィンドウアプリケーション）の中で、どのアプリケーションがアクティブの状態にあるか、または、インアクティブの状態にあるかを管理する。また、制御部４１は、アプリケーション管理部によって、イベントを各アプリケーション（例えばマルチウィンドウシステムにおいて同時に動作するアプリケーションＡやアプリケーションＢ）に通知する。イベントには、例えば、入力部のアクティブ切り替えキー２２が操作されたことに伴うアクティベート／デアクティベートのイベント、操作キー１４が操作されたことによるキーイベント、時計回路４７によって設定されたタイマによるタイマイベントなど種々のイベントがある。アプリケーションは、通知されたイベントに応じて処理を行う。そして、各アプリケーションの処理結果はメインディスプレイ１７のそれぞれのウィンドウに表示される。例えば、アプリケーションＡの処理結果はウィンドウＡに、アプリケーションＢの処理結果はウィンドウＢに表示させる。

次に、図５のフローチャートを参照して、図４の携帯電話機１におけるアプリケーション管理処理について説明する。なお、このアプリケーション管理処理は、複数のアプリケーションが起動されて、マルチウィンドウシステムを用いて複数のアプリケーションを同時に動作させる場合に、アプリケーション管理部によって実行される。そして、図５の場合、種々のイベントのうち、特に入力部のアクティブ切り替えキー２２が操作されたことに伴うアクティベート／デアクティベートのイベントと、操作キー１４が操作されたことによるキーイベントに関するアプリケーション管理処理について説明する。

ステップＳ１において、制御部４１は、アプリケーション管理部を実行し、ユーザにより入力部（操作キー１４やアクティブ切り替えキー２２、サイドキー１６など）が操作されることで、入力部によるキー入力を受け付け、入力部によるキー入力がない場合には、入力部によるキー入力があるまで待機する。

ステップＳ２において、制御部４１は、アプリケーション管理部を実行し、ユーザによる入力部の操作に伴って、入力部によるキー入力が受け付けると、受け付けられたキーの種別を判別し、受け付けられるキー入力がアクティブ切り替えキー２２による入力であるか否かを判定する。ステップＳ２において制御部４１が、キー入力がアクティブ切り替えキー２２による入力であると判定した場合、制御部４１はステップＳ３で、アプリケーション管理部を実行し、アクティブの状態にあるアプリケーションを切り替える。具体的には、制御部４１は、現在アクティブの状態にあるアプリケーションに対しては、アクティブの状態からインアクティブの状態に遷移させるためのデアクティベートのイベントを通知する一方、現在インアクティブの状態にあるアプリケーション（インアクティブの状態にあるアプリケーションが複数存在する場合には、いずれか１つのアプリケーション）に対して、インアクティブの状態からアクティブの状態に遷移させるためのアクティベートのイベントを通知する。

一方、ステップＳ２において制御部４１が、キー入力がアクティブ切り替えキー２２による入力ではないと判定した場合、制御部４１はステップＳ４で、アプリケーション管理部を実行し、マルチウィンドウシステムにて同時に動作している各アプリケーションに対して、アクティブ切り替えキー２２以外のキー入力（例えば操作キー１４によるキー入力など）のイベントをそれぞれ通知する。

ステップＳ５において、制御部４１は、アプリケーション管理処理を終了するとの指示がなされることで、アプリケーション管理処理を終了するか否かを判定する。ステップＳ５において制御部４１が、アプリケーション管理処理を終了すると判定した場合、アプリケーション管理処理は終了する。ステップＳ５において制御部４１が、アプリケーション管理処理を終了しないと判定した場合、処理はステップＳ１に戻り、ステップＳ１以降の処理が繰り返し実行される。

図６は、マルチウィンドウシステムを用いて複数のアプリケーションを同時に動作させる場合に、各アプリケーションが遷移可能な遷移状態を示す状態遷移図である。図６の場合、アプリケーションの状態は、アクティブの状態とインアクティブの状態に遷移可能である。図６に示されるように、アプリケーションの状態がアクティブな状態で、かつ、アクティブ切り替えキー２２以外のキー入力イベントを受信すると、アプリケーションの状態は、図６の矢印Ｐに示されるように、アクティブな状態のままで状態遷移はしない。また、アプリケーションの状態がインアクティブな状態で、かつ、アクティブ切り替えキー以外のキー入力イベントを受信すると、アプリケーションの状態は、図６の矢印Ｒに示されるように、インアクティブな状態のままで状態は遷移しない。さらに、アプリケーションの状態がアクティブな状態で、かつ、アクティブ切り替えキー２２によるキー入力イベント（デアクティベートのイベント）を受信すると、図６の矢印Ｑに示されるように、受信されたデアクティベートのイベントに従い、アプリケーションの状態がアクティブの状態からインアクティブの状態に遷移する。一方、アプリケーションの状態がインアクティブな状態で、かつ、アクティブ切り替えキー２２によるキー入力イベント（アクティベートのイベント）を受信すると、図６の矢印Ｓに示されるように、受信されたアクティベートのイベントに従い、アプリケーションの状態がインアクティブの状態からアクティブの状態に遷移する。

次に、図７のフローチャートを参照して、図４の携帯電話機１における概略的なアプリケーション実行処理について説明する。なお、このアプリケーション実行処理は、マルチウィンドウシステムを用いて複数のアプリケーションを同時に動作させる場合に、それぞれのアプリケーションによって実行される。また、図７のフローチャートを用いて説明するアプリケーション実行処理は、アプリケーションの状態がアクティブの状態であるときに実行される処理である。アプリケーションの状態がインアクティブの状態であるときに実行される処理については、図８を用いて後述する。

ステップＳ１１において、制御部４１は、マルチウィンドウシステムを用いて同時に動作させるアプリケーション（例えば図４のアプリケーションＡやアプリケーションＢなど）を実行する。それぞれのアプリケーションは、アプリケーション管理部から順次通知される各種イベント（例えばアクティブ切り替えキー２２以外のキー入力に関するイベントや、アクティベートのイベント、デアクティベートのイベントなど）を受信する。

ステップＳ１２において、制御部４１は、受信されたイベントがアクティブ切り替えキー２２によるデアクティベートのイベントであるか否かを判定する。ステップＳ１２において制御部４１が、受信されたイベントがアクティブ切り替えキー２２によるデアクティベートのイベントではなく、アクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであると判定した場合、制御部４１はステップＳ１３で、キー入力に対応するアプリケーションを通常どおり処理する。ここでの「通常どおりの処理」とは、処理を省略したり処理の間にウェイト入れたりすることによる処理負荷の軽減を行わないことを指す。このようにアプリケーションの状態がアクティブな状態で、かつ、アクティブ切り替えキー以外のキー入力イベントを受信したとき、アプリケーションの状態は、図６の矢印Ｐに示されるように、アクティブな状態のままで状態遷移はしない。

ステップＳ１４において、制御部４１は、メインディスプレイ１７を制御し、ステップＳ１３における通常の処理に伴う処理結果を、アプリケーションに対応したウィンドウ（図４の場合、アプリケーションＡの処理結果であるならばウィンドウＡ）に表示させる。その後、処理はステップＳ１６に進み、ステップＳ１６にて制御部４１は、アプリケーション実行処理を終了するとの指示がなされることで、アプリケーション実行処理を終了するか否かを判定する。ステップＳ１６において制御部４１が、アプリケーション実行処理を終了すると判定した場合、アプリケーション実行処理は終了する。ステップＳ１６において制御部４１が、アプリケーション実行処理を終了しないと判定した場合、処理はステップＳ１１に戻り、ステップＳ１１以降の処理が繰り返し実行される。

一方、ステップＳ１２において制御部４１が、受信されたイベントがアクティブ切り替えキー２２によるデアクティベートのイベントであると判定した場合、制御部４１はステップＳ１５で、図６の矢印Ｑに示されるように、受信されたデアクティベートのイベントに従い、アプリケーションの状態をアクティブの状態からインアクティブの状態に遷移させる。その後、処理はステップＳ１６に進む。

図８のフローチャートを参照して、図４の携帯電話機１における概略的なアプリケーション実行処理について説明する。なお、図８のフローチャートを用いて説明するアプリケーション実行処理は、アプリケーションの状態がインアクティブの状態であるときに実行される処理である。なお、図８のステップＳ２１、およびステップＳ２４乃至ステップＳ２６の処理は、図７のステップＳ１１、ステップＳ１３乃至ステップＳ１４、およびステップＳ１６の処理と基本的には同様であり、その説明は繰り返しになるので省略する。

ステップＳ２２において、制御部４１は、受信されたイベントがアクティブ切り替えキー２２によるアクティベートのイベントであるか否かを判定する。ステップＳ２２において制御部４１が、受信されたイベントがアクティブ切り替えキー２２によるアクティベートのイベントではないと判定した場合、制御部４１は、このアプリケーションはインアクティブの状態であることから、ステップＳ２１で受信したイベントのうちのキー入力に関するイベントは当該アプリケーションに対しては受け付けられないと認識するとともに、ステップＳ２３で制御部４１は、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであるか否かを判定する。

ステップＳ２３において制御部４１が、受信されたイベントがアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントではないと判定した場合、処理はステップＳ２４に進み、ステップＳ２４にてキー入力に対応する通常の処理が実行される。その後、処理はステップＳ２５に進む。

一方、ステップＳ２３において制御部４１が、受信されたイベントがアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであると判定した場合、制御部４１は、受信されたイベントがマルチウィンドウシステムにて同時に動作している他のアプリケーションに対するイベントであると認識し、ステップＳ２７で制御部４１は、当該アプリケーションを通常の処理に比べて軽い処理（例えば処理の一部を省略した処理、あるいは、処理の合間にウェイトを入れるなどによる処理）によって実行するよう処理方法を変更する。

ステップＳ２８において、制御部４１は、メインディスプレイ１７を制御し、ステップＳ２７における軽い処理に伴う処理結果を、アプリケーションに対応したウィンドウに表示させる。このようにアプリケーションの状態がインアクティブな状態で、かつ、アクティブ切り替えキー以外のキー入力イベントを受信したとき、アプリケーションの状態は、図６の矢印Ｒに示されるように、インアクティブな状態のままで状態遷移はしない。

ステップＳ２２において制御部４１が、受信されたイベントがアクティブ切り替えキー２２によるアクティベートのイベントであると判定した場合、制御部４１はステップＳ２９で、アプリケーションを実行し、図６の矢印Ｓに示されるように、受信されたアクティベートのイベントに従い、アプリケーションの状態をインアクティブの状態からアクティブの状態に遷移させる。その後、処理はステップＳ２６に進む。

これにより、マルチウィンドウシステムにて複数のウィンドウアプリケーションが動作している場合に、インアクティブの状態にあるアプリケーションの処理を軽くすることによって、アクティブの状態にあるウィンドウアプリケーションによる処理を優先的に行うことができ、アクティブの状態にあるアプリケーションの応答速度を向上させることができる。

図３乃至図８を用いて本発明に係る概念および処理について説明してきたが、次に、図７および図８を用いて説明した本発明に係るアプリケーション処理について具体的に説明する。以下の説明においては、例えば図３に示されるように、メインディスプレイ１７のウィンドウＡにて実行されるアプリケーションＡは動画像再生に関するアプリケーションプログラムであり、アプリケーションＡの現在の状態はインアクティブの状態にあるとともに、メインディスプレイ１７のウィンドウＢにて実行されるアプリケーションＢはメールの送受信や作成に関するアプリケーションプログラムであり、アクティブの状態にあるものとする。

図９は、マルチウィンドウシステムにおいて、図２の携帯電話機１の制御部４１により実行することができる機能的な構成を詳細に表している。なお、図４の構成に対応するものについては、その説明は繰り返しになるので省略する。

制御部４１は、動画像の再生に関するアプリケーションプログラムであるアプリケーションＡを実行し、ソフトウェアの処理として多重分離処理、ビデオデコード処理、およびオーディオデコード処理を行う。すなわち、制御部４１は、動画像の再生に関するアプリケーションプログラムであるアプリケーションＡを実行し、オーディオデータと動画像データが多重化された多重化データをメディアごとに分離する（多重分離処理）とともに、分離後の動画像データを所定の復号化方式（例えばＭＰＥＧ（Moving Picture Experts Group）４などの所定の符号化方式）にて復号し、復号後のディジタル動画像信号を生成する（ビデオデコード処理）。なお、本発明の実施形態においては、記憶部４２のファイルシステムにオーディオデータおよび動画像データが予め記憶されている場合を想定しているが、このような場合に限られず、記憶部４２などに予め記憶されていない場合（特に、例えば地上波ディジタルワンセグ受信部４８を用いた地上波ディジタル放送波の受信に関するアプリケーションの場合など）にも本発明を適用することができる。

このとき、制御部４１は、分離後のオーディオデータを所定の復号化方式にて復号し、復号後のディジタルオーディオ信号を生成する（オーディオデコード処理）。制御部４１は、復号処理により得られたディジタルオーディオ信号をＰＣＭコーデック３８に供給する。ＰＣＭコーデック３８は、制御部４１から出力されたディジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号をスピーカ５０に出力する。このアナログオーディオ信号は、増幅された後、スピーカ５０により出力される。なお、予め所定の符号化方式にて圧縮符号化されているオーディオデータと動画像データのそれぞれの復号処理は、ハードウェアの処理として行うようにしてもよい。

そして、制御部４１は、生成されたディジタル動画像信号を表示駆動部（図示せず）のビデオＲＡＭに記憶（格納）させる。このビデオＲＡＭへのディジタル動画像信号の描画は、１秒間に、再生する画像コンテンツに関して定められた描画回数ずつ行われる。次に、図示せぬ表示駆動部は、メインディスプレイ１７を駆動し、表示駆動部に内蔵されたビデオＲＡＭに記憶されているディジタル動画像信号に基づいて、メインディスプレイ１７のウィンドウＡに表示される表示画面の書き換えを、１秒間に、予め設定された所定の回数ずつ行う。

ここで、動画像の再生では、１秒間に、予め定められた描画回数ずつ行われることが求められるが、通常の動画像再生処理に比べて軽い処理を行う場合、例えば処理の一部を省略し、動画像データを構成するＰフレームのデコード処理を省略するようにする。これにより、動画像の再生に関するアプリケーションプログラムであるアプリケーションＡ以外のアプリケーションＢにＣＰＵ資源を優先的に回すことができる。

図１０は、動画像の再生に関するアプリケーションプログラムであるアプリケーションＡの実行時における、アプリケーションＡの状態遷移図を表している。図１０に示される状態遷移図は、アプリケーションＡにより実行される処理に合わせて、図６の状態遷移図をより詳細に区分したものである。図１０に示されるように、アプリケーションＡの状態には、５つの状態、すなわち、アクティブ通常再生、インアクティブ通常再生、アクティブ通常再生待ち、インアクティブ通常再生待ち、およびインアクティブ軽処理再生の状態が存在する。

第１に、アクティブ通常再生の状態とは、アプリケーションＡがアクティブの状態にあり、動画像が通常に再生されるとともに、ユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対して受け付けられる状態を示している。このとき、アプリケーションＡがデアクティベートのイベントを受信すると、アプリケーションＡの状態はアクティブ通常再生の状態からインアクティブ通常再生の状態に遷移する。

第２に、インアクティブ通常再生の状態とは、アプリケーションＡがインアクティブの状態にあり、動画像が通常に再生される。インアクティブ通常再生の状態でユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対しては受け付けられないと認識され（すなわち、その入力はアプリケーションＢに対して受け付けられたと認識され）、その後、アプリケーションＡの状態がインアクティブ通常再生の状態からインアクティブ軽処理再生の状態に遷移する。また、インアクティブ通常再生の状態で、アプリケーションＡがアクティベートのイベントを受信すると、アプリケーションＡの状態はインアクティブ通常再生の状態からアクティブ通常再生の状態に遷移する。

第３に、インアクティブ軽処理再生の状態とは、アプリケーションＡがインアクティブの状態にあり、動画像データのデコード処理のうち、Ｉフレームのみのデコード処理を行い、Ｐフレームのデコード処理を省略することによって、通常よりも軽い処理により動画の再生を行う状態を示している。なお、インアクティブ軽処理再生の状態に遷移したときに、所定の時間のタイマを設定する。このとき、このタイマが満了すると、インアクティブ再生待ち状態に遷移する。ただし、タイマ満了までに再度、アクティブ切り替えキー２２以外のキーによるキー入力が検出されると、所定の時間のタイマを再設定する。このようにインアクティブ軽処理再生の状態にタイマを設けることによって、通常キーの入力がなされてから、一定時間キー入力が無ければ、軽い処理によって動画を再生する状態から通常どおり再生する状態に戻ることが可能となる。

また、インアクティブ軽処理再生状態のとき、アプリケーションＡがアクティベートのイベントを受信すると、アプリケーションＡの状態はインアクティブ軽処理再生の状態からアクティブ通常再生待ちの状態に遷移する。

第４に、インアクティブ通常再生待ちの状態とは、アプリケーションＡがインアクティブの状態にあり、Ｉフレームのみのデコード処理が行われるインアクティブ軽処理再生の状態から遷移してきた後、次のＩフレームがデコードされるまで待機する状態を示している。すなわち、インアクティブ軽処理再生の状態においては、Ｐフレームのデコード処理が停止されているので、インアクティブ通常再生の状態に遷移するためには、次のＩフレームを待つ必要があり、次のＩフレームがデコードされるまで待機する。従って、次のＩフレームがデコードされると、アプリケーションＡの状態はインアクティブ通常再生待ちの状態からインアクティブ通常再生の状態に遷移する。

また、インアクティブ軽処理再生の状態のとき、アプリケーションＡがアクティベートのイベントを受信すると、アプリケーションＡの状態はアクティブ通常再生待ちの状態に遷移する。また、アプリケーションＡの状態がインアクティブ通常再生待ちの状態である場合に、アクティブ切り替えキー２２以外のキーによるキー入力がされると、インアクティブ軽処理再生の状態に遷移する。

第５に、アクティブ通常再生待ちの状態とは、アプリケーションＡがアクティブの状態にあり、Ｉフレームのみのデコード処理が行われるインアクティブ軽処理再生またはインアクティブ通常再生待ちの状態から遷移してきた後、次のＩフレームがデコードされるまで待機する状態を示している。従って、次のＩフレームがデコードされると、アプリケーションＡの状態はアクティブ通常再生待ちの状態からアクティブ通常再生の状態に遷移する。

またアクティブ通常再生待ちの状態で、アプリケーションＡがデアクティベートのイベントを受信すると、インアクティブ通常再生待ちの状態に遷移する。

次に、図１１乃至図１５のフローチャートを参照して、図１０のアプリケーションＡ（動画像の再生に関するアプリケーションプログラム）の状態遷移図の各状態でキー入力イベントを受信したときに、図９の携帯電話機１において実行される処理について詳細に説明する。

図１１のフローチャートを参照して、図９の携帯電話機１におけるアクティブ通常再生の状態におけるアプリケーション実行処理の詳細について説明する。なお、アクティブ通常再生の状態におけるアプリケーション実行処理中では、制御部４１は、このアプリケーションＡはアクティブの状態であることから、ユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対して受け付けられると認識する。

ステップＳ５１において、制御部４１は、マルチウィンドウシステムを用いて同時に動作させるアプリケーションＡ（動画像の再生に関するアプリケーションプログラム）を実行し、アプリケーション管理部から順次通知される各種イベント（例えばアクティブ切り替えキー２２以外のキー入力に関するイベントや、アクティベートのイベント、インアクティベートのイベント、デコードのイベントなど）をアプリケーションＡにて受信する。

なお、ユーザにより操作キー１４が操作されることによりアプリケーションＡが起動されて、デコード処理が開始される。アプリケーション管理部からデコードのイベントがアプリケーションＡに１回通知されると、制御部４１は、アプリケーションＡを実行し、時計回路４７を用いて、次のデコード処理を促すためのデコードタイマを設定する。そして、アプリケーションＡにより設定されたデコードタイマが満了すると、制御部４１により実行されるアプリケーションＡは、新たなデコードのイベントをアプリケーションＡ自身に通知する。これにより、デコードタイマが満了するごとに、デコードのイベントがアプリケーションＡに通知される。

ステップＳ５２において、制御部４１は、アプリケーションＡにて受信されたイベントがデアクティベートのイベントであるか否かを判定する。ステップＳ５２において制御部４１が、アプリケーションＡにて受信されたイベントがデアクティベートのイベントではないと判定した場合、制御部４１はステップＳ５３で、アプリケーションＡにて受信されたイベントがデコードのイベントであるか否かを判定する。ステップＳ５３において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントであると判定した場合、制御部４１はステップＳ５４で、多重化データを制御部４１のＲＡＭに読み込み、多重化データをオーディオデータと動画像データとに分離する。ステップＳ５５において、制御部４１は、分離後の動画像データを所定の復号化方式にて復号し、復号後のディジタル動画像信号を生成する。

このとき、制御部４１は、動画像データのデコード処理と並列して、分離後のオーディオデータを所定の復号化方式にて復号し、復号後のディジタルオーディオ信号を生成する。制御部４１は、復号処理により得られたディジタルオーディオ信号をＰＣＭコーデック３８に供給する。ＰＣＭコーデック３８は、制御部４１から出力されたディジタルオーディオ信号をＰＣＭ復号し、ＰＣＭ復号後のアナログオーディオデータ信号をスピーカ５０に出力する。このアナログオーディオ信号は、増幅された後、スピーカ５０により出力される。

ステップＳ５６において、制御部４１は、アプリケーションＡを実行し、時計回路４７を用いて、次のデコード処理を促すためのデコードタイマを設定する。ステップＳ５７において、制御部４１は、メインディスプレイ１７を制御してデコード処理結果の動画像をメインディスプレイ１７に表示させる。メインディスプレイ１７は、制御部４１の制御に従い、デコード処理結果の動画像を表示する。すなわち、制御部４１は、生成されたディジタル動画像信号を表示駆動部（図示せず）のビデオＲＡＭに記憶（格納）させる。次に、図示せぬ表示駆動部は、メインディスプレイ１７を駆動し、表示駆動部に内蔵されたビデオＲＡＭに記憶されているディジタル動画像信号に基づいて、メインディスプレイ１７のウィンドウＡに表示される表示画面の書き換えを行う。

その後、処理はステップＳ５８に進み、ステップＳ５８にて制御部４１は、アプリケーション実行処理を終了するとの指示がなされることで、アプリケーション実行処理を終了するか否かを判定する。ステップＳ５８において制御部４１が、アプリケーション実行処理を終了すると判定した場合、アプリケーション実行処理は終了する。ステップＳ５８において制御部４１が、アプリケーション実行処理を終了しないと判定した場合、処理はステップＳ５１に戻り、ステップＳ５１以降の処理が繰り返し実行される。これにより、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がアクティブ通常再生の状態のままの場合には、アプリケーション管理部からデアクティベートのイベントが受信されるまで、アプリケーション管理部からのデコードのイベントの受信ごとに、図１１のステップＳ５４乃至Ｓ５７に示されるアクティブ通常再生時における通常の動画像の再生がウィンドウＡに対して繰り返し行われる。

ステップＳ５３において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントではないと判定した場合、ステップＳ５４乃至Ｓ５７に示されるデコード処理は実行されず、ステップＳ５８に進む。

一方、図１１のステップＳ５２において制御部４１が、アプリケーションＡにて受信されたイベントがデアクティベートのイベントであると判定した場合、制御部４１はステップＳ５９で、図１０に示されるように、受信されたデアクティベートのイベントに従い、アプリケーションＡの状態をアクティブ通常再生の状態からインアクティブ通常再生の状態に遷移させる。

図１１のステップＳ５９にてアプリケーションＡの状態がアクティブ通常再生の状態からインアクティブ通常再生の状態に遷移した場合、状態遷移後に、後述する図１２におけるインアクティブ通常再生時におけるアプリケーション実行処理が実行される。

次に、図１２のフローチャートを参照して、図９の携帯電話機１におけるインアクティブ通常再生の状態においてキー入力イベントを受信したときのアプリケーション実行処理の詳細について説明する。なお、インアクティブ通常再生の状態でのアプリケーション実行処理中では、制御部４１は、このアプリケーションＡはインアクティブの状態であることから、ユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対しては受け付けられないと認識する。また、図１２のステップＳ６１、およびステップＳ６３乃至Ｓ６９の処理は、図１１のステップＳ５１乃至Ｓ５８の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。

ステップＳ６２において、制御部４１は、アプリケーションＡを実行し、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであるか否かを判定する。ステップＳ６２において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキーのイベントではないと判定した場合、処理はステップＳ６３に進み、アプリケーションＡにて受信されたイベントがアクティベートのイベントであるか否かが判定される。そして、図１２のステップＳ６３乃至Ｓ７０の処理は、図１１のステップＳ５２乃至Ｓ５９の処理と基本的には同様である。但し、ステップＳ６３において制御部４１が、アプリケーションＡにて受信されたイベントがアクティベートのイベントであると判定した場合、ステップＳ７０にてアプリケーションＡの現在の状態はインアクティブ通常再生の状態からアクティブ通常再生の状態に遷移する。

そして、図１２のステップＳ７０にてアプリケーションＡの状態がインアクティブ通常再生の状態からアクティブ通常再生の状態に遷移した場合、状態遷移後に、前述した図１１におけるアクティブ通常再生時におけるアプリケーション実行処理が実行され、アクティブ通常再生時における動画像再生処理が繰り返し実行される。

ステップＳ６２において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであると判定した場合、制御部４１は、受信されたイベントがマルチウィンドウシステムにて同時に動作している他のアプリケーション（アプリケーションＢ）に対するイベントであると認識し、ステップＳ１０００で、時計回路４７を用いて、所定の時間の通常再生タイマをセットし、通常再生タイマの計時を開始する。この通常再生タイマは、一定時間軽処理再生を行うためのものである。

ステップＳ１００１において、制御部４１は、アプリケーションＡを実行し、通常の処理に比べて軽い処理を行うために、図１０に示されるように、アプリケーションＡの状態をインアクティブ通常再生の状態からインアクティブ軽処理再生の状態に遷移させる。

図１２のステップＳ１００１にてアプリケーションＡの状態がインアクティブ通常再生の状態からインアクティブ軽処理再生の状態に遷移した場合、状態遷移後に、後述する図１３におけるインアクティブ軽処理再生の状態におけるアプリケーション実行処理が実行され、インアクティブ軽処理再生時における動画像再生処理が実行される。

次に、図１３のフローチャートを参照して、図９の携帯電話機１におけるインアクティブ軽処理再生の状態においてキー入力イベントを受信したときのアプリケーション実行処理の詳細について説明する。なお、インアクティブ軽処理再生の状態でのアプリケーション実行処理中では、制御部４１は、このアプリケーションＡはインアクティブの状態であることから、ユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対しては受け付けられないと認識する。また、図１２の処理と重複する部分については、適宜省略する。

ステップＳ７２において、制御部４１は、アプリケーションＡを実行し、アプリケーションＡにて受信されたイベントがアクティベートのイベントであるか否かを判定する。ステップＳ７２において制御部４１が、アプリケーションＡにて受信されたイベントがアクティベートのイベントであると判定した場合、制御部４１はステップＳ７３で、ユーザによりアクティブ切り替えキー２２が押下されることで、現在アクティブの状態にあるアプリケーションＢとインアクティブの状態にあるアプリケーションＡを切り替える指示がなされるとともに、アプリケーションＡにユーザの視線が向いていると認識し、軽処理再生を行う必要がなくなることから、時計回路４７を用いて計時を開始していた通常再生タイマを終了（停止）する。

ステップＳ７４において、制御部４１は、アプリケーションＡを実行し、受信されたアクティベートのイベントに従い、図１０に示されるように、アプリケーションＡの状態をインアクティブ軽処理再生の状態からアクティブ通常再生待ちの状態に遷移させる。

ステップＳ７４にてアプリケーションＡの状態がインアクティブ軽処理再生の状態からアクティブ通常再生待ちの状態に遷移した場合、状態遷移後に、後述する図１５におけるアクティブ通常再生待ち状態におけるアプリケーション実行処理が行われ、アクティブ通常再生待ち時における動画像再生処理が実行される。

一方、ステップＳ７２において制御部４１が、アプリケーションＡにて受信されたイベントがアクティベートのイベントではないと判定した場合、制御部４１はステップＳ７６で、アプリケーションＡを実行し、図１２のステップＳ１０００において予め設定された所定の時間が経過し、通常再生タイマが満了したか否かを判定する。ステップＳ７６において制御部４１が、予め設定された所定の時間が経過し、通常再生タイマが満了したと判定した場合、制御部４１は、インアクティブ軽処理再生処理を実行するために通常再生タイマをセットして計時を開始したものの、所定の時間内にて、ユーザによるアプリケーションＢを用いた操作キー１４などの入力がなく、それほど頻繁に操作キー１４によるキー入力がないと認識し、ステップＳ７７で制御部４１は、図１０に示されるように、アプリケーションＡの状態をインアクティブ軽処理再生の状態からインアクティブ通常再生待ちの状態に遷移させる。

ステップＳ７７にてアプリケーションＡの状態がインアクティブ軽処理再生の状態からインアクティブ通常再生待ちの状態に遷移した場合、状態遷移後に、後述する図１４におけるインアクティブ通常再生待ちの状態におけるアプリケーション実行処理が行われ、インアクティブ通常再生待ちの時における動画像再生処理が実行される。

次に、ステップＳ７６において制御部４１が、予め設定された所定の時間が経過しておらず、通常再生タイマが満了していないと判定した場合、制御部４１はステップＳ７８で、アプリケーションＡを実行し、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであるか否かを判定する。ステップＳ７８において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキーのイベントであると判定した場合、制御部４１は、インアクティブ軽処理再生処理を実行するために通常再生タイマをセットして計時を開始した後、所定の時間内にて、ユーザによるアプリケーションＢを用いた操作キー１４などの入力があり、頻繁に操作キー１４によるキー入力があると認識し、そして、ステップＳ７９において、制御部４１は、時計回路４７を用いて、通常再生タイマを所定の時間にリセット（終了）した後に、通常再生タイマによる計時を再開する。これにより、通常再生タイマの満了までの時間が延期され、インアクティブ軽処理再生の状態を維持しようとされる。なお、タイマはハードタイマどもよいし、ソフトタイマでもよい。

ステップＳ７８において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントではないと判定した場合、ステップＳ８０において、制御部４１は、アプリケーションＡにて受信されたイベントがデコードのイベントであるか否かを判定する。ステップＳ８０において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントであると判定した場合、制御部４１はステップＳ８１で、アプリケーションＡを実行し、記憶部４２のファイルシステムに予め記憶されている多重化データを読み出し、読み出された多重化データをオーディオデータと動画像データとに分離する。なお、本発明の実施形態においては、記憶部４２のファイルシステムにオーディオデータおよび動画像データが予め記憶されている場合を想定しているが、このような場合に限られず、記憶部４２などに予め記憶されていない場合（特に、例えば地上波ディジタルワンセグ受信部４８を用いた地上波ディジタル放送波の受信に関するアプリケーションの場合など）にも本発明を適用することができる。

ステップＳ８２において、制御部４１は、アプリケーションＡを実行し、動画像データの再生時における現在のフレームがＩフレームであるか否かを判定する。ステップＳ８２において動画像データの再生時における現在のフレームがＩフレームであると判定した場合、制御部４１はステップＳ８３で、アプリケーションＡを実行し、分離後の動画像データに含まれるこのＩフレームを所定の復号化方式にて復号し、復号後のディジタル動画像信号を生成する。

このとき、制御部４１は、アプリケーションＡを実行し、動画像データのデコード処理と並列して、分離後のオーディオデータを所定の復号化方式にて復号し、復号後のディジタルオーディオ信号を生成する。制御部４１は、ＰＣＭコーデック３８にてディジタルオーディオ信号をＰＣＭ復号させ、ＰＣＭ復号後のアナログオーディオデータ信号をスピーカ５０に出力させる。

これにより、動画像の再生をする際に、動画像データのデコード処理の一部を省略し、アクティブな状態にある他のアプリケーションにＣＰＵの資源を優先的に割り当てることができるとともに、このとき、動画像の再生に伴う音声の出力は継続的に行うことができる。従って、たとえ動画像データのデコード処理の一部を省略したとしても、ユーザビリティーを考慮して、動画像再生における利用性を損なわないようにすることができる。

ステップＳ８４において、制御部４１は、アプリケーションＡを実行し、時計回路４７を用いて、次のデコード処理を促すためのデコードタイマを設定する。

ステップＳ８５において、制御部４１は、アプリケーションＡを実行し、メインディスプレイ１７を制御してデコード処理結果の動画像をメインディスプレイ１７に表示させる。メインディスプレイ１７は、制御部４１の制御に従い、デコード処理結果の動画像を表示する。

このとき、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がアクティブ軽処理再生の状態である場合には、アプリケーション管理部から新たなイベントがアプリケーションＡにて受信されるまでの間、図１３のステップＳ７６にて通常再生タイマ経過判定処理が行われ、予め設定された所定の時間が経過しない限り、ステップＳ８１乃至Ｓ８７に示されるインアクティブ軽処理再生時における軽い動画像の再生（動画像データに含まれるフレームのうち、Ｉフレームのみを再生して、ＰフレームやＢフレームを再生しない動画像データの再生）がウィンドウＡに対して繰り返し行われる。

ステップＳ８２において動画像データの再生時における現在のフレームがＩフレームではないと判定した場合（すなわち、動画像データの再生時における現在のフレームがＰフレームまたはＢフレームであると判定した場合）、制御部４１はステップＳ８６で、動画像データのデコード処理の一部を省略するべく、ステップＳ８３乃至Ｓ８５に示される動画像データのデコード処理をキャンセルする。

これにより、アプリケーションＡの状態がインアクティブ軽処理再生の状態である場合、動画像データに含まれるフレームのうち、ＰフレームやＢフレームのデコード処理を行わずに、Ｉフレームのみのデコード処理を行い、動画像の再生時における処理を軽くすることができる。その後、ステップＳ８７において、制御部４１は、アプリケーションＡを実行し、時計回路４７を用いて、次のデコード処理を促すためのデコードタイマを設定する。

なお、ステップＳ８０において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントではないと判定した場合、処理はステップＳ７５に進む。

図１４のフローチャートを参照して、図９の携帯電話機１におけるインアクティブ通常再生待ちの状態おいてキー入力イベントを受信したときのアプリケーション実行処理の詳細について説明する。なお、図１３の処理と重複する部分については、適宜省略する。

ステップＳ９２において、制御部４１は、アプリケーションＡを実行し、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであるか否かを判定する。ステップＳ９２において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであると判定した場合、制御部４１は、受信されたイベントがマルチウィンドウシステムにて同時に動作している他のアプリケーション（アプリケーションＢ）に対するイベントであると認識し、ステップＳ９３で、アプリケーションＡを実行し、時計回路４７を用いて、所定の時間の通常再生タイマをセットし、通常再生タイマの計時を開始する。

ステップＳ９４において、制御部４１は、アプリケーションＡを実行し、通常の処理に比べて軽い処理を行うために、図１０に示されるように、アプリケーションＡの状態をインアクティブ通常再生の状態からインアクティブ軽処理再生の状態に遷移させる。

図１４のステップＳ９４にてアプリケーションＡの状態がインアクティブ通常再生待ちの状態からインアクティブ軽処理再生の状態に遷移した場合、図１３におけるインアクティブ軽処理再生の状態におけるアプリケーション実行処理が行われ、インアクティブ軽処理再生時における動画像再生処理が実行される。

ステップＳ９２において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントではないと判定した場合、制御部４１はステップＳ９６で、アプリケーションＡを実行し、受信されたイベントがアクティベートのイベントであるか否かを判定する。ステップＳ９６において制御部４１が、受信されたイベントがアクティベートのイベントであると判定した場合、制御部４１はステップＳ９７で、アプリケーションＡを実行し、図１０に示されるように、アプリケーションＡの状態をインアクティブ通常再生待ちの状態からアクティブ通常再生待ちの状態に遷移させる。

図１４のステップＳ９７にてアプリケーションＡの状態がインアクティブ通常再生待ちの状態からアクティブ通常再生待ちの状態に遷移した場合、後述する図１５におけるアクティブ通常再生待ち状態におけるアプリケーション実行処理が行われ、アクティブ通常再生待ちの時における動画像再生処理が実行される。

ステップＳ９６において制御部４１が、受信されたイベントがアクティベートのイベントではないと判定した場合、処理はステップＳ９８に進み、ステップＳ９８以降の処理が実行される。なお、図１４のステップＳ９８乃至Ｓ１０３、およびステップＳ１０５乃至Ｓ１０６の処理は、図１３のステップＳ８０乃至Ｓ８７の処理と基本的には同様であり、その説明は繰り返しになるので省略する。但し、ステップＳ１０４において、制御部４１は、図１０に示されるように、アプリケーションＡの状態をインアクティブ通常再生待ちの状態からインアクティブ通常再生の状態に遷移させる。

図１４のステップＳ１０４にてアプリケーションＡの状態がインアクティブ通常再生待ちの状態からインアクティブ通常再生の状態に遷移した場合、図１２におけるインアクティブ通常再生の状態におけるアプリケーション実行処理が行われ、インアクティブ通常再生時における動画像再生処理が実行される。

図１５のフローチャートを参照して、図９の携帯電話機１におけるアクティブ通常再生待ちの状態おいてキー入力イベントを受信したときの処理の詳細について説明する。なお、図１４の処理と重複する部分については、適宜省略する。

ステップＳ１１２において、制御部４１は、アプリケーションＡを実行し、受信されたイベントがデアクティベートのイベントであるか否かを判定する。ステップＳ１１２において制御部４１が、受信されたイベントがデアクティベートのイベントではないと判定した場合、処理はステップＳ１１３に進み、ステップＳ１１３以降の処理が実行される。なお、図１５のステップＳ１１３乃至Ｓ１１８、およびステップＳ１２０乃至ステップＳ１２２の処理は、図１４のステップＳ９５、ステップＳ９８乃至Ｓ１０３、およびステップＳ１０５乃至Ｓ１０６の処理と基本的には同様であり、その説明は繰り返しになるので省略する。但し、ステップＳ１１９において、制御部４１は、図１０に示されるように、アプリケーションＡの状態をアクティブ通常再生待ちの状態からアクティブ通常再生の状態に遷移させる。

ステップＳ１１２において制御部４１が、受信されたイベントがデアクティベートのイベントであると判定した場合、制御部４１はステップＳ１２３で、図１０に示されるように、受信されたデアクティベートのイベントに従い、アプリケーションＡの状態をアクティブ通常再生待ちの状態からインアクティブ通常再生待ちの状態に遷移させる。

図１５のステップＳ１２３にてアプリケーションＡの状態がアクティブ通常再生待ちの状態からインアクティブ通常再生待ちの状態に遷移した場合、図１４におけるインアクティブ通常再生待ちの状態におけるアプリケーション実行処理が行われ、インアクティブ通常再生待ちの時における動画像再生処理が実行され、アプリケーション管理部から新たなイベントがアプリケーションＡにて受信されるまで、図１４のステップＳ９９乃至Ｓ１０４に示されるインアクティブ通常再生待ちにおける動画像の再生がウィンドウＡに対して行われ、インアクティブ通常再生にアプリケーションＡの状態を遷移させるために、動画像データに含まれるフレームのうち、Ｉフレームのデコード処理を待ち、Ｉフレームのデコード処理を実行した後、アプリケーションの状態がインアクティブ通常再生に遷移する。

本発明の実施形態においては、少なくとも第１のアプリケーションプログラムと第２のアプリケーションプログラムが同時に動作するマルチウィンドウシステムにおいて、いずれかのキー入力がなされた場合に、各アプリケーションプログラムにキー入力に関するイベントを通知し、第１のアプリケーションプログラムと第２のアプリケーションプログラムの状態はいずれもアクティブの状態またはインアクティブの状態に遷移可能であり、第１のアプリケーションプログラムの状態がインアクティブの状態であり、かつ、第２のアプリケーションプログラムの状態がアクティブの状態である場合に、第１のアプリケーションプログラムに通知されたイベントに基づいて、第２のアプリケーションプログラムに対して入力がなされたか否かを判定し、第２のアプリケーションプログラムに対して入力がなされたと判定された場合、所定の時間の計時を設定し、設定された前記所定の時間を計時し、動画像の再生に関するアプリケーションプログラムである第１のアプリケーションプログラムの実行の際、オーディオデータと動画像データが多重化された多重化データを、オーディオデータと動画像データとに分離し、第１のアプリケーションプログラムの実行の際、分離された動画像データを所定の復号化方式にて復号し、所定の時間が計時されるまでの間、動画像データの復号処理のうち、動画像データに含まれる所定のフレームの復号処理を省略するように制御するように制御することができる。

これにより、複数のウィンドウアプリケーションが画面上にて同時に動作し、複数のウィンドウが同時に表示されるマルチウィンドウシステムにおいて、動作するウィンドウアプリケーションの中に、例えば動画像の再生に関するアプリケーションプログラムのようにＣＰＵに高負荷がかかるアプリケーションプログラムが存在する場合に、アクティブな状態にある他のアプリケーションプログラム（例えばメーラなど）を用いて、ユーザにより入力部が操作されることによりコマンドが携帯電話機１に対して頻繁に入力されたとき、アクティブの状態にあるウィンドウアプリケーションにＣＰＵ資源を優先的に割り当て、アクティブの状態にあるウィンドウアプリケーションによる処理を優先的に行うことができる。その結果、マルチウィンドウシステムを用いている携帯電話機１の応答性を向上させることができ、ユーザにとって使い勝手を良くすることができる。また、それ以外の場合には省略しない通常のデコード処理を行い、通常の動画像の再生を行うことができる。従って、マルチウィンドウシステムにて複数のアプリケーションプログラムを動作させる際の利便性を向上させることができる。

なお、図９の場合、メインディスプレイ１７のウィンドウＢにて実行されるアプリケーションＢはメールの送受信や作成に関するアプリケーションプログラムである場合について明示的に記載したが、このような場合に限られず、例えばスケジュール帳やメモ帳に関するアプリケーションプログラムなどに本発明を適用するようにしてもよい。

また、本発明の実施形態においては、マルチウィンドウシステムにて動作させるアプリケーションプログラムに対して操作キー１４などによるいずれかのキー入力がなされた場合について明示的に説明したが、このような場合に限られず、例えばタッチパネルなどの他の入力デバイスを用いた場合についても本発明を適用することができる。

さらに、図９の場合、メインディスプレイ１７のウィンドウＡにて実行されるアプリケーションＡは動画像再生に関するアプリケーションプログラムである場合について明示的に記載したが、このような場合に限られず、本発明においては、例えばアプリケーションＡは、静止画像や動画像のサムネイル表示に関するアプリケーションプログラムやゲームに関するアプリケーションプログラムであってもよい。以下、サムネイル表示に関するアプリケーションプログラムに本発明を適用した場合について説明する。

図１６は、マルチウィンドウシステムにおいて、図２の携帯電話機１の制御部４１により実行することができる他の機能的な構成を詳細に表している。なお、図４の構成に対応するものについては、その説明は繰り返しになるので省略する。

制御部４１は、サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡを実行し、ソフトウェアの処理として静止画像と動画像のビデオデコード処理、およびサムネイル作成処理を行う。すなわち、制御部４１は、サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡを実行し、記憶部４２のファイルシステムに予め記憶されている静止画像データや動画像データを読み出し、読み出された静止画像データや動画像データを所定の復号化方式にて復号し、復号後のディジタル静止画像信号またはディジタル動画像信号を生成する（静止画像デコード処理と動画像デコード処理）。また、制御部４１は、アプリケーションＡを実行し、生成された静止画像に関するディジタル静止画像信号または動画像に関するディジタル動画像信号に基づいて、この静止画像または動画像に関するサムネイル画像データ（サムネイル画像信号）をそれぞれ作成し、作成されたそれぞれのサムネイル画像データ（サムネイル画像信号）を表示駆動部（図示せず）のビデオＲＡＭに記憶（格納）させる。そして、制御部４１は、図示せぬ表示駆動部を駆動し、作成された複数のサムネイル画像データ（サムネイル画像信号）に基づく複数のサムネイル画像を所定の配列で並べて、例えば図１７に示されるようにメインディスプレイ１７のウィンドウＡに表示させる。例えば図１７の例の場合、メインディスプレイ１７のウィンドウＡには、サムネイル画像Ｎ−１、Ｎ−２、Ｎ−３、Ｎ−４、…が所定の配列で表示される。

ここで、図９などに示される動画像の再生では、１通常の動画像再生処理に比べて軽い処理を行うようにし、例えば処理の一部を省略し、動画像データを構成するＰフレームのデコード処理を省略するようにしたが、サムネイル表示の場合には、サムネイル表示処理時における処理の合間にウェイト処理（待機処理）を入れるようにする。これにより、サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡ以外のアプリケーションＢにＣＰＵ資源を優先的に回すことができる。

図１８は、サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡの実行時における、アプリケーションＡの状態遷移図を表している。図１８に示される状態遷移図は、アプリケーションＡにより実行される処理に合わせて、図６の状態遷移図をより詳細に区分したものである。図１８に示されるように、アプリケーションＡの状態には、３つの状態、すなわち、アクティブ通常動作、インアクティブ通常動作、インアクティブ低速動作が存在する。

第１に、アクティブ通常動作の状態とは、アプリケーションＡがアクティブの状態にあり、サムネイル画像が通常の速度で表示されるとともに、ユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対しては受け付けられる状態を示している。このとき、アプリケーションＡがデアクティベートのイベントを受信すると（受け取ると）、アプリケーションＡの状態はアクティブ通常動作の状態からインアクティブ通常動作の状態に遷移する。

第２に、インアクティブ通常動作の状態とは、アプリケーションＡがインアクティブの状態にあり、サムネイル画像が通常の速度で表示される。インアクティブ通常動作の状態でユーザにより入力部の操作キー１４などが操作されると、その入力はアプリケーションＡに対しては受け付けられないと認識され（すなわち、その入力はアプリケーションＢに対して受け付けられたと認識され）、その後、インアクティブ低速動作の状態に遷移する。また、アプリケーションＡがアクティベートのイベントを受信すると（受け取ると）、アプリケーションＡの状態はインアクティブ通常動作の状態からアクティブ通常動作の状態に遷移する。なお、インアクティブ低速動作の状態に遷移する場合、一定時間タイマによる計時が開始される。

第３に、インアクティブ低速動作の状態とは、アプリケーションＡがインアクティブの状態にあり、サムネイル表示動作中にサムネイル作成の合間にウェイト（所定の待機時間）を入れて、サムネイル表示を低速度で行う状態を示している。インアクティブ低速動作の状態の場合、タイマが満了すると、アプリケーションＡの状態はインアクティブ低速動作の状態からインアクティブ通常動作の状態に遷移する。また、アプリケーションＡがアクティベートのイベントを受信すると（受け取ると）、アプリケーションＡの状態はインアクティブ軽処理再生の状態からアクティブ通常再生待ちの状態に遷移する。

なお、図１８の３つのアプリケーションＡの遷移状態（アクティブ通常動作の状態、インアクティブ通常動作の状態、およびインアクティブ低速動作の状態）は、図１０の３つのアクティブ通常再生の状態、インアクティブ通常再生の状態、およびインアクティブ軽処理再生の状態に対応する。

図１９のフローチャートを参照して、図１６の携帯電話機１におけるアクティブ通常動作の状態におけるアプリケーション実行処理の詳細について説明する。なお、図１９の処理は、図１２の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。

ステップＳ１４１において、制御部４１は、マルチウィンドウシステムを用いて同時に動作させるアプリケーションＡ（サムネイル表示に関するアプリケーションプログラム）を実行し、アプリケーション管理部から順次通知される各種イベント（例えばアクティブ切り替えキー２２以外のキー入力に関するイベントや、アクティベートのイベント、インアクティベートのイベント、デコードのイベントなど）をアプリケーションＡにて受信する。

なお、ユーザにより操作キー１４が操作されることによりアプリケーションＡが起動されて、サムネイル表示に伴うデコード処理が開始される。

ステップＳ１４２において、制御部４１は、サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡを実行し、アプリケーションＡにて受信されたイベントがデアクティベートのイベントであるか否かを判定する。ステップＳ１４２において制御部４１が、アプリケーションＡにて受信されたイベントがデアクティベートのイベントではないと判定した場合、制御部４１はステップＳ１４３で、アプリケーションＡにて受信されたイベントがデコードのイベントであるか否かを判定する。ステップＳ１４３において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントであると判定した場合、制御部４１はステップＳ１４４で、アプリケーションＡを実行し、記憶部４２のファイルシステムに予め記憶されている静止画像データや動画像データを読み出し、読み出された静止画像データや動画像データを所定の復号化方式にて復号し、復号後のディジタル静止画像信号またはディジタル動画像信号を生成する。勿論、このような場合に限られず、記憶部４２などに予め記憶されていない場合（特に、例えば地上波ディジタルワンセグ受信部４８を用いた地上波ディジタル放送波の受信に関するアプリケーションの場合など）にも本発明を適用するようにしてもよい。

ステップＳ１４５において、制御部４１は、アプリケーションＡを実行し、生成された静止画像に関するディジタル静止画像信号または動画像に関するディジタル動画像信号に基づいて、この静止画像または動画像に関するサムネイル画像データ（サムネイル画像信号）をそれぞれ作成する。ステップＳ１４６において、制御部４１は、アプリケーションＡを実行し、作成されたそれぞれのサムネイル画像データ（サムネイル画像信号）を表示駆動部（図示せず）のビデオＲＡＭに記憶（格納）させる。そして、制御部４１は、図示せぬ表示駆動部を駆動し、作成された複数のサムネイル画像データ（サムネイル画像信号）に基づく複数のサムネイル画像を所定の配列で並べて、例えば図１７に示されるようにメインディスプレイ１７のウィンドウＡに表示させる。例えば図１７の例の場合、メインディスプレイ１７のウィンドウＡには、サムネイル画像Ｎ−１、Ｎ−２、Ｎ−３、Ｎ−４、…が所定の配列で順次表示される（サムネイル画像Ｎ−１の次に、サムネイル画像Ｎ−２の順で表示される）。

ステップＳ１４７において、制御部４１は、アプリケーションＡを実行し、サムネイル表示により表示するサムネイル画像の表示枚数を逐次カウントし、予め設定されたサムネイル画像の表示枚数に達したか否かを判定する。ステップＳ１４７において制御部４１が、予め設定されたサムネイル画像の表示枚数に達していないと判定した場合、制御部４１はステップＳ１４８で、新たなデコードのイベントをアプリケーションＡ自身に通知する。その後、ステップＳ１４９にてアプリケーション実行処理を終了しないと判定された場合、処理はステップＳ１４１に戻り、ステップＳ１４１以降の処理が繰り返し実行される。これにより、予め設定されたサムネイル画像の表示枚数に達するまで逐次新たなデコードのイベントがアプリケーションＡ自身に通知される。なお、ステップＳ１４７において制御部４１が、予め設定されたサムネイル画像の表示枚数に達したと判定した場合、ステップＳ１４８の処理はスキップされる。

一方、ステップＳ１４２において制御部４１が、アプリケーションＡにて受信されたイベントがデアクティベートのイベントであると判定した場合、制御部４１はステップＳ１５０で、アプリケーションＡを実行し、図１８に示されるように、受信されたデアクティベートのイベントに従い、アプリケーションＡの状態をアクティブ通常動作の状態からインアクティブ通常動作の状態に遷移させる。

一方、ステップＳ１５０にてアプリケーションＡの状態がアクティブ通常動作の状態からインアクティブ通常動作の状態に遷移した場合、状態遷移後に、後述する図２０のインアクティブ通常動作の状態におけるアプリケーション実行処理が行われ、インアクティブ通常動作時におけるサムネイル表示処理が実行される。このとき、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がインアクティブ通常動作の状態のままの場合には、アプリケーション管理部から新たなイベントがアプリケーションＡにて受信されるまで、インアクティブ通常動作時における通常の表示速度でサムネイル画像の表示がウィンドウＡに対して順次行われる。

図２０のフローチャートを参照して、図１６の携帯電話機１におけるインアクティブ通常動作の状態におけるアプリケーション実行処理の詳細について説明する。なお、図２０の処理は、図１３または図１９の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。

なお、ステップＳ１５２において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントであると判定した場合、制御部４１は、受信されたイベントがマルチウィンドウシステムにて同時に動作している他のアプリケーション（アプリケーションＢ）に対するイベントであると認識し、ステップＳ１６２で、アプリケーションＡを実行し、時計回路４７を用いて、所定の時間の通常動作タイマをセットし、通常動作タイマの計時を開始する。この通常動作タイマは、一定時間低速度でサムネイル画像の表示を行うためのものである。

ステップＳ１６３において、制御部４１は、アプリケーションＡを実行し、通常の処理に比べて軽い処理を行うために、図１８に示されるように、アプリケーションＡの状態をインアクティブ通常動作の状態からインアクティブ低速動作の状態に遷移させる。

なお、図２０のステップＳ１６３にてアプリケーションＡの状態がインアクティブ通常動作の状態からインアクティブ低速動作の状態に遷移した場合、状態遷移後に、後述する図２１のインアクティブ低速動作の状態におけるアプリケーション実行処理が実行され、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がインアクティブ低速動作の状態のままの場合には、アプリケーション管理部から新たなイベントがアプリケーションＡにて受信されるまでの間、通常動作タイマ経過判定処理が行われ、予め設定された所定の時間が経過しない限り、インアクティブ低速動作時における低速度のサムネイル表示がウィンドウＡに対して所定の配列で順次行われる。

図２１のフローチャートを参照して、図１６の携帯電話機１におけるインアクティブ低速動作の状態における処理の詳細について説明する。なお、図２１の処理は、図１３または図１９の処理と基本的には同様であり、その説明は繰り返しになるので適宜省略する。

ステップＳ１７８において制御部４１が、受信されたイベントはアクティブ切り替えキー２２以外のキー（例えば操作キー１４など）のイベントではないと判定した場合、制御部４１はステップＳ１８０で、アプリケーションＡにて受信されたイベントがデコードのイベントであるか否かを判定する。ステップＳ１８０において制御部４１が、アプリケーションＡにて受信されたイベントがデコードのイベントであると判定した場合、制御部４１はステップＳ１８１で、サムネイル画像を表示する際のサムネイル画像の合間で所定の時間待機する。これにより、例えば図１７に示されるように、メインディスプレイ１７のウィンドウＡにサムネイル画像Ｎ−１、Ｎ−２、Ｎ−３、Ｎ−４などを順次表示する場合、サムネイル画像Ｎ−１の次に表示されるサムネイル画像Ｎ−２までの間で、例えば所定の時間サムネイル画像の表示が待機され、サムネイル画像の表示を低速度で行うことができる。このとき、所定の待機時間は、サムネイル画像がＮ−１、Ｎ−２、Ｎ−３、Ｎ−４などの順で表示される時間の流れの中で、次のサムネイル画像が表示される各サムネイル画像間に相当する。勿論、この所定の待機時間は適宜変更可能であり、他のアプリケーションにＣＰＵの資源をより多く割り当てたい場合には、この所定の待機時間は長めに設定される。

その後、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がインアクティブ低速動作の状態である場合には、アプリケーション管理部から新たなイベントがアプリケーションＡにて受信されるまでの間、図２１のステップＳ１７６にて通常動作タイマ経過判定処理が行われ、予め設定された所定の時間が経過しない限り、図２１のステップＳ１８０乃至Ｓ１８６に示されるインアクティブ低速動作時におけるサムネイル表示処理が実行される。

これにより、アクティブの状態にあるウィンドウアプリケーションにＣＰＵ資源を優先的に割り当て、アクティブの状態にあるウィンドウアプリケーションによる処理を優先的に行うことができる。その結果、マルチウィンドウシステムを用いている携帯電話機１の応答性を向上させることができ、ユーザにとって使い勝手を良くすることができる。また、それ以外の場合にはウェイトを入れない通常のデコード処理を行い、通常の速度でサムネイル表示を行うことができる。従って、マルチウィンドウシステムにて複数のアプリケーションプログラムを動作させる際の利便性を向上させることができる。

なお、図２１の場合、１枚の静止画像や動画像に関する１枚のサムネイル画像の作成処理が完了した後、サムネイル表示速度を低速にするため、作成処理の合間にウェイトをいれるようにしたが、このような場合に限られず、例えばサムネイル画像のマクロブロック単位でウェイトを入れるようにしてもよい。すなわち、サムネイル画像の作成中に、アクティブの状態の他のアプリケーションに対してイベントが通知された場合、サムネイル画像の作成途中であるにもかかわらず、複数のマクロブロック単位の作成所要時間に相当する時間ウェイトするようにしてもよい。これにより、他のアプリケーションを用いたユーザによる操作が頻繁に行われている場合に、より操作の応答性を向上させることができる。

また、サムネイル画像を表示する場合以外にも、例えば大きめの静止画像を１枚メインディスプレイ１７のウィンドウＡに表示する場合に、他のアプリケーションを用いたユーザによる操作が頻繁に行われているとき、ウェイト処理を入れるようにしてもよい。

ところで、図１１乃至図１５または図１９乃至図２１を用いて説明した携帯電話機１におけるアプリケーション処理においては、アクティブの状態の他のアプリケーションを用いたユーザによる操作が頻繁に行われている場合に、インアクティブの状態にあるアプリケーションによる処理を軽くするようにしたが、このような場合に限られず、例えばＣＰＵの負荷が高くなりそうなときに、インアクティブの状態にあるアプリケーション自身がダミーのキー入力のイベントを発行して、インアクティブの状態にあるアプリケーションによる処理を事前に軽くすることで、予めＣＰＵの負荷が高くなりすぎることを抑制するようにしてもよい。以下、この方法を用いたアプリケーション実行処理について説明する。なお、特にサムネイル表示に関するアプリケーションプログラムであるアプリケーションＡをインアクティブの状態で実行する実行処理について明示的に説明する。また、この場合においても、図１９の処理については同様であり、その説明は繰り返しになるので省略する。

図２２のフローチャートを参照して、図１６の携帯電話機１におけるインアクティブ通常動作の状態における他のアプリケーション実行処理の詳細について説明する。なお、図２２のステップＳ１９３乃至Ｓ２０３の処理は、図２０のステップＳ１５３乃至Ｓ１６３の処理と同様であり、その説明は繰り返しになるので省略する。

また、図２２のインアクティブ通常動作の状態における処理の前提として、例えばメールの送受信や作成に関するアプリケーションプログラムであるアプリケーションＢの実行によってこれからメールの送受信がアンテナ１を介して行われる場合に、例えばＣＰＵの負荷が一時的に高くなりそうと考えられることから、アプリケーション管理部からではなく、インアクティブ通常動作の状態にあるアプリケーションＡ自身の実行によって、自分自身にダミーのキー入力のイベントが定期的に発行され、受信される。なお、このダミーのキー入力のイベントは一旦アクティブ管理部に通知した後、アクティブ管理部を経由して各アプリケーションに通知するようにしてもよい。また、ダミーキー入力のイベントを発行するか否かは、ＣＰＵの負荷量を測定することで判断するようにしてもよい。

ステップＳ１９２において、制御部４１は、アプリケーションＡを実行し、受信されたイベントがアクティブ切り替えキー以外のキー入力のイベント、またはダミーキー入力のイベントであるか否かを判定する。ステップＳ１９２において制御部４１が、受信されたイベントがアクティブ切り替えキー以外のキー入力のイベント、またはダミーキー入力のイベントであると判定した場合、処理はステップＳ２０２に進み、ステップＳ２０２以降の処理が実行され、アプリケーションＡの状態がインアクティブ低速動作の状態に遷移するとともに、その後、図２３の処理が実行される。なお、図２３の処理は、基本的に図２１の処理と同様である。

具体的には、アプリケーション実行処理を終了せずに、かつ、アプリケーションＡの現在の状態がインアクティブ低速動作の状態である場合には、新たなイベントがアプリケーションＡにて受信されるまでの間、図２３のステップＳ２２６にて通常動作タイマ経過判定処理が行われ、予め設定された所定の時間が経過しない限り、図２３のステップＳ２３１乃至Ｓ２３６に示されるインアクティブ低速動作時におけるサムネイル表示処理が実行される。

そして、アプリケーションＡの状態がインアクティブ低速動作の状態の場合に、何らかのイベントがアプリケーションＡにて受信されると、図２３のステップＳ２２１以降の処理が実行され、ステップＳ２２８において、制御部４１は、アプリケーションＡを実行し、受信されたイベントがアクティブ切り替えキー以外のキー入力のイベント、またはダミーキー入力のイベントであるか否かを判定する。ステップＳ２２８において制御部４１が、受信されたイベントがダミーキー入力のイベントであると判定した場合にも、ステップＳ２２９において制御部４１は、時計回路４７を用いて、通常再生タイマを所定の時間にリセット（終了）した後に、通常再生タイマによる計時を再開する。これにより、例えばメールの送受信や作成に関するアプリケーションプログラムであるアプリケーションＢの実行によってこれからメールの送受信がアンテナ１を介して行われる場合などに、インアクティブの状態にあるアプリケーションＡ自身が発行するダミーのキー入力イベントによって、アプリケーションＡの状態がインアクティブ低速動作の状態に遷移するとともに、定期的になされるダミーキー入力のイベントによってタイマがリセットされて、継続して所望の時間サムネイル画像の表示を低速度で行うことができる。従って、マルチウィンドウシステムにて複数のアプリケーションプログラムを動作させる際の利便性をより向上させることができる。

なお、本発明は、携帯電話機１以外にも、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、携帯型ゲーム機、携帯型音楽再生機、携帯型動画再生機、その他の情報処理装置にも適用することができる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る情報処理装置に適用可能な携帯電話機の外観の構成を示す図。 本発明に係る情報処理装置に適用可能な携帯電話機の内部の構成を示すブロック図。 図２の携帯電話機を用いてユーザがマルチウィンドウシステムを利用する際に想定される利用状況について説明する説明図。 マルチウィンドウシステムにおいて、図２の携帯電話機の制御部により実行することができる機能的な構成を概略的に示す図。 図４の携帯電話機におけるアプリケーション管理処理を説明するフローチャート。 アプリケーションの状態遷移を示す図。 図４の携帯電話機にて、アプリケーションの状態がアクティブの状態であるときに実行される概略的なアプリケーション実行処理を説明するフローチャート。 図４の携帯電話機にて、アプリケーションの状態がインアクティブの状態であるときに実行される概略的なアプリケーション実行処理を説明するフローチャート。 マルチウィンドウシステムにおいて、図２の携帯電話機の制御部により実行することができる機能的な構成を詳細に示す図。 動画像の再生に関するアプリケーションプログラムであるアプリケーションＡの実行時における、アプリケーションＡの状態遷移図を示す図。 図９の携帯電話機におけるアクティブ通常再生の状態におけるアプリケーション実行処理を説明するフローチャート。 図９の携帯電話機におけるインアクティブ通常再生の状態におけるアプリケーション実行処理を説明するフローチャート。 図９の携帯電話機におけるインアクティブ軽処理再生の状態におけるアプリケーション実行処理を説明するフローチャート。 図９の携帯電話機におけるインアクティブ通常再生待ちの状態におけるアプリケーション実行処理を説明するフローチャート。 図９の携帯電話機におけるアクティブ通常再生待ちの状態におけるアプリケーション実行処理を説明するフローチャート。 マルチウィンドウシステムにおいて、図２の携帯電話機の制御部により実行することができる他の機能的な構成を詳細に示す図。 サムネイルの表示例を示す図。 サムネイル表示に関するアプリケーションプログラムであるアプリケーションＡの実行時における、アプリケーションＡの状態遷移図を示す図。 図１６の携帯電話機におけるアクティブ通常動作の状態におけるアプリケーション実行処理を説明するフローチャート。 図１６の携帯電話機におけるインアクティブ通常動作の状態におけるアプリケーション実行処理を説明するフローチャート。 図１６の携帯電話機におけるインアクティブ低速動作の状態におけるアプリケーション実行処理を説明するフローチャート。 図１６の携帯電話機におけるインアクティブ通常動作の状態における他のアプリケーション実行処理を説明するフローチャート。 図１６の携帯電話機におけるインアクティブ低速動作の状態における他のアプリケーション実行処理を説明するフローチャート。

符号の説明

１…携帯電話機、１１…ヒンジ部、１２…第１の筐体、１３…第２の筐体、１４…操作キー、１５…マイクロフォン、１６…サイドキー、１７…メインディスプレイ、１８…レシーバ、１９a乃至１９d…磁気センサ、２０…ＣＣＤカメラ、２１…サブディスプレイ、２２…アクティブ切り替えキー、３１…アンテナ、３２…アンテナ共用器（ＤＵＰ）、３３…受信回路（ＲＸ）、３４…周波数シンセサイザ（ＳＹＮ）、３５…送信回路（ＴＸ）、３６…ＣＤＭＡ信号処理部、３７…圧縮伸張処理部、３８…ＰＣＭコーデック、３９…受話増幅器、４０…送話増幅器、４１…制御部、４２…記憶部、４３…バッテリ、４４…電源回路、４５…外部メモリインタフェース、４６…メモリカード、４７…時計回路、４８…地上波ディジタルワンセグ受信部、４９…地デジ処理部、５０…スピーカ。

Claims (7)

1. 少なくとも第１のアプリケーションプログラムと第２のアプリケーションプログラムが同時に動作するマルチウィンドウシステムにおいて、いずれかの入力がなされた場合に、各アプリケーションプログラムに入力に関するイベントを通知するイベント通知手段と、
   前記第１のアプリケーションプログラムの状態と前記第２のアプリケーションプログラムの状態はいずれもアクティブの状態またはインアクティブの状態に遷移可能であり、前記第１のアプリケーションプログラムの状態がインアクティブの状態であり、かつ、前記第２のアプリケーションプログラムの状態がアクティブの状態である場合に、前記イベント通知手段により前記第１のアプリケーションプログラムに通知された前記イベントがアクティブ切り替えキーによるアクティベートのイベントではないと判定し、かつ、アクティブ切り替えキー以外のキー入力のイベントであるか判定することにより、前記第２のアプリケーションプログラムに対して入力がなされたか否かを判定する判定手段と、
   前記判定手段により前記第２のアプリケーションプログラムに対して入力がなされたと判定された場合、所定の時間の計時を設定し、設定された前記所定の時間を計時する計時手段と、
   前記計時手段により前記所定の時間が計時されるまでの間、前記第１のアプリケーションプログラムによる処理を一部省略するように制御するか、前記第１のアプリケーションプログラムによる処理を構成する部分的な処理と当該処理と隣接する部分的な処理の間に何も処理を行わないで待機する所定のウェイト処理を設けるように制御するかのいずれかにより、前記第１のアプリケーションプログラムによる処理を軽くするための制御を行う制御手段とを備えることを特徴とする情報処理装置。
2. 前記第１のアプリケーションプログラムは動画像の再生に関するアプリケーションプログラムであり、前記第１のアプリケーションプログラムの実行の際、オーディオデータと動画像データが多重化された多重化データを、前記オーディオデータと動画像データとに分離する分離手段と、
   前記第１のアプリケーションプログラムの実行の際、前記分離手段により分離された前記動画像データを所定の復号化方式にて復号する画像データ復号手段とをさらに備え、
   前記制御手段は、前記画像データ復号手段による前記動画像データの復号処理のうち、前記動画像データに含まれる所定のフレームの復号処理を省略するように前記画像データ復号手段を制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段により前記復号処理が省略される前記所定のフレームには、少なくともＰフレームが含まれることを特徴とする請求項２に記載の情報処理装置。
4. 前記第１のアプリケーションプログラムの実行の際、前記オーディオデータを所定の復号化方式にて復号するオーディオデータ復号手段と、
   前記オーディオデータ復号手段により復号されたオーディオ信号に基づく音声を出力する出力手段とをさらに備え、
   前記制御手段により前記復号処理を省略するように制御する場合であっても、前記出力手段は、前記オーディオ信号に基づく音声を出力することを特徴とする請求項２に記載の情報処理装置。
5. 前記第１のアプリケーションプログラムはサムネイル表示に関するアプリケーションプログラムであり、前記第１のアプリケーションプログラムの実行の際、静止画像データまたは動画像データを所定の復号化方式にて復号する復号手段と、
   前記第１のアプリケーションプログラムの実行の際、前記復号手段により復号された静止画像に関する画像信号または動画像に関する画像信号に基づいて、静止画像または動画像に関するサムネイル画像データを作成する作成手段とをさらに備え、
   前記制御手段は、前記復号手段による復号処理および前記作成手段による作成処理をそれぞれ構成する部分的な処理と当該処理と隣接する部分的な処理の間に前記所定のウェイト処理を設けるように制御することを特徴とする請求項１に記載の情報処理装置。
6. 前記所定のウェイト処理は、前記第１のアプリケーションプログラムによる１枚の前記サムネイル画像データの作成が終了した後か、前記第１のアプリケーションプログラムによる前記サムネイル画像データの作成処理を構成する部分的な処理と当該処理と隣接する部分的な処理の間のいずれかに設けることを特徴とする請求項５に記載の情報処理装置。
7. 前記計時手段は、前記所定の時間が計時されるまでの間に、前記第２のアプリケーションプログラムに対して入力がなされたとさらに判定された場合、前記所定の時間の計時を再設定し、再設定された前記所定の時間の計時を開始することを特徴とする請求項１に記載の情報処理装置。

Images