JP4664350B2 - 連係動作方法及び通信端末装置 - Google Patents

連係動作方法及び通信端末装置 Download PDF

Info

Publication number
JP4664350B2
JP4664350B2 JP2007500518A JP2007500518A JP4664350B2 JP 4664350 B2 JP4664350 B2 JP 4664350B2 JP 2007500518 A JP2007500518 A JP 2007500518A JP 2007500518 A JP2007500518 A JP 2007500518A JP 4664350 B2 JP4664350 B2 JP 4664350B2
Authority
JP
Japan
Prior art keywords
image
engine
host
engine application
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007500518A
Other languages
English (en)
Other versions
JPWO2006080306A1 (ja
Inventor
督弥 桑原
一雄 青木
敏郎 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Mobile Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Mobile Corp filed Critical SoftBank Mobile Corp
Publication of JPWO2006080306A1 publication Critical patent/JPWO2006080306A1/ja
Application granted granted Critical
Publication of JP4664350B2 publication Critical patent/JP4664350B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、連係動作方法及び通信端末装置に係り、より詳しくは、外部との通信に関連する処理を行うホスト部と、当該ホスト部の管理下でエンジンアプリケーションを実行するエンジン部とが通信端末装置において連係して動作する連係動作方法、及び、当該連係動作方法を使用する通信端末装置に関するものである。
従来から、通信端末装置として、携帯電話装置等の移動通信端末装置が広く普及している。かかる移動通信端末装置、特に携帯電話に関する技術の進歩は目覚しいものがあり、移動通信端末装置としての必須機能である移動通信網を介した通信機能に加えて、ゲームや音楽鑑賞を楽しむための付加機能も実装されるようになっている。
こうした移動通信端末装置では、上記の必須機能及び付加機能を果たすために様々なデータ処理を行うプロセッサが内蔵されている。このプロセッサに、様々なプログラムやデータを格納するための記憶素子を含む記憶部、無線通信を行うための無線通信部、利用者が操作指令を行うための操作部、利用者に様々な情報を通知するための通知部(表示部や音出力部)等の資源が接続されている。
そして、プロセッサが記憶部に格納されているプログラムを実行し、必要に応じて、接続された資源を適宜制御することにより、上記の必須機能及び付加機能を果たすようになっている。例えば、表示部の画面に着目してみると、必須機能を果たす場合には、必須機能を果たすとともに、装置の資源を管理するためのプログラム群である基本処理部内のプログラムが実行され、当該プログラム用の画面が表示部に表示される。一方、付加機能を果たす場合には、付加機能を実現するためのアプリケーションプログラムが主に実行され、当該アプリケーションプログラム用の画面が表示部に表示される。
上述したように、従来の移動通信端末装置では様々な機能を果たすことが必要なため、内蔵されるプロセッサには汎用的なものが採用されている。これは、装置を簡易な構成とし、装置の小型化及び低消費電力化するという観点からは優れた方法である。しかしながら、汎用的なプロセッサを用いるのでは、例えばゲームや音楽鑑賞を楽しむための付加機能動作における性能を向上させようとしても、飛躍的な性能向上を図ることは困難である。
ところで、他の情報処理装置と比べたときに、移動通信端末装置における性能向上が求められているのは、付加機能動作であるといえる。このように性能向上が求められている付加機能動作は具体的にはゲーム実行や音楽再生等であるが、こうした付加機能動作に際しては、特に画面表示処理及び音データ出力処理が、プロセッサにとって大きな負荷となっているといえる。
また、移動通信端末装置に対しては、上述した必須機能と付加機能とを果たすことが要請されているが、利用者が原則として一人であるため、必須機能動作と付加機能動作とが、いかなる場合においても同時に独立して動作することまでは要請されていない。例えば、必須機能動作である通話動作を行っている間にも、付加機能動作であるゲーム動作を行うことまでは要請されていない。
以上の理由から、画面表示処理及び音データ出力処理に優れた付加機能専用のエンジンプロセッサを投入し、通信動作を行うプロセッサであるホストプロセッサを備えるホスト部による管理のもとで、エンジンプロセッサを備えるエンジン部に付加機能動作に対応するアプリケーションを実行させることが考えられる。こうしたホスト部とエンジン部とを備える構成を採用しつつ、装置全体をコンパクトに構築するうえでは、両者が連係して動作することが必須となると考えられる。
こうした連係動作においては、エンジンプロセッサにより付加機能を実現するためのアプリケーションが実行されている際にも、ホストプロセッサにより資源を管理するプログラムが動作している。このため、双方のプロセッサで動作しているプログラムにとっては、それぞれに専用の表示手段が用意されることが好ましい。しかしながら、2つの表示手段を用意する構成は、いかにも冗長な構成であり、装置全体をコンパクトに構築することの阻害要因になる。
本発明は、上記の事情を鑑みてなされたものであり、ホストプロセッサを備え、外部との通信に関連する処理を行うホスト部と、エンジンプロセッサを備え、ホスト部の管理下で所定の機能を実行するエンジン部とを備える構成において、利用者にとっての利便性を確保しつつ、装置全体をコンパクトに構築することができる連係動作方法を提供することを目的とする。
また、本発明は、外部との通信に関連する処理を行うホスト部と、ホスト部の管理下で所定の機能を実行するエンジン部とを備えつつ、かつ、装置全体をコンパクトに構築することができるとともに、利用者にとっての利便性を確保することができる通信端末装置を提供することを目的とする。
本発明の連係動作方法は、外部との通信に関連する処理を行うホスト部と、前記ホスト部の管理下でエンジンアプリケーションを実行するエンジン部とが、通信端末装置において連係して動作する連係動作方法であって、前記エンジン部による前記エンジンアプリケーションの実行に際し、前記ホスト部が、表示画面において前記ホスト部が表示内容を定めるホスト表示用領域を、前記エンジン部による前記エンジンアプリケーションの実行に際して採用される前記表示画面の使用方向に応じて定めるホスト表示用領域定義工程と;前記ホスト部が、前記ホスト表示用領域に表示すべき画像データであるホスト画像を作成するホスト画像作成工程と;前記エンジンアプリケーションの実行の進行に応じて、前記エンジン部が、前記エンジンアプリケーションに対応して定まる前記表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成するエンジンアプリケーション画像作成工程と;前記エンジンアプリケーションの実行中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成するエンジンアプリケーション実行中画像作成工程と;前記エンジンアプリケーション実行中画像を前記表示画面に表示するエンジンアプリケーション実行中画像表示工程と;を備える連係動作方法である。ここで、「エンジンアプリケーション実行中画像」とは、エンジンアプリケーションの実行中において、ホスト表示用領域とエンジン表示領域との論理和領域に表示される、ホスト画像と、エンジンアプリケーションの実行中におけるエンジンアプリケーション画像との合成画像をいう。本明細書では、この意味で、「エンジンアプリケーション実行中画像」の用語を使用するものとする。
この連係動作方法では、エンジン部によるエンジンアプリケーションの実行に際して、ホスト表示用領域定義工程において、ホスト部が、表示画面においてホスト部が表示内容を定めるホスト表示用領域を、エンジン部による当該エンジンアプリケーションの実行に際して採用される表示画面の使用方向に応じて定める。すなわち、エンジンアプリケーションの実行時におけるエンジンアプリケーション画像との並列表示又は切り換え表示を行った場合に、利用者にとって違和感のない表示方向(例えば、エンジンアプリケーション画像の表示方向と同一の表示方向)で、ホスト部が、ホスト表示領域を定める。
引き続き、ホスト画像作成工程において、ホスト部が、ホスト表示用領域に表示すべき画像データであるホスト画像を作成する。また、エンジンアプリケーションが動作を開始すると、エンジンアプリケーション画像作成工程において、エンジンアプリケーションの実行の進行に応じて、エンジン部が、エンジンアプリケーションに対応して定まる前記表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成する。
こうしてエンジンアプリケーションの実行中にホスト画像とエンジンアプリケーション画像とが作成されると、エンジンアプリケーション実行中画像作成工程において、ホスト表示用領域とエンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、ホスト画像とエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像が作成される。そして、エンジンアプリケーション実行中画像表示工程において、エンジンアプリケーション実行中画像が表示画面に表示される。
この結果、1つの表示画面を使用しつつ、エンジンアプリケーション実行中においては、エンジンアプリケーション画像を優先的に表示させるとともに、エンジンアプリケーション画像を乱さない範囲でホスト画像を表示する。このため、ホスト表示用領域とエンジン表示用領域との配置関係を調整することにより、エンジンアプリケーション画像の完全な表示を確保しつつ、エンジンアプリケーション実行中であっても表示したいホスト画像の部分を、エンジンアプリケーション画像と並行して、利用者にとって見やすい態様で表示することが可能となる。
したがって、本発明の連係動作方法を使用することにより、利用者にとっての利便性を確保しつつ、通信端末装置をコンパクトに構築することができる。
本発明の連係動作方法では、前記エンジンアプリケーションが一時停止中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記ホスト画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることとすることができる。ここで、「エンジンアプリケーション一時停止中画像」とは、エンジンアプリケーションの一時停止中において、ホスト表示用領域とエンジン表示領域との論理和領域に表示される、ホスト画像と、エンジンアプリケーションが一時停止された時点におけるエンジンアプリケーション画像との合成画像をいう。本明細書では、この意味で、「エンジンアプリケーション一時停止中画像」の用語を使用するものとする。
この場合には、エンジンアプリケーションが一時停止中には、エンジンアプリケーション一時停止中画像作成工程において、ホスト表示用領域と前記エンジン表示用領域とが重なる領域においてはホスト画像が優先するように、ホスト画像と当該エンジンアプリケーションが一時停止された時点におけるエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する。そして、エンジンアプリケーション一時停止中画像が、表示画面に表示される。この結果、1つの表示画面を使用しつつ、エンジンアプリケーションの一時停止中においては、ホスト画像を優先的に表示させるとともに、ホスト画像を乱さない範囲でエンジンアプリケーション画像が表示される。
ここで、前記エンジンアプリケーションが一時停止されたときに、前記エンジン表示用領域を縮小させるエンジン表示領域縮小工程を更に備えることとすることができる。この場合には、ホスト表示用領域とエンジン表示用領域との配置関係を、縮小時のエンジン表示領域の少なくとも一部がホスト表示用領域と重ならないように調整することにより、ホスト画像エンジンアプリケーション画像の完全な表示を確保しつつ、エンジンアプリケーションの一時停止中であっても、エンジンアプリケーション一時停止中画像の少なくとも一部を、ホスト画像と並行して表示することが可能となる。このため、エンジン表示領域の縮小と連動して、エンジンアプリケーション画像を縮小させる等することにより、エンジンアプリケーションが一時停止をしている状態であっても、エンジンアプリケーションの実行により構築された利用者の臨場感を継続させることができる。
また、本発明の連係動作方法では、前記エンジンアプリケーションが一時停止中において、前記表示画面の全領域を前記ホスト表示用領域とするとともに、前記ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることとすることができる。この場合には、エンジンアプリケーション一時停止中には、エンジンアプリケーション一時停止中画像表示工程において、表示画面の全領域をホスト表示用領域とするとともに、ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成する。そして、エンジンアプリケーション一時停止中画像表示工程において、当該エンジンアプリケーション一時停止中画像が表示画面に表示される。したがって、エンジンアプリケーションの一時停止中においては、ホスト画像が明瞭に表示画面に表示される。
本発明の連係動作方法では、前記エンジンアプリケーションが一時停止されたときに、前記エンジン表示用領域を縮小させるエンジン表示領域縮小工程と;前記エンジンアプリケーションの一時停止中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることとすることができる。
この場合には、エンジンアプリケーションが一時停止されたときには、エンジン表示領域縮小工程において、エンジン表示用領域が縮小される。そして、エンジンアプリケーション一時停止中には、エンジンアプリケーション一時停止中画像作成工程において、ホスト表示用領域とエンジン表示用領域とが重なる領域においてはエンジンアプリケーション画像が優先するように、ホスト画像と前記エンジンアプリケーションが一時停止された時点におけるエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する。そして、エンジンアプリケーション一時停止中画像表示工程において、エンジンアプリケーション一時停止中画像が表示画面に表示される。
この結果、ホスト表示用領域とエンジン表示用領域との配置関係、及び、エンジン表示領域の縮小率を調整しておくことにより、ホスト画像として確保すべき表示領域を確保しつつ、エンジンアプリケーション一時停止時におけるエンジンアプリケーション画像が並行して表示画面に表示される。このため、エンジン表示領域の縮小と連動して、エンジンアプリケーション画像を縮小される等することにより、エンジンアプリケーションが一時停止をしている状態であっても、エンジンアプリケーションの実行により構築された利用者の臨場感を継続させることができる。
本発明の通信端末装置は、ホストプロセッサを有し、外部との通信に関連する処理を行うホスト部と;エンジンプロセッサを有し、前記ホスト部の管理下でエンジンアプリケーションを実行するエンジン部と;画像を表示する表示画面を有する表示部と;前記ホスト部の制御のもとで、前記ホスト部からのホスト画像の情報と前記エンジン部からのエンジンアプリケーション画像の情報とに基づいて、前記表示画面に表示する表示画像を作成する表示画像作成部と;を備える通信端末装置であって、前記ホスト部が、前記エンジン部による前記エンジンアプリケーションの実行に際し、前記表示画面におけるホスト表示用領域を、前記エンジン部による前記エンジンアプリケーションの実行に際して採用される前記表示画面の使用方向に応じて定めるとともに、前記ホスト表示用領域に表示すべき画像データであるホスト画像を作成し、前記エンジン部が、前記エンジンアプリケーションの実行の進行に応じて、前記エンジンアプリケーションに対応して定まる前記表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成し、前記表示画像作成部が、前記エンジンアプリケーションが実行中の場合に、前記ホスト部からの指令に応じて、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成する、ことを特徴とする通信端末装置である。
この通信端末装置では、エンジン部によるエンジンアプリケーションの実行に際して、ホスト部が、表示画面においてホスト部が表示内容を定めるホスト表示用領域を、エンジン部による当該エンジンアプリケーションの実行に際して採用される表示画面の使用方向に応じて定める。引き続き、ホスト部が、ホスト表示用領域に表示すべき画像データであるホスト画像を作成する。また、エンジンアプリケーションが動作を開始すると、エンジン部が、エンジンアプリケーションの実行の進行に応じて、エンジンアプリケーションに対応して定まる表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成する。
こうしてエンジンアプリケーションの実行中におけるホスト画像とエンジンアプリケーション画像とが作成されると、表示画像作成部が、ホスト表示用領域とエンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、ホスト画像とエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成する。そして、エンジンアプリケーション実行中画像が表示部の表示画面に表示される。
すなわち、本発明の通信端末装置では、上述した本発明の連係動作方法を使用して、表示部への表示を行うことができる。したがって、本発明の通信端末装置によれば、装置全体をコンパクトに構築することができるとともに、利用者にとっての利便性を確保することができる。
本発明の通信端末装置では、前記表示画像作成部が、前記エンジンアプリケーションが一時停止中の場合には、前記ホスト部からの指令に応じて、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記ホスト画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する構成とすることができる。
この場合には、エンジンアプリケーションの一時停止中には、表示画像作成部が、ホスト表示用領域と前記エンジン表示用領域とが重なる領域においてはホスト画像が優先するように、ホスト画像と当該エンジンアプリケーションが一時停止された時点におけるエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する。そして、エンジンアプリケーション一時停止中画像が、表示画面に表示される。この結果、1つの表示画面を使用しつつ、エンジンアプリケーション一時停止中においては、ホスト画像を優先的に表示させるとともに、ホスト画像を乱さない範囲でエンジンアプリケーション画像が表示される。
ここで、前記表示画像作成部が、前記エンジンアプリケーションが一時停止されたときに、前記ホスト部からの指令に応じて、前記エンジン表示用領域を縮小させる構成とすることができる。この場合には、ホスト表示用領域とエンジン表示用領域との配置関係を、縮小時のエンジン表示領域の少なくとも一部がホスト表示用領域と重ならないように調整することにより、ホスト画像の完全な表示を確保しつつ、エンジンアプリケーション一時停止中であっても、エンジンアプリケーション一時停止中画像の少なくとも一部を、ホスト画像と並行して表示することが可能となる。このため、エンジン表示領域の縮小と連動して、表示画像作成部がエンジンアプリケーション画像を縮小される等することにより、エンジンアプリケーションが一時停止をしている状態であっても、エンジンアプリケーションの実行により構築された利用者の臨場感を継続させることができる。
また、本発明の通信端末装置では、前記表示画像作成部が、前記エンジンアプリケーションが一時停止中の場合には、前記ホスト部からの指令に応じて、前記表示画面の全領域を前記ホスト表示用領域とするとともに、前記ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成する構成とすることができる。この場合には、エンジンアプリケーションの一時停止中には、表示画像作成部が、表示画面の全領域をホスト表示用領域とするとともに、ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成する。そして、当該エンジンアプリケーション一時停止中画像が表示画面に表示される。したがって、エンジンアプリケーション一時停止中においては、ホスト画像が明瞭に表示画面に表示される。
また、本発明の通信端末装置では、前記表示画像作成部が、前記ホスト部からの指令に応じて、前記エンジンアプリケーションが一時停止されたときに、前記エンジン表示用領域を縮小させるとともに、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する構成とすることができる。
この場合には、エンジンアプリケーションが一時停止されたときには、表示画像作成部が、ホスト部からの指令に応じて、エンジン表示用領域を縮小させる。そして、エンジンアプリケーションの一時停止中には、表示画像作成部が、ホスト表示用領域とエンジン表示用領域とが重なる領域においてはエンジンアプリケーション画像が優先するように、ホスト画像と前記エンジンアプリケーションが一時停止された時点におけるエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する。
この結果、ホスト表示用領域とエンジン表示用領域との配置関係、及び、エンジン表示領域の縮小率を調整しておくことにより、ホスト画像として確保すべき表示領域を確保しつつ、エンジンアプリケーション一時停止時におけるエンジンアプリケーション画像が並行して表示画面に表示される。このため、エンジン表示領域の縮小と連動して、エンジンアプリケーション画像を縮小される等することにより、エンジンアプリケーションが一時停止をしている状態であっても、エンジンアプリケーションの実行により構築された利用者の臨場感を継続させることができる。
また、本発明の通信端末装置では、前記ホスト部が、前記ホストプロセッサに接続され、移動通信網の基地局と無線通信を行うための無線通信部を更に備える構成とすることができる。この場合には、本発明の通信端末装置を、携帯電話装置等の移動通信端末とすることができる。
以上説明したように、本発明の連係動作方法によれば、ホストプロセッサを備え、外部との通信に関連する処理を行うホスト部と、エンジンプロセッサを備え、ホスト部の管理下で所定の機能を実行するエンジン部とを備える構成において、利用者にとっての利便性を確保しつつ、装置全体をコンパクトに構築することができるという効果を奏する。
また、本発明の通信端末装置によれば、外部との通信に関連する処理を行うホスト部と、ホスト部の管理下で所定の機能を実行するエンジン部とを備えつつ、かつ、装置全体をコンパクトに構築することができるとともに、利用者にとっての利便性を確保することができるという効果を奏する。
本発明の一実施形態に係る携帯電話装置の展開状態における外観の正面図である。 本発明の一実施形態に係る携帯電話装置の展開状態における外観の右側面図である。 本発明の一実施形態に係る携帯電話装置の展開状態における外観の裏面図である。 図1A〜図1Cに示される携帯電話装置の機能構成を説明するためのブロック図である。 図2のホスト部の記憶部における不揮発性領域の内容を説明するための図である。 図2のエンジン部の記憶部の構成を説明するための図である。 図2のエンジンプロセッサの構成を説明するためのブロック図である。 図1A〜図1Cの携帯電話装置における、エンジンアプリケーション実行中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 図1A〜図1Cの携帯電話装置における、エンジンアプリケーション一時停止中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 図1A〜図1Cの携帯電話装置におけるエンジンアプリケーション停止中の画面表示例を示す図である。 図1A〜図1Cの携帯電話装置におけるエンジンアプリケーション実行中の画面表示例を示す図である。 図1A〜図1Cの携帯電話装置におけるエンジンアプリケーション一時停止中の画面表示例を示す図である。 第1変形例におけるエンジンアプリケーション実行中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 第1変形例におけるエンジンアプリケーション一時停止中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 第2変形例におけるホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 第2変形例におけるエンジンアプリケーション実行時以外の画面表示例を示す図である。 第2変形例におけるエンジンアプリケーション実行時の画面表示例を示す図である。 第3変形例におけるエンジンアプリケーション実行中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 第3変形例におけるエンジンアプリケーション一時停止中のホスト画像領域とエンジンアプリケーション画像領域を説明するための図である。 第3変形例におけるエンジンアプリケーション停止中の画面表示例を示す図である。 第3変形例におけるエンジンアプリケーション実行中の画面表示例を示す図である。 第3変形例におけるエンジンアプリケーション一時停止中の画面表示例を示す図である。
以下、本発明の一実施形態を、図1A〜図7Cを参照して説明する。なお、これらの図面においては、同一又は同等の要素には同一符号を付し、重複する説明を省略する。
図1A〜図2には、一実施形態に係る通信端末装置である携帯電話装置10の構成が概略的に示されている。この携帯電話装置10は、いわゆるクラムシェル型の折りたたみ可能な携帯電話装置である。ここで、図1Aには携帯電話装置10の展開状態における外観の正面図が示され、図1Bには携帯電話装置10の展開状態における外観の右側面図が示され、図1Cには携帯電話装置10の展開状態における外観の裏面図が示されている。また、図2には、携帯電話装置10の機能ブロック構成が示されている。
図1A〜図1Cに示されるように、携帯電話装置10は、第1部分11と、この第1部分11に対して、軸AX1を中心軸として回動可能な第2部分12とを備えている。
第1部分11には、図1Aに示されるように、(a)テンキー、ファンクションキー等の操作キーが配列された操作部21と、(b)通話時に音声を入力するためのマイクロフォン22とが配置されている。また、第1部分11における操作部21の配置面を正面としたときの背面側には、図1Cに示されるように、(c)着信音や案内音を発生するための案内用スピーカ26Sが配置されている。
第2部分12には、図1Aに示されるように、(d)操作案内、動作状況、受信メッセージ、後述する撮像部29による撮像結果、エンジンアプリケーションによる画像等を表示するメイン表示部25Mと、(e)通話時に通信相手から送られてきた音声信号を再生するスピーカ26Mと、(f)利用者に注意を喚起するためのLED(Light Emitting Diode)27とが配置されている。また、第2部分12におけるメイン表示部25Mの表示面を正面としたときの背面側には、図1Cに示されるように、(g)補助的な表示を行うサブ表示部25Sと、(h)結像光学系の視野内の像を撮像する撮像部29とが配置されている。
また、図2に示されるように、携帯電話装置10は、(i)着信時に携帯電話装置10を振動させて着信を利用者に通知するためのバイブレータ24と、(j)携帯電話装置10に作用している加速度及び携帯電話装置10の姿勢を検出するための加速度・姿勢センサ28を更に備えている。これらのバイブレータ24及び加速度・姿勢センサ28は、携帯電話装置10の内部に配置されている。
また、携帯電話装置10は、(k)通信機能等の携帯電話装置としての基本機能を果たすためのホスト部30と、(l)エンジンアプリケーションの実行を行うエンジン部40と、(m)ホスト部30からのホスト画像データHIDと、エンジン部40からのエンジンアプリケーション画像データEIDとに基づき、メイン表示部25Mに供給される表示画像データMIDを作成する表示画像作成部60とを備えている。これらのホスト部30、エンジン部40及び表示画像作成部60は、携帯電話装置10の内部に配置されている。
ホスト部30は、携帯電話装置10の全体を統括制御するホストプロセッサ31と、アンテナ33を介して通信信号の送受信を行うための無線通信部32と、プログラムやデータを格納する記憶部35とを備えている。ここで、無線通信部32及び記憶部35はホストプロセッサ31に接続されている。また、ホストプロセッサ31には、上述した操作部21、マイクロフォン22、案内用スピーカ26S、LED27、サブ表示部25S及びバイブレータ24も接続されている。
ホストプロセッサ31には、中央処理装置(CPU)機能、デジタル信号プロセッサ(DSP)機能が搭載されている。そして、ホストプロセッサ31が、記憶部35に格納されたホスト用プログラム38(図3参照)を読み出して実行することにより、通信機能動作等の基本機能動作や、エンジン部40との間における様々なデータのやりとりが行われる。
記憶部35は、様々なデータを一時的に記憶するための揮発性領域36と、プログラム等を恒久的に記憶するための不揮発性領域37とを備えている。揮発性領域36は、動作電力が供給されなくなると記憶内容が保証されなくなる揮発性記憶素子により構成されている。また、不揮発性領域37は、動作電力が供給されなくなっても記憶内容が保証される不揮発性記憶素子により構成されている。ここで、不揮発性領域37には、図3に示されるように、上記のホスト用プログラム38に加えて、エンジン部40において実行されるエンジン統括制御プログラム390、エンジンアプリケーション391,392,…が格納されている。
ここで、エンジンアプリケーション391,392,…のそれぞれの制御情報部には、メイン表示部25Mを使用する際の表示方向、すなわち、上述した図1Aにおけるメイン表示部25Mの縦方向(Y軸方向)を表示の縦方向として使うか、又は、横方向として使うかの指定が記載されている。また、エンジンアプリケーション391,392,…のそれぞれの制御情報部には、メイン表示部25Mを使用する際の領域の位置及び大きさの指定が記載されている。
図2に戻り、エンジン部40は、エンジン部40の全体を統括制御するエンジンプロセッサ41と、エンジンプロセッサ41が実行するプログラムやデータを記憶する記憶部42とを備えている。ここで、記憶部42は、エンジンプロセッサ41に接続されている。また、エンジンプロセッサ41には、上述したメイン表示部25M及びスピーカ26Mが接続されている。
記憶部42は、動作電力が供給されなくなると記憶内容が保証されなくなる揮発性記憶素子により構成されている。ここで、記憶部42には、図4に示されるように、上述したエンジン統括制御プログラム390が格納されるシステム領域46と、エンジンアプリケーション391,392,…のいずれか1つ以上が格納されるアプリケーション領域47とを備えている。
エンジンプロセッサ41は、図5に示されるように、制御処理部51と、ホストインターフェース部52とを備えている。また、エンジンプロセッサ41は、スピーカ26Mに供給される音信号MADとして、ホスト部30からのホスト音信号HAD及び制御処理部51からのエンジン音信号EADのいずれかを選択してスピーカ26Mへ供給するための音出力選択部54を備えている。
制御処理部51は、エンジン統括制御プログラム390、の制御のもとでエンジンアプリケーション391,392,…のいずれかを実行する。なお、制御処理部51は、3次元グラフィック処理機能及び音生成処理機能を有しており、上記のエンジンアプリケーション391,392,…のいずれかを実行する際に、3次元グラフィック処理機能及び音生成処理機能を発揮する。
ホストインターフェース部52は、ホスト部30と制御処理部51との間に位置し、ホスト部30との間で授受する各種コマンド及び各種データのバッファリングや各種制御信号の仲立ちを行う。このホストインターフェース部52は、2ポートRAM(Random Access Memory)素子を有している。
ホストインターフェース部52では、2ポートRAM素子の一方のポートにおいて、内部データ信号DT及び内部制御信号CNTにより制御処理部51と接続される。ここで、内部制御信号CNTには、制御処理部51がホストインターフェース部52へ向けて発行する、2ポートRAMからの内部読出指令信号及び2ポートRAMへの内部書込指令信号等が含まれている。また、内部制御信号CNTには、ホストインターフェース部52が制御処理部51へ向けて発行する、ホスト部30からエンジン部40へ向けてデータが送られたことを示す内部割込信号等が含まれている。
また、ホストインターフェース部52では、2ポートRAM素子の他方のポートにおいて、例えば8ビットパラレルのインターフェースデータ信号IDT及びインターフェース制御信号ICTによりホスト部30と接続される。ここで、インターフェース制御信号ICTには、ホスト部30がホストインターフェース部52へ向けて発行する、2ポートRAMからのインターフェース読出指令信号及び2ポートRAMへのインターフェース書込指令信号等が含まれている。また、インターフェース制御信号ICTには、ホストインターフェース部52がホスト部30へ向けて発行する、エンジン部40からホスト部30へ向けてデータが送られたことを示すインターフェース割込信号等が含まれている。
以上のような信号をやりとりすることにより、ホストインターフェース部52を介して、ホスト部30とエンジン部40の間で、必要に応じて付属データを伴う指令及び応答の授受が行われるようになっている。
音出力選択部54では、ホスト部30からのホスト出力制御信号HCT及び制御処理部51からのエンジン出力制御信号ECTによる指定に応じて、次のようにして、ホスト音信号HAD及びエンジンアプリケーション音信号EADの一方を音信号MADとして選択して出力する。すなわち、ホスト出力制御信号HCTによりホスト音の優先出力が指定された場合には、エンジン出力制御信号ECTによる指定にかかわらず、音出力選択部54は、ホスト音信号HADを選択して、音信号MADとして出力する。
また、ホスト出力制御信号HCTによりホスト音の優先出力が指定されておらず、かつ、エンジン出力制御信号ECTによるエンジンアプリケーション音出力が指定されている場合には、音出力選択部54は、エンジン音信号EADを選択して、音信号MADとして出力する。また、ホスト出力制御信号HCTによりホスト音の優先出力が指定されておらず、かつ、エンジン出力制御信号ECTによるエンジンアプリケーション音出力も指定されていない場合には、音出力選択部54は、ホスト音信号HADを選択して、音信号MADとして出力する。
図2に戻り、表示画像作成部60では、ホスト部30からのホスト出力制御信号HCT及び制御処理部51からのエンジン出力制御信号ECTによる指令に応じて、次のようにして、ホスト表示画像信号HIDによるホスト画像と、エンジン表示画像信号EIDによるエンジンアプリケーション画像とからメイン表示部25Mに表示する表示画像を作成し、表示画像信号MIDによりメイン表示部25Mへ出力する。すなわち、ホスト出力制御信号HCTによりホスト画像の優先出力指定された場合には、表示画像作成部60は、エンジン出力制御信号ECTによる指定にかかわらず、ホスト部30から事前に予め指定されたメイン表示部25Mの表示画面におけるホスト画像領域とエンジンアプリケーション画像領域との共通領域には、ホスト画像を優先した表示画像を作成する。そして、表示画像作成部60は、作成された表示画像を表示画像信号MIDによりメイン表示部25Mへ出力する。
また、ホスト出力制御信号HCTによりホスト画像の優先出力が指定されておらず、かつ、エンジン出力制御信号ECTによるエンジンアプリケーション画像出力が指定されている場合には、表示画像作成部60は、上記の共通領域においてエンジンアプリケーション画像を優先した表示画像を作成し、表示画像信号MIDによりメイン表示部25Mへ出力する。また、ホスト出力制御信号HCTによりホスト画像の優先出力が指定されておらず、かつ、エンジン出力制御信号ECTによるエンジンアプリケーション画像出力も指定されていない場合には、表示画像作成部60は、ホスト画像のみから表示画像を作成する。そして、表示画像作成部60は、作成された表示画像を表示画像信号MIDによりメイン表示部25Mへ出力する。
また、表示画像作成部60は、エンジンアプリケーション画像の内容がホストから指定されたエンジンアプリケーション画像用領域内に収まりきらない場合には、エンジンアプリケーション画像用領域内に収まるように、エンジンアプリケーション画像を縦方向及び横方法の双方について同一の倍率で縮小する。この後、表示画像作成部60は、上記のようにして、表示画像を作成し、表示画像信号MIDによりメイン表示部25Mへ出力する。
なお、ホスト部30は、エンジンアプリケーションのいずれもがエンジン部40において実行されていない(一時停止されている場合を含む)場合には、ホスト出力制御信号HCTによりホスト画像の優先出力を指定する。一方、ホスト部30は、エンジンアプリケーションのいずれかがエンジン部40において実行されている場合には、ホスト出力制御信号HCTによるホスト画像の優先出力の指定を行わない。
また、エンジン部40は、エンジンアプリケーションのいずれかを実行している場合又は一時停止している場合には、エンジン出力制御信号ECTによりエンジンアプリケーション画像出力を指定する。一方、エンジン部40は、エンジンアプリケーションのいずれもが停止している場合には、エンジン出力制御信号ECTによるエンジンアプリケーション画像出力の指定を行わない。
次に、上記のように構成された携帯電話装置10におけるホスト部30とエンジン部40との連係動作について、主にメイン表示部25Mへの表示に着目して説明する。
前提として、エンジン部40の記憶部42には、エンジン統括制御プログラム390及びエンジンアプリケーション391が既にロードされているものとする。かかるエンジン統括制御プログラム390及びエンジンアプリケーション391のロードは、次のようにして行われる。
まず、ホスト部30が、記憶部35の不揮発性領域37からエンジン統括制御プログラム390を読み出す。引き続き、ホスト部30は、エンジン統括制御プログラム390を付属データとするエンジン統括制御プログラムのロード指令を、インターフェースデータ信号IDTに反映させて、エンジン部40へ向けて送る。このエンジン統括制御プログラム390は、ホストインターフェース部52の2ポートRAMを介して、記憶部42のシステム領域46に格納される。
こうして、エンジン統括制御プログラム390の記憶部42への格納が終了すると、ホスト部30は、エンジン統括制御プログラムの実行開始命令を送信データとして、インターフェースデータ信号IDTに反映させて、エンジン部40へ向けて送る。この結果、制御処理部51が、エンジン統括制御プログラム390の実行を開始する。
次に、ホスト部30は、不揮発性領域37からエンジンアプリケーション391を読み出す。引き続き、ホスト部30は、エンジンアプリケーション391を付属データとするエンジンアプリケーション391のロード指令を、インターフェースデータ信号IDTに反映させて、エンジン部40へ向けて送る。このエンジンアプリケーション391は、ホストインターフェース部52の2ポートRAMを介して、記憶部42のアプリケーション領域47に格納される。
以上のようにして、記憶部42へのエンジン統括制御プログラム390及びエンジンアプリケーション391のロードが終了すると、その後におけるホスト部30からのエンジンアプリケーション391の実行開始指令に応答して、エンジン部40は、エンジンアプリケーション391の実行を開始できる状態となる。なお、エンジンアプリケーション391の実行が開始された後は、エンジン部40は、ホスト部30からのエンジンアプリケーション391の実行停止指令に応答してエンジンアプリケーション391の実行を停止したり、ホスト部30からのエンジンアプリケーション391の一時停止指令に応答してエンジンアプリケーション391の実行を一時停止したりする。また、エンジンアプリケーション391のロード後においては、ホスト部30からのエンジンアプリケーション391のアンロード指令に応答して、エンジン部40は、エンジンアプリケーション391を記憶部42からアンロードする。
また、前提として、エンジンアプリケーション391がメイン表示部25Mを使用する際の表示の縦方向は、上述した図1Aにおけるメイン表示部25Mの縦方向(Y軸方向)であるものとする。また、エンジンアプリケーション391の実行中又は一時停止中において、ホスト部30がメイン表示部25Mの表示画面においてホスト画像を表示するために使用するホスト画像領域HIAは、図6Aに示される位置及び大きさを有するものとする。また、エンジンアプリケーション391の実行中において、エンジンアプリケーション391がメイン表示部25の表示画面においてエンジンアプリケーション画像を表示するために使用するエンジンアプリケーション画像領域EIA11は、図6Aに示される位置及び大きさを有するものとする。
また、前提として、エンジンアプリケーション391が一時停止している場合のエンジンアプリケーション画像領域EIA2は、図6Bに示される位置及び大きさを有するものとする。このエンジンアプリケーション画像領域EIA2の位置及び大きさは、ホスト画像領域HIAとの関連において予め定められている。
<エンジンアプリケーション停止中の表示>
エンジン部40においてエンジンアプリケーション391が停止状態にある場合には、上述したように、ホスト部30(より詳しくは、ホストプロセッサ31により実行されるホスト用プログラム38)が、ホスト出力制御信号HCTによりホスト画像の優先出力を指定するととともに、エンジン部40がエンジン出力制御信号ECTによるエンジンアプリケーション画像出力の指定を行わない。このため、表示画像作成部60は、ホスト部30のホストプロセッサ31におけるホスト用プログラム38の実行により作成され、ホスト表示画像信号HIDによるホスト画像のみから表示画像を作成する。
また、エンジン部40においてエンジンアプリケーション391が停止状態にある場合には、ホスト部30は、通常表示方向である上述した図1Aにおける縦方向を表示における縦方向としつつ、メイン表示部25Mの画面全体を表示領域として、ホスト画像を表示する。この結果、メイン表示部25Mの表示画面には、図7Aに示されるように、メイン表示部25Mの表示画面の全領域において、ホスト画像が表示される。以後、エンジンアプリケーション391の実行が開始されるまで、図7Aに示される態様で表示が行われる。
<エンジンアプリケーション実行中の表示>
エンジンアプリケーション391の停止状態において、利用者からの操作部21を介したエンジンアプリケーション391の実行指令を受けると、ホスト部30では、ホストプロセッサ31が、記憶部35の不揮発性領域37からエンジンアプリケーション391の制御情報部から、メイン表示部25Mを使用する際の表示方向、メイン表示部25Mを使用する際のエンジンアプリケーション領域EIA11の位置及び大きさ指定を読み出す。引き続き、ホストプロセッサ31は、ホスト画像領域HIAの位置及び大きさ及びエンジンアプリケーション画像領域EIA11の位置及び大きさを表示画像作成部60へ通知するとともに、ホスト出力制御信号HCTによるホスト画像の優先出力の指定を止める。そして、ホスト部30は、ホスト画像領域HIAに合わせたホスト画像を作成して、表示画像作成部60へ送るとともに、エンジンアプリケーション391の指定を伴うエンジンアプリケーション391の実行開始指令をエンジン部40へ送る。
エンジンアプリケーション391の実行開始指令を受けたエンジン部40は、エンジンプロセッサ41で実行されるエンジン統括制御プログラム390が、エンジンアプリケーション391の実行を開始させるとともに、エンジン出力制御信号ECTによるエンジンアプリケーション画像出力の指定を行う。また、実行を開始したエンジンアプリケーション391は、エンジンアプリケーション画像を作成する。こうして作成されたエンジンアプリケーション画像は、エンジン部40は、エンジン表示画像信号EIDを使用して、表示画像作成部60へ送られる。
表示画像作成部60は、エンジン出力制御信号ECTによりエンジンアプリケーション画像出力の指定が行われていることから、ホスト部30からのホスト表示画像信号HIDによるホスト画像と、エンジン部40からのエンジンアプリケーション画像EIDに基づいて、表示画像を作成する。かかる表示画像の作成に際して、ホスト出力制御信号HCTによるホスト画像の優先出力の指定が行われていないことから、表示画像作成部60は、ホスト画像領域HIAのホスト画像上にエンジンアプリケーション画像領域EIA11内のエンジンアプリケーション画像を重ねた表示画像を作成する。
この結果、メイン表示部25Mの表示画面には、図7Bに示されるような画像が表示される。以後、エンジンアプリケーション391の実行が停止又は一時停止されるまで、図7Bに示される態様で表示が行われる。
<エンジンアプリケーション一時停止中の表示>
エンジンアプリケーション391の実行状態において、利用者からの操作部21を介したエンジンアプリケーション391の一時停止指令を受けたり、音声着信等の処理優先度がエンジンアプリケーション391の実行よりも高い特定イベントの発生を検出したりすると、ホスト部30は、ホスト出力制御信号HCTによりホスト画像の優先出力の指定を行うとともに、エンジンアプリケーション画像領域EIA2の位置及び大きさを表示画像作成部60へ通知する。また、ホスト部30は、エンジンアプリケーション391の指定を伴うエンジンアプリケーション391の一時停止指令をエンジン部40へ送る。
エンジンアプリケーション391の一時停止指令を受けたエンジン部40のエンジン統括制御プログラム390は、エンジンアプリケーション391の実行を一時停止させる。なお、エンジン部40からは、エンジン出力制御信号ECTによるエンジンアプリケーション画像出力の指定が維持される。また、エンジンアプリケーション391の実行が一時停止されると、エンジン部40は、当該一時停止をした時点におけるエンジンアプリケーション画像を出力し続ける。
表示画像作成部60は、エンジン出力制御信号ECTによりエンジンアプリケーション画像出力の指定が行われていることから、ホスト部30からのホスト表示画像信号HIDによるホスト画像と、エンジン部40からのエンジンアプリケーション画像EIDに基づいて、表示画像を作成する。かかる表示画像の作成に際して、ホスト出力制御信号HCTによるホスト画像の優先出力の指定が行われていることから、表示画像作成部60は、ホスト画像領域HIAのホスト画像上にエンジンアプリケーション画像領域EIA2内のエンジンアプリケーション画像を重ねた表示画像を作成する。なお。表示画像作成部60は、エンジンアプリケーション画像を縮小し、エンジンアプリケーション画像領域EIA2内に収まる大きさとする。
この結果、メイン表示部25Mの表示画面には、図7Cに示されるような画像が表示される。以後、エンジンアプリケーション391の実行が再開又は停止されるまで、図7Cに示される態様で表示が行われる。
以上説明したように、本実施形態では、エンジン部40によるエンジンアプリケーション391の実行に際して、ホスト部30が、表示画面においてホスト部が表示内容を定めるホスト表示用領域であるホスト画像領域HIAを、エンジン部40による当該エンジンアプリケーション391の実行に際して採用される表示画面の使用方向に応じて定める。引き続き、ホスト部30が、ホスト画像領域HIAに表示すべき画像データであるホスト画像を作成する。また、エンジンアプリケーション391が動作を開始すると、エンジン部40が、エンジンアプリケーション391の実行の進行に応じて、エンジンアプリケーションに対応して定まる表示画面におけるエンジンアプリケーション391が実行中のエンジン表示用領域であるエンジンアプリケーション画像領域EIA11に表示すべきエンジンアプリケーション画像を作成する。
こうしてエンジンアプリケーション391の実行中におけるホスト画像とエンジンアプリケーション画像とが作成されると、表示画像作成部60が、ホスト画像領域HIAとエンジンアプリケーション画像領域EIA11とが重なる領域においてはエンジンアプリケーション画像が優先するように、ホスト画像とエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成する。そして、エンジンアプリケーション実行中画像がメイン表示部25Mの表示画面に表示される。
したがって、本実施形態の携帯電話装置10によれば、装置全体をコンパクトに構築することができるとともに、利用者にとっての利便性を確保することができる。
また、エンジンアプリケーション391が一時停止中には、表示画像作成部60が、ホスト画像領域HIAとエンジンアプリケーション391が一時停止中のエンジン表示用領域であるエンジンアプリケーション画像領域EIA2とが重なる領域においてはホスト画像が優先するように、ホスト画像と当該エンジンアプリケーション391が一時停止された時点におけるエンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する。そして、エンジンアプリケーション一時停止中画像が、表示画面に表示される。この結果、1つの表示画面を使用しつつ、エンジンアプリケーションの一時停止中においては、ホスト画像を優先的に表示させるとともに、ホスト画像を乱さない範囲でエンジンアプリケーション画像が表示される。
また、エンジンアプリケーション391が一時停止された場合には、ホスト部30が、ホスト画像領域HIAとの重なり部分が小さなエンジンアプリケーション画像領域EIA2を設定する。また、表示画像作成部60が、エンジンアプリケーション画像領域EIA2に収まるようにエンジンアプリケーション画像を縮小する。このため、エンジンアプリケーション一時停止中においては、ホスト画像の完全な表示を確保しつつ、縮小されたエンジンアプリケーション画像の大部分をホスト画像と並行して表示することができる。このため、エンジンアプリケーション391が一時停止している状態であっても、エンジンアプリケーション391の実行により構築された利用者の臨場感を継続させることができる。
なお、上記の実施形態では、エンジン部40の記憶部42にロードされるエンジンアプリケーションを、エンジンアプリケーション391とした。これに対して、エンジン部40の記憶部42にロードされるエンジンアプリケーションは、エンジンアプリケーション391以外のものであってもよい。こうした場合において、エンジンアプリケーション画像領域EIA1j(j=1,2,…)は、エンジンアプリケーション39jごとに変化するが、ホスト画像領域HIA及びエンジンアプリケーション画像領域EIA2は、ホスト部30において予め定められており、エンジンアプリケーションの種類によっては変化しないようになっている。
また、上記の実施形態では、エンジン部40の記憶部42にロードされるエンジンアプリケーションの数を1つとした。これに対して、エンジン部40の記憶部42にロードされるエンジンアプリケーションの数は複数であってもよい。
また、上記の実施形態では、エンジンアプリケーション391がメイン表示部25Mを使用する際の表示の縦方向を、図1Aにおける縦方向(Y軸方向)とした。これに対して、エンジンアプリケーション391がメイン表示部25Mを使用する際の表示の縦方向を、図1Aにおける横方向(X軸方向)とすることもできる。この場合には、例えば、図8A及び図8Bに示されるようにホスト画像領域HIAL及びエンジンアプリケーション画像領域EIAL11,EIAL2が設定される。
また、上記の実施形態では、エンジンアプリケーション391の一時停止中に、一時停止時におけるエンジンアプリケーション画像の縮小画像の大部分を可視とするために、ホスト画像領域HIAを、メイン表示部25Mの表示画面の一部領域に設定した。これに対し、図9に示されるように、エンジンアプリケーション391が停止していない場合のホスト画像領域HIA’をメイン表示部25Mの表示画面の全領域とするとともに、エンジンアプリケーション391の一時停止中のエンジンアプリケーション画像領域を設定せずに、エンジンアプリケーション391の実行中のエンジンアプリケーション画像領域EIA1’1のみを設定することとしてもよい。
こうした方式を採用した場合には、エンジンアプリケーション391の実行時以外には、図10Aに示されるように、メイン表示部25Mの表示画面の全領域にホスト画像が表示される。また、エンジンアプリケーション391の実行時には、図10Bに示されるように、メイン表示部25Mの表示画面には、ホスト画像に重ねた態様でエンジンアプリケーション画像が表示される。この場合には、ホスト部30によるエンジンアプリケーション391の一時停止中のエンジンアプリケーション画像領域の設定や、表示画像作成部60におけるエンジンアプリケーション391の一時停止中のエンジンアプリケーション画像の縮小を行わずに済むので、装置の構成を簡易なものとすることができる。
また、上記の実施形態では、ホスト出力制御信号HCTによりホスト画像の優先出力の有無を指定するとともに、エンジン出力制御信号ECTによりエンジンアプリケーション画像の出力の有無を指定することとした。これに対し、ホスト出力制御信号HCTによりホスト画像の出力の有無を指定するとともに、エンジン出力制御信号ECTによりエンジンアプリケーション画像の優先出力の有無を指定することとしてもよい。この場合には、例えば、図11A及び図11Bに示されるように、エンジンアプリケーション391が停止していない場合のホスト画像領域HIA”、エンジンアプリケーション391実行中のエンジンアプリケーション画像領域EIA1”1及びエンジンアプリケーション391一時停止中のエンジンアプリケーション画像領域EIA2”を設定することにより、エンジンアプリケーション391の停止中、実行中及び一時停止中に図12A、図12B及び図12Cに示される画像がメイン表示部25Mの表示画面に表示される。したがって、ホスト画像の大部分の表示を確保しつつ、縮小されたエンジンアプリケーション画像をホスト画像と並行して表示することができる。このため、上記の実施形態の場合と同様に、エンジンアプリケーション391を一時停止している状態であっても、エンジンアプリケーション391の実行により構築された利用者の臨場感を継続させることができる。
また、ホストプロセッサ31は1つのプロセッサとすることもできるし、通信用プロセッサ及びアプリケーション統括用プロセッサの2プロセッサ構成とし、上記の実施形態におけるエンジン部40の制御をアプリケーション統括用プロセッサに行わせることとすることもできる。
また、上記の実施形態では、音出力選択部54がエンジンプロセッサ41に内蔵されることとしたが、エンジンプロセッサ41の外に配置することもできる。また、上記の実施形態では、表示画像作成部60がエンジンプロセッサ41の外に配置されることとしたが、エンジンプロセッサ41に内蔵されることとすることもできる。
また、上記の実施形態では、ホストインターフェース部52が2ポートRAMを備えることとしたが、ホスト部30とのインターフェーシングを図ることができる構成であれば、任意の構成とすることができる。
また、上記の実施形態では、携帯電話装置をクラムシェル型としたが、ストレート型、レボルバ型、スライド型等の携帯電話装置についても本発明を適用することができる。
また、上記の実施形態では、本発明を携帯電話装置に適用したが、他の通信端末装置に本発明を適用することができるのは、勿論である。
以上説明したように、本発明の連係動作方法は、ホストプロセッサを備えると共に、外部との通信に関連する処理を行うホスト部と、エンジンプロセッサを備え、ホスト部の管理下で所定の機能を実行するエンジン部との連係動作に適用することができる。
また、本発明は、外部との通信に関連する処理を行うホスト部と、ホスト部の管理下で所定の機能を実行するエンジン部とを備える通信端末装置適用することができる。

Claims (11)

  1. 外部との通信に関連する処理を行うホスト部と、前記ホスト部の管理下でエンジンアプリケーションを実行するエンジン部とが、通信端末装置において連係して動作する連係動作方法であって、
    前記エンジン部による前記エンジンアプリケーションの実行に際し、前記ホスト部が、表示画面において前記ホスト部が表示内容を定めるホスト表示用領域を、前記エンジン部による前記エンジンアプリケーションの実行に際して採用される前記表示画面の使用方向に応じて定めるホスト表示用領域定義工程と;
    前記ホスト部が、前記ホスト表示用領域に表示すべき画像データであるホスト画像を作成するホスト画像作成工程と;
    前記エンジンアプリケーションの実行の進行に応じて、前記エンジン部が、前記エンジンアプリケーションに対応して定まる前記表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成するエンジンアプリケーション画像作成工程と;
    前記エンジンアプリケーションの実行中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成するエンジンアプリケーション実行中画像作成工程と;
    前記エンジンアプリケーション実行中画像を前記表示画面に表示するエンジンアプリケーション実行中画像表示工程と;を備える連係動作方法。
  2. 前記エンジンアプリケーションの一時停止中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記ホスト画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;
    前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることを特徴とする請求項1に記載の連係動作方法。
  3. 前記エンジンアプリケーションが一時停止されたときに、前記エンジン表示用領域を縮小させるエンジン表示領域縮小工程を更に備える、ことを特徴とする請求項2に記載の連係動作方法。
  4. 前記エンジンアプリケーションの一時停止中において、前記表示画面の全領域を前記ホスト表示用領域とするとともに、前記ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;
    前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることを特徴とする請求項1に記載の連係動作方法。
  5. 前記エンジンアプリケーションが一時停止されたときに、前記エンジン表示用領域を縮小させるエンジン表示領域縮小工程と;
    前記エンジンアプリケーションの一時停止中において、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成するエンジンアプリケーション一時停止中画像作成工程と;
    前記エンジンアプリケーション一時停止中画像を前記表示画面に表示するエンジンアプリケーション一時停止中画像表示工程と;を更に備えることを特徴とする請求項1に記載の連係動作方法。
  6. ホストプロセッサを有し、外部との通信に関連する処理を行うホスト部と;
    エンジンプロセッサを有し、前記ホスト部の管理下でエンジンアプリケーションを実行するエンジン部と;
    画像を表示する表示画面を有する表示部と;
    前記ホスト部による制御のもとで、前記ホスト部からのホスト画像の情報と前記エンジン部からのエンジンアプリケーション画像の情報とに基づいて、前記表示画面に表示する表示画像を作成する表示画像作成部と;を備える通信端末装置であって、
    前記ホスト部は、前記エンジン部による前記エンジンアプリケーションの実行に際し、前記表示画面におけるホスト表示用領域を、前記エンジン部による前記エンジンアプリケーションの実行に際して採用される前記表示画面の使用方向に応じて定めるとともに、前記ホスト表示用領域に表示すべき画像データであるホスト画像を作成し、
    前記エンジン部は、前記エンジンアプリケーションの実行の進行に応じて、前記エンジン部が、前記エンジンアプリケーションに対応して定まる前記表示画面におけるエンジン表示用領域に表示すべきエンジンアプリケーション画像を作成し、
    前記表示画像作成部は、前記エンジンアプリケーションが実行中の場合には、前記ホスト部からの指令に応じて、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション実行中画像を作成する、ことを特徴とする通信端末装置。
  7. 前記表示画像作成部は、前記エンジンアプリケーションが一時停止中の場合には、前記ホスト部からの指令に応じて、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記ホスト画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する、ことを特徴とする請求項6に記載の通信端末装置。
  8. 前記表示画像作成部は、前記エンジンアプリケーションが一時停止されたときに、前記ホスト部からの指令に応じて、前記エンジン表示用領域を縮小させる、ことを特徴とする請求項7に記載の通信端末装置。
  9. 前記表示画像作成部は、前記エンジンアプリケーションが一時停止中の場合には、前記ホスト部からの指令に応じて、前記表示画面の全領域を前記ホスト表示用領域とするとともに、前記ホスト画像のみからなるエンジンアプリケーション一時停止中画像を作成する、ことを特徴とする請求項6に記載の通信端末装置。
  10. 前記表示画像作成部は、前記エンジンアプリケーションが一時停止されたときに、前記ホスト部からの指令に応じて、前記エンジン表示用画像を縮小するとともに、前記ホスト表示用領域と前記エンジン表示用領域とが重なる領域においては前記エンジンアプリケーション画像が優先するように、前記ホスト画像と前記エンジンアプリケーションが一時停止された時点における前記エンジンアプリケーション画像とを重ね合わせたエンジンアプリケーション一時停止中画像を作成する、ことを特徴とする請求項6に記載の通信端末装置。
  11. 前記ホスト部は、前記ホストプロセッサに接続され、移動通信網の基地局と無線通信を行うための無線通信部を更に備える、ことを特徴とする請求項6に記載の通信端末装置。
JP2007500518A 2005-01-25 2006-01-24 連係動作方法及び通信端末装置 Expired - Fee Related JP4664350B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005017245 2005-01-25
JP2005017245 2005-01-25
PCT/JP2006/301046 WO2006080306A1 (ja) 2005-01-25 2006-01-24 連係動作方法及び通信端末装置

Publications (2)

Publication Number Publication Date
JPWO2006080306A1 JPWO2006080306A1 (ja) 2008-06-19
JP4664350B2 true JP4664350B2 (ja) 2011-04-06

Family

ID=36740336

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007500518A Expired - Fee Related JP4664350B2 (ja) 2005-01-25 2006-01-24 連係動作方法及び通信端末装置

Country Status (6)

Country Link
US (1) US8400469B2 (ja)
EP (1) EP1843553A4 (ja)
JP (1) JP4664350B2 (ja)
KR (1) KR101259476B1 (ja)
CN (1) CN101116314B (ja)
WO (1) WO2006080306A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4860288B2 (ja) * 2006-02-08 2012-01-25 シャープ株式会社 携帯端末
JP4935796B2 (ja) 2008-10-30 2012-05-23 富士ゼロックス株式会社 表示制御装置、画像形成装置及びプログラム
KR101690786B1 (ko) 2010-02-12 2016-12-28 삼성전자주식회사 멀티태스킹 수행 장치 및 방법
CN103135970A (zh) * 2011-11-28 2013-06-05 鸿富锦精密工业(深圳)有限公司 产品局部报告系统及方法
EP2769689B8 (en) * 2013-02-25 2018-06-27 Stryker European Holdings I, LLC Computer-implemented technique for calculating a position of a surgical device
US9329692B2 (en) * 2013-09-27 2016-05-03 Microsoft Technology Licensing, Llc Actionable content displayed on a touch screen
US9930162B2 (en) * 2014-12-02 2018-03-27 Facebook, Inc. Techniques for enhancing content on a mobile device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222336A (ja) * 1997-02-07 1998-08-21 Hitachi Ltd アプリケーション統合方式
JPH11161255A (ja) * 1997-11-25 1999-06-18 Ricoh Co Ltd 画像表示装置
JPH11284771A (ja) * 1998-01-31 1999-10-15 Nec Shizuoka Ltd 発信者情報表示が可能な通信装置と発信者関連情報の表示方法
JP2002111805A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯電話端末及びそれに用いる画面遷移制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5075675A (en) * 1988-06-30 1991-12-24 International Business Machines Corporation Method and apparatus for dynamic promotion of background window displays in multi-tasking computer systems
EP0439087B1 (en) * 1990-01-25 1996-12-11 Radius Inc. Method for resizing and moving computer display windows
EP1036391B1 (en) 1997-11-12 2010-07-21 Palus A1, LLC Automatically switching a user's interface from a program to another program while the first is processing
CA2260392C (en) * 1998-01-31 2002-11-19 Kunio Nagashima Communication system capable of displaying addresser information and method for displaying addresser-related information
JP2002077329A (ja) * 2000-08-31 2002-03-15 Nintendo Co Ltd 電子装置
US20020110246A1 (en) * 2001-02-14 2002-08-15 Jason Gosior Wireless audio system
US20020173344A1 (en) 2001-03-16 2002-11-21 Cupps Bryan T. Novel personal electronics device
WO2002093879A1 (de) 2001-05-14 2002-11-21 Siemens Aktiengesellschaft Mobilfunkgerät
KR20030056054A (ko) 2001-12-27 2003-07-04 에스케이텔레텍주식회사 이동통신단말기에 있어서 화면 가로보기 기능 제공 방법
US6981242B2 (en) * 2002-01-11 2005-12-27 Hewlett-Packard Development Company, L.P. System and method for developing custom operator-specific software-applications
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7023421B2 (en) * 2002-11-26 2006-04-04 Motorola, Inc. Subscriber device with adaptable user interface and method thereof
KR100593982B1 (ko) * 2003-11-06 2006-06-30 삼성전자주식회사 가상 그래피티를 제공하는 장치 및 방법과 그에 따른기록매체
US20050164688A1 (en) * 2004-01-27 2005-07-28 Kyocera Corporation Mobile terminal, method for controlling mobile telephone terminal, and mobile telephone terminal
US20080055256A1 (en) * 2006-08-31 2008-03-06 Intel Corporation Touch screen controller with embedded overlay

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222336A (ja) * 1997-02-07 1998-08-21 Hitachi Ltd アプリケーション統合方式
JPH11161255A (ja) * 1997-11-25 1999-06-18 Ricoh Co Ltd 画像表示装置
JPH11284771A (ja) * 1998-01-31 1999-10-15 Nec Shizuoka Ltd 発信者情報表示が可能な通信装置と発信者関連情報の表示方法
JP2002111805A (ja) * 2000-09-27 2002-04-12 Nec Corp 携帯電話端末及びそれに用いる画面遷移制御方法

Also Published As

Publication number Publication date
JPWO2006080306A1 (ja) 2008-06-19
WO2006080306A1 (ja) 2006-08-03
KR101259476B1 (ko) 2013-05-06
EP1843553A1 (en) 2007-10-10
CN101116314A (zh) 2008-01-30
KR20070100763A (ko) 2007-10-11
EP1843553A4 (en) 2009-06-03
US20080020804A1 (en) 2008-01-24
US8400469B2 (en) 2013-03-19
CN101116314B (zh) 2010-06-16

Similar Documents

Publication Publication Date Title
JP4365863B2 (ja) 連係動作方法及び移動通信端末装置
JP4664350B2 (ja) 連係動作方法及び通信端末装置
JP5201599B2 (ja) 端末装置、および、プログラム
WO2021115194A1 (zh) 一种应用图标的显示方法及电子设备
US20080280641A1 (en) Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
TW202007142A (zh) 視頻檔案的生成方法、裝置及儲存媒體
JP2007166474A (ja) 情報通信端末
JP4722121B2 (ja) 連係動作方法及び通信端末装置
JP5010605B2 (ja) イベント処理装置
JP2007206737A (ja) プログラム開発支援装置
JPWO2006003920A1 (ja) 連係動作方法及び移動通信端末装置
JPWO2006129463A1 (ja) 連係動作方法及び通信端末装置
JP4578475B2 (ja) 連係動作方法及び移動通信端末装置
JP4149893B2 (ja) 移動体通信端末及びアプリケーションプログラム
JP4331239B2 (ja) 移動体通信端末及びアプリケーションプログラム
JP5108326B2 (ja) エンジンの利用管理方法及び移動通信端末装置
CN116567489A (zh) 一种音频数据处理方法及相关装置
CN117992159A (zh) 显示方法及折叠屏设备
JP2009207154A (ja) 移動体通信端末及びアプリケーションプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees