JP5585889B2 - 表示データ生成装置及び表示制御システム並びに表示制御プログラム - Google Patents

表示データ生成装置及び表示制御システム並びに表示制御プログラム Download PDF

Info

Publication number
JP5585889B2
JP5585889B2 JP2011181343A JP2011181343A JP5585889B2 JP 5585889 B2 JP5585889 B2 JP 5585889B2 JP 2011181343 A JP2011181343 A JP 2011181343A JP 2011181343 A JP2011181343 A JP 2011181343A JP 5585889 B2 JP5585889 B2 JP 5585889B2
Authority
JP
Japan
Prior art keywords
display
display data
user
data generation
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011181343A
Other languages
English (en)
Other versions
JP2013045210A (ja
Inventor
俊介 ▲高▼村
茂枝子 萩原
俊博 本井
洋一 河渕
恭彦 山口
健太 保坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2011181343A priority Critical patent/JP5585889B2/ja
Priority to US13/586,072 priority patent/US20130055109A1/en
Publication of JP2013045210A publication Critical patent/JP2013045210A/ja
Application granted granted Critical
Publication of JP5585889B2 publication Critical patent/JP5585889B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示データ生成装置及び表示制御システム並びに表示制御プログラムに関し、特に、複数人が共有する画面に表示する表示データを生成する表示データ生成装置及び表示データ生成装置を含む表示制御システム並びに表示データ生成装置で動作する表示制御プログラムに関する。
会議等では、複数のユーザが利用可能な共有画面を用い、その共有画面に文字や図形、画像などの表示要素(以下、オブジェクトと呼ぶ。)を書き込んで議論が行われる。このような共有画面では、画面を縮小して今までの議論全体を俯瞰する場合に、一定の縮小比で画面を縮小してしまうとオブジェクトが判読できなくなってしまうことがある。このような背景から、重要なオブジェクトについてはサイズを大きくするなどして強調表示し、議論全体の流れや構成を把握しやすくする方法が用いられる。
特定のオブジェクトを強調表示する技術に関して、例えば、下記特許文献1には、表示部と、Webページを取得するページ取得手段と、このページ取得手段により取得されたWebページを前記表示部に表示させるページ表示制御手段と、このページ表示制御手段により前記表示部に表示されたWebページに対してユーザ所望の操作を実行するユーザ操作実行手段と、このユーザ操作実行手段により実行された前記Webページに対するユーザ操作の履歴を記憶する操作履歴記憶手段と、前記ページ表示制御手段により前記Webページを前記表示部に表示させる際に、前記操作履歴記憶手段により記憶された当該Webページに対するユーザ操作の履歴に基づき、当該Webページ上でユーザ操作の頻度が高い部分を強調して表示させる強調表示制御手段と、を備えた情報表示装置が開示されている。
また、下記特許文献2には、発券端末などの自動機において、入力フォーマットを自由に選択できるタッチパネル装置を用い、入力頻度の高い項目を先頭に並び換えることができる学習機能および入力頻度の高い項目を拡大、色分けすることができる強調機能を有し、さらに、出力処理が終るまで、保持する出力監視機能を有したタッチパネル入力装置が開示されている。
特開2009−009519号公報 特開平05−165570号公報
複数のオブジェクトを配置して表示する場合に、特定のオブジェクトを強調表示することによって、どのオブジェクトが重要であるかを判別しやすくすることができる。しかしながら、どのオブジェクトを強調表示するかをユーザが設定するのは面倒である。
また、1人が操作する場合においては、特許文献1、2に示すように、オブジェクトの操作頻度に応じて強調表示することもできる。しかしながら、この方法では、1人が何度も操作したオブジェクトが強調されてしまうため、オブジェクトが表示された画面を複数人のグループで利用する場合には、グループ全体にとって重要なオブジェクトを正しく認識することができないという問題がある。
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、複数人で共有する画面に複数のオブジェクトを表示する際に、適切なオブジェクトを強調して表示することができる表示データ生成装置及び表示制御システム並びに表示制御プログラムを提供することにある。
上記目的を達成するため、本発明は、複数のユーザが利用する共有画面に複数のオブジェクトを表示させる表示データを生成する表示データ生成装置であって、各々のオブジェクトに対するユーザの操作履歴情報を記憶する記憶部と、いずれかのオブジェクトに対する操作を検出したら、前記操作を行ったユーザを識別し、前記操作履歴情報を参照して、前記操作を行ったユーザが、前記オブジェクトを初めて操作したユーザであるかを判定し、初めて操作したユーザであれば、前記オブジェクトの表示形態を変更すると判定する処理判定部と、前記処理判定部の判定結果に従って、前記オブジェクトの表示形態を変更した表示データを生成する画像処理部と、を少なくとも備えるものである。
また、本発明は、複数のユーザが利用する共有画面に複数のオブジェクトを表示させる表示データを生成する装置で動作する表示制御プログラムであって、前記装置を、いずれかのオブジェクトに対する操作を検出したら、前記操作を行ったユーザを識別し、予め記憶された、各々のオブジェクトに対するユーザの操作履歴情報を参照して、前記操作を行ったユーザが、前記オブジェクトを初めて操作したユーザであるかを判定し、初めて操作したユーザであれば、前記オブジェクトの表示形態を変更すると判定する処理判定部、前記処理判定部の判定結果に従って、前記オブジェクトの表示形態を変更した表示データを生成する画像処理部、として機能させるものである。
本発明の表示データ生成装置及び表示制御システム並びに表示制御プログラムによれば、複数人で共有する画面に複数のオブジェクトを表示する際に、適切なオブジェクトを強調して表示することができる。
その理由は、表示データ生成装置(表示制御プログラム)は、複数人が利用する共有画面に表示されているオブジェクトに対する操作(オブジェクトの移動や修飾、関連するオブジェクトの作成、オブジェクトに関連付けられた文言の発音など)が行われた時、操作を行った操作者を識別し、操作者の変化に応じてそのオブジェクトの表示形態(サイズや濃度、色など)を変更して強調表示する制御を行うからである。
また、予め記憶した操作履歴情報を参照して、識別した操作者が、そのオブジェクトに対して初めて操作を行った操作者であるかを判定し、初めて操作を行った操作者の場合は、オブジェクトの表示形態を変更する制御を行ったり、操作者の合計人数に応じてオブジェクトの表示形態の変更量を調整する制御を行ったりするからである。
本発明の一実施例に係る表示制御システムの構成を模式的に示す図である。 図1の表示制御システムの構成を示すブロック図である。 本発明の一実施例に係る表示制御システムの他の構成を模式的に示す図である。 図3の表示制御システムの構成を示すブロック図である。 本発明の一実施例に係る表示制御システムの動作を示すフローチャート図である。 本発明の一実施例に係る表示形態の変更方法の一例を示す図である。 本発明の一実施例に係る表示形態の変更方法の他の例を示す図である。 本発明の一実施例に係る表示形態の変更方法の他の例を示す図である。 本発明の一実施例に係る操作履歴情報の一例を示す図である。 本発明の一実施例に係る操作履歴情報の他の例を示す図である。 本発明の一実施例に係る表示形態の変更方法の他の例を示す図である。 本発明の一実施例に係る共有画面の遷移例を示す図である。
背景技術で示したように、会議等では複数のユーザが利用する共有画面を用いることが多いが、複数のオブジェクトを表示する際に一様に表示すると、どのオブジェクトが重要であるのかが分かりにくい。特に、共有画面を縮小して議論全体を俯瞰する場合、各々のオブジェクトが小さく表示されて判読できなくなってしまい、議論全体の流れや構成を把握するのが困難になる。
ここで、特定のオブジェクトを強調して表示する方法として、強調表示したいオブジェクトをユーザが設定する方法が考えられるが、この方法では、ユーザがその都度オブジェクトを選択しなければならず面倒である。また、特許文献1、2のように、1人で操作する場合においては、オブジェクトの操作頻度に応じて強調表示するという方法も考えられるが、この方法では、1人が何度も操作したオブジェクトが強調されてしまい、複数人のグループで画面を共有する場合、重要なオブジェクトを正しく認識することができないという問題がある。
そこで、本発明の一実施の形態では、共有画面内に複数のオブジェクト(文字や図形など)を配置して表示する際に、オブジェクトを操作した操作者の変化に応じてオブジェクトの表示形態を変える(強調する)ようにする。さらに、そのオブジェクトを初めて操作する者が操作した場合に、オブジェクトの表示形態を変えるようにする。
具体的には、複数人が利用する共有画面に表示されているオブジェクトに対する操作(オブジェクトの移動や修飾、関連するオブジェクトの作成、オブジェクトに関連付けられた文言の発音など)が行われた時、操作を行った操作者を識別し、操作者の変化に応じて(すなわち、異なる操作者がそのオブジェクトを操作した時に)、オブジェクトの表示形態(サイズや濃度、色など)を変更して強調表示する。また、予め記憶した操作履歴情報を参照して、識別した操作者が、そのオブジェクトに対して初めて操作を行った操作者であるかを判定し、初めて操作を行った操作者であれば、オブジェクトの表示形態を変更したり、初めて操作を行った操作者の人数に応じて、そのオブジェクトの表示形態の変更量を調整したりする。
このように、操作者の変化に応じてオブジェクトを強調して表示させることで、画面が見やすくなり、また、全体の構成を把握しやすくすることができる。また、操作人数に応じてオブジェクトを強調して表示させることで、参加メンバー全体としての注目度をより正しく反映することができる。また、共有画面に書き込まれた内容の全体を俯瞰表示した時に、重要なオブジェクトが他より大きく表示されるため、重要なオブジェクトを見落とすことがなくなる。
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る表示データ生成装置及び表示制御システム並びに表示制御プログラムについて、図1乃至図12を参照して説明する。図1、3は、本実施例の表示制御システムの構成を模式的に示す図であり、図2、4は、表示制御システムの構成を示すブロック図である。また、図5は、本実施例の表示制御システムの動作を示すフローチャート図であり、図6−8、11は、本実施例の表示形態の変更方法の一例を示す図である。また、図9、10は、操作履歴情報の一例を示す図であり、図12は、本実施例の共有画面の遷移例を示す図である。
本実施例の表示制御システムは、複数のユーザが利用する共有画面に複数のオブジェクトを表示させるためのデータ(以下、表示データと呼ぶ。)を生成する表示データ生成装置と、表示データに基づいて複数のオブジェクトを表示する表示装置と、を備えている。なお、表示データ生成装置と表示装置とは別々の装置としてもよいし、一体の装置としてもよい。
この表示制御システムは、ユーザが操作端末を用いてオブジェクトを操作する場合と、表示装置上で直接オブジェクトを操作する場合とで異なる構成となる。以下、各々の場合の構成について、図面を参照して説明する。
図1は、本実施例の表示制御システム10の第1の構成を模式的に示す図であり、表示制御システム10は、複数のオブジェクトを含む表示データを生成して共有画面に表示させる表示データ生成装置20と、共有画面に表示されたオブジェクトに対して各操作者が操作を行う操作端末30などで構成される。以下、図2を参照して、各装置の詳細を説明する。
[表示データ生成装置]
表示データ生成装置20は、表示部21と、通信部22と、処理判定部23と、記憶部24と、画像処理部25などで構成される。
表示部21は、液晶表示装置(LCD:Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等からなり、複数のユーザが利用する共有画面を提供する。この共有画面には、複数のオブジェクトが表示され、複数のオブジェクトは個々に選択できるようになっている。
通信部22は、NIC(Network Interface Card)やモデムなどで構成され、有線通信や無線通信によりネットワークに接続された操作端末30と交信し、操作端末30から操作情報や操作者の識別情報などを受信する。
判定処理部23は、通信部22を介して、操作端末30から操作情報や操作者の識別情報などを取得し、オブジェクトに対する操作を検出すると、記憶部24に保存されている操作履歴情報と取得した操作者の識別情報とを照合し、その操作者が、そのオブジェクトに対して初めて操作を行った操作者であるかどうかを判定する。そして、初めて操作を行った操作者である場合には、オブジェクトの表示形態を変更するように、画像処理部25に指示を出す。
記憶部24は、ROM(Read Only Memory)やRAM(Random Access Memory)などのメモリ、HDD(Hard Disk Drive)などで構成され、オブジェクトのデータと、各オブジェクトに対する操作履歴情報(どのオブジェクトを過去に誰が操作したかを示す情報)を保存する。
画像処理部25は、記憶部24に保存されているオブジェクトのデータを合成して共有画面に表示する表示データを生成し、表示部21に送ると共に、通信部22を介して操作端末30に送信する。また、画像処理部25は、処理判定部23から指示を受け取った場合は、指示に従い、操作者の変化に応じて(例えば、そのオブジェクトを初めて操作した操作者の人数に応じて)、オブジェクトの表示形態を変更し、変更した表示形態でオブジェクトを表示させる表示データを生成する。
[操作端末]
操作端末30は、認証部31と、通信部32と、操作部33と、表示部34などで構成される。
認証部31は、操作部33により入力されたユーザIDやパスワードなどのユーザ情報と、予め記憶したユーザ情報とを比較し、操作者を認証する。なお、認証方法はユーザIDやパスワードなどに限定されず、指紋パターンや静脈パターンなどの生体情報を用いることもできる。
通信部32は、NICやモデムなどで構成され、有線通信や無線通信によりネットワークに接続された表示データ生成装置20と交信し、表示データ生成装置20から共有画面に表示している画面の表示データを受信したり、表示データ生成装置20に操作情報や操作者の識別情報などを送信したりする。
操作部33は、マウスやキーボードなどで構成され、ユーザ情報の入力や表示部34に表示されているオブジェクトに対する操作(オブジェクトの移動や修飾、関連するオブジェクトの作成などの操作)を受け付ける。
表示部34は、液晶表示装置や有機EL表示装置等からなり、表示データ生成装置20から取得した表示データに基づいて、共有画面と同じ画面を表示する。
上記表示制御システム10の概略動作について説明する。ユーザは、操作端末30の認証部31にて個人認証を行う。これにより、操作端末30は操作者の識別情報を取得する。次に、操作端末30は、通信部32を介して、表示データ生成装置20から共有画面に表示している表示データを受け取り、表示部34に表示させる。
そして、ユーザが、表示部34に表示されている画面を見ながら、操作部33を操作して、オブジェクトの操作を指示すると、通信部32は、操作情報および操作者の識別情報を表示データ生成装置20に送る。
表示データ生成装置20は、通信部22を介して、操作端末30からの操作情報および操作者の識別情報を受け取ると、処理判定部23は、記憶部24に記憶されている操作履歴情報と照合して、オブジェクトの操作者を識別し、操作者の変化に応じて(例えば、操作者がそのオブジェクトを初めて操作したかに応じて)、オブジェクトの表示形態を変更するか否かを判定する。そして、オブジェクトの表示形態を変更する場合は、画像処理部25に表示形態の変更指示を行う。
画像処理部25は、処理判定部23から受け取った指示に基づき、操作者の変化に応じて(例えば、そのオブジェクトを初めて操作した操作者の人数に応じて)、オブジェクトの表示形態の変更(各オブジェクトの拡大/縮小)を行う。そして、それらのオブジェクトを合成して表示データを生成して表示部21に送る。表示部21は、その表示データに基づいて表示形態を変更したオブジェクトを共有画面に表示する。
図3は、本実施例の表示制御システム10の第2の構成を模式的に示す図であり、表示制御システム10は、複数のオブジェクトを含む表示データを生成して共有画面に表示させる表示データ生成装置20と、各ユーザを識別するための識別端末40などで構成される。以下、図4を参照して、各装置の詳細を説明する。
[表示データ生成装置]
表示データ生成装置20は、表示部21と、処理判定部23と、記憶部24と、画像処理部25と、受信部26と、操作部27などで構成される。なお、表示部21、処理判定部23、記憶部24、画像処理部25の構成は前記した通りであるため、説明は省略する。
受信部26は、人体(誘電体)を通信媒体として利用する通信方式によって識別端末40と交信するための受信器であり、表示部21上や表示部21近傍に設置される。この受信部26は、識別端末40の
操作者と近接することにより識別端末40から操作者の識別情報を受信する。
操作部27は、表示部21の前面又は背面に、透明電極が格子状に配置された感圧方式若しくは静電容量方式のタッチパネル等であり、共有画面に表示されているオブジェクトに対する操作(オブジェクトの移動や修飾、関連するオブジェクトの作成などの操作)を受け付ける。
[識別端末]
識別端末40は、送信部41と、記憶部42などで構成される。
送信部41は、人体(誘電体)を通信媒体として利用する通信方式によって表示データ生成装置20と交信するための送信器であり、電流方式の場合は操作者の体に電流を流し、電界方式の場合は、操作者の体表面の静電気の層に信号を与え、表示データ生成装置20に操作者の識別情報などを送信する。
記憶部42は、ROMやRAMなどで構成され、操作者の識別情報などを保存する。
上記表示制御システム10の概略動作について説明する。ユーザが表示データ生成装置20の表示部21に表示されているオブジェクトに対して操作を行うと、識別端末40の送信部41は、ユーザの体を通して(人体通信)、表示データ生成装置20に操作者の識別情報を送る。表示データ生成装置20の受信部26は、識別端末40から操作者の識別情報を受け取る。
処理判定部23は、操作部27(タッチパネル)から操作情報を取得し、受信部26から操作者の識別情報を取得すると、記憶部24に記憶されている操作履歴情報と照合して、オブジェクトの操作者を識別し、操作者の変化に応じて(例えば、操作者がそのオブジェクトを初めて操作したかに応じて)、オブジェクトの表示形態を変更するか否かを判定する。そして、オブジェクトの表示形態を変更する場合は、画像処理部25に表示形態の変更指示を行う。
画像処理部25は、処理判定部23から受け取った指示に基づき、操作者の変化に応じて(例えば、そのオブジェクトを初めて操作した操作者の人数に応じて)、オブジェクトの表示形態の変更(各オブジェクトの拡大/縮小)を行う。そして、それらのオブジェクトを合成して表示データを生成して表示部21に送る。表示部21は、その表示データに基づいて表示形態を変更したオブジェクトを共有画面に表示する。
なお、ここでは、操作端末30や識別端末40が表示データ生成装置20に対して識別情報を送る構成としたが、例えば、会議室全体を撮影するカメラを設置し、カメラ画像から操作者を認識することもできる。この場合、カメラ側で画像認識を行って操作者を識別し、操作者の識別情報を表示データ生成装置20に送信する構成としてもよいし、カメラからカメラ画像を受け取った表示データ生成装置20側で画像認識を行って操作者を識別する構成としてもよい。
また、参加者がそれぞれRFID(Radio Frequency Identification)タグを持ち、表示データ生成装置20の表示部21に設けたRFIDリーダでRFIDタグを検出して位置を特定し、その位置情報と操作が行われた(書き込まれた)位置や時刻から、操作情報と操作者の識別情報とを対応付けるようにしてもよい。また、Bluetooth(登録商標)に代表される近距離無線通信や赤外線通信などを用いて表示データ生成装置20と識別端末40とで交信することによって位置を特定し、その位置情報と操作が行われた位置や時刻から、操作情報と操作者の識別情報とを対応付けるようにしてもよい。
また、図1乃至図4では、表示データ生成装置20に表示部21を備える構成としているが、表示部21(図3及び図4の構成の場合は、表示部21と受信部26と操作部27)を独立した表示装置として構成し、表示データ生成装置20が表示装置の表示を制御する構成としてもよい。
また、表示データ生成装置20の処理判定部23及び画像処理部25は、ハードウェアとして構成してもよいし、表示データ生成装置20を処理判定部23及び画像処理部25として機能させる表示制御プログラムとして構成し、当該表示制御プログラムを、表示データ生成装置20上で動作させる構成としてもよい。
以下、本実施例の表示制御システム10(図3及び図4の構成の表示制御システム10)の動作について、図5のフローチャート図を参照して説明する。
まず、表示データ生成装置20は、操作部27によってオブジェクトに対する操作が行われたか(図1及び図2の構成の表示制御システム10の場合は、操作端末30から操作情報を受信したか)を判断する(S101)。オブジェクトに対する操作が行われた場合は、操作部27は操作情報を処理判定部23に通知し、通信部22は、識別端末40から取得した操作者の識別情報を処理判定部23に通知する。そして、処理判定部23は、操作情報に基づいて操作部27でどのオブジェクトが操作されたかを識別すると共に、操作者の識別情報に基づいて操作者を識別する(S102)。
次に、処理判定部23は、操作されたオブジェクトの操作履歴情報を記憶部24から取り出して照合し、その操作者が以前にそのオブジェクトを操作したことがあるかを確認する(S103)。その操作者が以前にそのオブジェクトを操作したことがあった場合(S104のNoの場合)は、何も行わずにS101に戻る。一方、初めての操作だった場合(S104のYesの場合)は、そのオブジェクトの操作履歴情報に、その操作者の識別情報を追加する(S105)。
そして、処理判定部23は、画像処理部25にそのオブジェクトの表示形態の変更指示を送り、画像処理部25は、処理判定部23の指示に従って、そのオブジェクトの表示形態を変更する(S106)。そして、画像処理部25は、新たな表示形態(操作されていないオブジェクトに関してそのままの表示形態で)でオブジェクトを表示する表示データを生成して表示部21に送り、表示部21は、その表示データに基づいて、共有画面に新たな表示形態でオブジェクトを表示する。その後、S101に戻って、オブジェクトの操作を監視する。
以下、オブジェクトの表示形態の変更方法について図面を参照して説明する。
図6は、オブジェクトの表示サイズを変える場合の例であり、標準の表示サイズを基準にして、操作人数(そのオブジェクトを初めて操作した操作者の人数)に応じてオブジェクトの表示サイズを変えるようにする。例えば、操作人数が1人増えるごとに20%ずつ表示倍率を大きくする場合は、操作人数が5人になると表示倍率は5人×20%=100%増加して200%となり、操作人数が10人になると表示倍率は10人×20%=200%増加して300%となる。なお、操作が行われるたびに、オブジェクトを現在の表示サイズから一定の割合(120%など)で拡大するようにしてもよい。また、一定の割合ではなく、操作人数に応じて変化の割合を徐々に大きく又は小さくしてもよいし、操作人数に閾値を設けて、その閾値を超えたら表示サイズを変更したり、その閾値を超えるまで表示サイズを変更したりしてもよい。
図7は、オブジェクトの濃淡を変える場合の例であり、オブジェクトの濃淡を、操作人数に応じて段階的に変化させるようにする。例えば、標準の濃度を黒の濃度の50%とし、操作人数が5人以上となったら80%、操作人数が10人以上となったら100%のように変化させる。
図8は、オブジェクトの表示色を変える場合の例であり、オブジェクトの表示色を操作人数が一定数を超えたら変化させるようにする。例えば、標準の表示色を黒色とし、操作人数が10人以上となったら目立つ色(例えば、赤色)に変化させる。この場合、複数の色を用い、変化させるレベルを複数用意することで、表示形態を段階的に設定することもできる。
なお、図6乃至図8で示した数値は例示であり、適宜変更可能である。また、表示形態の変更方法は図6乃至図8の構成に限定されず、操作人数に応じて強調して表示可能な形態に変更できればよい。例えば、オブジェクトが文字の場合は、操作人数に応じて線の太さを変更(操作人数が多いほど線を太く)しても良い。また、共有画面に表示している画像全体を拡大・縮小して表示する操作が可能な場合には、例えば、縮小により表示サイズが一定値以下になったオブジェクトは表示しないようにしてもよい。また、操作人数に応じて最小サイズを設け、画面全体を縮小しても、最小サイズより小さくならないようにしてもよい。このような制御を行うことによって、全体を縮小して俯瞰する場合でも、操作人数が多い重要なオブジェクトを判読できるようになり、全体の構成を把握しやすくすることができる。
次に、操作履歴の管理方法について説明する。図9に示すように、共有画面に存在する各オブジェクトに対して、そのオブジェクトを操作したことのある操作者を記載したリストを作成し、記憶部24に保持しておく。そして、オブジェクトに対して操作が行われた時、その操作者をリスト中の当該オブジェクトに対応する操作者と照合し、リストに記載されていなければ、その操作者をリストへ追加し、表示形態を変更する。
このリストには、さらに操作の項目を追加し、各オブジェクトの操作の種別毎に操作者を記載してもよい。図10は、オブジェクトの操作の種別毎に操作者を記載したリストの一例であり、オブジェクトに対してある操作が行われた時には、リスト中のそのオブジェクトのその操作に対応する操作者を照合する。これによって、ひとつのオブジェクトに対して異なる操作が行われた場合に、さらに注目度が高いオブジェクトとして表示形態を変更することができる。
さらに、操作の種別毎に重み付け(発言は軽く、修飾は重くするなど)を設定し、その重みに応じて表示形態の変更量を変えても良く、このような制御を行うことによって、それぞれの操作に見合った注目度でオブジェクトを表示することができる。図11は、操作の種別に応じて重み付けを行った場合の表示形態の変更例を示しており、オブジェクトに対応するキーワードを発言した場合は、表示倍率を150%に変更し、オブジェクトに対して修飾を施した場合(オブジェクトに下線を付加したり、オブジェクトを線で囲んだりした場合)は、表示倍率を200%に変更して、発言の場合よりも強調表示する。
オブジェクトの操作として「発言」を認識する場合、図3及び図4の構成の表示制御システム10では、受信部26にマイクの音声データを受信する機能を持たせると共に、処理判定部23に音声認識機能を持たせる。また、各操作者にマイクを装着し、操作者とマイクとを対応付ける情報を記憶部24に記憶しておく。
また、オブジェクト作成時、作成されたオブジェクトに対し、それを表すキーワードを付与し、記憶部24に記憶しておく。例えば、オブジェクトが文字や文書の場合は、その文言をそのままオブジェクトのキーワードとして登録する。また、絵や図形などの場合は、ユーザにキーワードを指定させて登録する。
このような構成において、操作者の誰かが発言した時、受信部26はマイクから音声データを受信して処理判定部23に通知し、処理判定部23は、音声認識機能を用いて発言内容を解析し、キーワードを抽出する。そして、処理判定部23は、解析した各キーワードと各オブジェクトに予め付与されているキーワードとを照合し、一致した場合に、そのオブジェクトに対して発言という操作が行われたと判定する。
なお、ここでは、マイクからの音声データを表示データ生成装置20が受信する場合について説明したが、図1及び図2の構成の表示制御システム10の場合は、マイクからの音声データを操作端末30が受信して表示データ生成装置20に送ればよい。また、ここではマイクに基づいて操作者(発音者)を識別しているが、部屋にマイクを設置し、全員の音声を集め、その声紋を解析することによって操作者(発音者)を識別しても良い。
以上、個々のオブジェクトの表示形態を変更する場合について記載したが、画面を俯瞰表示(縮小)した時の表示例について、図12を参照して説明する。
図12(a)に示すような作業画面が表示されている時に、表示データ生成装置20の操作部27や操作端末30の操作部33を操作して「俯瞰表示」を指示(あるいは、表示の縮小を指示)した場合、図12(b)に示すように、今までに書き込まれたオブジェクト全体が均等に縮小されて表示される。
この場合、画像処理部25は、各オブジェクトの操作人数に応じて表示形態を変更し、図12(c)に示すような俯瞰画面を表示する。この例では、「お茶の新製品」、「新製品検討」、「スポーツ飲料」などのオブジェクトは、関連オブジェクトが作成されていることから、表示形態が変更(ここではサイズが拡大)される。また、「癒し」、「爽快感」などのオブジェクトは、丸や下線で修飾されていることから、これらのオブジェクトも表示形態が変更(ここではサイズが拡大)される。これによって、各操作者は重要なオブジェクトを容易に認識することができるようになる。また、俯瞰画面を表示する際に、サイズが小さくなって判読しにくくなったオブジェクトは表示を消すこともでき、これによって、重要なオブジェクトを更に目立たせて表示することができるようになる。
以上説明したように、共有画面内に複数のオブジェクトを配置して表示する際に、各オブジェクトに対して、操作者の履歴情報を記憶しておき、そのオブジェクトの操作者の変化に応じてオブジェクトの表示形態を変えたり、初めて操作する人物が操作した場合にオブジェクトの表示形態を変えたり、初めて操作する操作者の人数に応じてオブジェクトの表示形態の変更量を調整することにより、注目されているオブジェクトを強調して表示することができる。
なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
例えば、図1や図3では、表示データ生成装置20として、共有画面となる表示部21にボックス状の制御部を付加する構成を示したが、表示データ生成装置20は図の記載に限定されず、例えば、コンピュータ装置のような表示部を備える任意の装置とすることができる。
また、上記実施例では、操作者がそのオブジェクトを初めて操作した場合に表示形態を変更(強調)するようにしているが、これは、同じ操作者がそのオブジェクトを何度も操作した場合に表示形態が変更されないようにするためである。しかしながら、ある操作者がそのオブジェクトを操作した後、別の操作者がそのオブジェクトを操作した場合は、当該別の操作者がそのオブジェクトを初めて操作する操作者ではなくても、そのオブジェクトの重要度は高いと考えられる。従って、初めて操作する操作者ではなくても、そのオブジェクトの操作者が代わった場合は、そのオブジェクトの表示形態を変更するようにしてもよい。その際、操作者の人数に応じて表示形態の変更量を調整する場合、同じ操作者が何度も操作した場合と、異なる操作者が操作した場合を同等に取り扱うと、オブジェクトの重要度が適切に反映されない恐れがある。そこで、同じ操作者がオブジェクトを操作した場合は、変更量を小さくして表示形態を変更するように制御することも可能である。
本発明は、複数人が使用する共用画面に表示する表示データを生成する装置、及び、当該装置を備えるシステム、並びに、当該装置で動作するプログラムに利用可能である。
10 表示制御システム
20 表示データ生成装置
21 表示装置
22 通信部
23 処理判定部
24 記憶部
25 画像処理部
26 受信部
27 操作部
30 操作端末
31 認証部
32 通信部
33 操作部
34 表示部
40 識別端末
41 送信部
42 記憶部

Claims (13)

  1. 複数のユーザが利用する共有画面に複数のオブジェクトを表示させる表示データを生成する表示データ生成装置であって、
    各々のオブジェクトに対するユーザの操作履歴情報を記憶する記憶部と、
    いずれかのオブジェクトに対する操作を検出したら、前記操作を行ったユーザを識別し、前記操作履歴情報を参照して、前記操作を行ったユーザが、前記オブジェクトを初めて操作したユーザであるかを判定し、初めて操作したユーザであれば、前記オブジェクトの表示形態を変更すると判定する処理判定部と、
    前記処理判定部の判定結果に従って、前記オブジェクトの表示形態を変更した表示データを生成する画像処理部と、を少なくとも備える、
    ことを特徴とする表示データ生成装置。
  2. 前記画像処理部は、前記オブジェクトを操作したユーザの人数に応じて、前記オブジェクトの表示形態の変更量を調整する
    ことを特徴とする請求項1に記載の表示データ生成装置。
  3. 前記オブジェクトに対する操作は、種別毎に重み付けがされており、
    前記画像処理部は、前記オブジェクトに対する操作の種別に応じた重み付けに従って、前記オブジェクトの表示形態の変更量を調整する
    ことを特徴とする請求項2に記載の表示データ生成装置。
  4. 前記オブジェクトの表示形態は、前記オブジェクトのサイズ、前記オブジェクトの表示濃度、前記オブジェクトの表示色のいずれかを含む
    ことを特徴とする請求項1乃至のいずれか一に記載の表示データ生成装置。
  5. 前記オブジェクトに対する操作は、前記オブジェクトの移動、前記オブジェクトの修飾、前記オブジェクトに関連するオブジェクトの作成、前記オブジェクトに関連付けられた文言の発言のいずれかを含む
    ことを特徴とする請求項1乃至4のいずれか一に記載の表示データ生成装置。
  6. 請求項1乃至5のいずれか一に記載の前記表示データ生成装置と、前記表示データに基づいて前記共有画面に前記複数のオブジェクトを表示する表示装置と、前記オブジェクトを操作する操作端末と、を備える表示制御システムであって、
    前記表示データ生成装置は、前記操作端末から取得したオブジェクトの操作情報及びユーザ情報に基づいて、前記オブジェクトに対する操作及び前記操作を行ったユーザを識別する、
    ことを特徴とする表示制御システム。
  7. 請求項1乃至のいずれか一に記載の前記表示データ生成装置と、前記表示データに基づいて前記共有画面に前記複数のオブジェクトを表示する表示装置と、ユーザ情報を送信する識別端末と、を備える表示制御システムであって、
    前記表示装置は、前記共有画面上に、タッチパネル及び前記識別端末から前記ユーザ情報を取得する受信部を備え、
    前記表示データ生成装置は、前記表示装置から取得したオブジェクトの操作情報及び前記ユーザ情報に基づいて、前記オブジェクトに対する操作及び前記操作を行ったユーザを識別する、
    ことを特徴とする表示制御システム。
  8. 請求項1乃至のいずれか一に記載の前記表示データ生成装置に、前記表示データに基づいて前記共有画面に前記複数のオブジェクトを表示する表示部、を備える、
    ことを特徴とするコンピュータ装置
  9. 複数のユーザが利用する共有画面に複数のオブジェクトを表示させる表示データを生成する装置で動作する表示制御プログラムであって、
    前記装置を、
    いずれかのオブジェクトに対する操作を検出したら、前記操作を行ったユーザを識別し、予め記憶された、各々のオブジェクトに対するユーザの操作履歴情報を参照して、前記操作を行ったユーザが、前記オブジェクトを初めて操作したユーザであるかを判定し、初めて操作したユーザであれば、前記オブジェクトの表示形態を変更すると判定する処理判定部、
    前記処理判定部の判定結果に従って、前記オブジェクトの表示形態を変更した表示データを生成する画像処理部、として機能させる
    ことを特徴とする表示制御プログラム
  10. 前記画像処理部は、前記オブジェクトを操作したユーザの人数に応じて、前記オブジェクトの表示形態の変更量を調整する
    ことを特徴とする請求項9に記載の表示制御プログラム。
  11. 前記オブジェクトに対する操作は、種別毎に重み付けがされており、
    前記画像処理部は、前記オブジェクトに対する操作の種別に応じた重み付けに従って、前記オブジェクトの表示形態の変更量を調整する
    ことを特徴とする請求項に記載の表示制御プログラム。
  12. 前記オブジェクトの表示形態は、前記オブジェクトのサイズ、前記オブジェクトの表示濃度、前記オブジェクトの表示色のいずれかを含む
    ことを特徴とする請求項9乃至11のいずれか一に記載の表示制御プログラム。
  13. 前記オブジェクトに対する操作は、前記オブジェクトの移動、前記オブジェクトの修飾、前記オブジェクトに関連するオブジェクトの作成、前記オブジェクトに関連付けられた文言の発言のいずれかを含む
    ことを特徴とする請求項9乃至12のいずれか一に記載の表示制御プログラム。
JP2011181343A 2011-08-23 2011-08-23 表示データ生成装置及び表示制御システム並びに表示制御プログラム Expired - Fee Related JP5585889B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011181343A JP5585889B2 (ja) 2011-08-23 2011-08-23 表示データ生成装置及び表示制御システム並びに表示制御プログラム
US13/586,072 US20130055109A1 (en) 2011-08-23 2012-08-15 Display data generation apparatus, display control system and display control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011181343A JP5585889B2 (ja) 2011-08-23 2011-08-23 表示データ生成装置及び表示制御システム並びに表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2013045210A JP2013045210A (ja) 2013-03-04
JP5585889B2 true JP5585889B2 (ja) 2014-09-10

Family

ID=47745494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011181343A Expired - Fee Related JP5585889B2 (ja) 2011-08-23 2011-08-23 表示データ生成装置及び表示制御システム並びに表示制御プログラム

Country Status (2)

Country Link
US (1) US20130055109A1 (ja)
JP (1) JP5585889B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665584B2 (en) 2013-03-28 2017-05-30 Linkedin Corporation System and method for recommending actions on a social network
JP2015045945A (ja) * 2013-08-27 2015-03-12 株式会社リコー 情報処理装置、プログラム及び情報処理システム
US10365780B2 (en) * 2014-05-05 2019-07-30 Adobe Inc. Crowdsourcing for documents and forms
KR102322026B1 (ko) * 2014-12-09 2021-11-04 삼성전자주식회사 모바일 디바이스 및 모바일 디바이스의 동작 방법
JP2017181683A (ja) * 2016-03-29 2017-10-05 日本電気株式会社 表示処理装置、表示処理方法、およびプログラム
US10614271B2 (en) * 2018-01-15 2020-04-07 Universal City Studios Llc Interactive systems and methods
WO2020021785A1 (ja) * 2018-07-25 2020-01-30 コニカミノルタ株式会社 ガス検出装置、ガス検出方法、表示制御方法、およびプログラム
CN113343193B (zh) * 2020-03-03 2024-08-27 华为技术有限公司 身份验证方法、装置和电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62202693A (ja) * 1986-03-03 1987-09-07 Toshiba Corp 電子会議システム
JP3040829B2 (ja) * 1991-02-07 2000-05-15 株式会社日立製作所 手元黒板システム
JP3237339B2 (ja) * 1993-09-30 2001-12-10 日立ソフトウエアエンジニアリング株式会社 手書き入力会議システム
JP2002149615A (ja) * 2000-11-07 2002-05-24 Casio Comput Co Ltd 情報端末、通信表示装置、及び端末処理プログラムを記憶した記憶媒体、通信表示処理プログラムを記憶した記憶媒体
JP2004206658A (ja) * 2002-10-29 2004-07-22 Fuji Xerox Co Ltd 表示制御方法、情報表示処理システム、クライアント端末、管理サーバ、プログラム
JP4172266B2 (ja) * 2002-12-19 2008-10-29 富士ゼロックス株式会社 クライアント端末
US7391910B2 (en) * 2003-07-31 2008-06-24 Seiko Epson Corporation LAPE: layered presentation system utilizing compressed-domain image processing
JP2006106845A (ja) * 2004-09-30 2006-04-20 Seiko Epson Corp 文書概要作成装置、表示装置、情報処理装置、プレゼンテーションシステム、文書概要作成プログラム、文書概要作成装置制御プログラム、表示装置制御プログラム、情報処理装置制御プログラム、文書概要作成方法、文書概要作成装置制御方法、表示装置制御方法及び情報処理装置制御方法
JP2008084110A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 情報表示装置、情報表示方法及び情報表示プログラム
US7660749B2 (en) * 2006-09-29 2010-02-09 Apple Inc. Method, system, and medium for representing visitor activity in an online store
JP2009009519A (ja) * 2007-06-29 2009-01-15 Casio Comput Co Ltd 情報表示装置、情報表示制御プログラム、情報表示システム、情報表示システムのサーバ制御プログラム
US9037970B2 (en) * 2007-09-11 2015-05-19 Yahoo! Inc. Social network site including interactive digital objects
JP5114140B2 (ja) * 2007-09-12 2013-01-09 株式会社リコー 画像表示システム及び方法
JP2009187094A (ja) * 2008-02-04 2009-08-20 Sharp Corp 会議システム、プログラム
JP2009283020A (ja) * 2008-05-19 2009-12-03 Fuji Xerox Co Ltd 記録装置、再生装置、及びプログラム
JP2010157098A (ja) * 2008-12-26 2010-07-15 Square Enix Co Ltd 通信端末および通信方法
JP5554931B2 (ja) * 2009-02-23 2014-07-23 キヤノン株式会社 画像処理システム、画像処理装置、画像処理方法、及びプログラム
JP5201050B2 (ja) * 2009-03-27 2013-06-05 ブラザー工業株式会社 会議支援装置、会議支援方法、会議システム、会議支援プログラム
JP2011070511A (ja) * 2009-09-28 2011-04-07 Sony Corp 端末装置、サーバ装置、表示制御方法、及びプログラム
US20120054440A1 (en) * 2010-08-31 2012-03-01 Toby Doig Systems and methods for providing a hierarchy of cache layers of different types for intext advertising

Also Published As

Publication number Publication date
US20130055109A1 (en) 2013-02-28
JP2013045210A (ja) 2013-03-04

Similar Documents

Publication Publication Date Title
JP5585889B2 (ja) 表示データ生成装置及び表示制御システム並びに表示制御プログラム
AU2021218193B2 (en) Far-field extension for digital assistant services
CN106415431B (zh) 用于发送指令的方法、计算机可读介质和电子设备
CN102866824B (zh) 执行链接的显示设备和方法及其识别语音的方法
DE102017209504A1 (de) Datenbezogene Erkennung und Klassifizierung von natürlichen Sprachereignissen
CN105810188B (zh) 一种信息处理方法和电子设备
EP2708981B1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
CN107665047A (zh) 用于在触敏副显示器处动态地提供用户界面控件的系统、设备和方法
CN106484266A (zh) 一种文本处理方法及装置
CN105740686A (zh) 应用的控制方法和装置
US20140010417A1 (en) Command input method of terminal and terminal for inputting command using mouth gesture
CN106687889A (zh) 显示器便捷式文本输入和编辑
KR102193029B1 (ko) 디스플레이 장치 및 그의 화상 통화 수행 방법
CN103197911A (zh) 一种提供语音输入的方法、系统和装置
JP2007249755A (ja) ドキュメントを理解する難易度を評価するシステムおよびその方法
US20180373705A1 (en) User device and computer program for translating recognized speech
CN113793398A (zh) 基于语音交互的绘画方法与装置、存储介质和电子设备
CN107093164A (zh) 用于生成图像的方法和装置
CN118331428A (zh) 放大用户界面的眼睛注视控制
CN107942700A (zh) 一种家电控制系统、方法及计算机可读存储介质
JP2018195062A (ja) 情報処理装置、情報処理方法及びプログラム
CN103905594B (zh) 一种信息处理方法及电子设备
EP3010016B1 (en) Input information support apparatus, method for supporting input information, and input information support program
Reda et al. Svbicomm: sign-voice bidirectional communication system for normal,“deaf/dumb” and blind people based on machine learning
US20200321004A1 (en) Information processing apparatus and speech analysis method

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140710

R150 Certificate of patent or registration of utility model

Ref document number: 5585889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees