JP5592378B2 - 物体検出およびユーザーセッティング - Google Patents

物体検出およびユーザーセッティング Download PDF

Info

Publication number
JP5592378B2
JP5592378B2 JP2011528074A JP2011528074A JP5592378B2 JP 5592378 B2 JP5592378 B2 JP 5592378B2 JP 2011528074 A JP2011528074 A JP 2011528074A JP 2011528074 A JP2011528074 A JP 2011528074A JP 5592378 B2 JP5592378 B2 JP 5592378B2
Authority
JP
Japan
Prior art keywords
client
user
user interface
user settings
settings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011528074A
Other languages
English (en)
Other versions
JP2012503801A5 (ja
JP2012503801A (ja
Inventor
ニューフェルド,ナダブ・エム
メッティフォゴ,ジオナタ
ミゴス,チャールズ・ジェイ
クラインハンスル,アフシャン・エイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2012503801A publication Critical patent/JP2012503801A/ja
Publication of JP2012503801A5 publication Critical patent/JP2012503801A5/ja
Application granted granted Critical
Publication of JP5592378B2 publication Critical patent/JP5592378B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Description

[0001]ユーザーは、ますます多様になるコンテンツにアクセスできる。ユーザーは、そのコンテンツと相互作用するのに使用できるさまざまなデバイスに継続的にさらされもする。たとえば、ユーザーは、伝統的に、デスクトップコンピューターを使用してインターネットにアクセスすることに制限された。しかし、ユーザーは、今や、ゲーム機、携帯情報端末(PDA)、および携帯「スマート」フォンなどのさまざまな他のデバイスを使用してインターネットにアクセスすることができる。
[0002]したがって、ユーザーが、さまざまな異なるコンテンツと相互作用するためにさまざまな異なるデバイスを利用する可能性がある。しかし、異なるデバイスを使用してコンテンツと相互作用するのに使用可能な伝統的な技法は、しばしば、一貫性を欠き、機械的である。その結果、コンテンツに関するユーザーの経験は、類似するデバイスを利用するときでさえ、デバイスごとに変化する可能性がある。
[0003]物体検出およびユーザーセッティングの技法を説明する。一実施態様では、クライアントの表面上に配置された物体が、クライアントによって検出される。複数のユーザーのうちのどれが検出された物体に対応するのかに関する判定が、行われる。判定されたユーザーに対応する1つまたは複数のユーザーセッティングが、突き止められる。
[0004]一実施態様では、1つまたは複数のユーザーセッティングを含む、クライアントの表面上に配置された物体が、識別される。ユーザーインターフェースが、1つまたは複数のユーザーセッティングに従って構成され、ユーザーインターフェースが、表面の少なくとも一部を使用して出力される。
[0005]一実施態様では、クライアントは、テーブルのフォームファクターを有するハウジングと、ハウジングのテーブルトップに配置された表面と、ハウジング内に配置された1つまたは複数のモジュールとを含む。1つまたは複数のモジュールは、ローカルネットワーク接続を介してテレビジョンと相互作用し、テレビジョンに現在表示されているコンテンツに関連するコンテンツを表面に表示するように構成される。1つまたは複数のモジュールは、表面を介するユーザーからの1つまたは複数の入力を検出し、入力のうちの少なくとも1つを使用して表面上のコンテンツの表示を制御するようにも構成される。1つまたは複数のモジュールは、入力のうちの別の1つを使用してテレビジョン上のコンテンツの表示を制御するようにさらに構成される。
[0006]この「課題を解決するための手段」は、下の「発明を実施するための形態」でさらに説明される概念の選択物を単純化された形で導入するために提供されるものである。この「課題を解決するための手段」は、請求される主題の主要な特徴または本質的特徴を識別することを意図されてはおらず、請求される主題の範囲を判定する際の助けとして使用されることも意図されてはいない。
[0007]「発明を実施するための形態」は、添付図面を参照して説明される。図面では、符号の左端の数(1つまたは複数)が、その符号が初めて現れる図面を識別する。説明および図面の異なる実例での同一の符号の使用は、類似するまたは同一の項目を示す場合がある。
[0008]物体検出およびユーザーセッティングの技法を実行するように動作可能な例の実施態様の環境を示す図である。 [0009]図1のクライアントをより詳細に示す例の実施形態内のシステムを示す図である。 [0010]ユーザーインターフェースが、クライアントの表面に配置された物体の検出に基づいて突き止められる1つまたは複数のユーザーセッティングに基づいて構成される、例の実施態様での手続きを示す流れ図である。 [0011]図1および2のクライアントの表面に配置された物体が、ユーザーインターフェースを構成するのに使用されるユーザーセッティングを含む、例の実施形態の手続きを示す流れ図である。 [0012]複数のユーザーに共通するユーザーセッティングがユーザーインターフェースを構成するのに使用される、例の実施態様の手続きを示す流れ図である。
概要
[0013]物体検出およびユーザーセッティングの技法を説明する。一実施態様では、ユーザーインターフェースの構成は、クライアントの表面に配置される1つまたは複数の物体に基づく。たとえば、クライアントを、テーブルの形状要素に従うように構成することができる。クライアントは、どの物体がテーブルの表面、たとえばテーブルトップに配置されているのかを判定する機能性をも含むことができる。次に、表面に配置された特定の物体の識別を使用して、ユーザーインターフェースを構成するのにどのユーザーセッティングを使用しなければならないのかを判定することができる。
[0014]たとえば、ユーザーは、クライアントの表面に電話機を配置することができる。この電話機を検出することができ、この電話機に格納されたユーザーセッティングを使用して、テレビジョンのお気に入りのチャンネルなど、ユーザーインターフェースを構成することができる。もう1つの例では、テーブルに配置された物体(たとえば、特定の自動車に対応する1組の自動車の鍵)を使用して、そのユーザーに対応するユーザーセッティングを突き止めることができる。さまざまな他の例も企図され、これらの例のさらなる議論は、次のセクションに関して見出すことができる。
[0015]次の議論では、物体検出およびユーザーセッティングに関係する1つまたは複数の技法を実行するために動作可能である例の環境を、まず説明する。次に、例の環境ならびに他の環境を使用して実施できる、例の手続きを説明する。したがって、これらの手続きの実施態様は、例の環境に限定されず、例の環境は、例の手続きの実施態様に限定されない。
例の環境
[0016]図1は、物体識別およびユーザーセッティングに関係する技法を使用するように動作可能な例の実施態様内の環境100の図である。図示の環境100は、テレビジョンとして構成された別のクライアント106(したがって、次の議論では、別のクライアント106またはテレビジョン106に言及する場合がある)にネットワーク104を介して通信して結合されたクライアント102、コンテンツ110を有するコンテンツプロバイダー108、および1つまたは複数の広告114を有する広告主112を含む。
[0017]クライアント102を、さまざまな形で構成することができる。たとえば、クライアント102を、デスクトップコンピューターなど、ネットワーク104を介して通信できるコンピューター、移動局、エンターテイメント機器、ディスプレイデバイスに通信して結合されたセットトップボックス、無線電話機、ゲーム機、その他として構成することができる。したがって、クライアント102は、かなりのメモリーリソースおよびプロセッサーリソースを有するフルリソースデバイス(たとえば、パーソナルコンピューター、ゲーム機)から限られたメモリーリソースおよび/または限られた処理リソースを有する低リソースデバイス(たとえば、伝統的なセットトップボックス、ハンドヘルドゲーム機)までの範囲に及ぶことができる。クライアント102は、クライアントを操作する人および/またはエンティティに関連することもできる。言い換えると、クライアント102は、ソフトウェアおよび/またはデバイスを含む論理クライアントを記述することができる。
[0018]ネットワーク104は、インターネットとして図示されているが、ネットワークは、さまざまな構成をとることができる。たとえば、ネットワーク104は、広域ネットワーク(WAN)、ローカルエリアネットワーク(LAN)、無線ネットワーク、公衆電話網、イントラネットなどを含むことができる。さらに、単一のネットワーク104が示
されているが、ネットワーク104を、複数のネットワークを含むように構成することができる。たとえば、クライアント102および別のクライアント106を、ローカルネットワーク接続を介して互いに通信して結合することができる。さらに、クライアント102を、インターネットを介してコンテンツプロバイダー108に通信して結合することができる。同様に、広告主112を、インターネットを介してコンテンツプロバイダー108に通信して結合することができる。さまざまな他の実例も企図される。
[0019]図示の環境100では、クライアント102は、テーブルのフォームファクターを有するものとして図示されている。テーブルフォームファクターは、複数の脚118を有するハウジング116を含む。ハウジング116は、図1に示された自動車など、1つまたは複数のイメージを表示するように構成された表面120を有するテーブルトップを含む。
[0020]クライアント102は、さらに、表面コンピューティングモジュール122を含むものとして図示されている。表面コンピューティングモジュール122は、表面120を活用するコンピューティング関連機能性を提供する、クライアント102の機能性を表す。たとえば、表面コンピューティングモジュール122を、表面120を介してユーザーインターフェースを出力するように構成することができる。表面コンピューティングモジュール122を、表面120との、および結果的にユーザーインターフェースとの相互作用を検出するように構成することもできる。したがって、その後、ユーザーは、表面120を介してさまざまな形でユーザーインターフェースと相互作用することができる。
[0021]たとえば、ユーザーは、1つまたは複数の指をカーソル制御デバイスとして、絵筆として、イメージを操作する(たとえば、イメージのサイズを変更し、イメージを移動する)のに、ファイルを転送するのに(たとえば、クライアント102と別のクライアント106との間で)、インターネットブラウジングによってネットワーク104を介してコンテンツ110を入手するのに、クライアント102にローカルな別のクライアント106(たとえば、テレビジョン)と相互作用するのに(たとえば、別のクライアント106によって出力されるコンテンツを選択するために)、その他に使用することができる。したがって、クライアント102の表面コンピューティングモジュール122は、出力デバイスと入力デバイスとの両方としてさまざまな形で表面120を活用することができ、そのさらなる議論は、図2に関して見出すことができる。
[0022]クライアント102は、ユーザーインターフェース(UI)構成モジュール124およびユーザーセッティング126を有するものとしても図示されている。UI構成モジュール124は、ユーザーセッティング126を使用してユーザーインターフェースを構成する、クライアント102の機能性を表す。たとえば、前に説明したように、表面コンピューティングモジュール122は、入力デバイスとしての表面120に関連して働くことができる。したがって、表面120に配置された物体を、表面コンピューティングモジュール122によって検出することができる。
[0023]次に、これらの物体を、表面コンピューティングモジュール122によって識別して、物体に対応するユーザーセッティング126を識別することができる。たとえば、ユーザーの携帯電話機など、物体を、ユーザーセッティング126を維持するように構成することができる。物体が検出された後に、ユーザーセッティング126を、物体から取り出し、UI構成モジュール124によって、ユーザーインターフェースを構成するのに使用することができる。別の例では、特定のユーザーの自動車の鍵を検出し、その後、クライアント102にローカルなストレージからおよび/またはネットワーク104を介してリモートにユーザーセッティング126を取り出すことによるなど、物体の識別を、対応するユーザーセッティング126を突き止めるために使用することができる。
[0024]さまざまな異なるユーザーインターフェースを、ユーザーセッティング126を使用して構成することができる。たとえば、ユーザーインターフェースを、クライアント102の動作を制御するように構成された表面120を介して出力することができる。別の例では、ユーザーのお気に入りのショーを含むように構成されたテレビジョン上の電子番組ガイド(EPG)など、ユーザーインターフェースを、別のクライアント106によ
って出力することができる。
[0025]UI構成モジュール124は、図1にテレビジョンとして示された別のクライアント106によって出力されるコンテンツの視聴の質を高めるためにさまざまな機能性をサポートすることもできる。たとえば、クライアント102および別のクライアント106は、互いの状態を知るために、一方から他方に、ネットワーク104を介して(たとえば、ローカルエリアネットワークを介して直接におよび/またはインターネットを介してアクセス可能なリモートサーバーを介して間接に)通信することができる。テレビジョン番組が、質を高められた経験に関連する別のクライアント106を介して表示されるときに、クライアント102およびディスプレイコンテンツは、別のクライアント106を介して表示されるコンテンツの質を高める。
[0026]たとえば、追加情報を、イベント(たとえば、スポーツイベントなど)中に表示して、別のクライアント106を介して現在出力されつつあるコンテンツを補足することができる。たとえば、図1に示された別のクライアント106上の自動車レースの出力を、統計、トラックレイアウト、追加のカメラアングルなどを表示することによって、クライアント102の表面120を介して補足することができる。
[0027]別の実例では、複数のイベントを、クライアント102の表面120を介して追跡することができる。たとえば、ビデオフィード、情報、その他など、複数の同時イベントを、スポーツイベント中に追跡することができる。この形で、ユーザーに、別のクライアント106によって現在出力されてはいない出力に関して使用可能である可能性がある追加コンテンツに関してたやすく知らせることができる。
[0028]さらなる実例では、クライアント102のユーザーセッティング126を介して指定できるアラートを、クライアント102の表面120を介して出力することができる。ユーザーセッティング126は、スポーツイベントでの指定されたアクションの発生、ビジネス関係(たとえば、株価)、気象、その他など、さまざまな異なるアラート条件を指定する。次に、アラートに関連する情報を、クライアント102の表面120および/または別のクライアント106を介して出力することができる。さまざまな他の例も、その趣旨および範囲から逸脱せずに企図される。
[0029]一般に、本明細書で説明される機能のいずれをも、ソフトウェア、ファームウェア(たとえば、固定論理回路網)、手動処理、またはこれらの実施態様の組合せを使用して実施することができる。用語「モジュール」、「機能性」、および「論理」は、本明細書で使用されるときに、全般的に、ソフトウェア、ファームウェア、またはソフトウェアおよびファームウェアの組合せを表す。ソフトウェア実施態様の場合に、モジュール、機能性、または論理は、プロセッサー(たとえば、1つまたは複数のCPU)上で実行されるときに指定されたタスクを実行するプログラムコードを表す。プログラムコードを、1つまたは複数のコンピューター可読メモリーデバイスに格納することができ、このコンピューター可読メモリーデバイスのさらなる説明は、図2に関して見出すことができる。下で説明する表面技法の特徴は、プラットフォーム独立であり、これは、これらの技法を、さまざまなプロセッサーを有するさまざまな市販コンピューティングプラットフォーム上で実施できることを意味する。
[0030]図2に、図1のクライアント102をより詳細に示す例の実施態様内のシステム200を示す。クライアント102は、図1の表面コンピューティングモジュール122を含み、この表面コンピューティングモジュール122は、この実例ではプロセッサー202およびメモリー204を含むものとして図示されている。プロセッサーは、それらがそれから形成される材料またはその中で使用される処理機構によって限定されない。
[0031]たとえば、プロセッサーを、半導体(1つまたは複数)および/またはトランジスタからなるものとすることができる(たとえば、電子集積回路(IC))。そのような文脈では、プロセッサー実行可能命令を、電子的に実行可能な命令とすることができる。代替案では、プロセッサーのまたはプロセッサーのための機構、したがってコンピューティングデバイスのまたはコンピューティングデバイスのための機構は、量子コンピューティング、光コンピューティング、機械式コンピューティング(たとえば、ナノテクノロジ
を使用する)などを含むことができるが、これらに限定はされない。さらに、単一のメモリー204が図示されているが、ランダムアクセスメモリー(RAM)、ハードディスクメモリー、取り外し可能媒体メモリー、および他のタイプのコンピューター可読媒体など、さまざまなタイプおよび組合せのメモリーを使用することができる。
[0032]クライアント102は、プロセッサー202上でオペレーティングシステム206を実行するものとして図示され、オペレーティングシステム206は、メモリー204に格納可能でもある。オペレーティングシステム206は、基礎になるクライアント102のハードウェアおよびソフトウェアの機能性を、メモリー204に格納されるものとして図示された1つまたは複数のアプリケーション208などに対して抽象化するために実行可能である。図2のこのシステム200では、UI構成モジュール124は、ユーザーセッティング126と共にクライアント102のメモリー204に格納されるアプリケーション208の1つとして図示され、たとえば、UI構成モジュール124は、図示の実例では実行可能モジュールである。
[0033]表面コンピューティングモジュール122は、イメージ投影モジュール210および表面検出モジュール212をも含むものとして図示されている。イメージ投影モジュール210は、表面120にイメージを投影する、クライアント102の機能性を表す。リアプロジェクションシステム、LCD、その他の使用を介するなど、さまざまな異なる技法をイメージ投影モジュール210によって使用して、イメージを投影することができる。
[0034]表面検出モジュール212は、表面120の近くに配置されたときに1つまたは複数の物体を検出する、クライアント102の機能性を表す。表面検出モジュール212は、無線周波数識別(RFID)、画像認識、バーコードスキャニング、光学文字認識、その他など、さまざまな異なる技法を使用して、この検出を実行することができる。
[0035]たとえば、図2の表面検出モジュール212は、1つまたは複数の赤外線プロジェクター214、1つまたは複数の赤外線カメラ216、および検出モジュール218を含むものとして図示されている。1つまたは複数の赤外線プロジェクター214は、赤外光および/または近赤外光を表面120に投影するように構成される。次に、1つまたは複数の赤外線カメラ216を、赤外線プロジェクター214によって出力された反射された赤外光のイメージを取り込むように構成することができる。
[0036]たとえば、それぞれのユーザーの手220、222の指、ユーザーの電話機224、および鍵226などの物体が、赤外線カメラ216によって表面120を通して可視である。図示の実例では、赤外線カメラ216は、表面120の、ユーザーの手220、222と反対の側、たとえば、クライアント102のハウジング内に配置される。次に、検出モジュール218は、赤外線カメラ216によって取り込まれたイメージを分析して、表面120上に配置された物体を検出することができる。次に、この分析の出力を、オペレーティングシステム206、アプリケーション208などに供給することができる。
[0037]一実施態様では、表面検出モジュール212は、単一の時点で複数の物体を検出することができる。たとえば、それぞれのユーザーの手220、222の複数の指を、オペレーティングシステム206によって出力されるユーザーインターフェースとの相互作用のために検出することができる。この形で、クライアント102は、複数のユーザーとの同時相互作用をサポートすることができる。
[0038]クライアント102は、ジェスチャをサポートすることもでき、このジェスチャは、ユーザーインターフェースと相互作用するのに使用することができる。たとえば、異なるジェスチャを使用して、イメージを拡大し、イメージを回転し、デバイスの間でファイルを移動し、コンテンツの特定のアイテムの出力を休止させるなどを行うことができる。イメージ取込みを使用する検出を説明したが、RFID、「サウンディング」技法(たとえば、レーダーに似た超音波技法)、バイオメトリック(たとえば、温度)その他などのさまざまな他の技法を、表面コンピューティングモジュール122、より具体的には表面検出モジュール212によって使用して、クライアント102の表面120上またはその近くに配置された物体を検出することもできる。その趣旨および範囲から逸脱せずに、
クライアント102の表面120との相互作用を活用するのに使用できる、さまざまな他の技法も企図される。
[0039]一実施態様では、UI構成モジュール124は、クライアント102の表面120上の物体の検出を活用することができる。たとえば、ユーザーが、表面120に鍵226を置く場合がある。次に、鍵226を、表面検出モジュール212によって検出することができ、その後、表面検出モジュール212は、鍵226が検出されたことの表示をUI構成モジュール124に出力することができる。この表示を、鍵226のブランドに一意の数値識別子、UI構成モジュール124によってさらに処理される鍵226のイメージ、その他など、さまざまな形で構成することができる。
[0040]次に、UI構成モジュール124は、表面120上に配置された物体を識別することができ、この識別をユーザーインターフェースを構成するための基礎として使用する。前の例を続けると、UI構成モジュール124は、鍵226に関連する特定のユーザーを識別し、その特定のユーザーに対応するユーザーセッティング126を突き止めることができる。次に、ユーザーインターフェースを、ユーザーセッティング126に基づいて構成し、表面120を介して出力することができる。これの例が、図2で、表面120上にイメージ投影モジュール210によって出力される「背景」としての自動車のイメージ228として示されている。別の例では、ネットワーク104を介してクライアント102に通信して結合される別のクライアント106によって出力される電子番組ガイド230など、ユーザーインターフェースを、別のクライアントによって出力することができる。さまざまな他の例も企図され、そのさらなる議論は、次の手続きに関して見出すことができる。
例の手続き
[0041]次の議論は、前に説明したシステムおよびデバイスを利用して実施できる表面コンピューティング技法を説明するものである。これらの手続きのそれぞれの諸態様を、ハードウェア、ファームウェア、またはソフトウェア、あるいはその組合せで実施することができる。これらの手続きは、1つまたは複数のデバイスによって実行される動作を指定するブロックの組として示され、必ずしも、それぞれのブロックによる動作の実行について、図示の順序に限定されない。次の説明の諸部分で、図1の環境100および図2のシステム200に言及する。
[0042]図3は、ユーザーインターフェースが、クライアントの表面に配置された物体の検出に基づいて突き止められる1つまたは複数のユーザーセッティングに基づいて構成される、例の実施態様での手続き300を示す。クライアントの表面に配置された物体を検出する(ブロック302)。物体を、図2に関して前に説明したイメージング技法、無線周波数識別技法、「サウンディング」技法(たとえば、超音波技法)、バーコード、光学文字認識(OCR)、その他を介するなど、さまざまな形で検出することができる。
[0043]したがって、さまざまな異なる物体を、クライアント102による検出のためにクライアント102の表面120に配置することができる。たとえば、ユーザーの手220、222の1つまたは複数のユーザーの指を、クライアント102の表面120、鍵226、携帯電話機、財布などに配置することができる。
[0044]複数のユーザーのうちのどれが検出された物体に対応するのかに関する判定を行う(ブロック304)。たとえば、表面コンピューティングモジュール122は、画像認識および/またはRFID技法(たとえば、一意識別子を読み取ることによる)を使用して、鍵226が特定のユーザーに対応することを判定することができる。次に、表面コンピューティングモジュール122は、たとえばクライアント102にローカルなメモリー204からおよび/またはネットワーク104を介してリモートに、特定のユーザーに対応するユーザーセッティング126を突き止めることができる(ブロック306)。
[0045]1つまたは複数のユーザーセッティングを使用して、ユーザーインターフェースを構成する(ブロック308)。たとえば、ユーザーセッティング126は、特定のユーザーの「お気に入り」(たとえば、お気に入りのチャンネル、ウェブサイト、音楽、俳優など)、ユーザーインターフェース内で使用すべき特定の背景、1つまたは複数のアプリ
ケーション208に特有のセッティングなどを指定することができる。
[0046]さらに、ユーザーセッティング126を使用して構成されるユーザーインターフェースを、さまざまな形で出力することができる。たとえば、ユーザーインターフェースを、クライアントの表面の少なくとも一部を使用して出力することができる(ブロック310)。別の例では、ユーザーインターフェースを、図1および2の別のクライアント106など、クライアントにローカルな別のクライアントを使用して出力することができる(ブロック312)。したがって、ユーザーインターフェースを、クライアント102および/またはテレビジョンとして図示された別のクライアント106との相互作用を提供するように構成することができる。たとえば、ユーザーインターフェースを、クライアント102の表面120を介して出力して、たとえばチャンネルを変更する、音量を上げるか下げる、その他など、クライアント102および/またはテレビジョンの動作を制御することができる。さまざまな他の例も、その趣旨および範囲から逸脱せずに企図される。
[0047]図4は、図1および2のクライアント102の表面に配置された物体が、ユーザーインターフェースを構成するのに使用されるユーザーセッティングを含む、例の実施形態の手続き400を示す。クライアントの表面に配置された物体が、識別され、その物体は、1つまたは複数のユーザーセッティングを含む(ブロック402)。ユーザーは、クライアント102の表面120に携帯電話機を配置することができる。次に、表面コンピューティングモジュール122は、携帯電話機の存在を検出し、その携帯電話機とのローカルネットワーク接続(たとえば、ローカル無線接続)を開始することができる。次に、携帯電話機のメモリーに含まれるユーザーセッティングを、表面コンピューティングモジュール122によって発見することができる。この形で、携帯電話機内のユーザーセッティングを、クライアントの間でたやすく転送することができる。
[0048]ユーザーインターフェースを、1つまたは複数のユーザーセッティングに従って構成し(ブロック404)、ユーザーインターフェースを、表面の少なくとも一部を使用して出力する(ブロック406)。前に述べたように、ユーザーセッティング126を、UI構成モジュール124によってさまざまな異なる形で使用して、ユーザーインターフェースを構成することができる。したがって、これらのユーザーセッティングを使用して、そのセッティングを含んだ物体を検出するのに使用されたクライアント102の表面120のユーザーインターフェースをパーソナライズすることができる。
[0049]もう1つの例では、別のユーザーインターフェース(1つまたは複数のユーザーセッティングを使用して構成された)を、表面を有するクライアントにローカルな別のクライアントを使用して出力することができる(ブロック408)。たとえば、別のクライアント106は、電子番組ガイド(EPG)内のテレビジョン番組の配置を指定するためなど、図1および2に示された1つまたは複数のユーザーセッティング126に従って構成されたEPGを出力することができる。単一のユーザーに対応するセッティングに従うユーザーインターフェースの構成を説明したが、ユーザーインターフェースを、複数のユーザーに対応するユーザーセッティングを使用して構成できることが、たやすく明白になり、そのさらなる議論は、次の図に関して見出すことができる。
[0050]図5は、複数のユーザーに共通するユーザーセッティングがユーザーインターフェースを構成するのに使用される、例の実施態様の手続き500を示す。特定の時点でクライアント102の近くに位置する複数のユーザーを識別する(ブロック502)。たとえば、複数のユーザーが、テーブルのフォームファクターを有する図1のクライアント102の周囲に位置する場合があり、ここで、ユーザーのそれぞれは、前に説明した技法のうちの1つまたは複数を使用してそのユーザーを識別するのに使用できる物体をクライアント102の表面120に配置する。音声認識、表面120を使用する指紋スキャニング、その他など、さまざまな他の技法を使用することもできる。
[0051]1つまたは複数のユーザーセッティングを、識別された複数のユーザーのそれぞれについて突き止め(ブロック504)、これは、前に説明した技法のうちの1つまたは複数を使用して実行することができる。次に、突き止められた1つまたは複数のユーザーセッティングのうちのどれが、識別された複数のユーザーに共通するのかに関する判定を
行う(ブロック506)。たとえば、複数のユーザーのユーザーセッティングは、特定のコンテンツへの関心が共有されること(たとえば、テレビジョン番組、音楽など)、特定のジャンルなどを示すことができる。
[0052]次に、ユーザーインターフェースを、判定された共通のユーザーセッティングを使用して構成することができる(ブロック508)。前の例を続けると、電子番組ガイドの「お気に入り」部分を、ユーザーの共通のお気に入りを含むように構成することができ、共有される関心に対応する背景を表面120に出力することなどができる。
結論
[0053]本発明を、構造的特徴および/または方法論的行為に固有の言語で説明したが、添付の特許請求の範囲で定義される本発明が、必ずしも説明された特定の特徴または行為に限定されないことを理解されたい。そうではなく、特定の特徴および行為は、請求される発明を実施する例の形として開示されたものである。

Claims (16)

  1. クライアントによって、前記クライアントの表面上に配置された物体を検出するステップと、
    前記検出された物体がユーザーセッティングを保持するように構成されていることの判定に応じて、前記検出された物体から、1人の特定ユーザーに対応する1つまたは複数のユーザーセッティングを取り出すステップであって、前記1つまたは複数のユーザーセッティングは、前記1人の特定ユーザーが複数のユーザーから識別されることを可能にする、ステップと、
    前記検出された物体がユーザーセッティングを保持するように構成されていないことの判定に応じて、前記表面を介した識別技法を用いて、前記1人の特定ユーザーを複数のユーザーから識別するのに使用可能な、前記検出された物体の一意の識別子を識別し、前記識別された1人の特定ユーザーに対応する1つまたは複数のユーザーセッティングを、前記クライアントにおいてローカルにまたはネットワークを介してリモートに突き止めるステップと、
    前記クライアントの前記表面上に表示するためのユーザーインターフェースであって前記クライアントの前記表面を介した直接的なユーザー相互作用を行うために構成されるユーザーインターフェースを、前記識別された1人の特定ユーザーに対応する前記1つまたは複数のユーザーセッティングを使用して構成するステップと、
    を含む方法。
  2. 前記クライアントは、テーブルのフォームファクターを有し、
    前記表面は、前記クライアントのテーブルトップの一部として含まれる
    請求項1に記載の方法。
  3. 検出する前記ステップは、複数の前記物体について実行され、
    前記ユーザーインターフェースを構成する前記ステップは、前記複数のユーザーに共通する前記ユーザーセッティングを使用して実行される
    請求項1に記載の方法。
  4. 検出する前記ステップは、前記クライアントの前記表面の下に配置された前記クライアントの1つまたは複数のカメラを使用して実行される画像認識を介して実行される、請求項1に記載の方法。
  5. 検出する前記ステップは、少なくとも部分的に、前記物体の少なくとも一部のバーコードスキャニングまたは光学文字認識を介して実行される、請求項1に記載の方法。
  6. 検出する前記ステップは、少なくとも部分的に、1つまたは複数の無線周波数識別技法を使用することによって実行される、請求項1に記載の方法。
  7. 1つまたは複数のアプリケーションに特有なセッティングを含む前記1つまたは複数のユーザーセッティングを使用してユーザーインターフェースを構成するステップと、
    前記クライアントの前記表面の少なくとも一部を使用して前記ユーザーインターフェースを出力するステップと
    をさらに含む、請求項1に記載の方法。
  8. 前記ユーザーインターフェースは、前記表面を有する前記クライアントにローカルな別のクライアントによって出力されるコンテンツを制御するように構成される、請求項7に記載の方法。
  9. 前記ユーザーインターフェースは、電子番組ガイド(EPG)である、請求項7に記載の方法。
  10. 前記クライアントにローカルな別のクライアントを使用して前記ユーザーインターフェースを出力するステップ
    をさらに含む、請求項1に記載の方法。
  11. 前記別のクライアントは、テレビジョンである、請求項10に記載の方法。
  12. テーブルのフォームファクターを有するハウジングと、
    前記ハウジングのテーブルトップに配置された表面と、
    前記ハウジング内に配置された1つまたは複数のモジュールと、
    を備えたクライアントであって、前記1つまたは複数のモジュールは、
    ローカルネットワーク接続を介してテレビジョンと相互作用し、
    前記テレビジョンに現在表示されているコンテンツに関連するコンテンツを前記表面に表示し、
    前記表面に配置された物体を検出し、
    前記検出された物体がユーザーセッティングを保持するように構成されていることの判定に応じて、前記検出された物体から、1人の特定ユーザーに対応する1つまたは複数のユーザーセッティングであって、前記1人の特定ユーザーが複数のユーザーから識別されることを可能にするユーザーセッティングを取り出し、
    前記検出された物体がユーザーセッティングを保持するように構成されていないことの判定に応じて、前記表面を介した識別技法を用いて、前記1人の特定ユーザーを複数のユーザーから識別するのに使用可能な、前記検出された物体の一意の識別子を識別し、前記識別された1人の特定ユーザーに対応する1つまたは複数のユーザーセッティングを、前記クライアントにおいてローカルにまたはネットワークを介してリモートに突き止め、
    前記表面を介するユーザーからの1つまたは複数の入力を検出し、
    前記表面を介した直接的なユーザー相互作用を行うために前記識別された1人の特定ユーザーに対応する前記1つまたは複数のユーザーセッティングを使用して構成されるユーザーインターフェースであって、少なくとも1つの前記入力を使用して前記表面上の前記コンテンツの前記表示を制御し、別の前記入力を使用して前記テレビジョン上のコンテンツの前記表示を制御するように構成されるユーザーインターフェースを、前記表面を介して出力する
    ように構成されている、クライアント。
  13. 前記表面に表示される前記コンテンツは、前記表面を介して出力される前記ユーザーインターフェースとの相互作用を介してセットされるアラートを含む、請求項12に記載のクライアント。
  14. 前記テレビジョンに表示される前記コンテンツは、スポーツイベントであり、
    前記表面に表示される前記コンテンツは、前記スポーツイベントに関連する統計を含む
    請求項12に記載のクライアント。
  15. 前記テレビジョンに表示される前記コンテンツは、テレビジョン番組であり、
    前記表面に表示される前記コンテンツは、前記テレビジョン番組に対応するインターネットチャットを含む
    請求項12に記載のクライアント。
  16. 前記1つまたは複数のモジュールは、
    前記表面に前記コンテンツを表示するリアプロジェクションシステムと、
    前記表面に赤外光を投影する1つまたは複数の赤外線プロジェクターと、
    前記表面の赤外線イメージを取り込む1つまたは複数の赤外線カメラと、
    前記入力を検出するために前記赤外線イメージを処理する検出モジュールと
    を含む、請求項12に記載のクライアント。
JP2011528074A 2008-09-24 2009-09-22 物体検出およびユーザーセッティング Expired - Fee Related JP5592378B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/236,691 2008-09-24
US12/236,691 US8421747B2 (en) 2008-09-24 2008-09-24 Object detection and user settings
PCT/US2009/057885 WO2010036658A2 (en) 2008-09-24 2009-09-22 Object detection and user settings

Publications (3)

Publication Number Publication Date
JP2012503801A JP2012503801A (ja) 2012-02-09
JP2012503801A5 JP2012503801A5 (ja) 2012-11-08
JP5592378B2 true JP5592378B2 (ja) 2014-09-17

Family

ID=42037709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011528074A Expired - Fee Related JP5592378B2 (ja) 2008-09-24 2009-09-22 物体検出およびユーザーセッティング

Country Status (7)

Country Link
US (1) US8421747B2 (ja)
EP (1) EP2350801B1 (ja)
JP (1) JP5592378B2 (ja)
KR (1) KR101619559B1 (ja)
CN (1) CN102165404B (ja)
RU (1) RU2541222C2 (ja)
WO (1) WO2010036658A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494197B2 (en) * 2008-12-19 2013-07-23 Starkey Laboratories, Inc. Antennas for custom fit hearing assistance devices
JP5489478B2 (ja) * 2009-01-26 2014-05-14 キヤノン株式会社 画像表示装置及び画像表示方法
EP2553647A4 (en) * 2010-03-26 2014-04-16 4D Retail Technology Corp SYSTEMS AND METHOD FOR PRODUCING AND USING AN INTERACTIVE DISPLAY TABLE FOR FASTER REGISTRATIONS
JP5655515B2 (ja) * 2010-11-11 2015-01-21 ソニー株式会社 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
TWI512547B (zh) * 2011-12-20 2015-12-11 Univ Nat Chiao Tung 互動式系統及互動式裝置
CN103902018B (zh) * 2012-12-24 2018-08-10 联想(北京)有限公司 一种信息处理方法、装置及一种电子设备
CN103941990B (zh) * 2013-01-21 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム
KR101533603B1 (ko) * 2014-11-03 2015-07-06 (주)라온스퀘어 인식방법 및 인식장치
JP6312044B2 (ja) * 2014-12-10 2018-04-18 カシオ計算機株式会社 情報表示制御装置及びプログラム
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
CN108474868B (zh) * 2015-09-24 2021-08-17 定位器Ip公司 超本地化的天气/环境数据
US11089372B2 (en) * 2018-03-28 2021-08-10 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
US10845985B2 (en) * 2018-09-14 2020-11-24 Sigmasense, Llc. Identification in touch systems
JP6654722B2 (ja) * 2019-03-08 2020-02-26 シャープ株式会社 画像表示装置および画像表示方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03143474A (ja) 1989-10-31 1991-06-19 Brother Ind Ltd ミシンの布送り装置
US5543150A (en) 1993-09-15 1996-08-06 Columbia Laboratories, Inc. Method of progesterone delivery and affect thereof
ATE290293T1 (de) * 1995-10-02 2005-03-15 Starsight Telecast Inc Vorrichtungen und verfahren zur bereitstellung von fernsehprogramminformation
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
KR20030037055A (ko) 2001-11-02 2003-05-12 박재숙 디지털 방송 시스템에서 부가 데이터 서비스 표시방법
US20070266413A1 (en) * 2001-12-20 2007-11-15 I-Requestv, Inc. Method and system for supplementing television programming with e-mailed magazines
US8031196B2 (en) * 2002-02-19 2011-10-04 Sharp Kabushiki Kaisha Display, electronic device, data transmitting method, information terminal, host apparatus, program, recording medium
AU2003220618A1 (en) * 2002-04-05 2003-10-27 Matsushita Electric Industrial Co., Ltd. Asynchronous integration of portable handheld device
CN2655311Y (zh) * 2003-07-09 2004-11-10 海南视界科技有限公司 平面电脑台
US7467380B2 (en) * 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7379047B2 (en) * 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US20060044282A1 (en) * 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
JP4714473B2 (ja) * 2005-02-07 2011-06-29 Hoya株式会社 ユーザ認識機能を有するデジタルカメラ
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US20070022437A1 (en) * 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
ITMI20051418A1 (it) * 2005-07-22 2007-01-23 Indena Spa Analoghi del tiocolchicoside ad attivita'miorilassante e antiinfiammatoria
US8736547B2 (en) 2006-04-20 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for interfacing a digital device with an interactive display surface
JP4713428B2 (ja) * 2006-09-15 2011-06-29 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
JP2008097151A (ja) * 2006-10-06 2008-04-24 Sharp Corp 情報処理装置、情報処理システム、情報処理方法およびプログラム
US20080098450A1 (en) * 2006-10-16 2008-04-24 Toptrend Global Technologies, Inc. Dual display apparatus and methodology for broadcast, cable television and IPTV
JP4922744B2 (ja) * 2006-12-14 2012-04-25 キヤノン電子株式会社 画像読取装置及びその制御方法、並びにプログラム
JP5000989B2 (ja) * 2006-11-22 2012-08-15 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
TWI337318B (en) * 2007-05-15 2011-02-11 Htc Corp Electronic device operated by using touch display
US20090006958A1 (en) * 2007-06-29 2009-01-01 Nokia Corporation Method, Apparatus and Computer Program Product for Providing an Object Selection Mechanism for Display Devices
JP4986766B2 (ja) * 2007-08-09 2012-07-25 パナソニック株式会社 携帯端末用制御装置
US20090091529A1 (en) * 2007-10-09 2009-04-09 International Business Machines Corporation Rendering Display Content On A Floor Surface Of A Surface Computer
CN101251786A (zh) * 2008-01-18 2008-08-27 李喆 交互式媒体多人触控系统

Also Published As

Publication number Publication date
US20100074464A1 (en) 2010-03-25
CN102165404B (zh) 2015-04-01
RU2011111084A (ru) 2012-10-27
EP2350801A2 (en) 2011-08-03
CN102165404A (zh) 2011-08-24
KR101619559B1 (ko) 2016-05-10
RU2541222C2 (ru) 2015-02-10
WO2010036658A3 (en) 2010-06-17
JP2012503801A (ja) 2012-02-09
US8421747B2 (en) 2013-04-16
EP2350801B1 (en) 2019-02-13
KR20110063649A (ko) 2011-06-13
WO2010036658A2 (en) 2010-04-01
EP2350801A4 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP5592378B2 (ja) 物体検出およびユーザーセッティング
JP6249419B2 (ja) ユーザー介入なくレイアウトに従った画像識別及び編成
US20100077431A1 (en) User Interface having Zoom Functionality
US9633479B2 (en) Time constrained augmented reality
JP5658669B2 (ja) 物体識別を使用するターゲットを絞った広告
US9202299B2 (en) Hint based spot healing techniques
JP7104242B2 (ja) 個人情報を共有する方法、装置、端末設備及び記憶媒体
TW201346654A (zh) 手寫筆的計算環境
US10698588B2 (en) Combined selection tool
US9519355B2 (en) Mobile device event control with digital images
US20150189384A1 (en) Presenting information based on a video
JP2013533541A (ja) 文字の選択
CN114237419B (zh) 显示设备、触控事件的识别方法
US20150325051A1 (en) Method, apparatus and system for rendering virtual content
US20180070093A1 (en) Display apparatus and control method thereof
CN112860921A (zh) 信息搜索方法及装置
US10114518B2 (en) Information processing system, information processing device, and screen display method
US10733491B2 (en) Fingerprint-based experience generation
WO2015100070A1 (en) Presenting information based on a video
CN109218599B (zh) 全景图像的显示方法及其电子装置
US20150026571A1 (en) Display apparatus and method for providing a user interface
US20130047102A1 (en) Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and program product
AU2013205544A1 (en) Method, apparatus and system for displaying augmented content
TW201738777A (zh) 線上書籍資訊的查詢方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140731

R150 Certificate of patent or registration of utility model

Ref document number: 5592378

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees