JP5655515B2 - 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム - Google Patents

情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム Download PDF

Info

Publication number
JP5655515B2
JP5655515B2 JP2010252748A JP2010252748A JP5655515B2 JP 5655515 B2 JP5655515 B2 JP 5655515B2 JP 2010252748 A JP2010252748 A JP 2010252748A JP 2010252748 A JP2010252748 A JP 2010252748A JP 5655515 B2 JP5655515 B2 JP 5655515B2
Authority
JP
Japan
Prior art keywords
user input
information processing
processing apparatus
user
content image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010252748A
Other languages
English (en)
Other versions
JP2012103951A (ja
Inventor
大介 川上
大介 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010252748A priority Critical patent/JP5655515B2/ja
Priority to CN201610251638.1A priority patent/CN105892867B/zh
Priority to CN201110345348.0A priority patent/CN102591561B/zh
Priority to US13/289,193 priority patent/US8839137B2/en
Publication of JP2012103951A publication Critical patent/JP2012103951A/ja
Priority to US14/304,159 priority patent/US9407683B2/en
Application granted granted Critical
Publication of JP5655515B2 publication Critical patent/JP5655515B2/ja
Priority to US15/158,089 priority patent/US9729608B2/en
Priority to US15/638,680 priority patent/US10948950B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムに関する。
近年、コンテンツの作成及び利用、ゲーム、オンラインショッピング、並びにデジタル家電機器の操作など、様々な分野で、画面上に表示されるコンテンツとユーザとの間のインタラクションをより緊密化させたユーザインタフェース（ＵＩ）が指向されている。例えば、下記特許文献１は、タッチパッドへの接触とカメラを介して検出されるジェスチャとを複合的に用いることで、画像オブジェクトの操作の直感性を高めることを提案している。
特開２００９−４２７９６号公報
しかしながら、ジェスチャ認識を用いる手法では、予め登録されたジェスチャに対応する操作しか行うことができないため、オブジェクトをユーザが自在に動かすことが難しかった。また、登録されたジェスチャを学習することがユーザにとって負担になる場合があった。さらに、例えば暗い場所においては、カメラにより撮像されたユーザのジェスチャを正確に認識することができず、ＵＩが正常に機能しない恐れがあった。
そこで、本発明は、これら問題点の少なくとも１つを解決するユーザインタフェースを提供することのできる、新規かつ改良された情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムを提供しようとするものである。
本発明のある実施形態によれば、第１のユーザ入力を検出するタッチパネルと、第２のユーザ入力を検出する携帯端末との間で通信する通信部と、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を備え、上記制御部は、上記タッチパネルにより上記第１のユーザ入力が検出された場合に、上記オブジェクトの第１の操作を実行し、及び、上記通信部により上記携帯端末から上記第２のユーザ入力が受信された場合に、上記オブジェクトの第２の操作を実行する、情報処理装置が提供される。
また、上記第２のユーザ入力は、上記携帯端末の姿勢の変化に対応するユーザ入力であり、上記第２の操作は、上記コンテンツ画像内の上記オブジェクトの姿勢の変更であってもよい。
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるタッチであり、上記第１の操作は、操作可能な複数のオブジェクトからの操作対象オブジェクトの選択であってもよい。
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトの移動であり、上記制御部は、上記第２のユーザ入力に基づいて変更される上記オブジェクトの姿勢に応じて、上記オブジェクトの移動方向を制御してもよい。
また、上記携帯端末は、第３のユーザ入力をさらに検出し、上記制御部は、上記通信部により上記携帯端末から上記第３のユーザ入力が受信された場合に、上記第１のユーザ入力に基づいて実行される上記第１の操作を複数の操作の候補の間で切替えてもよい。
また、上記表示出力部は、上記情報処理装置の外部の表示装置へ上記コンテンツ画像を出力してもよい。
また、上記制御部は、上記オブジェクトの操作に関する説明を表示する操作ガイダンスを上記タッチパネルに表示させてもよい。
また、本発明の別の実施形態によれば、上記情報処理装置を内蔵する本体部と、上記情報処理装置の上記タッチパネルの表示面を上方に配置した天板と、を備えるテーブルが提供される。
また、本発明の別の実施形態によれば、タッチパネルを有し、携帯端末との間で通信可能な情報処理装置において、コンテンツの表示を制御するための表示制御方法であって、操作可能なオブジェクトを含むコンテンツデータを取得するステップと、上記オブジェクトを表示するコンテンツ画像を出力するステップと、上記タッチパネルにより第１のユーザ入力が検出された場合に、上記コンテンツ画像に表示される上記オブジェクトの第１の操作を実行するステップと、上記携帯端末から第２のユーザ入力が受信された場合に、上記コンテンツ画像に表示される上記オブジェクトの第２の操作を実行するステップと、を含む表示制御方法が提供される。
また、上記第２のユーザ入力は、上記携帯端末の姿勢の変化に対応するユーザ入力であり、上記第２の操作は、上記コンテンツ画像内の上記オブジェクトの姿勢の変更であってもよい。
また、上記第１のユーザ入力は、上記タッチパネル上でのユーザによるドラッグであり、上記第１の操作は、上記コンテンツ画像内の上記オブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。
また、本発明の別の実施形態によれば、タッチパネルを有し、携帯端末との間で通信可能な情報処理装置を制御するコンピュータを、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、として機能させるためのプログラムであって、上記制御部は、上記タッチパネルにより第１のユーザ入力が検出された場合に、上記コンテンツ画像に表示される上記オブジェクトの第１の操作を実行し、及び、上記携帯端末から第２のユーザ入力が受信された場合に、上記コンテンツ画像に表示される上記オブジェクトの第２の操作を実行する、プログラムが提供される。
また、本発明の別の実施形態によれば、第１のユーザ入力を検出するタッチパネルを有する情報処理装置との間で通信する通信部と、第２のユーザ入力を検出するセンサと、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を備え、上記制御部は、上記通信部により上記情報処理装置から上記第１のユーザ入力が受信された場合に、上記オブジェクトの第１の操作を実行し、及び、上記センサにより上記第２のユーザ入力が検出された場合に、上記オブジェクトの第２の操作を実行する、携帯端末が提供される。
また、本発明の別の実施形態によれば、第１のユーザ入力を検出するタッチパネルを備える情報処理装置と、第２のユーザ入力を検出するセンサを備え、上記情報処理装置との間で通信可能な携帯端末と、を含む情報処理システムであって、上記情報処理装置及び上記携帯端末の少なくとも一方は、操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、上記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、上記コンテンツ画像に表示される上記オブジェクトの操作を制御する制御部と、を有し、上記制御部は、上記タッチパネルにより上記第１のユーザ入力が検出された場合に、上記オブジェクトの第１の操作を実行し、及び、上記センサにより上記第２のユーザ入力が検出された場合に、上記オブジェクトの第２の操作を実行する、情報処理システムが提供される。
以上説明したように、本発明に係る情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システムによれば、上述した問題点の少なくとも１つを解決し、ジェスチャ認識に基づくＵＩよりも操作の自在性を高めたＵＩを提供することができる。
情報処理システムの概要を示す模式図である。 第１の実施形態に係る携帯端末の構成の一例を示すブロック図である。 第１の実施形態に係る情報処理装置の構成の一例を示すブロック図である。 情報処理装置と携帯端末との間の人体通信について説明するための説明図である。 第１の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。 第１の実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。 コンテンツデータと関連付けられるＵＩ構成データの一例について説明するための説明図である。 ユーザ入力と操作内容とのマッピングの一例について説明するための説明図である。 機器探索のための問合せパケットのパケットフォーマットの一例について説明するための説明図である。 図９の問合せパケットへの応答パケットのパケットフォーマットの一例について説明するための説明図である。 情報処理装置のタッチパネル上に表示される操作ガイダンスの一例について説明するための説明図である。 センサデータパケットのパケットフォーマットの一例について説明するための説明図である。 第１の実施形態に係る情報処理装置による処理の流れの一例を示すフローチャートである。 第１の実施形態に係る携帯端末による処理の流れの一例を示すフローチャートである。 第２の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。 第２の実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．システムの概要
２．第１の実施形態の説明
２−１．携帯端末の構成例
２−２．情報処理装置の構成例
２−３．表示制御処理の流れの例
２−４．各装置の処理
３．第２の実施形態の説明
４．まとめ
＜１．システムの概要＞
図１は、本発明の一実施形態に係る情報処理システム１の概要を示す模式図である。図１を参照すると、情報処理システム１は、表示装置１０、携帯端末２０及び情報処理装置１００を含む。図１の例では、携帯端末２０は、ユーザにより把持されている。また、情報処理装置１００は、ユーザの前方に位置するテーブル５０に内蔵されている。
表示装置１０は、情報処理システム１においてユーザにより指定されるコンテンツを画面上に表示する。表示装置１０は、例えば、液晶、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode Ray Tube）若しくはＯＬＥＤ（Organic Light-Emitting Diode）などの画面を有するテレビジョン受像機、ＰＣ（Personal Computer）用のモニタ又はその他の種類の表示装置であってよい。
携帯端末２０は、例えばジャイロセンサ、電子コンパス又は加速度センサなどの１つ以上のセンサを有する、携帯可能な端末装置である。携帯端末２０は、情報処理装置１００と連携しながら、上述したセンサを用いて、表示装置１０により表示されるコンテンツをユーザが操作するためのＵＩを部分的に提供する。携帯端末２０は、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Portable Navigation Device）、携帯型ゲーム端末、又は携帯型音楽プレーヤなどであってよい。
テーブル５０は、天板５２、１つ以上の脚５４及び本体部５６を有する。本体部５６は、情報処理装置１００のモジュール群を内蔵する。天板５２の表面には、情報処理装置１００のタッチパネルの表示面が露出される。
情報処理装置１００は、ユーザによるタッチを検出可能なタッチパネルを有する装置である。情報処理装置１００は、携帯端末２０と連携しながら、上述したタッチパネルを用いて、表示装置１０により表示されるコンテンツをユーザが操作するためのＵＩを部分的に提供する。図１の例では情報処理装置１００はテーブル５０に内蔵されているが、その代わりに、情報処理装置１００は、例えば、テーブル５０とは別体に構成されるＰＣ（Personal Computer）であってもよい。その場合、情報処理装置１００は、使用時にテーブル５０に載置され得る。
情報処理装置１００は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣ（Near Field Communication）などの任意の無線通信プロトコルに従って、携帯端末２０との間で通信してもよい。その代わりに、情報処理装置１００は、例えば、特開２０１０−２１９８４号公報に記載された人体通信技術を利用し、ユーザの体を介して携帯端末２０との間で通信してもよい。
本明細書では、このような携帯端末２０と情報処理装置１００との連携によって実現されるＵＩについて詳細に説明する。以下に説明する第１の実施形態では、情報処理装置１００が、ＵＩのマスタとして動作する。また、第２の実施形態では、携帯端末２０が、ＵＩのマスタとして動作する。
＜２．第１の実施形態の説明＞
［２−１．携帯端末の構成例］
図２は、第１の実施形態に係る携帯端末２０の構成の一例を示すブロック図である。図２を参照すると、携帯端末２０は、入力部２２、通信部２４、記憶部２６、データ取得部２８、制御部３０、表示部３２及び表示出力部３４を備える。
入力部２２は、１つ以上のセンサ、及びタッチパネル、キーパッド、ボタン又はスイッチなどのその他の入力手段を含み、携帯端末２０へのユーザ入力を検出する。入力部２２に含まれるセンサは、例えば、ジャイロセンサ、電子コンパス又は加速度センサなどであってよい。入力部２２は、これらセンサにより測定されるデータ（以下、センサデータという）を時系列で制御部３０へ出力する。
通信部２４は、携帯端末２０と情報処理装置１００との間の通信のための通信インタフェースを含む。通信部２４は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣなどの無線通信プロトコルを実装する無線通信インタフェースを含んでもよい。その代わりに、通信部２４は、例えば、上述した人体通信のための電極などを有する人体通信インタフェースを含んでもよい。さらに、通信部２４は、携帯端末２０が外部ネットワークと接続するための接続インタフェースを含んでもよい。
記憶部２６は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、携帯端末２０が実行する処理ロジックを記述したプログラム及び制御データを記憶する。また、記憶部２６は、ユーザにより操作可能なオブジェクトを含むコンテンツデータを記憶してもよい。記憶部２６により記憶され得るコンテンツデータは、画像データ、２Ｄ若しくは３Ｄの映像データ、アニメーションデータ、又はインタラクティブなＷｅｂページなどであってもよい。
データ取得部２８は、操作可能なオブジェクトを含むコンテンツデータを取得し得る。例えば、データ取得部２８は、携帯端末２０の撮像手段（図示せず）により撮像される画像データ又は映像データを取得してもよい。また、データ取得部２８は、通信部２４を介して外部ネットワークからダウンロードされるコンテンツデータを取得してもよい。
制御部３０は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサを用いて、携帯端末２０の動作全般を制御する。例えば、制御部３０は、通信部２４を介して、情報処理装置１００との間の通信を確立する。また、制御部３０は、入力部２２から入力されるセンサデータを、通信部２４を介して情報処理装置１００へ出力する。また、制御部３０は、記憶部２６により記憶されているコンテンツデータの一覧を表示部３２又は他の装置の画面上に表示させ、再生すべきコンテンツデータをユーザに指定させてもよい。
表示部３２は、携帯端末２０の固有の画面を有する。表示部３２は、制御部３０による制御の下、例えば、携帯端末２０のデスクトップ画像、アプリケーション画像又はコンテンツデータ一覧などを画面上に表示し得る。
表示出力部３４は、携帯端末２０から表示装置１０へ画像を出力するための出力インタフェースである。本実施形態では、後述するように、情報処理装置１００によりコンテンツデータが再生され、情報処理装置１００から表示装置１０へコンテンツ画像が出力される。しかしながら、かかる例に限定されず、携帯端末２０によりコンテンツデータが再生され、携帯端末２０の表示出力部３４から表示装置１０へコンテンツ画像が出力されてもよい。
［２−２．情報処理装置の構成例］
図３は、第１の実施形態に係る情報処理装置１００の構成の一例を示すブロック図である。図３を参照すると、情報処理装置１００は、タッチ検出部１１２、表示部１１４、通信部１２０、記憶部１３０、データ取得部１４０、表示出力部１５０及び制御部１６０を備える。
タッチ検出部１１２及び表示部１１４は、タッチパネル１１０を形成する。タッチ検出部１１２は、例えば、図１におけるテーブル５０の天板５２の表面に露出される表示面へのユーザによるタッチを感知し、タッチ位置を表す電気信号を制御部１６０へ出力する。表示部１１４は、制御部１６０から入力される画像をタッチパネルの表示面上に表示する。表示部１１４により表示される画像には、表示装置１０へ出力されるコンテンツ画像に表示されるオブジェクトについての操作ガイダンスの画像が含まれる。
通信部１２０は、情報処理装置１００と携帯端末２０との間の通信のための通信インタフェースを含む。通信部１２０は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＮＦＣなどの無線通信プロトコルを実装する無線通信インタフェースを含んでもよい。その代わりに、通信部１２０は、例えば、上述した人体通信のための電極などを有する人体通信インタフェースを含んでもよい。さらに、通信部１２０は、情報処理装置１００が外部ネットワーク（インターネット又はＤＬＮＡネットワークなど）と接続するための接続インタフェースを含んでもよい。
図４は、携帯端末２０と情報処理装置１００との間の通信の一例である人体通信について説明するための説明図である。図４を参照すると、携帯端末２０を把持する（又は装着する）と共に、情報処理装置１００を触っているユーザＵａが示されている。図４の例では、携帯端末２０の通信部２４は、電極２４ａ及び変復調部２４ｂを含む。電極２４ａは、基準電位（ＧＮＤ：グラウンド）を有する大地又は大気などと静電結合し、静電容量を形成する。同様に、情報処理装置１００の通信部１２０は、電極１２０ａ及び変復調部１２０ｂを含む。電極１２０ａもまた、上記基準電位を有する大地又は大気などと静電結合し、静電容量を形成する。通信信号は、これら電極間の電位差に変調され、携帯端末２０と情報処理装置１００との間をユーザＵａの人体を介して伝送され得る。なお、このような人体通信は一例に過ぎず、携帯端末２０と情報処理装置１００との間の通信は他の通信形態によって行われてもよい。
図３に戻り、本実施形態に係る情報処理装置１００の構成の一例の説明を継続する。
記憶部１３０は、ハードディスク又は半導体メモリなどの記憶媒体を用いて、情報処理装置１００が実行する処理ロジックを記述したプログラム及び制御データを記憶する。また、記憶部１３０は、ユーザにより操作可能なオブジェクトを含むコンテンツデータを記憶する。
データ取得部１４０は、操作可能なオブジェクトを含むコンテンツデータを取得する。例えば、データ取得部１４０は、記憶部１３０により記憶されているコンテンツデータを取得してもよい。また、データ取得部１４０は、携帯端末２０の記憶部２６により記憶されているコンテンツデータを、通信部１２０を介して取得してもよい。また、データ取得部１４０は、通信部１２０を介して外部ネットワークからダウンロードされるコンテンツデータを取得してもよい。データ取得部１４０により取得されるコンテンツデータは、制御部１６０により再生され得る。
表示出力部１５０は、情報処理装置１００から表示装置１０へ画像を出力するための出力インタフェースである。表示出力部１５０は、例えば、ＨＤＭＩ（High Definition Multimedia Interface）又はＤＶＩ（Digital Visual Interface）などの映像伝送プロトコルを実装する映像出力インタフェースであってもよい。表示出力部１５０の出力インタフェースは、有線インタフェースであってもよく、無線インタフェースであってもよい。
制御部１６０は、ＣＰＵ、ＭＰＵ又はＤＳＰなどのプロセッサを用いて、情報処理装置１００の動作全般を制御する。例えば、制御部１６０は、データ取得部１４０により取得されるコンテンツデータの一覧を表示部１１４又は他の装置の画面上に表示させ、再生すべきコンテンツデータをユーザに指定させる。また、制御部１６０は、指定されたコンテンツデータを再生することにより得られるコンテンツ画像を、表示出力部１５０を介して表示装置１０に表示させる。また、制御部１６０は、通信部１２０を介して、携帯端末２０との間の通信を確立する。そして、制御部１６０は、タッチパネル１１０により検出される第１のユーザ入力、及び携帯端末２０により検出される第２のユーザ入力に応じて、コンテンツ画像に表示されるオブジェクトの操作を制御する。携帯端末２０により検出される第２のユーザ入力は、通信部１２０により受信されるセンサデータを通じて認識され得る。
［２−３．表示制御処理の流れの例］
次に、図５及び図６を用いて、情報処理システム１における表示制御処理の流れの一例を説明する。
（１）事前処理
図５は、本実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。図５を参照すると、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する事前処理のシーケンスの一例が示されている。
表示制御処理の事前処理は、まず、再生すべきコンテンツデータをユーザが指定することにより開始される（ステップＳ１０２）。例えば、ユーザは、情報処理装置１００のタッチパネル１１０の表示面に表示されるコンテンツデータの一覧から所望のアイテムを選択し、選択したアイテムをタッチすることによりコンテンツデータを指定し得る。
次に、情報処理装置１００のデータ取得部１４０は、指定されたコンテンツデータを、情報処理装置１００の記憶部１３０、携帯端末２０の記憶部２６又は外部ネットワークなどから取得する（ステップＳ１０４）。さらに、データ取得部１４０は、ステップＳ１０４において取得したコンテンツデータと関連付けて、ユーザ入力と当該コンテンツデータに含まれるオブジェクトの操作との間の対応関係を定義するＵＩ構成データを取得する（ステップＳ１０６）。
図７は、コンテンツデータと関連付けられるＵＩ構成データの一例について説明するための説明図である。図７を参照すると、コンテンツデータ１３２のデータフォーマットの一例が示されている。図７のデータフォーマットにおいて、コンテンツデータ１３２は、共通ヘッダ１３４、拡張ヘッダ１３６、及びオブジェクトデータ１３８を含む。共通ヘッダ１３４には、例えば、コンテンツデータの種類、作成日時及びデータ長などの標準的なヘッダ情報が格納される。オブジェクトデータ１３８には、コンテンツを構成するオブジェクトの実データが格納される。
ＵＩ構成データは、例えば、拡張ヘッダ１３６に格納される。ＵＩ構成データは、例えば、利用センサ情報及び操作定義情報を含む。利用センサ情報とは、オブジェクトデータ１３８内の実データに含まれるオブジェクトの操作のために利用されるセンサを特定する情報である。利用センサ情報は、例えば、ジャイロセンサ、電子コンパス、加速度センサ、及びタッチパネルなどのセンサの種類ごとの利用／未利用を表すビット列又はコード値などであってよい。操作定義情報は、上述したセンサを介して検出されるユーザ入力とオブジェクトのより抽象的な操作内容とのマッピングを定義する情報である。
図８は、ユーザ入力と操作内容とのマッピングの一例について説明するための説明図である。図８を参照すると、ユーザ入力の６種類の入力イベントＥｖ０１、Ｅｖ１１、Ｅｖ１２、Ｅｖ１３、Ｅｖ２１及びＥｖ３１の各々について、ユーザ入力の種類及び対応する操作内容が示されている。例えば、情報処理装置１００のタッチパネル上でのタップは、操作対象のオブジェクトの選択に対応する（イベントＥｖ０１）。タッチパネル上でのドラッグは、３種類の入力状態に応じて、オブジェクトの移動若しくはサイズ変更、又は視点の変更のいずれかに対応する（イベントＥｖ１１〜Ｅｖ１３）。携帯端末２０のセンサにより検知される姿勢の変化は、オブジェクトの回転（３Ｄ回転又は２Ｄ回転）に対応する（イベントＥｖ２１）。また、オブジェクトの回転によってオブジェクトの姿勢が変更されることで、入力イベントＥｖ１１に応じたオブジェクトの移動方向が変更されてもよい。例えば、オブジェクトが直立している場合には入力イベントＥｖ１１に応じてオブジェクトが直進し、オブジェクトが傾いている場合には入力イベントＥｖ１１に応じてオブジェクトが曲線的に移動するようなＵＩが実現されてもよい。携帯端末２０の所定のボタンの押下は、入力状態の切替えに対応する（イベントＥｖ３１）。
図８におけるユーザ入力と操作内容とのマッピングの定義は、一例に過ぎない。例えば、タッチパネル上でのドラッグのうち、上下方向に沿ったドラッグがオブジェクトのサイズ変更、左右方向に沿ったドラッグがオブジェクトの移動などとマッピングされてもよい。また、ユーザ入力と操作内容とのマッピングは、ユーザごとにカスタマイズ又は個人化（パーソナライズ）されてもよい。但し、オブジェクトの操作のためのＵＩ機能を携帯端末２０と情報処理装置１００のタッチパネル１１０とに分散するにあたり、オブジェクトの姿勢の変更、即ちオブジェクトの回転は、携帯端末２０の姿勢の変化にマッピングされるのが好適である。なぜならば、携帯端末２０はユーザに把持された状態で自在に姿勢を変化させ得る一方で、情報処理装置１００のタッチパネル１１０はテーブル５０の上にほぼ固定的に配置されるためである。携帯端末２０でのオブジェクトの姿勢の制御とタッチパネル１１０でのオブジェクトの移動の制御とを同時に実現とすることで、ユーザが両手を用いて自在にオブジェクトを操作することが可能となる。
なお、ここではＵＩ構成データがコンテンツデータのヘッダに含まれる例について説明した。しかしながら、例えば、特定の種類のコンテンツについてＵＩの構成が標準化されているような場合には、コンテンツデータからＵＩ構成データが省略されてもよい。また、コンテンツデータ内にＵＩ構成データの所在を表すＵＲＬ（Uniform Resource Locator）のみが記述され、情報処理装置１００が当該ＵＲＬにアクセスしてＵＩ構成データを追加的に取得してもよい。
図５に戻り、表示制御処理の事前処理の流れの一例の説明を継続する。
情報処理装置１００の制御部１６０は、ユーザにより指定されたコンテンツデータが取得されると、初期状態のコンテンツ画像を表示出力部１５０を介して出力し、表示装置１０に当該コンテンツ画像を表示させる（ステップＳ１０８）。
また、制御部１６０は、コンテンツデータと関連付けられるＵＩ構成データが取得されると、ＵＩ構成データ内の利用センサ情報により指定されているセンサを有する機器を探索する（ステップＳ１１２）。機器の探索は、例えば、通信部１２０が所定のフォーマットを有する問合せパケットを情報処理装置１００の周囲に送信することにより行われ得る。携帯端末２０は、情報処理装置１００から問合せパケットを受信すると、当該問合せパケットに対する応答パケットを送信することにより、機器の探索に応答する（ステップＳ１１４）。
図９は、機器探索のための問合せパケットのパケットフォーマットの一例について説明するための説明図である。図９を参照すると、一例としての問合せパケット１３２は、問合せヘッダ１３４、問合せ側機能情報１３６及び要求機能情報１３８を含む。問合せヘッダ１３４には、例えば、問合せパケットのＩＤ、情報処理装置１００のＩＤ、パケットフォーマットの種類及びパケット長などのヘッダ情報が格納される。問合せ側機能情報１３６には、問合せ側である情報処理装置１００が有するケイパビリティに関する情報（例えば、利用可能な通信プロトコルの種類及びセンサの種類など）が含まれる。要求機能情報１３８には、問合せを受けた機器に要求される機能に関する情報が含まれる。図９の例では、要求機能情報１３８には、所望のＵＩの実現のために要求されるセンサのリストを含んでいる。
図１０は、図９の問合せパケットへの応答パケットのパケットフォーマットの一例について説明するための説明図である。図１０を参照すると、一例としての応答パケット１４２は、応答ヘッダ１４４及び応答側機能情報１４６を含む。応答ヘッダ１４４には、例えば、応答パケットのＩＤ、対応する問合せパケットのＩＤ、携帯端末２０のＩＤ及びパケット長などのヘッダ情報が格納される。応答側機能情報１４６には、応答側である携帯端末２０が有するケイパビリティに関する情報が含まれる。図１０の例では、応答側機能情報１４６は、問合せパケットの要求機能情報１３８により示されたセンサ群のうち携帯端末２０において利用可能なセンサのリストを含んでいる。
再び図５に戻り、表示制御処理の事前処理の流れの一例の説明を継続する。
情報処理装置１００の制御部１６０は、携帯端末２０から応答パケットを受信すると、例えば接続情報の交換、相互認証などを経て、携帯端末２０との間で通信を確立する（ステップＳ１１６）。
次に、制御部１６０は、ＵＩ構成データに含まれる操作定義情報に基づいて、表示部１１４に操作ガイダンスを表示させる（ステップＳ１１８）。図１１は、表示部１１４により表示される操作ガイダンスの一例について説明するための説明図である。図１１を参照すると、一例としての操作ガイダンス１５０は、タッチ領域枠１５２、入力状態表示欄１５４及び端末操作説明欄１５６を含む。タッチ領域枠１５２は、ユーザがタッチ又はドラッグなどのユーザ入力を行うための領域を示す枠である。入力状態表示欄１５４は、複数の入力状態のうちの現在の入力状態と入力状態の切替え方法とを示している。端末操作説明欄１５６は、携帯端末２０を用いてどのような操作を行うことができるかの説明を示している。なお、携帯端末２０により利用可能でないセンサが存在する場合には、端末操作説明欄１５６において、そのセンサについての説明が示されてもよい。ユーザは、このような操作ガイダンスを確認しながら、携帯端末２０及び情報処理装置１００のタッチパネル１１０の双方を用いて、表示装置１０により表示される操作可能なオブジェクトを操作することができる。
図１１に例示したような操作ガイダンスが表示されると、情報処理システム１における表示制御処理の事前処理は終了する。
（２）表示制御処理
図６は、本実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。事前処理に引き続き、表示制御処理には、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する。なお、表示制御処理は、典型的には、イベント駆動方式で行われる。従って、図６に示したユーザ入力の順序及び回数は、説明のための便宜的なものに過ぎない。以下の説明では、情報処理装置１００のタッチパネル１１０により検出されるユーザ入力を第１のユーザ入力、携帯端末２０により検出され情報処理装置１００の通信部１２０により受信されるユーザ入力を第２のユーザ入力という。
例えば、制御部１６０は、タッチパネル１１０により第１のユーザ入力が検出されると（ステップＳ１３０）、コンテンツ画像に表示されるオブジェクトの第１の操作を実行する（ステップＳ１３２）。図８を用いて説明したように、例えば、第１のユーザ入力はタッチパネル１１０上でのユーザによるタッチ、第１の操作は操作可能な複数のオブジェクトからの操作対象オブジェクトの選択であってもよい。また、例えば、第１のユーザ入力はタッチパネル１１０上でのユーザによるドラッグ、第１の操作はオブジェクトのサイズ変更若しくは移動、又は視点の変更であってもよい。制御部１６０は、入力状態に応じて第１のユーザ入力を解釈し、第１の操作に従ったコンテンツ画像を出力する（ステップＳ１３４）。
また、例えば、制御部１６０は、携帯端末２０により第２のユーザ入力が検出されると（ステップＳ１４０、Ｓ１４２）、コンテンツ画像に表示されるオブジェクトの第２の操作を実行する（ステップＳ１４４）。図８を用いて説明したように、例えば、第２のユーザ入力は携帯端末２０の姿勢の変化、第２の操作はオブジェクトの姿勢の変更であってよい。制御部１６０は、通信部１２０により受信されるセンサデータに基づいて第２のユーザ入力を認識し、第２の操作に従ったコンテンツ画像を出力する（ステップＳ１４６）。
また、例えば、制御部１６０は、タッチパネル１１０により第１のユーザ入力が検出されると共に（ステップＳ１５０）、携帯端末２０により第２のユーザ入力が検出されると（ステップＳ１５２、Ｓ１５４）、上記第１及び第２の操作とは異なるオブジェクトの操作を実行してもよい（ステップＳ１５６）。例えば、第２のユーザ入力に基づいてオブジェクトの姿勢が変更され、変更されたオブジェクトの姿勢に応じて異なる移動方向で、第１のユーザ入力に基づいてオブジェクトが移動されてもよい。制御部１６０は、このような操作に従ったコンテンツ画像を出力し得る（ステップＳ１５８）。
図１２は、図６のステップＳ１４２及びＳ１５４において携帯端末２０から情報処理装置１００へ送信され得るセンサデータパケットのパケットフォーマットの一例について説明するための説明図である。図１２を参照すると、一例としてのセンサデータパケット１５２は、センサデータヘッダ１５４、及び１つ以上のセンサデータフィールド１５６ａ〜１５６ｎを含む。センサデータヘッダ１５４は、例えば、携帯端末２０のＩＤ、パケット内のセンサデータフィールドの数、及び測定時刻を表すタイムスタンプなどを含み得る。センサデータフィールド１５６ａ〜１５６ｎの各々は、センサの種類に応じた測定結果を含み得る。例えば、ジャイロセンサについては回転方向ごとの角速度、電子コンパスについては方位、加速度センサについては３軸の加速度、タッチパネルについてはタッチ位置又はドラッグ位置などのデータ値がセンサデータに含まれ得る。
［２−４．各装置の処理］
（１）マスタ側装置
図１３は、本実施形態においてＵＩのスレーブとして動作する携帯端末２０による処理の流れの一例を示すフローチャートである。
図１３を参照すると、まず、データ取得部１４０により、コンテンツデータが取得される（ステップＳ１６１）。次に、データ取得部１４０により、コンテンツデータと関連付けられるＵＩ構成データが取得される（ステップＳ１６２）。そして、制御部１６０は、コンテンツデータに含まれるオブジェクトの操作のためのＵＩに利用されるセンサを、ＵＩ構成データから認識する（ステップＳ１６３）。また、制御部１６０は、表示出力部１５０を介して初期状態のコンテンツ画像を表示装置１０へ出力する（ステップＳ１６４）、
次に、通信部１２０から機器の探索のための問合せパケットが送信される（ステップＳ１６５）。そして、情報処理装置１００は、周辺に存在する機器からの応答を待ち受ける（ステップＳ１６６）。ここで、所定の待機時間を経過しても応答が受信されない場合には、制御部１６０は、他の機器を用いることなくオブジェクトの操作を制御する（ステップＳ１６７）。一方、例えば携帯端末２０から応答パケットが受信された場合には、制御部１６０は、携帯端末２０との間で通信を確立する（ステップＳ１６８）。そして、制御部１６０は、ＵＩ構成データに従って、図１１に例示したような操作ガイダンスを表示部１１４に表示させる（ステップＳ１６９）。
その後、制御部１６０は、ユーザ入力の検出を待ち受ける（ステップＳ１７０）。そして、制御部１６０は、ユーザ入力が検出されると、当該ユーザ入力から入力イベントを認識し、認識した入力イベントに応じてオブジェクトの操作を制御する。そして、制御部１６０は、表示装置１０へ出力されるコンテンツ画像を更新する（ステップＳ１７１）。このようなオブジェクトの操作は、例えば、携帯端末２０からのセンサデータの受信が停止するまで継続され得る（ステップＳ１７２）。そして、制御部１６０は、センサデータの受信が停止すると、携帯端末２０との間の通信を終了する（ステップＳ１７３）。なお、センサデータの受信停止ではなく、ユーザからの明示的な指示又はその他のイベントを契機として、携帯端末２０と情報処理装置１００との間の通信が終了されてもよい。
（２）スレーブ側装置
図１４は、本実施形態においてＵＩのマスタとして動作する情報処理装置１００による処理の流れの一例を示すフローチャートである。
まず、携帯端末２０の通信部２４は、情報処理装置１００からの機器の探索のための問合せパケットの受信を待ち受ける（ステップＳ１８１）。そして、通信部２４により問合せパケットが受信されると、制御部３０は、自装置において利用可能なセンサのリストを含む応答パケットを生成し、当該応答パケットを通信部２４を介して情報処理装置１００へ送信する（ステップＳ１８２）。そして、制御部３０は、情報処理装置１００との間で通信を確立する（ステップＳ１８３）。
その後、制御部３０は、入力部２２のセンサにより測定されるデータを、センサデータとして情報処理装置１００へ通信部２４を介して継続的に送信する（ステップＳ１８４）。また、制御部３０は、所定のボタンの押下などの入力イベントを情報処理装置１００へ送信してもよい。このような携帯端末２０と情報処理装置１００との間の通信は、例えば、オブジェクトの操作終了の指示が検出されるまで、又はユーザが情報処理装置１００（若しくはテーブル５０）から離れたことが検出されるまで継続され得る（ステップＳ１８５）。そして、制御部３０は、オブジェクトの操作終了に伴い、情報処理装置１００との間の通信を終了する（ステップＳ１８６）。
＜３．第２の実施形態の説明＞
次に、本発明の第２の実施形態として、携帯端末２０がＵＩのマスタとして動作し、情報処理装置１００がスレーブとして動作する場合の処理の流れの一例を説明する。
（１）事前処理
図１５は、第２の実施形態に係る表示制御処理の事前処理の流れの一例を示すシーケンス図である。図１５を参照すると、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する事前処理のシーケンスの一例が示されている。
表示制御処理の事前処理は、まず、再生すべきコンテンツデータをユーザが指定することにより開始される（ステップＳ２０２）。例えば、ユーザは、携帯端末２０の表示部３２に表示されるコンテンツデータの一覧から所望のアイテムを選択することによりコンテンツデータを指定し得る。
次に、携帯端末２０のデータ取得部２８は、指定されたコンテンツデータを、携帯端末２０の記憶部２６、情報処理装置１００の記憶部１３０、又は外部ネットワークなどから取得する（ステップＳ２０４）。さらに、データ取得部２８は、ステップＳ２０４において取得したコンテンツデータと関連付けて、ユーザ入力と当該コンテンツデータに含まれるオブジェクトの操作との間の対応関係を定義するＵＩ構成データを取得する（ステップＳ２０６）また、携帯端末２０の制御部３０は、ユーザにより指定されたコンテンツデータが取得されると、初期状態のコンテンツ画像を表示出力部３４を介して出力し、表示装置１０に当該コンテンツ画像を表示させる（ステップＳ２０８）。
また、制御部３０は、コンテンツデータと関連付けられるＵＩ構成データが取得されると、ＵＩ構成データ内の利用センサ情報により指定されているセンサを有する機器を探索する（ステップＳ２１２）。機器の探索は、例えば、通信部２４が所定のフォーマットを有する問合せパケットを携帯端末２０の周囲に送信することにより行われ得る。情報処理装置１００は、携帯端末２０から問合せパケットを受信すると、当該問合せパケットに対する応答パケットを送信することにより、機器の探索に応答する（ステップＳ２１４）。
次に、携帯端末２０の制御部３０は、情報処理装置１００から応答パケットを受信すると、例えば接続情報の交換、相互認証などを経て、情報処理装置１００との間で通信を確立する（ステップＳ２１６）。
次に、制御部３０は、ＵＩ構成データに含まれる操作定義情報を情報処理装置１００へ送信し、情報処理装置１００の表示部１１４に操作ガイダンスを表示させる（ステップＳ２１８）。そして、例えば図１１に例示したような操作ガイダンスが表示されると、本実施形態に係る表示制御処理の事前処理は終了する。
（２）表示制御処理
図１６は、本実施形態に係る表示制御処理の流れの一例を示すシーケンス図である。事前処理に引き続き、表示制御処理には、ユーザ、携帯端末２０、情報処理装置１００及び表示装置１０が関与する。なお、図１６に示したユーザ入力の順序及び回数は、説明のための便宜的なものに過ぎない。
例えば、携帯端末２０の制御部３０は、情報処理装置１００のタッチパネル１１０により第１のユーザ入力が検出されると（ステップＳ２３０）、タッチ位置などを表すセンサデータを通信部２４を介して情報処理装置１００から受信する（ステップＳ２３２）。そして、制御部３０は、コンテンツ画像に表示されるオブジェクトの第１の操作を実行し（ステップＳ２３４）、第１の操作に従ったコンテンツ画像を出力する（ステップＳ２３６）。
また、例えば、制御部３０は、入力部２２のセンサにより第２のユーザ入力が検出されると（ステップＳ２４０）、コンテンツ画像に表示されるオブジェクトの第２の操作を実行する（ステップＳ２４２）。そして、制御部３０は、第２の操作に従ったコンテンツ画像を出力する（ステップＳ２４４）。
また、例えば、制御部３０は、タッチパネル１１０により第１のユーザ入力が検出されると共に（ステップＳ２５０、Ｓ２５２）、入力部２２のセンサにより第２のユーザ入力が検出されると（ステップＳ２５４）、上記第１及び第２の操作とは異なるオブジェクトの操作を実行してもよい（ステップＳ２５６）。そして、制御部３０は、上記第１及び第２の操作とは異なるオブジェクトの操作に従ったコンテンツ画像を出力する（ステップＳ２５８）。
このような表示制御処理において実行されるオブジェクトの操作は、図８に例示したようなユーザ入力と操作内容とのマッピングに従った操作と同様であってよい。
＜４．まとめ＞
ここまで、図１〜図１６を用いて、本発明の第１及び第２の実施形態について説明した。これら実施形態によれば、情報処理装置１００のタッチパネル１１０により検出される第１のユーザ入力及び携帯端末２０により検出される第２のユーザ入力の双方を活用するユーザインタフェースが実現される。即ち、単独の機器で操作を行う場合と比較してユーザ入力のバリエーションが拡張されるため、２種類の機器を用いてオブジェクトをユーザが自在に動かすことが可能となる。特に、近年、多様なセンサが小型化され、スマートフォンに代表される様々な携帯端末に小型のセンサが搭載されている。従って、上述した実施形態によれば、市場で流通する携帯端末のセンサを活用して、据え置き型のコンピュータ（又は少なくとも使用時にテーブル等に載置されるコンピュータ）のユーザインタフェースを拡張し、操作の利便性を効果的に高めることができる。また、上述した実施形態によれば、登録されたジェスチャをユーザが学習する必要がない。また、キーパッドなどの文字入力に適した入力手段を有しない装置（例えば、情報処理装置１００のようなタッチパネル端末、又は表示装置１０のようなＴＶなど）を携帯端末と連携させることで、これら装置への文字入力に際しての不便を解消することができる。
また、ユーザは、例えば、右手で情報処理装置のタッチパネルを扱いながら、左手で携帯端末を把持して動かすことができる。そのため、これら２つの機器にＵＩ機能を好適に分散することで、ユーザによる直感的かつ柔軟な操作が実現され得る。
例えば、第２のユーザ入力は携帯端末の姿勢の変化に対応し、第２の操作はコンテンツ画像内のオブジェクトの姿勢の変更に対応する。従って、設置面に拘束されることなく自由に姿勢を変化させることのできる携帯端末を用いて、オブジェクトの姿勢を操作することが可能となる。このようなユーザインタフェースは、とりわけ操作対象が３Ｄ空間内に表示される場合に有益である。
また、例えば、第１のユーザ入力は情報処理装置のタッチパネル上でのユーザによるドラッグであり、第１の操作はコンテンツ画像内のオブジェクトのサイズ変更若しくは移動、又は視点の変更である。一般的に、タッチパネル上でのドラッグは、実空間内で携帯端末を動かすことと比較して、ユーザが意図する距離及び方向をより正確に反映させ易い。従って、ある程度の操作の正確性が期待される場合には、オブジェクトの移動及び姿勢の変更の双方を携帯端末へのユーザ入力にマッピングするよりも、上述した構成を採用する方が有益である。
また、上述した実施形態によれば、コンテンツ画像は外部の表示装置へ出力され、オブジェクトの操作に関する操作ガイダンスは情報処理装置のタッチパネルに表示される。それにより、ユーザは、操作ガイダンスを見ながら容易にコンテンツ画像内のオブジェクトを操作することができる。
なお、本明細書において説明した携帯端末及び情報処理装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１ 情報処理システム
１０ 表示装置
２０ 携帯端末
２４ 通信部
２８ データ取得部
３０ 制御部
３４ 表示出力部
５０ テーブル
１００ 情報処理装置
１１０ タッチパネル
１２０ 通信部
１４０ データ取得部
１５０ 表示出力部
１６０ 制御部

Claims (13)

  1. ユーザの一方の手による第１のユーザ入力を検出するタッチパネルと、
    前記ユーザの他方の手による第２のユーザ入力を検出する携帯端末との間で通信する通信部と、
    操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
    前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
    前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
    を備え、
    前記制御部は、前記タッチパネルにより前記第１のユーザ入力が検出された場合に、前記オブジェクトの第１の操作を実行し、及び、前記通信部により前記携帯端末から前記第２のユーザ入力が受信された場合に、前記オブジェクトの第２の操作を実行し、
    前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
    情報処理装置。
  2. 前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
    前記第１の操作は、前記コンテンツ画像内の前記オブジェクトのサイズ変更若しくは移動、又は視点の変更である、
    請求項１に記載の情報処理装置。
  3. 前記第１のユーザ入力は、前記タッチパネル上でのユーザによるタッチであり、
    前記第１の操作は、操作可能な複数のオブジェクトからの操作対象オブジェクトの選択である、
    請求項１に記載の情報処理装置。
  4. 前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
    前記第１の操作は、前記コンテンツ画像内の前記オブジェクトの移動である、
    請求項１に記載の情報処理装置。
  5. 前記携帯端末は、第３のユーザ入力をさらに検出し、
    前記制御部は、前記通信部により前記携帯端末から前記第３のユーザ入力が受信された場合に、前記第１のユーザ入力に基づいて実行される前記第１の操作を複数の操作の候補の間で切替える、
    請求項１に記載の情報処理装置。
  6. 前記表示出力部は、前記情報処理装置の外部の表示装置へ前記コンテンツ画像を出力する、請求項１に記載の情報処理装置。
  7. 前記制御部は、前記オブジェクトの操作に関する説明を表示する操作ガイダンスを前記タッチパネルに表示させる、請求項６に記載の情報処理装置。
  8. 請求項１に記載の情報処理装置を内蔵する本体部と、
    前記情報処理装置の前記タッチパネルの表示面を上方に配置した天板と、
    を備えるテーブル。
  9. タッチパネルを有し、携帯端末との間で通信可能な情報処理装置において、コンテンツの表示を制御するための表示制御方法であって、
    操作可能なオブジェクトを含むコンテンツデータを取得するステップと、
    前記オブジェクトを表示するコンテンツ画像を出力するステップと、
    前記タッチパネルによりユーザの一方の手による第１のユーザ入力が検出された場合に、前記コンテンツ画像に表示される前記オブジェクトの第１の操作を実行するステップと、
    前記携帯端末から前記ユーザの他方の手による第２のユーザ入力が受信された場合に、前記コンテンツ画像に表示される前記オブジェクトの第２の操作を実行するステップと、
    前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御するステップと、
    を含む表示制御方法。
  10. 前記第１のユーザ入力は、前記タッチパネル上でのユーザによるドラッグであり、
    前記第１の操作は、前記コンテンツ画像内の前記オブジェクトのサイズ変更若しくは移動、又は視点の変更である、
    請求項９に記載の表示制御方法。
  11. タッチパネルを有し、携帯端末との間で通信可能な情報処理装置を制御するコンピュータを、
    操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
    前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
    前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
    として機能させるためのプログラムであって、
    前記制御部は、前記タッチパネルによりユーザの一方の手による第１のユーザ入力が検出された場合に、前記コンテンツ画像に表示される前記オブジェクトの第１の操作を実行し、及び、前記携帯端末から前記ユーザの他方の手による第２のユーザ入力が受信された場合に、前記コンテンツ画像に表示される前記オブジェクトの第２の操作を実行し、
    前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が受信された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
    プログラム。
  12. 携帯端末であって、
    ユーザの一方の手による第１のユーザ入力を検出するタッチパネルを有する情報処理装置との間で通信する通信部と、
    前記ユーザの他方の手による第２のユーザ入力を検出するセンサと、
    操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
    前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
    前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
    を備え、
    前記制御部は、前記通信部により前記情報処理装置から前記第１のユーザ入力が受信された場合に、前記オブジェクトの第１の操作を実行し、及び、前記センサにより前記第２のユーザ入力が検出された場合に、前記オブジェクトの第２の操作を実行し、
    前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が受信されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が検出された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
    携帯端末。
  13. ユーザの一方の手による第１のユーザ入力を検出するタッチパネルを備える情報処理装置と、
    前記ユーザの他方の手による第２のユーザ入力を検出するセンサを備え、前記情報処理装置との間で通信可能な携帯端末と、
    を含む情報処理システムであって、
    前記情報処理装置及び前記携帯端末の少なくとも一方は、
    操作可能なオブジェクトを含むコンテンツデータを取得するデータ取得部と、
    前記オブジェクトを表示するコンテンツ画像を出力する表示出力部と、
    前記コンテンツ画像に表示される前記オブジェクトの操作を制御する制御部と、
    を有し、
    前記制御部は、前記タッチパネルにより前記第１のユーザ入力が検出された場合に、前記オブジェクトの第１の操作を実行し、及び、前記センサにより前記第２のユーザ入力が検出された場合に、前記オブジェクトの第２の操作を実行し、
    前記第１のユーザ入力として、前記コンテンツ画像内の前記オブジェクトを移動させるためのユーザ入力が検出されると共に、前記第２のユーザ入力として、前記携帯端末の姿勢の変化に対応するユーザ入力が検出された場合には、前記制御部は、前記第２のユーザ入力に基づいて変更される前記オブジェクトの姿勢に応じて、前記オブジェクトの移動方向を制御する、
    情報処理システム。
JP2010252748A 2010-11-11 2010-11-11 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム Active JP5655515B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010252748A JP5655515B2 (ja) 2010-11-11 2010-11-11 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
CN201110345348.0A CN102591561B (zh) 2010-11-11 2011-11-04 信息处理装置、显示控制方法和信息处理系统
US13/289,193 US8839137B2 (en) 2010-11-11 2011-11-04 Information processing device, table, display control method, program, portable terminal, and information processing system
CN201610251638.1A CN105892867B (zh) 2010-11-11 2011-11-04 信息处理设备、方法、系统、工作台和记录介质
US14/304,159 US9407683B2 (en) 2010-11-11 2014-06-13 Information processing device, table, display control method, program, portable terminal, and information processing system
US15/158,089 US9729608B2 (en) 2010-11-11 2016-05-18 Information processing device, table, display control method, program, portable terminal, and information processing system
US15/638,680 US10948950B2 (en) 2010-11-11 2017-06-30 Information processing device, table, display control method, program, portable terminal, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010252748A JP5655515B2 (ja) 2010-11-11 2010-11-11 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム

Publications (2)

Publication Number Publication Date
JP2012103951A JP2012103951A (ja) 2012-05-31
JP5655515B2 true JP5655515B2 (ja) 2015-01-21

Family

ID=46048990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010252748A Active JP5655515B2 (ja) 2010-11-11 2010-11-11 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム

Country Status (3)

Country Link
US (4) US8839137B2 (ja)
JP (1) JP5655515B2 (ja)
CN (2) CN105892867B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012138030A (ja) * 2010-12-28 2012-07-19 Kenichi Misawa 上面がタッチパネル機能を兼ね備えたテーブルや机
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
US20130179813A1 (en) * 2012-01-10 2013-07-11 Gilles Serge BianRosa System and method for navigating a user interface using threshold detection
US20130179812A1 (en) * 2012-01-10 2013-07-11 Gilles Serge BianRosa System and method for navigating a user interface using a touch-enabled input device
US9146616B2 (en) 2012-01-10 2015-09-29 Fanhattan Inc. Touch-enabled remote control
JP5942621B2 (ja) * 2012-06-15 2016-06-29 株式会社ニコン 電子機器
JP2014002464A (ja) * 2012-06-15 2014-01-09 Nikon Corp 電子機器
US20150242117A1 (en) * 2012-08-08 2015-08-27 Keiichi Nakashima Portable electronic device, and control method and program therefor
JP2014085954A (ja) 2012-10-25 2014-05-12 Kyocera Corp 携帯端末装置、プログラムおよび入力操作受け付け方法
JP5929719B2 (ja) 2012-11-12 2016-06-08 ソニー株式会社 情報処理装置、通信システムおよび情報処理方法
WO2014079004A1 (zh) * 2012-11-21 2014-05-30 东莞宇龙通信科技有限公司 终端和终端控制界面的显示方法
CN104009808B (zh) * 2013-02-26 2017-06-27 联想(北京)有限公司 终端设备及其数据传输方法
JP2014197255A (ja) * 2013-03-29 2014-10-16 エヌ・ティ・ティ・コムウェア株式会社 編集装置、端末装置、編集方法、及びプログラム
KR20140122054A (ko) * 2013-04-09 2014-10-17 삼성전자주식회사 2차원 이미지를 3차원 이미지로 변환하는 3차원 이미지 변환 장치 및 그 제어 방법
WO2014188797A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
KR20150009252A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 멀티 콘텐츠 뷰 디스플레이 장치 및 멀티 콘텐츠 뷰 디스플레이 방법
CN103530034B (zh) * 2013-09-13 2016-06-01 广东欧珀移动通信有限公司 基于nfc技术在手机上加强内容编辑体验的方法及系统
US20150127284A1 (en) * 2013-11-03 2015-05-07 Microsoft Corporation Sensor Data Time Alignment
US10091310B2 (en) * 2014-07-17 2018-10-02 Verizon Patent And Licensing Inc. Method and system for high-latency data collection from sensors
US10429968B2 (en) * 2014-11-06 2019-10-01 Visteon Global Technologies, Inc. Reconfigurable messaging assembly
WO2016076472A1 (ko) * 2014-11-13 2016-05-19 주식회사 카우치그램 통화 제어 방법 및 시스템
JP2016181271A (ja) * 2016-05-26 2016-10-13 株式会社ニコン 電子機器
JP6601457B2 (ja) * 2017-06-21 2019-11-06 株式会社ニコン 電子機器
CN108831357A (zh) * 2018-05-02 2018-11-16 广州市统云网络科技有限公司 一种led显示屏工作状况自动监测与控制方法
JP6781226B2 (ja) * 2018-09-25 2020-11-04 ファナック株式会社 エンコーダ及び制御システム
JP2022118367A (ja) * 2021-02-02 2022-08-15 セイコーエプソン株式会社 携帯端末、表示方法、表示プログラム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6029A (en) * 1849-01-16 Method of directing the scoops in dredging machines
US8024A (en) * 1851-04-08 Bbick-pbess
US10031A (en) * 1853-09-20 Improvement in plows
JP2002325977A (ja) * 2001-05-01 2002-11-12 Konami Co Ltd 遊技処理システム並びに遊技装置及びプログラム
US8108005B2 (en) * 2001-08-28 2012-01-31 Sony Corporation Method and apparatus for displaying an image of a device based on radio waves
CN100525219C (zh) * 2001-08-28 2009-08-05 索尼株式会社 信息处理装置和方法
JP4618401B2 (ja) * 2003-07-04 2011-01-26 富士ゼロックス株式会社 情報表示システムおよび情報表示方法
JP2005262660A (ja) * 2004-03-18 2005-09-29 Fuji Photo Film Co Ltd プリント装置及び方法
JP4971594B2 (ja) * 2004-03-31 2012-07-11 キヤノン株式会社 プログラム及び表示制御装置
US7379047B2 (en) * 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US9019209B2 (en) * 2005-06-08 2015-04-28 3M Innovative Properties Company Touch location determination involving multiple touch location processes
JP2009042796A (ja) 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
KR100827150B1 (ko) * 2006-07-10 2008-05-02 삼성전자주식회사 터치패드를 구비한 휴대 단말기의 구동 장치
JP5065654B2 (ja) * 2006-11-06 2012-11-07 Ｍｓ＆Ａｄ基礎研究所株式会社 携帯端末装置
JP2009044349A (ja) * 2007-08-07 2009-02-26 Konica Minolta Business Technologies Inc 画像処理装置
JP2009079639A (ja) * 2007-09-26 2009-04-16 Jtekt Corp 動力伝達チェーンおよび動力伝達装置
JP2009187094A (ja) * 2008-02-04 2009-08-20 Sharp Corp 会議システム、プログラム
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
JP5374071B2 (ja) * 2008-05-23 2013-12-25 株式会社Ｐｆｕ 携帯端末および領域特定処理実行方法
JP2010021984A (ja) 2008-06-09 2010-01-28 Sony Corp 通信装置、及び通信方法
KR101482115B1 (ko) * 2008-07-07 2015-01-13 엘지전자 주식회사 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101457219B1 (ko) * 2008-07-22 2014-10-31 엘지전자 주식회사 휴대 단말기 및 휴대 단말기를 이용한 정보 표시 방법
US8421747B2 (en) * 2008-09-24 2013-04-16 Microsoft Corporation Object detection and user settings
US8427424B2 (en) * 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
JP5212053B2 (ja) * 2008-11-28 2013-06-19 フリュー株式会社 撮影画像編集装置、画像処理端末、撮影画像編集装置の制御方法、撮影画像編集装置および画像処理端末制御プログラム、およびそれらのコンピュータ読み取り可能な記録媒体
CN102224477B (zh) * 2008-11-28 2014-03-12 富士通株式会社 控制装置、控制系统、控制方法以及计算机程序
JP4766126B2 (ja) * 2009-02-20 2011-09-07 コニカミノルタビジネステクノロジーズ株式会社 画像処理システムとその動作方法、画像処理装置とその動作プログラム
EP2237140B1 (en) * 2009-03-31 2018-12-26 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5350871B2 (ja) * 2009-04-20 2013-11-27 シャープ株式会社 情報表示装置および情報表示方法
JP5177071B2 (ja) * 2009-04-30 2013-04-03 ソニー株式会社 送信装置および方法、受信装置および方法、並びに送受信システム
KR101597553B1 (ko) * 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
KR101334959B1 (ko) * 2009-09-08 2013-11-29 엘지전자 주식회사 휴대 단말기 및 그 동작방법
US10079864B2 (en) * 2012-01-06 2018-09-18 Microsoft Technology Licensing, Llc Communicating media data

Also Published As

Publication number Publication date
US9729608B2 (en) 2017-08-08
US20140298189A1 (en) 2014-10-02
US9407683B2 (en) 2016-08-02
US8839137B2 (en) 2014-09-16
CN102591561A (zh) 2012-07-18
US20160261672A1 (en) 2016-09-08
US20120124511A1 (en) 2012-05-17
CN105892867B (zh) 2020-02-21
US20170300169A1 (en) 2017-10-19
CN102591561B (zh) 2016-05-25
CN105892867A (zh) 2016-08-24
US10948950B2 (en) 2021-03-16
JP2012103951A (ja) 2012-05-31

Similar Documents

Publication Publication Date Title
JP5655515B2 (ja) 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9223416B2 (en) Display apparatus, remote controlling apparatus and control method thereof
JP6072237B2 (ja) ジェスチャー入力のための指先の場所特定
JP5405572B2 (ja) 曲面ディスプレイを用いたタッチ対話
JP5942456B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5488011B2 (ja) 通信制御装置、通信制御方法及びプログラム
US9223422B2 (en) Remote controller and display apparatus, control method thereof
US9268407B1 (en) Interface elements for managing gesture control
CN108885521A (zh) 跨环境共享
CN106537326A (zh) 用于辅助显示器的移动设备输入控制器
CN105900056A (zh) 辅助显示器的悬停敏感控制
CN105452811A (zh) 用于显示地图的用户终端设备及其方法
KR102302210B1 (ko) 인터페이스에서의 공간 객체들의 상대적 표현 및 명확화를 위한 시스템들 및 방법들
US20130207892A1 (en) Control method and apparatus of electronic device using control device
CN113396378A (zh) 针对用于二维和三维环境的多用途输入装置的系统和方法
KR20170009302A (ko) 디스플레이장치 및 그 제어방법
Cicek et al. Mobile head tracking for ecommerce and beyond
Henderson et al. Exploring cross-modal training via touch to learn a mid-air marking menu gesture set
JP2019159936A (ja) 第１の情報処理システム、第２の情報処理システムおよび第３の情報処理システム
TW201112105A (en) Method and system of dynamic operation of interactive objects
Hu Efficient Mobile Information Sharing Through Finger Swipe
CN114430493A (zh) 控制装置、显示设备及显示模式切换方法
Fahmi et al. 3d-to-2d projection algorithm for remote control using smartphone: Enhancing smartphone capability for costless wireless audio visual consumer appliance control
KR20110125478A (ko) 포인팅 디바이스의 더블클릭 수행방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141110

R151 Written notification of patent or utility model registration

Ref document number: 5655515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250