JP5719325B2 - 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体 - Google Patents

表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体 Download PDF

Info

Publication number
JP5719325B2
JP5719325B2 JP2012079298A JP2012079298A JP5719325B2 JP 5719325 B2 JP5719325 B2 JP 5719325B2 JP 2012079298 A JP2012079298 A JP 2012079298A JP 2012079298 A JP2012079298 A JP 2012079298A JP 5719325 B2 JP5719325 B2 JP 5719325B2
Authority
JP
Japan
Prior art keywords
display
display device
display means
positional relationship
indicated position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012079298A
Other languages
English (en)
Other versions
JP2013210730A (ja
Inventor
和宏 友田
和宏 友田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2012079298A priority Critical patent/JP5719325B2/ja
Priority to PCT/JP2012/076243 priority patent/WO2013145389A1/ja
Publication of JP2013210730A publication Critical patent/JP2013210730A/ja
Application granted granted Critical
Publication of JP5719325B2 publication Critical patent/JP5719325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414Vertical resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens

Description

本発明は表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体に関する。
複数の表示装置を協働させる技術が知られている。例えば、特許文献1は複数の携帯電話の表示部を協働させる技術を開示している。具体的には、ユーザが携帯電話を他の携帯電話にタップさせた(軽くぶつけた)場合にそれら携帯電話の両方の表示部を用いて一つ画面を表示することが開示されている。
特表2011−511335号公報
しかしながら、上記の技術では、表示装置(携帯電話)同士がぶつかったことを検出するためのセンサを各表示装置が備えている必要がある。すなわち、表示装置同士がぶつかったことを検出するためのセンサを各表示装置が備えていなければ、複数の表示装置を協働させることができない。
本発明は上記課題に鑑みてなされたものであって、その目的は、表示装置同士がぶつかったことを検出するためのセンサを各表示装置が備えていなくても、複数の表示装置を協働させることが可能な表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体を提供することにある。
上記課題を解決するために、本発明に係る表示システムは、複数の表示装置を含む表示システムにおいて、前記複数の表示装置の各々は、ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、前記表示システムは、前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得手段と、前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置を協働させる協働制御手段と、を含むことを特徴とする。
また、本発明に係る表示システムの制御方法は、複数の表示装置を含む表示システムの制御方法において、前記複数の表示装置の各々は、ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、前記制御方法は、前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得ステップと、前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置を協働させる協働制御ステップと、を含むことを特徴とする。
また、本発明に係る制御装置は、ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段と、前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段を協働させる協働制御手段と、を含むことを特徴とする。
また、本発明に係る制御装置の制御方法は、ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得するステップであって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得ステップと、前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段を協働させる協働制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段、及び、前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段を協働させる協働制御手段、としてコンピュータを機能させるためのプログラムである。
また、本発明に係る情報記憶媒体は、ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段、及び、前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段を協働させる協働制御手段、としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
また、本発明の一態様では、前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定手段を含み、前記協働制御手段は、前記複数の表示装置にわたる前記軌跡が前記ユーザによって入力された場合に前記複数の表示装置を協働させるようにしてもよい。
また、本発明の一態様では、前記複数の表示装置は第1の表示装置と第2の表示装置とを含み、前記判定手段は、前記第1の表示装置及び前記第2の表示装置の前記指示位置検出手段の検出結果が所定条件を満足する場合に、前記第1の表示装置と前記第2の表示装置とにわたる軌跡が前記ユーザによって入力されたと判定し、前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって指示位置が最後に検出された後に、前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されたとの条件と、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が前記第1の表示装置の端部領域に含まれるとの条件と、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が前記第2の表示装置の端部領域に含まれるとの条件と、を含むようにしてもよい。
また、本発明の一態様では、前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって指示位置が最後に検出されたタイミングと、前記第2の表示装置の前記指示位置検出手段によって指示位置が最初に検出されたタイミングと、の差が閾値未満であるとの条件をさらに含むようにしてもよい。
また、本発明の一態様では、前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって指示位置が検出されている場合に前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されていないとの条件と、前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されている場合に前記第1の表示装置の前記指示位置検出手段によって指示位置が検出されていないとの条件と、をさらに含むようにしてもよい。
また、本発明の一態様では、前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置の軌跡が示す方向と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置の軌跡が示す方向と、のずれに関する値が閾値未満であるとの条件をさらに含むようにしてもよい。
また、本発明の一態様では、前記複数の表示装置の各々は、第1の辺と、前記第1の辺と直交又は略直交する第2の辺と、前記第1の辺と対向する第3の辺と、前記第2の辺と対向する第4の辺と、を有し、前記指示位置検出手段によって検出される指示位置は、前記第1の辺と平行又は略平行に延伸する軸方向の座標値である第1の座標値と、前記第2の辺と平行又は略平行に延伸する軸方向の座標値である第2の座標値と、によって表され、前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が、前記第1の辺又は前記第3の辺に対応する端部領域に含まれ、かつ、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が、前記第1の辺又は前記第3の辺に対応する端部領域に含まれる場合において、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置の第1の座標値と、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置の第1の座標値と、の差が閾値未満であるとの条件と、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が、前記第2の辺又は前記第4の辺に対応する端部領域に含まれ、かつ、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が、前記第2の辺又は前記第4の辺に対応する端部領域に含まれる場合において、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置の第2の座標値と、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置の第2の座標値と、の差が閾値未満であるとの条件と、をさらに含むようにしてもよい。
また、本発明の一態様では、前記複数の表示装置は第1の表示装置と第2の表示装置とを含み、前記協働制御手段は、(a)前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が前記第1の表示装置の端部領域に含まれ、かつ、(b)前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が前記第2の表示装置の端部領域に含まれる場合に、前記第1の表示装置と前記第2の表示装置との協働を開始させるようにしてもよい。
また、本発明の一態様では、前記協働制御手段は、(a)前記第1の表示装置の前記指示位置検出手段によって検出された前記指示位置が前記第1の表示装置の前記端部領域に含まれ、かつ、(b)前記第2の表示装置の前記指示位置検出手段によって検出された前記指示位置が前記第2の表示装置の前記端部領域に含まれ、かつ、(c)前記第1の表示装置の前記指示位置検出手段によって前記指示位置が検出されたタイミングと、前記第1の表示装置の前記指示位置検出手段によって前記指示位置が検出されたタイミングと、の差が閾値未満である場合に、前記第1の表示装置と前記第2の表示装置との協働を開始させるようにしてもよい。
また、本発明の一態様では、前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置の位置関係を認識する位置関係認識手段を含み、前記協働制御手段は、前記位置関係に基づいて、前記複数の表示装置を協働させるようにしてもよい。
また、本発明の一態様では、前記複数の表示装置は第1の表示装置と第2の表示装置とを含み、前記位置関係認識手段は、前記第1の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示装置の辺と、が隣接するようにして前記第1の表示装置と前記第2の表示装置とが配置されていると認識するようにしてもよい。
また、本発明の一態様では、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示装置の辺と、の組み合わせが所定の組み合わせであるか否かを判定する手段と、前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示装置及び前記第2の表示装置の少なくとも一方に出力させる手段と、を含むようにしてもよい。
また、本発明の一態様では、前記複数の表示装置は第1の表示装置と第2の表示装置と第3の表示装置と第4の表示装置とを含み、前記位置関係認識手段は、前記第1の表示装置及び前記第2の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第1の表示装置と前記第2の表示装置との位置関係を認識する手段と、前記第2の表示装置及び前記第3の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第2の表示装置と前記第3の表示装置との位置関係を認識する手段と、前記第3の表示装置及び前記第4の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第3の表示装置と前記第4の表示装置との位置関係を認識する手段と、前記第1の表示装置と前記第2の表示装置との位置関係と、前記第2の表示装置と前記第3の表示装置との位置関係と、前記第3の表示装置と前記第4の表示装置との位置関係と、に基づいて、前記第1の表示装置と前記第4の表示装置との位置関係を認識する手段と、を含むようにしてもよい。
また、本発明の一態様では、前記協働制御手段は、前記複数の表示装置によって一つの表示画面を構成させるようにしてもよい。
また、本発明の一態様では、前記協働制御手段は、前記ユーザの操作を受け付ける第1の画面を、前記複数の表示装置のうちの少なくとも一つの表示装置に表示し、前記第1の画面において行われた前記ユーザの操作に応じた第2の画面を、前記複数の表示装置のうちの少なくとも一つの他の表示装置に表示するようにしてもよい。
また、本発明の一態様では、前記協働制御手段は、前記ユーザが前記指示位置検出手段を用いて入力を行うための一つの入力画面を前記複数の表示装置にわたって表示することによって、前記複数の表示装置の前記指示位置検出手段を用いて前記ユーザの入力を受け付けるようにしてもよい。
また、本発明の一態様では、前記複数の表示装置の各々は音声出力手段を含み、前記協働制御手段は、前記複数の表示装置の前記音声出力手段を、複数のチャネルにそれぞれ対応する複数のスピーカとみなして、前記複数の表示装置の前記音声出力手段から音声を出力させるようにしてもよい。
本発明によれば、表示装置同士がぶつけられたことを検出するためのセンサを各表示装置が備えていなくても、複数の表示装置を協働させることが可能になる。
本発明の実施形態に係る表示システムの全体構成の一例を示す図である。 表示装置の外観の一例を示す図である。 二つの表示装置を協働させる場合にユーザが行うべき操作の一例を説明するための図である。 二つの表示装置を協働させる場合にユーザが行うべき操作の一例を説明するための図である。 画像の一例を示す図である。 二つの表示装置が協働している場合にそれら二つの表示装置に表示される画面の一例を示す図である。 二つの表示装置が協働している場合にそれら二つの表示装置に表示される画面の他の一例を示す図である。 表示システムの機能ブロック図である。 複数の表示装置の各々のタッチパネルの検出結果の一例を示す図である。 端部領域について説明するための図である。 表示システムで実行される処理の一例を示すフロー図である。 表示システムで実行される処理の一例を示すフロー図である。 表示装置データの一例を示す図である。 位置関係データの一例を示す図である。 四つの表示装置を協働させる場合にユーザが行うべき操作の一例を説明するための図である。 複数の表示装置の各々のタッチパネルの検出結果の一例を示す図である。 表示装置データの他の一例を示す図である。 位置関係データの他の一例を示す図である。 表示システムで実行される処理の他の一例を示すフロー図である。 二つの表示装置にわたる軌跡がユーザによって入力されたか否かを判定するための条件について説明するための図である。 表示システムで実行される処理の他の一例を示すフロー図である。 表示システムで実行される処理について説明するための図である。 表示システムで実行される処理について説明するための図である。 二つの表示装置にわたる軌跡がユーザによって入力されたか否かを判定するための条件について説明するための図である。 二つの表示装置にわたる軌跡がユーザによって入力されたか否かを判定するための条件について説明するための図である。 表示システムで実行される処理の他の一例を示すフロー図である。 表示システムで実行される処理について説明するための図である。 表示システムで実行される処理について説明するための図である。 二つの表示装置を協働させる場合にユーザが行うべき操作の他の一例を説明するための図である。 表示システムの全体構成の他の一例を示す図である。
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
図1は、本発明の実施形態に係る表示システムの全体構成を示す。図1に示すように、本実施形態に係る表示システム1は複数の表示装置10とサーバ装置20(制御装置)とを含む。表示装置10は、無線LAN通信のためのアクセスポイント4を介してLAN2に接続されており、表示装置10とサーバ装置20とはLAN2を介して相互にデータを授受することが可能である。また、表示装置10同士も相互にデータを授受することが可能である。
表示装置10は表示部を備えた装置である。例えば、表示装置10は液晶表示部又は有機EL表示部等が組み込まれた情報処理装置であり、より具体的には、例えば携帯電話(スマートフォン)、タブレット型コンピュータ、又はラップトップ型コンピュータ等である。以下では、表示装置10がタブレット型コンピュータであることとして説明する。なお、表示装置10は単体の液晶表示装置又は有機EL表示装置であってもよい。
図2は表示装置10の外観の一例を示す。図2に示す表示装置10は矩形形状(又は略矩形形状)を有している。表示装置10は、上辺18U(第1の辺)と、上辺18Uと直交(又は略直交)する左辺18L(第2の辺)と、上辺18Uと対向する下辺18D(第3の辺)と、左辺18Lと対向する右辺18R(第4の辺)と、を有している。上辺18U及び下辺18Dは短辺であり、左辺18L及び右辺18Rは長辺である。
図1に示すように、表示装置10は制御部11、記憶部12、通信部13、表示部14、音声出力部15、姿勢検出センサ部16、及び操作部17を含む。制御部11は例えば1又は複数のマイクロプロセッサを含み、記憶部12に記憶されたオペレーティングシステム又はプログラムに従って情報処理を実行する。記憶部12は主記憶部及び補助記憶部を含む。
通信部13は表示装置10が他の装置とデータ通信を行うためのものである。通信部13は他の装置にデータを送信したり、他の装置から送信されたデータを受信したりする。例えば、通信部13はアクセスポイント4を介してサーバ装置20又は他の表示装置10と通信するためのものである。
プログラム又はデータは通信ネットワークを介して記憶部12に供給される。すなわち、通信ネットワークを介して送信されたプログラム又はデータが表示装置10において受信され、記憶部12に記憶される。なお、表示装置10は、情報記憶媒体(例えば光ディスク又はメモリカード等)に記憶されたプログラム又はデータを読み取るための構成要素を含むようにしてもよい。そして、情報記憶媒体から読み出されたプログラム又はデータが記憶部12に記憶されるようにしてもよい。
表示部14は例えば液晶表示部又は有機EL表示部等であり、制御部11の指示に従って画面を表示する。音声出力部15は例えばスピーカ又はヘッドホン等であり、制御部11の指示に従って音声を出力する。
姿勢検出センサ部16は、表示装置10の姿勢(傾き)を検出するための一又は複数のセンサを含む。例えば、姿勢検出センサ部16は加速度センサ及びジャイロセンサの少なくとも一方を含む。姿勢検出センサ部16の検出結果を示す情報が所定時間(例えば1/60秒)ごとに制御部11に供給される。
制御部11は姿勢検出センサ部16の検出結果に基づいて表示装置10の姿勢を判断することが可能である。例えば、ユーザから見て表示装置10の姿勢が縦長姿勢又は横長姿勢のいずれであるかを判断したり、ユーザから見て表示装置10の姿勢が上下反転された姿勢であるかを判断したりすることが可能である。「縦長姿勢」とは、表示装置10の長手方向が縦方向であり、かつ、表示装置10の短手方向が横方向であるような姿勢であり、「横長姿勢」とは、表示装置10の短手方向が縦方向であり、かつ、表示装置10の長手方向が横方向であるような姿勢である。なお以下では、図2に示す姿勢のことを「基本姿勢」と呼ぶ。すなわち、「基本姿勢」は、縦長姿勢であって、かつ、ボタン17Bが表示部14の下側に位置しているような姿勢である。
操作部17はユーザの操作を受け付けるためのものである。例えば、操作部17は、表示装置10の表面に設けられたボタン17Bを含む。なお、操作部17はボタン17B以外の操作部材(例えばスティック又はレバー等)を含むようにしてもよい。
また操作部17は、ユーザによって指示された表示部14の画面内の位置を検出する指示位置検出部を含む。例えば、表示部14の上に重ねて設けられるタッチパネル17Tを操作部17は含む。なお、指示位置検出部はタッチパネル17T以外であってもよい。
タッチパネル17Tは一般的なタッチパネルであり、ユーザによって接触された位置を検出する。例えば、タッチパネル17Tは静電容量方式のタッチパネルである。なお、タッチパネル17Tは静電容量方式以外の方式(例えば抵抗膜方式)のタッチパネルであってもよい。
ユーザによって接触されている位置を示す情報が所定時間(例えば1/60秒)ごとに制御部11に供給される。例えば、ユーザによって接触されている位置はスクリーン座標系の座標値として表される。「スクリーン座標系」とは、表示装置10が基本姿勢である場合の表示部14の左上頂点を原点Oとし、右方向をX軸正方向とし、下方向をY軸正方向とする座標系である(図2参照)。すなわち、ユーザによって接触されている位置は、上辺18Uと平行(又は略平行)に延伸するX軸方向の座標値(第1の座標値)と、左辺18Lと平行(又は略平行)に延伸するY軸方向の座標値(第2の座標値)とによって表される。
サーバ装置20は、各表示装置10から受信したデータに基づいて処理を実行したり、各表示装置10にデータを送信したりする。図1に示すように、サーバ装置20は制御部21、記憶部22、通信部23、及び光ディスクドライブ部24を含む。制御部21、記憶部22、及び通信部23は表示装置10の制御部11、記憶部12、及び通信部13と同様である。
光ディスクドライブ部24は、光ディスク(情報記憶媒体)に記憶されたプログラム又はデータを読み取るためのものである。光ディスクドライブ部24によって光ディスクから読み出されたプログラム又はデータが記憶部22に記憶される。なお、光ディスク以外の情報記憶媒体(例えばメモリカード)に記憶されたプログラム又はデータを読み取るための構成要素が光ディスクドライブ部24の代わりに含まれるようにしてもよい。そして、光ディスク以外の情報記憶媒体を介してプログラム又はデータが記憶部22に供給されるようにしてもよい。または、プログラム又はデータは通信ネットワークを介して記憶部22に供給されるようにしてもよい。
本実施形態に係る表示システム1では、複数の表示装置10を協働させるためのプログラムが各表示装置10及びサーバ装置20において実行されるようになっており、ユーザが比較的簡易な操作によって複数の表示装置10を協働させることが可能になっている。以下、この特徴について説明する。
図3は、二つの表示装置10A,10Bを協働させる場合にユーザが行うべき操作の一例を説明するための図である。表示装置10A,10Bを協働させる場合、まずユーザは表示装置10A,10Bを並べるようにして表示装置10A,10Bを配置する。図3に示す例では、表示装置10A,10Bが横に並ぶようして表示装置10A,10Bが配置されている。
その後、ユーザは表示装置10A,10Bのタッチパネル17T上で指F等をスライドさせることによって、表示装置10A,10Bにわたる一つの軌跡30(言い換えれば、表示装置10A,10Bの両方を通るような一つの軌跡30)を描く。このような軌跡30が描かれた場合、表示装置10A,10Bの協働がユーザによって命令されたと判断され、表示装置10A,10Bの協働が開始される。
なお図3に示す例では、基本姿勢にある表示装置10A,10Bが並べて配置されているが、例えば図4に示すように、基本姿勢にある表示装置10Aと、基本姿勢とは上下が反転された姿勢にある表示装置10Bと、が並べて配置されていてもよい。
また図3に示す例では、縦長姿勢にある表示装置10A,10Bが並べて配置されているが、横長姿勢にある表示装置10A,10Bが並べて配置されていてもよい。さらに図3に示す例では、表示装置10A,10Bが横に並べて配置されているが、表示装置10A,10Bは縦に並べて配置されていてもよい。
表示装置10A,10Bにわたる軌跡30が入力された場合には、表示装置10A,10Bの協働が開始される。以下、表示装置10A,10Bの協働の例について説明する。
例えば、表示装置10A,10Bの協働が開始された場合には、表示装置10Aの表示部14と表示装置10Bの表示部14とが仮想的に関連づけられ、それらの表示部14に関する表示制御が実行される。
例えば、一つの画面が表示装置10A,10Bの両方を用いて表示される。例えば図5に示すような一つの画像40の全体又は一部分が表示装置10A,10Bの両方にわたって表示される。
図6は、図5に示す画像40が表示装置10A,10Bの両方にわたって表示された場合の一例を示す。この場合、画像40の第1の領域(例えば、左上頂点が(0,0)であり、右下頂点が(M−1,N−1)であるような矩形領域)が表示装置10Aに表示される。また、画像40の、上記第1の領域に隣接する第2の領域(例えば、左上頂点が(M,0)であり、右下頂点が(2*M−1,N−1)であるような矩形領域)が表示装置10Bに表示される。
また例えば、互いに関連する画面が表示装置10A,10Bに表示される。例えば、ユーザの操作を受け付けるための第1の画面が表示装置10A,10Bの一方に表示され、上記第1の画面で行われた操作に応じた第2の画面が表示装置10A,10Bの他方に表示される。
図7は、表示装置10A,10Bに表示される画面の一例を示す。図7に示す例では、商品一覧画面42が表示装置10Aに表示されており、商品画面44が表示装置10Bに表示されている。
商品一覧画面42は商品の一覧を示す画面である。商品一覧画面42において、ユーザはいずれかの商品を選択するための操作を行う。例えば、ユーザはタッチパネル17T上に指等を接触させることによって、いずれかの商品を選択する。商品画面44は、商品一覧画面42に表示される商品のうちからユーザが選択した商品の詳細を示す画面である。
表示装置10A,10Bが協働している場合に表示装置10A,10Bに表示される画面は以上に説明した例に限られない。
例えば、一つのメニュー画面が表示装置10A,10Bの両方にわたって表示されるようにしてもよい。
また例えば、商品の検索条件を指定するための検索条件指定画面を表示装置10Aに表示し、検索条件指定画面で指定された検索条件を満足する商品の一覧を示す検索結果画面を表示装置10Bに表示するようにしてもよい。
また例えば、複数のサムネイル画像を含む画像一覧画面を表示装置10Aに表示し、該画像一覧画面に表示される複数のサムネイル画像のうちからユーザが選択したサムネイル画像のオリジナル画像を表示装置10Bに表示するようにしてもよい。
また例えば、一つの画像を表示装置10Aに表示するようにしてもよい。そして、該一つの画像の一部分がユーザによって選択された場合に、該一部分を拡大してなる画像を表示装置10Bに表示するようにしてもよい。
なお、以上では、表示装置10A,10Bの協働の例として、表示装置10A,10Bの表示部14を仮想的に関連づけて、それらの表示部14に関する表示制御を実行する例について説明したが、表示装置10A,10Bの協働の例はこの例に限られない。
例えば、表示装置10Aのタッチパネル17Tと表示装置10Bのタッチパネル17Tとを仮想的に関連づけて、それらのタッチパネル17Tに関する入力受付制御を実行するようにしてもよい。具体的には、ユーザがタッチパネル17Tを用いて文字を入力するための文字入力画面(例えばソフトウェアキーボード)を表示装置10A,10Bの両方にわたって表示することによって、表示装置10A,10Bの両方のタッチパネル17Tを用いて文字入力を受け付けるようにしてもよい。なお、この例では、文字入力画面(例えばソフトウェアキーボード)が表示装置10A,10Bの両方にわたって表示されるため、この例は、「表示装置10A,10Bの表示部14を仮想的に関連付けて、それらの表示部14に関する表示制御を実行する例」にも相当する。
または、例えば、表示装置10Aの音声出力部15と表示装置10Bの音声出力部15とを仮想的に関連づけて、それらの音声出力部15に関する音声出力制御を実行するようにしてもよい。具体的には、表示装置10Aの音声出力部15と表示装置10Bの音声出力部15とを一対のスピーカとみなして音声出力を実行するようにしてもよい。例えば図3に示す例の場合、表示装置10Aの音声出力部15を左スピーカ(左チャネルに対応するスピーカ)とみなし、表示装置10Bの音声出力部15を右スピーカ(右チャネルに対応するスピーカ)とみなして、音声出力を実行するようにしてもよい。
以上に説明した表示システム1によれば、ユーザは複数の表示装置10を協働させることができるようになる。
表示システム1によれば、表示装置10同士がぶつかったことを検出するためのセンサを各表示装置10が備えていなくても、ユーザは複数の表示装置10を協働させることができるようになる。表示装置10によれば、ユーザが複数の表示装置10を協働させることができるようにすることを、タブレット型コンピュータ又は携帯電話等の表示装置10が一般的に備えているタッチパネル17Tを用いて実現できるようになる。
表示システム1によれば、複数の表示装置10にわたる軌跡を入力するという比較的簡易な操作によってユーザは複数の表示装置10を協働させることができるようになる。すなわち、表示システム1によれば、ユーザは、協働させる複数の表示装置10と、それら複数の表示装置10の位置関係とを指定することを、軌跡を入力するという一つの操作によって行うことができるようになる。
上記のような表示システム1を実現するための構成について説明する。図8は表示システム1において実現される機能ブロックのうち、本発明に関連する機能ブロックを示す機能ブロック図である。図8に示すように、表示システム1は指示位置取得部50、判定部52、位置関係認識部54、及び協働制御部56を含む。
例えば、指示位置取得部50、判定部52、位置関係認識部54、及び協働制御部56はサーバ装置20によって実現される。すなわち、サーバ装置20の制御部21がプログラムに従って処理を実行することによって、制御部21が指示位置取得部50、判定部52、位置関係認識部54、及び協働制御部56として機能するようになる。
指示位置取得部50について説明する。指示位置取得部50は、複数の表示装置10の各々の指示位置検出部の検出結果に関する情報を取得する。図1に示す表示システム1の場合、タッチパネル17Tが「指示位置検出部」に相当し、指示位置取得部50は、複数の表示装置10の各々のタッチパネル17Tの検出結果に関する情報を取得する。
表示装置10ではアプリケーションプログラムが実行されており、タッチパネル17Tによって検出されたユーザの指示位置に関する指示位置情報が、表示装置10の識別情報とともにサーバ装置20に送信される。指示位置取得部50は各表示装置10から送信される指示位置情報を取得する。
図9は、複数の表示装置10の各々のタッチパネル17Tの検出結果の一例を示す。図9は、図3に示す軌跡30がユーザによって入力された場合における表示装置10A,10Bのタッチパネル17Tの検出結果を示している。なお図9において、「表示装置A」は表示装置10Aを示し、「表示装置B」は表示装置10Bを示している。また、「t」,「t」,・・・,「ti+j+2」は、例えば1/60秒間隔のタイミングを示している。タイミング「t」は、ユーザが表示装置10Aのタッチパネル17T上に指Fを接触させたタイミングである。また、タイミング「t」において表示装置10Aのタッチパネル17Tによって検出された位置(x,y)は図3に示す指示位置PAであり、タイミング「ti+1」において表示装置10Bのタッチパネル17Tによって検出された位置(xi+1,yi+1)は図3に示す指示位置PBである。指示位置取得部50は図9に示すような情報を取得することになる。
判定部52について説明する。判定部52は、複数の表示装置10の各々の指示位置検出部(タッチパネル17T)の検出結果が所定条件を満足するか否かを判定する。
判定部52は、複数の表示装置10の各々のタッチパネル17Tの検出結果に基づいて、複数の表示装置10にわたる軌跡がユーザによって入力されたか否かを判定する。例えば、判定部52は、複数の表示装置10の各々のタッチパネル17Tの検出結果が所定条件を満足するか否かを判定することによって、複数の表示装置10にわたる軌跡がユーザによって入力されたか否かを判定する。
以下、図3及び図9を参照しながら、判定部52の動作について説明する。すなわち、表示装置10A(第1の表示装置)と表示装置10B(第2の表示装置)とを通る軌跡30がユーザによって入力されたか否かを判定する場合の判定部52の動作について説明する。
判定部52は、表示装置10A,10Bのタッチパネル17Tの検出結果が所定条件を満足する場合に、表示装置10A,10Bにわたる軌跡30がユーザによって入力されたと判定する。
上記「所定条件」は例えば下記条件A,B,Cを含む。
(A)表示装置10Aのタッチパネル17Tによってユーザの指示位置が最後に検出された直後に、表示装置10Bのタッチパネル17Tによってユーザの指示位置が検出されている。
(B)表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAが表示装置10Aの端部領域に含まれる。
(C)表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PBが表示装置10Bの端部領域に含まれる。
ここで、「端部領域」について説明する。図10は端部領域について説明するための図である。本実施形態の場合、上端部領域60U、下端部領域60D、左端部領域60L、及び右端部領域60Rが設定される。
上端部領域60Uは、表示部14の上辺62Uからの距離が基準距離以内である領域である。上端部領域60Uは表示装置10の上辺18Uに対応する。また、下端部領域60Dは、表示部14の下辺62Dからの距離が基準距離以内である領域である。下端部領域60Dは表示装置10の下辺18Dに対応する。
同様に、左端部領域60Lは、表示部14の左辺62Lからの距離が基準距離以内である領域である。左端部領域60Lは表示装置10の左辺18Lに対応する。また、右端部領域60Rは、表示部14の右辺62Rからの距離が基準距離以内である領域である。右端部領域60Rは表示装置10の右辺18Rに対応する。
なお以下では、上端部領域60U、下端部領域60D、左端部領域60L、及び右端部領域60Rのことを総称して「端部領域60」と記載する場合がある。
表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAが表示装置10Aの端部領域60のいずれかに含まれる場合、判定部52は上記条件Bが満足されていると判定する。同様に、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PBが表示装置10Bの端部領域60のいずれかに含まれる場合、判定部52は上記条件Cが満足されていると判定する。
上記条件A〜Cのすべてが満足される場合に、判定部52は表示装置10A,10Bにわたる軌跡30がユーザによって入力されたと判定する。
なお、上記「所定条件」は下記条件Dをさらに含むようにしてもよい。
(D)表示装置10Aのタッチパネル17Tによってユーザの指示位置が最後に検出されたタイミング(t)と、表示装置10Bのタッチパネル17Tによってユーザの指示位置が最初に検出されたタイミング(ti+1)と、の差が閾値未満である。
すなわち、上記条件A〜Dのすべてが満足される場合に、判定部52は表示装置10A,10Bにわたる軌跡30がユーザによって入力されたと判定するようにしてもよい。上記条件Dを追加することによって、表示装置10A,10Bにわたる軌跡30がユーザによって入力されたか否かの判定精度を向上することが可能になる。
また、上記「所定条件」は下記条件E,Fをさらに含むようにしてもよい。
(E)表示装置10Aのタッチパネル17Tによってユーザの指示位置が検出されている場合に表示装置10Bのタッチパネル17Tによってユーザの指示位置が検出されていない。
(F)表示装置10Bのタッチパネル17Tによってユーザの指示位置が検出されている場合に表示装置10Aのタッチパネル17Tによってユーザの指示位置が検出されていない。
すなわち、上記条件A〜C(又は上記条件A〜D)と上記条件E,Fとのすべてが満足される場合に、判定部52は表示装置10A,10Bにわたる軌跡30がユーザによって入力されたと判定するようにしてもよい。上記条件E,Fを追加することによって、表示装置10A,10Bにわたる軌跡30がユーザによって入力されたか否かの判定精度を向上することが可能になる。
位置関係認識部54について説明する。位置関係認識部54は、複数の表示装置10の各々の指示位置検出部(タッチパネル17T)の検出結果に基づいて、複数の表示装置10の位置関係(相対的位置関係)を認識する。
以下、図3及び図9を参照しながら、位置関係認識部54の動作に説明する。すなわち、表示装置10A(第1の表示装置)と表示装置10B(第2の表示装置)との位置関係を認識する場合の位置関係認識部54の動作について説明する。
表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAが表示装置10Aの端部領域60のいずれかに含まれ、かつ、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PBが表示装置10Bの端部領域60のいずれかに含まれる場合に、位置関係認識部54は、指示位置PAが含まれる端部領域60に対応する表示装置10Aの辺と、指示位置PBが含まれる端部領域60に対応する表示装置10Bの辺と、が隣接するようにして表示装置10A,10Bが配置されていると認識する。
例えば、表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAが表示装置10Aの右端部領域60Rに含まれ、かつ、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PBが表示装置10Bの左端部領域60Lに含まれる場合に、位置関係認識部54は、表示装置10Aの右辺18Rと表示装置10Bの左辺18Lとが隣接するようにして表示装置10A,10Bが配置されていると認識する。
一方、図4に示す例の場合のように、表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAが表示装置10Aの右端部領域60Rに含まれ、かつ、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PBが表示装置10Bの右端部領域60Rに含まれる場合、位置関係認識部54は、表示装置10A,10Bの右辺18R同士が隣接するようにして表示装置10A,10Bが配置されていると認識する。
協働制御部56について説明する。協働制御部56は、複数の表示装置10の各々の指示位置検出部(タッチパネル17T)の検出結果に基づいて、複数の表示装置10を協働させる。
複数の表示装置10の協働について説明する。「複数の表示装置10を協働させる」とは、複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御、音声出力制御、又は入力受付制御の少なくとも一つを実行することを意味する。
まず、複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御を実行する場合について説明する。
例えば、「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御を実行する」とは、複数の表示装置10によって一つの表示画面(マルチディスプレイ画面)を構成させることを意味する。言い換えれば、「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御を実行する」とは、一つの表示画面を複数の表示装置10を用いて表示することを意味する。
図6に示した例は、複数の表示装置10によって一つの表示画面(マルチディスプレイ画面)を構成させる例である。図6に示した例では、一つの画像40(一つの画像表示画面)が表示装置10A,10Bにわたって表示されている。
あるいは、「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御を実行する」とは、連携する複数の画面を複数の表示装置10に表示することを意味する。具体的には、「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する表示制御を実行する」とは、ユーザの操作を受け付ける第1の画面を少なくとも一つの表示装置10に表示し、第1の画面において行われたユーザの操作に応じた第2の画面を少なくとも一つの他の表示装置10に表示することを意味する。
例えば、「第1の画面」は、情報の一覧のうちから少なくとも一つの情報を選択する選択操作をユーザが行う画面である。一方、「第2の画面」は、ユーザによって選択された情報を表示する画面である。例えば、この場合、第1の画面において行われた選択操作に従って処理要求が情報提供装置(例えばWebサーバ等)に送信される。すなわち、第1の画面において選択された情報が情報提供装置に要求される。そして、情報提供装置から返信された情報を示す第2の画面が表示装置10Bに表示される。
図7に示した例は、連携する複数の画面を複数の表示装置10に表示する例である。図7に示した例では、商品の一覧のうちから少なくとも一つの商品を選択する選択操作をユーザが行う商品一覧画面42(第1の画面)が表示装置10Aに表示されている。また、商品一覧画面42においてユーザが選択した商品の詳細を示す商品画面44(第2の画面)が表示装置10Bに表示されている。
なお、「第1の画面」及び「第2の画面」の例は上記に説明したものに限られない。
例えば、「第1の画面」は、情報を検索するための検索条件を指定する操作と、検索の実行を命令する操作と、をユーザが行うための検索条件指定画面であってもよい。また、「第2の画面」は、ユーザによって指定された検索条件を満足する検索結果を示す検索結果画面であってもよい。
また例えば、「第1の画面」は、画像の一覧のうちから少なくとも一つの画像を選択する選択操作をユーザが行う画面であってもよい。また、「第2の画面」は、第1の画面においてユーザが選択した画像を表示(例えば拡大表示)する画面であってもよい。
また例えば、「第1の画面」は、画像の一部分を選択する選択操作をユーザが行う画面であってもよい。また、「第2の画面」は、第1の画面においてユーザが選択した一部分を拡大表示する画面であってもよい。
次に、複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する入力受付制御を実行する場合について説明する。
例えば、「複数の表示装置10を仮想的に関連付けて、それら複数の表示装置10に関する入力受付制御を実行する」とは、ユーザがタッチパネル17Tを用いて入力を行う一つの入力画面を複数の表示装置10にわたって表示することによって、それら複数の表示装置10のタッチパネル17Tを用いて入力を受け付けることを意味する。より具体的には、ユーザがタッチパネル17Tを用いて文字入力を行う一つの文字入力画面(例えばソフトウェアキーボード)を複数の表示装置10にわたって表示することによって、それら複数の表示装置10のタッチパネル17Tを用いて文字入力を受け付けることを意味する。
最後に、複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する音声出力制御を実行する場合について説明する。
例えば、「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する音声出力制御を実行する」とは、複数の表示装置10の音声出力部15を一組のスピーカセット(すなわち、複数のチャネルにそれぞれ対応する複数のスピーカ)とみなして音声出力を実行することを意味する。例えば図3に示す例の場合であれば、表示装置10Aの音声出力部15を左スピーカ(左チャネルに対応するスピーカ)とみなし、表示装置10Bの音声出力部15を右スピーカ(右チャネルに対応するスピーカ)とみなして、音声出力を実行することが「複数の表示装置10を仮想的に関連づけて、それら複数の表示装置10に関する音声出力制御を実行する」ことに相当する。
協働制御部56は、複数の表示装置10にわたる軌跡がユーザによって入力された場合にそれら複数の表示装置10の協働を開始させる。
また、協働制御部56は、位置関係認識部54によって認識された位置関係に基づいて、複数の表示装置10を協働させる。
例えば図3に示すように、表示装置10Aの右辺18Rと表示装置10Bの左辺18Lとが隣接するようにして表示装置10A,10Bが配置されていると認識される場合を想定する。
このような状態で一つの画像40を表示装置10A,10Bの両方を用いて表示する場合、例えば、画像40の第1の領域(例えば左半分領域)が表示装置10Aに表示され、画像40の、上記第1の領域に隣接する第2の領域(例えば右半分領域)が表示装置10Bに表示される(図6参照)。
また、上記のような状態で商品一覧画面42及び商品画面44を表示装置10A,10Bに表示する場合には、例えば、商品一覧画面42が表示装置10Aに表示され、商品画面44が表示装置10Bに表示される。
また例えば図4に示すように、表示装置10A,10Bの右辺18R同士が隣接するようにして表示装置10A,10Bが配置されていると認識される場合を想定する。
このような状態において一つの画像40を表示装置10A,10Bの両方を用いて表示する場合には、例えば、画像40の上記第1の領域が表示装置10Aに表示され、画像40の上記第2の領域が上下反転された状態で表示装置10Bに表示される。
また、上記のような状態で商品一覧画面42及び商品画面44を表示装置10A,10Bに表示する場合には、例えば、商品一覧画面42が表示装置10Aに表示され、商品画面44が上下反転された状態で表示装置10Bに表示される。
次に、上記に説明した機能ブロックを実現するために表示システム1で実行される処理について説明する。図11及び図12はサーバ装置20で実行される処理の一例を示すフロー図である。サーバ装置20の制御部21が図11及び図12に示す処理をプログラムに従って実行することによって、制御部21が指示位置取得部50、判定部52、位置関係認識部54、及び協働制御部56として機能するようになる。
図11に示すように、まず、制御部21は変数nを1に初期化する(S101)。制御部21は、少なくとも一つの表示装置10においてユーザの指示位置が検出されているか否かを判定する(S102)。上述したように、各表示装置10はタッチパネル17Tの検出結果に関する指示位置情報をサーバ装置20に送信するようになっている。制御部21は上記の判定を各表示装置10から送信された指示位置情報に基づいて実行する。
いずれの表示装置10においてもユーザの指示位置が検出されていない場合、制御部21はステップS102の処理を継続する。一方、少なくとも一つの表示装置10においてユーザの指示位置が検出されている場合、制御部21は、指示位置を検出している表示装置10の数が一つであるか否かを判定する(S103)。指示位置を検出している表示装置10の数が一つでない場合とは、ユーザが複数の表示装置10のタッチパネル17Tを触っている場合である。このような場合、制御部21はそれら複数の表示装置10にエラーメッセージデータを送信し、それら複数の表示装置10にエラーメッセージを出力させる(S104)。この場合、本処理は一旦終了し、本処理が最初から実行されることになる。
指示位置を検出している表示装置10の数が一つである場合、制御部21は、該一つの表示装置10を表示装置[n]として設定する(S105)。ここで、表示装置[n]とは、ユーザが第n番目に触った表示装置10のことを意味している。例えば図3及び図9に示す例では、タイミング「t」においてユーザの指示位置が表示装置10Aのみで検出されているため、表示装置10Aが表示装置[1]として設定されることになる。
なお、記憶部22には、表示装置[n]として設定された表示装置10を示すデータが保存される。図13は記憶部22に記憶される表示装置データの一例を示す。表示装置データは、表示装置[n]として設定された表示装置10を示すデータである。図13に示す表示装置データでは、表示装置[1]として表示装置10Aが登録されており、表示装置[2]として表示装置10Bが登録されている。
ステップS105の処理が実行された後、制御部21は、表示装置[n]においてユーザの指示位置が検出され続けているか否かを監視する(S106)。例えば変数nが「1」である場合、表示装置[1]においてユーザの指示位置が検出され続けているか否かが監視されることになる。図3及び図9に示す例の場合、タイミング「t」〜「t」の期間において表示装置[1](表示装置10A)でユーザの指示位置が検出され続けていると判定されることになる。
なお、表示装置[n]においてユーザの指示位置が検出されている場合、制御部21は、表示装置[n]以外の表示装置10においてもユーザの指示位置が検出されているか否かを判定する(S107)。表示装置[n]以外の表示装置10においてユーザの指示位置が検出されていない場合、制御部21はステップS106の処理を再実行する。一方、表示装置[n]以外の表示装置10においてもユーザの指示位置が検出されている場合、制御部21は図12のステップS118の処理を実行する。ステップS118の処理については後述する。
表示装置[n]においてユーザの指示位置が検出されなくなった場合、図12に示すように、制御部21は、表示装置[n]において最後に検出されたユーザの指示位置がいずれかの端部領域60に含まれているか否かを判定する(S108)。
表示装置[n]において最後に検出されたユーザの指示位置がいずれかの端部領域60に含まれている場合、制御部21は、表示装置[n]においてユーザの指示位置が最後に検出されてからの経過時間が基準時間に達したか否かの監視を開始する(S109)。
上記経過時間が基準時間に達していない場合、制御部21は、少なくとも一つの表示装置10においてユーザの指示位置が検出されたか否かを判定する(S110)。いずれの表示装置10においてもユーザの指示位置が検出されていない場合、制御部21はステップS109,S110の処理を再実行する。
一方、少なくとも一つの表示装置10においてユーザの指示位置が検出された場合、制御部21は、指示位置を検出している表示装置10の数が一つであるか否かを判定する(S111)。指示位置を検出している表示装置10の数が一つである場合、制御部21は、該一つの表示装置10が表示装置[1]〜[n]以外の表示装置10であるか否かを判定する(S112)。なお、変数nが1である場合には、該一つの表示装置10が表示装置[1]以外の表示装置10であるか否かが判定される。
該一つの表示装置10が表示装置[1]〜[n]以外の表示装置10である場合、制御部21は、該一つの表示装置10を表示装置[n+1]として仮設定する(S113)。そして、制御部21は、表示装置[n+1]において最初に検出されたユーザの指示位置がいずれかの端部領域60に含まれているか否かを判定する(S114)。
表示装置[n+1]において最初に検出されたユーザの指示位置がいずれかの端部領域60に含まれている場合、制御部21は上記一つの表示装置10を表示装置[n+1]として本設定する(S115)。すなわち、制御部21は、上記一つの表示装置10を表示装置[n+1]として表示装置データに登録する。さらに、制御部21は、表示装置[n]において最後に検出されたユーザの指示位置に対応する表示装置[n]の辺と、表示装置[n+1]において最初に検出されたユーザの指示位置に対応する表示装置[n+1]の辺と、の組み合わせを記憶部22に保存する(S116)。
図14は記憶部22に記憶される位置関係データの一例を示す。位置関係データには、表示装置[n]において最後に検出されたユーザの指示位置に対応する辺と、表示装置[n+1]において最初に検出されたユーザの指示位置に対応する辺と、の組み合わせが登録される。
なお、図14に示す位置関係データは図3及び図9に示す例に対応している。図3及び図9に示す例の場合、表示装置10Aが表示装置[1]として設定され、表示装置10Bが表示装置[2]として設定される。また、表示装置10Aにおいて最後に検出されたユーザの指示位置PAは右端部領域60Rに含まれるため、右辺18Rが指示位置PAに対応する辺であると判断される。さらに、表示装置10Bにおいて最初に検出されたユーザの指示位置PBは左端部領域60Lに含まれるため、左辺18Lが指示位置PBに対応する辺であると判断される。
その結果、図14に示す位置関係データでは、表示装置[1]において最後に検出されたユーザの指示位置に対応する辺と、表示装置[2]において最初に検出されたユーザの指示位置に対応する辺と、の組み合わせとして(右辺,左辺)が登録されている。これは、表示装置[1]の右辺18Rと表示装置[2]の左辺18Lとが隣接するようにして表示装置[1]と表示装置[2]とが配置されていることを示している。
ステップS116の処理が実行された後、制御部21は変数nの値に1を加算し(S117)、その後、ステップS106の処理を再実行する。
なお、ステップS108において、表示装置[n]で最後に検出されたユーザの指示位置がいずれの端部領域60にも含まれていないと判定された場合、制御部21は、ユーザが軌跡の入力を完了したとみなして、下記の処理を実行する。
まず、制御部21は変数nの値が2以上であるか否かを判定する(S118)。以上に説明した処理では、複数の表示装置10にわたる軌跡がユーザによって入力された場合に変数nの値が2以上になるようになっている。このため、変数nの値が2以上である場合とは、複数の表示装置10にわたる軌跡をユーザが入力した場合である。一方、変数nの値が2以上でない場合、すなわち変数nの値が1である場合とは、複数の表示装置10にわたる軌跡をユーザが入力しなかった場合である。
変数nの値が2以上でない場合、制御部21は本処理を終了する。なお、この場合、制御部21はエラーメッセージデータを表示装置10(例えば表示装置[1])に送信し、該表示装置10にエラーメッセージを出力させるようにしてもよい。
一方、変数nの値が2以上である場合、制御部21は、表示装置データ及び位置関係データに基づいて、表示装置[1]〜[n]の協働を開始させる(S119)。
例えば、ステップS119において、制御部21は表示装置[1]〜[n]を仮想的に関連づけて、表示装置[1]〜[n]に関する表示制御を開始させる。
具体的には、制御部21は、データ通信を介して表示装置[1]〜[n]の各々の制御部11に命令することによって、一つの画面を表示装置[1]〜[n]に表示させる。
例えば図6に示した例の場合であれば、制御部21は、画像40の第1の領域のデータを表示装置10Aに送信することによって、画像40の第1の領域を表示装置10Aに表示させる。また、制御部21は、画像40の第2の領域のデータを表示装置10Bに送信することによって、画像40の第2の領域を表示装置10Bに表示させる。なお、「画像40の第1の領域のデータ」とは、画像40の第1の領域部分のみの画像データであってもよいし、画像40全体の画像データと第1の領域を表示対象領域として指定したデータとの組み合わせであってもよい。「画像40の第2の領域のデータ」も同様である。
または、制御部21は、データ通信を介して表示装置[1]〜[n]の各々の制御部11とデータを授受することによって、連携する複数の画面を表示装置[1]〜[n]に表示させる。
例えば図7に示した例の場合であれば、制御部21は商品一覧画面42のデータを表示装置10Aに送信することによって、商品一覧画面42を表示装置10Aに表示させる。また、制御部21は、商品一覧画面42において行われたユーザの操作内容を示すデータを表示装置10Aから受信する。このデータを受信した場合、制御部21は、操作内容に応じた商品画面44のデータを表示装置10Bに送信することによって、商品画面44を表示装置10Bに表示させる。なお、商品一覧画面42や商品画面44のデータは、制御部12が商品情報を提供するシステムとデータ通信を実行することによって取得される。
また例えば、ステップS119において、制御部21は表示装置[1]〜[n]を仮想的に関連づけて、表示装置[1]〜[n]に関する入力受付制御を開始させる。
具体的には、制御部21は、データ通信を介して表示装置[1]〜[n]の各々の制御部11に命令することによって、ユーザがタッチパネル17Tを用いて文字入力を行う一つの文字入力画面(例えばソフトウェアキーボード)を表示装置[1]〜[n]にわたって表示させる。また、制御部21は、ユーザが指示した位置に関するデータを表示装置[1]〜[n]の各々から受信することによって、ユーザによって入力された文字を判断する。
また例えば、ステップS119において、制御部21は表示装置[1]〜[n]を仮想的に関連づけて、表示装置[1]〜[n]に関する音声出力制御を開始させる。
例えば図3に示したように配置された表示装置10A,10Bが表示装置[1],[2]に相当する場合、制御部21は、左スピーカとしての音声出力を表示装置10Aに行わせるためのデータを表示装置10Aに送信することによって、表示装置10Aの音声出力部15を左スピーカとして機能させる。また、制御部21は、右スピーカとしての音声出力を表示装置10Bに行わせるためのデータを表示装置10Bに送信することによって、表示装置10Bの音声出力部15を右スピーカとして機能させる。
ところで、ステップS119では、表示装置[1]〜[n]の協働を開始する旨の命令が表示装置[1]〜[n]の少なくとも一つに送信されるようにしてもよい。そして、以降、サーバ装置20を介することなく、表示装置[1]〜[n]の間でデータを授受することによって、表示装置[1]〜[n]の協働が実現されるようにしてもよい。この際、表示装置[1]〜[n]のうちのいずれかをサーバとして選出し、サーバとして選出された表示装置10の制御部11が、上記に説明したような制御部21の役割も担うようにすればよい。
なお、サーバの選出は、表示装置[1]〜[n]の間でデータを授受することによって実行されるようにしてもよいし、制御部21が実行するようにしてもよい。例えば、後者の場合、ステップS119において、制御部21は表示装置[1]〜[n]のうちのいずれかをサーバとして選出するようにすればよい。そして、制御部21は、表示装置データ、位置関係データや、表示装置[1]〜[n]の間でデータ通信を行うために必要なデータを、サーバとして選出した表示装置10に送信するようにすればよい。また、制御部21、又はサーバとして選出された表示装置10の制御部11は、他の表示装置10(サーバとして選出されなかった表示装置10)に、該表示装置10が表示装置[1]〜[n]の一員として選出されたことと、サーバとして選出された表示装置10とを通知するようにしてもよい。
ステップS109において、上記経過時間が基準時間に達したと判定された場合にも、制御部21はユーザが軌跡の入力を完了したとみなして、ステップS118の処理を実行する。
また、ステップS111において、ユーザの指示位置を検出している表示装置10の数が一つでないと判定された場合にも、制御部21はユーザが軌跡の入力を完了したとみなして、ステップS118の処理を実行する。
さらに、ステップS112において、ユーザの指示位置を検出している表示装置10が表示装置[1]〜[n]以外の表示装置10でないと判定された場合、すなわち、ユーザの指示位置を検出している表示装置10が表示装置[1]〜[n]であると判定された場合にも、制御部21はユーザが軌跡の入力を完了したとみなして、ステップS118の処理を実行する。
また、ステップS114において、表示装置[n+1]で最初に検出された指示位置がいずれの端部領域60にも含まれていないと判定された場合にも、制御部21はユーザが軌跡の入力を完了したとみなして、ステップS118の処理を実行する。以上で図11及び図12の処理の説明を終了する。
なお、以上では、主に、二つの表示装置10A,10Bを協働させる場合について説明したが、表示システム1では三つ以上の表示装置10を協働させることも可能である。ここでは、四つの表示装置10を協働させる場合について説明する。図15〜図18は四つの表示装置10を協働させる場合について説明するための図である。
図15は、表示装置10A,10B,10C,10Dを協働させる場合にユーザが行うべき操作の一例を説明するための図である。表示装置10A,10B,10C,10Dを協働させる場合、図15に示すように、ユーザは表示装置10A,10B,10C,10Dを配置し、表示装置10A,10B,10C,10Dにわたる軌跡30を描く。
図16は、表示装置10A,10B,10C,10Dを通る軌跡30が描かれた場合における表示装置10A,10B,10C,10Dの各々のタッチパネル17Tの検出結果の一例を示す。なお、図16において、「表示装置A」、「表示装置B」、「表示装置C」、及び「表示装置D」はそれぞれ表示装置10A,10B,10C,10Dを示している。また、「t」,「t」,・・・,「ti+j+k+2」は、例えば1/60秒間隔のタイミングを示している。
タイミング「t」は、ユーザが表示装置10Aのタッチパネル17T上に指Fを接触させたタイミングを示している。また、タイミング「t」において表示装置10Aのタッチパネル17Tによって検出された位置(x,y)は図15に示す指示位置PAであり、タイミング「ti+1」において表示装置10Bのタッチパネル17Tによって検出された位置(xi+1,yi+1)は図15に示す指示位置PB1である。
また、タイミング「ti+j」において表示装置10Bのタッチパネル17Tによって検出された位置(xi+j,yi+j)は図15に示す指示位置PB2であり、タイミング「ti+j+1」において表示装置10Cのタッチパネル17Tによって検出された位置(xi+j+1,yi+j+1)は図15に示す指示位置PC1である。同様に、タイミング「ti+j+k」において表示装置10Cのタッチパネル17Tによって検出された位置(xi+j+k,yi+j+k)は図15に示す指示位置PC2であり、タイミング「ti+j+k+1」において表示装置10Dのタッチパネル17Tによって検出された位置(xi+j+k+1,yi+j+k+1)は図15に示す指示位置PDである。
図15及び図16に示す例の場合、図11及び図12に示す処理では、表示装置10Aが表示装置[1]として設定され、表示装置10Bが表示装置[2]として設定される。また、表示装置10Cが表示装置[3]として設定され、表示装置10Dが表示装置[4]として設定される。その結果、例えば図17に示すような表示装置データが記憶部22に生成される。
また、図15及び図16に示す例の場合、図11及び図12に示す処理が実行されることによって、例えば図18に示すような位置関係データが記憶部22に生成される。
図15及び図16に示す例の場合、表示装置10A(表示装置[1])及び表示装置10B(表示装置[2])のタッチパネル17Tの検出結果に基づいて、表示装置10A,10Bの位置関係が判断される。すなわち、表示装置10Aにおいて最後に検出されたユーザの指示位置PAが右端部領域60Rに含まれるため、右辺18Rが指示位置PAに対応する辺であると判断される。また、表示装置10Bにおいて最初に検出されたユーザの指示位置PB1が左端部領域60Lに含まれるため、左辺18Lが指示位置PB1に対応する辺であると判断される。その結果、図18に示す位置関係データでは、表示装置[1],[2]の組み合わせに対応づけて(右辺,左辺)の組み合わせが登録されている。これは、表示装置[1]の右辺18Rと、表示装置[2]の左辺18Lと、が隣接するようにして表示装置[1],[2]が配置されていることを示している。
また、図15及び図16に示す例の場合、表示装置10B(表示装置[2])及び表示装置10C(表示装置[3])のタッチパネル17Tの検出結果に基づいて、表示装置10B,10Cの位置関係が判断される。すなわち、表示装置10Bにおいて最後に検出されたユーザの指示位置PB2が下端部領域60Dに含まれるため、下辺18Dが指示位置PB2に対応する辺であると判断される。また、表示装置10Cにおいて最初に検出されたユーザの指示位置PC1が上端部領域60Uに含まれるため、上辺18Uが指示位置PC1に対応する辺であると判断される。その結果、図18に示す位置関係データでは、表示装置[2],[3]の組み合わせに対応づけて(下辺,上辺)の組み合わせが登録されている。これは、表示装置[2]の下辺18Dと、表示装置[3]の上辺18Uと、が隣接するようにして表示装置[2],[3]が配置されていることを示している。
さらに、図15及び図16に示す例の場合、表示装置10C(表示装置[3])及び表示装置10D(表示装置[4])のタッチパネル17Tの検出結果に基づいて、表示装置10C,10Dの位置関係が判断される。すなわち、表示装置10Cにおいて最後に検出されたユーザの指示位置PC2が左端部領域60Lに含まれるため、左辺18Lが指示位置PC2に対応する辺であると判断される。また、表示装置10Dにおいて最初に検出されたユーザの指示位置PDが右端部領域60Rに含まれるため、右辺18Rが指示位置PDに対応する辺であると判断される。その結果、図18に示す位置関係データでは、表示装置[3],[4]の組み合わせに対応づけて(左辺,右辺)の組み合わせが登録されている。これは、表示装置[3]の左辺18Lと、表示装置[4]の右辺18Rと、が隣接するようにして表示装置[3],[4]が配置されていることを示している。
また、この場合、表示装置[1],[2]の位置関係と、表示装置[2],[3]の位置関係と、表示装置[3],[4]の位置関係と、に基づいて、表示装置[1],[4]の位置関係を推測することが可能である。例えば、表示装置[1],[2]の位置関係と、表示装置[2],[3]の位置関係と、表示装置[3],[4]の位置関係とが図15及び図18に示すような位置関係である場合には、表示装置[4],[1]が表示装置[4]の上辺18Uと表示装置[1]の下辺18Dとが隣接するようにして配置されることになる。その結果、制御部21は、表示装置[4],[1]の組み合わせに対応づけて(上辺,下辺)の組み合わせを位置関係データに登録する。このように、制御部21(位置関係認識部54)は、表示装置[1],[2]の位置関係と、表示装置[2],[3]の位置関係と、表示装置[3],[4]の位置関係とが所定の位置関係であるか否かを判定することによって、表示装置[4],[1]の位置関係を推測する。
なお、図15に示す例の場合、表示装置10A(表示装置[1])で最後に検出されたユーザの指示位置PAから、表示装置10B(表示装置[2])で最初に検出されたユーザの指示位置PB1への方向と、表示装置10B(表示装置[2])で最後に検出されたユーザの指示位置PB2から、表示装置10C(表示装置[3])で最初に検出されたユーザの指示位置PC1への方向と、に基づいて、表示装置[1],[2],[3]の位置関係を判断するようにしてもよい。例えば、図15に示す例の場合、指示位置PAから指示位置PB1への方向と、指示位置PB2から指示位置PC1への方向と、のずれが約90度になっているため、表示装置[1]から表示装置[2]への方向と、表示装置[2]から表示装置[3]への方向と、のずれが90度となるようにして表示装置[1],[2],[3]が配置されていると判断するようにしてもよい。
同様に、表示装置10B(表示装置[2])で最後に検出されたユーザの指示位置PB2から、表示装置10C(表示装置[3])で最初に検出されたユーザの指示位置PC1への方向と、表示装置10C(表示装置[3])で最後に検出されたユーザの指示位置PC2から、表示装置10D(表示装置[4])で最初に検出されたユーザの指示位置PDへの方向と、に基づいて、表示装置[2],[3],[4]の位置関係を判断するようにしてもよい。例えば、図15に示す例の場合、指示位置PB2から指示位置PC1への方向と、指示位置PC2から指示位置PDへの方向と、のずれが約90度になっているため、表示装置[2]から表示装置[3]への方向と、表示装置[3]から表示装置[4]への方向と、のずれが90度となるようにして表示装置[2],[3],[4]が配置されていると判断するようにしてもよい。
図15に示すような、表示装置10A,10B,10C,10Dにわたる軌跡30がユーザによって描かれた場合、制御部21(協働制御部56)は、図17に示す表示装置データと、図18に示す位置関係データと、に基づいて、表示装置10A,10B,10C,10Dの協働を開始させる。
例えば、表示装置10A,10B,10C,10Dによって一つの表示画面が構成される。すなわち、一つの画像40が表示装置10A,10B,10C,10Dにわたって表示される。または、例えば、商品一覧画面42が表示装置10A,10Dを用いて表示され、商品画面44が表示装置10B,10Cを用いて表示される。すなわち、商品一覧画面42が表示装置10A,10Dによって構成され、商品画面44が表示装置10B,10Cによって構成される。
あるいは、例えば、ユーザがタッチパネル17Tを用いて文字入力を行う文字入力画面(例えばソフトウェアキーボード等)を表示装置10A,10B,10C,10Dにわたって表示することによって、表示装置10A,10B,10C,10Dのタッチパネル17Tを用いて文字入力を受け付けるようにしてもよい。または、例えば、表示装置10A,10B,10C,10Dの音声出力部15を一組のスピーカセットとみなして音声出力を実行するようにしてもよい。
以上に説明した表示システム1によれば、表示装置10同士がぶつかったことを検出するためのセンサを各表示装置10が備えていなくても、複数の表示装置10を協働させることが可能になる。近年、表示装置10(例えばタブレット型コンピュータ又は携帯電話)がタッチパネルを備えていることが多いところ、表示システム1によれば、タッチパネルを用いて複数の表示装置10を協働させることが可能になる。
また、表示システム1によれば、複数の表示装置10のタッチパネル17Tを用いて複数の表示装置10にわたる軌跡を描くという比較的簡易な操作によって、ユーザは、協働させる複数の表示装置10を指定したり、それら複数の表示装置10の位置関係を指定したりすることが可能になる。すなわち、表示システム1によれば、協働させる複数の表示装置10と、それら複数の表示装置10の位置関係と、を指定することをユーザが一つの操作によって行うことが可能になる。
なお、本発明は以上に説明した実施形態に限定されるものではない。
[第1変形例]例えば、表示装置10の長辺同士又は短辺同士が隣接するようにして複数の表示装置10を配置するようにユーザを誘導するようにしてもよい。例えば、表示装置10の長辺と、他の表示装置10の短辺と、が隣接するようにしてそれらの表示装置10が配置されている場合には所定のメッセージ(例えばエラーメッセージ)を出力するようにしてもよい。
この第1変形例では、図12のステップS114において、表示装置[n+1]のタッチパネル17Tによって最初に検出されたユーザの指示位置がいずれかの端部領域60に含まれると判定された場合に、制御部21は図19に示す処理を実行する。
すなわち、制御部21は、表示装置[n]のタッチパネル17Tによって最後に検出されたユーザの指示位置に対応する辺と、表示装置[n+1]のタッチパネル17Tによって最初に検出されたユーザの指示位置に対応する辺と、の組み合わせが所定の組み合わせであるか否かを判定する(S201)。
ここで、「指示位置に対応する辺」とは、指示位置が含まれる端部領域60に対応する辺である。例えば、指示位置が左端部領域60Lに含まれる場合、左辺18Lが「指示位置に対応する辺」に相当する。また、「所定の組み合わせ」とは、長辺同士の組み合わせ、又は短辺同士の組み合わせである。
ステップS201において上記の組み合わせが所定の組み合わせであると判定された場合、制御部21は図12のステップS115の処理を実行する。一方、上記の組み合わせが所定の組み合わせでないと判定された場合、制御部21はエラーメッセージデータを表示装置「n」及び表示装置「n+1」の少なくとも一方に送信し、エラーメッセージを表示装置「n」及び表示装置「n+1」の少なくとも一方に出力させる(S202)。その後、制御部21は本処理を終了する。
[第2変形例]例えば、表示装置10A,10Bにわたる軌跡がユーザによって入力されたか否かを判定部52が判定するための上記「所定条件」は下記条件Gを含むようにしてもよい。
(G)表示装置10Aのタッチパネル17Tによって検出されたユーザの指示位置の軌跡が示す方向と、表示装置10Bのタッチパネル17Tによって検出されたユーザの指示位置の軌跡が示す方向と、のずれが閾値未満である。
図20は上記条件Gについて説明するための図である。この第2変形例において、判定部52は、表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PA1よりも前に表示装置10Aのタッチパネル17Tによって検出された指示位置PA0を取得する。例えば、判定部52は、表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PA1の直前に表示装置10Aのタッチパネル17Tによって検出された指示位置PA0を取得する。そして、判定部52は、指示位置PA0から指示位置PA1への方向を示すベクトルVを取得する。
また、判定部52は、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PB1よりも後に表示装置10Bのタッチパネル17Tによって検出された指示位置PB0を取得する。例えば、判定部52は、表示装置10Bのタッチパネル17Tによって最初に検出された指示位置PB1の直後に表示装置10Bのタッチパネル17Tによって検出された指示位置PB0を取得する。そして、判定部52は、指示位置PB1から指示位置PB0への方向を示すベクトルVを取得する。
そして、判定部52は、ベクトルVとベクトルVとのなす角度(θ)が閾値未満であるか否かを判定する。例えば、判定部52は、ベクトルVとベクトルVとのなす角度(θ)の余弦(cos(θ))を算出する。この場合、角度(θ)が0度に近づくほど、cos(θ)は1に近づく。一方、角度(θ)が180度に近づくほど、cos(θ)は−1に近づく。このため、判定部52は、cos(θ)の値が所定値よりも大きいか否かを判定することによって、ベクトルVとベクトルVとのなす角度(θ)が閾値未満であるか否かを判定する。そして、ベクトルVとベクトルVとのなす角度(θ)が閾値未満である場合に、判定部52は上記条件Gが満足されていると判定する。
上記条件Gを追加することによって、表示装置10A,10Bにわたる軌跡30がユーザによって入力されたか否かの判定精度を向上することが可能になる。
この第2変形例における処理について説明する。この第2変形例では、図12のステップS114において、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置がいずれかの端部領域60に含まれると判定された場合に、制御部21は図21に示す処理を実行する。
すなわち、まず制御部21は、表示装置[n]のタッチパネル17Tによって検出された指示位置の軌跡の方向を示すベクトルと、表示装置[n+1]のタッチパネル17Tによって検出された指示位置の軌跡の方向を示すベクトルと、のなす角度が閾値未満であるか否かを判定する(S301)。例えば、制御部21は、図20に示すベクトルVとベクトルVとのなす角度が閾値未満であるか否かを判定する。
なお、ここで、例えば図4に示すように、表示装置10Aと、上下反転された表示装置10Bと、が横に並べて配置されているような状態を想定する。すなわち、表示装置10A,10Bの右辺18R同士が隣接するようにして表示装置10A,10Bが配置されている状態を想定する。
図22A及び図22Bは、上記の状態におけるステップS301の処理について説明するための図である。上記の状態で図22Aに示す軌跡30がユーザによって入力された場合、表示装置10A,10Bの向きが逆になっている(上下が反転されている)ため、実際に表示装置10Bのタッチパネル17Tで検出される指示位置PB1,PB0は図22Bに示すようになる。
このような場合、制御部21は、タッチパネル17T(表示部14)の中心点Cを対称点(対称中心)として、指示位置PB1と点対称の関係を有する位置PB1’を取得する。同様に、制御部21は、タッチパネル17Tの中心点Cを対称点として、指示位置PB0と点対称の関係を有する位置PB0’を取得する。そして、制御部21は、位置PB1’から位置PB0’への方向を示すベクトルV’を取得し、ベクトルVとベクトルV’とのなす角度(θ)が閾値未満であるか否かを判定する。
なお、ベクトルV’はベクトルVの逆ベクトルであるため、制御部21は、ベクトルVと、ベクトルVの逆ベクトルと、のなす角度(θ)が閾値未満であるか否かを判定するようにしてもよい。
また、以上では、表示装置10Bのタッチパネル17Tで検出された指示位置PB1,PB0と点対称の関係を有する位置PB1’,PB0’を取得することとして説明したが、上記位置PB1’,PB0’を取得する代わりに、表示装置10Aのタッチパネル17Tで検出された指示位置PA0,PA1と点対称の関係を有する位置PA0’,PA1’を取得するようにしてもよい。そして、制御部21は、位置PA0’から位置PA1’への方向を示すベクトルV’と、指示位置PB1から指示位置PB0への方向を示すベクトルVと、のなす角度(θ)が閾値未満であるか否かを判定するようにしてもよい。
また、以上では、表示装置10A,10Bの右辺18R同士が隣接している場合について説明したが、表示装置10A,10Bの左辺18L同士が隣接している場合、表示装置10A,10Bの上辺18U同士が隣接している場合や、表示装置10A,10Bの下辺18D同士が隣接している場合も同様である。
ステップS301において上記角度が閾値未満であると判定された場合、制御部21は図12のステップS115の処理を実行する。一方、ステップS301において上記角度が閾値未満でないと判定された場合、制御部21は図12のステップS118の処理を実行する。
以上に説明した第2変形例は第1変形例と組み合わせるようにしてもよい。すなわち、図12のステップS114において、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置がいずれかの端部領域60に含まれると判定された場合に、制御部21は図19のステップS201を実行するようにしてもよい。そして、ステップS201において上記の組み合わせが所定の組み合わせであると判定された場合に、制御部21は図21のステップS301の処理を実行するようにしてもよい。
[第3変形例]例えば、表示装置10A,10Bにわたる軌跡がユーザによって入力されたか否かを判定部52が判定するための上記「所定条件」は下記条件H,Iを含むようにしてもよい。図23は下記条件Hについて説明するための図であり、図24は下記条件Iについて説明するための図である。
(H)表示装置10Aのタッチパネル17Tによって最後に検出されたユーザの指示位置PAが左端部領域60L又は右端部領域60Rに含まれ、かつ、表示装置10Bのタッチパネル17Tによって最初に検出されたユーザの指示位置PBが左端部領域60L又は右端部領域60Rに含まれる場合において、指示位置PAのY軸座標値と、指示位置PBのY軸座標値と、の差分値Dが閾値未満である。
(I)表示装置10Aのタッチパネル17Tによって最後に検出されたユーザの指示位置PAが上端部領域60U又は下端部領域60Dに含まれ、かつ、表示装置10Bのタッチパネル17Tによって最初に検出されたユーザの指示位置PBが上端部領域60U又は下端部領域60Dに含まれる場合において、指示位置PAのX軸座標値と、指示位置PBのX軸座標値と、の差分値Dが閾値未満である。
上記条件H,Iを追加することによって、表示装置10A,10Bにわたる軌跡30がユーザによって入力されたか否かの判定精度を向上することが可能になる。なお、表示装置10A,10Bの縁部分(表示装置10A,10Bの上辺18U、下辺18D、左辺18L、及び右辺18Rと、表示部14(タッチパネル17T)の上辺62U、下辺62D、左辺62L、及び右辺62Rと、の間の部分)が狭いほど、上記条件H,Iによって上記判定精度を向上することが可能になる。
この第3変形例における処理について説明する。この第3変形例では、図12のステップS114において、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置がいずれかの端部領域60に含まれると判定された場合に、制御部21は図25に示す処理を実行する。
すなわち、まず制御部21は、表示装置[n]のタッチパネル17Tによって最後に検出された指示位置が左端部領域60L又は右端部領域60Rに含まれ、かつ、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置が左端部領域60L又は右端部領域60Rに含まれるか否かを判定する(S401)。
ステップS301における判定結果が真(Y)である場合、制御部21は、表示装置[n]のタッチパネル17Tによって最後に検出された指示位置のY軸座標値と、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置のY軸座標値と、の差の絶対値を差分値Dとして算出する(S402)。
なお、ここで、例えば図4に示すように、表示装置10Aと、上下反転された表示装置10Bと、が並べて配置されているような状態を想定する。すなわち、表示装置10A,表示装置10Bの右辺18R同士が隣接するようにして表示装置10A,10Bが配置されている状態を想定する。
図26A及び図26Bは、この状態におけるステップS402の処理について説明するための図である。この状態で図26Aに示す軌跡30がユーザによって入力された場合、表示装置10A,10Bの向きが逆になっている(上下が反転されている)ため、実際に表示装置10Bのタッチパネル17Tで検出される指示位置PBは図26Bに示すようになる。
このような場合、制御部21は、タッチパネル17T(表示部14)の中心点Cを対称点(対称中心)として、指示位置PBと点対称の関係を有する位置PB’を取得する。そして、制御部21は、指示位置PAのY軸座標値と、位置PB’のY軸座標値と、の差の絶対値を差分値Dとして取得する。
なお、以上では、表示装置10Bのタッチパネル17Tで検出された指示位置PBと点対称の関係を有する位置PB’を取得することとして説明したが、上記位置PB’を取得する代わりに、表示装置10Aのタッチパネル17Tによって最後に検出された指示位置PAと点対称の関係を有する位置PA’を取得するようにしてもよい。そして、制御部21は、位置PA’のY軸座標値と、指示位置PBのY軸座標値と、の差の絶対値を差分値Dとして取得するようにしてもよい。
また、以上では、表示装置10A,10Bの右辺18R同士が隣接している場合について説明したが、表示装置10A,10Bの左辺18L同士が隣接している場合も同様である。
ステップS401における判定結果が偽(N)である場合、制御部21は、表示装置[n]のタッチパネル17Tによって最後に検出された指示位置が上端部領域60U又は下端部領域60Dに含まれ、かつ、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置が上端部領域60U又は下端部領域60Dに含まれるか否かを判定する(S403)。
ステップS403における判定結果が真(Y)である場合、制御部21は、表示装置[n]のタッチパネル17Tによって最後に検出された指示位置のX軸座標値と、表示装置[n+1]のタッチパネル17Tによって最初に検出された指示位置のX軸座標値と、の差の絶対値を差分値Dとして算出する(S404)。
なお、表示装置10A,10Bの上辺18U同士が隣接している場合や、表示装置10A,10Bの下辺18D同士が隣接している場合には、表示装置10A,10Bの左辺18L同士が隣接している場合と同様にして(図26B参照)、上記の差分値Dが算出される。
ステップS402又はS404の処理が実行された場合、制御部21は、ステップS402又はS404で算出された差分値Dが閾値未満であるか否かを判定する(S405)。上記差分値Dが閾値未満であると判定された場合、制御部21は図12のステップS115の処理を実行する。一方、ステップS405において上記差分値Dが閾値未満でないと判定された場合、制御部21は図12のステップS118の処理を実行する。また、ステップS403における判定結果が偽(N)である場合にも、制御部21は図12のステップS118の処理を実行する。
以上に説明した第3変形例を第1変形例と組み合わせるようにしてもよい。図25のステップS403における判定結果が偽(N)である場合とは、長辺同士又は短辺同士が隣接するようにして表示装置[n],[n+1]が配置されていない場合である。このため、ステップS403における判定結果が偽(N)である場合に制御部21は図19のステップS202の処理を実行するようにしてもよい。
また、第3変形例を第2変形例と組み合わせるようにしてもよい。すなわち、図12のステップS114における判定結果が真(Y)である場合に、制御部21は図21のステップS301の処理を実行するようにしてもよい。そして、ステップS301において上記角度が閾値未満であると判定された場合に、制御部21は図25のステップS401の処理を実行するようにしてもよい。あるいは、図12のステップS114における判定結果が真(Y)である場合に、制御部21は図25のステップS401の処理を実行するようにしてもよい。そして、ステップS405において上記差分値Dが閾値未満であると判定された場合に、制御部21は図21のステップS301の処理を実行するようにしてもよい。
また、第3変形例を第1変形例及び第2変形例と組み合わせるようにしてもよい。
[第4変形例]以上では、ユーザが複数の表示装置10にわたる一つの軌跡を描いた場合にそれら複数の表示装置10の協働が開始するようになっていたが、複数の表示装置10の協働が開始させるためにユーザが行うべき操作は上記の操作に限られない。図27は、複数の表示装置10の協働が開始させるためにユーザが行うべき操作の他の一例を示す。なお、図27は表示装置10A,10Bを協働させる場合について示している。
表示装置10A,10Bを協働させる場合、ユーザは表示装置10Aのタッチパネル17Tの端部領域60のいずれかに指Fを接触させる。図27に示す例では表示装置10Aの右端部領域60Rに指Fが接触されている。また、ユーザは表示装置10Bのタッチパネル17Tの端部領域60のいずれかに指Fを接触させる。図27に示す例では表示装置10Bの左端部領域60Lに指Fが接触されている。その後、ユーザは、指Fで接触した端部領域60に対応する辺同士が隣接するようにして表示装置10A,10Bを配置する。図27に示す例の場合であれば、表示装置10Aの右辺18Rと、表示装置10Bの左辺18Lと、が隣接するようにして表示装置10A,10Bを配置する。このような操作をユーザが行った場合に表示装置10A,10Bの協働を開始させるようにしてもよい。
なお、表示装置10A,10Bの一方においてユーザの指示位置が検出されてから、他方においてユーザの指示位置が検出されるまでの時間が閾値未満である場合に限って、表示装置10A,10Bの協働を開始させるようにしてもよい。
また、以上では、表示装置10A,10Bが隣接するようにして表示装置10A,10Bを配置する前にユーザが表示装置10A,10Bの端部領域60に指F等を接触させることとして説明したが、当然ながら、表示装置10A,10Bが隣接するようにして表示装置10A,10Bを配置した後にユーザが表示装置10A,10Bの端部領域60に指F等を接触させるようにしてもよい。
この第4変形例では、下記条件a,bの両方が満足される場合に協働制御部56は表示装置10Aと表示装置10Bとの協働を開始させる。
(a)表示装置10Aのタッチパネル17Tによって検出されたユーザの指示位置が表示装置10Aの端部領域60のいずれかに含まれる。
(b)表示装置10Bのタッチパネル17Tによって検出されたユーザの指示位置が表示装置10Bの端部領域60のいずれかに含まれる。
なお、協働制御部56は、上記条件a,b及び下記条件cのすべてが満足される場合に表示装置10Aと表示装置10Bとの協働を開始させるようにしてもよい。
(c)表示装置10Aのタッチパネル17Tによってユーザの指示位置が検出されたタイミングと、表示装置10Bのタッチパネル17Tによってユーザの指示位置が検出されたタイミングと、の差が閾値未満である。
[第5変形例]例えば図28に示すように、表示システム1はサーバ装置20を含まないようにしてもよい。
この第5変形例の場合、複数の表示装置10の各々で実行されるアプリケーションプログラムによって、複数の表示装置10の間でデータが授受される。なお、複数の表示装置10の間のデータ授受はアクセスポイント4を介して行われるようにしてもよいし、アクセスポイント4を介さずに直接行われるようにしてもよい。
また、この第5変形例の場合、複数の表示装置10のうちのいずれかがサーバとして選出される。サーバの選出は所定の規則に従って実行される。例えば、複数の表示装置10のうちで最初にアプリケーションプログラムが起動された表示装置10がサーバとして選出される。
サーバとして選出された表示装置10(制御装置)はサーバ装置20の役割も担うことになる。すなわち、サーバ装置20の制御部21が実行することとして説明した処理を、サーバとして選出された表示装置10の制御部11が実行することになる。つまり、サーバとして選出された表示装置10の制御部11がプログラムに従って処理を実行することによって、制御部11が指示位置取得部50、判定部52、位置関係認識部54、及び協働制御部56として機能することになる。さらに、サーバ装置20の記憶部22に記憶されることとして説明したプログラムやデータは、サーバとして選出された表示装置10の記憶部12に記憶されることになる。
また、この第5変形例の場合、サーバとして選出された表示装置10以外の各表示装置10は、タッチパネル17Tの検出結果に関する指示位置情報を、サーバとして選出された表示装置10に送信することになる。
なお、この第5変形例では、サーバとして選出された表示装置10も、協働する表示装置10の一員になることができるようにしてもよい。
1 表示システム、2 LAN、4 アクセスポイント、10,10A,10B,10C,10D 表示装置、11,21 制御部、12,22 記憶部、13,23 通信部、14 表示部、15 音声出力部、16 姿勢検出センサ部、17 操作部、17B ボタン、17T タッチパネル、18U,62U 上辺、18D,62D 下辺、18L,62L 左辺、18R,62R 右辺、20 サーバ装置、24 光ディスクドライブ部、30 軌跡、40 画像、42 商品一覧画面、44 商品画面、50 指示位置取得部、52 判定部、54 位置関係認識部、56 協働制御部、60U 上端部領域、60D 下端部領域、60L 左端部領域、60R 右端部領域。

Claims (22)

  1. 複数の表示装置を含む表示システムにおいて、
    前記複数の表示装置の各々は、
    ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、
    前記表示システムは、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得手段と、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置の位置関係を認識する位置関係認識手段と、
    前記位置関係に基づいて、前記複数の表示装置を協働させる協働制御手段と、を含み、
    前記複数の表示装置は、第1の表示装置と、前記第1の表示装置とは別個の独立した表示装置である第2の表示装置とを含み、
    前記位置関係認識手段は、前記第1の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示装置の辺と、が隣接するようにして前記第1の表示装置と前記第2の表示装置とが配置されていると認識し、
    前記表示システムは、
    前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示装置の辺と、の組み合わせが所定の組み合わせであるか否かを判定する手段と、
    前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示装置及び前記第2の表示装置の少なくとも一方に出力させる手段と、をさらに含む、
    ことを特徴とする表示システム。
  2. 請求項1に記載の表示システムにおいて、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定手段を含み、
    前記協働制御手段は、前記複数の表示装置にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示装置を協働させ、
    前記判定手段は、前記第1の表示装置及び前記第2の表示装置の前記指示位置検出手段の検出結果が所定条件を満足する場合に、前記第1の表示装置と前記第2の表示装置とにわたる軌跡が前記ユーザによって入力されたと判定し、
    前記所定条件は、
    前記第1の表示装置の前記指示位置検出手段によって指示位置が最後に検出された後に、前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されたとの条件と、
    前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が前記第1の表示装置の端部領域に含まれるとの条件と、
    前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が前記第2の表示装置の端部領域に含まれるとの条件と、
    前記第1の表示装置の前記指示位置検出手段によって検出された指示位置の軌跡が示す方向と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置の軌跡が示す方向と、のずれに関する値が閾値未満であるとの条件と、を含む、
    ことを特徴とする表示システム。
  3. 請求項に記載の表示システムにおいて、
    前記所定条件は、前記第1の表示装置の前記指示位置検出手段によって指示位置が最後に検出されたタイミングと、前記第2の表示装置の前記指示位置検出手段によって指示位置が最初に検出されたタイミングと、の差が閾値未満であるとの条件をさらに含むことを特徴とする表示システム。
  4. 請求項又はに記載の表示システムにおいて、
    前記所定条件は、
    前記第1の表示装置の前記指示位置検出手段によって指示位置が検出されている場合に前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されていないとの条件と、
    前記第2の表示装置の前記指示位置検出手段によって指示位置が検出されている場合に前記第1の表示装置の前記指示位置検出手段によって指示位置が検出されていないとの条件と、をさらに含む、
    ことを特徴とする表示システム。
  5. 請求項乃至のいずれかに記載の表示システムにおいて、
    前記複数の表示装置の各々は、第1の辺と、前記第1の辺と直交又は略直交する第2の辺と、前記第1の辺と対向する第3の辺と、前記第2の辺と対向する第4の辺と、を有し、
    前記指示位置検出手段によって検出される指示位置は、前記第1の辺と平行又は略平行に延伸する軸方向の座標値である第1の座標値と、前記第2の辺と平行又は略平行に延伸する軸方向の座標値である第2の座標値と、によって表され、
    前記所定条件は、
    前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が、前記第1の辺又は前記第3の辺に対応する端部領域に含まれ、かつ、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が、前記第1の辺又は前記第3の辺に対応する端部領域に含まれる場合において、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置の第1の座標値と、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置の第1の座標値と、の差が閾値未満であるとの条件と、
    前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が、前記第2の辺又は前記第4の辺に対応する端部領域に含まれ、かつ、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が、前記第2の辺又は前記第4の辺に対応する端部領域に含まれる場合において、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置の第2の座標値と、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置の第2の座標値と、の差が閾値未満であるとの条件と、をさらに含む、
    ことを特徴とする表示システム。
  6. 請求項1乃至5のいずれかに記載の表示システムにおいて、
    前記第1の表示装置及び前記第2の表示装置の各々は長辺及び短辺を有し、
    前記所定の組み合わせは、前記第1の表示装置及び前記第2の表示装置の前記長辺同士又は前記短辺同士の組み合わせであり、
    前記所定のメッセージは、前記第1の表示装置及び前記第2の表示装置の前記長辺同士又は前記短辺同士を隣接させるように前記ユーザを誘導するメッセージである、
    ことを特徴とする表示システム。
  7. 複数の表示装置を含む表示システムにおいて、
    前記複数の表示装置の各々は、
    ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、
    前記表示システムは、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得手段と、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定手段と、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置の位置関係を認識する位置関係認識手段と、
    前記複数の表示装置にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示装置を協働させる協働制御手段と、を含み、
    前記複数の表示装置は、第1の表示装置と、前記第1の表示装置とは別個の独立した表示装置である第2の表示装置と、前記第1の表示装置と前記第2の表示装置とは別個の独立した表示装置である第3の表示装置と、前記第1の表示装置と前記第2の表示装置と前記第3の表示装置とは別個の独立した表示装置である第4の表示装置とを含み、
    前記協働制御手段は、前記第1の表示装置と前記第2の表示装置とにわたり、かつ、前記第2の表示装置と前記第3の表示装置とにわたり、かつ、前記第3の表示装置と前記第4の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示装置と前記第2の表示装置との位置関係と、前記第2の表示装置と前記第3の表示装置との位置関係と、前記第3の表示装置と前記第4の表示装置との位置関係と、前記第1の表示装置と前記第4の表示装置との位置関係とに基づいて、前記第1の表示装置と前記第2の表示装置と前記第3の表示装置と前記第4の表示装置とを協働させ、
    前記位置関係認識手段は、
    前記第1の表示装置及び前記第2の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第1の表示装置と前記第2の表示装置との位置関係を認識する手段であって、前記第1の表示装置と前記第2の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第1の表示装置の複数の端部領域のうちの、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第1の表示装置の辺と、前記第2の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第2の表示装置の複数の端部領域のうちの、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第2の表示装置の辺と、が隣接するようにして前記第1の表示装置と前記第2の表示装置とが配置されていると認識する手段と、
    前記第2の表示装置及び前記第3の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第2の表示装置と前記第3の表示装置との位置関係を認識する手段であって、前記第2の表示装置と前記第3の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第2の表示装置の前記複数の端部領域のうちの、前記第2の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第2の表示装置の辺と、前記第3の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第3の表示装置の複数の端部領域のうちの、前記第3の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第3の表示装置の辺と、が隣接するようにして前記第2の表示装置と前記第3の表示装置とが配置されていると認識する手段と、
    前記第3の表示装置及び前記第4の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第3の表示装置と前記第4の表示装置との位置関係を認識する手段であって、前記第3の表示装置と前記第4の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第3の表示装置の前記複数の端部領域のうちの、前記第3の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第3の表示装置の辺と、前記第4の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第4の表示装置の複数の端部領域のうちの、前記第4の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第4の表示装置の辺と、が隣接するようにして前記第3の表示装置と前記第4の表示装置とが配置されていると認識する手段と、
    前記第1の表示装置と前記第2の表示装置との位置関係と、前記第2の表示装置と前記第3の表示装置との位置関係と、前記第3の表示装置と前記第4の表示装置との位置関係と、に基づいて、前記第1の表示装置と前記第4の表示装置との位置関係を認識する手段と、を含む、
    ことを特徴とする表示システム。
  8. 請求項1乃至のいずれかに記載の表示システムにおいて、
    前記協働制御手段は、前記複数の表示装置によって一つの表示画面を構成させることを特徴とする表示システム。
  9. 請求項1乃至のいずれかに記載の表示システムにおいて、
    前記協働制御手段は、前記ユーザの操作を受け付ける第1の画面を、前記複数の表示装置のうちの少なくとも一つの表示装置に表示し、前記第1の画面において行われた前記ユーザの操作に応じた第2の画面を、前記複数の表示装置のうちの少なくとも一つの他の表示装置に表示することを特徴とする表示システム。
  10. 請求項1乃至のいずれかに記載の表示システムにおいて、
    前記協働制御手段は、前記ユーザが前記指示位置検出手段を用いて文字入力を行うための一つの文字入力画面を前記複数の表示装置にわたって表示することによって、前記複数の表示装置の前記指示位置検出手段を用いて前記ユーザの文字入力を受け付けることを特徴とする表示システム。
  11. 請求項10に記載の表示システムにおいて、
    前記協働制御手段は、
    前記一つの文字入力画面としてソフトウェアキーボード画面を前記複数の表示装置にわたって表示し、
    前記複数の表示装置のうちの一の表示装置に表示された第1のキーが前記ユーザによって指示された後に、前記複数の表示装置のうちの他の表示装置に表示された第2のキーが前記ユーザによって指示された場合に、前記第1のキーに対応する文字と、前記第2のキーに対応する文字と、を含む文字列が入力されたと認識する、
    ことを特徴とする表示システム。
  12. 請求項10に記載の表示システムにおいて、
    前記協働制御手段は、前記複数の表示装置の前記指示位置検出手段を用いて、前記複数の表示装置にわたる入力を前記ユーザの文字入力として受け付けることを特徴とする表示システム。
  13. 請求項1乃至のいずれかに記載の表示システムにおいて、
    前記複数の表示装置の各々は音声出力手段を含み、
    前記協働制御手段は、前記複数の表示装置のうちのの表示装置に含まれ、
    前記の表示装置には、第1のチャネル及び第2のチャネルに対応する音声データが供給され、
    前記協働制御手段は、
    前記の表示装置の前記音声出力手段を、前記第1のチャネルに対応するスピーカとみなして、前記の表示装置の前記音声出力手段から音声を出力させ、
    前記第2のチャネルに対応する音声データを前記複数の表示装置のうちのの表示装置に供給し、前記の表示装置の前記音声出力手段を、前記第2のチャネルに対応するスピーカとみなして、前記の表示装置の前記音声出力手段から音声を出力させる、
    ことを特徴とする表示システム。
  14. 複数の表示装置を含む表示システムの制御方法において、
    前記複数の表示装置の各々は、
    ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、
    前記制御方法は、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得ステップと、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置の位置関係を認識する位置関係認識ステップと、
    前記位置関係に基づいて、前記複数の表示装置を協働させる協働制御ステップと、を含み、
    前記複数の表示装置は、第1の表示装置と、前記第1の表示装置とは別個の独立した表示装置である第2の表示装置とを含み、
    前記位置関係認識ステップでは、前記第1の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示装置の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示装置の辺と、が隣接するようにして前記第1の表示装置と前記第2の表示装置とが配置されていると認識され、
    前記制御方法は、
    前記第1の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示装置の辺と、前記第2の表示装置の前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示装置の辺と、の組み合わせが所定の組み合わせであるか否かを判定するステップと、
    前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示装置及び前記第2の表示装置の少なくとも一方に出力させるステップと、をさらに含む、
    ことを特徴とする表示システムの制御方法。
  15. 複数の表示手段を協働させるための制御装置において、
    ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、前記複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段と、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識手段と、
    前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御手段と、
    を含み、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段とを含み、
    前記位置関係認識手段は、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識し、
    前記制御装置は、
    前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示手段の辺と、の組み合わせが所定の組み合わせであるか否かを判定する手段と、
    前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示手段及び前記第2の表示手段の少なくとも一方に出力させる手段と、をさらに含む、
    ことを特徴とする制御装置。
  16. 複数の表示手段を協働させるための制御装置の制御方法において、
    ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得するステップであって、前記複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得ステップと、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識ステップと、
    前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御ステップと、
    を含み、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段とを含み、
    前記位置関係認識ステップでは、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識され、
    前記制御方法は、
    前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示手段の辺と、の組み合わせが所定の組み合わせであるか否かを判定するステップと、
    前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示手段及び前記第2の表示手段の少なくとも一方に出力させるステップと、をさらに含む、
    ことを特徴とする制御装置の制御方法。
  17. ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識手段、及び、
    前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御手段、
    としてコンピュータを機能させ、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段とを含み、
    前記位置関係認識手段は、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれ、かつ、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定された複数の端部領域のいずれかに、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる場合に、前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる端部領域に対応する、前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識し、
    前記コンピュータを、
    前記第1の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第1の表示手段の辺と、前記第2の表示手段に対応する前記指示位置検出手段によって検出された指示位置が含まれる前記端部領域に対応する、前記第2の表示手段の辺と、の組み合わせが所定の組み合わせであるか否かを判定する手段、及び、
    前記組み合わせが前記所定の組み合わせでない場合に、所定のメッセージを前記第1の表示手段及び前記第2の表示手段の少なくとも一方に出力させる手段、としてさらに機能させる、
    ことを特徴とするプログラム。
  18. 複数の表示装置を含む表示システムの制御方法において、
    前記複数の表示装置の各々は、
    ユーザによって指示された画面内の位置を検出する指示位置検出手段を含み、
    前記制御方法は、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果を取得する指示位置取得ステップと、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定ステップと、
    前記複数の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記複数の表示装置の位置関係を認識する位置関係認識ステップと、
    前記複数の表示装置にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示装置を協働させる協働制御ステップと、を含み、
    前記複数の表示装置は、第1の表示装置と、前記第1の表示装置とは別個の独立した表示装置である第2の表示装置と、前記第1の表示装置と前記第2の表示装置とは別個の独立した表示装置である第3の表示装置と、前記第1の表示装置と前記第2の表示装置と前記第3の表示装置とは別個の独立した表示装置である第4の表示装置とを含み
    前記協働制御ステップでは、前記第1の表示装置と前記第2の表示装置とにわたり、かつ、前記第2の表示装置と前記第3の表示装置とにわたり、かつ、前記第3の表示装置と前記第4の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示装置と前記第2の表示装置との位置関係と、前記第2の表示装置と前記第3の表示装置との位置関係と、前記第3の表示装置と前記第4の表示装置との位置関係と、前記第1の表示装置と前記第4の表示装置との位置関係とに基づいて、前記第1の表示装置と前記第2の表示装置と前記第3の表示装置と前記第4の表示装置とが協働され、
    前記位置関係認識ステップは、
    前記第1の表示装置及び前記第2の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第1の表示装置と前記第2の表示装置との位置関係を認識するステップであって、前記第1の表示装置と前記第2の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第1の表示装置の複数の端部領域のうちの、前記第1の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第1の表示装置の辺と、前記第2の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第2の表示装置の複数の端部領域のうちの、前記第2の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第2の表示装置の辺と、が隣接するようにして前記第1の表示装置と前記第2の表示装置とが配置されていると認識するステップと、
    前記第2の表示装置及び前記第3の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第2の表示装置と前記第3の表示装置との位置関係を認識するステップであって、前記第2の表示装置と前記第3の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第2の表示装置の前記複数の端部領域のうちの、前記第2の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第2の表示装置の辺と、前記第3の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第3の表示装置の複数の端部領域のうちの、前記第3の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第3の表示装置の辺と、が隣接するようにして前記第2の表示装置と前記第3の表示装置とが配置されていると認識するステップと、
    前記第3の表示装置及び前記第4の表示装置の各々の前記指示位置検出手段の検出結果に基づいて、前記第3の表示装置と前記第4の表示装置との位置関係を認識するステップであって、前記第3の表示装置と前記第4の表示装置とにわたる軌跡が前記ユーザによって入力された場合に、前記第3の表示装置の前記複数の端部領域のうちの、前記第3の表示装置の前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第3の表示装置の辺と、前記第4の表示装置の複数の辺にそれぞれ対応するようにして設定される前記第4の表示装置の複数の端部領域のうちの、前記第4の表示装置の前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第4の表示装置の辺と、が隣接するようにして前記第3の表示装置と前記第4の表示装置とが配置されていると認識するステップと、
    前記第1の表示装置と前記第2の表示装置との位置関係と、前記第2の表示装置と前記第3の表示装置との位置関係と、前記第3の表示装置と前記第4の表示装置との位置関係と、に基づいて、前記第1の表示装置と前記第4の表示装置との位置関係を認識するステップと、を含む、
    ことを特徴とする表示システムの制御方法。
  19. ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段と、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定手段と、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識手段と、
    前記複数の表示手段にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御手段と、
    を含み、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段と、前記第1の表示手段と前記第2の表示手段とは別個の独立した表示装置である第3の表示手段と、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段とは別個の独立した表示装置である第4の表示手段とを含み、
    前記協働制御手段は、前記第1の表示手段と前記第2の表示手段とにわたり、かつ、前記第2の表示手段と前記第3の表示手段とにわたり、かつ、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、前記第1の表示手段と前記第4の表示手段との位置関係とに基づいて、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段と前記第4の表示手段とを協働させ、
    前記位置関係認識手段は、
    前記第1の表示手段及び前記第2の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第1の表示手段と前記第2の表示手段との位置関係を認識する手段であって、前記第1の表示手段と前記第2の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第1の表示手段の複数の端部領域のうちの、前記第1の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第1の表示手段の辺と、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第2の表示手段の複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識する手段と、
    前記第2の表示手段及び前記第3の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第2の表示手段と前記第3の表示手段との位置関係を認識する手段であって、前記第2の表示手段と前記第3の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第2の表示手段の前記複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、前記第3の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第3の表示手段の複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、が隣接するようにして前記第2の表示手段と前記第3の表示手段とが配置されていると認識する手段と、
    前記第3の表示手段及び前記第4の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第3の表示手段と前記第4の表示手段との位置関係を認識する手段であって、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第3の表示手段の前記複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、前記第4の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第4の表示手段の複数の端部領域のうちの、前記第4の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第4の表示手段の辺と、が隣接するようにして前記第3の表示手段と前記第4の表示手段とが配置されていると認識する手段と、
    前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、に基づいて、前記第1の表示手段と前記第4の表示手段との位置関係を認識する手段と、を含む、
    ことを特徴とする制御装置。
  20. ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得するステップであって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得ステップと、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定ステップと、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識ステップと、
    前記複数の表示手段にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御ステップと、
    を含み、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段と、前記第1の表示手段と前記第2の表示手段とは別個の独立した表示装置である第3の表示手段と、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段とは別個の独立した表示装置である第4の表示手段とを含み、
    前記協働制御ステップでは、前記第1の表示手段と前記第2の表示手段とにわたり、かつ、前記第2の表示手段と前記第3の表示手段とにわたり、かつ、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、前記第1の表示手段と前記第4の表示手段との位置関係とに基づいて、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段と前記第4の表示手段とが協働され、
    前記位置関係認識ステップは、
    前記第1の表示手段及び前記第2の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第1の表示手段と前記第2の表示手段との位置関係を認識するステップであって、前記第1の表示手段と前記第2の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第1の表示手段の複数の端部領域のうちの、前記第1の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第1の表示手段の辺と、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第2の表示手段の複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識するステップと、
    前記第2の表示手段及び前記第3の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第2の表示手段と前記第3の表示手段との位置関係を認識するステップであって、前記第2の表示手段と前記第3の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第2の表示手段の前記複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、前記第3の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第3の表示手段の複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、が隣接するようにして前記第2の表示手段と前記第3の表示手段とが配置されていると認識するステップと、
    前記第3の表示手段及び前記第4の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第3の表示手段と前記第4の表示手段との位置関係を認識するステップであって、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第3の表示手段の前記複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、前記第4の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第4の表示手段の複数の端部領域のうちの、前記第4の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第4の表示手段の辺と、が隣接するようにして前記第3の表示手段と前記第4の表示手段とが配置されていると認識するステップと、
    前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、に基づいて、前記第1の表示手段と前記第4の表示手段との位置関係を認識するステップと、を含む、
    ことを特徴とする制御装置の制御方法。
  21. ユーザによって指示された表示手段の画面内の位置を検出する指示位置検出手段の検出結果を取得する手段であって、複数の表示手段にそれぞれ対応する複数の指示位置検出手段の検出結果を取得する指示位置取得手段、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段にわたる軌跡が前記ユーザによって入力されたか否かを判定する判定手段と、
    前記複数の指示位置検出手段の検出結果に基づいて、前記複数の表示手段の位置関係を認識する位置関係認識手段、及び、
    前記複数の表示手段にわたる前記軌跡が前記ユーザによって入力された場合に、前記位置関係に基づいて、前記複数の表示手段を協働させる協働制御手段、
    としてコンピュータを機能させ、
    前記複数の表示手段は、第1の表示手段と、前記第1の表示手段とは別個の独立した表示装置である第2の表示手段と、前記第1の表示手段と前記第2の表示手段とは別個の独立した表示装置である第3の表示手段と、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段とは別個の独立した表示装置である第4の表示手段とを含み、
    前記協働制御手段は、前記第1の表示手段と前記第2の表示手段とにわたり、かつ、前記第2の表示手段と前記第3の表示手段とにわたり、かつ、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、前記第1の表示手段と前記第4の表示手段との位置関係とに基づいて、前記第1の表示手段と前記第2の表示手段と前記第3の表示手段と前記第4の表示手段とを協働させ、
    前記位置関係認識手段は、
    前記第1の表示手段及び前記第2の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第1の表示手段と前記第2の表示手段との位置関係を認識する手段であって、前記第1の表示手段と前記第2の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第1の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第1の表示手段の複数の端部領域のうちの、前記第1の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第1の表示手段の辺と、前記第2の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第2の表示手段の複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、が隣接するようにして前記第1の表示手段と前記第2の表示手段とが配置されていると認識する手段と、
    前記第2の表示手段及び前記第3の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第2の表示手段と前記第3の表示手段との位置関係を認識する手段であって、前記第2の表示手段と前記第3の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第2の表示手段の前記複数の端部領域のうちの、前記第2の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第2の表示手段の辺と、前記第3の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第3の表示手段の複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、が隣接するようにして前記第2の表示手段と前記第3の表示手段とが配置されていると認識する手段と、
    前記第3の表示手段及び前記第4の表示手段の各々に対応する前記指示位置検出手段の検出結果に基づいて、前記第3の表示手段と前記第4の表示手段との位置関係を認識する手段であって、前記第3の表示手段と前記第4の表示手段とにわたる軌跡が前記ユーザによって入力された場合に、前記第3の表示手段の前記複数の端部領域のうちの、前記第3の表示手段に対応する前記指示位置検出手段によって最後に検出された指示位置が含まれる端部領域に対応する前記第3の表示手段の辺と、前記第4の表示手段の複数の辺にそれぞれ対応するようにして設定される前記第4の表示手段の複数の端部領域のうちの、前記第4の表示手段に対応する前記指示位置検出手段によって最初に検出された指示位置が含まれる端部領域に対応する前記第4の表示手段の辺と、が隣接するようにして前記第3の表示手段と前記第4の表示手段とが配置されていると認識する手段と、
    前記第1の表示手段と前記第2の表示手段との位置関係と、前記第2の表示手段と前記第3の表示手段との位置関係と、前記第3の表示手段と前記第4の表示手段との位置関係と、に基づいて、前記第1の表示手段と前記第4の表示手段との位置関係を認識する手段と、を含む、
    ことを特徴とするプログラム。
  22. 請求項17又は21に記載のプログラムを記録したコンピュータ読み取り可能な情報記憶媒体。
JP2012079298A 2012-03-30 2012-03-30 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体 Active JP5719325B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012079298A JP5719325B2 (ja) 2012-03-30 2012-03-30 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体
PCT/JP2012/076243 WO2013145389A1 (ja) 2012-03-30 2012-10-10 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012079298A JP5719325B2 (ja) 2012-03-30 2012-03-30 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JP2013210730A JP2013210730A (ja) 2013-10-10
JP5719325B2 true JP5719325B2 (ja) 2015-05-13

Family

ID=49258730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012079298A Active JP5719325B2 (ja) 2012-03-30 2012-03-30 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体

Country Status (2)

Country Link
JP (1) JP5719325B2 (ja)
WO (1) WO2013145389A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6434894B2 (ja) * 2015-11-30 2018-12-05 Sky株式会社 端末合体表示システム及び端末合体表示プログラム
EP3400532A4 (en) * 2016-01-05 2019-06-26 Quirklogic, Inc. PROCESS FOR THE REPLACEMENT OF VISUAL ELEMENTS AND FOR FILLING INDIVIDUAL ASSOCIATED DISPLAYS WITH INTERACTIVE CONTENT
JP6598753B2 (ja) 2016-10-07 2019-10-30 任天堂株式会社 ゲームシステム
JP7038153B2 (ja) 2020-02-13 2022-03-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
WO2021245773A1 (ja) 2020-06-02 2021-12-09 マクセル株式会社 情報処理システム、情報処理方法および情報処理端末

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3638561B2 (ja) * 2002-03-15 2005-04-13 株式会社東芝 マルチ画面設定方法
JP4244586B2 (ja) * 2002-08-06 2009-03-25 沖電気工業株式会社 マルチディスプレイ画面設定方法
JP2011048610A (ja) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc 画像表示システム、及び画像表示方法
JP5572397B2 (ja) * 2010-01-06 2014-08-13 京セラ株式会社 入力装置、入力方法および入力プログラム
US9213480B2 (en) * 2010-04-08 2015-12-15 Nokia Technologies Oy Method, apparatus and computer program product for joining the displays of multiple devices
JP5535751B2 (ja) * 2010-04-30 2014-07-02 Necカシオモバイルコミュニケーションズ株式会社 入力装置、入力プログラム、及び入力方法
JP2011250113A (ja) * 2010-05-26 2011-12-08 Sharp Corp 表示システム、表示制御方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2013210730A (ja) 2013-10-10
WO2013145389A1 (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
JP5521117B2 (ja) ジェスチャーベースの遠隔制御のための方法および装置
KR101881925B1 (ko) 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치
KR102153006B1 (ko) 입력 처리 방법 및 그 전자 장치
US9223416B2 (en) Display apparatus, remote controlling apparatus and control method thereof
WO2015133390A1 (ja) ゲーム制御装置、ゲームシステム、プログラム、及び情報記憶媒体
US9690475B2 (en) Information processing apparatus, information processing method, and program
JP5719325B2 (ja) 表示システム、表示システムの制御方法、制御装置、制御装置の制御方法、プログラム、及び情報記憶媒体
JP5333397B2 (ja) 情報処理端末およびその制御方法
KR20140055703A (ko) 컨텐츠 공유 방법 및 시스템
JP2014002748A (ja) 遠隔制御装置及びその制御方法
KR20120074490A (ko) 휴대 단말기의 메뉴 표시 방법 및 장치
KR20150047592A (ko) 인터페이스 제어 방법 및 제어 장치
US20130050277A1 (en) Data transmitting media, data transmitting device, and data receiving device
JP5699019B2 (ja) 認証装置、認証方法及びプログラム
TW201426500A (zh) 輸入元件、顯示裝置、顯示系統及其控制方法
JP6142564B2 (ja) 情報表示装置および表示制御プログラム
JP5106610B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
WO2013124912A1 (ja) 表示装置および表示方法
JP6033465B2 (ja) 表示制御装置
WO2017163566A1 (ja) プログラム、コンピュータ装置、プログラム実行方法、及び、システム
JP6411067B2 (ja) 情報処理装置及び入力方法
KR102084548B1 (ko) 디스플레이 장치 및 그 제어 방법
US20160253088A1 (en) Display control apparatus and display control method
JP6436003B2 (ja) 情報処理装置及び情報処理プログラム
JP2014135549A (ja) 携帯電子機器、その制御方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140129

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20140228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150320

R150 Certificate of patent or registration of utility model

Ref document number: 5719325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250