JP6972909B2 - 情報処理装置、プログラム及び制御方法 - Google Patents

情報処理装置、プログラム及び制御方法 Download PDF

Info

Publication number
JP6972909B2
JP6972909B2 JP2017204802A JP2017204802A JP6972909B2 JP 6972909 B2 JP6972909 B2 JP 6972909B2 JP 2017204802 A JP2017204802 A JP 2017204802A JP 2017204802 A JP2017204802 A JP 2017204802A JP 6972909 B2 JP6972909 B2 JP 6972909B2
Authority
JP
Japan
Prior art keywords
function
image
change
information
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017204802A
Other languages
English (en)
Other versions
JP2019079209A (ja
Inventor
賢吾 得地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017204802A priority Critical patent/JP6972909B2/ja
Priority to US16/015,197 priority patent/US10627916B2/en
Priority to CN201810882737.9A priority patent/CN109697241B/zh
Publication of JP2019079209A publication Critical patent/JP2019079209A/ja
Priority to US16/836,944 priority patent/US11119583B2/en
Priority to JP2021175825A priority patent/JP2022023931A/ja
Application granted granted Critical
Publication of JP6972909B2 publication Critical patent/JP6972909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/174—Form filling; Merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022—Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/029—Insert-editing

Description

本発明は、情報処理装置及びプログラムに関する。
特許文献１には、複数の画像形成装置の状態情報を含む付加情報を撮像画像に重畳させることで、拡張現実画像を生成する装置が記載されている。
特許文献２には、操作パネルが装着されていない状態で、撮影手段によって撮影されて表示部に表示されている映像に、操作方法を示す画像を合成して表示する装置が記載されている。
特開２０１４−４８６７２７号公報 特開２０１２−９６４４８号公報
本発明は、変形可能な表示手段を用いて制御対象を制御することにある。
請求項１に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、前記制御手段は、前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、情報処理装置である。
請求項２に記載の発明は、前記制御手段は、前記検知結果に応じて、変化した位置に表示されている画像を更に変更する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に記載の発明は、前記制御手段は、変化した位置に表示されている画像に紐付く制御対象の制御が不可能な場合、変更後の画像を元の画像に戻して表示する、ことを特徴とする請求項２に記載の情報処理装置である。
請求項４に記載の発明は、前記制御手段は、前記表示手段の変化に対応する位置に複数の制御対象に紐付く複数の画像が表示されている場合、前記複数の制御対象を利用して実行可能な前記連携機能の通知を制御する、ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置である。
請求項５に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、前記表示手段の変化は、前記表示手段の曲げ変化であり、前記制御手段は、曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、情報処理装置である。
請求項６に記載の発明は、前記制御手段は、前記延長線上に１つの制御対象に紐付く１つの画像が表示されている場合、前記１つの制御対象を利用して実行可能な単独機能の通知を制御する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項７に記載の発明は、前記制御手段は、前記延長線上に複数の制御対象に紐付く複数の画像が表示されている場合、前記複数の制御対象を利用して実行可能な連携機能の通知を制御する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項８に記載の発明は、前記制御手段は、前記延長線上における前記複数の画像の並び順に応じて連携機能を変える、ことを特徴とする請求項７に記載の情報処理装置である。
請求項９に記載の発明は、前記制御手段は、前記延長線上に表示されている画像に紐付く制御対象の部分を利用して実行可能な機能の通知を制御する、ことを特徴とする請求項５に記載の情報処理装置である。
請求項１０に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、前記制御手段は、前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、情報処理装置である。
請求項１１に記載の発明は、前記制御手段は、前記第１画面に対する有効な変化が検知された場合、前記制御対象の前記第１方向側に紐付く機能への指示を制御し、前記第２画面に対する有効な変化が検知された場合、前記制御対象の前記第２方向側に紐付く機能への指示を制御する、ことを特徴とする請求項１０に記載の情報処理装置である。
請求項１２に記載の発明は、前記第１画面側への前記表示手段の曲げ操作が、前記第１画面に対する有効な変化として検知され、前記第２画面側への前記表示手段の曲げ操作が、前記第２画面に対する有効な操作として検知される、ことを特徴とする請求項１１に記載の情報処理装置である。
請求項１３に記載の発明は、前記制御対象は、機器、機能、ファイル及びソフトウェアの中の少なくとも１つである、ことを特徴とする請求項１から請求項１２何れかに記載の情報処理装置である。
請求項１４に記載の発明は、前記表示手段を更に有する、ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置である。
請求項１５に記載の発明は、コンピュータを、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、として機能させ、前記制御手段は、前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、プログラムである。
請求項１６に記載の発明は、コンピュータを、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、として機能させ、前記表示手段の変化は、前記表示手段の曲げ変化であり、前記制御手段は、曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、プログラムである。
請求項１７に記載の発明は、コンピュータを、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、として機能させ、前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、前記制御手段は、前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、プログラムである。
請求項１８に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、制御方法である。
請求項１９に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、前記表示手段の変化は、前記表示手段の曲げ変化であり、曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、制御方法である。
請求項２０に記載の発明は、変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、制御方法である。
請求項１，１４，１５，１８に記載の発明によれば、変形可能な表示手段を用いて制御対象を制御することができる。
請求項２に記載の発明によれば、制御対象が制御されることが画像に表される。
請求項３に記載の発明によれば、制御対象の制御が不可能なことが画像に表される。
請求項１，４，１４，１５，１８に記載の発明によれば、制御対象を利用して実行可能な機能がユーザに通知される。
請求項１，１４，１５，１８に記載の発明によれば、変化の態様に応じた連携機能がユーザに提供される。
請求項５，６，７，１６，１９に記載の発明によれば、簡易な操作によって、実行可能な機能がユーザに通知される。
請求項８に記載の発明によれば、画像の並び順に応じた連携機能がユーザに通知される。
請求項９に記載の発明によれば、制御対象の部分に応じた機能がユーザに通知される。
請求項１０，１１，１２，１７，２０に記載の発明によれば、表示手段が複数の画面を有する場合、各画面における変化を利用して制御対象を制御することができる。
請求項１３に記載の発明によれば、表示手段を用いて、機器、機能、ファイル、及び、ソフトウェアを制御することができる。
本発明の第１実施形態に係る情報処理システムの構成を示すブロック図である。 端末装置の構成を示すブロック図である。 サーバの構成を示すブロック図である。 フレキシブルディスプレイを示す斜視図である。 画像形成装置の外観を示す模式図である。 機器機能管理テーブルを示す図である。 連携機能管理テーブルを示す図である。 機器と端末装置を示す模式図である。 フレキシブルディスプレイを下側から見た状態を示す図である。 機器と端末装置を示す図である。 機器と端末装置を示す図である。 機器と端末装置を示す図である。 機器と端末装置を示す図である。 端末装置を示す図である。 端末装置を示す図である。 端末装置を示す図である。 端末装置を示す図である。 実施例４に係る連携機能管理テーブルを示す図である。 端末装置を示す図である。 実施例５に係る機器機能管理テーブルを示す図である。 端末装置を示す図である。 実施例６に係る機器機能管理テーブルを示す図である。 実施例６に係る連携機能管理テーブルを示す図である。 端末装置を示す図である。 端末装置を示す図である。 情報処理システムの動作を示すシーケンス図である。 端末装置を示す図である。 実施例９に係る連携機能管理テーブルを示す図である。 端末装置を示す図である。 実施例１０に係る連携機能管理テーブルを示す図である。 端末装置を示す図である。 端末装置を示す図である。 実施例１２に係る連携機能管理テーブルを示す図である。 端末装置を示す図である。 フレキシブルディスプレイを側面側から見た状態を示す模式図である。 フレキシブルディスプレイを側面側から見た状態を示す模式図である。 フレキシブルディスプレイを側面側から見た状態を示す模式図である。 フレキシブルディスプレイを側面側から見た状態を示す模式図である。 フレキシブルディスプレイを側面側から見た状態を示す模式図である。
＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係る情報処理システムについて説明する。図１には、第１実施形態に係る情報処理システムの一例が示されている。
第１実施形態に係る情報処理システムは、一例として、端末装置１０と、１又は複数の機器（例えば機器１２，１４）、外部装置の一例としてのサーバ１６と、を含む。図１に示す例では、端末装置１０、機器１２，１４及びサーバ１６は、ネットワーク等の通信経路Ｎを介して互いに通信する機能を備えている。もちろん、端末装置１０、機器１２，１４及びサーバ１６は、通信経路Ｎを利用せずに、それぞれ異なる通信経路を介して他の装置と通信を行ってもよい。図１に示す例では、２つの機器（機器１２，１４）が情報処理システムに含まれているが、１つの機器が情報処理システムに含まれていてもよいし、３つ以上の機器が情報処理システムに含まれていてもよい。また、複数の端末装置１０や複数のサーバ１６が、情報処理システムに含まれていてもよい。なお、サーバ１６は情報処理システムに含まれていなくてもよい。
端末装置１０は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スマートフォン、携帯電話、等の装置であり、表示装置としてのフレキシブルディスプレイを有する。フレキシブルディスプレイとして、例えば、有機エレクトロルミネッセンス型のディスプレイ（フレキシブル有機ＥＬディスプレイ）、電子ペーパー型のディスプレイ、フレキシブル液晶ディスプレイ、等が用いられる。これら以外の表示方式が採用されたフレキシブルディスプレイが用いられてもよい。フレキシブルディスプレイは、表示部分が柔軟に変形可能なディスプレイであり、例えば、曲げたり、折り畳んだり、巻いたり、捩じったり、伸ばしたりすることが可能なディスプレイである。端末装置１０は、ウェアラブル端末（腕時計型端末、リストバンド型端末、眼鏡型端末、指輪型端末、コンタクトレンズ型端末、体内埋め込み型端末、ヒアラブル端末等）であってもよい。また、端末装置１０は、他の装置との間でデータを送受信する機能を有する。
機器１２，１４は機能を有する装置であり、例えば、画像形成機能を備えた画像形成装置、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（人型ロボット、人以外の動物型ロボット、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（いわゆるドローン））、ゲーム機、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１２，１４は、ユーザに対してアウトプットを出力する機器（例えば画像形成装置やＰＣ等）であってもよいし、ユーザに対してアウトプットを出力しない機器（例えばセンシング機器）であってもよい。また、後述する連携機能を実行する複数の機器の中のすべての機器が、ユーザに対してアウトプットを出力する機器であってもよいし、一部の機器がユーザに対してアウトプットを出力する機器であり、他の機器がユーザに対してアウトプットを出力しない機器であってもよいし、すべての機器がユーザに対してアウトプットを出力しない機器であってもよい。機器１２，１４の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、第１実施形態に係る機器の範疇に含まれてもよい。また、機器１２，１４は、他の装置との間でデータを送受信する機能を有する。
サーバ１６は、データの管理、ユーザ情報の管理、機器１２，１４の管理等を行う装置である。また、サーバ１６は、他の装置との間でデータを送受信する機能を有する。
第１実施形態では、フレキシブルディスプレイの各位置の変化が検知され、その検知された変化に応じて、変化した位置に表示されている画像に紐付く制御対象への指示が制御される。制御対象は、例えば、機器、機能、ファイル、ソフトウェア、等である。それらの中の複数の対象が制御対象であってもよい。第１実施形態では、制御対象は機器である。
以下、図２を参照して、端末装置１０の構成について詳しく説明する。
通信部１８は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部１８は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。通信部１８は、例えば、１又は複数の種類の通信方式に対応しており、通信相手に適した通信方式（つまり、通信相手が対応している通信方式）に従って通信相手と通信してもよい。通信方式は、例えば、赤外線通信、可視光通信、Ｗｉ−Ｆｉ（登録商標）通信、近接無線通信（例えばＮＦＣ（Near Field Communication）等）、等である。近接無線通信としては、Ｆｅｌｉｃａ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）、ＲＦＩＤ（Radio Frequency Identifier）等が用いられる。もちろん、別の方式の無線通信が近接無線通信として用いられてもよい。通信部１８は、通信相手に応じて通信方式や周波数帯域を切り替えてもよいし、周囲の環境に応じて通信方式や周波数帯域を切り替えてもよい。
ＵＩ部２０はユーザインターフェース部であり、表示部と操作部を含む。表示部は、フレキシブルディスプレイである。操作部は、例えばタッチパネルやキーボード等の入力装置である。もちろん、表示部と操作部を兼ねたユーザインターフェース（例えば、タッチ式のディスプレイや、ディスプレイ上に電子的にキーボード等を表示する装置等を含む）であってもよい。また、ＵＩ部２０は、マイク等の集音部やスピーカ等の音声発生部を含んでいてもよい。この場合、音声入力によって情報が端末装置１０に入力されてもよいし、音声によって情報が発せられてもよい。
ＵＩ部２０の表示部には、例えば、カメラによって撮影された画像や、利用対象の機器（例えば、単独で利用される機器や連携対象の機器）として識別された機器に紐付く画像、機能に紐付く画像、等が表示されてもよい。機器に紐付く画像は、カメラによって撮影された当該機器を表す画像（静止画像又は動画像）であってもよいし、当該機器を模式的に表す画像（例えばアイコン）であってもよい。模式的に表す画像のデータは、例えば、端末装置１０の制御部２８によって作成されてもよいし、端末装置１０の記憶部２６に予め記憶されていてもよいし、サーバ１６に記憶されてサーバ１６から端末装置１０に提供されてもよいし、別の装置に記憶されて当該別の装置から端末装置１０に提供されてもよい。機能に紐付く画像は、例えば、その機能を表すアイコン等の画像である。
撮影手段としてのカメラ２２は、撮影対象を撮影することで画像データ（例えば静止画像データや動画像データ）を生成する。画像は例えばＵＩ部２０の表示部に表示される。表示部に表示された画像がユーザによって操作されてもよい。なお、外部のカメラによって撮影された画像データが、通信経路を介して端末装置１０に送られ、その画像がＵＩ部２０の表示部に表示されてもよい。この場合も、その画像がユーザによって操作されてもよい。
検知部２４は、フレキシブルディスプレイの各位置の変化を検知するセンサとしての機能を有する。センサとして、例えば、圧力センサ、温度センサ、湿度センサ、加速度センサ、ジャイロセンサ、等が用いられる。検知部２４は、例えば、フレキシブルディスプレイの部分毎（例えば画素毎）の曲げ変化、圧力の変化、静電容量の変化、光学特性の変化、温度、湿度、加速度、向き、等を検知する。なお、端末装置１０以外の装置（例えば機器１２，１４等）に設けられたセンサによって、温度や湿度が検知されてもよい。
記憶部２６はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部２６には、例えば、機器機能管理情報、連携機能管理情報、各種のデータ、各種のプログラム（例えば、ＯＳ（Operating System）、各種のアプリケーションプログラム（アプリケーションソフトウェア）等）、各機器のアドレスを示す情報（機器アドレス情報）、サーバ１６のアドレスを示す情報（サーバアドレス情報）、識別された機器に関する情報、識別された連携対象の機器に関する情報、識別された機器が有する単独機能に関する情報、連携機能に関する情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
以下、機器機能管理情報と連携機能管理情報について説明する。
機器機能管理情報は、各機器が有する単独機能を管理するための情報であり、例えば、機器を識別するためのデバイス識別情報（機器識別情報）と、当該機器が有する単独機能を示す単独機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該機器が有する単独機能群の中で当該変形操作が行われたときに当該機器によって実行される単独機能（処理や動作を含む）を示す実行単独機能情報と、の対応付けを示す情報である。
デバイス識別情報は、例えば、機器ＩＤ、機器名称、機器の種類を示す情報、機器の型番号、機器を管理するための情報（例えば資産管理番号等）、機器が設置されている位置を示す情報（機器の位置情報）、機器に紐付く機器画像、機器のアドレス情報、等である。機器画像は、例えば機器を表す外観画像である。外観画像は、機器の外側（例えば機器の筐体）を表す画像であってもよいし、筐体を開けて内部が外から見える状態（例えば内部構造）を表す画像であってもよいし、梱包用のシート等によって機器が覆われている状態を表す画像であってもよい。機器画像は、機器を撮影することで生成された画像（機器の外側を表す画像や内部を表す画像等）であってもよいし、機器を模した画像（例えばアイコン等）であってもよい。
単独機能情報は、例えば、機能ＩＤや機能名称等である。例えば、機器１２が画像形成装置であって、その画像形成装置が、プリント機能、スキャン機能及びコピー機能を有する場合、当該画像形成装置のデバイス識別情報には、一例として、プリント機能を示す単独機能情報、スキャン機能を示す単独機能情報、及び、コピー機能を示す単独機能情報が対応付けられている。
変形操作は、例えば、フレキシブルディスプレイに対して行われる曲げ操作、折り畳み操作、巻き操作、捩じり操作、伸ばし操作、等である。また、変形操作の方向（例えば、曲げる方向、折り畳む方向、巻く方向、捩じる方向、伸ばす方向等）を示す情報が、変形操作情報に含まれていてもよい。
機器機能管理情報を参照することで、機器が有する単独機能が特定（識別）され、また、フレキシブルディスプレイに対して行われた変形操作に応じて実行される実行単独機能が特定（識別）される。
機器機能管理情報によって管理されている機器は、例えば情報処理システムに含まれる機器（例えば機器１２，１４）である。もちろん、情報処理システムに含まれない機器が機器機能管理情報によって管理されてもよい。例えば、端末装置１０は、情報処理システムに含まれていない新たな機器に関する情報（デバイス識別情報、単独機能情報、変形操作情報及び実行単独機能情報を含む）を取得し、機器機能管理情報に新たに登録してもよい。機器に関する情報は、例えば、インターネット等を利用することで取得されてもよいし、ユーザや管理者等によって入力されてもよい。また、端末装置１０は、任意のタイミング、定期的、又は、ユーザや管理者等によって指定されたタイミング等で、機器機能管理情報を更新してもよい。これにより、更新前には機器が有していなかったが更新後には機器が有することになった単独機能を示す単独機能情報が、機器機能管理情報に登録される場合がある。同様に、更新前には機器が有していたが更新後には機器が有していない単独機能を示す単独機能情報が、機器機能管理情報から削除され、又は、使用不可な情報として登録される場合がある。更新用の情報は、例えば、インターネット等を利用することで取得されてもよいし、ユーザや管理者等によって入力されてもよい。もちろん、端末装置１０自体が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行せずに、サーバ１６等の外部装置が、機器に関する情報を取得して機器機能管理情報の生成や更新を実行してもよい。この場合、外部装置によって生成や更新された機器機能管理情報が、外部装置から端末装置１０に送信されて記憶部２６に記憶される。
連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。複数の機能を連携させることによって、１又は複数の連携機能が実行される。連携機能は、例えば、１つの機器（例えば機器１２）が有する複数の単独機能を連携させることによって実行可能な機能であってもよいし、複数の機器（例えば機器１２，１４）が有する複数の単独機能を連携させることによって実行可能な機能であってもよい。また、操作指示を出している端末装置１０も連携対象の機器として利用され、端末装置１０が有する単独機能も連携機能の一部として利用されてもよい。
連携機能は、ハードウェアとしての機器を利用せずに実行される機能であってもよい。例えば、連携機能は、複数のソフトウェアを連携させることによって実行される機能であってもよい。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実行される機能であってもよい。
連携機能管理情報は、例えば、連携機能に利用される各単独機能を示す単独機能情報の組み合わせと、当該連携機能を示す連携機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、その変形操作が行われたときに実行される連携機能（処理や動作）を示す実行連携機能情報と、の対応付けを示す情報である。
連携機能情報は、例えば、連携機能ＩＤや連携機能名称等である。単独機能が更新された場合、その更新に伴って連携機能管理情報も更新される。これにより、更新前には互いに連携不可能であった複数の単独機能による連携機能が更新後には利用可能になったり、それとは逆に、更新前には利用可能な連携機能が更新後には利用不可能になったりする場合がある。更新後に利用可能になった連携機能を示す連携機能情報が、連携機能管理情報に登録され、更新後に利用不可能になった連携機能を示す連携機能情報が、連携機能管理情報から削除され、又は、使用不可な情報として登録される。連携機能管理情報の更新は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。外部装置によって連携機能管理情報の更新が実行された場合、更新された連携機能管理情報が外部装置から端末装置１０に送信されて記憶部２６に記憶される。
複数の機器を連携させる場合、連携機能管理情報は、複数の機器を利用して実行可能な連携機能を管理するための情報であり、連携機能に利用される各機器を識別するためのデバイス識別情報の組み合わせと、当該連携機能を示す連携機能情報と、変形操作を示す操作情報と、複数の機器を利用して実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、の対応付けを示す情報である。また、複数のアウトプット機能を有する機器（ユーザに対してアウトプットを出力する機器であって複数のアウトプット機能を有する機器）とアウトプット機能を有していないセンシング機器（ユーザに対してアウトプットを出力しない機器）とを連携させる場合、連携機能管理情報には、特定のセンシング機器と当該複数のアウトプット機能の中の特定のアウトプット機能との組み合わせを示す情報が含まれてもよい。こうすることで、複数のアウトプット機能の中から、特定のセンシング機器と組み合わせて使用されるアウトプット機能が特定される。
連携機能は、互いに異なる複数の単独機能を連携させることによって実行可能な機能であってもよいし、同一の単独機能を連携させることによって実行可能な機能であってもよい。連携機能は、連携前には利用できなかった機能であってもよい。連携前には利用できなかった機能は、連携対象の機器が有する単独機能のうち、同じ単独機能を利用することによって利用できる機能であってもよいし、互いに異なる単独機能を組み合わせることによって利用できる機能であってもよい。例えば、プリント機能を有する機器（プリンタ）とスキャン機能を有する機器（スキャナ）を連携させることで、連携機能としてのコピー機能が実現される。すなわち、プリント機能とスキャン機能を連携させることでコピー機能が実現される。この場合、連携機能としてのコピー機能と、プリント機能及びスキャン機能の組み合わせと、が対応付けられている。連携機能管理情報においては、例えば、連携機能としてのコピー機能を示す連携機能情報と、プリント機能を有する機器を識別するためのデバイス識別情報及びスキャン機能を有する機器を識別するためのデバイス識別情報の組み合わせと、が対応付けられる。
もちろん、連携機能は、複数の単独機能の組み合わせによって実現される機能のみならず、１又は複数の他の連携機能と１又は複数の単独機能との組み合わせによって実現される機能であってもよいし、複数の他の連携機能の組み合わせによって実現される機能であってもよい。
連携機能の概念の範疇には、複数の単独機能や複数の機器を連携させることで新たな機能の実行が可能となる合体機能が含まれてもよい。例えば、複数のディスプレイを組み合わせることで、合体機能としての拡張表示機能が実現されてもよい。別の例として、テレビとレコーダーを組み合わせることで、合体機能としての録画機能が実現されてもよい。その録画機能は、テレビに表示されている画像を録画する機能であってもよい。また、複数のカメラを組み合わせることで、合体機能としての撮影領域拡張機能が実現されてもよい。その拡張機能は、例えば各カメラの撮影領域を繋ぎ合せて撮影する機能である。また、電話と翻訳機や翻訳ソフトを組み合わせることで、合体機能としての翻訳通話機能（電話を介した会話が翻訳される機能）が実現されてもよい。このように、連携機能の概念の範疇には、互いに同一の種類の機器や単独機能を連携させることで実現可能となる機能や、互いに異なる種類の機器や単独機能を連携させることで実現可能となる機能が含まれる。
制御部２８は、端末装置１０の各部の動作を制御する。制御部２８は、例えば、通信部１８による通信の制御、ＵＩ部２０の表示部への情報の表示の制御、記憶部２６への情報の書き込み制御、記憶部２６からの情報の読み込み制御、等を行う。また、制御部２８は特定部３０を含む。
特定部３０は、機器が有する単独機能や、１又は複数の機器を利用して実行可能な連携機能を特定する機能を有する。また、特定部３０は、フレキシブルディスプレイに対して変形操作が行われた場合、その変形操作に対応する実行単独機能や実行連携機能を特定する機能を有する。
例えば、特定部３０は、機器を識別するためのデバイス識別情報を受け、記憶部２６に記憶されている機器機能管理情報において当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定（識別）される。また、フレキシブルディスプレイに対して変形操作が行われた場合、検知部２４によってその変形操作（例えば曲げ操作等）が検知される。特定部３０は、機器機能管理情報において当該変形操作に対応付けられている実行単独機能を示す実行単独機能情報を特定する。これにより、フレキシブルディスプレイに対して変形操作が行われたときに実行される単独機能が特定（識別）される。
制御部２８は、特定部３０によって特定された単独機能に関する情報（例えば、単独機能情報、実行単独機能情報、単独機能の説明情報等）の通知（案内）の制御を行う。制御部２８は、その通知として、単独機能に関する情報をＵＩ部２０の表示部（フレキシブルディスプレイ）に表示させてもよいし、スピーカ等を用いることで、その単独機能に関する情報を音声情報として発してもよい。また、制御部２８は、単独機能の実行を制御してもよい。つまり、制御部２８は、機器に単独機能を実行させてもよい。
なお、単独機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６にデバイス識別情報が送信され、サーバ１６によって、当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報が特定される。サーバ１６によって特定処理が行われる場合、サーバ１６には機器機能管理情報が記憶されている。単独機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。同様に、変形操作に対応する実行単独機能の特定処理は、サーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６に変形操作情報が送信され、サーバ１６によって、当該変形操作情報に対応付けられている実行単独機能を示す実行単独機能情報が特定される。実行単独機能情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
また、特定部３０は、連携対象の各機器を識別するためのデバイス識別情報を受け、記憶部２６に記憶されている連携機能管理情報において各デバイス識別情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定する。これにより、連携対象の各機器が有する単独機能を連携させることによって実行可能となる連携機能が特定（識別）される。また、フレキシブルディスプレイに対して変形操作が行われた場合、検知部２４によってその変形操作が検知される。特定部３０は、連携機能管理情報において当該変形操作に対応付けられている実行連携機能を示す実行連携機能情報を特定する。
制御部２８は、特定部３０によって特定された連携機能に関する情報（例えば、連携機能情報、実行連携機能情報、連携機能の説明情報等）の通知（案内）の制御を行う。制御部２８は、連携機能に関する情報をＵＩ部２０の表示部（フレキシブルディスプレイ）に表示させてもよいし、音声情報として発してもよい。また、制御部２８は、連携機能の実行を制御してもよい。つまり、制御部２８は、連携対象の複数の機器に連携機能を実行させてもよい。
特定部３０は、連携機能に利用される各単独機能を示す単独機能情報を受け、連携機能管理情報において各単独機能情報の組み合わせに対応付けられている連携機能を示す連携機能情報を特定してもよい。これにより、連携対象の各単独機能を連携させることによって実行可能な連携機能が特定（識別）される。
なお、連携機能の特定処理はサーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６に複数のデバイス識別情報が送信され、サーバ１６によって、当該複数のデバイス識別情報に対応付けられている連携機能を示す連携機能情報が特定される。サーバ１６によって特定処理が行われる場合、サーバ１６には連携機能管理情報が記憶されている。連携機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。同様に、変形操作に対応する実行連携機能の特定処理は、サーバ１６によって行われてもよい。この場合、端末装置１０からサーバ１６に変形操作情報が送信され、サーバ１６によって、当該変形操作情報に対応付けられている実行連携機能を示す実行連携機能情報が特定される。実行連携機能情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
なお、ユーザ毎に、ユーザによって利用可能な機能（単独機能や連携機能）が管理されてもよい。この管理は、端末装置１０によって行われてもよいし、サーバ１６等の外部装置によって行われてもよい。ユーザによって利用可能な機能は、例えば、ユーザに無償で提供された機能、ユーザに有償で提供されてユーザによって購入された機能、等である。ユーザ毎に、ユーザが利用可能な機能を示す利用可能機能情報（例えば機能購入履歴情報）が作成されて管理されてもよい。利用可能な機能の管理が端末装置１０によって行われる場合、利用可能機能情報は記憶部２６に記憶され、その管理がサーバ１６等の外部装置によって行われる場合、利用可能機能情報は外部装置に記憶される。もちろん、無料で利用できる機能、追加アップデート機能、管理者によって特別に管理されている機能等もあるため、一概に購入の有無によって機能の利用可能が判断されなくてもよい。機能の購入処理は、例えば、サーバ１６等の外部装置によって行われる。
利用可能機能管理情報は、各ユーザが利用可能な機能を管理するための情報であり、例えば、ユーザを識別するためのユーザ識別情報と、当該ユーザが利用可能な機能を示す機能情報（単独機能情報と連携機能情報を含む）と、の対応付けを示す情報である。ユーザが利用可能な機能は、上述したように、例えば、ユーザに無償で提供された機能や、ユーザが購入した機能、等であり、単体の機能であってもよいし、連携機能であってもよい。ユーザ識別情報は、例えば、ユーザＩＤや氏名等のユーザアカウント情報である。利用可能機能管理情報を参照することで、各ユーザが利用可能な機能が特定（識別）される。利用可能機能管理情報は、例えば、ユーザに機能が提供される度に（例えば、ユーザに無償又は有償で機能が提供される度に）更新されてもよい。
ユーザによって利用可能な機能が管理されている場合、特定部３０は、ユーザを識別するためのユーザ識別情報を受け、利用可能機能管理情報（例えば、端末装置１０やサーバ１６に記憶されている情報）において当該ユーザ識別情報に対応付けられている各機能を示す機能情報を特定してもよい。これにより、当該ユーザが利用可能な機能が特定（識別）される。制御部２８は、特定された機能に関する情報をＵＩ部２０の表示部に表示させてもよいし、音声情報として発してもよい。例えば、特定部３０は、デバイス識別情報とユーザ識別情報を受け、機器機能管理情報において当該デバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定し、更に、利用可能機能管理情報において当該ユーザ識別情報に対応付けられている機能（単独機能と連携機能を含む）を示す機能情報を特定する。これにより、当該デバイス識別情報によって特定される機器が有する単独機能であって、当該ユーザ識別情報によって特定されるユーザが利用可能な単独機能が特定される。
なお、ユーザによって利用可能な機能はサーバ１６等の外部装置によって特定されてもよい。この場合、端末装置１０からサーバ１６にユーザ識別情報が送信され、サーバ１６によって、当該ユーザ識別情報に対応付けられている各機能を示す機能情報が特定される。サーバ１６によって特定処理が行われる場合、利用可能機能情報はサーバ１６に記憶されている。ユーザによって利用可能な各機能に関する情報は、サーバ１６から端末装置１０に送信されてＵＩ部２０の表示部に表示されてもよいし、音声情報として発せられてもよい。
以下、図３を参照して、サーバ１６の構成について詳しく説明する。図３には、サーバ１６の構成が示されている。
通信部３２は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置からデータを受信する機能を有する。通信部３２は、無線通信機能を有する通信インターフェースであってもよいし、有線通信機能を有する通信インターフェースであってもよい。
記憶部３４はハードディスクやメモリ（例えばＳＳＤ等）等の記憶装置である。記憶部３４には、例えば、各種のデータ、各種のプログラム、端末装置１０の端末アドレス情報、各機器の機器アドレス情報、サーバ１６のサーバアドレス情報、等が記憶されている。もちろん、それらは別々の記憶装置に記憶されてもよいし、１つの記憶装置に記憶されてもよい。
サーバ１６によって各機器が有する単独機能と連携機能が管理される場合、上記の機器機能管理情報と連携機能管理情報が記憶部３４に記憶され、サーバ１６において、機器機能管理情報と連携機能管理情報が更新されてもよい。この場合において、端末装置１０によって機能の特定処理が行われる場合、機器機能管理情報と連携機能管理情報（情報が更新された場合は更新後の情報）がサーバ１６から端末装置１０に送信される。その送信は、定期的に又は指定されたタイミングで行われてもよい。これにより、端末装置１０に記憶されている情報が更新される。もちろん、端末装置１０の特定部３０は、サーバ１６に記憶されている機器機能管理情報や連携機能管理情報を参照することで、単独機能や連携機能を特定してもよい。また、サーバ１６によって機能の特定処理が実行されてもよい。なお、機器機能管理情報がサーバ１６に記憶されている場合、端末装置１０に記憶されていなくてもよい。同様に、連携機能管理情報がサーバ１６に記憶されている場合、端末装置１０に記憶されていなくてもよい。
制御部３６は、サーバ１６の各部の動作を制御する。制御部３６は、例えば、通信部３２による通信の制御、記憶部３４への情報の書き込み制御、記憶部３４からの情報の読み込み制御、等を行う。また、制御部３６は、端末装置１０の特定部３０と同じ機能を有する特定部３８を有していてもよい。特定部３８は、端末装置１０の特定部３０と同様に、単独機能や連携機能を特定する。なお、サーバ１６によって単独機能や連携機能の特定処理が行われる場合、端末装置１０は特定部３０を有していなくてもよい。
制御部３６は、機能の購入処理を実行し、その購入の履歴を管理してもよい。例えば、有料の機能がユーザによって購入された場合、制御部３６は、当該ユーザに対して課金処理を適用してもよい。
利用可能機能管理情報が作成されている場合、その利用可能機能管理情報は、サーバ１６に記憶されていてもよい。この場合、利用可能機能管理情報は、端末装置１０に記憶されていなくてもよい。端末装置１０の制御部２８は、ユーザによる機能の購入の履歴を管理してもよい。この場合、サーバ１６の制御部３６は、その管理機能を有していなくてもよい。
更に別の例として、機器１２，１４等の機器に、機器機能管理情報や連携機能管理情報が記憶されていてもよいし、機器１２，１４等の機器が特定部３０を有していてもよい。つまり、特定部３０による処理は、端末装置１０において行われてもよいし、機器１２，１４等の機器において行われてよいし、サーバ１６において行われてもよいし、更に別の装置において行われてもよい。
以下、図４を参照して、端末装置１０に設けられているフレキシブルディスプレイについて説明する。図４は、フレキシブルディスプレイの外観を模式的に示す斜視図である。図４に示す例では、端末装置１０自体がフレキシブルディスプレイを構成しており、端末装置１０自体が変形可能となっている。もちろん、端末装置１０において、フレキシブルディスプレイとその他の構成が互いに分離されていてもよい。
端末装置１０は、一例として、直方体の形状を有し、表示部として、端末装置１０の正面に設けられた正面側ディスプレイ４０、背面に設けられた背面側ディスプレイ４２（図４に図示されていない）、側面に設けられた側面側ディスプレイ４４，４６（側面側ディスプレイ４６は図４に図示されていない）、上面に設けられた上面側ディスプレイ４８、及び、下面に設けられた下面側ディスプレイ５０（図４に図示されていない）を有する。
表示対象が立体物である場合、その立体物の正面が正面側ディスプレイ４０に表示され、その立体物の背面が背面側ディスプレイ４２に表示され、その立体物の側面が側面側ディスプレイ４４，４６に表示され、その立体物の上面が上面側ディスプレイ４８に表示され、その立体物の下面が下面側ディスプレイ５０に表示されてもよい。例えば、正面側ディスプレイ４０に、立体物の正面を表す画像５２ａが表示され、一方の側面側ディスプレイ４４に、立方体の一方の側面を表す画像５２ｂが表示され、上面側ディスプレイ４８に、立方体の上面を表す画像５２ｃが表示されている。背面側ディスプレイ４２、他方の側面側ディスプレイ４６、及び、下面側ディスプレイ５０にも、それぞれ対応する画像が表示される。
表示対象が立体物である場合、３Ｄプリンタによって立体物が出力されてもよい。もちろん、表示対象が立体物であっても、その立体物の像が二次元空間上の平面画像に変換され（例えば投影による変換）、平面画像として出力されてもよい。また、個々の面毎に表示対象が印刷されてもよいし、表示対象の変化の前後毎に表示対象が印刷されてもよい。
フレキシブルディスプレイは、部分毎（例えば画素毎）に画像情報を保持する。例えば、フレキシブルディスプレイは、三次元空間（例えば、互いに直交するＸ軸、Ｙ軸及びＺ軸によって規定される空間）における単位（例えば画素）毎の画像情報を保持する。別の例として、フレキシブルディスプレイは、二次元平面（二次元レイヤー）毎に画像情報を管理してもよい。
上述したように、検知部２４は、フレキシブルディスプレイ（図４に示す例では端末装置１０自体）の各位置の変化を検知する。図４に示す例では、検知部２４は、正面、背面、両側面、上面及び下面のそれぞれにおける変化を検知する。
図４に示されているフレキシブルディスプレイは一例に過ぎず、背面、側面、上面及び下面に表示部が設けられていなくてもよいし、正面側と背面側に表示部が設けられていてもよい。また、フレキシブルディスプレイは、全体的に又は部分的に湾曲した表示部（曲面を有する表示部）を有するディスプレイであってもよいし、巻き取り型のディスプレイであってもよいし、スライド式のディスプレイであってもよい。これら以外のディスプレイであっても、形状変化が可能なディスプレイであれば、第１実施形態に係るフレキシブルディスプレイの範疇に含まれてもよい。
第１実施形態では、一例として、ＡＲ（Augmented Reality）技術（拡張現実技術）を用いることで、デバイス識別情報が取得されて機器が識別される。例えば、ＡＲ技術を用いることで、単独で使用される機器のデバイス識別情報が取得されて当該機器が識別され、また、連携対象の機器のデバイス識別情報が取得されて連携対象の機器が識別される。ＡＲ技術として公知のＡＲ技術が用いられる。例えば、画像解析を利用する画像ＡＲ技術、位置情報を利用する位置ＡＲ技術、等が用いられる。画像ＡＲ技術として、例えば、２次元バーコード等のマーカを利用するマーカ型ＡＲ技術、マーカを利用せずに画像認識技術を利用するマーカレス型ＡＲ技術、等が用いられる。もちろん、ＡＲ技術を適用せずにデバイス識別情報が取得されて機器が識別されてもよい。例えば、ネットワークに繋がっている機器であれば、ＩＰアドレスに基づいて機器が識別されもよいし、機器ＩＤが読み出されて機器が識別されてもよい。更に、赤外線通信、可視光通信、Ｗｉ−Ｆｉ、ブルートゥースといった各種無線通信機能を有する機器や端末装置が用いられる場合、無線通信機能を利用することで機器のＩＤが取得されて機器が識別されてもよい。
以下、図５を参照して、デバイス識別情報の取得処理について詳しく説明する。図５には、機器の一例としての複合機５４の外観が模式的に示されている。複合機５４は、例えば、プリント機能、スキャン機能、コピー機能及びファクシミリ機能の中の少なくとも１つの機能を有する機器である。ここでは、マーカ型ＡＲ技術を適用することで、複合機５４のデバイス識別情報を取得するための処理について説明する。複合機５４の筐体には、２次元バーコード等のマーカ５６が設けられている。マーカ５６は、複合機５４のデバイス識別情報がコード化された情報である。ユーザが、端末装置１０のカメラ２２によってマーカ５６を撮影すると、マーカ５６を表す画像データが生成される。端末装置１０の特定部３０は、当該画像データに表されたマーカ画像に対してデコード処理を適用することでデバイス識別情報を抽出する。これにより、複合機５４が識別される。次に、特定部３０は、機器機能管理情報において、抽出されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、複合機５４が有する単独機能が特定（識別）される。
なお、サーバ１６の特定部３８が、マーカ５６を表す画像データにデコード処理を適用することで、デバイス識別情報を抽出してもよい。この場合、画像データが端末装置１０からサーバ１６に送信され、サーバ１６において当該画像データに対してデコード処理が適用される。また、サーバ１６において、デバイス識別情報に対応付けられている単独機能が特定されてもよい。
マーカ５６には、複合機５４が有する単独機能を示す単独機能情報がコード化されて含まれていてもよい。この場合、マーカ５６を表す画像データにデコード処理を適用することで、当該複合機５４のデバイス識別情報が抽出されると共に、当該複合機５４が有する単独機能を示す単独機能情報も抽出される。これにより、複合機５４が特定（識別）されると共に、当該複合機５４が有する単独機能が特定（識別）される。このデコード処理は、端末装置１０によって行われてもよいし、サーバ１６によって行われてもよい。また、マーカ５６には、変形操作情報と実行単独機能情報がコード化されて含まれていてもよい。
マーカレス型ＡＲ技術を適用することでデバイス識別情報を取得する場合、例えば、ユーザはカメラ２２によって、機器（例えば複合機５４）の外観の全部又は一部を撮影する。もちろん、機器の名称（例えば商品名）や型番号や資産管理番号といった機器を特定するための情報を外観から撮影して得ることは役に立つ。撮影によって、機器の外観の全部又は一部を表す外観画像データが生成される。端末装置１０の特定部３０は、当該外観画像データに基づいて機器を識別する。例えば、端末装置１０の記憶部２６には、機器毎に、機器の外観の全部又は一部を表す外観画像データと、当該機器のデバイス識別情報と、の対応付けを示す外観画像対応付け情報が記憶されている。特定部３０は、例えば、外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、機器のデバイス識別情報を特定する。例えば、特定部３０は、外観画像データから機器の外観の特徴を抽出し、外観画像対応付け情報に含まれる外観画像データ群において、その外観の特徴と同一又は類似の特徴を表す外観画像データを特定し、その外観画像データに対応付けられているデバイス識別情報を特定する。これにより、機器が識別される。別の例として、機器の名称（例えば商品名）や型番号が撮影され、名称や型番号を表す外観画像データが生成されている場合、その外観画像データに表された名称や型番号に基づいて、機器が識別されてもよい。特定部３０は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定される。
サーバ１６の特定部３８が、機器の外観の全部又は一部を表す外観画像データと外観画像対応付け情報に含まれる各外観画像データとを比較し、その比較結果に基づいて、機器のデバイス識別情報を特定してもよい。
位置ＡＲ技術を適用してデバイス識別情報を取得する場合、例えば、ＧＰＳ（Global Positioning System）機能を利用することで、機器が設置されている位置を示す位置情報が取得される。例えば、各機器がＧＰＳ機能を備えており、機器自身の位置を示すデバイス位置情報を取得する。端末装置１０は、利用対象の機器に対してデバイス位置情報の取得要求を示す情報を出力し、その取得要求に対する応答として、当該機器から当該機器のデバイス位置情報を受信する。端末装置１０の特定部３０は、当該デバイス位置情報に基づいて機器を識別する。例えば、端末装置１０の記憶部２６には、機器毎に、機器が設置されている位置を示すデバイス位置情報と、当該機器のデバイス識別情報と、の対応付けを示す位置対応付け情報が記憶されている。特定部３０は、その位置対応付け情報において、デバイス位置情報に対応付けられているデバイス識別情報を特定する。これにより、機器が特定（識別）される。特定部３０は、機器機能管理情報において、特定されたデバイス識別情報に対応付けられている単独機能を示す単独機能情報を特定する。これにより、機器が有する単独機能が特定（識別）される。
サーバ１６の特定部３８が、位置対応付け情報において、機器の位置情報に対応付けられているデバイス識別情報を特定してもよい。
なお、複数の識別技術を用いることで機器が識別されてもよい。例えば、マーカ型ＡＲ技術、マーカレス型ＡＲ技術、及び、位置ＡＲ技術の中から選択された複数の技術を用いることで機器が識別されてもよい。また、ある識別技術によって機器が識別されなかった場合、他の識別技術を用いることで機器が識別されてもよい。例えば、マーカ型ＡＲ技術やマーカレス型ＡＲ技術によって機器が識別されなかった場合、位置ＡＲ技術を用いることで機器が識別されてもよい。
以下、第１実施形態に係る情報処理システムについて更に詳しく説明する。
図６を参照して、機器機能管理情報について詳しく説明する。図６には、機器機能管理情報としての機器機能管理テーブルの一例が示されている。機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器が有する単独機能を示す情報（単独機能情報）と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該機器が有する単独機能群の中で当該変形操作が行われたときに当該機器によって実行される単独機能を示す実行単独機能情報と、画像ＩＤと、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。画像ＩＤは、機器に紐付く機器画像を識別するための画像識別情報の一例である。なお、機器機能管理テーブルには、画像ＩＤは含まれていなくてもよい。
例えば、機器ＩＤが「Ｂ」の機器は複合機であり、プリント機能やスキャン機能等の単独機能を有している。また、複合機には、複合機に紐付く機器画像を識別するための画像ＩＤが対応付けられている。機器に紐付く機器画像のデータは、例えば、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよいし、他の装置に記憶されていてもよい。
例えば、ＡＲ技術を適用することで、機器（例えば複合機Ｂ）を識別するための機器ＩＤが取得される。端末装置１０の特定部３０は、機器機能管理テーブルを参照することで、その機器ＩＤに対応付けられている機器名、単独機能及び画像ＩＤを特定する。これにより、複合機Ｂが識別される。機器名を示す情報や機器画像がＵＩ部２０の表示部に表示されてもよい。もちろん、カメラ２２によって撮影された画像そのものがＵＩ部２０の表示部に表示されてもよい。また、ＵＩ部２０において、複合機Ｂに紐付く機器画像（例えば、カメラ２２によって撮影された画像や、複合機Ｂを模式的に表す画像）がユーザによって指定された場合、複合機Ｂが有する単独機能に関する情報（例えば、単独機能情報や単独機能の説明情報等）が、ＵＩ部２０の表示部に表示されてもよい。また、複合機Ｂが識別されてフレキシブルディスプレイに表示されている状態で、フレキシブルディスプレイに対して特定の変形操作がユーザによって行われた場合、特定部３０は、その変形操作に対応する実行単独機能を特定する。その実行単独機能が複合機Ｂによって実行されてもよいし、その実行単独機能を示す情報がフレキシブルディスプレイに表示されてもよい。
各機器には、１又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行単独機能が対応付けられている。例えば、複合機Ｂには複数の変形操作（例えば、変形操作ｂ１，ｂ２，・・・）が対応付けられており、変形操作ｂ１にはプリント機能が対応付けられ、変形操作ｂ２にはスキャン機能が対応付けられているものとする。フレキシブルディスプレイに対する変形操作ｂ１が検知部２４によって検知された場合、特定部３０は、その変形操作ｂ１に対応付けられている実行単独機能としてのプリント機能を特定する。この場合、制御部２８は、プリント機能を示す情報をＵＩ部２０の表示部に表示させてもよいし、その情報を音声情報として出力してもよいし、複合機Ｂに対してプリント指示を与えることで複合機Ｂにプリントを実行させてもよい。
以下、図７を参照して、連携機能管理情報について詳しく説明する。図７には、連携機能管理情報としての連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせと、連携対象の機器名（例えば各機器の種類）を示す情報と、連携機能を示す情報（連携機能情報）と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の複数の機器によって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。
例えば、機器ＩＤが「Ａ」の機器はＰＣ（パーソナルコンピュータ）であり、機器ＩＤが「Ｂ」の機器は複合機である。ＰＣ（Ａ）と複合機Ｂを連携させることで、連携機能として、例えば「スキャン転送機能」や「プリント機能」が実現される。「スキャン転送機能」は、複合機Ｂによるスキャンによって生成された画像データをＰＣ（Ａ）に転送する機能である。「プリント機能」は、ＰＣ（Ａ）に保存されているデータ（例えば画像データや文書データ）を複合機Ｂに送信して複合機Ｂにて印刷する機能である。なお、３つ以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３つ以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
複数の機器の組み合わせには、１又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。例えば、ＰＣ（Ａ）と複合機Ｂとの組み合わせには、複数の変形操作が対応付けられており、各変形操作には互いに同一又は異なる実行連携機能が対応付けられている。ある変形操作が検知部２４によって検知された場合、特定部３０は、その変形操作に対応付けられている実行連携機能を特定する。この場合、制御部２８は、その実行連携機能を示す情報をＵＩ部２０の表示部に表示させてもよいし、その情報を音声情報として出力してもよいし、ＰＣ（Ａ）と複合機Ｂに対して、その実行連携機能の実行指示を与えることで、ＰＣ（Ａ）と複合機Ｂに実行連携機能を実行させてもよい。
以下、第１実施形態の具体的な実施例について詳しく説明する。
（実施例１）
実施例１について説明する。図８には、ロボット５８と端末装置１０が示されている。ロボット５８は機器の一例である。ロボット５８と端末装置１０は現実空間に存在する。上記のＡＲ技術や他の識別技術を用いることで、特定部３０によって、ロボット５８が識別されている。図８に示す例では、ロボット５８は、ロボット５８の顔部を正面に向けており、ユーザ（端末装置１０）の方を向いている。
端末装置１０の正面側ディスプレイ４０（ＵＩ部２０の表示部の一例）には、機器画像６０が表示されている。機器画像６０は、ロボット５８に紐付く画像である。機器画像６０は、ロボット５８を撮影することで生成された画像（撮影時のサイズを有する画像であってもよいし、拡大又は縮小された画像であってもよい）であってもよいし、ロボット５８を模式的に表す画像（例えばアイコン）であってもよい。機器画像６０は、ロボット５８の外観の状態を表す画像であり、図８に示す例では、顔部を正面に向けたロボット５８の外観の状態を表している。なお、ユーザは、ＵＩ部２０を操作することで、機器画像６０の表示位置や表示サイズを変えることができる。
模式的な画像が用いられる場合、特定部３０は、図６に示されている機器機能管理テーブルを参照することで、識別された機器に紐付く模式的な画像を特定する。その模式的な画像は機器画像として表示される。模式的な画像のデータは端末装置１０に記憶されていてもよいし、サーバ１６等の外部装置に記憶されていてもよい。
なお、機器を撮影することで生成された画像データは、現在の機器そのものの外観（例えば、キズ、メモ書き、機器に貼り付けられたシール等が反映された外観）が反映された画像データであるため、ユーザにおいて、他の同種の機器との違いが視覚的に分かり易いという効果がある。
また、機器が識別された場合、その機器の名称を示す情報（デバイス識別情報の一例に相当する）が表示されてもよい。例えば、機器画像６０と共に、文字列「ロボット」が表示されてもよい。機器画像６０が表示されずに、ロボット５８の名称を示す情報が表示されてもよい。
また、過去に識別された機器に関する情報は端末装置１０の記憶部２６に記憶され、その後、改めて当該機器に対する識別処理が行われなくても、当該機器に紐付く機器画像が表示されてもよい。もちろん、識別された機器に関する情報は、ユーザの操作によって記憶部２６から削除されてもよい。この場合、その機器に紐付く機器画像も削除される。別の例として、識別された機器を利用して単独機能や連携機能が実行された後や、機器が識別された時点から予め定められた時間が経過した後に、その識別された機器に関する情報が記憶部２６から削除されてもよい。
機器画像６０の表示中に、ユーザがフレキシブルディスプレイ（図８に示す例では端末装置１０自体）に対して変形操作を行った場合、端末装置１０の検知部２４は、その変形操作を検知し、特定部３０は、図６に示されている機器機能管理テーブルにおいて、その変形操作に対応付けられている実行単独機能を特定する。制御部２８は、その実行単独機能をロボット５８に実行させる。制御部２８は、その実行単独機能を示す情報をフレキシブルディスプレイに表示させ、ユーザが実行指示を与えた場合に、その実行単独機能をロボット５８に実行させてもよい。また、制御部２８は、その変形操作に応じて機器画像６０を変更する。以下、この処理について詳しく説明する。
端末装置１０の検知部２４は、フレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定する。次に、制御部２８は、その変化が発生した位置に表示されているコンテンツ（例えば機器画像６０）を特定し、そのコンテンツの内容を変更する。なお、機器画像が表示されずに、コンテンツを示す情報（例えば、ロボット５８の名称を示す文字列）が表示されている場合、制御部２８は、変化が発生した位置に表示されているコンテンツを示す情報（例えば文字列）を特定してもよい。制御部２８は、例えば、コンテンツに色や画像を追加してもよいし、コンテンツの一部又は全部を削除してもよいし、コンテンツを他のコンテンツ（他の画像）に差し替えてもよい。制御部２８は、コンテンツの変更後、新たな変形操作が検知されない場合、変更後の表示内容を維持してもよいし、予め定められた時間が経過した後、表示内容を変更前のコンテンツに戻してもよい。また、特定部３０は、コンテンツに紐付く機器（例えばロボット５８）を特定すると共に、変形操作に対応付けられている実行単独機能を特定する。制御部２８は、コンテンツに紐付く機器にその実行単独機能を実行させる。なお、コンテンツの変更処理とコンテンツに紐付く機器の特定処理の順番は、上記の順番と逆であってもよいし、それらは同時に行われてもよい。
以下、具体例を挙げて説明する。ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図８に示されている矢印６２の方向に折り曲げたものとする。図９には、端末装置１０の下面側（下面側ディスプレイ５０側）から端末装置１０を見たときの状態が示されている。フレキシブルディスプレイの左側部１０ａが、矢印６２の方向（右側部１０ｂへの方向）に折り曲げられている。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されている機器画像を特定する。上記の曲げ操作によって、機器画像６０が表示されている位置に変化が発生した場合、制御部２８は、機器画像６０を変更対象の画像として識別する。また、特定部３０は、機器画像６０に紐付くロボット５８を制御対象として識別すると共に、図６に示されている機器機能管理テーブルを参照することで、ロボット５８が有する単独機能群の中で上記の曲げ操作（変形操作の一態様）に対応付けられている実行単独機能を特定する。例えば、その実行単独機能は、フレキシブルディスプレイを曲げた方向にロボット５８の顔部を向けるという機能（動作、処理）であるものとする。
制御部２８は、上記のようにして特定された実行単独機能をロボット５８に実行させるための制御情報をロボット５８に送信する。例えば、制御部２８は、ロボット５８のアドレス情報を取得し、そのアドレス情報を用いてロボット５８との間で通信を確立し、上記の制御情報をロボット５８に送信する。ロボット５８は、その制御情報に従って、図１０に示すように、自身の頭部を動かすことで（首を中心に頭部を回転させることで）、フレキシブルディスプレイを曲げた方向（矢印６２の方向）と同じ矢印６４の方向（ユーザから見て右方向）に、顔部を向ける。また、制御部２８は、機器画像６０中の頭部画像を、矢印６２の方向と同じ矢印６６の方向（ユーザから見て右方向）に向ける。これにより、変更後の機器画像６０は、実際のロボット５８の状態（顔部が、ユーザから見て右方向を向いた状態）を表している。
制御部２８は、特定された実行単独機能の通知を制御し、ユーザによって実行指示が与えられた場合、その実行単独機能をロボット５８に実行させてもよい。例えば、制御部２８は、実行単独機能の通知として、実行単独機能を示す情報をフレキシブルディスプレイに表示させてもよいし、実行単独機能を示す情報を音声情報として出力してもよい。
実施例１によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた機能（動作、処理）が機器によって実行される。これにより、簡易な操作によって、機能が機器によって実行される。また、機器画像に、その機能の実行の結果が反映される。
また、変形操作の速さに連動して機器が動作してもよい。上記の例で説明すると、フレキシブルディスプレイを曲げる速さが速いほど、ロボット５８の頭部の回転速度が速くなる。
制御部２８は、変形操作の態様（検知部２４が検知したフレキシブルディスプレイの変化の態様）に応じて実行単独機能を変えてもよい。例えば、フレキシブルディスプレイを折り曲げる操作と捩じる操作とには、それぞれ異なる実行単独機能が対応付けられており、特定部３０は、検知された変形操作に対応付けられている実行単独機能を特定する。変形操作の態様毎に異なる実行単独機能を対応付けておくことで、簡易な操作で様々な単独機能を実行することができる。もちろん、各変形操作に同じ実行単独機能が対応付けられていてもよい。このような対応付けは、ユーザや管理者等によって変更されてもよい。
ユーザによる変形操作によって機器画像が変更された場合において、その機器画像に紐付く機器の制御が不可能な場合、端末装置１０の制御部２８は、変更後の機器画像を元の機器画像に戻して表示する。制御が不可能となる原因は特に限定されないが、例えば、通信エラー等によって制御が不可能になる。例えば図８に示すように、ユーザがフレキシブルディスプレイを矢印６２の方向に曲げた場合、図１１に示すように、制御部２８は、機器画像６０中の頭部画像を矢印６６の方向に向ける。端末装置１０によるロボット５８の制御が不可能な場合、ロボット５８は、変形操作に応じた動作を実行しない。例えば図１１に示すように、ロボット５８は、顔部を変形操作の方向に向けずに、正面に向けている。この場合、図１２に示すように、制御部２８は、変更後の機器画像６０を元の機器画像６０に戻すことで、頭部画像が正面を向いた状態の機器画像６０をフレキシブルディスプレイに表示させる。こうすることで、ロボット５８の現在の外観の状態を表す機器画像６０が表示される。
別の例として、制御部２８は、変形操作に対応する実行単独機能をロボット５８に実行させ、その実行が完了した旨を示す情報をロボット５８から受信した場合に（ロボット５８からフィードバックを受けた場合に）、機器画像６０を変更してもよい。上記の例では、ロボット５８が、顔部を矢印６４の方向に向けると（図１０参照）、その旨を示す情報を端末装置１０に送信する。制御部２８は、その情報を受信すると、機器画像６０中の頭部画像を、矢印６６の方向に向ける（図１０参照）。
（実施例２）
実施例２について説明する。図１３には、ロボット５８、複合機６８及び端末装置１０が示されている。ロボット５８と複合機６８は、機器の一例である。ロボット５８、複合機６８及び端末装置１０は、現実空間に存在する。上記のＡＲ技術や他の識別技術を用いることで、特定部３０によって、ロボット５８と複合機６８が識別されている。
端末装置１０の正面側ディスプレイ４０には、機器画像６０，７０が表示されている。機器画像７０は、複合機６８に紐付く画像である。機器画像７０は、複合機６８を撮影することで生成された画像であってもよいし、複合機６８を模式的に表す画像（例えばアイコン）であってもよい。ユーザは、ＵＩ部２０を操作することで、機器画像６０，７０の表示位置や表示サイズを変えることができる。なお、機器画像６０，７０と共に、又は、機器画像６０，７０に代えて、ロボット５８と複合機６８のそれぞれの名称を示す文字列が表示されてもよい。
複数の機器画像（図１３に示す例では、機器画像６０，７０）の表示中に、ユーザがフレキシブルディスプレイ（図１３に示す例では端末装置１０自体）に対して変形操作を行った場合、端末装置１０の特定部３０は、図７に示されている連携機能管理テーブルにおいて、ロボット５８と複合機６８とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。制御部２８は、その実行連携機能をロボット５８と複合機６８に実行させる。制御部２８は、その実行連携機能を示す情報をフレキシブルディスプレイに表示させ、ユーザが実行指示を与えた場合に、その実行連携機能をロボット５８と複合機６８に実行させてもよい。また、制御部２８は、その変形操作に応じて機器画像６０，７０を変更してもよい。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、矢印７２の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されている機器画像を特定する。上記の曲げ操作によって、機器画像６０，７０が表示されている位置に変化が発生した場合、特定部３０は、機器画像６０に紐付くロボット５８と機器画像７０に紐付く複合機６８を制御対象（連携対象）として識別すると共に、図７に示されている連携機能管理テーブルを参照することで、ロボット５８と複合機６８とを利用して実行可能な連携機能群の中で上記の曲げ操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、複合機に排出されている用紙をロボットに取ってきてもらうという機能（動作、処理）であるものとする。
制御部２８は、図１４に示すように、上記のようにして特定された実行連携機能を示す情報を正面側ディスプレイ４０に表示させる。制御部２８は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部２８は、ロボット５８と複合機６８のそれぞれのアドレス情報を取得し、各アドレス情報を用いて、連携対象の機器（ロボット５８、複合機６８）との間で通信を確立し、実行連携機能をロボット５８と複合機６８とに実行させるための制御情報を、ロボット５８と複合機６８に送信する。ロボット５８と複合機６８は、その制御情報に従って、実行連携機能を実行する。なお、制御部２８は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能をロボット５８と複合機６８に実行させてもよい。
実施例２によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能画通知又は実行される。
制御部２８は、変形操作の態様（検知部２４が検知したフレキシブルディスプレイの変化の態様）に応じて連携機能を変えてもよい。例えば、フレキシブルディスプレイを折り曲げる操作と捩じる操作とには、それぞれ異なる実行連携機能が対応付けられており、特定部３０は、検知された変形操作に対応付けられている実行連携機能を特定する。変形操作の態様毎に異なる実行連携機能を対応付けておくことで、簡易な操作で様々な連携機能を実行することができる。もちろん、各変形操作に同じ実行連携機能が対応付けられていてもよい。このような対応付けは、ユーザや管理者等によって変更されてもよい。
例えば、制御部２８は、曲げ操作の態様（検知部２４が検知したフレキシブルディスプレイの曲げ変化の態様）に応じて連携機能を変えてもよい。例えば、図１５に示すように、ユーザが、フレキシブルディスプレイの右側部１０ｂの全体を、フレキシブルディスプレイの左側部１０ａに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、矢印７４の方向（図１３に示されている矢印７２の逆方向）に折り曲げたものとする。この場合、特定部３０は、その曲げ操作に対応付けられている実行連携機能を特定する。例えば、フレキシブルディスプレイを矢印７４の方向に曲げる操作には、矢印７２の方向に曲げる操作とは異なる実行連携機能が対応付けられており、特定部３０は、その実行連携機能を特定する。これにより、曲げ操作を行う方向を変えることで、様々な連携機能を実行することができる。なお、制御部２８は、その実行連携機能を示す情報の通知を制御してもよいし、その実行連携機能をロボット５８と複合機６８に実行させてもよい。
なお、変形操作によって３つ以上の機器が制御対象（連携対象）として識別された場合、それら３つ以上の機器を利用して実行可能な連携機能群の中から、その変形操作に対応付けられている実行連携機能が選択され、その実行連携機能の通知又は実行が制御される。
（実施例３）
実施例３について説明する。図１６には、端末装置１０が示されている。実施例２と同様に、ロボット５８と複合機６８が識別されて、ロボット５８に紐付く機器画像６０と複合機６８に紐付く機器画像７０が、正面側ディスプレイ４０に表示されている。
ユーザが、フレキシブルディスプレイ（端末装置１０自体）の端部（角部）７６を、正面側ディスプレイ４０側に（矢印７８が示す方向に）折り曲げた場合、制御部２８は、その曲げ操作の方向（矢印７８が示す方向）の延長線８０上に表示されている機器画像６０を、制御対象に紐付く機器画像として特定する。延長線８０は、１又は複数の画素分の幅を有している。延長線８０の幅は、ユーザや管理者等によって任意の値に設定されてもよい。また、制御部２８は、曲げ操作によってフレキシブルディスプレイに加えられた力の方向の延長線上に表示されている機器画像を、制御対象に紐付く機器画像として特定してもよい。図１６に示す例では機器画像６０が延長線８０上に表示されているため、特定部３０は、機器画像６０に紐付くロボット５８を制御対象として識別する。次に、特定部３０は、図６に示されている機器機能管理テーブルを参照することで、ロボット５８が有する単独機能群の中で、上記の曲げ操作に対応付けられている実行単独機能を特定する。制御部２８は、その実行単独機能の通知を制御してもよいし、その実行単独機能をロボット５８に実行させてもよい。
また、図１７に示すように、機器画像６０，７０が延長線８０上に表示されている場合、制御部２８は、機器画像６０に紐付くロボット５８と機器画像７０に紐付く複合機６８を、制御対象（連携対象）に紐付く機器画像として特定する。特定部３０は、機器画像６０に紐付くロボット５８と機器画像７０に紐付く複合機６８を、制御対象（連携対象）として識別する。次に、特定部３０は、図７に示されている連携機能管理テーブルを参照することで、ロボット５８と複合機６８とを利用して実行可能な連携機能群の中で、上記の曲げ操作に対応付けられている実行連携機能を特定する。制御部２８は、その実行連携機能の通知を制御してもよいし、その実行連携機能をロボット５８と複合機６８に実行されてもよい。
なお、ユーザは、ＵＩ部２０を操作することで、機器画像６０，７０が延長線８０上に表示されるように、機器画像６０，７０の表示位置を変えることができる。例えば、ユーザは、図１７に示すように、機器画像６０，７０が直線状に並ぶように機器画像６０，７０の表示位置を変え、その後、端部７６を矢印７８の方向に折り曲げてもよい。こうすることで、機器画像６０，７０の表示位置を変える前は、機器画像６０，７０が延長線８０上に表示されていない場合であっても、機器画像６０，７０が延長線８０上に表示されて、ロボット５８と複合機６８が連携対象として識別される。
実施例３によれば、複数の機器画像が表示されている場合であっても、操作方向の延長線上に１つの機器画像のみが表示されている場合、その機器画像に紐付く機器（単体の機器）が制御対象として識別され、その機器が有する実行単独機能の通知又は実行が制御される。また、操作方向の延長線上に複数の機器画像が表示されている場合、各機器画像に紐付く各機器が制御対象（連携対象）として識別され、それら複数の機器を利用して実行可能な実行連携機能の通知又は実行が制御される。こうすることで、フレキシブルディスプレイに対する変形操作に応じて、単独機能と連携機能とを切り替えることができる。
（実施例４）
実施例４について説明する。具体例４では、制御部２８は、複数の機器画像の並び順に応じて実行連携機能を変える。例えば、制御部２８は、フレキシブルディスプレイにおいて操作が行われた箇所を起点として、その操作の方向に表示されている複数の機器画像の並び順に応じて実行連携機能を変える。以下、実施例４について詳しく説明する。
図１８には、実施例４に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルにおいては、一例として、機器ＩＤの組み合わせを示す情報と、連携対象の機器名（例えば各機器の種類）を示す情報と、実行連携機能を示す情報（実行連携機能情報）と、配置順を示す情報と、優先順位を示す情報と、が互いに対応付けられている。機器ＩＤと機器名はデバイス識別情報の一例に相当する。なお、３つ以上の機器を利用することで実行可能な連携機能が定められてもよい。この場合、３つ以上の機器の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
配置順は、フレキシブルディスプレイに対して行われた操作の方向に表示されている機器画像の並び順に対応している。
優先順位は、実行連携機能に関する情報の通知（例えば表示や音声出力）の優先順位である。例えば、ＰＣ（Ａ）と複合機Ｂとの組み合わせには、連携機能として「スキャン転送機能」と「プリント機能」が対応付けられている。例えば、操作方向に対して、複合機Ｂに紐付く機器画像、ＰＣ（Ａ）に紐付く機器画像の並び順で各機器画像が表示されている場合、「スキャン転送機能」の優先順位が「１位」となり、「プリント機能」の優先順位は「２位」となる。この場合、「スキャン転送機能」に関する情報が「プリント機能」に関する情報よりも優先的に（例えば上位に）通知される。それとは逆に、操作方向に対して、ＰＣ（Ａ）に紐付く機器画像、複合機Ｂに紐付く機器画像の並び順で各機器画像が表示されている場合、「プリント機能」の優先順位が「１位」となり、「スキャン転送機能」の優先順位が「２位」となる。この場合、「プリント機能」に関する情報が「スキャン転送機能」に関する情報よりも優先的に（例えば上位に）表示される。もちろん、制御部２８は、実行連携機能に関する情報を通知すると共に、又は、その情報を通知せずに、優先順位が「１位」の実行連携機能を連携対象の複数の機器に実行させてもよい。
例えば、図１７に示す例では、端部７６が、フレキシブルディスプレイに対する操作の起点に該当する。その起点の位置を基準として、その操作の方向の延長線８０上に、機器画像６０，７０の並び順で各機器画像が表示されている。特定部３０は、図１８に示されている連携機能管理テーブルを参照することで、ロボット５８と複合機６８とを利用して実行可能な連携機能であって、機器画像６０，７０の並び順に対応付けられている実行連携機能（例えば実行連携機能Ａ）を、優先順位が「１位」の実行連携機能として特定する。また、特定部３０は、それ以外の実行連携機能（例えば実行連携機能Ｂ）を、優先順位が「２位」の実行連携機能として特定する。制御部２８は、実行連携機能Ａを実行連携機能Ｂよりも優先的に通知する（例えば上位に表示する）。制御部２８は、実行連携機能Ａをロボット５８と複合機６８に実行させてもよい。
図１９には別の例が示されている。図１９に示す例では、操作起点の位置を基準として、操作方向の延長線８０上に、機器画像７０，６０の並び順で各機器画像が表示されている。特定部３０は、図１８に示されている連携機能管理テーブルを参照することで、ロボット５８と複合機６８とを利用して実行可能な連携機能であって、機器画像７０，６０の並び順に対応付けられている実行連携機能（例えば実行連携機能Ｂ）を、優先順位が「１位」の実行連携機能として特定する。また、特定部３０は、それ以外の実行連携機能（例えば実行連携機能Ａ）を、優先順位が「２位」の実行連携機能として特定する。制御部２８は、実行連携機能Ｂを実行連携機能Ａよりも優先的に通知する（例えば上位に表示する）。制御部２８は、実行連携機能ＢをロボットＢと複合機６８に実行させてもよい。
なお、ユーザは、ＵＩ部２０を操作することで、機器画像６０，７０の配置順を変えることができる。これにより、同じ変形操作が行われた場合であっても、実行連携機能の優先順位を変えることができる。
実施例４によれば、変形操作の方向に対する機器画像の並び順に応じて、実行連携機能に関する情報の通知順（例えば表示順）や実行が変更されるので、その並び順や変形操作の方向を変えることで、様々な連携機能の通知や実行を行うことができる。
例えば、機器画像の並び順は、各機器で利用される機能の順番や、連携する複数の機器間を移動するデータの移動順番を兼ねている場合がある。それ故、操作方向に対する並び順に応じて、実行連携機能の通知順や実行を変えることで、ユーザが利用するであろうと予測される実行連携機能が優先的に通知又は実行される。つまり、ユーザが利用する可能性の高い実行連携機能が優先的に通知又は実行される。例えば、操作方向の延長線上において、複合機Ｂに紐付く機器画像、ＰＣ（Ａ）に紐付く機器画像の並び順で各機器画像が表示されている場合、「ＰＣ（Ａ）よりも先に複合機Ｂの機能を利用し、複合機ＢからＰＣ（Ａ）へデータを転送する」という連携機能がユーザによって利用されると予測される。それとは逆に、ＰＣ（Ａ）に紐付く機器画像、複合機Ｂに紐付く機器画像の並び順で各機器画像が表示されている場合、「複合機Ｂよりも先にＰＣ（Ａ）の機能を利用し、ＰＣ（Ａ）から複合機Ｂへデータを転送する」という連携機能がユーザによって利用されると予測される。それ故、機器画像の並び順に応じて実行連携機能の通知順や実行を変えることで、ユーザが利用する可能性の高い実行連携機能が優先的に通知又は実行される。
（実施例５）
実施例５について説明する。実施例５では、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部３０は、フレキシブルディスプレイにおいて変化した位置に表示されている機器画像に紐付く機器の部分を利用して実行可能な単独機能を特定する。以下、実施例５について詳しく説明する。
図２０には、実施例５に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器画像内の位置（部分の位置）を示す情報と、その機器画像内の位置（部分の位置）に割り当てられている単独機能を示す情報（単独機能情報）と、画像ＩＤと、が対応付けられている。機器画像内の位置は、機器に紐付く機器画像内の特定の位置（特定の部分）であり、例えば、機器を模式的に表す機器画像内の特定の位置や、カメラによって撮影された機器画像内の特定の位置である。機器画像内の位置（部分）毎に、異なる機能が割り当てられている。
以下、図２１を参照して、機器の部分について説明する。図２１に示すように、複合機６８に紐付く機器画像７０が、フレキシブルディスプレイに表示されている。上記のように識別技術（例えばＡＲ技術）を用いることで複合機６８が識別される。また、複合機６８の各部分も、上記の識別技術を用いることで識別される。例えば、機器の各部分を撮影してマーカレス型ＡＲ技術を用いることで、各部分が識別される。
例えば、機器画像７０において複合機６８の本体部分に対応する位置（部分画像７０ａ）には、「プリント機能」が割り当てられている。機器画像７０において複合機６８の原稿カバーや原稿ガラスや自動原稿給紙装置に対応する位置（部分画像７０ｂ）には、「スキャン機能」が割り当てられている。機器画像７０において後処理装置に対応する位置（部分画像７０ｃ）には、「ステープル止め機能」が割り当てられている。「ステープル止め機能」は、出力された用紙をステープラによって止める機能である。
ユーザは、各部分画像を、機器画像から切り離して操作することができる。例えば、機器画像７０が表示されているときに、ユーザが部分画像７０ｂを選択して機器画像７０から切り離す操作を行うと、制御部２８は、部分画像７０ｂを機器画像７０から離してフレキシブルディスプレイに表示させる。例えば、ユーザは、ドラッグ＆ドロップ操作によって部分画像を操作することができる。具体的には、ユーザは部分画像を選択し、ドラッグ操作によって部分画像を機器画像から切り離して操作し、目的の表示位置でドロップ操作を行うことで、その表示位置に部分画像を表示させることができる。もちろん、部分画像を機器画像から切り離す操作が行われた場合であっても、当該部分画像は元の位置に表示されていてもよい。
例えば、図２１に示すように、端部７６が矢印７８の方向に曲げられており、その曲げ操作の方向の延長線８０上に、機器画像７０に含まれる部分画像７０ａが表示されている。特定部３０は、図２０に示されている機器機能管理テーブルを参照することで、機器画像７０内の部分画像７０ａの位置に対応付けられている単独機能（例えばプリント機能）を特定する。制御部２８は、プリント機能を実行単独機能として通知してもよいし、プリント機能を複合機６８に実行させてもよい。
なお、延長線８０上に複数の部分画像（例えば部分画像７０ａ，７０ｂ）が表示されている場合、特定部３０は、図２０に示されている機器機能管理テーブルを参照することで、機器画像内の各部分画像の位置に対応付けられている単独機能（例えば、プリント機能とスキャン機能）を特定する。制御部２８は、プリント機能とスキャン機能をそれぞれ実行単独機能として通知してもよいし、プリント機能又はスキャン機能を複合機６８に実行させてもよい。別の例として、特定部３０は、各部分画像に紐付く各単独機能を利用して実行可能な連携機能を特定し、制御部２８は、その連携機能を通知又は実行してもよい。
実施例５によれば、制御対象としての機器が複数の単独機能を有している場合に、単独機能が個別的に指定され、その指定された単独機能が通知又は実行される。
なお、ユーザは、ＵＩ部２０を操作することで、機器画像の全体の表示位置を変えたり、機器画像から部分画像を切り離したりして、ユーザが希望する部分画像を延長線８０上に表示させてもよい。
（実施例６）
実施例６について説明する。実施例６では、実施例５と同様に、機器に紐付く機器画像内の部分毎に異なる単独機能が割り当てられている。特定部３０は、フレキシブルディスプレイにおいて変化した位置に表示されている各部分画像に紐付く各部分を利用して実行可能な連携機能を特定する。以下、実施例６について詳しく説明する。
図２２には、実施例６に係る機器機能管理テーブルの一例が示されている。この機器機能管理テーブルにおいては、一例として、機器ＩＤと、機器名（例えば機器の種類）を示す情報と、機器の部分の名称（例えば部分の種類）を示す情報と、その部分を識別するための部分識別情報としての部分ＩＤと、その部分に割り当てられている単独機能（その部分が有する単独機能）を示す情報と、その部分に紐付く部分画像を識別するための部分画像ＩＤと、が互いに対応付けられている。部分画像は、カメラによる撮影によって得られた機器の部分の外観を表す画像である。もちろん、機器の部分を模式的に表す部分画像が、当該部分に対応付けられていてもよい。例えば、機器の部分毎に異なる機能が割り当てられている。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部には画面表示機能が割り当てられており、その表示部に紐付く部分画像の部分画像ＩＤには、画面表示機能を示す情報が対応付けられている。画面表示機能は、情報をＰＣ（Ａ）にて表示する機能である。ＰＣ（Ａ）の本体部にはデータ保存機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、データ保存機能を示す情報が対応付けられている。データ保存機能は、データをＰＣ（Ａ）に保存する機能である。
また、複合機Ｂの本体部にはプリント機能が割り当てられており、その本体部に紐付く部分画像の部分画像ＩＤには、プリント機能を示す情報が対応付けられている。複合機Ｂの読取部（例えば、複合機Ｂの原稿カバーや原稿ガラスや自動原稿給紙装置に対応する部分）にはスキャン機能が割り当てられており、その読取部に紐付く部分画像の部分画像ＩＤには、スキャン機能を示す情報が対応付けられている。複合機Ｂの後処理装置にはステープル止め機能が割り当てられており、その後処理装置に紐付く部分画像の部分画像ＩＤには、ステープル止め機能を示す情報が対応付けられている。
機器の部分に割り当てられている単独機能は、例えば、マーカレス型ＡＲ技術を用いることによって特定（識別）される。例えば、機器の部分がカメラ（例えば端末装置１０のカメラ２２）によって撮影された場合、特定部３０は、図２２に示されている機器機能管理テーブルにおいて、その外観画像データに対応付けられている単独機能を特定（識別）する。これにより、撮影された部分に割り当てられている単独機能が特定（識別）される。例えば、複合機Ｂの本体部がカメラ２２によって撮影された場合、特定部３０は、機器機能管理テーブルにおいて、複合機Ｂの本体部を表す外観画像データに対応付けられているプリント機能を特定する。これにより、複合機Ｂの本体部に割り当てられている機能がプリント機能であることが特定される。
もちろん、機器の部分に割り当てられている単独機能は、マーカ型ＡＲ技術を用いることによって特定（識別）されてもよい。例えば、機器の各部分に、部分を識別するための部分識別情報（例えば部分ＩＤ）がコード化された２次元バーコード等のマーカが設けられている。部分に設けられているマーカがカメラによって撮影されてマーカ型ＡＲ技術が適用された場合、その部分の部分識別情報（例えば部分ＩＤ）が取得される。このように部分識別情報が取得されると、特定部３０は、図２２に示されている機器機能管理テーブルにおいて、その部分識別情報（例えば部分ＩＤ）に対応付けられている単独機能を特定（識別）する。
図２３には、実施例６に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の部分が有する単独機能を利用する連携機能を示す情報であり、その連携機能管理テーブルにおいては、一例として、機器の部分の組み合わせを示す情報と、部分ＩＤの組み合わせを示す情報と、その組み合わせに含まれる複数の部分が有する単独機能を利用して実行可能な実行連携機能を示す情報と、が互いに対応付けられている。もちろん、連携機能管理テーブルにおいては、機器の部分と機器の全体との組み合わせを示す情報と、その機器の部分が有する単独機能と機器の全体が有する単独機能とを利用する連携機能を示す情報と、が対応付けられていてもよい。
具体例を挙げて説明すると、ＰＣ（Ａ）の表示部と複合機Ｂの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、ＰＣ（Ａ）に保存されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの本体部とプロジェクタＣの本体部との組み合わせには、連携機能としての「プリント機能」が割り当てられている。連携機能としての「プリント機能」は、プロジェクタＣによって投影されているデータを複合機Ｂに送信して、そのデータを複合機Ｂによって印刷する機能である。
また、複合機Ｂの読取部とプロジェクタＣの本体部との組み合わせには、連携機能としての「スキャン投影機能」が割り当てられている。連携機能としての「スキャン投影機能」は、例えば、複合機Ｂによるスキャンによって生成されたデータをプロジェクタＣに送信して、そのデータをプロジェクタＣによって投影する機能である。
なお、連携機能は、同一の機器に含まれる複数の部分が有する単独機能を利用して実行可能な機能であってもよいし、互いに異なる複数の機器の部分が有する単独機能を利用して実行可能な機能であってもよい。また、連携機能は、３つ以上の部分が有する単独機能を利用して実行可能な機能であってもよい。
図２４を参照して、実施例６について具体例を挙げて説明する。図２４に示すように、複合機６８に紐付く機器画像７０と、ＰＣ（Ａ）に紐付く機器画像８２が、フレキシブルディスプレイに表示されている。複合機６８とＰＣ（Ａ）は、上記の識別技術によって識別されている。機器画像８２は、ＰＣ（Ａ）の本体部（ＣＰＵ等のプロセッサ、ＨＤＤやＳＳＤ等の記憶装置、その他の基盤等を含む）に紐付く部分画像８２ａと、ＰＣ（Ａ）のディスプレイに紐付く部分画像８２ｂと、を含む。
例えば、端部７６が矢印７８の方向に曲げられており、その曲げ操作の方向の延長線８０上に、機器画像７０に含まれる部分画像７０ａと、機器画像８２に含まれる部分画像８２ｂが表示されている。特定部３０は、図２３に示されている連携機能管理テーブルを参照することで、部分画像７０ａに紐付く部分と部分画像８２ｂに紐付く部分との組み合わせに対応付けられている実行連携機能を特定する。制御部２８は、その実行連携機能を通知してもよいし、その実行連携機能を複合機６８とＰＣ（Ａ）に実行させてもよい。
実施例６によれば、制御対象としての機器が複数の単独機能を有している場合に、複数の単独機能が個別的に指定され、その指定された複数の単独機能を利用する連携機能が通知又は実行される。
なお、連携機能は、互いに同じ機器又は互いに異なる機器の部分同士の組み合わせを利用する機能であってもよいし、機器の全体と機器の部分との組み合わせを利用する機能であってもよい。
また、実施例４，６を組み合わせることで、操作方向に対する機器画像や部分画像の並び順に応じて、連携機能が変更されてもよい。
ユーザは、ＵＩ部２０を操作することで、機器画像の全体の表示位置を変えたり、機器画像から部分画像を切り離したりして、ユーザが希望する部分画像を延長線８０上に表示させてもよい。こうすることで、同じ変形操作が行われた場合であっても、様々な連携機能の通知や実行が行われる。
（実施例７）
実施例７について説明する。実施例７では、検知部２４は、フレキシブルディスプレイの各画面における変化を検知する。例えば、フレキシブルディスプレイが、第１画面としての正面側ディスプレイ４０と第２画面としての背面側ディスプレイ４２を有する場合、検知部２４は、正面側ディスプレイ４０と背面側ディスプレイ４２のそれぞれにおける変化を検知する。制御対象としての機器がフレキシブルディスプレイに表示されている場合において、検知部２４が、正面側ディスプレイ４０に対する有効な変化を検知した場合、特定部３０は、その機器の正面側に紐付く単独機能を特定する。一方、検知部２４が、背面側ディスプレイ４２に対する有効な変化を検知した場合、特定部３０は、その機器の背面側に紐付く単独機能を特定する。制御部２８は、特定部３０によって特定された単独機能を通知又は実行する。例えば、正面側ディスプレイ４０側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部２４は、その曲げ操作による変化を、正面側ディスプレイ４０に対する有効な変化として検知する。一方、背面側ディスプレイ４２側へのフレキシブルディスプレイの曲げ操作が行われた場合、検知部２４は、その曲げ操作による変化を、背面側ディスプレイ４２に対する有効な変化として検知する。以下、実施例７について詳しく説明する。
図２５には、フレキシブルディスプレイ（端末装置１０）の背面側ディスプレイ４２が示されている。背面側ディスプレイ４２には、制御対象としてのロボット５８の背面を表す背面画像８４が表示されている。正面側ディスプレイ４０には、図８に示すように、ロボット５８の正面を表す正面画像（機器画像６０として表示されている画像）が表示されている。
例えば、図８に示すように、ユーザがフレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて、正面側ディスプレイ４０側に折り曲げた場合、検知部２４は、その曲げ操作によるフレキシブルディスプレイの変化を、正面側ディスプレイ４０に対する有効な変化として検知する。この場合、特定部３０は、正面側ディスプレイ４０に表示されているロボット５８の正面に紐付く単独機能を特定する。すなわち、ロボット５８の正面や背面にそれぞれ同一又は異なる単独機能が割り当てられており、その割り当てを示す情報が機器機能管理情報として端末装置１０やサーバ１６等に記憶されている。特定部３０は、その機器機能管理情報を参照することで、正面に紐付く単独機能を特定する。例えば、その単独機能は、ロボット５８の正面の部分が有する機能である。
一方、図２５に示すように、ユーザがフレキシブルディスプレイの右側部１０ｂの全体を、フレキシブルディスプレイの左側部１０ａに向けて、背面側ディスプレイ４２側に折り曲げた場合（矢印８６の方向に曲げた場合）、検知部２４は、その曲げ操作によるフレキシブルディスプレイの変化を、背面側ディスプレイ４２に対する有効な変化として検知する。この場合、特定部３０は、上記の機器管理情報を参照することで、背面側ディスプレイ４２に表示されているロボット５８の背面に紐付く単独機能を特定する。例えば、その単独機能は、ロボット５８の背面の部分が有する機能である。
制御部２８は、特定部３０によって特定された単独機能を通知又は実行する。
実施例７によれば、複数の表示部を有するフレキシブルディスプレイに対する変形操作に応じた様々な機能が、通知又は実行される。
また、実施例７は、連携機能の特定に適用されてもよい。例えば、フレキシブルディスプレイが正面側ディスプレイ４０側に曲げられた場合、特定部３０は、正面側ディスプレイ４０に表示されている各機器の部分が有する単独機能（例えば正面の部分が有する単独機能）を利用して実行可能な連携機能を特定する。また、フレキシブルディスプレイが背面側ディスプレイ４２側に曲げられた場合、特定部３０は、背面側ディスプレイ４２に表示されている各機器の部分が有する単独機能（例えば背面の部分が有する単独機能）を利用して実行可能な連携機能を特定する。
また、実施例４，７を組み合わせることで、機器画像の並び順に応じて、連携機能が変更されてもよい。
（連携時の接続処理）
ここで、連携機能を実行するときの動作について説明する。連携機能を実行する場合、端末装置１０から連携対象の各機器に対して接続要求が送信され、端末装置１０と各機器との間に通信が確立される。以下、図２６を参照して、この接続処理について説明する。図２６は、その処理を示すシーケンス図である。
連携対象の機器としてロボット５８と複合機６８が識別されている場合、端末装置１０は、連携対象の機器（ロボット５８と複合機６８）に接続要求を示す情報を送信する（Ｓ０１）。例えば、連携対象の各機器のアドレス情報がサーバ１６に記憶されている場合、端末装置１０は、各機器のアドレス情報をサーバ１６から取得する。デバイス識別情報にアドレス情報が含まれている場合、端末装置１０の制御部２８は、各機器のデバイス識別情報からアドレス情報を取得する。もちろん、端末装置１０の記憶部２６に各機器のアドレス情報が記憶されていてもよい。端末装置１０は、連携対象の各機器（例えばロボット５８と複合機６８）のアドレス情報を用いて、連携対象の各機器に接続要求を示す情報を送信する。
接続要求を示す情報を受けたロボット５８と複合機６８は、端末装置１０との接続の許可又は不許可を判断する（Ｓ０２）。例えば、ロボット５８と複合機６８が、接続が許可されていない機器に該当する場合や、接続を要求している装置の数が上限を超えている機器に該当する場合、接続は許可されない。なお、端末装置１０からの接続が許可された場合、ロボット５８と複合機６８のそれぞれの固有の設定情報が端末装置１０から変更されないように、その変更操作が禁止されてもよい。例えば、複合機６８の色彩のパラメータや、節電に移行する際の設定時間等の変更が禁止されてもよい。こうすることで、連携対象の機器に対するセキュリティが向上する。別の例として、機器を連携させる場合、当該機器を連携させずに単独で利用する場合と比べて、設定情報の変更が制限されてもよい。例えば、機器を単独で利用する場合と比べて、より少ない設定項目の変更が許可されてもよい。また、稼働履歴のような他のユーザの個人情報の閲覧を禁止してもよい。これにより、ユーザの個人情報に対するセキュリティが向上する。
接続の許可又は不許可を示す結果情報が、ロボット５８と複合機６８から端末装置１０に送信される（Ｓ０３）。ロボット５８と複合機６８への接続が許可された場合、端末装置１０とロボット５８との間で通信が確立され、更に、端末装置１０と複合機６８との間で通信が確立される。
次に、端末装置１０において、ユーザが連携機能の実行を指示する（Ｓ０４）。端末装置１０は、その指示に従って、連携機能の実行指示を示す情報（実行指示情報）を、連携対象の各機器（ロボット５８と複合機６８）に送信する（Ｓ０５）。ロボット５８に送信される実行指示情報には、ロボット５８にて実行される処理を示す情報が含まれ、複合機６８に送信される実行指示情報には、複合機６８にて実行される処理を示す情報が含まれる。
実行指示情報を受けたロボット５８と複合機６８は、実行指示情報に従って連携機能を実行する（Ｓ０６）。実行対象の連携機能に、ロボット５８と複合機６８との間でデータの送受信が行われる処理が含まれている場合、ロボット５８と複合機６８との間で通信が確立される。例えば、ロボット５８に送信される実行指示情報には複合機６８のアドレス情報が含まれており、複合機６８に送信される実行指示情報にはロボット５８のアドレス情報が含まれている。それらのアドレス情報を用いて、ロボット５８と複合機６８との間で通信が確立される。その通信が確立された後、ロボット５８と複合機６８は、互いにデータを送受信しながら連携機能を実行する。
連携機能の実行が終了すると、連携機能の実行完了を示す情報が、ロボット５８と複合機６８から端末装置１０に送信される（Ｓ０７）。端末装置１０のＵＩ部２０には、連携機能の実行が完了したことを示す情報が表示される（Ｓ０８）。なお、実行指示を与えた時点から予め設定された時間が経過しても実行完了を示す情報が表示されない場合、端末装置１０の制御部２８は、エラーを示す情報をＵＩ部２０に表示させ、再度、実行指示情報、又は、接続要求を示す情報を、ロボット５８と複合機６８に送信してもよい。
次に、ユーザは、ロボット５８と複合機６８の連携状態を解除するか否かを確認し（Ｓ０９）、解除の有無に応じた処理が実行される（Ｓ１０）。連携状態を解除する場合、ユーザは、端末装置１０を利用して解除の指示を与える。これにより、端末装置１０とロボット５８との間の通信が解除され、更に、端末装置１０と複合機６８との間の通信が解除される。同様に、ロボット５８と複合機６８との間の通信も解除される。連携状態を解除しない場合、継続して実行指示が与えられてもよい。
また、連携対象の機器を増やしてもよい。例えば３つ目の機器が変形操作によって連携対象として指定され、ロボット５８と複合機６８とを含む３つの機器が連携してもよい。なお、ロボット５８と複合機６８が既に連携対象として識別されていることを示す情報が、端末装置１０やサーバ１６に記憶される。
連携対象の機器を示すデバイス識別情報や、実行された連携機能を示す連携機能情報が、端末装置１０やサーバ１６等に記憶されてもよい。例えば、端末装置１０を利用するユーザのユーザアカウント情報（ユーザ識別情報の一例）が取得され、そのユーザアカウント情報と、連携対象の機器を示すデバイス識別情報と、実行された連携機能を示す連携機能情報と、の対応付けを示す履歴情報が作成され、端末装置１０やサーバ１６等に記憶されてもよい。履歴情報は、端末装置１０によって作成されてもよいし、サーバ１６によって作成されてもよい。履歴情報を参照することで、どのような連携機能がどのような機器群を用いて実行されたのかが特定される。
なお、連携対象の機器（例えばロボット５８と複合機６８）は、接続を要求したユーザのユーザアカウント情報や、接続要求元の端末装置１０を示す端末識別情報を、履歴情報として記憶してもよい。この履歴情報を参照することで、機器を利用したユーザが特定される。例えば、機器が壊れたときに当該機器を使用していたユーザを特定する場合や、消耗品等について課金処理を行う場合等に、履歴情報を活用してユーザを特定してもよい。履歴情報は、端末装置１０やサーバ１６に記憶されてもよいし、別の装置に記憶されてもよい。
ユーザアカウント情報は、例えば、端末装置１０の記憶部２６に予め記憶されており、端末装置１０の制御部２８は、ユーザ識別手段の一例として機能し、記憶部２６からユーザのユーザアカウント情報を読み込んで、端末装置１０を使用するユーザを識別する。複数のユーザのユーザアカウント情報が記憶部２６に記憶されている場合、ユーザは端末装置１０を使用して、自身のユーザアカウント情報を指定する。これにより、当該ユーザのユーザアカウント情報が読み込まれ、当該ユーザが識別される。別の例として、端末装置１０の制御部２８は、端末装置１０にログインしているユーザのユーザアカウント情報を読み込むことでユーザを識別してもよい。更に別の例として、同一の端末装置１０に、１つのユーザアカウント情報のみが記憶されている場合、端末装置１０の制御部２８は、そのユーザアカウント情報を読み込むことでユーザを識別してもよい。なお、ユーザアカウントが設定されておらず、ユーザアカウント情報が作成されていない場合、初期設定が行われ、これにより、ユーザアカウント情報が作成される。
ユーザ毎に連携機能の利用履歴が管理され、読み込まれたユーザアカント情報が示すユーザによって過去に利用された連携機能を示す情報が、端末装置１０のＵＩ部２０に表示されてもよい。その利用履歴を示す情報は、端末装置１０に記憶されていてもよいし、サーバ１６に記憶されていてもよい。また、予め設定された利用頻度以上の頻度で利用されている連携機能を示す情報が表示されてもよい。このようなショートカット機能を設けることにより、連携機能に関するユーザの操作の手間が軽減される。
また、変形操作によって指定された複数の機器の組み合わせに対応付けられている連携機能が連携機能管理テーブルに登録されていない場合、特定部３０は、利用可能な連携機能が登録されていないと判断する。この場合、制御部２８は、利用可能な連携機能が登録されていないことを示す情報をＵＩ部２０の表示部に表示させる。このような場合であっても、機器の更新状況等によって、連携機能の利用が可能になる場合がある。この場合、特定部３０は、利用可能になった連携機能を特定する。
＜第２実施形態＞
以下、第２実施形態に係る情報処理システムについて説明する。上記の第１実施形態では、制御対象は機器であるが、第２実施形態では、制御対象は機能である。例えば、機器に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機能画像に紐付く機能が制御対象として識別される。変化した位置に１つの機能画像が表示されている場合、その機能画像に紐付く単独機能が制御対象として識別され、複数の機能画像が表示されている場合、各機能画像に紐付く各単独機能が制御対象（連携対象）として識別される。
機能画像は、例えば、ソフトウェア（アプリケーション等）に紐付く画像であってもよいし、処理を行う機器（現実空間に存在する機器）に紐付く画像であってもよい。機能画像は、例えばアイコン等の画像であり、ハードウェアとしての機器の実際の外観を表す画像（例えば写真）や機器そのものを表す画像と区別する意味で、バーチャルな画像ともいえる。
以下、第２実施形態の具体的な実施例について詳しく説明する。
（実施例８）
実施例８について説明する。図２７には、端末装置１０が示されている。端末装置１０の正面側ディスプレイ４０には、機能画像８８が表示されている。機能画像８８は、パスワード設定機能に紐付く画像（例えば、パスワード設定ソフトウェアに紐付く画像）である。機能画像８８がユーザによって選択されてパスワード設定機能の起動指示が与えられると、例えば、パスワード設定ソフトウェアが起動して、データ等に対するパスワードの設定処理が行われる。また、機能の名称を示す情報が表示されてもよい。例えば、機能画像８８と共に、文字列「パスワード機能」が表示されてもよい。もちろん、機能画像８８が表示されずに、その文字列が表示されてもよい。機能画像に紐付くソフトウェアは、端末装置１０にインストールされていてもよいし、サーバ１６等の外部装置に記憶されて、そのソフトウェアによる機能が、外部装置から端末装置１０に提供されてもよい。なお、ユーザは、ＵＩ部２０を操作することで、機能画像８８の表示位置や表示サイズを変えることができる。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図２７に示されている矢印８９の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されている機能画像を特定する。上記の曲げ操作によって、機能画像８８が表示されている位置に変化が発生した場合、特定部３０は、機能画像８８に紐付くパスワード設定機能を制御対象として識別する。なお、機能画像に代えて、機能を示す文字列が表示されている場合、制御部２８は、変化した位置に表示されている文字列を特定し、特定部３０は、その文字列に紐付く機能（例えばパスワード設定機能）を制御対象として識別してもよい。制御部２８は、パスワード設定機能が指定された旨をユーザに通知してもよいし（その旨を示す情報を表示したり、音声として出力したりする）、パスワード設定機能を実行してもよい。また、制御部２８は、機能画像８８を変更してもよい。例えば、制御部２８は、指定された状態を表す画像に機能画像８８を変更してもよいし、パスワード設定機能が実行されている状態を表す画像に機能画像８８を変更してもよい。
上記の実施例１と同様に、変形操作毎に実行単独機能が割り当てられていてもよい。この場合、特定部３０は、上記の曲げ操作に対応付けられている実行単独機能を特定し、制御部２８は、その実行単独機能を通知又は実行する。また、制御部２８は、変形操作の態様に応じて実行単独機能を変えてもよい。
実施例８によれば、ユーザがフレキシブルディスプレイを変形させることで、変化した位置に表示されている機能画像に紐付く機能が通知又は実行される。これにより、簡易な操作によって、機能が通知又は実行される。
また、実施例３と同様に、特定部３０は、変形操作の方向の延長線上に表示されている機能画像に紐付く機能を制御対象として識別し、制御部２８は、その機能を通知又は実行してもよい。
また、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。この場合、フレキシブルディスプレイが変化した位置に表示されている部分が識別され、その部分に割り当てられている機能が通知又は実行される。
（実施例９）
実施例９について説明する。図２８には、実施例９に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、複数の単独機能を利用して実行可能な連携機能を示す情報である。この連携管理テーブルにおいては、一例として、機能ＩＤ（例えば、ソフトウェアを識別するためのＩＤ）と、機能名（例えばソフトウェア名）を示す情報と、複数の単独機能を利用して実行可能な連携機能を示す情報（連携機能情報）と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の複数の単独機能によって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数の単独機能を利用して実行可能な連携機能が特定される。
例えば、機能としてのソフトウェアαはデータを送るソフトウェアであり、機能としてのソフトウェアβはデータにパスワードをかけるソフトウェアである。ソフトウェアα，βを組み合わせることで、例えば、データにパスワードをかけた上で送信するという連携機能が実現される。他のソフトウェアについても同様に実行可能な連携機能が定められている。なお、３つ以上の単独機能（例えばソフトウェア）を利用することで実行可能な連携機能が定められてもよい。この場合、３つ以上の単独機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
複数の単独機能の組み合わせには、１又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。
以下、図２９を参照して、実施例９について詳しく説明する。図２９には、端末装置１０が示されている。端末装置１０の正面側ディスプレイ４０には、機能画像８８，９０が表示されている。機能画像９０は、データ送信機能に紐付く画像（例えば、データ送信ソフトウェアに紐付く画像）である。機能画像９０がユーザによって選択されてデータ送信機能の起動指示が与えられると、例えば、データ送信ソフトウェアが起動して、送信対象のデータ等が送信先に送信される。ユーザは、ＵＩ部２０を操作することで、機能画像８８，９０の表示位置や表示サイズを変更することができる。なお、機能画像８８，９０と共に、又は、機能画像８８，９０に代えて、パスワード設定機能とデータ送信機能のそれぞれの名称を示す情報（例えば文字列）が表示されてもよい。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印９２の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されている機能画像を特定する。上記の曲げ操作によって、機能画像８８，９０が表示されている位置に変化が発生した場合、特定部３０は、機能画像８８に紐付くパスワード設定機能と機能画像９０に紐付くデータ送信機能を制御対象（連携対象）として識別すると共に、図２８に示されている連携機能管理テーブルを参照することで、パスワード設定機能（パスワード設定ソフトウェア）とデータ送信機能（データ送信ソフトウェア）とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、処理対象のデータにパスワードを設定して宛先に送信するという機能であるものとする。
制御部２８は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部２８は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部２８は、パスワード設定ソフトウェアを起動させて、処理対象のデータにパスワードを設定し、更に、データ送信ソフトウェアを起動させて、宛先に当該データを送信する。制御部２８は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能を実行してもよい。また、制御部２８は、機能画像８８，９０を変更してもよい。
実施例９によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例３と同様に、特定部３０は、変形操作の方向の延長線上に表示されている各機能画像に紐付く各機能を連携対象（制御対象）として識別し、それら複数の機能を利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部２８は、その実行連携機能を通知又は実行する。制御部２８は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例９に実施例４が適用されてもよい。つまり、操作方向に対する複数の機能画像の並び順に応じて、連携機能が変更されてもよい。また、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。
＜第３実施形態＞
以下、第３実施形態に係る情報処理システムについて説明する。第３実施形態では、制御対象は機器と機能である。例えば、機器に紐付く機能画像と機能に紐付く機能画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されている機器画像に紐付く機器と機能画像に紐付く機能とが連携対象（制御対象）として識別される。そして、当該機器と当該機能とを利用して実行可能な連携機能群の中で、当該変形操作に対応付けられている実行連携機能が特定され、その実行連携機能が通知又は実行される。
以下、第３実施形態の具体的な実施例について詳しく説明する。
（実施例１０）
実施例１０について説明する。図３０には、実施例１０に係る連携機能管理テーブルの一例が示されている。この連携機能管理テーブルは、機器と機能（例えばソフトウェア）とを利用して実行可能な連携機能を示す情報である。この連携機能管理テーブルにおいては、一例として、ＩＤの組み合わせ（機器ＩＤと機能ＩＤとの組み合わせ）と、機器名及び機能名を示す情報と、機器と機能とを利用して実行可能な連携機能を示す連携機能情報と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、連携対象の機器と機能とによって実行可能な連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、機器と機能とを利用して実行可能な連携機能が特定される。例えば、機器ＡとしてのＰＣ（Ａ）と機能αとしてのデータ送信機能とを組み合わせることで、例えば、ＰＣ（Ａ）を利用してデータを送信するという連携機能が実現される。他の機器と機能についても同様に実行可能な連携機能が定められている。なお、合計で３つ以上の機器や機能を利用することで実行可能な連携機能が定められてもよい。この場合、３つ以上の機器や機能の組み合わせと連携機能とが対応付けられ、その対応付けが連携機能管理テーブルに登録される。
機器と機能との組み合わせには、１又は複数の変形操作が対応付けられており、各変形操作には、互いに同一又は異なる実行連携機能が対応付けられている。
以下、図３１を参照して、実施例１０について詳しく説明する。図３１には、端末装置１０が示されている。端末装置１０の正面側ディスプレイ４０には、機器画像７０と機能画像８８が表示されている。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印９４の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されている機器画像や機能画像を特定する。上記の曲げ操作によって、機器画像７０と機能画像８８が表示されている位置に変化が発生した場合、特定部３０は、機器画像７０に紐付く複合機６８と機能画像８８に紐付くパスワード設定機能を制御対象（連携対象）として識別すると共に、図３０に示されている連携機能管理テーブルを参照することで、複合機とパスワード設定機能とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、複合機６８によるスキャンによって生成されたデータにパスワードを設定するという機能であるとする。
制御部２８は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部２８は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部２８は、複合機６８に制御情報を出力することで、複合機６８によるスキャン、及び、スキャンによって生成されたデータの端末装置１０への転送を制御する。これにより、複合機６８によってスキャンが実行され、そのスキャンによって生成されたデータが、複合機６８から端末装置１０に転送される。また、制御部２８は、パスワード設定ソフトウェアを起動させ、そのデータに対してパスワードを設定する。制御部２８は、上記の曲げ操作が行われた場合、ユーザによって実行指示が与えられなくても、実行連携機能を実行してもよい。また、制御部２８は、機器画像７０と機能画像８８を変更してもよい。
実施例１０によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例３と同様に、特定部３０は、変形操作の方向の延長線上に表示されている機器画像に紐付く機器と機能画像に紐付く機能を連携対象（制御対象）として識別し、当該機器と当該機能とを利用して実行可能な連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部２８は、その実行連携機能を通知又は実行する。制御部２８は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例１０に実施例４が適用されてもよい。つまり、操作方向に対する機器画像と機能画像の並び順に応じて、連携機能が変更されてもよい。また、機器画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよいし、機能画像内の部分毎に互いに同一又は異なる機能が割り当てられていてもよい。
＜第４実施形態＞
以下、第４実施形態に係る情報処理システムについて説明する。第４実施形態では、制御対象はファイルである。例えば、ファイルに紐付くファイル画像がフレキシブルディスプレイに表示されている場合において、フレキシブルディスプレイに対して変形操作が行われた場合、変化した位置に表示されているファイル画像に紐付くファイルが制御対象として識別される。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア（例えばアプリケーションソフトウェア）が対応付けられている。変化した位置に１つのファイル画像が表示されている場合、そのファイル画像に紐付くファイルが制御対象として識別され、複数のファイル画像が表示されている場合、各ファイル画像に紐付く各ファイルが制御対象（連携対象）として識別される。なお、ファイル画像は、例えば模式的な画像（例えばアイコン等）であってもよいし、写真等の画像であってもよい。
以下、第４実施形態の具体的な実施例について説明する。
（実施例１１）
実施例１１について説明する。図３２には、端末装置１０が示されている。端末装置１０の正面側ディスプレイ４０には、ファイル画像９６が表示されている。ファイル画像９６は、例えば文書ファイルＡに紐付く画像である。また、ファイル画像９６と共に、又は、ファイル画像９６に代えて、文書ファイルＡの名称を示す文字列が表示されてもよい。なお、ユーザは、ＵＩ部２０を操作することで、ファイル画像９６の表示位置や表示サイズを変えることができる。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザがフレキシブルディスプレイを、図３２に示されている矢印９８の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されているファイル画像を特定する。上記の曲げ操作によって、ファイル画像９６が表示されている位置に変化が発生した場合、特定部３０は、ファイル画像９６に紐付く文書ファイルＡを制御対象として識別する。制御部２８は、文書ファイルＡに対応付けられているソフトウェア（例えば文書編集ソフトウェア）が指定された旨をユーザに通知してもよいし、そのソフトウェアを起動させることで、文書ファイルＡの内容（文書自体）をＵＩ部２０の表示部に表示させてもよい。また、制御部２８は、ファイル画像９６を変更してもよい。例えば、制御部２８は、指定された状態を表す画像にファイル画像９６を変更してもよいし、文書ファイルＡの内容（文書自体）が表示されている状態を表す画像にファイル画像９６を変更してもよい。
上記の実施例１と同様に、変形操作毎に実行単独機能（例えばソフトウェア）が割り当てられていてもよい。この場合、特定部３０は、上記の曲げ操作に対応付けられている実行単独機能を特定し、制御部２８は、その実行単独機能を通知又は実行する。また、制御部２８は、変形操作の態様に応じて実行単独機能を変えてもよい。
実施例１１によれば、ユーザがフレキシブルディスプレイを変形させることで、変化した位置に表示されているファイル画像に紐付くファイルが制御対象として識別され、そのファイルに対応付けられている機能が通知又は実行される。これより、簡易な操作によって、機能が通知又は実行される。
また、実施例３と同様に、特定部３０は、変形操作の方向の延長線上に表示されているファイル画像に紐付くファイルを制御対象として識別し、制御部２８は、そのファイルに対応付けられている機能を通知又は実行してもよい。
（実施例１２）
実施例１２について説明する。実施例１２では、複数のファイルが連携対象（制御対象）として識別され、連携機能が通知又は実行される。実施例１２に係る連携機能管理情報は、複数の機能を連携させることによって実行される連携機能を管理するための情報である。連携機能は、例えば、複数のソフトウェアを連携させることによって実現される機能である。もちろん、連携機能は、ハードウェアとしての機器が有する機能と、ソフトウェアによって実現される機能と、を連携させることによって実現される機能であってもよいし、複数の機器を連携させることによって実現される機能であってもよい。
実施例１２に係る連携機能について更に詳しく説明する。連携機能は、複数のファイル（データ）が連携対象（制御対象）として識別された場合に、当該複数のファイルを対象にして実行される機能である。例えば、個々のファイル毎に、当該ファイルに対して処理を実行するソフトウェア（アプリケーションソフトウェア）が対応付けられている。連携機能は、当該複数のファイルのそれぞれに対応付けられているアプリケーションを連携させることによって実現される機能である。
ファイルは、例えば、文書ファイル、画像ファイル、動画ファイル、表計算ファイル、プレゼンテーション用ファイル、図形（図面）ファイル、音声ファイル等である。
文書ファイルは、文書形式（文書フォーマット）を有するファイルであり、文字列やその他の情報によって構成されるファイルである。画像や表や図形が、その他の情報として文書ファイルに含まれてもよい。文書形式は、例えばテキスト形式やドキュメント形式等である。テキスト形式を有するデータ（例えば、拡張子として文字列「.txt」が紐付いているデータ）や、ドキュメント形式を有するデータ（例えば、拡張子として文字列「.doc」や「.docx」が紐付いているデータ）等が、文書ファイルに該当する。
画像ファイルは、画像形成（画像フォーマット）を有するファイルである。画像ファイルは、ラスター形式を有する画像データであってもよいし、ベクター形式を有する画像データであってもよい。画像形式は、例えばJPEG形式、BMP（ビットマップ）形式、PDF形式、GIF形式、TIFF形式、PNG形式、PICT形式等である。JPEG形式を有するデータ（拡張子として文字列「.jpeg」が紐付いているデータ）、BMP形式を有するデータ（拡張子として文字列「.bmp」が紐付いているデータ）、PDF形式を有するデータ（拡張子として文字列「.pdf」が紐付いているデータ）、GIF形式を有するデータ（拡張子として文字列「.gif」が紐付いているデータ）、TIFF形式を有するデータ（拡張子として文字列「.tiff」が紐付いているデータ）、PNG形式を有するデータ（拡張子として文字列「.png」が紐付いているデータ）、PICT形式を有するデータ（拡張子として文字列「.pict」が紐付いているデータ）等が、画像ファイルに該当する。もちろん、これら以外の形式を有する画像データが、画像ファイルとして用いられてもよい。
動画ファイルは、動画形式（動画フォーマット）を有するファイルである。動画形式は、例えばAVI形式、MP4形式、MOV形式、MPEG2-TS形式、MPEG2-PS形式、WMV形式、FLV形式等である。AVI形式を有するデータ（拡張子として文字列「.avi」が紐付いているデータ）、MP4形式を有するデータ（拡張子として文字列「.mp4」が紐付いているデータ）、MOV形式を有するデータ（拡張子として文字列「.mov」が紐付いているデータ）、MPEG2-TS形式を有するデータ（拡張子として文字列「.m2ts」が紐付いているデータ）、MPEG2-PS形式を有するデータ（拡張子として文字列「.mpeg」が紐付いているデータ）、WMV形式を有するデータ（拡張子として文字列「.wmv」が紐付いているデータ）、FLV形式を有するデータ（拡張子として文字列「.flv」が紐付いているデータ）等が、動画ファイルに該当する。もちろん、これら以外の形式を有する動画データが、動画ファイルとして用いられてもよい。
表計算ファイルは、表形式（表フォーマット）を有するファイルであり、表やグラフやその他の情報によって構成されるファイルである。文字列や画像や図形が、その他の情報として表計算ファイルに含まれてもよい。例えば、拡張子として文字列「.csv」や「.xls」や「.xlsx」が紐付いているデータである。
プレゼンテーション用ファイルは、プレゼンテーション用のシート形式（シートフォーマット）を有するファイルである。例えば、拡張子として文字列「.ppt」や「.pptx」が紐付いているデータが、プレゼンテーション用ファイルに該当する。プレゼンテーション用ファイルは、例えば、文字列、画像（静止画像や動画像）、図形、音声等によって構成される。
図形ファイルは、図形（図面）形式（図形フォーマット）を有するファイルである。図形ファイルは、例えば、図形作成ソフトウェア（例えば２次元ＣＡＤや３次元ＣＡＤ等）によって作成されるファイルである。例えば、DXF形式（フォーマット）を有するデータ（拡張子として文字列「.dxf」が紐付いているデータ）、DWG形式を有するデータ（拡張子として文字列「.dwg」が紐付いているデータ）等である。その他、拡張子として「.vsd」や「.vsdx」が紐付いているデータが図形ファイルとして扱われてもよい。
音声ファイルは、音声形式（音声フォーマット）を有するファイルである。音声形式は、例えば、非圧縮音声形式（WAV形式、AIFF形式、BWF形式等）、非可逆圧縮音声形式（mp3形式、AAC形式、WMA形式等）、可逆圧縮音声形式（TAK形式、FLAC形式等）等である。非圧縮音声形式を有するデータ（拡張子として「.wav」等が紐付いているデータ）、非可逆圧縮音声形式を有するデータ（拡張子として文字列「.mp3」等が紐付いているデータ）、非圧縮音声形式を有するデータ（拡張子として文字列「.tak」等が紐付いているデータ）等が、音声ファイルに該当する。
以下、図３３を参照して、実施例１２に係る連携機能管理テーブルについて説明する。図３３には、実施例１２に係る連携機能管理テーブルの一例が示されている。連携機能管理テーブルにおいては、一例として、複数のファイル形式の組み合わせを示す情報と、連携機能を示す情報（連携機能情報）と、フレキシブルディスプレイに対して行われる変形操作を示す変形操作情報と、当該複数のファイル形式の組み合わせに対応付けられている連携機能群の中で当該変形操作が行われたときに実行される連携機能を示す実行連携機能情報と、が互いに対応付けられている。この連携機能管理テーブルを参照することで、複数のファイル形式の組み合わせに対応付けられている連携機能が特定される。
実施例１２では、連携機能は、ファイルの形式（属性）毎に定められている。ファイル形式は、上記の文書形式、画像形式、動画形式、表形式、シート形式、図形形式、音声形式等である。
連携機能は、互いに異なる複数の機能（例えば、互いに異なるソフトウェア）を連携させることによって実現される機能であってもよいし、同一の機能（例えば、同一のソフトウェア）を連携させることによって実現される機能であってもよい。例えば、文書作成機能（文書作成ソフトウェア）と画像表示機能（画像表示ソフトウェア（例えば画像ビューア））とを連携させることによって、連携機能として、文書への画像の挿入（添付）機能や、画像上への文書（文字列、テキスト）の重畳機能が実現される。すなわち、文書作成機能と画像表示機能とを連携させることによって、画像挿入機能やテキスト重畳機能が実現される。
連携機能管理テーブルによって管理されている連携機能は、端末装置１０にインストールされているソフトウェアによって実行可能な機能であってもよいし、サーバ１６等の外部装置にインストールされているソフトウェアによって実行可能な機能であってもよいし、端末装置１０にインストールされているソフトウェアと外部装置にインストールされているソフトウェアとによって実行可能な機能であってもよい。
なお、連携機能管理情報の別の例として、複数の機能（複数のソフトウェア）の組み合わせを示す情報と、当該複数の機能を連携させることによって実行可能な連携機能を示す情報（連携機能情報）と、変形操作情報と、実行連携機能情報と、が互いに対応付けられていてもよい。
以下、図３３に示されている各連携機能について説明する。
図３３中の「文書形式」は、テキスト形式（拡張子が「.txt」である）やドキュメント形式（拡張子が「.doc」や「.docx」である）である。「表形式」は、拡張子が「.csv」や「.xls」等で表現される形式である。画像形式は、拡張子が「.jpeg」や「.pdf」等で表現される形式である。動画形式は、拡張子が「.avi」や「.mpeg」等で表現される形式である。シート形式は、拡張子が「.ppt」等で表現される形式である。図３３には、図形形式や音声形式が示されていないが、これらを含む組み合わせと連携機能との対応付けが連携機能管理テーブルに登録されてもよい。もちろん、図３３に示されているファイル形式以外のファイル形式を含む組み合わせと連携機能との対応付けが定められて連携機能管理テーブルに登録されてもよい。
各連携機能について更に詳しく説明する。文書ファイルＡと表計算ファイルＢが連携対象（制御対象）として識別された場合、文書形式と表形式との組み合わせに対応付けられている「表を文書に挿入する機能」と「文書を表に挿入する機能」が連携機能として特定される。「表を文書に挿入する機能」は、表計算ファイルＢによって表される表を、文書ファイルＡによって表される文書中に挿入する機能である。「文書を表に挿入する機能」は、文書ファイルＡによって表される文書を、表計算ファイルＢによって表される表中に挿入する機能である。
文書ファイルＡと画像ファイルＣが連携対象として識別された場合、文書形式と画像形式との組み合わせに対応付けられている「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能として特定される。「画像を文書に挿入する機能」は、画像ファイルＣによって表される画像を、文書ファイルＡによって表される文書に挿入する機能である。「文書を画像上に重畳する機能」は、文書ファイルＡによって表される文書を、画像ファイルＣによって表される画像上に重畳する機能である。
文書ファイルＡと動画ファイルＤが連携対象として識別された場合、文書形式と動画形式との組み合わせに対応付けられている「動画を文書に挿入する機能」と「静止画を文書に挿入する機能」が連携機能として特定される。「動画を文書に挿入する機能」は、動画ファイルＤによって表される動画を、文書ファイルＡによって表される文書に挿入する機能である。「静止画を文書に挿入するという機能」は、動画ファイルＤを構成する１又は複数のフレーム（静止画）を、文書ファイルＡによって表される文書に挿入する機能である。例えば、文書ファイルＡは、動画に対応していない文書ファイル、つまり、動画を挿入することができないファイルに該当する場合において、「静止画を文書に挿入する機能」が実行された場合、動画ファイルＤ中の１又は複数フレーム（静止画）が、文書ファイルＡによって表される文書に挿入される。また、「文書を動画に挿入する機能」が、連携機能として用いられてもよい。
同一のファイル形式を有する複数のファイルが連携対象として識別されてもよい。例えば、文書ファイルＡ１，Ａ２が連携対象として識別された場合、文書形式と文書形式との組み合わせに対応付けられている「文書同士を合体する機能」が連携機能として特定される。「文書同士を合体する機能」は、文書ファイルＡ１，Ａ２が表す文書を合体する（例えば、２つの文書を結合する）ことで、文書ファイルＡ１，Ａ２を残しつつ、又は、文書ファイルＡ１，Ａ２を残さずに、別の新たな文書ファイルＡ３を生成する機能である。
表計算ファイルＢ１，Ｂ２が連携対象として識別された場合、表形式と表形式との組み合わせに対応付けられている「表同士を合体する機能」が連携機能として特定される。「表同士を合体する機能」は、表計算ファイルＢ１，Ｂ２が表す表を合体する（例えば、２つの表を結合する）ことで、表計算ファイルＢ１，Ｂ２を残しつつ、又は、表計算ファイルＢ１，Ｂ２を残さずに、別の新たな表計算ファイルＢ３を生成する機能である。
動画ファイルＤ１，Ｄ２が連携対象として識別された場合、動画形式と動画形式との組み合わせに対応付けられている「動画同士を合体する機能」が連携機能として特定される。「動画同士を合体する機能」は、動画ファイルＤ１，Ｄ２が表す動画を合体する（例えば、２つの動画を結合する）ことで、動画ファイルＤ１，Ｄ２を残しつつ、又は、動画ファイルＤ１，Ｄ２を残さずに、別の新たな動画ファイルＤ３を生成する機能である。
その他、プレゼンテーション用ファイルＥと文書ファイルＡが連携対象として識別された場合、シート形式と文書形式との組み合わせに対応付けられている「文書をプレゼンテーション用シートに挿入する機能」が連携機能として特定される。「文書をプレゼンテーション用シートに挿入する機能」は、プレゼンテーション用ファイルＥによって表されるシートに、文書ファイルＡによって表される文書を挿入する機能である。
以下、図３４を参照して、実施例１２について詳しく説明する。図３４には、端末装置１０が示されている。端末装置１０の正面側ディスプレイ４０には、ファイル画像９６，１００が表示されている。ファイル画像１００は、例えば画像ファイルＣに紐付く画像である。ユーザは、ＵＩ部２０を操作することで、ファイル画像９６，１００の表示位置や表示サイズを変更することができる。なお、ファイル画像９６，１００と共に、又は、ファイル画像９６，１００に代えて、ファイル名を示す情報（例えば文字列）が表示されてもよい。
例えば、ユーザが、フレキシブルディスプレイ（端末装置１０自体）の左側部１０ａの全体を、フレキシブルディスプレイの右側部１０ｂに向けて折り曲げたものとする。つまり、ユーザが、フレキシブルディスプレイを矢印１０２の方向に折り曲げたものとする。
検知部２４は、上記の曲げ操作によるフレキシブルディスプレイの変化（変形）を検知し、その変化が発生した位置を特定し、制御部２８は、その位置に表示されているファイル画像を特定する。上記の曲げ操作によって、ファイル画像９６，１００が表示されている位置に変化が発生した場合、特定部３０は、ファイル画像９６に紐付く文書ファイルＡとファイル画像１００に紐付く画像ファイルＣを制御対象（連携対象）として識別する。この点について更に詳しく説明すると、特定部３０は、文書ファイルＡの拡張子（例えば、文書ファイルＡの属性情報として文書ファイルＡに紐付けられている拡張子）に基づいて文書ファイルＡのファイル形式を識別する。同様に、特定部３０は、画像ファイルＣの拡張子（例えば、画像ファイルＣの属性情報として画像ファイルＣに紐付けられている拡張子）に基づいて画像ファイルＣのファイル形式を識別する。なお、拡張子は、ファイル名に含まれている場合がある。文書ファイルＡの拡張子が、「.txt」や「.docx」等のように文書形式を表す拡張子に該当する場合、特定部３０は、文書ファイルＡのファイル形式は文書形式であると識別する。画像ファイルＣの拡張子が、「.jpeg」等のように画像形式を表す拡張子に該当する場合、特定部３０は、画像ファイルＣのファイル形式は画像形式であると識別する。そして、特定部３０は、図３３に示されている連携機能管理テーブルを参照することで、文書形式と画像形式との組み合わせに対応付けられている連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定する。例えば、その実行連携機能は、「画像を文書に挿入する」機能であるものとする。
制御部２８は、例えば、上記のようにして特定された実行連携機能を示す情報をフレキシブルディスプレイに表示させる。制御部２８は、実行連携機能を示す情報を音声情報として出力してもよい。ユーザが、その実行連携機能の実行指示を与えた場合、制御部２８は、画像ファイルＣによって表される画像を、文書ファイルＡによって表される文書中に挿入する。
より詳しく説明すると、制御部２８は、文書アプリケーションと画像アプリケーションを起動させる。文書アプリケーションは、文書形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。画像アプリケーションは、画像形式を有するファイルの生成や編集や表示を行う機能を有するソフトウェア（プログラム）である。なお、文書アプリケーションは、文書ファイルＡに予め紐付けられていてもよいし、画像アプリケーションは、画像ファイルＣに予め紐付けけられていてもよい。制御部２８は、画像アプリケーションが有する機能を利用することで、画像ファイルＣから画像をコピーし、文書アプリケーションが有する機能を利用することで、文書ファイルＡによって表される文書中に当該画像を貼り付ける。これにより、画像が挿入された文書が生成される。なお、制御部２８は、画像アプリケーションが有する機能を利用することで、画像ファイルＣによって表される画像から特定部分を表す部分画像を抽出し、その部分画像を文書中に貼り付けてもよい。文書において画像が貼り付けられる領域は、予め定められた領域であってもよいし、ユーザによって指定された領域であってもよいし、その画像に関連する文字列が記述されていると推測される領域であってもよい。例えば、制御部２８は、画像に表されている特徴部分を表現する文字列を推測や検索し、文書において、その文字列と同一又は類似の意味を有する文字列が記述されている領域を、画像に関連する文字列が記述されている領域であると推測する。もちろん、別の手法によって、その領域が推測されてもよい。
また、制御部２８は、ファイル画像９６，１００を変更してもよい。
制御部２８は、連携機能を実行することで新たなファイルを生成してもよい。この場合、連携対象として識別された複数のファイル自体は編集されない。例えば、文書ファイルＡと画像ファイルＣが連携対象のファイルとして識別され、「画像を文書に挿入する機能」の実行指示が与えられた場合、制御部２８は、画像ファイルＣによって表される画像を文書ファイルＡによって表される文書中に貼り付けることで、新たな文書ファイルＡＣを生成する。この場合、制御部２８は、文書ファイルＡＣに紐付く新たなファイル画像（例えばアイコン）を生成し、そのファイル画像をフレキシブルディスプレイに表示させる。この場合、文書ファイルＡと画像ファイルＣ自体は編集されない。
別の例として、制御部２８は、連携機能を実行することで、新たなファイルを生成せずに、連携対象として識別されたファイル自体を編集（加工等を含む）してもよい。上記の例で説明すると、制御部２８は、画像ファイルＣによって表される画像を文書ファイルＡによって表される文書中に貼り付け、その画像の貼り付けが反映された文書ファイルを文書ファイルＡとして保存する。この場合、文書ファイルＡが更新される。
実施例１２によれば、ユーザがフレキシブルディスプレイを変形させることで、その変形に応じた連携機能が通知又は実行される。これにより、簡易な操作によって、連携機能が通知又は実行される。
また、実施例３と同様に、特定部３０は、変形操作の方向の延長線上に表示されている各ファイル画像に紐付く各ファイルを連携対象（制御対象）として識別し、それら複数のファイルの形式の組み合わせに対応付けられている連携機能群の中で、その変形操作に対応付けられている実行連携機能を特定してもよい。制御部２８は、その実行連携機能を通知又は実行する。制御部２８は、変形操作の態様に応じて連携機能を変えてもよい。
また、実施例１２に実施例４が適用されてもよい。つまり、操作方向に対する複数のファイル画像の並び順に応じて、連携機能が変更されてもよい。
実施例１２においては、ファイル同士の主従関係に応じて、連携機能に関する情報の通知や、実行される連携機能が変更されてもよい。例えば、ファイルに表されるコンテンツ自体の編集が可能なファイルが主ファイルに該当し、コンテンツ自体の編集が不可能なファイルが従ファイルに該当する。一例として、文書ファイルに表される文書自体の編集が可能な場合、当該文書ファイルは主ファイルに該当する。また、画像ファイルに表される画像自体の編集が不可能な場合（つまり、画像上にコンテンツを重畳させることは可能であるが、当該画像自体の編集が不可能な場合）、当該画像ファイルは従ファイルに該当する。他のファイルについても同様である。もちろん、文書ファイルであっても、文書の編集が不可能な文書ファイルは従ファイルに該当し、画像ファイルであっても、画像の編集が可能な画像ファイルは主ファイルに該当する。
特定部３０は、識別されたファイルの形式（つまり拡張子）に基づいて、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、特定部３０は、文書形式を有するファイル、表形式を有するファイル、シート形式を有するファイル、及び、図形形式を有するファイルは、主ファイルに該当すると判断し、画像形式を有するファイル、動画形式を有するファイル、及び、音声形式を有するファイルは、従ファイルに該当すると判断してもよい。もちろん、ファイルが主ファイル又は従ファイルの何れかに該当するのかという判断は、ファイル形式によって一概に判断されずに、連携対象として識別されたファイルを個別的に判断することで、当該ファイルが主ファイル又は従ファイルの何れかに該当するのかを判断してもよい。例えば、画像形式を有するファイルであっても、画像の編集が可能なファイルであれば、当該ファイルは主ファイルに該当してもよい。
例えば、文書ファイルＡと画像ファイルＣが連携対象として識別された場合、特定部３０は、文書ファイルＡに紐付く拡張子に基づいて、文書ファイルＡが主ファイル又は従ファイルの何れかに該当するのかを判断し、画像ファイルＣに紐付く拡張子に基づいて、画像ファイルＣが主ファイル又は従ファイルの何れかに該当するのかを判断する。文書ファイルＡの拡張子は、例えば「.docx」であり、画像ファイルＣの拡張子は、例えば「.jpeg」であるものとする。この場合、文書ファイルＡは、文書形式を有し編集可能なファイルに該当するため、特定部３０は、文書ファイルＡが主ファイルに該当すると判断する。また、画像ファイルＣは、画像形式を有し編集不可能なファイルに該当するため、特定部３０は、画像ファイルＣが従ファイルに該当すると判断する。もちろん、特定部３０は、拡張子に基づいて判断せずに、文書ファイルＡと画像ファイルＣを個別的に判断することで、文書ファイルＡと画像ファイルＣが編集可能なファイルに該当するか否かを判断してもよい。
文書ファイルＡが主ファイルに該当し、画像ファイルＣが従ファイルに該当するため、画像ファイルＣに表された画像が貼り付け対象のコンテンツに該当し、文書ファイルＡに表された文書が当該画像の貼り付け先のコンテンツに該当する。この場合、特定部３０は、「画像を文書に挿入する機能」を実行連携機能として特定する。
また、制御部２８は、図３３に示されている連携機能管理テーブルに登録されている複数の連携機能の中で、ファイルの主従関係に基づいて特定された連携機能に関する情報を、他の連携機能に関する情報よりも優先的に通知してもよい。文書ファイルＡと画像ファイルＣを例に挙げて説明すると、文書形式と画像形式との組み合わせに対応する連携機能として、「画像を文書に挿入する機能」と「文書を画像上に重畳する機能」が連携機能管理テーブルに登録されている（図３３参照）。この場合、特定部３０は、ファイルの主従関係に基づいて特定された「画像を文書に挿入する機能」を優先順位が「１位」の連携機能として特定し、「文書を画像上に重畳する機能」を優先順位が「２位」の連携機能として特定する。制御部２８は、優先順位に従って、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に（例えば上位に）通知する。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２８は、ユーザによる各連携機能の使用履歴に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を通知してもよい。例えば、制御部２８は、使用頻度の高い連携機能に関する情報ほど優先的に（例えば上位に）通知する。
また、ファイルの主従関係に基づいて複数の連携機能が特定された場合、制御部２８は、連携対象として識別された複数のファイルの関係性（つまり、複数のファイル形式の関係性）に基づいて各連携機能の優先順位を決定し、各連携機能の優先順位に従って、各連携機能に関する情報を通知してもよい。例えば、制御部２８は、複数のファイル形式に基づいて、特定部３０によって特定された複数の連携機能に含まれる各連携機能について、使用される可能性の高さを決定する。制御部２８は、使用される可能性が高い連携機能に関する情報ほど優先的に（例えば上位に）通知する。例えば、文書形式と画像形式との組み合わせにおいては、「文書を画像上に重畳する機能」よりも「画像を文書に挿入する機能」の方が使用される可能性が高いと予測される。この場合、制御部２８は、「画像を文書に挿入する機能」に関する情報を「文書を画像上に重畳する機能」に関する情報よりも優先的に通知する。
なお、連携対象の組み合わせは、上記の第１実施形態から第４実施形態における組み合わせに限定されるものではない。例えば、機器、機能（機器によって実行される機能とソフトウェアによって実行される機能を含む）、ファイル、及び、ソフトウェアの中の少なくとも２つの組み合わせが連携対象として識別された場合、その組み合わせを使用して実行可能な連携機能の通知又は実行が制御されてもよい。例えば、フレキシブルディスプレイに対する変形操作によって、機器とファイルが連携対象として識別された場合、特定部３０は、当該機器と当該ファイルとを使用して実行可能な連携機能を特定し、制御部２８は、その連携機能を通知又は実行する。具体例を挙げて説明すると、複合機と文書ファイルが連携対象として識別された場合、特定部３０は、複合機と文書ファイルとを使用して実行可能な連携機能（例えば、文書ファイルを複合機によって印刷する機能や、文書ファイルを複合機によってファクシミリ送信する機能等）を特定する。制御部２８は、その連携機能を通知又は実行する。同様に、機能とファイルが連携対象として識別された場合、特定部３０は、当該機能と当該ファイルとを使用して実行可能な連携機能を特定し、制御部２８は、その連携機能を通知又は実行する。具体例を挙げて説明すると、文書アプリケーションと文書ファイルが連携対象として識別された場合、特定部３０は、文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集する機能や出力する機能等）を特定する。また、機器と機能とファイルが連携対象として識別された場合、特定部３０は、当該機器と当該機能（例えばソフトウェア）と当該ファイルとを使用して実行可能な連携機能を特定し、制御部２８は、その連携機能を通知又は実行する。具体例を挙げて説明すると、複合機と文書アプリケーションと文書ファイルが連携対象として識別された場合、特定部３０は、複合機と文書アプリケーションと文書ファイルとを使用して実行可能な連携機能（例えば、文書アプリケーションによって文書ファイルを編集して複合機に出力し、複合機にて当該文書ファイルを印刷やファクシミリ送信する機能等）を特定する。上記の具体例における組み合わせは一例に過ぎず、上記以外の機器、機能、ファイル、ソフトウェアを組み合わせて実行可能な連携機能が定められてもよい。
また、上記の第１実施形態から第４実施形態において、フレキシブルディスプレイに対して同じ変形操作が連続して行われた場合（例えば、予め定められた時間内に同じ変形操作が２回行われた場合）、制御部２８は、最初の変形操作によって特定された単独機能や連携機能の通知や実行を取り消してもよい。つまり、同じ変形操作が連続して行われた場合、単独機能や連携機能の通知や実行がキャンセルされる。こうすることで、簡易な操作によって、機能の通知や実行をキャンセルを行うことができる。
また、検知部２４は、フレキシブルディスプレイの特定部分に対する変形操作を無効な操作として検知してもよい。例えば、ユーザがフレキシブルディスプレイを持つために握ると想定される部分が、特定部分に該当する。そのような特定部分を設けておくことで、ユーザがフレキシブルディスプレイを持つために握った場合、その握られた部分が、変形操作が行われた部分として検知されずに済み、ユーザの意図しない動作が行われずに済む。特定部分は、予め定められていてもよいし、ユーザによって設定されてもよい。
また、特定部３０は、変形操作によって制御対象を識別し、制御部２８は、その制御対象を利用して実行可能な単独機能や連携機能を選択するための機能選択画面をＵＩ部２０の表示部に表示させてもよい。ユーザが、その機能選択画面において単独機能や連携機能を選択して実行指示を与えた場合、制御部２８は、ユーザによって選択された機能の実行を制御する。
また、検知部２４は、予め定められた時間以上にわたってフレキシブルディスプレイに対して変形操作が行われた場合、その変形操作を有効な操作として検知し、予め定められた時間未満にわたって行われた変形操作を無効な操作として検知してもよい。こうすることで、ユーザが意図しない動作が行われずに済む。なお、上記の予め定められた時間は、ユーザによって変更されてもよい。
また、検知部２４は、単位時間当たりにフレキシブルディスプレイに加えられた力の大きさに基づいて、変形操作の有効又は無効を判断してもよいし、フレキシブルディスプレイに加えられた圧力に基づいて、変形操作の有効又は無効を判断してもよい。
＜第５実施形態＞
以下、第５実施形態に係るフレキシブルディスプレイについて説明する。第５実施形態では、検知部２４は、基準位置からのフレキシブルディスプレイの変化を検知し、制御部２８は、その変化量に応じて処理を制御すると共に、その基準位置を変更する。以下、第５実施形態について詳しく説明する。
図３５には、フレキシブルディスプレイ（図３５に示す例では端末装置１０自体）を側面側から見た状態が模式的に示されている。基準位置１０４は、フレキシブルディスプレイが曲げられていないときの位置（デフォルトの位置）である。ユーザが、フレキシブルディスプレイの一部分１０６を破線部分１０８の位置まで曲げた場合、検知部２４は、その曲げ量を検知する。例えば、検知部２４は、基準位置１０４と破線部分１０８の位置との間の角度θａを曲げ量として検知する。制御部２８は、その曲げ量に応じた処理の通知や実行を制御する。
例えば、曲げ量と機能とが対応付けられ、その対応付けを示す情報が、端末装置１０やサーバ１６等に記憶されている。特定部３０は、検知部２４によって検知された曲げ量（例えば角度θａ）に対応付けられている機能を特定し、制御部２８は、その特定された機能の通知や実行を制御する。その機能は、機器によって実行される機能であってもよいし、ソフトウェアによって実行される機能であってもよいし、単独の制御対象（機器やソフトウェア）によって実行される単独機能であってもよいし、１又は複数の制御対象によって実行される連携機能であってもよい。
また、アプリケーションソフトウェアが起動しているときに、検知部２４によって曲げ量が検知された場合、制御部２８は、その曲げ量に応じた処理をそのアプリケーションソフトウェアに実行させてもよい。例えば、同一のアプリケーションソフトウェアについて、曲げ量毎に、そのアプリケーションソフトウェアによって実行される処理が対応付けられており、特定部３０は、検知部２４によって検知された曲げ量に対応付けられている処理を特定する。制御部２８は、その特定された処理の通知や実行を制御する。
制御部２８は、例えば、予め定められた変更条件に従って、基準位置を変更する。その変更条件は、例えば、基準位置を変更するタイミングに関する条件である。具体的には、制御部２８は、フレキシブルディスプレイの表示開始時における変化量に基づいて基準位置を変更する。表示開始時は、例えば、フレキシブルディスプレイの電源がオンされたタイミング、フレキシブルディスプレイがスリープ状態や休止状態から稼働状態に復帰したタイミング（つまり、電力消費が制限されている状態からその制限が解除されたタイミング）、等である。また、制御部２８は、予め定められた時間以上にわたってフレキシブルディスプレイが変化していない場合、基準位置を変更してもよい。
例えば、検知部２４は、フレキシブルディスプレイの電源がオンされたときのフレキシブルディスプレイの曲げ位置を検知し、制御部２８は、その検知された位置を基準位置として用いる。曲げ位置が検知されなかった場合、制御部２８は、デフォルトの基準位置１０４を用いる。一方、一部分１０６が破線部分１０８の位置まで曲げられており、電源オン時に、その曲げ位置（破線部分１０８の位置）が検知された場合、制御部２８は、破線部分１０８の位置（角度θａの位置）を新たな基準位置として用いる。フレキシブルディスプレイがスリープ状態や休止状態から復帰した場合も同様である。つまり、検知部２４は、フレキシブルディスプレイがスリープ状態や休止状態から稼働状態に復帰したときのフレキシブルディスプレイの曲げ位置を検知し、制御部２８は、その検知された位置を基準位置として用いる。曲げ位置が検知されなかった場合、制御部２８は、デフォルトの基準位置１０４を用いる。
また、一部分１０６が破線部分１０８の位置まで曲げられており、予め定められた時間以上にわたって、その曲げ状態が維持されて検知部２４によって検知された場合、制御部２８は、破線部分１０８の位置を新たな基準位置として用いてもよい。
新たな基準位置が定められた場合、制御部２８は、その新たな基準位置からの曲げ量に応じて、処理の通知や実行を制御する。
以下、図３６を参照して、基準位置の変更処理について詳しく説明する。図３６には、フレキシブルディスプレイ（図３６に示す例では端末装置１０自体）を側面側から見た状態が模式的に示されている。例えば、フレキシブルディスプレイの一部分１０６が、実線部分１１０の位置まで曲げられている。なお、元々の基準位置１０４と実線部分１１０との間の角度は角度θｘである。変更条件が満たされている場合、制御部２８は、基準位置を元々の基準位置１０４から実線部分１１０の位置に変更する。つまり、制御部２８は、実線部分１１０の位置を新たな基準位置として用いる。一部分１０６が、その新たな基準位置（実線部分１１０の位置）から破線部分１１２の位置（新たな基準位置との間の角度が角度θａの位置）まで曲げられた場合、特定部３０は、その曲げ量（角度θａ）に対応付けられている処理を特定し、制御部２８は、その処理の通知又は実行を制御する。こうすることで、曲げ量に応じた処理が適切に実行される。この点について、以下、図３６と図３７を参照して更に詳しく説明する。
図３７には、フレキシブルディスプレイ（図３７に示す例では端末装置１０自体）を側面側から見た状態が模式的に示されている。例えば、一部分１０６が実線部分１１０の位置まで曲げられて、その状態が維持されている場合において、一部分１０６が、その位置から更に破線部分１０８まで曲げられた場合について検討する。破線部分１０８の位置は、一部分１０６が元々の基準位置１０４から角度θａ曲げられた位置である。元々の基準位置１０４が基準位置として用いられ、一部分１０６が、実線部分１１０から破線部分１０８まで曲げられた場合、検知部２４は、角度θａを曲げ量として検知する。実線部分１１０と破線部分１０８との間の角度は角度θｙ（＜θａ）であり、実際の曲げ量は角度θｙであるにも関わらず、角度θａが曲げ量として検知され、角度θａに対応付けられている処理が通知又は実行される。これに対して、実線部分１１０が基準位置として用いられる場合、一部分１０６が実線部分１１０から破線部分１０８まで曲げられても、曲げ量（角度θｙ）が検知され、曲げ量（角度θａ）は検知されない。図３６に示すように、一部分１０６が破線部分１１２まで曲げられたときに、曲げ量（角度θａ）が検知され、その角度θａに対応付けられている処理が通知又は実行される。こうすることで、ユーザの意図しない動作の発生を防止することができる。
ここで、第５実施形態に係る動作について説明する。まず、制御部２８は、現在のフレキシブルディスプレイの状態（例えば、電源の状態（オン、オフ、スリープ、休止等）、起動中のアプリケーションソフトウェア等）を検知する。次に、検知部２４は、現在のフレキシブルディスプレイの曲げ位置を検知する。例えば、図３６に示すように、一部分１０６が実線部分１１０の位置まで曲げられている場合、検知部２４は、その曲げ位置を検知する。なお、フレキシブルディスプレイがスライド式のディスプレイである場合、検知部２４は、スライド式によって展開したときのディスプレイの位置を検知してもよい。次に、制御部２８は、変形操作の基準位置を設定する。図３５に示すように、フレキシブルディスプレイが曲げられていない場合、制御部２８は、デフォルトの基準位置１０４を基準位置として設定する。図３６に示すように、一部分１０６が実線部分１１０の位置まで曲げられている場合、制御部２８は、実線部分１１０の位置を基準位置として設定する。また、アプリケーションソフトウェアが起動している場合、制御部２８は、その起動しているアプリケーションソフトウェアを識別する。次に、フレキシブルディスプレイに対して変形操作（例えば曲げ操作）が行われた場合、検知部２４は、上記のようにして設定された基準位置からの曲げ量を検知する。特定部３０は、その曲げ量に応じた処理を特定し、制御部２８は、その特定された処理を通知又は実行する。
第５実施形態によれば、表示手段としてのフレキシブルディスプレイの変化が反映された基準位置からの変化に基づく制御を行うことができる。これにより、例えば、ユーザの意図しない動作の発生を防止することができる。例えば、フレキシブルディスプレイに曲げ癖が発生している場合や、ギア等を利用することでフレキシブルディスプレイの状態を曲げ状態に維持できる場合や、フレキシブルディスプレイを曲げた状態に維持することができる材料が用いられた場合等においては、デフォルトの基準位置からの曲げ量に応じた処理を通知又は実行すると、ユーザの意図しない処理が通知又は実行されることがある。第５実施形態によれば、フレキシブルディスプレイがそのような状態であっても、新たな基準位置からの曲げ量に応じた処理が通知又は実行されるので、上記の問題の発生を防止することができる。
例えば、フレキシブルディスプレイの一部分を６０度曲げたときに特定のアプリケーションソフトウェアが実行されるという設定が、定められているものとする。この場合において、その一部分がデフォルトの基準位置から既に３０度曲げられている場合、その一部分を更に３０度曲げただけで、その特定のアプリケーションソフトウェアが実行されてしまう。ユーザとしては、フレキシブルディスプレイを６０度曲げたときに特定のアプリケーションソフトウェアが実行されると意識しているはずであるから、上記の動作はユーザの意図に反することになる。これに対して、第５実施形態によれば、フレキシブルディスプレイがデフォルトの基準位置から３０度曲げられた位置が、新たな基準位置として定められる。そのため、フレキシブルディスプレイを、新たな基準位置から更に３０度曲げても特定のアプリケーションは実行されず。新たな基準位置から更に６０度曲げたときに特定のアプリケーションソフトウェアが実行される。それ故、ユーザの意図に一致した動作が実現される。
（変形例１）
以下、図３７を参照して、第５実施形態の変形例１について説明する。変形例１では、変更前の基準位置（例えば基準位置１０４）、又は、変更後の基準位置（例えば実線部分１１０の位置）の何れかがユーザによって選択され、制御部２８は、ユーザによって選択された基準位置からの変化量に応じて処理を制御する。なお、変更前の基準位置（過去の基準位置）を示す情報は、端末装置１０に記憶される。
例えば、図３７に示すように、一部分１０６が実線部分１１０まで既に曲げられているものとする。変更後の基準位置が選択されている場合、上記の例と同様に、制御部２８は、実線部分１１０の位置を基準位置として用い、特定部３０は、実線部分１１０の位置からの曲げ量に応じた処理を特定し、制御部２８は、その特定された処理を通知又は実行する。例えば、図３６に示すように、一部分１０６が破線部分１１２の位置（角度θａの位置）まで曲げられた場合、制御部２８は、角度θａに対応付けられている処理を通知又は実行する。
一方、変更前の基準位置が選択されている場合、制御部２８は、デフォルトの基準位置１０４を基準位置として用い、特定部３０は、基準位置１０４からの曲げ量に応じた処理を特定し、制御部２８は、その特定された処理を通知又は実行する。例えば、図３７に示すように、一部分１０６が実線部分１１０の位置から破線部分１０８の位置（実線部分１１０の位置を基準とすると角度θｙの位置であり、基準位置１０４を基準とすると角度θａの位置）まで曲げられた場合、制御部２８は、基準位置１０４から破線部分１０８の位置までの曲げ量（角度θａ）に応じた処理を通知又は実行する。
変形例１によれば、変更前の基準位置が選択された場合、変更後の基準位置が選択された場合と比べて、より少ない曲げ量によって、処理を通知又は実行することができる。
（変形例２）
以下、図３８を参照して、第５実施形態の変形例２について説明する。図３８には、フレキシブルディスプレイ（図３８に示す例では端末装置１０自体）を側面側から見た状態を示す模式図である。変形例２では、変化量が段階的に検知され、制御部２８は、その検知された変化量に応じて処理を制御する。以下、図３８を参照して、変形例２について詳しく説明する。
例えば、フレキシブルディスプレイがデフォルトの基準位置１０４から破線部分１１４の位置（角度θｂの位置）まで曲げられた場合、特定部３０は、その曲げ量（角度θｂ分の曲げ量）に対応付けられている機能Ａを特定し、制御部２８は、その機能Ａを用いた処理を通知又は実行する。フレキシブルディスプレイが破線部分１１４の位置まで曲げられた時点から予め定められた制限時間内に、フレキシブルディスプレイが破線部分１１４の位置から更に破線部分１１６の位置（破線部分１１４の位置から角度θｂの位置、基準位置１０４から角度２θｂの位置）まで曲げられた場合、特定部３０は、その曲げ量（角度２θｂ分の曲げ量）に対応付けられている機能Ｂを特定し、制御部２８は、その機能Ｂを用いた処理を通知又は実行する。上記の制限時間が過ぎた後、制御部２８は、破線部分１１４の位置を基準位置として用いる。この場合、フレキシブルディスプレイが破線部分１１４の位置から更に破線部分１１６の位置まで曲げられた場合、特定部３０は、その曲げ量（角度θｂ分の曲げ量）に対応付けられている機能Ａを特定し、制御部２８は、その機能Ａを用いた処理を通知又は実行する。
別の例として、フレキシブルディスプレイが破線部分１１４の位置（角度θｂの位置）まで曲げられ、その曲げ量（角度θｂ分の曲げ量）が検知部２４によって検知されているものとする。次に、その曲げ量が検知された時点から予め定められた制限時間（変形操作を確定するための時間）以内に、更に、フレキシブルディスプレイが破線部分１１４の位置から破線部分１１６の位置まで曲げられ（角度θｂ分の曲げ操作が更に行われ）、その２回目の曲げ操作が検知部２４によって検知されたものとする。この場合、特定部３０は、その２段階の曲げ操作に対応付けられている機能Ｃを特定し、制御部２８は、その特定された機能Ｃを用いた処理を通知又は実行してもよい。つまり、基準位置１０４から破線部分１１４（角度θｂ）の位置までフレキシブルディスプレイが曲げられ、その曲げ量（角度θｂ分の曲げ量）が検知部２４によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部２８は、機能Ａを用いた処理を通知又は実行する。また、基準位置１０４から破線部分１１６（角度２θｂ）の位置までフレキシブルディスプレイが曲げられ、その曲げ量（角度２θｂ分の曲げ量）が検知部２４によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部２８は、機能Ｂを用いた処理を通知又は実行する。また、フレキシブルディスプレイが破線部分１１４の位置（角度θｂの位置）まで曲げられ、その曲げ操作が検知部２４によって検知され、制限時間が経過した場合、破線部分１１４の位置が基準位置として定められる。そして、更に、フレキシブルディスプレイが破線部分１１４の位置から破線部分１１６の位置まで曲げられ（角度θｂ分の曲げ操作が更に行われ）、その曲げ量（角度θｂ分の曲げ量）が検知部２４によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部２８は、機能Ａを用いた処理を通知又は実行する。また、フレキシブルディスプレイが破線部分１１４の位置（角度θｂの位置）まで曲げられ、その曲げ操作が検知部２４によって検知され、制限時間以内に（変形操作が確定する前に）、更に、フレキシブルディスプレイが破線部分１１４の位置から破線部分１１６の位置まで曲げられ（角度θｂ分の曲げ操作が更に行われ）、その２回目の曲げ操作が検知部２４によって検知され、その状態で制限時間が経過した場合、その変形操作が確定され、制御部２８は、機能Ｃを用いる処理を通知又は実行する。
変形例２によれば、段階的に検知された変化量に応じた処理が通知又は実行されるので、同じ変化量の範囲内であっても、実行可能な処理の数を増やすことができる。
（変形例３）
以下、図３９を参照して、第５実施形態の変形例３について説明する。図３９には、フレキシブルディスプレイ（図３９に示す例では端末装置１０自体）を側面側から見た状態が模式的に示されている。変形例３では、制御部２８は、フレキシブルディスプレイの変化の方向に応じて処理を制御する。
変化量と変化の方向と機能とが互いに対応付けられており、特定部３０は、検知部２４によって検知された変化量と変化の方向とに対応付けられている機能を特定し、制御部２８は、その特定された機能を用いた処理を通知又は実行する。
例えば、図３９に示すように、フレキシブルディスプレイの一部分１０６が、基準位置１０４から破線部分１１８の位置まで曲げられた場合、検知部２４は、その曲げ量と曲げの方向を検知する。図３９に示す例では、角度＋θａが、その曲げ量と曲げ方向として検知される。特定部３０は、その角度＋θａに対応付けられている機能を特定し、制御部２８は、その特定された機能を用いる処理を通知又は実行する。
また、フレキシブルディスプレイの一部分１０６が、基準位置１０４から破線部分１２０の位置まで曲げられた場合、検知部２４は、その曲げ量と曲げ方向を検知する。破線部分１２０の位置は、基準位置１０４を境に破線部分１１８とは反対側の位置であり、角度−θａが、その曲げ量と曲げ方向として検知される。特定部３０は、その角度−θａに対応付けられている機能を特定し、制御部２８は、その特定された機能を用いる処理を通知又は実行する。角度−θａに、角度＋θａに対応付けられている機能とは別の機能を対応付けておくことで、角度−θａの位置までフレキシブルディスプレイが曲げられた場合、角度＋θａの位置までフレキシブルディスプレイが曲げられた場合とは異なる機能を用いる処理が通知又は実行される。
変形例３によれば、変化量と変化方向に応じた処理が制御されるので、変化量のみ又は変化方向のみに応じた処理が制御される場合と比べて、より多くの処理の制御ができる。
上記の端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０、機器１２，１４及びサーバ１６のそれぞれは、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、例えばプロセッサや電子回路やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０、機器１２，１４及びサーバ１６のそれぞれの各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０ 端末装置、１２，１４ 機器、１６ サーバ、２４ 検知部、２８ 制御部、３０ 特定部。

Claims (20)

  1. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、
    前記制御手段は、前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、
    情報処理装置。
  2. 前記制御手段は、前記検知結果に応じて、変化した位置に表示されている画像を更に変更する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記制御手段は、変化した位置に表示されている画像に紐付く制御対象の制御が不可能な場合、変更後の画像を元の画像に戻して表示する、
    ことを特徴とする請求項２に記載の情報処理装置。
  4. 前記制御手段は、前記表示手段の変化に対応する位置に複数の制御対象に紐付く複数の画像が表示されている場合、前記複数の制御対象を利用して実行可能な前記連携機能の通知を制御する、
    ことを特徴とする請求項１から請求項３何れかに記載の情報処理装置。
  5. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、
    前記表示手段の変化は、前記表示手段の曲げ変化であり、
    前記制御手段は、曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、
    情報処理装置。
  6. 前記制御手段は、前記延長線上に１つの制御対象に紐付く１つの画像が表示されている場合、前記１つの制御対象を利用して実行可能な単独機能の通知を制御する、
    ことを特徴とする請求項５に記載の情報処理装置。
  7. 前記制御手段は、前記延長線上に複数の制御対象に紐付く複数の画像が表示されている場合、前記複数の制御対象を利用して実行可能な連携機能の通知を制御する、
    ことを特徴とする請求項５に記載の情報処理装置。
  8. 前記制御手段は、前記延長線上における前記複数の画像の並び順に応じて連携機能を変える、
    ことを特徴とする請求項７に記載の情報処理装置。
  9. 前記制御手段は、前記延長線上に表示されている画像に紐付く制御対象の部分を利用して実行可能な機能の通知を制御する、
    ことを特徴とする請求項５に記載の情報処理装置。
  10. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段を有し、
    前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、
    前記制御手段は、前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、
    情報処理装置。
  11. 前記制御手段は、前記第１画面に対する有効な変化が検知された場合、前記制御対象の前記第１方向側に紐付く機能への指示を制御し、前記第２画面に対する有効な変化が検知された場合、前記制御対象の前記第２方向側に紐付く機能への指示を制御する、
    ことを特徴とする請求項１０に記載の情報処理装置。
  12. 前記第１画面側への前記表示手段の曲げ操作が、前記第１画面に対する有効な変化として検知され、前記第２画面側への前記表示手段の曲げ操作が、前記第２画面に対する有効な操作として検知される、
    ことを特徴とする請求項１１に記載の情報処理装置。
  13. 前記制御対象は、機器、機能、ファイル及びソフトウェアの中の少なくとも１つである、
    ことを特徴とする請求項１から請求項１２何れかに記載の情報処理装置。
  14. 前記表示手段を更に有する、
    ことを特徴とする請求項１から請求項１３何れかに記載の情報処理装置。
  15. コンピュータを、
    変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、
    として機能させ、
    前記制御手段は、前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、
    プログラム。
  16. コンピュータを、
    変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、
    として機能させ、
    前記表示手段の変化は、前記表示手段の曲げ変化であり、
    前記制御手段は、曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、
    プログラム。
  17. コンピュータを、
    変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御する制御手段、
    として機能させ、
    前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、
    前記制御手段は、前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、
    プログラム。
  18. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、
    前記表示手段の曲げ変化が検知された場合、変化した位置に表示されている画像に紐付く制御対象を利用して実行可能な連携機能の通知を制御し、前記曲げ変化の態様に応じて前記連携機能を変える、
    制御方法。
  19. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、
    前記表示手段の変化は、前記表示手段の曲げ変化であり、
    曲げ方向の延長線上に表示されている画像に紐付く制御対象を利用して実行可能な機能の通知を制御する、
    制御方法。
  20. 変形可能な表示手段の各位置の変化の検知結果に応じて、変化した位置に表示されている画像に紐付く制御対象への指示を制御し、
    前記表示手段は、前記制御対象を第１方向から見た状態を表示する第１画面と、前記制御対象を第２方向から見た状態を表す第２画面と、を含み、
    前記第１画面における変化と前記第２画面における変化のそれぞれに応じた制御を行う、
    制御方法。
JP2017204802A 2017-10-23 2017-10-23 情報処理装置、プログラム及び制御方法 Active JP6972909B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017204802A JP6972909B2 (ja) 2017-10-23 2017-10-23 情報処理装置、プログラム及び制御方法
US16/015,197 US10627916B2 (en) 2017-10-23 2018-06-22 Information processing device with flexible display, information processing method, and non-transitory computer readable medium
CN201810882737.9A CN109697241B (zh) 2017-10-23 2018-08-06 信息处理装置、信息处理方法以及计算机可读介质
US16/836,944 US11119583B2 (en) 2017-10-23 2020-04-01 Information processing device with flexible display, information processing method, and non-transitory computer readable medium
JP2021175825A JP2022023931A (ja) 2017-10-23 2021-10-27 情報処理装置、プログラム及び制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017204802A JP6972909B2 (ja) 2017-10-23 2017-10-23 情報処理装置、プログラム及び制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021175825A Division JP2022023931A (ja) 2017-10-23 2021-10-27 情報処理装置、プログラム及び制御方法

Publications (2)

Publication Number Publication Date
JP2019079209A JP2019079209A (ja) 2019-05-23
JP6972909B2 true JP6972909B2 (ja) 2021-11-24

Family

ID=66169304

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017204802A Active JP6972909B2 (ja) 2017-10-23 2017-10-23 情報処理装置、プログラム及び制御方法
JP2021175825A Pending JP2022023931A (ja) 2017-10-23 2021-10-27 情報処理装置、プログラム及び制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021175825A Pending JP2022023931A (ja) 2017-10-23 2021-10-27 情報処理装置、プログラム及び制御方法

Country Status (3)

Country Link
US (2) US10627916B2 (ja)
JP (2) JP6972909B2 (ja)
CN (1) CN109697241B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399921B (zh) * 2019-07-25 2021-07-20 维沃移动通信有限公司 一种图片处理方法及终端设备
CN113497958B (zh) * 2020-04-01 2023-08-11 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5351114Y2 (ja) 1974-02-09 1978-12-07
JPS5811749A (ja) 1981-07-16 1983-01-22 Nippon Steel Corp メツキスラツジの処理方法
JP4584025B2 (ja) * 2005-05-18 2010-11-17 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 機能表示装置、及び、機能表示プログラム
JP4607192B2 (ja) 2006-01-06 2011-01-05 シャープ株式会社 携帯端末装置、表示プログラム、および記録媒体
CN101378431A (zh) * 2007-08-31 2009-03-04 鹏智科技(深圳)有限公司 图片显示装置及方法
US9459656B2 (en) * 2008-10-12 2016-10-04 Samsung Electronics Co., Ltd. Flexible devices and related methods of use
JP5618486B2 (ja) * 2009-01-30 2014-11-05 株式会社東芝 携帯情報端末
JP5693049B2 (ja) * 2010-06-04 2015-04-01 キヤノン株式会社 画像形成装置、その制御方法、及びプログラム
JP5737906B2 (ja) 2010-11-01 2015-06-17 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体
JP5892361B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
JP2013105312A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報処理装置、制御方法およびプログラム
JP2013196623A (ja) * 2012-03-22 2013-09-30 Sharp Corp ディスプレイ装置、ディスプレイシステム、およびディスプレイ制御方法、ならびにそのプログラム。
KR101721046B1 (ko) * 2012-04-08 2017-03-29 삼성전자주식회사 디스플레이 장치 및 그에 대한 제어 방법
KR101948665B1 (ko) 2012-08-23 2019-02-18 삼성전자주식회사 플렉서블 장치 및 그 제어 방법
JP6079060B2 (ja) 2012-08-29 2017-02-15 株式会社リコー 携帯端末、画像形成方法及び画像形成システム
CN103116968A (zh) * 2012-11-19 2013-05-22 佳都新太科技股份有限公司 一种基于图形化报警流程自定义的方法
KR102358110B1 (ko) * 2015-03-05 2022-02-07 삼성디스플레이 주식회사 표시 장치
US20170052685A1 (en) 2015-08-17 2017-02-23 Tenten Technologies Limited User experience for social sharing of electronic data via direct communication of touch screen devices
JP6146528B1 (ja) * 2016-11-22 2017-06-14 富士ゼロックス株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP2022023931A (ja) 2022-02-08
US20200225766A1 (en) 2020-07-16
CN109697241A (zh) 2019-04-30
US11119583B2 (en) 2021-09-14
US20190121447A1 (en) 2019-04-25
US10627916B2 (en) 2020-04-21
CN109697241B (zh) 2023-10-17
JP2019079209A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6972806B2 (ja) 情報処理装置、プログラム及び制御方法
JP7081099B2 (ja) 情報処理装置、プログラム及び制御方法
US11119706B2 (en) Information processing device and non-transitory computer readable medium for notification of linkage function
US20210321010A1 (en) Information processing device and non-transitory computer readable medium
JP2022023931A (ja) 情報処理装置、プログラム及び制御方法
JP2019049902A (ja) 情報処理装置及びプログラム
CN109895092B (zh) 信息处理装置、信息处理方法以及计算机可读介质
JP7155505B2 (ja) 情報処理装置、プログラム及び制御方法
JP6486077B2 (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
US11200209B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
JP6642630B2 (ja) 情報処理装置及びプログラム
JP7302642B2 (ja) 情報処理装置、プログラム及び制御方法
JP7119398B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R150 Certificate of patent or registration of utility model

Ref document number: 6972909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150