JP6939081B2 - 入力装置及びプログラム - Google Patents

Description

本発明は、入力装置及びプログラムに関する。

昨今、操作入力の受け付け手段として、いわゆるタッチパネルを用いる機器が増えている。タッチパネルには様々な方式があり、例えば特許文献１には光学式のタッチパネルが記載されている。

特開２００７−６５７６７号公報

今日の機器には、ユーザの利便性を高めるため、様々な付属品が用意されている。一方で、取り付けられる付属品の種類や取り付け位置によっては、操作入力の環境（以下「操作環境」ともいう。）に変化が生じることがあるが、既存の機器には操作環境の変化に対応する機能が用意されていない。

本発明は、付属品の取り付けによる操作環境の変化に応じて操作入力に関連する制御を変化させない場合に比して、操作入力を容易にすることを目的とする。

請求項１に記載の発明は、装置本体に対する付属品の取り付け位置を検知する検知手段と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段とを有し、取り付け後の前記付属品は、ディスプレイの表示面と重複しない、入力装置であり、前記制御手段は、前記付属品の取り付け位置に応じて、前記表示面の表示コンテンツに対する操作入力を受け付ける被操作子の表示上のレイアウトを変化させ、前記付属品の取り付け後に前記被操作子が表示される領域は、当該付属品を取り付ける前の当該被操作子が表示されている領域よりも当該付属品の取り付け位置から遠ざかる方向に位置している領域を含む、入力装置である。
請求項２に記載の発明は、装置本体に対する付属品の取り付け位置を検知する検知手段と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段とを有し、取り付け後の前記付属品は、ディスプレイの表示面と重複しない、入力装置であり、前記制御手段は、前記付属品の取り付け位置に応じて、操作入力の検知動作を制御する、入力装置である。
請求項３に記載の発明は、装置本体に対する付属品の取り付け位置を検知する検知手段と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段とを有し、前記制御手段は、前記付属品の近くに配置された第一の被操作子について設定される検知範囲の拡張量であって、当該第一の被操作子の目視上の配置位置から当該付属品から遠ざかる方向への当該拡張量を、当該第一の被操作子よりも当該付属品から遠い位置に配置された第二の被操作子についての当該拡張量よりも大きな値に設定する、入力装置である。
請求項４に記載の発明は、装置本体に対する付属品の取り付け位置を検知する検知手段と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段とを有し、前記制御手段は、前記付属品が取り付けられている方向への連続的な操作入力が検知される場合、当該方向とは異なる方向への連続的な操作入力が検知される場合よりも、当該連続的な操作入力に対応する機能の有効化を早める、入力装置である。
請求項５に記載の発明は、前記装置本体に取り付けられた状態の前記付属品は、操作入力に使用される領域との間に一段高い段差を形成する、請求項１に記載の入力装置である。
請求項６に記載の発明は、前記付属品は、操作入力を光学的に検知する入力検知手段を収容する構造体である、請求項５に記載の入力装置である。
請求項７に記載の発明は、前記検知手段は、撮像手段で撮像された画像に基づいて、前記付属品の取り付け位置を検知する、請求項１に記載の入力装置である。
請求項８に記載の発明は、前記検知手段は、前記装置本体に対する前記付属品の着脱を検知するセンサである、請求項１に記載の入力装置である。
請求項９に記載の発明は、前記センサは、前記装置本体の複数の位置に設けられている、請求項８に記載の入力装置である。
請求項１０に記載の発明は、装置本体に付属品を取り付けた場合に、取り付け後の付属品がディスプレイの表示面と重複しない状態で使用される入力装置に設けられるコンピュータに、前記装置本体に対する前記付属品の取り付け位置を検知する機能と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる機能とを実現させるためのプログラムであり、前記付属品の取り付け位置に応じて、前記表示面の表示コンテンツに対する操作入力を受け付ける被操作子の表示上のレイアウトを変化させ、前記付属品の取り付け後に前記被操作子が表示される領域は、当該付属品を取り付ける前の当該被操作子が表示されている領域よりも当該付属品の取り付け位置から遠ざかる方向に位置している領域を含む、プログラムである。
請求項１１に記載の発明は、前記付属品は、入力物体からの反射光の検知により検知領域内における当該入力物体の座標を取得する光学式のセンサである、請求項２〜５、７及び８のいずれか１項に記載の入力装置である。
請求項１２に記載の発明は、装置本体に付属品を取り付けた場合に、取り付け後の付属品がディスプレイの表示面と重複しない状態で使用される入力装置に設けられるコンピュータに、前記装置本体に対する前記付属品の取り付け位置を検知する機能と、検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる機能とを実現させるためのプログラムであり、前記付属品の取り付け位置に応じて、操作入力の検知動作を制御する、プログラムである。

請求項１記載の発明によれば、被操作子の表示上のレイアウトの変化を通じて操作入力を容易にできる。
請求項２記載の発明によれば、検知動作の変化を通じて操作入力を容易にできる。
請求項３記載の発明によれば、検知動作の変化を通じて操作入力を容易にできる。
請求項４記載の発明によれば、検知動作の変化を通じて操作入力を容易にできる。
請求項５記載の発明によれば、段差が形成される部分の操作入力を容易にできる。
請求項６記載の発明によれば、光学的な検知手段の後付けによって操作環境が変化する場合でも操作入力を容易にできる。
請求項７記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。
請求項８記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。
請求項９記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。
請求項１０記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。
請求項１１記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。
請求項１２記載の発明によれば、付属品の取り付けによる操作環境の変化に応じて制御を変化させない場合に比して、操作入力を容易にできる。

実施の形態１に係る画像形成装置の外観図である。 実施の形態１に係る画像形成装置の内部構造を示す図である。 画像形成装置１を構成する制御装置等の機能ブロック構成例を説明する図である。 実施の形態１で使用する操作入力検知機能部を説明する図である。 付属品の一例であるテンキーを、表示部の右側に取り付ける例を説明する図である。（ａ）は付属品としてのテンキーを取り付ける前の状態を表す図であり、（ｂ）は付属品としてのテンキーの取り付け中の様子を表す図であり、（ｃ）は付属品としてのテンキーを取り付けた後の状態を表す図である。 付属品としてのテンキーが表示部に取り付けられた状態をカメラで撮像して写真を得る様子を説明する図である。（ａ）はユーザがカメラを用いて表示部とテンキーを撮影する様子を示す図であり、（ｂ）はカメラで撮影された写真を示す図である。 操作入力検知機能部による検知動作の実行例を説明するフローチャートである。 表示領域を上下方向に移動させるスクロールバーが画面表示されている場合のレイアウトの変化例を説明する図である。（ａ）は付属品としてのテンキーが取り付けられる前のレイアウトを示す図であり、（ｂ）はテンキーが取り付けられた後のレイアウトを示す図である。 表示領域を上下方向に移動させるスクロールバーが画面表示されている場合のレイアウトの他の変化例を説明する図である。（ａ）は付属品としてのテンキーが取り付けられる前のレイアウトを示す図であり、（ｂ）はテンキーが取り付けられた後のレイアウトを示す図である。 表示領域を上下方向に移動させるスクロールバーが画面表示されている場合のレイアウトの他の変化例を説明する図である。（ａ）は付属品としてのテンキーが取り付けられる前のレイアウトを示す図であり、（ｂ）はテンキーが取り付けられた後のレイアウトを示す図である。 実施の形態２で使用する操作入力検知機能部を説明する図である。 操作入力検知機能部によって実行される検知範囲の設定動作例を説明するフローチャートである。 付属品が取り付けられる前の検知範囲の設定状態を説明する図である。 付属品が表示部の上辺部分に取り付けられた場合の検知範囲の設定例を説明する図である。 表示部にリスト形式の表示画像が表示されている場合における検知範囲の他の設定例を説明する図である。 表示部にリスト形式の表示画像が表示されている場合における検知範囲の他の設定例を説明する図である。 実施の形態３で使用する操作入力検知機能部を説明する図である。 操作入力検知機能部による検知動作の実行例を説明するフローチャートである。 付属品が表示部の上辺部分に取り付けられた場合に機能が有効化される位置の違いを説明する図である。 表示部にページＢが表示されている状態で付属品が取り付けられている上辺方向に画面の切り替え操作が行われる場合を説明する図である。（ａ）はページの切り替え前の状態を示す図であり、（ｂ）はページの切り替え後の状態を示す図である。 表示部にページＡが表示されている状態で付属品が取り付けられていない下辺方向に画面の切り替え操作が行われる場合を説明する図である。（ａ）はページの切り替え前の状態を示す図であり、（ｂ）はページの切り替え後の状態を示す図である。 アイコンを付属品が取り付けられている上辺側に隠れている次ページにドラッグ移動する場合を説明する図である。（ａ）はページの切り替え前の状態を示す図であり、（ｂ）はページの切り替え後の状態を示す図である。 アイコンを付属品が取り付けられていない下辺側に隠れている次ページにドラッグ移動する場合を説明する図である。（ａ）はページの切り替え前の状態を示す図であり、（ｂ）はページの切り替え後の状態を示す図である。 フォルダにアイコンをドラッグ移動する場合を説明する図である。 ノート型のコンピュータに座標検知センサを取り付けて使用する例を説明する図である。（ａ）はコンピュータに座標検知センサを取り付けた状態を説明する図であり、（ｂ）は座標検知センサの外観構成を示す図である。 コンピュータを構成する制御部等の機能ブロック構成例を説明する図である。 座標検知センサが入力物体Ｔを検出する原理を説明する図である。 平板型の外観を有するコンピュータに光学式の座標検知センサを取り付ける例を説明する図である。（ａ）は座標検知センサの外観構成を説明する図であり、（ｂ）は座標検知センサを取り付けた状態を説明する図である。 額縁型の座標検知センサを取り付けた状態を説明する図である。 タッチパネルを有するスマートフォンに端末ホルダを取り付けた状態を説明する図である。 タッチパネルを有するスマートフォンにクリップ型のカメラレンズを取り付けた状態を説明する図である。

以下、添付図面を参照して、実施の形態について詳細に説明する。

＜実施の形態１＞
ここでは、画像形成装置を例に説明する。本実施の形態で説明する画像形成装置は、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する装置であり、コピー機能、スキャナ機能、ファックス送受信機能、印刷機能を備えている。もっとも、画像形成装置は、これら全ての機能を搭載する必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、プリンタ（３次元プリンタを含む。）でもよい。

＜画像形成装置の全体構成＞
図１は、実施の形態１に係る画像形成装置１の外観図である。図２は、実施の形態１に係る画像形成装置１の内部構造を示す図である。
画像形成装置１は、原稿の画像を読み取る画像読取装置１００と、記録材上に画像を記録する画像記録装置２００と、を備えている。また、画像形成装置１は、ユーザからの操作入力の受付やユーザに対する各種情報の表示を行なうユーザインターフェース（ＵＩ）３００を備えている。
さらに、画像形成装置１は、画像形成装置１の全体動作を制御する制御装置５００を備える。ここでの制御装置５００は、検知手段の一例であると共に制御手段の一例でもある。

画像読取装置１００は、画像形成装置１の上部に配置されている。画像記録装置２００は、画像読取装置１００の下側に配置され、制御装置５００を内蔵している。ユーザインターフェース３００は、画像形成装置１の上部の手前側、つまり画像読取装置１００の後述する画像読取部１１０の手前側に配置されている。

まずは、画像読取装置１００について説明する。
画像読取装置１００は、原稿の画像を読み取る画像読取部１１０と、この画像読取部１１０に原稿を搬送する原稿搬送部１２０と、を備えている。原稿搬送部１２０は、画像読取装置１００の上部に配置され、画像読取部１１０は、画像読取装置１００の下部に配置されている。
原稿搬送部１２０は、原稿を収容する原稿収容部１２１と、この原稿収容部１２１から搬送された原稿が排出される原稿排出部１２２とを有し、原稿収容部１２１から原稿排出部１２２へ原稿を搬送する。原稿搬送部１２０は、原稿自動送り装置（ＡＤＦ：Auto Document Feeder）とも呼ばれる。

次に、画像記録装置２００について説明する。
画像記録装置２００は、用紙Ｐに画像を形成する画像形成部２０と、画像形成部２０に対して用紙Ｐを供給する用紙供給部６０と、画像形成部２０にて画像が形成された用紙Ｐを排出する用紙排出部７０と、画像形成部２０にて一方の面に画像が形成された用紙Ｐの表裏を反転させ、画像形成部２０に向けて再度搬送する反転搬送部８０と、を備えている。

ユーザインターフェース３００は入力装置の一例であり、詳しくは後述するが、表示部や操作受付部等を備えている。
表示部には、各種の情報を提供する画面や個々の機能に対応付けられたキー（いわゆるソフトウェアキー）が表示される。本実施の形態の場合、表示部の表面側には、操作受付部が配置される。操作受付部には、指先の接近を静電容量の変化により検知する静電容量式のタッチセンサ、指先の接近を光学的に検知する光学センサ等を使用する。タッチセンサは接触型の座標入力装置であり、光学センサは非接触型の座標入力装置である。

ユーザインターフェース３００には、不図示のボタンやスイッチ（いわゆるハードウェアキー）も設けられており、これらハードウェアキーに対する操作を検知するための操作受付部も配置されている。
操作受付部によって、ソフトウェアキーやハードウェアキーを用いた操作入力が検知される。「操作入力」とは、何らかの指示を与えることを目的とした操作のことを指し、例えばハードウェアキーの押下、画面のタップ操作、画面のスクロール操作、アイコンの選択操作などがある。

＜画像形成装置の基本動作＞
画像形成装置１は、以下のように動作する。
例えば、画像形成装置１は、画像形成装置１を使用して原稿をコピーすることができる。すなわち、画像形成装置１は、画像読取装置１００によって読み取られた原稿の画像データを画像記録装置２００に与え、原稿の画像を用紙Ｐに形成することができる。
また、画像形成装置１は、通信回線に接続された不図示のパーソナルコンピュータ（ＰＣ）等から印刷のジョブを受信し、受信した画像を用紙Ｐに形成することができる。すなわち、画像形成装置１は、通信回線を介して受信した印刷のジョブに含まれる画像データを画像記録装置２００に与え、画像を用紙Ｐ上に形成することができる。
また、画像形成装置１は、ファクシミリの送受信を行なうことができる。すなわち、画像形成装置１は、画像読取装置１００によって読み取られた原稿の画像データを、通信回線を介して送信することができる。
さらに、画像形成装置１は、原稿の画像データを保存することができる。すなわち、画像形成装置１は、装置の内部や通信回線を介して接続されたＰＣに原稿の画像データを保存することができる。

＜制御装置等の構成＞
図３は、画像形成装置１を構成する制御装置５００等の機能ブロック構成例を説明する図である。
制御装置５００は、装置全体を制御するＣＰＵ（Central Processing Unit）５０１と、ＲＯＭ（Read Only Memory）５０２と、ＲＡＭ（Random Access Memory）５０３と、画像データ等の記憶に用いられる記憶装置５０４と、画像データが表す画像に色補正や階調補正などの画像処理を加える画像処理部５０５とを備える。

ＣＰＵ５０１は、ＲＡＭ５０３を作業エリアに使用してＲＯＭ５０２から読み出したプログラムを実行する。
記憶装置５０４は、ハードディスク装置や半導体メモリなどで構成され、画像読取装置１００で読み取った原稿の画像や通信装置４００を通じて受信した画像に関するデータを記憶する。また、記憶装置５０４は、必要に応じてプログラムの記憶にも用いられる。
画像処理部５０５は、例えば専用のプロセッサや処理ボードとして構成され、色補正や階調補正などの画像処理を実行する。

ユーザインターフェース３００は、操作画面などの表示に使用される表示部３０１と、ユーザの操作入力を受け付ける操作受付部３０２を備えている。
表示部３０１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルで構成される。
操作受付部３０２は、操作入力に使用される領域（以下「検知領域」といい、例えば表示部３０１の表面を含む。）上における入力物体の位置や移動を操作入力として検知する操作検知部として機能する。

前述したように、操作受付部３０２には、例えばボタン、スイッチなどのハードウェアキー、指やペンなどの入力物体と検知領域との物理的な接触によって生じる物理量の変化を検出し、検出された情報に基づいて入力物体が接した座標位置を検出する接触型の座標入力デバイス、赤外線光などで構成される検出面を横切る入力物体の座標位置を非接触で検出する非接触型の座標入力デバイスなどが用いられる。
入力物体とは、入力装置に対して何らかの指示を与える際に用いられる物体のことを指し、例としては指やペンなどが挙げられる。

接触型の座標入力デバイスの検知方式には、行方向に配列された電極群と列方向に配列された電極群を上下二層に配置し、接触位置を通電位置として検知するマトリクススイッチ方式、２枚の透明電極膜（薄膜であり、抵抗膜として機能する）を上下二層に配置し、接触位置を電圧値より検知する抵抗膜方式、ガラスなどの基板の複数の隅に配置した圧電素子から振動波を発生し、接触位置を振動波の反射時間より検知する表面弾性波方式、電子ペンと呼ばれる専用のペンを使用する電磁誘導方式、指先と導電膜との間で生じる静電容量の変化から接触位置を検知する静電容量方式などがある。
接触型の座標入力デバイスは、表示部３０１の表面上に重ねて配置される。

一方、非接触型の座標入力デバイスは、光学的な検知面（検知領域）を形成する赤外光を発する発光素子（光源）と、検知面を横切る入力物体の位置を検知するセンサ部とを有している。
センサ部には撮像カメラを用いる方式と受光素子を用いる方式がある。例えば撮像カメラを用いる場合、撮像カメラは検知面を構成する一辺の両端位置に配置される。ＰＤ（Photodiode）等の受光素子を用いる場合、受光素子をＬＥＤ（Light Emitting Diode）等の発光素子と対向する位置に配置する方式や受光素子を発光素子と互い違いに一列に配置する方式等がある。

非接触型の座標入力デバイスは、例えば表示部３０１の少なくとも一辺に沿うように配置される。このとき、非接触型の座標入力デバイスの一辺長は、検知対象とする領域範囲に応じて決定される。一般には、非接触型の座標入力デバイスの一辺長は表示部３０１の一辺よりも長い。
非接触型の座標入力デバイスにおける検知領域は、表示部３０１とは無関係である。従って、光学的に検知可能な範囲である限り、表示部３０１以外の空間領域も検知領域として使用することができる。例えば筐体表面に印刷された記号などに対する操作も、表示部３０１に表示されたソフトウェアキーと同等に検知される。

通信装置４００は、例えばモデムやＬＡＮインターフェースで構成され、ファックス通信や外部装置との通信に用いられる。
外部インターフェース（外部ＩＦ）４５０は、周辺機器との接続用に用意されたインターフェースであり、例えばＵＳＢ（Universal Serial Bus）、マイク入力、イヤホンジャック等がある。前述した通信装置４００は、外部インターフェース４５０の一例である。
本実施の形態における外部インターフェース４５０は付属品の取り付けに使用される。また、通信装置４００と外部インターフェース４５０は、画像記録装置２００やユーザインターフェース３００の一部に設けられていてもよい。

＜操作入力検知機能部＞
続いて、操作入力検知機能部について説明する。本実施の形態における操作入力検知機能部は、ユーザインターフェース３００と制御装置５００（ＣＰＵ５０１）との協働によって実現される。
もっとも、操作入力検知機能部は、ユーザインターフェース３００単独の機能として実現してもよいし、制御装置５００単独の機能として実現してもよい。

制御装置５００は、検知領域上における入力物体の位置や動きに関する情報（例えば検知座標の出力列）を操作受付部３０２から受け付け、ユーザによる操作の対象である被操作子に割り当てられた個々の検知範囲との位置関係に基づいて、ユーザによる操作入力の内容を検知する。
検知範囲は検知領域の部分領域であり、データ処理のための仮想空間上に定義されている。

本実施の形態の場合、被操作子とは、ユーザによる操作入力の対象であって、ユーザが視覚的にその存在を把握できるように設けられるとともに、それを操作することで何らかの指示を制御装置５００に与えることができるものである。
本実施の形態における被操作子は、入力装置に物理的に設けられたハードウェアキー（ボタンなど）でもよいいし、表示画面上に表示されるソフトウェアキー（記号、絵柄など）でもよい。

図４は、実施の形態１で使用する操作入力検知機能部３５１を説明する図である。
図４では、操作受付部３０２として接触型の座標入力デバイスを用いる場合を想定する。この場合、操作受付部３０２は、表示部３０１の表面側に配置されるので、表示部３０１の表示領域と操作受付部３０２による入力物体の検知領域とは互いに重複する。

操作入力検知機能部３５１は、付属品の取り付けを検知する取り付け検知部３５２と、付属品の取り付け位置と表示画像のレイアウト情報とに応じた被操作子の配置レイアウトを選択するレイアウト選択部３５３と、操作受付部３０２で検知された座標（入力座標）と個々の被操作子について設けられた検知範囲とを照合して操作入力の内容を検知する操作検知部３５４とを有している。
ここでの取り付け検知部３５２は検知手段の一例である。また、レイアウト選択部３５３は、付属品の取り付け位置に応じて操作入力に関連する制御を変化させる制御手段の一例である。

本実施の形態における取り付け検知部３５２は、表示部３０１の外縁を構成する筐体部分への付属品の取り付けの検知に使用される。
前述したように、ユーザの利便性を向上させる目的で様々な種類の付属品が用意されている。付属品には、例えばテンキー、マイク、カメラ、ＵＳＢ、指紋認証ユニット等がある。
図５は、付属品の一例であるテンキーを、表示部３０１の右側に取り付ける例を説明する図である。（ａ）は付属品としてのテンキーを取り付ける前の状態を表す図であり、表示部３０１にはソフトウェアキーとしてのテンキーが表示されている。（ｂ）は付属品としてのテンキー６００の取り付け中の様子を表す図である。（ｃ）は付属品としてのテンキー６００を取り付けた後の状態を表す図である。

（ｃ）では、表示部３０１からソフトウェアキーとしてのテンキーの表示が消えている。この表示内容の変化は、レイアウト選択部３５３の機能を通じて実現される。この表示内容の変化は、操作入力に関連する制御の変化の一例である。
図５においては、表示部３０１の右隣にテンキー６００が取り付けられているが、この位置は右利きのユーザを想定したもので、左利きのユーザを想定する場合には、テンキー６００を表示部３０１の左隣に取り付けてもよい。

テンキー６００の取り付け部分には、操作面となる表示部３０１の表示面よりも一段高い段差を形成する。段差は、検知領域の物理的な外縁を与えるだけでなく、ユーザに対して心理上の外縁も与える。例えば段差があると、無意識のうちに段差との接触を避けようとする心理がユーザに作用する。
ところで、スクロールバーやインデックスバーといった帯状の操作領域は、一般に表示部３０１の外縁に沿って配置される。特に幅が狭い枠によって外周が囲まれた表示部３０１では、スクロールバーやインデックスバーとテンキー６００によって形成される段差との距離が近くなる。このため、心理的な影響でユーザの操作位置がスクロールバー等の表示位置からズレ易く、スクロールバー等を正しく操作できない場合も生じる。

そこで、本実施の形態では、取り付け検知部３５２を用いて付属品（例えばテンキー６００）の着脱やその取り付け位置を検知する。取り付け位置の検知方法には、取り付け位置に配置されたマイクロスイッチ、ホール素子、光電センサ等のセンサを用いる方法、付属品の取り付け位置が予め指定されている場合にプラグアンドプレイ機能を用いて検知する方法、付属品が取り付けられた状態の画像を画像認識することにより付属品の取り付け位置を検知する方法等がある。
なお、複数個のセンサが画像形成装置１（図１参照）に組み込まれていてもよい。組み込み位置は既知であるので、付属品の取り付けを検知したセンサが特定されれば、付属品の取り付け位置も特定される。

図６は、付属品としてのテンキー６００が表示部３０１に取り付けられた状態をカメラ７００で撮像して写真７０１を得る様子を説明する図である。カメラ７００は撮像手段の一例である。
（ａ）はユーザがカメラ７００（例えばデジタルカメラ）を用いて表示部３０１とテンキー６００を撮影する様子を示し、（ｂ）はカメラ７００で撮影された写真７０１を示す。ここでのカメラ７００は、画像形成装置１（図１参照）に備え付けられていてもよいし、付属品として後付けされていてもよいし、画像形成装置１とは関係なくユーザが用意してもよい。

撮影された写真７０１の画像データは、画像形成装置１（図１参照）の本体に用意された外部インターフェース４５０（図３参照）を通じて、又は、外部装置（カメラ７００を含む）との通信により通信装置４００（図３参照）を通じて制御装置５００に取り込まれ、画像認識処理される。
画像認識処理を用いる方法は、付属品の取り付け位置を予測できない場合（例えばクリップ型の部材を用いて取り付ける場合）に付属品の取り付け位置を検知するのに効果的である。

図７は、操作入力検知機能部３５１による検知動作の実行例を説明するフローチャートである。
操作入力検知機能部３５１の動作は概略２段階で実行される。１段目の動作は、付属品の取り付けが検知されたタイミングや表示部３０１に表示される表示コンテンツの内容が切り替えられるタイミングに実行される。
ここで、表示コンテンツとは、表示部３０１に表示される内容全般を指し、文字や画像、リストやアイコンなど表示部３０１に表示されるものであれば何でもよい。例えば表示部３０１に複数の項目がリスト表示されていた場合、その１つ１つの項目も表示コンテンツの一例である。なお、複数の項目からなるリスト全体を表示コンテンツと呼ぶこともできる。

１段目の動作は、取り付け検知部３５２とレイアウト選択部３５３が実行する。２段目の動作は、入力物体による新たな操作入力が検出されるたびに実行される。２段目の動作は、操作検知部３５４が実行する。

まず、取り付け検知部３５２は、取り付けられている付属品の有無を判定する（ステップ１０１）。判定には、前述したセンサ出力や画像認識処理の結果を使用する。取り付けられている付属品が存在しない場合（否定結果の場合）、取り付け検知部３５２は、ステップ１０３に進む。
一方、取り付けられている付属品が存在する場合（肯定結果の場合）、取り付け検知部３５２は、付属品の取り付け位置を検知する（ステップ１０２）。取り付け位置は、付属品の取り付けを検知したセンサの位置や画像認識処理の結果を使用する。

なお、取り付けられた付属品の種類や取り付け状態についても判定されることが望ましい。付属品が取り付けられても操作環境に変化が生じない場合もあり、そのような場合は、被操作子の表示上のレイアウトを変更する必要性も生じないためである。
本実施の形態では、説明を簡単にするために、取り付け位置の情報だけを使用する。

次に、レイアウト選択部３５３は、表示画像のレイアウト情報を取得する（ステップ１０３）。表示画像は、表示コンテンツの表示に使用される主たる表示領域と、表示コンテンツに対する操作入力を受け付ける被操作子が表示される従たる表示領域とで構成される。
表示部３０１に表示される被操作子には、ソフトウェアキー、アイコン、操作バー、メニューバー等が含まれる。

アイコンは、対応付けられている機能の実行指示に使用される。操作バー及びメニューバーは、例えば表示コンテンツに対する操作入力に使用される帯状の操作領域である。操作バー及びメニューバーには、例えばスクロールバーやインデックスバーが含まれる。インデックスバーは、複数のインデックスの配列で構成され、あるインデックスをクリックすることで表示画像の内容をクリックされたインデックスに対応する内容に切り替えることができる。換言すると、表示内容を別の表示内容にジャンプさせることができる。

続いて、レイアウト選択部３５３は、付属品が取り付けられた位置の近くに配置される被操作子の有無を判定する（ステップ１０４）。
レイアウト選択部３５３は、被操作子の表示位置と付属品の取り付け位置との距離が予め定められた基準距離未満の場合に肯定結果を得、基準距離以上の場合に否定結果を得る。判定用の基準距離はユーザが変更できるようにしてもよい。
なお、ステップ１０１で否定結果が得られていた場合、レイアウト選択部３５３は、ステップ１０４の判定でも否定結果を得る。

ステップ１０４で肯定結果が得られた場合、レイアウト選択部３５３はステップ１０５に進み、事前に定めた又は選択されたレイアウトを設定する（ステップ１０５）。
本実施の形態の場合、被操作子の配置に関するレイアウトの候補が１つ又は複数用意されており、レイアウト選択部３５３は、用意されている候補の一つを表示に使用する。変更前のレイアウトに比して操作入力が容易なレイアウトが選択される。被操作子の配置はユーザの好みによって選択できるようにしてもよい。レイアウトの候補の具体例については後述する。
なお、ステップ１０４で否定結果が得られた場合、レイアウトの変更は行われない。

表示画像の表示に使用するレイアウトの設定が終了すると、操作検知部３５４は、入力座標の有無に基づいて入力物体（例えば指先やペン）があるか否かを判定する（ステップ１０６）。
入力座標がそもそも存在しない場合や検知されていた入力座標が消滅した場合、操作検知部３５４は、否定結果を得て実行中の検知処理を終了する。検知処理が終了すると、新たな検知処理が開始される。
入力座標から入力物体の存在が検知された場合（ステップ１０６で肯定結果が得られた場合）、操作検知部３５４は、入力物体の座標を取得する（ステップ１０７）。操作検知部３５４は、認識された入力物体毎にサンプリングされた複数の座標列（移動軌跡）を取得する。

次に、操作検知部３５４は、取得された入力座標と個々の被操作子に設定されている検知範囲とを照合し、操作入力の内容を検知する（ステップ１０８）。ここで、検知範囲は、個々の被操作子の表示上の位置に対応付けられている。
操作検知部３５４は、入力座標がいずれかの検知範囲に含まれる場合であってクリック等の指示が検知されると、対応する被操作子に対する操作を有効とみなす。

＜レイアウトの変化例＞
以下、図８〜図１０を用いて、レイアウト選択部３５３によるレイアウトの変化を説明する。以下では、被操作子がスクロールバーである場合について説明する。

・例１
図８は、表示領域を上下方向に移動させるスクロールバー３１１が画面表示されている場合のレイアウトの変化例を説明する図である。
（ａ）は付属品としてのテンキー６００が取り付けられる前のレイアウトを示し、（ｂ）はテンキー６００が取り付けられた後のレイアウトを示している。
図８の場合、スクロールバー３１１は表示部３０１の左辺側に沿って表示されている。この表示位置は、テンキー６００が取り付けられる表示部３０１の右辺側とは反対である。このため、前述したステップ１０４（図７参照）の判定において否定結果が得られる。結果的に、表示上のレイアウトはテンキー６００の取り付けの前後で変化しない。

なお、スクロールバー３１１の表示幅Ｗ１は標準サイズである。本実施の形態の場合、標準サイズとは、表示画像で用意されている当初の表示幅のことをいい、後述する拡張変換後の拡張サイズ（拡張幅Ｗ３）よりも狭い。
図８の配置の場合、スクロールバー３１１が表示されている表示部３０１の左辺側では操作環境が変化しないため、表示幅が標準サイズであってもユーザは何の支障もなくスクロールバー３１１を操作することができる。

・例２
図９は、表示領域を上下方向に移動させるスクロールバー３１１が画面表示されている場合のレイアウトの他の変化例を説明する図である。
（ａ）は付属品としてのテンキー６００が取り付けられる前のレイアウトを示し、（ｂ）はテンキー６００が取り付けられた後のレイアウトを示している。
図９の場合、スクロールバー３１１は、表示部３０１の右辺側に沿って表示されている。この表示位置は、テンキー６００が取り付けられる表示部３０１の右辺側と同じである。このため、前述したステップ１０４（図７参照）の判定において肯定結果が得られ、テンキー６００の取り付けの前後でレイアウトが変化する。

図９の場合、テンキー６００の取り付け後においては、スクロールバー３１１の表示位置と表示部３０１の右辺との間に幅Ｗ２を有する隙間が配置されている。換言すると、スクロールバー３１１の表示位置はテンキー６００からから遠ざかる方向にシフトされている。
幅Ｗ２は、ユーザがテンキー６００の存在を意識せずにスクロールバー３１１を操作可能な値であればよい。具体的な値は、テンキー６００の取り付けによって形成される段差の高さ等を考慮して経験的に定められる。

なお、新たに配置される幅Ｗ２の隙間は、表示コンテンツの表示領域から除外されてもよいし、表示コンテンツの表示に用いられてもよい。いずれにしても、隙間は、表示コンテンツに対する操作入力に使用されない領域である。
本レイアウト例の場合も、スクロールバー３１１の表示幅Ｗ１は標準サイズである。ただし、本レイアウト例の場合には、テンキー６００の取り付け位置とスクロールバー３１１との間に隙間が設けられているので、スクロールバー３１１の表示幅Ｗ１が標準サイズであっても、ユーザはスクロールバー３１１を容易に操作することができる。

・例３
図１０は、表示領域を上下方向に移動させるスクロールバー３１１が画面表示されている場合のレイアウトの他の変化例を説明する図である。
（ａ）は付属品としてのテンキー６００が取り付けられる前のレイアウトを示し、（ｂ）はテンキー６００が取り付けられた後のレイアウトを示している。
図１０の場合も、テンキー６００の取り付け位置は、スクロールバー３１１の表示側と同じである。従って、前述したステップ１０４（図７参照）の判定において肯定結果が得られ、テンキー６００の取り付けの前後でレイアウトが変化する。

ただし、図１０の場合には、テンキー６００を取り付けた後にスクロールバー３１１の幅が拡張サイズである拡張幅Ｗ３に変化する。
拡張幅Ｗ３は、テンキー６００の取り付けによって形成された段差を避けようとする心理がユーザに作用する場合でもユーザの指先がスクロールバー３１１に触れる値に定められる。具体的な値は、テンキー６００の取り付けによって形成される段差の高さ等を考慮して経験的に定められるが、例えば図９で示した標準サイズの表示幅Ｗ１と隙間の幅Ｗ２を足し合わせた値に設定される。

本レイアウト例の場合、スクロールバー３１１は拡張サイズである拡張幅Ｗ３で表示されるため、スクロールバー３１１の表示位置とテンキー６００の取り付け位置とが近い場合でも、ユーザはスクロールバー３１１を容易に操作することができる。

＜他の変形例＞
図８〜図１０においては、被操作子が、表示領域を上下方向に移動させるスクロールバー３１１の場合について説明したが、被操作子は他のソフトウェアキーでもよい。例えば表示領域を水平方向に移動させるスクロールバー、予め定めた機能が紐付けられている絵柄やアイコン等でもよい。

＜実施の形態２＞
前述の実施の形態１においては、付属品の取り付け位置の検知に応じて表示部３０１に表示される被操作子の表示上のレイアウトを変化させる場合について説明したが、ここでは被操作子に対応付けられる検知範囲を変化させる場合について説明する。
なお、本実施の形態の場合も、装置構成として画像形成装置１を想定する。

＜操作入力検知機能部＞
図１１は、実施の形態２で使用する操作入力検知機能部３６１を説明する図である。図１１には図４との対応部分に共通の符号を付している。
ここでも、操作受付部３０２として接触型の座標入力デバイスを用いる場合を想定する。

本実施の形態に係る操作入力検知機能部３６１は、付属品の取り付けを検知する取り付け検知部３５２（図４参照）と、表示画像データ（表示ページの情報やページ内のレイアウト情報など）に基づいて被操作子の情報を取得する操作子情報取得部３６２と、被操作子の情報と付属品の取り付け位置とに基づいて画面上の被操作子毎に検知範囲を設定する検知範囲設定部３６３と、設定された検知範囲と入力物体を検知した座標（入力座標）とを照合して操作を検知する操作検知部３５４（図４参照）とを有している。

ここで、被操作子の情報には、被操作子の内容、配置、表示サイズ等が含まれる。被操作子の情報は、表示部３０１に表示されている表示画像に応じて定まる。
検知範囲設定部３６３は、個々の被操作子と付属品の取り付け位置との関係に応じて、個々の被操作子についての検知範囲を設定する機能を提供する。従って、検知範囲設定部３６３は、付属品の取り付け位置に応じて操作入力に関連する制御を変化させる制御手段の一例である。

図１２は、操作入力検知機能部３６１によって実行される検知範囲の設定動作例を説明するフローチャートである。
まず、取り付け検知部３５２は、取り付けられている付属品の有無を判定する（ステップ２０１）。判定には、前述したセンサ出力や画像認識処理の結果を使用する。取り付けられている付属品が存在しない場合（否定結果の場合）、取り付け検知部３５２は、ステップ２０３に進む。
一方、取り付けられている付属品が存在する場合（肯定結果の場合）、取り付け検知部３５２は、付属品の取り付け位置を検知する（ステップ２０２）。取り付け位置は、付属品の取り付けを検知したセンサの位置や画像認識処理の結果を使用する。

次に、操作子情報取得部３６２が表示画像データに含まれる被操作子の情報を取得する（ステップ２０３）。
続いて、検知範囲設定部３６３は、個々の被操作子の表示位置と付属品の取り付け位置との関係を取得する（ステップ２０４）。
この後、検知範囲設定部３６３は、付属品の取り付け位置との関係に応じて、個々の被操作子についての検知範囲を設定する（ステップ２０５）。ここでは、基本的に、取り付け位置の近くの被操作子についての検知範囲が表示上の配置位置よりも遠ざかる方向に拡張されるように設定される。

個々の被操作子についての検知範囲の設定が終了すると、操作検知部３５４は、入力座標の有無に基づいて入力物体（例えば指先やペン）があるか否かを判定する（ステップ２０６）。
入力座標がそもそも存在しない場合や検知されていた入力座標が消滅した場合、操作検知部３５４は、否定結果を得て実行中の検知処理を終了する。検知処理が終了すると、新たな検知処理が開始される。
入力座標から入力物体の存在が検知された場合（ステップ２０６で肯定結果が得られた場合）、操作検知部３５４は、入力物体の座標を取得する（ステップ２０７）。操作検知部３５４は、認識された入力物体毎にサンプリングされた複数の座標列（移動軌跡）を取得する。

次に、操作検知部３５４は、取得された入力座標と個々の被操作子に設定されている検知範囲とを照合し、操作入力の内容を検知する（ステップ２０８）。ここで、検知範囲は、被操作子の表示上の位置に対応付けられている。
操作検知部３５４は、入力座標がいずれかの検知範囲に含まれる場合であってクリック等の指示が検知されると、対応する被操作子に対する操作を有効とみなす。

＜検知範囲の設定例＞
以下、図１３〜図１６を用いて、検知範囲設定部３６３により設定される検知範囲の変化を説明する。

・例１
図１３は、付属品が取り付けられる前の検知範囲の設定状態を説明する図である。
図１３の場合、表示部３０１には、連絡先Ａ、Ｂ、Ｃ…Ｆの情報がリスト形式で表示画像の上から下に順番に表示されている。連絡先Ａの情報が表示されている側の辺が表示部３０１の上辺であり、連絡先Ｆの情報が表示されている側の辺が表示部３０１の下辺である。

図１３の場合、連絡先Ａ、Ｂ、Ｃ、…、Ｆの表示領域がそれぞれ被操作子に当たる。連絡先Ａは第一の被操作子の一例であり、連絡先Ｂ、Ｃ、…Ｆは第二の被操作子の一例である。
ユーザは、操作対象とする連絡先の表示領域に指先を触れることで、操作対象であることをユーザインターフェース３００に指示する。
図１３の場合、表示部３０１の周囲に取り付けられた付属品が存在しないので、個々の被操作子に対応する検知範囲の幅はいずれも表示領域の幅に等しいＬである。

・例２
図１４は、付属品６１０が表示部３０１の上辺部分に取り付けられた場合の検知範囲の設定例を説明する図である。なお、図１４の例では、付属品６１０の取り付け位置だけを破線で示している。取り付けられる付属品６１０は、例えばカメラ、照明具等でよい。
図１４では、連絡先Ａを触ろうとした指先（指示領域８００）が連絡先Ｂの方向にズレ、連絡先Ａと連絡先Ｂの両方に触れている。ズレの原因は、付属品６１０によって形成された段差を避けようとする心理が無意識に働くためである。この心理は、段差の高さが大きいほど強くなり易い。

仮に、連絡先Ａの検知範囲が連絡先Ａの表示領域と重複していると（検知範囲の幅がＬであると）、操作検知部３５４は、どちらの連絡先が指定されたのか特定することができない。
これに対し、本実施の形態では、付属品６１０が取り付けられている表示部３０１の上辺側に位置する複数個の被操作子に対する検知範囲が上辺側から遠ざかる方向に拡張され、その拡張量は上辺側に近いほど大きい値に設定されている。この検知範囲の設定は、検知範囲設定部３６３（図１１）が実行する。

図１４では、連絡先Ａ、Ｂ、Ｃ、…、Ｆに対応する検知範囲の幅を両方向矢印８１０Ａ、８１０Ｂ、８１０Ｃ、…、８１０Ｆで示している。
図１４の場合、検知範囲の幅を表示部３０１の上辺から遠ざかる方向に拡張しているのは連絡先Ａ、Ｂ、Ｃの３つである。
連絡先の目視上の幅をＬとすると、具体的な拡張量は、連絡先Ａ、Ｂ、Ｃの順番にＬ／２、Ｌ／３、Ｌ／４である。すなわち、付属品６１０の取り付け位置の近くに位置する連絡先ほど拡張量が大きくなるように定められている。

ここでの拡張量は、固定値ではなく、表示部３０１に表示されている被操作子としての連絡先の目視上の幅Ｌを基準に定めている。このため、連絡先の目視上の幅Ｌとは無関係に検知範囲の幅が設定されることがなく（目視上の連絡先の表示位置と検知範囲とのズレが大きくなり過ぎることがなく）、個々の連絡先の指定を高い精度で検知することができる。
図１４の例では、リスト形式による表示であるので、連絡先Ａ、Ｂ、Ｃ、…、Ｆの表示領域は連続している。このため、拡張後の連絡先Ａ、Ｂ、Ｃに対応する検知範囲は、隣に表示される連絡先Ｂ、Ｃ、Ｄの表示領域と部分的に重複することになる。このため、連絡先Ａ、Ｂ、Ｃ、…、Ｆに対応する検知範囲の幅は、順番に３Ｌ／２（＝１８Ｌ／１２）、５Ｌ／６（＝１０Ｌ／１２）、１１Ｌ／１２、３Ｌ／４（＝９Ｌ／１２）、Ｌ、Ｌとなる。

連絡先Ａの拡張量をＬ／２に設定したことにより、図１４の例では、連絡先Ａの検知範囲内に指示領域８００の全部が収まっている。
従って、操作検知部３５４は、指示領域８００が連絡先Ａの表示領域と連絡先Ｂの表示領域にまたがるようにズレていても、ユーザが指定したのは連絡先Ａであると検知でき、ユーザの指示操作が容易になる。

なお、押し間違いが生じ易い連絡先Ａの検知範囲だけでなく、上辺に２番目に近い連絡先Ｂ、３番目に近い連絡先Ｃについても検知範囲を上辺から遠ざかる方向に拡張しているのは、検知範囲の拡張によるズレを少しずつ解消するためである。このように拡張量を徐々に減少させることにより、被操作子の表示位置と検知範囲とのズレを縮小することができる。

・例３
図１５は、表示部３０１にリスト形式の表示画像が表示されている場合における検知範囲の他の設定例を説明する図である。
図１５の場合、表示部３０１に表示されている表示画像の内容が、図１４の表示内容に対して上辺側にズレている。ズレ量は、連絡先の目視上の幅のＬ／２である。このため、表示部３０１の上辺側には連絡先Ａの下半分だけが表示され、表示部３０１の下辺側には連絡先Ｇの上半分だけが表示されている。

この場合も、検知範囲設定部３６３（図１１）が表示内容に応じて（すなわち、被操作子である連絡先の配置に応じて）検知範囲を設定する。なお、各連絡先に対する検知範囲の拡張量は、連絡先Ａ、Ｂ、Ｃの順番にＬ／２、Ｌ／３、Ｌ／４である。
図１５の場合、連絡先Ａ、Ｂ、Ｃ、…、Ｆ、Ｇに対応する検知範囲の幅は、順番にＬ、５Ｌ／６（＝１０Ｌ／１２）、１１Ｌ／１２、３Ｌ／４（＝９Ｌ／１２）、Ｌ、Ｌ、Ｌ／２となる。

この例の場合、連絡先Ａの表示画像上での表示幅は本来の半分であるが、検知範囲が拡張されているため、ユーザは連絡先Ａを容易に操作できる。
このように、被操作子の表示部３０１上における表示位置や表示サイズが変化する場合でも、付属品６１０の取り付け位置に近い連絡先Ａの検知範囲が拡張されるため、指定操作の難しい連絡先Ａでも容易に操作できる。

・例４
図１４及び図１５の例では、連絡先Ａ、Ｂ、Ｃに対する検知範囲の拡張量をＬ／２、Ｌ／３、Ｌ／４に設定したが、この値は一例である。
図１６は、表示部３０１にリスト形式の表示画像が表示されている場合における検知範囲の他の設定例を説明する図である。
図１６の場合、連絡先Ａ、Ｂ、Ｃに対する検知範囲の拡張量をＬ／２、５Ｌ／１２、Ｌ／４に設定している。

この場合、連絡先Ａ、Ｂ、Ｃ、…、Ｆに対応する検知範囲の幅は、順番に３Ｌ／２（＝１８Ｌ／１２）、１１Ｌ／１２、５Ｌ／６（＝１０Ｌ／１２）、３Ｌ／４（＝９Ｌ／１２）、Ｌ、Ｌとなり、連絡先Ａ、Ｂ、Ｃ、Ｄについて設定される検知範囲の幅の変化を連続的に減少させることができる。この場合、検知範囲の幅の変化のユーザによる予測性が高まり、指示操作の精度を高めることができる。

なお、前述の説明では、表示部３０１にリスト形式の表示画像が表示される場合を例示しているが、ボタン形式のいわゆるソフトウェアキーが表示されている場合でも、少なくとも付属品６１０の取り付け側に表示されるソフトウェアキーの検知範囲を付属品６１０から遠ざかる方向に拡張することで、ソフトウェアキーの操作が容易になる。
本実施の形態で説明した検知範囲の拡張技術により、指示操作の困難な領域を減らすことができる。結果的に、被操作子のレイアウトの自由度が向上される。例えば従前に比して被操作子のサイズを小さくしたり、付属品６１０により近い位置に被操作子を配置したりできる。

＜実施の形態３＞
ここでは、付属品が取り付けられている方向への連続的な操作入力が検知される場合における機能の有効化を、当該方向とは異なる方向への連続的な操作入力が検知される場合よりも早めるように制御を変化させる場合について説明する。
前述したように、付属品の取り付け位置には操作入力に使用する面よりも高い段差が形成され易く、ユーザは無意識のうちに段差よりも手前で操作入力を停止してしまう。

ところで、画面スクロールやアイコンを次ページに移動させる操作入力等は、表示領域の外縁に沿って設けられている実行領域に操作入力の座標が達することが有効化の条件になる。このため、実行領域の手前で操作入力が停止される蓋然性の高い付属品の取り付け方向については、操作入力が有効になり難い。
そこで、本実施の形態では、機能の有効化に方向依存性を設ける。
なお、本実施の形態の場合も、装置構成として画像形成装置１を想定する。

＜操作入力検知機能部＞
図１７は、実施の形態３で使用する操作入力検知機能部３７１を説明する図である。図１７には図４との対応部分に共通の符号を付している。
ここでも、操作受付部３０２として接触型の座標入力デバイスを用いる場合を想定する。

本実施の形態に係る操作入力検知機能部３７１は、付属品の取り付けを検知する取り付け検知部３５２（図４参照）と、付属品の取り付け位置と入力物体を検知した座標（入力座標）とに基づいて操作入力に対応する機能の有効化を判断する操作検知部３７２とを有している。
ここでの操作検知部３７２は、付属品の取り付け位置に応じて操作入力に関連する制御を変化させる制御手段の一例である。

図１８は、操作入力検知機能部３７１による検知動作の実行例を説明するフローチャートである。
操作入力検知機能部３７１は、付属品の取り付けを検知する処理（１段目）と、新たな操作入力の検知のたびに実行する処理（２段目）との概略２段階で実行される。１段目の処理は取り付け検知部３５２が実行し、２段目の処理は操作検知部３７２が実行する。

まず、取り付け検知部３５２は、取り付けられている付属品の有無を判定する（ステップ３０１）。取り付けられている付属品が存在しない場合（否定結果の場合）、取り付け検知部３５２は、ステップ３０３に進む。
一方、取り付けられている付属品が存在する場合（肯定結果の場合）、取り付け検知部３５２は、付属品の取り付け位置を検知する（ステップ３０２）。取り付け位置は、付属品の取り付けを検知したセンサの位置や画像認識処理の結果を使用する。

続いて、操作検知部３７２が、入力座標の有無に基づいて入力物体（例えば指先やペン）があるか否かを判定する（ステップ３０３）。
入力座標がそもそも存在しない場合や検知されていた入力座標が消滅した場合、操作検知部３７２は、否定結果を得て実行中の検知処理を終了する。検知処理が終了すると、新たな検知処理が開始される。
入力座標から入力物体の存在が検知された場合（ステップ３０３で肯定結果が得られた場合）、操作検知部３７２は、入力物体の座標を取得する（ステップ３０４）。操作検知部３７２は、認識された入力物体毎にサンプリングされた複数の座標列（移動軌跡）を取得する。

次に、操作検知部３７２は、取得された座標列に基づいて操作入力が一方向への連続した移動か否かを判定する（ステップ３０５）。
一方向への連続した移動ではなかった場合、操作検知部３７２は否定結果を得てステップ３０６に進み、取得された座標列から操作入力を特定し、出力する。ステップ３０６では、例えばタップであるか、ダブルタップであるか、ロングタップであるか等が特定される。操作入力がタップであった場合、タップされた座標位置にソフトウェアキーが割り当てられていれば、ソフトウェアキーに紐付けられている機能が実行される。

一方向への連続した移動であった場合（ステップ３０５で肯定結果の場合）、操作検知部３７２はステップ３０７に進み、移動方向は付属品の取り付け位置へ向かう方向であるか否かを判定する。移動方向が付属品の取り付け位置に向かう方向である場合、操作検知部３７２は肯定結果を得てステップ３０８に進み、移動方向が付属品の取り付け位置に向かわない場合、操作検知部３７２は否定結果を得てステップ３０９に進む。

ステップ３０８に進んだ操作検知部３７２は、操作入力が実行条件１を満たすか否かを判定する。本実施の形態の場合、実行条件１を満たさない間（否定結果が得られている間）、入力物体についての新たな座標を取得しながら判定動作を繰り返す。
本実施の形態の場合、実行条件１は、表示部３０１の外縁からの距離で規定されている。図１９は、付属品６１０が表示部３０１の上辺部分に取り付けられた場合に機能が有効化される位置の違いを説明する図である。
図１９の場合、上辺方向に連続的に移動する指先８５０が距離Ｗ１で規定される範囲の内側に入ること、すなわち表示部３０１の外縁から指先８５０までの距離がＷ１未満になる場合、実行条件１を満たすと判定される。
なお、実行条件１は、操作入力が開始されてからの移動距離で規定されてもよい。この場合には、操作入力が開始されてからの指先８５０の移動距離が判定距離１を超える場合、実行条件１を満たすと判定される。

実行条件１は、付属品６１０が取り付けられていない方向へ連続的な移動に対して適用される実行条件２に比べ、肯定結果が得られ易くなるように定められている。
ステップ３０８で肯定結果が得られると、操作検知部３７２はステップ３１０に進み、操作入力に対応する機能を有効化する。例えば画面の切り替えを有効化し、又は、アイコンの次ページへの移動を有効化し、又は、アイコンのフォルダへの移動を有効化する。

一方、ステップ３０９に進んだ操作検知部３７２は、操作入力が実行条件２を満たすか否かを判定する。本実施の形態の場合、実行条件２を満たさない間（否定結果が得られている間）、入力物体についての新たな座標を取得しながら判定動作を繰り返す。
本実施の形態の場合、実行条件２も、表示部３０１の外縁からの距離で規定されている。
図１９の場合、下辺方向に連続的に移動する指先８５０が距離Ｗ２で規定される範囲の内側に入ること、すなわち表示部３０１の外縁から指先８５０までの距離がＷ２未満になる場合、実行条件２を満たすと判定される。

前述したように、実行条件２の距離Ｗ２は、実行条件１の距離Ｗ１より小さい値に定められている。すなわち、実行条件２を満たすには、実行条件１の場合よりも、表示部３０１の外縁により近づくことが必要になる。
なお、指先８５０の連続的な移動方向が表示部３０１の右辺方向や左辺方向の場合にもステップ３０９の判定処理が実行される。すなわち、実行条件２を満たすか否かが判定される。もっとも、指先８５０の移動方向が下辺側か、右辺側か、左辺側かによって実行条件２の距離に違いを設けてもよい。この場合でも、各距離は、実行条件１の距離Ｗ１よりも小さい。

なお、実行条件２は、操作入力が開始されてからの移動距離で規定されてもよい。この場合、操作入力が開始されてからの移動距離が判定距離２（＞判定距離１）を超える場合、実行条件２を満たすと判定される。この場合、実行条件２を満たすには、実行条件１の場合よりも操作入力の移動距離が長いことが必要になる。
ステップ３０９で肯定結果が得られると、操作検知部３７２はステップ３１０に進み、操作入力に対応する機能を有効化する。例えば画面の切り替えを有効化し、又は、アイコンの次ページへの移動を有効化し、又は、アイコンのフォルダへの移動を有効化する。

・例１
図２０は、表示部３０１にページＢが表示されている状態で付属品６１０が取り付けられている上辺方向に画面の切り替え操作が行われる場合を説明する図である。（ａ）はページの切り替え前の状態を示し、（ｂ）はページの切り替え後の状態を示す。
図２０の場合、操作入力に対応する機能が有効になる条件は、指先８５０が表示部３０１の上辺から距離Ｗ１の範囲に入ることである。（ａ）の場合、実線で示す指先８５０と上辺との距離が距離Ｗ１より短くなっている。このタイミングで、表示部３０１の表示ページは、（ｂ）に示すようにページＡに切り替えられる。

図２１は、表示部３０１にページＡが表示されている状態で付属品６１０が取り付けられていない下辺方向に画面の切り替え操作が行われる場合を説明する図である。（ａ）はページの切り替え前の状態を示し、（ｂ）はページの切り替え後の状態を示す。
図２１の場合、操作入力に対応する機能が有効になる条件は、指先８５０が表示部３０１の下辺から距離Ｗ２の範囲に入ることである。（ａ）の場合、実線で示す指先８５０と下辺との距離が距離Ｗ２より短くなっている。このタイミングで、表示部３０１の表示ページは、（ｂ）に示すようにページＢに切り替えられる。

一般に、付属品６１０の取り付けにより段差が形成されている表示部３０１の上辺方向への操作入力は、表示部３０１の上辺の手前側で停止され易いが、本実施の形態の場合には、画面を切り替えたい方向に付属品６１０が取り付けられている場合でも、画面の切り替えを容易に実行できる。
なお、表示部３０１の右辺や左辺の方向への画面の切り替えについても同様である。

・例２
図２２は、アイコン８５１を付属品６１０が取り付けられている上辺側に隠れている次ページにドラッグ移動する場合を説明する図である。（ａ）はページの切り替え前の状態を示し、（ｂ）はページの切り替え後の状態を示す。
本例の場合も、操作入力に対応する機能が有効化される条件は、指先８５０が表示部３０１の上辺から距離Ｗ１の範囲内に入ることである。図２２の場合、実線で示す指先８５０と上辺との距離が距離Ｗ１より短くなっている。このため、アイコン８５１は、（ａ）に示すようにページＡの上辺に近づいた段階で（アイコン８５１が上辺に達しなくても）、（ｂ）に示すようにページＢに移動される。

図２３は、アイコン８５１を付属品６１０が取り付けられていない下辺側に隠れている次ページにドラッグ移動する場合を説明する図である。（ａ）はページの切り替え前の状態を示し、（ｂ）はページの切り替え後の状態を示す。
本例の場合も、操作入力に対応する機能が有効化される条件は、指先８５０が表示部３０１の下辺から距離Ｗ２の範囲内に入ることである。図２３の場合、実線で示す指先８５０と下辺との距離が距離Ｗ２より短くなっている。このため、アイコン８５１は、（ａ）に示すようにページＢの下辺に近づいた段階で（ｂ）に示すようにページＡに移動される。

一般に、付属品６１０の取り付けにより段差が形成されている表示部３０１の上辺方向への操作入力は、表示部３０１の上辺の手前側で停止され易いが、本実施の形態の場合には、アイコン８５１をドラッグ移動させたい方向に付属品６１０が取り付けられている場合でも、ドラッグ移動を容易に実行できる。
なお、表示部３０１の右辺や左辺の方向へのドラッグ移動についても同様である。

・例３
図２４は、フォルダ８５２、８５３にアイコン８５５、８５６をドラッグ移動する場合を説明する図である。
表示画像のレイアウトによっては、フォルダ８５２が表示部３０１の上辺に沿う位置に表示されたり、フォルダ８５３が表示部３０１の下辺に沿う位置に表示されたりすることがある。
上辺側のフォルダ８５２にアイコン８５５をドラッグ移動する場合、指先８５０が表示部３０１の上辺から距離Ｗ１の範囲に入れば、フォルダ８５２への移動が有効化される。
一方、下辺側のフォルダ８５３にアイコン８５６をドラッグ移動する場合、指先８５０が下辺から距離Ｗ２の範囲に入れば、フォルダ８５３への移動が有効化される。

このように、付属品６１０が取り付けられている上辺側に位置するフォルダ８５２へのアイコン８５５の移動が有効化される位置は、下辺側に位置するフォルダ８５３へのアイコン８５６の移動が有効化される位置よりも各辺からの距離が長い。
このため、ユーザが無意識のうちに表示部３０１の上辺から離れた位置でアイコン８５５のドラッグ移動を停止しても、フォルダ８５２へのアイコン８５５の移動が有効として扱われる。

＜実施の形態４＞
前述の実施の形態では、操作入力の検知に接触型の座標入力デバイスを用いていたが、本実施の形態では、操作入力の検知に非接触型の座標入力デバイスを用いる場合について説明する。
図２５は、ノート型のコンピュータ９００に座標検知センサ９５０を取り付けて使用する例を説明する図である。（ａ）はコンピュータ９００に座標検知センサ９５０を取り付けた状態を説明する図であり、（ｂ）は座標検知センサ９５０の外観構成を示す図である。コンピュータ９００は入力装置の一例であり、座標検知センサ９５０が付属品の一例である。なお、座標検知センサ９５０の筐体は、操作入力を光学的に検知する検知手段を収容する構造体でもある。

コンピュータ９００の装置本体９０１には電子基板やハードディスク装置が内蔵されており、蓋９０２には表示部９０３が配置されている。
本実施の形態の場合、座標検知センサ９５０は独立した筐体に格納されており、筐体の一方の端部にはケーブル９５３を通じてコネクタ９５４が取り付けられている。コネクタ９５４は、装置本体９０１との接続用であり、データ通信の他、装置本体９０１からの給電に使用される。

図２６は、コンピュータ９００を構成する制御部９１１等の機能ブロック構成例を説明する図である。コンピュータ９００は、装置全体を制御する制御部９１１と、画像の表示に使用される表示部９０３と、各種のデータやプログラムの記憶に用いられる記憶部９１５と、外部インターフェース（外部ＩＦ）９１６と、外部装置との通信に用いられる通信部９１７とを有している。
これらの各部は例えばバス９１８を通じて互いに接続されており、バス９１８を介してデータを受け渡しする。

制御部９１１は、ＣＰＵ９１２、ＲＯＭ９１３、ＲＡＭ９１４により構成されている。ＲＯＭ９１３には、ＣＰＵ９１２により実行されるプログラムが記憶されている。ＣＰＵ９１２は、ＲＡＭ９１４を作業エリアに使用し、ＲＯＭ９１３から読み出したプログラムを実行する。プログラムの実行を通じ、コンピュータ９００の各部が制御される。
本実施の形態における制御部９１１は、座標検知センサ９５０（図２５参照）とともに入力装置としての機能を提供する。
本実施の形態における制御部９１１は、前述した実施の形態における操作入力検知機能部３５１（図４）、３６１（図１１）、３７１（図１７）として機能する。

図２５の説明に戻る。座標検知センサ９５０のうち１つの側面には、発光素子９５１と受光素子９５２とが交互に配列されている。これらの素子により光学的な検知面が形成される。
本実施の形態の場合、発光素子９５１と受光素子９５２が配列される側面の幅は例えば１７ｍｍである。この数値は一例であり、例えば１０ｍｍ以上でもよい。ここでの幅は、取り付け面に対する段差の高さを与える。

本実施の形態の場合、座標検知センサ９５０は、表示部９０３の外周部分に取り付けられる。座標検知センサ９５０の取り付けにより、表示部９０３の表示面に対してほぼ平行な検知面が形成される。ここでの検知面は検知領域の一例である。
図２５の例では、座標検知センサ９５０は表示部９０３の下辺に沿うように取り付けている。もっとも、表示部９０３の下辺は取り付け位置の一例であり、表示部９０３の上辺、左辺及び右辺のいずれに対しても取り付け可能である。取り付けには、例えば両面テープや面ファスナーを用いればよい。

発光素子９５１は、赤外線光等を出射するＬＥＤ（Light Emitting Diode）等で構成される。また、受光素子９５２は、検知面を横切る入力物体（例えば指、ペン等）から反射された反射光を受光するＰＤ（Photodiode）等で構成される。
図２５に示すように、発光素子９５１と受光素子９５２は、交互に直線状に配置される。図２５における発光素子９５１と受光素子９５２のサイズや配置は、説明のために拡大されている。実際には、要求される検出精度に応じたサイズと密度で、発光素子９５１と受光素子９５２が配列される。

図２７は、座標検知センサ９５０が入力物体Ｔを検出する原理を説明する図である。
本実施の形態で使用する座標検知センサ９５０は、発光素子９５１と受光素子９５２の配列方向（Ｘ軸方向）における入力物体Ｔの位置を、入力物体Ｔの反射光をどの受光素子９５２で検出したかによって特定する。
また、座標検知センサ９５０は、座標検知センサ９５０から遠ざかる方向（Ｙ軸方向）における入力物体Ｔの位置を、受光素子９５２が受光する光の強度によって特定する。

座標検知センサ９５０は、入力物体Ｔが座標検知センサ９５０に近いほど受光素子９５２で受光される光の強度はより大きくなり、入力物体Ｔが座標検知センサ９５０から遠いほど受光素子９５２で受光される光の強度はより小さくなるという特性を利用して、座標検知センサ９５０と入力物体Ｔとの距離を特定する。
なお、座標検知センサ９５０は、複数の入力物体Ｔを一度に検出することができる。このため、いわゆるマルチタッチを検出できる。

本実施の形態のように光学式の座標検知センサ９５０を用いることにより、タッチセンサを有していない表示部９０３であっても、タッチ操作だけで操作入力できる。また、表示部９０３の表面側にタッチセンサが配置されている場合でも、手袋を嵌めた状態でのタッチ操作が必要とされる環境等では、本実施の形態における光学式の座標検知センサ９５０を取り付けることで素手による操作と同様の操作入力が可能になる。

なお、座標検知センサ９５０は、ノート型のコンピュータ９００に取り付ける場合に限らず、スマートフォン、タブレット、ゲーム機等の平板型の外観を有するコンピュータに対しても取り付けることもできる。
図２８は、平板型の外観を有するコンピュータ１０００に光学式の座標検知センサ９５０を取り付ける例を説明する図である。（ａ）は座標検知センサ９５０の外観構成を説明する図であり、（ｂ）は座標検知センサ９５０を取り付けた状態を説明する図である。
ここでのコンピュータ１０００は、装置本体１００１上に表示部１００２と、ハードウェアキー１００３〜１００５とを有している。

＜実施の形態５＞
実施の形態４（図２５参照）の例では、発光素子と受光素子が１つの面内に配列されている場合について説明したが、発光素子と受光素子とを対向するように配置してもよい。
図２９は、額縁型の座標検知センサ１１００を取り付けた状態を説明する図である。座標検知センサ１１００はケーブル１１０３及び不図示のコネクタ１１０４を通じて装置本体９０１と接続される。

本実施の形態における座標検知センサ１１００は、例えば上辺と右辺に発光素子が配列され、対向する下辺と左辺に受光素子が配列される。
なお、額縁型の座標検知センサ１１００は、例えば額縁の内周面を規定する４つの面のうち右側面と下側面と左側面に再帰反射テープを配置し、上辺の左右両端に発光素子と受光素子を配置してもよい。この場合、受光素子は再帰反射テープの配置領域を撮像範囲とするカメラでもよい。

＜実施の形態６＞
前述の実施の形態４及び５においては、付属品として光学式の座標入力デバイス（座標検知センサ９５０、１１００）を取り付ける例について説明したが、ここでは、タッチパネルを有するスマートフォンを例に、付属品の他の取り付け例について説明する。ここでのスマートフォンは入力装置の一例である。

図３０は、タッチパネル１２０１を有するスマートフォン１２００に端末ホルダ１２１０を取り付けた状態を説明する図である。
図３０に示す端末ホルダ１２１０は、スマートフォン１２００の外縁部分を挟み込むように把持するグリップ１２１１と、固定対象物に取り付けるための取り付け台座１２１２とを有している。端末ホルダ１２１０は付属品の一例であり、グリップ１２１１は把持部材の一例である。

図３０の場合、タッチパネル１２０１の上辺と下辺が、付属品としての端末ホルダ１２１０のグリップ１２１１によって挟み付けられるように把持されている。このグリップ１２１１は、タッチパネル１２０１に対して段差を形成している。このような段差があると、ユーザは無意識のうちにグリップ１２１１を避けるように操作入力を行い易く、例えば操作位置のズレ等が生じる原因となる。
しかし、スマートフォン１２００に、前述した実施の形態１〜３の操作入力検知機能部を設けることにより、ユーザによる操作入力を容易にできる。

図３１は、タッチパネル１２０１を有するスマートフォン１２００にクリップ型のカメラレンズ１２２０を取り付けた状態を説明する図である。
図３１に示すカメラレンズ１２２０は、スマートフォン１２００を挟むように取り付けられるクリップ１２２１と、スマートフォン１２００の不図示のカメラの前方位置に取り付けられるレンズ１２２２とを有している。レンズ１２２２は、クリップ１２２１の一端に取り付けられている。ここで、カメラレンズ１２２０は付属品の一例であり、クリップ１２２１は把持部材の一例である。

図３１の場合、タッチパネル１２０１の上辺部分に、付属品としてのカメラレンズ１２２０の一部（具体的にはレンズ１２２２）が段差を形成している。このような段差があると、ユーザは無意識のうちにカメラレンズ１２２０を避けるように操作入力を行い易く、例えば操作位置のズレ等が生じる原因となる。
しかし、スマートフォン１２００に、前述した実施の形態１〜３の操作入力検知機能部を設けることにより、ユーザによる操作入力を容易にできる。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態では、入力装置の一例として画像形成装置１、コンピュータ９００、１０００、スマートフォン１２００について説明したが、携帯ゲーム機、ナビゲーション装置、乗車券の販売機、チケットの販売機、現金自動預け払い機等も入力装置として使用できる。

また、前述の実施の形態では、付属品の取り付けによって取り付け部分に段差が形成されて操作環境が変化した場合に操作入力に関する制御の内容を変化させる例について説明したが、操作環境が変化する場合の例は、取り付け部分に段差が形成される場合に限らない。また、変化させる制御の内容も、実施の形態１〜３で例示した機能例に限らない。

１…画像形成装置、３００…ユーザインターフェース、３０１、９０３、１００２…表示部、３０２…操作受付部、３５１、３６１、３７１…操作入力検知機能部、３５２…取り付け検知部、３５３…レイアウト選択部、３５４、３７２…操作検知部、３６２…操作子情報取得部、３６３…検知範囲設定部、６００…テンキー、６１０…付属品、５００…制御装置、９００、１０００…コンピュータ、９５０、１１００…座標検知センサ、１２００…スマートフォン、１２１０…端末ホルダ、１２２０…カメラレンズ

Claims (12)

1. 装置本体に対する付属品の取り付け位置を検知する検知手段と、
   検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段と
   を有し、取り付け後の前記付属品は、ディスプレイの表示面と重複しない、
   入力装置であり、
   前記制御手段は、前記付属品の取り付け位置に応じて、前記表示面の表示コンテンツに対する操作入力を受け付ける被操作子の表示上のレイアウトを変化させ、
   前記付属品の取り付け後に前記被操作子が表示される領域は、当該付属品を取り付ける前の当該被操作子が表示されている領域よりも当該付属品の取り付け位置から遠ざかる方向に位置している領域を含む、入力装置。
2. 装置本体に対する付属品の取り付け位置を検知する検知手段と、
   検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段と
   を有し、取り付け後の前記付属品は、ディスプレイの表示面と重複しない、
   入力装置であり、
   前記制御手段は、前記付属品の取り付け位置に応じて、操作入力の検知動作を制御する、入力装置。
3. 装置本体に対する付属品の取り付け位置を検知する検知手段と、
   検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段と
   を有し、
   前記制御手段は、前記付属品の近くに配置された第一の被操作子について設定される検知範囲の拡張量であって、当該第一の被操作子の目視上の配置位置から当該付属品から遠ざかる方向への当該拡張量を、当該第一の被操作子よりも当該付属品から遠い位置に配置された第二の被操作子についての当該拡張量よりも大きな値に設定する、入力装置。
4. 装置本体に対する付属品の取り付け位置を検知する検知手段と、
   検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる制御手段と
   を有し、
   前記制御手段は、前記付属品が取り付けられている方向への連続的な操作入力が検知される場合、当該方向とは異なる方向への連続的な操作入力が検知される場合よりも、当該連続的な操作入力に対応する機能の有効化を早める、入力装置。
5. 前記装置本体に取り付けられた状態の前記付属品は、操作入力に使用される領域との間に一段高い段差を形成する、請求項１に記載の入力装置。
6. 前記付属品は、操作入力を光学的に検知する入力検知手段を収容する構造体である、請求項５に記載の入力装置。
7. 前記検知手段は、撮像手段で撮像された画像に基づいて、前記付属品の取り付け位置を検知する、請求項１に記載の入力装置。
8. 前記検知手段は、前記装置本体に対する前記付属品の着脱を検知するセンサである、請求項１に記載の入力装置。
9. 前記センサは、前記装置本体の複数の位置に設けられている、請求項８に記載の入力装置。
10. 装置本体に付属品を取り付けた場合に、取り付け後の付属品がディスプレイの表示面と重複しない状態で使用される入力装置に設けられるコンピュータに、
    前記装置本体に対する前記付属品の取り付け位置を検知する機能と、
    検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる機能と
    を実現させるためのプログラムであり、
    前記付属品の取り付け位置に応じて、前記表示面の表示コンテンツに対する操作入力を受け付ける被操作子の表示上のレイアウトを変化させ、
    前記付属品の取り付け後に前記被操作子が表示される領域は、当該付属品を取り付ける前の当該被操作子が表示されている領域よりも当該付属品の取り付け位置から遠ざかる方向に位置している領域を含む、プログラム。
11. 前記付属品は、入力物体からの反射光の検知により検知領域内における当該入力物体の座標を取得する光学式のセンサである、
    請求項２〜５、７及び８のいずれか１項に記載の入力装置。
12. 装置本体に付属品を取り付けた場合に、取り付け後の付属品がディスプレイの表示面と重複しない状態で使用される入力装置に設けられるコンピュータに、
    前記装置本体に対する前記付属品の取り付け位置を検知する機能と、
    検知された前記取り付け位置に応じて、操作入力に関連する制御を変化させる機能と
    を実現させるためのプログラムであり、
    前記付属品の取り付け位置に応じて、操作入力の検知動作を制御する、プログラム。

Images