JP6828563B2 - 入力装置、画像形成装置及びプログラム - Google Patents

Description

本発明は、入力装置、画像形成装置及びプログラムに関する。

操作入力には、ボタンやスイッチ等の物理キー（いわゆるハードウェアキー）や表示部に表示されるキー（いわゆるソフトウェアキー）の使用が一般的であるが、昨今では、指やペン等の入力物体による操作位置を光学的に検出する方式のデバイスも用いられている。例えば特許文献１には、光学式の座標入力デバイスが記載されている。

特開２００７−６５７６７号公報

アプリケーションや表示内容に関連性の高い被操作子はハードウェアキーではなく、ソフトウェアキーとして用意される。一方、操作入力に使用される表示部のサイズは限られるため、表示部に表示されるソフトウェアキーの増加が情報の視認性を低下させている。

本発明は、光学式の座標入力デバイスによる操作入力の検知領域上に操作機能を固定的に割り当てる場合に比べ、表示部に表示される情報の視認性を向上することを目的とする。

請求項１に記載の発明は、作業画面が表示される表示部と、操作入力を光学的に検知する検知部と、前記検知部の検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる割当部とを有し、前記割当部は、前記表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、入力装置である。
請求項２に記載の発明は、前記第２の操作機能が割り当てられる領域は、前記表示部の外側である、請求項１に記載の入力装置である。
請求項３に記載の発明は、前記表示部の外側への前記第２の操作機能の割り当ての実行を通知する、請求項２に記載の入力装置である。
請求項４に記載の発明は、前記検知領域への前記第２の操作機能の割り当ては、ユーザの選択操作を通じて実行される、請求項１に記載の入力装置である。
請求項５に記載の発明は、前記検知領域には、ユーザが選択した種類の前記第２の操作機能が割り当てられる、請求項１に記載の入力装置である。
請求項６に記載の発明は、前記検知領域上における前記第２の操作機能の割り当て位置は、ユーザにより選択される、請求項１に記載の入力装置である。
請求項７に記載の発明は、前記第２の操作機能に紐付けられる検知範囲のサイズは、ユーザにより選択される、請求項６に記載の入力装置である。
請求項８に記載の発明は、前記割当部は、前記作業画面の表示内容に応じて前記検知領域に割り当てる前記第２の操作機能を決定する、請求項１に記載の入力装置である。
請求項９に記載の発明は、前記割当部は、実行中のアプリケーションの種類に応じて前記検知領域に割り当てる前記第２の操作機能を決定する、請求項１に記載の入力装置である。
請求項１０に記載の発明は、前記検知領域上に割り当てられた前記第２の操作機能の内容と配置上のレイアウトを前記作業画面に表示する、請求項１に記載の入力装置である。
請求項１１に記載の発明は、前記第２の操作機能の割り当て位置に対応する光源を点灯させる、請求項１に記載の入力装置である。
請求項１２に記載の発明は、装置本体に対して前記検知部を着脱できる場合、当該検知部の位置関係を予め設定する、請求項１に記載の入力装置である。
請求項１３に記載の発明は、前記装置本体に対する前記検知部の取り付け位置を、設定画面を通じて受け付ける、請求項１２に記載の入力装置である。
請求項１４に記載の発明は、前記検知部は、前記表示部と並んで配置される、請求項１に記載の入力装置である。
請求項１５に記載の発明は、前記検知部の長さは、当該検知部が配置される側の前記表示部の１辺の長さよりも長い、請求項１４に記載の入力装置である。
請求項１６に記載の発明は、前記第２の操作機能が可変的に割り当てられる可動部材を更に有する、請求項１に記載の入力装置である。
請求項１７に記載の発明は、前記作業画面には、前記検知領域に割り当てられている前記第２の操作機能のレイアウトを印刷するための操作キーが表示される、請求項１に記載の入力装置である。
請求項１８に記載の発明は、記録材に画像を形成する画像形成手段と、作業画面が表示される表示部と、操作入力を光学的に検知する検知部と、前記検知部の検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる割当部とを有し、前記割当部は、前記表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、画像形成装置である。
請求項１９に記載の発明は、コンピュータに、操作入力を光学的に検知する処理と、検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる処理とを実行させるためのプログラムであって、前記第２の操作機能を可変的に割り当てる処理は、表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、ことを特徴とするプログラムである。

請求項１記載の発明によれば、光学式の座標入力デバイスによる操作入力の検知領域上に操作機能が固定的に割り当てられる場合に比べ、表示部に表示される情報の視認性を向上することができる。また、非可視の第２の操作機能への操作ボタンの割り当てにユーザのジェスチャを用いるので、ユーザは迷うことなく割り当て後の第２の操作機能を操作できる。
請求項２記載の発明によれば、表示部の外側の空間に操作機能を可変的に割り当てることで、情報の視認性と操作機能の割り当て上の自由度を共に向上できる。
請求項３記載の発明によれば、表示部の外側への操作機能の割り当てがユーザの意図とは無関係に実行された場合でもユーザによる操作機能の利用が可能になる。
請求項４記載の発明によれば、意図せぬ操作機能の割り当ての実行を避けることができる。
請求項５記載の発明によれば、必要とする種類の操作機能を選択的に割り当てることができる。
請求項６記載の発明によれば、使い勝手の良い位置に操作機能を割り当てることができる。
請求項７記載の発明によれば、使い勝手の良いサイズで操作機能を使用できる。
請求項８記載の発明によれば、表示内容に応じた内容の操作機能を使用できる。
請求項９記載の発明によれば、アプリケーションに応じた操作機能を使用できる。
請求項１０記載の発明によれば、割り当てられている操作機能の内容とレイアウトを確認することができる。
請求項１１記載の発明によれば、操作機能が割り当てられている位置を視覚的に確認できる。
請求項１２記載の発明によれば、装置本体に対して検知部が後付けされる場合でも検知部の位置関係を予め設定できる。
請求項１３記載の発明によれば、検知部の取付位置の入力を容易に行うことができる。
請求項１４記載の発明によれば、表示部を検知領域に含めることができる。
請求項１５記載の発明によれば、表示部とその隣接領域を検知領域に含めることができる。
請求項１６記載の発明によれば、装置本体の外側を用いた操作入力を容易にできる。
請求項１７記載の発明によれば、装置本体の外側を用いた操作入力を容易にできる。
請求項１８記載の発明によれば、光学式の座標入力デバイスによる操作入力の検知領域上に操作機能が固定的に割り当てられる場合に比べ、表示部に表示される情報の視認性を向上することができる。また、非可視の第２の操作機能への操作ボタンの割り当てにユーザのジェスチャを用いるので、ユーザは迷うことなく割り当て後の第２の操作機能を操作できる。
請求項１９記載の発明によれば、光学式の座標入力デバイスによる操作入力の検知領域上に操作機能が固定的に割り当てられる場合に比べ、表示部に表示される情報の視認性を向上することができる。また、非可視の第２の操作機能への操作ボタンの割り当てにユーザのジェスチャを用いるので、ユーザは迷うことなく割り当て後の第２の操作機能を操作できる。

実施の形態１に係る画像形成装置の外観図である。 実施の形態１に係る画像形成装置の内部構造を示す図である。 画像形成装置を構成する制御装置等の機能ブロック構成例を説明する図である。 （Ａ）はユーザインターフェースを上面側から見た図、（Ｂ）は側面側から見た図、（Ｃ）は正面側から見た図である。 操作受付部が入力物体Ｔを検出する原理を説明する図である。 （Ａ）は検知領域の設定例を説明する上面図であり、（Ｂ）は検知領域の設定例を説明する側面図である。 本実施の形態で使用する操作入力検知機能部の機能構成を説明する図である。 操作入力検知機能部による検知動作の実行例を説明するフローチャートである。 操作サポート部による非可視キーの割り当て通知機能の実行例を説明するフローチャートである。 ユーザによる非可視キーの割り当て作業をサポートする機能の実行例を説明するフローチャートである。 （Ａ）及び（Ｂ）は、操作ボタンを表示部に表示する場合（可視キーに割り当てる場合）と表示部の下側の筐体表面に仮想的に配置する場合（非可視キーに割り当てる場合）による表示画面の変化を説明する図である。 （Ａ）〜（Ｃ）は、操作サポート部が提供する非可視キーの割り当て通知画面の一例を示す図である。 操作サポート部が提供する操作機能の割り当て位置の受付画面の一例を示す図である。 操作サポート部が提供する操作機能の割り当て範囲のサイズ受付画面の一例を示す図である。 操作サポート部が提供する操作機能の受付画面の一例を示す図である。 （Ａ）及び（Ｂ）は、操作機能の非可視化にボタン操作を使用する例を説明する図である。 （Ａ）及び（Ｂ）は、操作機能の非可視化にユーザのジェスチャ（操作入力）を使用する例を説明する図である。 （Ａ）及び（Ｂ）は、確認ボタンの操作を通じて非可視キーの割り当て状況を表示させる例を説明する図である。 （Ａ）及び（Ｂ）は、表示内容に応じて非可視キーに割り当てられる操作機能が切り替わる様子を説明する図である。 （Ａ）及び（Ｂ）は、実行中のアプリケーションに応じて非可視キーに割り当てられる操作機能が切り替わる様子を説明する図である。 表示部と重なる検知領域内に、表示上の被操作子（すなわちソフトウェアキー）とは別にテンキーを非可視キーとして割り当てる例を示す図である。 （Ａ）は実施の形態２に係るタブレット型の情報端末を上面側から見た図、（Ｂ）は側面側から見た図、（Ｃ）は正面側から見た図である。 情報端末を構成する制御部等の機能ブロック構成例を説明する図である。 本実施の形態で使用する情報端末に特徴的な割り当て領域を示す図である。 （Ａ）及び（Ｂ）は、表示部に表示されている操作ボタンが非可視キーとして割り当て領域に割り当てられる様子を示す図である。 必要に応じて引き出して使用できるボードを収容する情報端末の例を説明する図である。 表示部の下辺の外側にボードに相当する空き領域が設けられている情報端末の例を説明する図である。 （Ａ）及び（Ｂ）は、表示部とアイコンとの間の空間に複数個のＬＥＤが一列に配置されている情報端末の例を説明する図である。 （Ａ）及び（Ｂ）は、７個のＬＥＤを使用して表示部に表示されている表示画面の位置をユーザのスライド操作に連動して表現する例を説明する図である。 （Ａ）及び（Ｂ）は、表示部とアイコンとの間の空間に複数個のＬＥＤをマトリクス状に配置したＬＥＤパネルが配置されている情報端末の例を説明する図である。 操作受付部が着脱可能な実施の形態３に係る情報端末の外観構成例を説明する図である。 情報端末を構成する制御部等の機能ブロック構成例を説明する図である。 操作受付部の取付位置の受け付け用に表示部に表示されるインターフェース画面の一例を示す図である。

以下、添付図面を参照して、実施の形態について詳細に説明する。

＜実施の形態１＞
ここでは、画像形成装置を例に説明する。本実施の形態で説明する画像形成装置は、記録材（以下、代表して「用紙」と記す場合もある。）に画像を形成する装置であり、コピー機能、スキャナ機能、ファックス送受信機能、印刷機能を備えている。もっとも、画像形成装置は、これら全ての機能を搭載する必要はなく、いずれか１つの機能に特化した装置、例えば複写機、スキャナ、ファックス送受信機、プリンタ（３次元プリンタを含む。）でもよい。
画像形成装置は入力装置の一例であり、本実施の形態では、入力装置のうちで記録材に画像を形成する機構を備えるものを「画像形成装置」という。

＜画像形成装置の全体構成＞
図１は、実施の形態１に係る画像形成装置１の外観図である。図２は、実施の形態１に係る画像形成装置１の内部構造を示す図である。
画像形成装置１は、原稿の画像を読み取る画像読取装置１００と、記録材上に画像を記録する画像記録装置２００と、を備えている。また、画像形成装置１は、ユーザからの操作入力の受け付けやユーザに対する各種情報の表示を行なうユーザインターフェース（ＵＩ）３００を備えている。さらに、画像形成装置１は、画像形成装置１の全体動作を制御する制御装置５００を備える。制御装置５００は検知部の一例である。

画像読取装置１００は、画像形成装置１の上部に配置されている。画像記録装置２００は、画像読取装置１００の下側に配置され、制御装置５００を内蔵している。ユーザインターフェース３００は、画像形成装置１の上部の手前側、つまり画像読取装置１００の後述する画像読取部１１０の手前側に配置されている。

まずは、画像読取装置１００について説明する。
画像読取装置１００は、原稿の画像を読み取る画像読取部１１０と、この画像読取部１１０に原稿を搬送する原稿搬送部１２０と、を備えている。原稿搬送部１２０は、画像読取装置１００の上部に配置され、画像読取部１１０は、画像読取装置１００の下部に配置されている。
原稿搬送部１２０は、原稿を収容する原稿収容部１２１と、この原稿収容部１２１から搬送された原稿が排出される原稿排出部１２２とを有し、原稿収容部１２１から原稿排出部１２２へ原稿を搬送する。原稿搬送部１２０は、原稿自動送り装置（ＡＤＦ：Auto Document Feeder）とも呼ばれる。

次に、画像記録装置２００について説明する。
画像記録装置２００は、用紙Ｐに画像を形成する画像形成部２０と、画像形成部２０に対して用紙Ｐを供給する用紙供給部６０と、画像形成部２０にて画像が形成された用紙Ｐを排出する用紙排出部７０と、画像形成部２０にて一方の面に画像が形成された用紙Ｐの表裏を反転させ、画像形成部２０に向けて再度搬送する反転搬送部８０と、を備えている。

ユーザインターフェース３００は、自装置（画像形成装置１）に対するユーザの操作入力に使用される入力部（入力装置）の一例であり、詳しくは後述するが、表示部や操作受付部を備える。表示部には各種の情報を提供する画面や個々の機能に対応付けられたソフトウェアキーが表示される。操作受付部は、ハードウェアキーに対する操作の検知、ソフトウェアキーに対する操作の検知等の機能を提供する。
本実施の形態の場合、操作検知部として光学式の座標入力デバイスを採用する。光学式の座標入力デバイスは検知部の一例である。光学式の座標入力デバイスは、光学的に検知可能である限り、表示部以外の空間領域も検知領域として使用することができる。例えば筐体表面に印刷された記号等に対する操作も、表示部に表示されたソフトウェアキーと同等に検知される。

＜画像形成装置の基本動作＞
画像形成装置１は、以下のように動作する。
例えば、画像形成装置１は、画像形成装置１を使用して原稿をコピーすることができる。すなわち、画像形成装置１は、画像読取装置１００によって読み取られた原稿の画像のデータを画像記録装置２００に与え、原稿の画像を用紙Ｐに形成することができる。
また、画像形成装置１は、通信回線に接続された不図示のパーソナルコンピュータ（ＰＣ）等から印刷のジョブを受信し、受信した画像を用紙Ｐに形成することができる。すなわち、画像形成装置１は、通信回線を介して受信した印刷のジョブに含まれる画像データを画像記録装置２００に与え、画像を用紙Ｐ上に形成することができる。
また、画像形成装置１は、ファクシミリの送受信を行なうことができる。すなわち、画像形成装置１は、画像読取装置１００によって読み取られた原稿の画像データを、通信回線を介して送信することができる。
さらに、画像形成装置１は、原稿の画像データを保存することができる。すなわち、画像形成装置１は、装置の内部や通信回線を介して接続されたＰＣに原稿の画像データを保存することができる。

＜制御装置等の構成＞
図３は、画像形成装置１を構成する制御装置５００等の機能ブロック構成例を説明する図である。
制御装置５００は、装置全体を制御する制御部（ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３）と、画像データ等の記憶に用いられる記憶装置５０４と、画像データが表す画像に色補正や階調補正等の画像処理を加える画像処理部５０５とを備える。制御装置５００は情報処理装置の一例である。

ＣＰＵ５０１は、ＲＡＭ５０３を作業エリアに使用してＲＯＭ５０２から読み出したプログラムを実行する。
記憶装置５０４は、ハードディスク装置や半導体メモリ等で構成され、画像読取装置１００で読み取った原稿の画像や通信装置４００を通じて受信した画像に関するデータを記憶する。また、記憶装置５０４は、必要に応じてプログラムの記憶にも用いられる。
画像処理部５０５は、例えば専用のプロセッサや処理ボードとして構成され、色補正や階調補正等の画像処理を実行する。

ユーザインターフェース３００は、操作画面等の表示に使用される表示部３０１と、ユーザの入力操作を受け付ける操作受付部３０２を備えている。操作受付部３０２は、検知部の一例である。
表示部３０１は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルで構成される。

操作受付部３０２は、入力物体の位置や移動をユーザによる操作入力として検知する検知部として機能する。本実施の形態では、操作受付部３０２として、非接触型の座標入力デバイスを使用する。非接触型の座標入力デバイスは、光学的な検知面（検知領域）を横切る入力物体の座標位置を検出することにより、ハードウェアキーやソフトウェアキーに対する操作入力を検知する。

ここで、操作入力とは、何らかの指示を行うことを目的とした入力操作のことを指し、例としてはハードウェアキーの押下や画面のスクロール操作、アイコンの選択操作等が挙げられる。また、入力物体とは、入力装置に対して何らかの指示を与える際に用いられる物体のことを指し、例としては指やペン等が挙げられる。
また、検知領域とは、座標入力デバイスが入力物体の座標（入力座標）を検知できる範囲をいう。

非接触型の座標入力デバイスは、光学的な検知面（検知領域）を形成する赤外光を発する発光素子（光源）と、検知面を横切る入力物体の位置を検知するセンサ部とを有している。
センサ部には撮像カメラを用いる方式と受光素子を用いる方式がある。例えば撮像カメラを用いる場合、撮像カメラは検知面を構成する一辺の両端位置に配置される。ＰＤ（Photodiode）等の受光素子を用いる場合、受光素子をＬＥＤ（Light Emitting Diode）等の発光素子と対向する位置に配置する方式や受光素子を発光素子と互い違いに一列に配置する方式等がある。

非接触型の座標入力デバイスは、例えば表示部３０１の外縁に沿うように配置される。もっとも、表示部３０１は、非接触型の座標入力デバイスの検知領域に含まれていればよいので、非接触型の座標入力デバイスは、表示部３０１の外縁に沿うように配置される必要はない。非接触型の座標入力デバイスは、例えば表示部３０１と並んで配置される。
非接触型の座標入力デバイスの一辺長は、検知領域の大きさに応じて決定される。本実施の形態の場合、非接触型の座標入力デバイスの一辺長は、配置される側の表示部３０１の一辺長よりも長く設定される。
通信装置４００は、例えばモデムやＬＡＮインターフェースで構成され、ファックス通信や外部装置との通信に用いられる。

＜ユーザインターフェースの外観構成＞
続いて、本実施の形態で使用するユーザインターフェース３００について説明する。
図４（Ａ）はユーザインターフェース３００を上面側から見た図、図４（Ｂ）は側面側から見た図、図４（Ｃ）は正面側から見た図である。画像読取装置１００の筐体面でもある装置本体３０３の上面には、表示画像を表示する表示部３０１と、光学的に入力物体の操作位置を検知する操作受付部３０２が設けられている。

本実施の形態における操作受付部３０２は、座標検知センサ等の非接触型の座標入力デバイスで構成される。
本実施の形態の場合、操作受付部３０２は、表示部３０１を規定する４辺のうちの一辺に沿うように配置されている。また、本実施の形態における操作受付部３０２の長さは、操作受付部３０２が取り付けられる側の表示部３０１の一辺長よりも長く定められている。もっとも、操作受付部３０２の長さが表示部３０１の一辺長より長いことが必須ではない。従って、操作受付部３０２の長さが表示部３０１の一辺長とほぼ同じでもよい。

図４（Ａ）の場合、表示部３０１のＸ軸方向の長さよりも、操作受付部３０２のＸ軸方向の長さの方が大きく定められている。このため、本実施の形態における操作受付部３０２は、表示部３０１の上空だけでなく、表示部３０１が存在しない空間（図４（Ａ）の場合は表示部３０１の右側の空間）も検知領域に含まれる。検知領域の詳細については後述する。
なお、操作受付部３０２は、装置本体３０３の上面から突き出るように装置本体３０３に対して固定的に取り付けられている。

操作受付部３０２のうち表示部３０１が設けられている側の側面には、光を発する発光素子３１１と、光を受光する受光素子３１２が交互に配列されており、これらによって装置本体３０３の上空には、上面に対して平行な検知面（図６の検知領域３２０）が形成される。ここでの検知面は、検知領域の一例である。

本実施の形態の場合、発光素子３１１は、赤外線光等を出射するＬＥＤ（Light Emitting Diode）等で構成される。また、受光素子３１２は、検知面を横切る入力物体（例えば指、ペン等）から反射された反射光を受光するＰＤ（Photodiode）等で構成される。
図４（Ｃ）に示すように、発光素子３１１と受光素子３１２は、交互に直線状に配置される。なお、図４（Ｃ）における発光素子３１１と受光素子３１２のサイズや配置は、説明のために拡大されている。実際には、要求される検出精度に応じたサイズと密度で、発光素子３１１と受光素子３１２が配列される。
本実施の形態における操作受付部３０２は、表示部３０１に表示されたソフトウェアキーに対する操作入力だけでなく、装置本体３０３の上面に印刷されたアイコンに対する操作入力や装置本体３０３に物理的に配置されたハードウェアキーに対する操作入力も検知することができる。

図５は、操作受付部３０２が入力物体Ｔを検出する原理を説明する図である。
本実施の形態で使用する操作受付部３０２は、発光素子３１１と受光素子３１２の配列方向（Ｘ軸方向）における入力物体Ｔの位置を、入力物体Ｔの反射光をどの受光素子３１２で検出したかによって特定する。
また、操作受付部３０２は、操作受付部３０２から遠ざかる方向（Ｙ軸方向）における入力物体Ｔの位置を、受光素子３１２が受光する光の強度によって特定する。

操作受付部３０２は、入力物体Ｔが操作受付部３０２に近いほど受光素子３１２で受光される光の強度はより大きくなり、入力物体Ｔが操作受付部３０２から遠いほど受光素子３１２で受光される光の強度はより小さくなるという特性を利用して、操作受付部３０２と入力物体Ｔとの距離を特定する。
なお、操作受付部３０２は、複数の入力物体Ｔを一度に検出することができる。このため、いわゆるマルチタッチを検出できる。

図６（Ａ）は検知領域３２０の設定例を説明する上面図であり、図６（Ｂ）は検知領域３２０の設定例を説明する側面図である。
図６（Ａ）及び（Ｂ）に示すように、操作受付部３０２の検知領域３２０は、装置本体３０３（表示部３０１を含む）の表面に沿うように、表面から予め定めた距離だけ離れた上空位置に、操作受付部３０２から遠ざかる方向（Ｙ軸方向）に形成される。

検知領域３２０として入力物体Ｔを検知可能な範囲は、発光素子３１１の発光輝度や受光素子３１２の受光感度等によって定まるが、少なくとも表示部３０１（図４（Ａ）参照）の上空を含むように設定される。図６（Ａ）に示す検知領域３２０は、表示部３０１（図４（Ａ）参照）の他、装置本体３０３の上空や装置本体３０３の外側に位置する周辺空間も含む。
もっとも、検知領域３２０として使用可能な範囲の外縁は使用環境の影響も受けるため、その外縁は必ずしも明確ではない。

＜操作入力検知機能部＞
続いて、ユーザインターフェース３００と制御装置５００（ＣＰＵ５０１）との協働によって実現される操作入力検知機能部について説明する。操作入力検知機能部は、ユーザインターフェース３００と制御装置５００（ＣＰＵ５０１）との協働によって実現される入力装置が提供する機能の一例である。もっとも、操作入力検知機能部は、ユーザインターフェース３００単独の機能として実現してもよい。

本実施の形態の場合、入力装置として機能する制御装置５００は、検知領域上における入力物体の位置や動きに関する情報（例えば検知座標の出力列）を操作受付部３０２から受け付け、ユーザによる操作の対象である被操作子（例えばソフトウェアキー、アイコン、操作バー、メニューバー）に割り当てられた個々の検知範囲との位置関係に基づいて、ユーザによる操作入力の内容を検知する。
被操作子とは、ユーザによる操作入力の対象となる対象物であり、それを操作することで何らかの操作入力を与えることができるものである。
検知範囲とは、検知された操作入力を個々の被操作子に紐付けるために使用される小領域であり、検知領域の部分領域を構成する。
一般的に、検知範囲は、１つの検知領域内に排他的に配置される。もっとも、１つの検知領域内に重複的に検知範囲を配置し、検知された操作入力を検知範囲が重複する複数の被操作子のいずれに対応付けるかを制御装置５００側で決定してもよい。

本実施の形態の場合、被操作子は、ユーザが視覚的にその存在を把握できる場合だけでなく、視覚的にはその存在を把握できない場合も含まれる。本実施の形態では、前者を可視キーと呼び、後者を非可視キーとも呼ぶ。
視覚的に存在を把握できる被操作子（可視キー）には、装置本体３０３の筐体面上に物理的に配置されるハードウェアキー（ボタン、スイッチ等）、装置本体３０３の筐体面上に印刷された印刷キー（アイコン、マーク、文字等）、表示画面上に表示されるソフトウェアキー（記号、絵柄等）が含まれる。装置本体３０３の筐体面に印刷される印刷キーは、割り当てられる機能と物理的な位置との関係が固定である点で、ハードウェアキーの一例でもある。なお、可視キーに紐付けられる操作機能は第１の操作機能の一例である。

視覚的に存在を把握できない被操作子（非可視キー）は、検知領域内であれば、どの位置にも割り当てることができる。一般には、検知領域のうち、装置本体３０３の筐体面に物理的に配置されたハードウェアキーや表示部３０１を除く領域に割り当てられる。
非可視キーは、視覚的に存在を把握できないので、可視キーとは無関係に割り当てることができる。従って、検知領域内の可視キーと同じ位置に非可視キーを割り当てることも可能である。ここで、非可視キーに紐付けられる操作機能は第２の操作機能の一例である。

可視キーは視覚的に把握可能であるので、検知領域上における第１の操作機能の割り当ては可視キーの位置に対して固定的に定まる。一方、非可視キーは視覚的に把握できないので、第２の操作機能は検知領域上に可変的に割り当てることができる。
本実施の形態において、可変的とは、割り当て領域の位置やサイズが固定されないという意味で使用する。換言すると、可視キーとは無関係に、第２の操作機能の割り当て領域の位置及びサイズを定めることができることをいう。

続いて、操作入力検知機能部の機能構成について説明する。
図７は、本実施の形態で使用する操作入力検知機能部６００の機能構成を説明する図である。
操作入力検知機能部６００は、操作機能を検知領域上に割り当てる操作機能割当部６０１と、割り当てられた操作機能に対応する検知範囲と入力座標を照合して操作入力の内容を検知する操作検知部６０２と、操作機能の割り当てをサポートする操作サポート部６０３とを有している。

操作機能割当部６０１は、検知領域情報と、ハードウェアキー情報と、表示画像情報と、非可視キー情報とを入力情報として使用し、処理時点で使用可能な操作機能を検知領域内のどの位置に割り当てるかを決定する機能を提供する。
検知領域情報は、操作機能を割り当てることができる範囲の外縁を与えるために使用される。
ハードウェアキー情報は、検知領域内に存在するハードウェアキーの位置情報（座標情報）又はその検知範囲の情報である。
表示画像情報は、表示画面上におけるソフトウェアキーの内容と表示位置の取得に用いられる。
非可視キー情報は、検知領域内に第２の操作機能を割り当てるために使用される情報であり、例えばユーザから指定のあった非可視キーの割り当て位置やサイズ等の情報を含む。

操作検知部６０２は、操作受付部３０２から受け付けた入力座標と個々の操作機能に紐付けられた検知範囲との照合を通じてユーザによる操作入力の内容を検知する。
操作サポート部６０３は、非可視キーとして使用する操作機能や割り当て位置等に関する操作をサポートする機能を提供する。具体的には、視覚的には存在を把握できない被操作子（非可視キー）が割り当てられていることをユーザに通知する機能、ユーザの操作を通じて非可視キーを検知領域内に割り当てる機能等を提供する。この操作サポート部６０３によって提供される機能の具体例については後述する。

まず、操作入力検知機能部６００による検知動作について説明する。
図８は、操作入力検知機能部６００による検知動作の実行例を説明するフローチャートである。
操作入力検知機能部６００の動作は２段階で実行される。１段目の動作は、例えば表示画面の切り替えごとに実行される動作であり、検知領域内に処理時点で使用可能な被操作子（可視キー及び非可視キー）を割り当てる動作である。１段目の動作は、操作機能割当部６０１が実行する。２段目の動作は、入力物体による新たな操作入力が検出されるたびに実行される動作である。２段目の動作は、操作検知部６０２が実行する。

まず、操作機能割当部６０１は、検知領域情報を取得する（ステップ１０１）。例えば検知領域３２０（図６（Ａ）参照）の外縁を規定する情報が取得される。本実施の形態の場合、検知領域は、タップ操作、ダブルタップ操作、長押し操作、ドラッグ操作、スワイプ操作、フリック操作等の検知にも使用される。これらの操作は、検知された態様によって操作機能が区別されるものであり、検知領域の一部の領域に紐付けられている第２の操作機能とは異なる。

次に、操作機能割当部６０１は、ハードウェアキー情報を取得する（ステップ１０２）。なお、図４に示す装置本体３０３のように、筐体面上にハードウェアキーが配置されていない場合、ハードウェアキー情報の取得はスキップされる。
続いて、操作機能割当部６０１は、表示画像情報を取得する（ステップ１０３）。表示画像情報には、例えばユーザの確認に供されるコンテンツと、コンテンツに対する操作を与えるためのソフトウェアキーの情報も含まれる。

更に、操作機能割当部６０１は、非可視キー情報を取得する（ステップ１０４）。非可視キーを用いない場合には、この情報は取得されない。検知領域３２０への非可視キーの割り当ては、アプリケーションの機能として実行される場合とユーザの操作に起因して実行される場合がある。
必要とする情報が取得されると、操作機能割当部６０１は、各処理時点で使用可能な可視キーと非可視キーの検知領域上における割り当てを特定する（ステップ１０５）。
この後、操作機能割当部６０１は、可視キーと非可視キーのそれぞれについて検知範囲を設定する（ステップ１０６）。

以上の設定が終了すると、操作検知部６０２は、入力座標の有無に基づいて入力物体（例えば指先やペン）があるか否かを判定する（ステップ１０７）。
入力座標がそもそも存在しない場合や検知されていた入力座標が消滅した場合、操作検知部６０２は、否定結果を得て実行中の検知処理を終了する。検知処理が終了すると、新たな検知処理が開始される。
入力物体の存在が検知された場合、操作検知部６０２は、入力物体の座標を取得する（ステップ１０８）。操作検知部６０２は、認識された入力物体毎にサンプリングされた複数の座標列（移動軌跡）を取得する。

次に、操作検知部６０２は、取得された入力座標と個々の被操作子に設定されている検知範囲とを照合し、操作入力の内容を検知する（ステップ１０９）。
操作検知部６０２は、入力座標がいずれかの検知範囲に含まれる場合であってタップ等の指示が検知されると、被操作子（可視キー、非可視キー）に紐付けられている操作機能に対する操作を有効とみなす。

続いて、ユーザの操作とは無関係に操作機能が非可視キーに割り当てられた場合に又は割り当てられている場合に、ユーザに通知する機能について説明する。
図９は、操作サポート部６０３による非可視キーの割り当て通知機能の実行例を説明するフローチャートである。図９に示す機能は、視覚的には存在を確認できない非可視キーの割り当てをユーザに通知するために用意されている。

まず、操作サポート部６０３は、前述した操作機能割当部６０１から操作機能の割り当て情報を取得する（ステップ２０１）。ここでの情報には、可視キーと非可視キーの両方の情報が含まれる。
次に、操作サポート部６０３は、検知領域内に非可視キーが割り当てられているか否かを判定する（ステップ２０２）。割り当てが無い場合（否定結果の場合）、操作サポート部６０３は処理を終了する。

非可視キーの割り当てがあった場合（肯定結果の場合）、操作サポート部６０３は、非可視キーの割り当て通知機能がオンであるか否かを判定する（ステップ２０３）。通知機能がオフの場合（否定結果の場合）、操作サポート部６０３は処理を終了する。経験的に非可視キーの割り当てを理解しているユーザにとっては、割り当て通知によって作業が中断されるのを避けることができる。
通知機能がオンの場合、操作サポート部６０３は、非可視キーに割り当てられている操作機能と割り当て位置を表示部３０１に表示する（ステップ２０４）。この表示により、ユーザの操作とは無関係に操作機能の非可視キーへの割り当てが実行された場合でも、ユーザは視覚的には存在しない非可視キーを認識して操作を行うことができる。

続いて、ユーザが操作機能を非可視キーに割り当てる場合に実行される機能について説明する。
図１０は、ユーザによる非可視キーの割り当て作業をサポートする機能の実行例を説明するフローチャートである。この機能も操作サポート部６０３が実行する。
操作サポート部６０３は、繰り返し、非可視キーの割り当ての操作入力があったか否かを判定する（ステップ３０１）。
操作入力を確認できない場合（否定結果の場合）、操作サポート部６０３は処理を終了する。一方、操作入力を確認できた場合（肯定結果の場合）、操作サポート部６０３は、非可視キーを割り当てる領域の受け付け処理を実行する（ステップ３０２）。この処理では、後述する作業画面等を通じて割り当て位置を受け付ける。

次に、操作サポート部６０３は、非可視キーとして使用する操作機能が未定か否かを判定する（ステップ３０３）。
割り当て対象とする操作機能が表示画面等の関係から１つに特定される場合や予め割り当てられる処理機能が設定されている場合等、指定の必要がない場合（否定結果の場合）、操作サポート部６０３は処理を終了する。一方、未定である場合（肯定結果の場合）、操作サポート部６０３は、表示部３０１を通じて非可視キーに割り当てられる操作機能の受け付け処理を実行する（ステップ３０４）。受け付け終了後、操作サポート部６０３は処理を終了する。

＜操作例及び表示画面例＞
ここでは、本実施の形態に係る操作入力検知機能部６００を通じて実現されるユーザの操作例や表示画面例について説明する。

・操作ボタンの割り当て先の違いによる表示画面の変化
図１１（Ａ）及び（Ｂ）は、操作ボタンを表示部３０１に表示する場合（可視キーに割り当てる場合）と表示部３０１の下側の筐体表面に仮想的に配置する場合（非可視キーに割り当てる場合）による表示画面の変化を説明する図である。
図１１（Ａ）及び（Ｂ）は、４つの操作ボタンを可視キーに割り当てる場合と非可視キーに割り当てる場合を示している。ここでの４つの操作ボタンは、表示部３０１の左辺側から右辺側へ順番に、「戻る」、「拡大」、「再読み込み」、「進む」である。

図１１（Ａ）は、表示部３０１に４つの操作ボタンを表示する場合の表示画面の例を示している。すなわち、４つの操作ボタンが可視キーに割り当てられている例を示している。
同じ表示画面には、確認対象ページのイメージの他、送りボタン、別ページをスキャンによって取り込むためのボタン等が配置されているが、いずれの表示面積も、表示画面の下辺に沿って表示される４つの操作ボタンのために縦方向について小さくなっている。

図１１（Ｂ）は、操作入力検知機能部６００の機能によって４つの操作ボタンが装置本体３０３の筐体面（具体的には、表示部３０１の下辺の外側に位置する筐体面３０４）に割り当てた場合の表示画面の例を示している。すなわち、４つの操作ボタンを非可視キーに割り当てられた状態を示している。
この場合、表示画面に４つの操作ボタンを表示する必要がないため、縦方向について表示空間が拡張され、結果的に、確認対象ページのイメージ、送りボタン等の表示サイズが上段の図に比べて拡大され、視認性が向上される。
また、４つの操作ボタンには、表示部３０１に表示される場合よりも大きな検知範囲を割り当てることができるため、押し間違いによる誤操作も低減することができる。もっとも、視覚的には割り当て位置を確認できないため、ボタンとボタンの間は押し間違いが生じない程度に離すことが望まれる。

筐体面３０４の位置には、装置本体３０３の枠外に破線で示したように４つの操作ボタンが割り当てられており、操作受付部３０２は光学的に筐体面３０４への操作入力を検知できる。このため、ユーザは、表示部３０１に４つの操作ボタンを表示する場合に比して視認性が向上した表示画面を確認しながら、必要な操作を行うことができる。もっとも、破線の中に示す４つの操作ボタンは理解のためであり、実際には、各操作機能に対する操作入力を検知するための検知範囲が割り当てられている。
なお、操作ボタンを割り当てている位置は一例であり、原理的には、操作受付部３０２の検知領域内であればどの位置にも割り当てることができる。例えば表示部３０１の右側の筐体表面、装置本体３０３の更に外側の空間、表示部３０１の上空の空間にも割り当てることができる。

・非可視キーの割り当て通知画面
図１１（Ｂ）を用いて説明したように、操作機能の一部を表示部３０１の表示空間の外側の空間に割り当てることで表示部３０１に表示される表示画像の表示サイズを、割り当てない場合よりも拡大することができるが、一方で非可視キーは視覚的には存在を確認できないため、予備知識のないユーザは非可視キーの存在に気づくことができない。

図１２（Ａ）〜（Ｃ）は、操作サポート部６０３が提供する非可視キーの割り当て通知画面の一例を示す図である。
図１２（Ａ）は、本機能による通知前のユーザインターフェース３００の状態を表している。実際には非可視キーとして操作機能の一部が割り当てられているが、ユーザインターフェース３００を見ても、ユーザは非可視キーの存在に気づくことができない。特に、ユーザの指示操作に基づかない場合、非可視キーの割り当てに気づくことは困難である。

図１２（Ｂ）は、図９を用いて説明した操作サポート部６０３の通知機能により、表示部３０１に通知画面が表示された状態を表している。この図の場合、表示部３０１には、テキストと模式図の両方を用いて非可視キーとして割り当てられている操作機能の内容と割り当て位置が示されている。具体的には、縦方向に画面をスクロールするためのスライダーが、画面の右側に割り当てられていることが示されている。
図１２（Ｃ）は、通知終了後のユーザの操作入力を表している。この段階のユーザは、先の通知により表示部３０１の右側の領域部分に縦方向に画面をスクロールするスライダーが割り当てられていることを知っている。このため、人差し指３０５で装置本体３０３の筐体表面をなぞるように下側に移動させ、表示画面を下方に進めている。

・非可視キーの割り当て位置の指定画面
ここでは、ユーザが操作機能の割り当て位置を指定する場合の画面例について説明する。
図１３は、操作サポート部６０３が提供する操作機能の割り当て位置の受付画面の一例を示す図である。図１３の例では、割り当て位置の候補として３つの領域３２１〜３２３が模式的に提示されるとともに、いずれかの領域を指定するように促すテキスト文が示されている。
ここで、領域３２１は、表示部３０１と操作受付部３０２の間に存在する細長い領域であり、その長さは操作受付部３０２の長さとほぼ同じである。領域３２２は、表示部３０１の右側に位置する装置本体３０３の筐体表面の領域である。領域３２３は、表示部３０１の下側に位置する装置本体３０３の筐体表面の領域である。なお、選択対象となる領域の数は３つに限らない。

このように、操作機能を割り当てる領域をユーザが指定できる仕組みを設けることで、ユーザにとって操作の容易な位置に操作機能を非可視キーとして割り当てることができる。
なお、図１３の場合には、３つの領域の中から選択的に１つの領域を指定する例を表しているが、この指定の後に又は指定の前に、割り当て対象である操作機能を指定する画面を用意してもよい。
また、図１３の場合には、３つの領域の中から選択的に１つの領域を指定する例を表しているが、操作機能を割り当てる位置をユーザが自由に指定できるようにしてもよい。この場合、割り当て可能な範囲（設計上の検知領域の外縁が限界）をなぞる等して画面上に示すことが望ましい。
ところで、図１３に示す画面が表示されるタイミングは、操作機能の一部を非可視キーに割り当てるタイミングに限らず、予め非可視キーを割り当てる領域を設定するタイミングでもよい。

・非可視キーの割り当て範囲の指定画面
ここでは、ユーザが操作機能を割り当てる範囲のサイズを指定する場合の画面例について説明する。
図１４は、操作サポート部６０３が提供する操作機能の割り当て範囲のサイズ受付画面の一例を示す図である。図１４に示す受付画面では、３種類のサイズの中から一つを選択的に受け付けることができる。図では、狭めの幅が選択されている。
図１４の場合、表示部３０１の表示画面には、選択候補である「狭め」、「標準」、「広め」による割り当て幅の違いが模式的に示されている。
このように、操作機能を割り当てる領域の範囲をユーザが指定できる仕組みを設けることで、ユーザにとって操作の容易な範囲を非可視キーに割り当てることができる。
図１４では、操作機能に割り当てる領域を横方向に拡張又は縮小する例を示したが、領域を縦方向に拡張又は縮小できるようにしても、横方向と縦方向の両方について拡張又は縮小できるようにしてもよい。
また、図１４の場合には、予め用意した候補の中から１つを選択的に指定しているが、ユーザの操作入力を通じて範囲を指定できるようにしてもよい。

・操作機能の種類の指定画面
ここでは、ユーザによって指定された位置に割り当てる操作機能を指定する場合の画面例について説明する。
図１５は、操作サポート部６０３が提供する操作機能の受付画面の一例を示す図である。図１５に示す受付画面では、５種類の操作機能の中から一つを選択的に受け付けることができる。具体的には、縦方向に画面をスクロールするためのスライダー、横方向に画面をスクロールするためのスライダー、テンキー、キーボード、操作ボタンの５つである。図では、テンキーが選択されている。

このように、非可視キーとして割り当てる操作機能の種類をユーザが指定できるため、視覚的には存在を確認できなくても割り当てられている操作機能の種類を認識した上で操作入力を行うことができる。
なお、図１５の例では、指定された操作機能について用意されているボタン類の配列や配置が示されていないが、配列等も画面上に模式的に表示してもよい。ボタン類の配列等が事前に分かれば、ユーザは誤らずに非表示のボタン類を操作することができる。

・操作機能の非可視キーへの割り当て変更
ここでは、表示部３０１の画面上に表示されている操作機能を非可視キーに変更するための操作例について説明する。
図１６（Ａ）及び（Ｂ）は、操作機能の非可視化にボタン操作を使用する例を説明する図である。
図１６（Ａ）には、表示部３０１の表示画面に表示されている変更ボタン３３０を、ユーザが人差し指３０５でタップする様子が示されている。なお、図１６（Ａ）の表示画面には縦方向に表示画面をスクロールするスライダーが画面の右端に表示されている。

図１６（Ｂ）は、変更ボタン３３０をタップした後のユーザインターフェース３００を示している。図１６（Ｂ）に示すように、表示部３０１の表示画面上からはスライダーの表示が消え、表示部３０１に対して右側に位置する装置本体３０３の筐体表面上にスライダーの機能が割り当てられている。しかも、筐体表面に割り当てられるスライダーのサイズは表示サイズより大きいため、操作も容易になる。
もっとも、表示位置を示す役割を示すスライドバーについては視覚的に確認できないこともあり、特定の領域が割り当てられない。ただし、ユーザの指が最初にタッチした位置をスライドバーの位置とみなし、スクロールを実現してもよい。
この操作例は、変更ボタン３３０がタップされた場合に非可視キーに割り当てられたスライダーがどの位置に割り当てられたかをユーザが知っていることが前提となる。

図１７（Ａ）及び（Ｂ）は、操作機能の非可視化にユーザのジェスチャ（操作入力）を使用する例を説明する図である。
図１７（Ａ）は、表示部３０１の表示画面に表示されているスライダーにタッチしている人差し指３０５を画面の外（具体的には右方向）に引き出すジェスチャーを行う様子が示されている。
図１７（Ｂ）は、ジェスチャー後のユーザインターフェース３００を示している。図１７（Ｂ）に示すように、表示部３０１の表示画面上からはスライダーの表示が消え、表示部３０１に対して右側に位置する装置本体３０３の筐体表面上に割り当てられている。ユーザのジェスチャーを用いるので、ユーザは迷うことなくスライダーを操作することができる。また、ここでのジェスチャーは、非可視化する操作機能を特定する操作入力としても使用できる。

・割り当て状況の確認
ここでは、使用中に非可視キーの割り当て状況を確認したい場合の操作例について説明する。
前述したように、システムの側から非可視キーの割り当て状況を通知する機能も設けられているが、ユーザが知りたいときに通知されるとは限らない。
そこで、ユーザの操作入力をトリガーとして非可視キーの割り当て状況を通知する機能について説明する。割り当て状況とは、割り当ての有無、割り当てられている操作機能の種類や割り当て位置等の情報である。

図１８（Ａ）及び（Ｂ）は、確認ボタン３３１の操作を通じて非可視キーの割り当て状況を表示させる例を説明する図である。
図１８（Ａ）は、表示部３０１の表示画面に表示されている確認ボタン３３１を人差し指３０５でタップする様子を表している。確認ボタン３３１は、非可視キーの割り当て状況の確認用に用意された仕組みの一例である。確認ボタン３３１のタップ操作の代わりに、予め定めた領域のタップ操作やダブルタップ操作等の特定の操作を用いてもよい。

図１８（Ｂ）は、確認ボタンの操作後のユーザインターフェース３００を示している。この例の場合、非可視キーが割り当てられているので、表示部３０１には、模式的に割り当て位置と割り当てられている操作機能（具体的には用意されているボタン類）が示されている。
この例の場合、非可視キーは表示部３０１の右側の領域、すなわち装置本体３０３の筐体表面のうち表示部３０１の右側の領域に配置されている。また、割り当てられている操作機能の内容が割り当て領域に対応付けて示されている。
この例の場合、「戻る」、「拡大」、「再読み込み」、「進む」で構成される操作ボタンが表示されている。この表示により、ユーザは、どの領域部分をどのようにタップすればどのような操作が実行されるかを、何時でも必要な時に理解することができる。

・非可視キーの自動切換え
ここでは、非可視キーとして割り当てられる操作機能の自動切換え機能について説明する。すなわち、表示部３０１に表示されている表示内容や実行されているアプリケーションに応じて、非可視キーとして割り当てる操作機能が自動的に切り替わる場合について説明する。

図１９（Ａ）及び（Ｂ）は、表示内容に応じて非可視キーに割り当てられる操作機能が切り替わる様子を説明する図である。
図１９（Ａ）は、内容Ａが表示部３０１に表示されている場合に、表示部３０１の右側の領域に上下方向にスクロールするためのスライダーが割り当てられている様子を示している。例えばテキスト文書が表示されている場合に当たる。
図１９（Ｂ）は、内容Ｂが表示部３０１に表示されている場合に、表示部３０１の右側の領域にテンキーが割り当てられている様子を示している。例えば会計書類や表計算シートが表示されている場合に当たる。

図２０（Ａ）及び（Ｂ）は、実行中のアプリケーションに応じて非可視キーに割り当てられる操作機能が切り替わる様子を説明する図である。
図２０（Ａ）は、アプリケーションＡが表示部３０１に表示されている場合に、表示部３０１の右側の領域に上下方向にスクロールするためのスライダーが割り当てられている様子を示している。例えばワープロソフトが実行されている場合に当たる。
図２０（Ｂ）は、アプリケーションＢが表示部３０１に表示されている場合に、表示部３０１の右側の領域にテンキーが割り当てられている様子を示している。例えば会計ソフトや表計算ソフトが実行されている場合に当たる。

このように、表示内容や実行中のアプリケーションに応じて非可視キーに割り当てられる操作機能に対する知識を有していれば、非可視キーに割り当てられる操作機能が自動的に切り替わることでユーザが非可視キーに操作機能を割り当てる作業を省略することができる。

・割り当て領域の他の例
前述の説明においては、非可視キーを割り当てる領域として、操作受付部３０２の検知領域のうち表示部３０１の領域の外側を用いる場合について説明したが、表示部３０１の上空を利用することもできる。
図２１は、表示部３０１と重なる検知領域内に、表示上の被操作子（すなわちソフトウェアキー）とは別にテンキーを非可視キーとして割り当てる例を示す図である。

この例の場合、１つの座標に対して複数のキーが割り当てられることになるが、予め表示部３０１に表示されている被操作子（可視キー）に対する操作入力として受け付けるか、非可視キーに対する操作入力として受け付けるかを指定しておけば、表示部３０１と重なる空間も非可視キーの割り当て領域として有効活用することができる。
また、表示部３０１に表示されている被操作子（可視キー）と重ならないように非可視キーが割り当てられるようにしてもよい。

＜実施の形態２＞
実施の形態１においては、画像形成装置１のユーザインターフェース３００に非可視キーの割り当て機能を適用する場合について説明したが、本実施の形態では、携帯型の情報端末に適用する場合について説明する。

図２２（Ａ）は実施の形態２に係るタブレット型の情報端末７００を上面側から見た図、図２２（Ｂ）は側面側から見た図、図２２（Ｃ）は正面側から見た図である。
情報端末７００は情報処理装置の一例である。情報端末７００は、例えばスマートフォンやゲーム機でもよい。
情報端末７００の装置本体７０１の上面には、表示画像を表示する表示部７０２と、光学的に入力物体の操作位置を検知する操作受付部３０２とが設けられている。操作受付部３０２は、実施の形態１で説明したように非接触型の座標入力デバイスである。実施の形態１との違いは、操作受付部３０２の長さが表示部７０２のＸ軸方向の長さと同じである点である。

また、本実施の形態における装置本体７０１の上面にはアイコン（近接無線通信チップの埋め込み位置を示すマーク７０５Ａ、ホームボタン７０５Ｂ、電源ボタン７０５Ｃ）が印刷されている。これらは可視キーの一例であり、検知範囲が固定されるという意味でハードウェアキーの一例でもある。
マーク７０５Ａは、近接無線通信に対応する機器との通信の際に目印として使用される。また、ホームボタン７０５Ｂは、予め登録されたホーム画面に戻す指示に使用される。電源ボタン７０５Ｃは、動作電源のオン又はオフに使用される。勿論、これらのアイコンに割り当てられている機能は一例である。

図２３は、情報端末７００を構成する制御部７５１等の機能ブロック構成例を説明する図である。
情報端末７００は、装置全体を制御する制御部７５１と、画像の表示に使用される表示部７０２と、検知面を横切る入力物体の座標位置を検知する操作受付部３０２と、各種のデータやプログラムの記憶に用いられる記憶部７５５と、外部装置との通信に用いられる通信部７５６と、装置本体７０１の使用状態における向き（姿勢）を検知する端末向き検知部７５７とを有している。
これらの各部は例えばバス７５８を通じて互いに接続されており、バス７５８を介してデータを受け渡しする。

制御部７５１は、ＣＰＵ７５２、ＲＯＭ７５３、ＲＡＭ７５４により構成されている。ＲＯＭ７５３には、ＣＰＵ７５２により実行されるプログラムが記憶されている。ＣＰＵ７５２は、ＲＡＭ７５４を作業エリアに使用し、ＲＯＭ７５３から読み出したプログラムを実行する。プログラムの実行を通じ、情報端末７００の各部が制御される。
本実施の形態における制御部７５１は、操作受付部３０２とともに入力装置としての機能を提供する。

表示部７０２は、例えば液晶ディスプレイパネルや有機ＥＬ（Electro Luminescence）ディスプレイパネルで構成される。
操作受付部３０２は、装置本体７０１の表面に一体的に取り付けられている。
記憶部７５５は、ハードディスク装置や半導体メモリ等の記憶装置により構成される。
通信部７５６は、例えば無線ＬＡＮ（Local Area Network）のインターフェースで構成される。

端末向き検知部７５７は、例えば加速度センサと地磁気センサで構成される。本実施の形態では、装置本体７０１のうち操作受付部３０２が配置されている側の辺を上端とし、Ｙ軸周り（図２２参照）のロール、Ｘ軸周り（図２２参照）のピッチ、Ｚ軸周り（図２２参照）のアジマスを検知する。
端末向き検知部７５７は、これら軸周りの回転情報と方位角の情報を用いて、装置本体７０１のどの辺が鉛直上方を向いているかを検知する。

以下では、タブレット型の情報端末７００に特有な動作例等を説明する。なお、操作入力検知機能部６００（図７参照）としての機能は、制御部７５１が提供する。
図２４は、本実施の形態で使用する情報端末７００に特徴的な割り当て領域７８１及び７８２を示す図である。
割り当て領域７８１は、表示部７０２と操作受付部３０２との間の空間であり、例えば横方向の画像をスクロールするスライダーの割り当てに使用される。割り当て領域７８２は、表示部７０２とアイコン（マーク７０５Ａ、ホームボタン７０５Ｂ、電源ボタン７０５Ｃ）との間の空間であり、例えば操作ボタン（「戻る」、「拡大」、「再読み込み」、「進む」）の割り当てに使用される。

図２５（Ａ）及び（Ｂ）は、表示部７０２に表示されている操作ボタンが非可視キーとして割り当て領域７８２に割り当てられる様子を示す図である。
図２５（Ａ）は、表示部７０２に操作ボタン（「戻る」、「拡大」、「再読み込み」、「進む」）が表示されている様子を表している。
図２５（Ｂ）は、表示部７０２に表示されていた操作ボタンが非可視キーとして割り当て領域７８２に割り当てられた結果として、表示部７０２に表示されている確認対象ページのイメージ等が拡大された様子を表している。
この例の場合も、実施の形態１の場合と同様、視覚的には存在を確認できない非可視キーに対する操作入力を操作受付部３０２によって検知し、対応する動作を実行することができる。

以下では、情報端末７００の変形例について説明する。
図２６は、必要に応じて引き出して使用できるボード７９１を収容する情報端末７００の例を説明する図である。
図２６の例では、ボード７９１の表面にテンキーが印刷されている。図２６に示すように、引き出した状態でのボード７９１の端部は検知領域３２０の内側に位置している。このため、ボード７９１に対する操作入力を操作受付部３０２によって検知可能である。
ボード７９１にボタン類が印刷されていると、検知領域３２０内に割り当てられている非可視キーを、可視キーと同じように扱うことが可能になる。
なお、図２６の例の場合には、ボード７９１にテンキーが印刷されているが、印刷される内容はアルファベットが配列されたキーボード、数字が配列されたキーボード、特定の言語に対応したキーボードでもよい。

図２６に示す装置本体７０１は、ボード７９１を１枚だけ収容しているが印刷されている内容が異なる複数枚のボード７９１を収容していてもよい。この場合、ユーザは、必要に応じていずれかのボード７９１を引き出して使用する。ここでのボード７９１は可動部材の一例である。
また、図２６の例では、ボード７９１を装置本体７０１から引き出して使用しているが、板状の可動部材を用いてもよい。この板状の可動部材は、折り畳まれた状態で装置本体７０１に収容されていてもよいし、不使用時には装置本体７０１の表面を保護するために使用される回転式やスライド式の蓋でもよいし、使用時には装置本体７０１の裏面側から表面側に回転式に取り出される板状の部材でもよい。

また、図２６の場合には、ボード７９１の表面に非可視キーに対応する情報が印刷されているが、ボード７９１は非可視キーに対応する情報が印刷されていない無地の板でもよいし、非可視キーとは関係のない情報が印刷されていてもよい。前述したように、非可視キーに対する操作入力は、視覚的に存在する情報とは無関係に検知され実行されるためである。
なお、実施の形態１で説明したように、非可視キーとして割り当てられた操作機能について用意されたボタン類の配列や配置は表示部７０２の表示画面上で確認できることが望ましい。

図２７は、表示部７０２の下辺の外側にボード７９１（図２６参照）に相当する空き領域が設けられている情報端末７００の例を説明する図である。
図２７に示す情報端末７００では、表示部７０２の画面上に非可視キーとして割り当てられた操作機能を印刷するための印刷ボタン８０１が表示されている。この印刷ボタン８０１は、非可視キーが割り当てられている場合だけ表示される設定でもよい。
ここで、ユーザが印刷ボタン８０１をタップすると、情報端末７００は通信可能な印刷装置（不図示）と通信し、割り当てられている操作機能のイメージのプリントアウトを命じる。図２７の場合、割り当てられた操作機能がテンキーであるので、紙に印刷されたテンキー（以下「紙テンキー」という）８１１がプリントアウトされる。

この後、ユーザは、プリントアウトされた紙テンキー８１１を装置本体７０１の筐体面上において非可視キーとして用意されたボタン類の配置を視覚的に確認しながら操作入力を行う。
このように、本来は視覚的に存在を確認できない非可視キーであるが、表示部７０２に印刷ボタン８０１を用意することで、不慣れなユーザであっても非可視キーの割り当て位置を確認しながら操作入力を行うことができる。
なお、図２７の場合には、情報端末７００の装置本体７０１に非可視キーの割り当て領域に相当する空き領域が存在しているが、この空間にはハードウェアキーが配置されていてもよいし、そもそも装置本体７０１上に空き空間が存在しなくてもよい。例えば情報端末７００を机の上で使用する場合、机の上に紙テンキー８１１を置くことで同様の操作入力を行うことができる。
勿論、プリントアウトされる内容は割り当てられている非可視キーの種類によるので紙テンキーに限らない。

図２８（Ａ）及び（Ｂ）は、表示部７０２とアイコン（マーク７０５Ａ、ホームボタン７０５Ｂ、電源ボタン７０５Ｃ）との間の空間に複数個のＬＥＤ８５１が一列に配置されている情報端末７００の例を説明する図である。
図２８（Ａ）及び（Ｂ）の場合には、７個のＬＥＤ８５１が配置されている。ＬＥＤ８５１は、非可視キーの割り当て状態と割り当て位置の目安として使用される。
図２８（Ａ）は、非可視キーが割り当てられていない状態を表している。このため、７個のＬＥＤ８５１はいずれも非点灯である。
図２８（Ｂ）は、非可視キーが割り当てられた状態を表している。この例の場合、左側から２番目、３番目、４番目、５番目に位置するＬＥＤ８５１が点灯し、この４つのＬＥＤ８５１の範囲に非可視キーが割り当てられていることを示している。図２８に示す情報端末７００の場合、ユーザは、非可視キーの具体的な割り当て位置までは分からないものの、非可視キーが割り当てられているおおよその位置を分かった上で操作することができ、誤操作の可能性が小さくなる。

図２９（Ａ）及び（Ｂ）は、７個のＬＥＤ８５１を使用して表示部７０２に表示されている表示画面の位置をユーザのスライド操作に連動して表現する例を説明する図である。
横方向に画面をスクロールするスライダーが非可視キーとして割り当てられている場合、表示位置を示すスライドバーの位置は可変するため、前述の例では割り当てを行っていなかったが、図２９（Ａ）及び（Ｂ）のようにＬＥＤ８５１が配列されている場合には、ＬＥＤ８５１の点灯位置によってスライドバーを表現することが可能である。この例の場合、ユーザは表示位置が全体のどの位置にあるかを意識しながらスクロール操作を行うことができる。

図３０（Ａ）及び（Ｂ）は、表示部７０２とアイコン（マーク７０５Ａ、ホームボタン７０５Ｂ、電源ボタン７０５Ｃ）との間の空間に複数個のＬＥＤをマトリクス状に配置したＬＥＤパネル９００が配置されている情報端末７００の例を説明する図である。
図３０（Ａ）は、非可視キーが割り当てられていない状態を表している。このため、ＬＥＤパネル９００はいずれも点灯していない。
図３０（Ｂ）は、非可視キーが割り当てられた状態を表している。この例の場合、ＬＥＤパネル９００に画面を横方向にスクロールするスライダーが割り当てられており、ＬＥＤパネル９００には左方向にスクロールするボタンと、スライドバーと、右方向にスクロールするボタンが表示されるようにＬＥＤが点灯している。
図３０（Ａ）及び（Ｂ）に示す情報端末７００の場合、ユーザは、非可視キーの具体的な割り当て位置を理解した上で操作でき、誤操作の可能性が小さくなる。
勿論、図３０（Ａ）及び（Ｂ）に示したスライダーは一例であり、割り当てられた操作機能に応じた図柄をＬＥＤパネル９００に表示すればよい。

＜実施の形態３＞
前述の実施の形態の場合、操作受付部３０２（図４等）が装置本体３０３等と一体化（固定）されていたが、本実施の形態では、操作受付部３０２が装置本体に対して着脱可能な場合について説明する。
図３１は、操作受付部３０２が着脱可能な実施の形態３に係る情報端末１０００の外観構成例を説明する図である。この例の場合、情報端末１０００はノート型のコンピュータである。情報端末１０００の装置本体１００１には電子基板やハードディスク装置が内蔵されており、蓋１００２には表示部１００３が配置されている。

本実施の形態の場合、操作受付部３０２は独立した筐体に格納されており、筐体の一方の端部にはケーブル３０２Ａを通じてコネクタ３０２Ｂが取り付けられている。コネクタ３０２Ｂは、装置本体１００１との接続用であり、データ通信の他、装置本体１００１からの給電に使用される。
図３２は、情報端末１０００を構成する制御部１０５１等の機能ブロック構成例を説明する図である。情報端末１０００は、装置全体を制御する制御部１０５１と、画像の表示に使用される表示部１００３と、各種のデータやプログラムの記憶に用いられる記憶部１０５５と、外部装置（例えば操作受付部３０２）との通信に用いられる通信部１０５６とを有している。
これらの各部は例えばバス１０５７を通じて互いに接続されており、バス１０５７を介してデータを受け渡しする。

制御部１０５１は、ＣＰＵ１０５２、ＲＯＭ１０５３、ＲＡＭ１０５４により構成されている。ＲＯＭ１０５３には、ＣＰＵ１０５２により実行されるプログラムが記憶されている。ＣＰＵ１０５２は、ＲＡＭ１０５４を作業エリアに使用し、ＲＯＭ１０５３から読み出したプログラムを実行する。プログラムの実行を通じ、情報端末１０００の各部が制御される。
本実施の形態における制御部１０５１は、操作受付部３０２とともに入力装置としての機能を提供する。

本実施の形態の場合、操作入力検知機能部として機能するＣＰＵ１０５２は、操作受付部３０２の取付位置の入力に専用のインターフェース画面を使用する。
図３３は、操作受付部３０２の取付位置の受け付け用に表示部１００３に表示されるインターフェース画面の一例を示す図である。ここでのインターフェース画面には、表示部１００３の位置を示す矩形図形１１５０の４辺位置に取付位置候補１１５１〜１１５４が配置される。
因みに、取付位置候補１１５１は矩形図形１１５０の上辺に配置され、取付位置候補１１５２は矩形図形１１５０の右辺に配置され、取付位置候補１１５３は矩形図形１１５０の左辺に配置され、取付位置候補１１５４は矩形図形１１５０の下辺に配置される。

ここで、インターフェース画面には、「座標検知センサを取り付けた位置をタップしてください。」との案内文が表示される。ユーザが案内文に従っていずれかの取付位置候補を画面上でタップすると、タップされた取付位置候補の情報が操作受付部３０２の位置として受け付けられる。

なお、本実施の形態の場合、操作受付部３０２を取り付けた後、操作受付部３０２の出力座標と表示部１００３の４辺とを対応付ける校正動作を実行することが好ましい。
なお、操作受付部３０２は、例えば１７ｍｍの高さ（取付面からの高さ）を有している。もっとも、この数値は一例であり、例えば１０ｍｍ以上でもよい。前述した他の実施の形態についても同様である。
このように、操作受付部３０２と表示部１００３との位置関係が可変する場合でも（すなわち検知領域が可変する場合でも）、非可視キーを割り当てる位置を情報端末１０００において特定し、操作入力として受け付けることができる。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
また、前述の実施の形態においては、操作受付部３０２を使用する入力装置を応用する装置として画像形成装置１、情報端末７００、１０００を例示したが、スマートフォン、携帯ゲーム機、ナビゲーション装置、乗車券の販売機、チケットの販売機、現金自動預け払い機等の入力装置として使用できる。

１…画像形成装置、３００…ユーザインターフェース、３０１、７０２、１００３…表示部、３０２…操作受付部、６００…操作入力検知機能部、５００…制御装置、７００、１０００…情報端末

Claims (19)

1. 作業画面が表示される表示部と、
   操作入力を光学的に検知する検知部と、
   前記検知部の検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる割当部と
   を有し、
   前記割当部は、前記表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、入力装置。
2. 前記第２の操作機能が割り当てられる領域は、前記表示部の外側である、請求項１に記載の入力装置。
3. 前記表示部の外側への前記第２の操作機能の割り当ての実行を通知する、請求項２に記載の入力装置。
4. 前記検知領域への前記第２の操作機能の割り当ては、ユーザの選択操作を通じて実行される、請求項１に記載の入力装置。
5. 前記検知領域には、ユーザが選択した種類の前記第２の操作機能が割り当てられる、請求項１に記載の入力装置。
6. 前記検知領域上における前記第２の操作機能の割り当て位置は、ユーザにより選択される、請求項１に記載の入力装置。
7. 前記第２の操作機能に紐付けられる検知範囲のサイズは、ユーザにより選択される、請求項６に記載の入力装置。
8. 前記割当部は、前記作業画面の表示内容に応じて前記検知領域に割り当てる前記第２の操作機能を決定する、請求項１に記載の入力装置。
9. 前記割当部は、実行中のアプリケーションの種類に応じて前記検知領域に割り当てる前記第２の操作機能を決定する、請求項１に記載の入力装置。
10. 前記検知領域上に割り当てられた前記第２の操作機能の内容と配置上のレイアウトを前記作業画面に表示する、請求項１に記載の入力装置。
11. 前記第２の操作機能の割り当て位置に対応する光源を点灯させる、請求項１に記載の入力装置。
12. 装置本体に対して前記検知部を着脱できる場合、当該検知部の位置関係を予め設定する、請求項１に記載の入力装置。
13. 前記装置本体に対する前記検知部の取り付け位置を、設定画面を通じて受け付ける、請求項１２に記載の入力装置。
14. 前記検知部は、前記表示部と並んで配置される、請求項１に記載の入力装置。
15. 前記検知部の長さは、当該検知部が配置される側の前記表示部の１辺の長さよりも長い、請求項１４に記載の入力装置。
16. 前記第２の操作機能が可変的に割り当てられる可動部材を更に有する、請求項１に記載の入力装置。
17. 前記作業画面には、前記検知領域に割り当てられている前記第２の操作機能のレイアウトを印刷するための操作キーが表示される、請求項１に記載の入力装置。
18. 記録材に画像を形成する画像形成手段と、
    作業画面が表示される表示部と、
    操作入力を光学的に検知する検知部と、
    前記検知部の検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる割当部と
    を有し、
    前記割当部は、前記表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、画像形成装置。
19. コンピュータに、
    操作入力を光学的に検知する処理と、
    検知領域上に、割り当て位置を視覚的に把握可能な第１の操作機能とは異なる非可視の第２の操作機能を可変的に割り当てる処理と
    を実行させるためのプログラムであって、
    前記第２の操作機能を可変的に割り当てる処理は、表示部に表示されている前記第１の操作機能を実行するための操作ボタンに触れた状態から前記表示部の外に引き出すユーザの操作入力があると、当該表示部から当該操作ボタンの表示を消すとともに、当該表示部の外部の前記検知領域上に当該操作ボタンの機能を前記第２の操作機能として割り当てる、
    ことを特徴とするプログラム。

Images