JP6610602B2 - 表示入力装置 - Google Patents

Description

本発明は、操作パネルを含む本体装置とヘッドマウントディスプレイを備えた表示入力装置に関する。

設定、操作を行うため、機器に操作パネルが設けられることがある。例えば、使用者は、操作パネルに設けられたキーをタッチ操作する。一方、ヘッドマウントディスプレイでは、仮想的な情報を表示させることができる。そこで、ヘッドマウントディスプレイに仮想的な操作パネルを表示させることがある。仮想的な操作パネルでも、機器を設定できるようにする。このような技術の一例が特許文献１に記載されている。

具体的に、特許文献１には、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して画像光に応じた画像を視認させ、ユーザの視野範囲のうち少なくとも一部を撮像し、撮像された画像を解析し、解析結果に基づいて、ユーザの手を検知し、検知されたユーザの手の特定部分を基準位置とし、基準位置と常に所定の位置関係となる位置をユーザの手の位置に追随する仮想操作パネルの表示位置として決定し、決定した表示位置に仮想操作パネルを表示し、ユーザの指による動作を検知し、検知された指の動作に基づいて、仮想操作パネルが操作されたか否かを判定し、仮想操作パネルが操作されたと判定された場合、仮想操作パネルの操作位置に対応する制御を行うヘッドマウントディスプレイが記載されている。この構成により、仮想操作パネルの表示位置とユーザの操作位置とのずれを防止しようとする（特許文献１：請求項１、段落［０００９］等参照）。

特開２０１０−１４５８６０号公報

近年、画像形成装置では、高機能化が進められている。高機能になるほど、設定可能な設定値が多くなる。そのため、画像形成装置が高機能化するほど、設定操作が複雑化になる傾向がある。例えば、操作パネルでの表示画面の種類が多くなる。そのため、設定（表示画面）の階層構造がわかりづらい場合があるという問題がある。

また、ヘッドマウントディスプレイを用いた仮想的な操作パネルの操作では、仮想的な操作対象（例えば、ボタンの画像）への操作が何らかのセンサーで検知される。実際にボタンに触れる訳ではない。そのため、仮想的な操作パネルでは、実際のボタンを操作する場合に比べ、誤操作しやすい傾向がある。設定値入力を誤った場合、設定のやり直しとなる。設定のやり直しは煩わしい。仮想的な操作パネルでは、設定値入力の正確性の点でも問題がある。

ここで、特許文献１記載の技術によれば、階層構造がわかりづらさ、設定値の入力の正確性に関する記載はない。従って、上記の問題を解決できない。

本発明は、上記従来技術の問題点に鑑み、設定に関する項目の階層構造を把握しやすくするとともに、設定値を正確に入力できるようにする。

上記課題解決のため請求項１に係る表示入力装置は、ヘッドマウントディスプレイと本体装置を含む。ヘッドマウントディスプレイは、撮像部、透過表示部、視線検出部、処理部、ＨＭＤ通信部を備える。前記透過表示部は、外光を透過しつつ仮想画像を視認させる。前記視線検出部は、使用者の視線を検出する。前記処理部は、前記透過表示部の表示を制御する。前記本体装置は、操作パネル、本体通信部、制御部を含む。前記操作パネルは、表示パネルと操作部を含む。前記本体通信部は、前記ＨＭＤ通信部と通信する。前記制御部は、前記表示パネルの表示を制御する。前記処理部は、前記撮像部が前記操作パネルを撮影しているとき、項目を選択するための仮想項目ボタンを前記透過表示部に表示させる。前記処理部は、記視線検出部の出力に基づき選択された前記仮想項目ボタンを認識する。前記処理部は、選択された前記仮想項目ボタンに対応する項目を選択項目と認識する。項目は、複数種設けられ、階層化されつつ分類される。前記選択項目が下位の項目を有しない最下層に分類された項目のとき、前記処理部は、前記本体通信部に向けて、前記選択項目を通知する第１通知を前記ＨＭＤ通信部に送信させる。前記第１通知に基づき、前記制御部は、前記選択項目の設定値を設定するための設定値設定画面を前記表示パネルに表示させる。前記操作部は、前記設定値の設定を受け付ける。

本発明によれば、設定に関する項目の階層構造を把握しやすさと、設定値の正確な入力を両立することができる。

実施形態に係る表示入力装置の一例を示す図である。 実施形態に係る操作パネルの一例を示す図である。 実施形態に係るホーム画面の一例を示す図である。 実施形態に係る表示入力装置での項目の階層構造の一例を示す図である。 実施形態に係る設定値設定画面の一例を示す図である。 実施形態に係るヘッドマウントディスプレイの表示状態の一例を示す図である。 実施形態に係るヘッドマウントディスプレイの表示状態の一例を示す図である。 実施形態に係るヘッドマウントディスプレイの表示状態の一例を示す図である。 実施形態に係るヘッドマウントディスプレイの表示状態の一例を示す図である。 実施形態に係る表示入力装置での設定値の設定の流れの一例を示すフローチャートである。

以下、図１〜図１０を用いて、本発明の実施形態に係る表示入力装置１００を説明する。但し、本実施の形態に記載されている構成、配置等の各要素は、発明の範囲を限定するものではなく単なる説明例にすぎない。

（表示入力装置１００）
図１を用いて、実施形態に係る表示入力装置１００の一例を説明する。図１は、実施形態に係る表示入力装置１００の一例を示す図である。

実施形態に係る表示入力装置１００は、ヘッドマウントディスプレイ１と本体装置を含む。本体装置は、ヘッドマウントディスプレイ１を用いて設定を行う対象である。以下の説明では、本体装置として、画像形成装置２を例に挙げて説明する。

ヘッドマウントディスプレイ１には、光学透過型（光学シースルー型）のものが用いることができる。図１に示すように、ヘッドマウントディスプレイ１は、処理部１０、記憶部１１、装着部１２、撮像部１３、透過表示部１４、視線検出部１５、ＨＭＤ通信部１６を含む。

処理部１０は、ＣＰＵ１０ａ、画像処理部１０ｂを含む。処理部１０は、記憶部１１、撮像部１３、透過表示部１４、視線検出部１５、ＨＭＤ通信部１６と通信可能に接続される。記憶部１１は、ＲＡＭ、ＲＯＭを含む。記憶部１１は、ヘッドマウントディスプレイ１の制御に関するプログラム、データを記憶する。記憶部１１のプログラム、データに基づき、処理部１０は、透過表示部１４に画像を表示させる。また、処理部１０は、画像形成装置２との通信をＨＭＤ通信部１６に行わせる。

装着部１２は、使用者の頭部にヘッドマウントディスプレイ１を取り付けるための機構である。ヘッドマウントディスプレイ１には、眼鏡型のものを用いることができる。装着部１２は、前フレームと２つの後フレームを含む。前フレームの両端のそれぞれに、後フレームの一端が取り付けられる。前フレームの一部（ノーズパッド）は、鼻の上部（眉間の下方）で顔と接する。それぞれの後フレームの他端は耳に引っかけられる。なお、ヘッドマウントディスプレイ１は眼鏡型でなくてもよい（例えば、ヘルメット型）。

撮像部１３は、ヘッドマウントディスプレイ１に設けられたカメラである。撮像部１３は、レンズ、イメージセンサー、カメラモジュールを含む。カメラモジュールはイメージセンサーが出力する画像信号に基づき、画像データ（撮影画像）を生成する。撮像部１３は、使用者の視界方向が撮影されるように設けられる。処理部１０は、撮影画像を解析する。処理部１０は、撮影画像に含まれるものを認識する。例えば、処理部１０は、撮影画像に画像形成装置２の操作パネル２２が含まれているか否かを認識する。

透過表示部１４は、透光板と入射部を含む。透光板は、使用者の目と対向する位置に配される。透光板は光を透過する。そのため、ヘッドマウントディスプレイ１の装着中でも、使用者は、風景（物体）を視認できる。処理部１０は、仮想的に表示させる画像の画像データを入射部に送信する。処理部１０は透過表示部１４の表示を制御する。受信した画像データに基づき、入射部は、仮想表示する画像の画像光を放つ。入射部は使用者の目（瞳、眼球）に画像光を入射させる。ヘッドマウントディスプレイ１（透過表示部１４）は、外光を透過しつつ仮想画像を使用者に視認させる。入射部は、画像光を放つ部分（発光部）を含む。例えば、発光部は、液晶ディスプレイ、有機ＥＬディスプレイ、網膜走査ディスプレイである。使用者の目に直接的に画像光が入射されてもよい。また、ハーフミラーによる反射を用いて、使用者の目に画像光が入射されてもよい。ハーフミラーを設ける場合、入射部が放つ光はハーフミラーで反射され、使用者の瞳に画像光が入射される。

視線検出部１５は、使用者の視線を検出する。例えば、視線検出部１５は、瞳を撮影するカメラである。この場合、視線検出部１５が撮影して得られた画像データ（視線検出用画像データ）が処理部１０に送信される。処理部１０は、視線検出用画像データに基づき、黒目の中心位置（座標）を求める。認識した黒目の中心位置に基づき、処理部１０は、透過表示部１４（透過板）のうち、見ている位置（視点）を検出する。処理部１０は、視線の方向（使用者がどこを見ているか）を検出する。例えば、記憶部１１には、視線検出用データＤ１が記憶される。視線検出用データＤ１は、黒目の中心の位置に対応する視点の位置を定義したデータである。処理部１０は、視線検出用データＤ１を参照し、見ている位置（視点）を検出する

なお、視線検出部１５は、電界を検知することにより、眼球の向きを検出するセンサーでもよい。例えば、装着部１２に、電界の向きを検出するセンサーが２つ設けられる。センサーは、各こめかみに向かい合う位置に設けられる。ここで、眼球の網膜はマイナスに帯電している。一方で、角膜はプラスに帯電している。角膜から網膜に向かう電界が生じている。眼球の動き（向き）により、電界の向きが変わる。センサーは、電界の向きを検出する。センサーの出力に基づき、処理部１０は、視線の方向を検出する。

次に、画像形成装置２（本体装置）を説明する。図１に示す画像形成装置２は、複合機である。プリンターや複写機のような他種の画像形成装置２でもよい。画像形成装置２は、制御部２０、画像読取部２１、操作パネル２２、印刷部２３、本体通信部２４を含む。

制御部２０は、画像形成装置２の動作を制御する。制御部２０は、ＣＰＵ２０ａ、記憶部２０ｂを含む。記憶部２０ｂは、ＲＯＭ、ＲＡＭ、ＨＤＤのような記憶装置の組み合わせである。記憶部２０ｂは、画像形成装置２を制御するためのデータ、設定、プログラムを記憶する。また、記憶部２０ｂは、画像データを記憶できる。ＣＰＵ２０ａは、記憶部２０ｂに記憶されるプログラム、データに基づき画像形成装置２を制御する。

原稿を読み取るジョブ（コピーや送信）のとき、制御部２０は、原稿を画像読取部２１に読み取らせる。画像読取部２１は、露光ランプ、ミラー、レンズ、ラインセンサーのような光学系部材（不図示）を含む。画像読取部２１は、原稿の画像データを生成する。操作パネル２２は、使用者の操作、設定を受け付ける。操作パネル２２の詳細は後述する。

印刷部２３は、給紙部２３ａ、用紙搬送部２３ｂ、画像形成部２３ｃ、定着部２３ｄを含む。印刷を伴うジョブのとき、制御部２０は、給紙部２３ａに用紙を給紙させる。制御部２０は、機内の搬送経路に沿って用紙を用紙搬送部２３ｂに搬送させる。制御部２０は、形成すべき画像の画像データに基づきトナー像を画像形成部２３ｃに形成させる。制御部２０は、転写トナー像の用紙への定着を定着部２３ｄに行わせる。

本体通信部２４は、無線により、ＨＭＤ通信部１６と通信を行える。言い換えると、本体通信部２４は、ヘッドマウントディスプレイ１と通信する。また、本体通信部２４は、通信網を介し、コンピューターやファクシミリ装置と通信できる。本体通信部２４は、コンピューターから送信された印刷用データを受信する。印刷用データは画像データやページ記述言語で記述されたデータである。制御部２０は、受信した印刷用データに基づき、印刷部２３に印刷させる（プリントジョブ）。また、本体通信部２４から外部のコンピューターに向けて、画像データを送信することもできる。例えば、画像読取部２１の読み取りで得られた画像データをコンピューターやファクシミリ装置に送信することができる（スキャンジョブ、ＦＡＸジョブ）。

（操作パネル２２）
次に、図２を用いて、実施形態に係る操作パネル２２の一例を説明する。図２は、実施形態に係る操作パネル２２の一例を示す図である。

画像形成装置２は、操作パネル２２を含む。制御部２０は、操作パネル２２からの信号に基づき、設定を認識する。操作パネル２２は、表示パネル２５、タッチパネル２６（操作部に相当）、ハードキー群２７（操作部に相当）を含む。タッチパネル２６は表示パネル２５に取り付けられる。制御部２０は、表示パネル２５の表示を制御する。制御部２０は、画面内に操作用画像を表示させる。操作用画像は、ボタン、タブ、キー、チェックボックスなどである。タッチパネル２６は使用者のタッチ位置を検知する。制御部２０は、タッチパネル２６の出力に基づき、操作された（タッチされた）操作用画像を認識する。

また、操作パネル２２はハードキー群２７を含む。ハードキー群２７は複数のハードキーを含む。例えば、ハードキー群２７には、スタートキー（ジョブ実行指示用）やテンキー（数字入力用）が含まれる。何れかのハードキーが押されたとき、押されたハードキーに応じた信号が出力される。操作パネル２２の出力信号に基づき、制御部２０は、操作されたハードキーを認識する。制御部２０は、使用者の設定に基づき、画像読取部２１、印刷部２３、本体通信部２４を動作させる。

（操作パネル２２でのジョブの選択）
次に、図３を用いて、実施形態に係る操作パネル２２でのジョブの選択の一例を説明する。図３は、実施形態に係るホーム画面３の一例を示す図である。

複数種のジョブを画像形成装置２に行わせることができる。画像形成装置２は複数のジョブの種類（機能）を有する。例えば、コピー、スキャン、ＦＡＸ、プリントのようなジョブを行わせることができる。

制御部２０はジョブの種類を選択するためのホーム画面３を表示パネル２５に表示させる。ホーム画面３は、階層的に最上位の画面である。図３に示すように、ホーム画面３には、ジョブの種類を選択するためのジョブ種類ボタンＢ１が表示される。図３は、４つのジョブ種類ボタンＢ１をホーム画面３に表示する例を示す。各ジョブ種類ボタンＢ１は、コピー、スキャン、ＦＡＸ、プリントの何れか１つと対応する。制御部２０は、各ジョブ種類ボタンＢ１の内側にジョブの種類（機能名）を表示させる。使用者は実行するジョブに対応するジョブ種類ボタンＢ１を操作する。

画像形成装置２の電源が投入されたとき、画像形成装置２が省電力モードから復帰したとき、ジョブが完了したとき、制御部２０は、ホーム画面３を表示パネル２５に表示させる。また、操作パネル２２が最後に操作されてから操作がないまま予め定められた時間が経過したとき、制御部２０は、画面、設定を自動的にリセットする。リセットしたとき、制御部２０は、ホーム画面３を表示パネル２５に表示させる。ホーム画面３を起点にジョブの設定が開始される。ホーム画面３でのジョブの種類選択をトリガとして、ジョブに関する設定が開始される。

（項目の階層構造と設定値の設定）
次に、図４〜図５を用いて、実施形態に係る表示入力装置１００での項目の階層構造と設定値の設定の一例を説明する。図４は、実施形態に係る表示入力装置１００での項目の階層構造の一例を示す図である。図５は、実施形態に係る設定値設定画面４の一例を示す図である。

表示入力装置１００では、画像形成装置２の動作の設定を行うことができる。希望どおりのジョブの結果が得られるように、使用者は設定値を設定する。設定し得る設定値の数は、多数に及ぶ。使用者は、最上位の階層から項目の選択を繰り返し、所望の設定値を設定するための画面に到達する。画像形成装置２では、設定に関する項目は複数種類、設けられる。各ジョブの種類ごとに、複数設けられる。

項目は、階層化され分類される。項目の名前は、複数の項目をまとめたグループ名（分類名）を示す場合がある。この場合、大分類から１つの分類を選択し、選択した分類のなかから、所望の設定値を設定するための項目を選ぶ。最下層に分類された項目を選択したとき、設定値が設定することができる。最下層に分類された項目は、関連する下位の項目を有しない項目である。

図４は、設定に関する項目の階層構造（ツリー構造）の一例を示す。図４のうち、最も左側の列は、ジョブの種類（機能）を示す。例えば、ジョブの種類の直下には、よく用いる項目が配される。ある項目の下位に１又は複数の項目をリンクさせる場合がある。図４の例では、Ｎｉｎ１と、境界線種の項目が、集約の項目の下位に属する項目とされる。Ｎｉｎ１と、境界線種の項目は、最下層の項目である。また、図４の例では、定型１（Ａ判やＢ判の用紙に対応）、定型２（インチ系の用紙に対応）、その他（封筒のような用紙に対応）の項目が、原稿サイズの項目の下位に属する項目とされる。

なお、集約印刷は、１枚の用紙内に原稿の複数ページ分の内容を含める印刷である。例えば、２ｉｎ１の設定値が設定されたとき、１枚の用紙内に原稿の２ページ分の内容が含められる。用紙を節約のため設定されることがある。Ｎｉｎ１の項目を選択したとき、１ページに含める原稿のページ数を設定値として設定することができる。境界線種の項目を選択したとき、１ページ内の各ページの境界線に関する設定値を設定することができる。

次に、設定値の設定を説明する。例えば、コピージョブで２ｉｎ１の設定値を設定したい場合、コピージョブが選択される。次に、集約の項目が選択される。集約の項目の選択後、Ｎｉｎ１の項目を選択する必要がある。最下層のＮｉｎ１の項目が選択されたとき、制御部２０は、図５の設定値設定画面４を表示パネル２５に表示させる。

選択項目が最下層に分類された項目であるとき、制御部２０は、設定値設定画面４を表示パネル２５に表示させる。設定値設定画面４を表示するとき、制御部２０は、設定値ボタンＢ２を表示パネル２５に表示させる。設定値ボタンＢ２内には、選択可能な設定値が１つ記される。図５は、２ｉｎ１、４ｉｎ１、８ｉｎ１の設定値に対応する設定値ボタンＢ２を表示する例を示す。２ｉｎ１の設定値を設定する場合、使用者は、２ｉｎ１の設定値ボタンＢ２を操作する。

操作パネル２２の出力に基づき、制御部２０は、２ｉｎ１の設定値が設定されたことを認識する。２ｉｎ１の設定値が設定されたとき、制御部２０は、１ページに原稿の２ページ分の内容を含めた（複数ページを集約した）画像データを生成する。制御部２０は、生成した画像データに基づき、印刷部２３に印刷させる。その結果、１ページに原稿の２ページの内容を含む印刷物が得られる。

画像形成装置２では、各項目は階層構造を有する。言い換えると、所望の設定値を設定するには、使用者は、項目の選択を１又は複数回行い、階層を下る（辿る）。所望の設定値を設定するための画面に到達する必要がある。各項目の階層構造を定義した階層構造データＤ２がヘッドマウントディスプレイ１の記憶部１１に記憶される（図１参照）。階層構造データＤ２に基づき、処理部１０は、項目、設定に関する階層構造を認識する。

（ヘッドマウントディスプレイ１を用いた設定値の設定）
次に、図６〜図９を用いて、実施形態に係るヘッドマウントディスプレイ１を用いた設定値の設定を説明する。図６〜図９は、実施形態に係るヘッドマウントディスプレイ１の表示状態の一例を示す図である。

本説明では、ホーム画面３から設定値の設定を開始する例を説明する。コピージョブで２ｉｎ１の設定値を設定する例を説明する。他の設定値も同様に説明できる。

ここで、使用者は、ヘッドマウントディスプレイ１を装着している。また、ヘッドマウントディスプレイ１を用いて設定値を設定する場合、操作パネル２２を見続ける必要がある。処理部１０は、撮影画像を解析する。処理部１０は、撮像部１３が操作パネル２２を撮影しているか否か（撮影画像に操作パネル２２が含まれているか否か）を判定する。言い換えると、処理部１０は、使用者が操作パネル２２を見ているか否かを判定する。

撮像部１３が操作パネル２２を撮影しているか否かの認識手法は適宜定められる。例えば、操作パネル２２に、操作パネル２２であることを示すマーカーが設けられる。ラベルの貼付、塗装、印刷等、マーカーの付し方は問わない。マーカーは所定のパターンを持つ図形である。マーカーが撮影画像に含まれているとき、処理部１０は、撮像部１３が操作パネル２２を撮影していると判定する。マーカーが撮影画像に含まれていないとき、処理部１０は撮像部１３が操作パネル２２を撮影していないと判定する。なお、操作パネル２２の形状、色、各ハードキー群２７の色と配置に基づき、処理部１０は判定してもよい。

操作パネル２２の撮影が開始されたとき、処理部１０は、本体通信部２４に向けて、操作パネル２２が表示しているボタンの問い合わせをＨＭＤ通信部１６に送信させる。問い合わせがあったとき、制御部２０は、ＨＭＤ通信部１６に向けて、操作パネル２２が表示しているボタンの種類を本体通信部２４に送信させる。これにより、処理部１０は、操作パネル２２が表示している画面とその内容を認識できる。本説明では、制御部２０は、ホーム画面３に表示されるボタンを本体通信部２４に送信した場合を説明する。

ホーム画面３の表示中に使用者が操作パネル２２を見始めたとき、処理部１０は、ジョブの種類を選択するための仮想ジョブ種類ボタンＶ１を透過表示部１４に表示させる。図６は、仮想ジョブ種類ボタンＶ１を表示させたときのヘッドマウントディスプレイ１の表示状態の一例を示す。なお、図６に示すように、透過表示部１４を通して、使用者は操作パネル２２が見えている。具体的に、処理部１０は、コピー、スキャン、ＦＡＸ、プリントに対応する４つの仮想ジョブ種類ボタンＶ１を仮想的に表示させる（ホーム画面３の各ジョブ種類ボタンＢ１と対応）。処理部１０は、各仮想ジョブ種類ボタンＶ１の内側に対応するジョブの種類名を表示させる。

そして、処理部１０は、視線位置マークｍを透過表示部１４に表示させる。処理部１０は、視線検出部１５の出力に基づき視線（視点）の位置を認識する。視線位置マークｍは、処理部１０が認識している視線（視点）の位置を示す。図６〜図９での視線位置マークｍは、矢印である。矢印の先端が認識中の視線（視点）の位置を示す。使用者は、視線（眼球）を移動させることで、矢印を移動させることができる。

視線検出部１５の出力に基づき処理部１０は、選択された仮想ジョブ種類ボタンＶ１を認識する。処理部１０は、予め定められた基準時間以上見続けられた（視線が維持された）仮想ジョブ種類ボタンＶ１を、選択された仮想ジョブ種類ボタンＶ１と認識する。そして、処理部１０は、選択された仮想ジョブ種類ボタンＶ１に対応するジョブが選択されたと認識する。使用者は、選択したいジョブ（機能）の仮想ジョブ種類ボタンＶ１を注視する。コピーで２ｉｎ１を設定するので、処理部１０は、コピージョブの仮想ジョブ種類ボタンＶ１が選択されたと認識する。

ジョブが選択されたとき、処理部１０は、選択されたジョブに関し、最上位の階層に分類された項目に対応する仮想項目ボタンＶ２を透過表示部１４に表示させる。図７は、コピージョブを選択したときのヘッドマウントディスプレイ１の表示状態の一例を示す。処理部１０は、各仮想項目ボタンＶ２内に、対応する項目の名称を表示させる。また、図７に示すように、処理部１０は、仮想項目ボタンＶ２を縦方向と横方向のうち、何れか一方又は両方の方向で並ぶように、仮想項目ボタンＶ２を透過表示部１４に表示させる。

視線検出部１５の出力に基づき処理部１０は、選択された仮想項目ボタンＶ２を認識する。処理部１０は、基準時間以上見続けられた（視線が維持された）仮想項目ボタンＶ２を、選択された仮想項目ボタンＶ２と認識する。処理部１０は、選択された仮想項目ボタンＶ２に対応する項目を選択項目と認識する。使用者は、選択したい項目の仮想項目ボタンＶ２を注視する。本説明では、２ｉｎ１を設定するので、使用者は、集約の仮想項目ボタンＶ２を注視する。その結果、処理部１０は、集約の項目を選択項目と認識する。

選択項目が最下層の項目ではないとき、処理部１０は、選択項目を示す項目表示画像ｉ１を透過表示部１４に表示させる。処理部１０は、項目表示画像ｉ１の周りに、選択項目の１つ下の階層に分類された項目の仮想項目ボタンＶ２を透過表示部１４に表示させる。図８は、集約の項目を選択したときのヘッドマウントディスプレイ１の表示状態の一例を示す。本説明では、２ｉｎ１の設定値を設定するので、使用者は、Ｎｉｎ１の仮想項目ボタンＶ２を注視する。処理部１０は、Ｎｉｎ１の項目を選択項目と認識する。

また、図８に示すように、処理部１０は、ヘッドマウントディスプレイ１の表示領域の中心と各仮想項目ボタンＶ２の中心を結ぶ線（２点鎖線で図示）のなす角が、表示する仮想項目ボタンＶ２の個数で３６０度を除した角度となるように、仮想項目ボタンＶ２を透過表示部１４に表示させてもよい。これにより、仮想項目ボタンＶ２を画面内に分散することができる。仮想項目ボタンＶ２間の距離も離れやすくなる。

図８の場合、表示される仮想項目ボタンＶ２は、３つである。具体的に、戻るボタンＶ３と、Ｎｉｎ１と境界線種の仮想項目ボタンＶ２（詳細は後述）である。図８は、ヘッドマウントディスプレイ１の表示領域の中心に対し、１２０度ずつ各仮想項目ボタンＶ２を配した例を示している。

戻るボタンＶ３は、仮想的なボタンの選択ミスに対応するためのボタンである。仮想項目ボタンＶ２を表示している間、処理部１０は、戻るボタンＶ３も透過表示部１４に表示させる。戻るボタンＶ３も仮想項目ボタンＶ２の一種といえる。戻るボタンＶ３が視線で選択されたとき、処理部１０は、現在の階層よりも１つ上の階層の項目の仮想項目ボタンＶ２を透過表示部１４に表示させる。言い換えると、階層が１つ上に戻される。

一方、選択項目が下位の項目を有しない項目（最下層の項目）であるとき、処理部１０は、本体通信部２４に向けて、第１通知をＨＭＤ通信部１６に送信させる。第１通知は選択項目を知らせる。本体通信部２４が受信した第１通知に基づき、制御部２０は、選択項目を認識する。制御部２０は、設定値設定画面４を表示パネル２５に表示させる。設定値設定画面４は、選択項目の設定値を設定するための画面である。本説明では、選択項目は、Ｎｉｎ１である。そこで、制御部２０は、図５に示す設定値設定画面４を表示する。このように、最終的な設定値の設定は、操作パネル２２をタッチする必要がある。

視線だけで仮想的なボタンを選択できるので、仮想的なボタンの誤選択が生じやすい場合がある。設定値を誤って設定した場合、設定値を修正する必要がある。設定値の修正は煩わしい作業である。そこで、最終的な設定値の選択は、ヘッドマウントディスプレイ１での視線の動きではできないようにする。

さらに、タッチパネル２６が設定値の設定を受け付けたとき、制御部２０は、ＨＭＤ通信部１６に向けて、第２通知を本体通信部２４に送信させる。第２通知は設定値が設定されたこと知らせる。処理部１０は、最下層に分類された項目の仮想項目ボタンＶ２が選択されてから第２通知を受けるまでの間（仮想ボタン表示停止期間中）、仮想的なボタンを透過表示部１４に表示させない。具体的に、処理部１０は、仮想項目ボタンＶ２や戻るボタンＶ３を透過表示部１４に表示させない。図９は、仮想ボタン表示停止期間中のヘッドマウントディスプレイ１の表示状態の一例を示す。

また、意図せずジョブが開始されないように、ヘッドマウントディスプレイ１では、ジョブの実行開始指示を行うことができない。言い換えると、処理部１０は、ジョブ（選択した機能）の実行開始指示を受け付けない。そこで、図９に示すように、仮想ボタン表示停止期間中、処理部１０は、ジョブの実行開始に関するメッセージＭ１を透過表示部１４に表示させる。メッセージＭ１は、ジョブの実行には画像形成装置２のタッチパネル２６やハードキー群２７の操作が必要であることを伝える。なお、処理部１０は、仮想ボタン表示停止期間外でもメッセージＭ１を表示させてもよい。

（設定値の選択の流れ）
次に、図１０を用いて、実施形態に係る表示入力装置１００での設定値の設定の流れの一例を説明する。図１０は、実施形態に係る表示入力装置１００での設定値の設定の流れの一例を示すフローチャートである。

図１０のスタートは、処理部１０は、操作パネル２２の撮影が開始されたと認識した時点である。まず、処理部１０は、表示パネル２５が表示しているボタンの問い合わせをＨＭＤ通信部１６に送信させる（ステップ♯１）。制御部２０は、ＨＭＤ通信部１６に向けて、回答を本体通信部２４に送信させる（ステップ♯２）。この回答には、表示パネル２５の画面に表示されているボタンの種類を示す情報が含まれる。ホーム画面３を表示しているとき、制御部２０は、ジョブ種類ボタンＢ１（コピー、スキャン、ＦＡＸ、プリンター）を表示している旨を回答させる。ジョブが既に選択されているとき、制御部２０は、表示している項目ボタンを回答させる。

処理部１０は、回答された項目ボタンに対応する仮想ボタンを透過表示部１４に表示させる（ステップ♯３）。これにより、仮想ボタンの表示が開始される。回答されたボタンがジョブ種類ボタンＢ１のとき、処理部１０は、仮想ジョブ種類ボタンＶ１を透過表示部１４に表示させる。回答されたボタンが項目ボタンのとき、処理部１０は、仮想項目ボタンＶ２を透過表示部１４に表示させる。

仮想ボタンの表示開始に伴い、制御部２０は、全面単一色の画面を表示パネル２５に表示させる（ステップ♯４）。画面の色は適宜定められる。例えば、色は、白又は黒とできる。例えば、制御部２０は、全面白の画面を表示パネル２５に表示させる。

透過表示部１４が仮想ボタンを表示している間、制御部２０はボタンを表示パネル２５に表示させない。つまり、ヘッドマウントディスプレイ１で操作パネル２２を撮影している間、操作パネル２２で項目を選択することができない。一方、設定値の設定は、タッチパネル２６、ハードキー群２７で行う。項目の選択に用いる装置と、設定値の設定に用いる装置が明確に切り分けられる。

次に、視線検出部１５の出力に基づき、処理部１０は、項目が選択されたか否か（仮想項目ボタンＶ２が注視されたか否か）の確認を続ける（ステップ♯５、ステップ♯５のＮｏ→ステップ♯５）。項目が選択されたとき（ステップ♯５のＹｅｓ）、処理部１０は、最下層に分類された項目であるか否かを確認する（ステップ♯６）。

最下層の項目ではないとき（ステップ♯６のＮｏ）、処理部１０は、表示する仮想ボタンを切り替える（ステップ♯７）。具体的に、処理部１０は、選択された項目の１つ下の階層の仮想ボタンを透過表示部１４に表示させる。なお、戻るボタンＶ３が選択されたとき、処理部１０は、選択項目の１つ上の階層の項目の仮想項目ボタンＶ２を透過表示部１４に表示させる。そして、フローは、ステップ♯５に戻る。

最下層の項目のとき（ステップ♯６のＮｏ）、処理部１０は、本体通信部２４に向けて、第１通知（選択項目）をＨＭＤ通信部１６に送信させる（ステップ♯８）。第１通知を受信したとき、制御部２０は、通知された選択項目に対応する設定値設定画面４を表示パネル２５に表示させる（ステップ♯９）。また、処理部１０は、仮想ボタンの表示を停止させ、かわりに、ジョブの実行に関するメッセージＭ１を透過表示部１４に表示させる。（ステップ♯１０）。

制御部２０は、設定値の設定（設定値ボタンＢ２の操作）がなされたか否かの確認を続ける（ステップ♯１１、ステップ♯１１のＮｏ→ステップ♯１１）。設定値が設定されたとき（ステップ♯１１のＹｅｓ）、制御部２０は、ＨＭＤ通信部１６に向けて、設定値が設定されたこと知らせる第２通知を本体通信部２４に送信させる（ステップ♯１２）。

第２通知を受信したとき、処理部１０は、メッセージＭ１の表示を透過表示部１４に停止させる（ステップ♯１３）。そして、処理部１０は、仮想項目ボタンＶ２の表示を透過表示部１４に再開させる（ステップ♯１４）。設定値が設定されたとき、例えば、処理部１０は、ジョブの種類が選択されたときに表示する項目の仮想項目ボタンＶ２を透過表示部１４に表示させてもよい（図７参照）。あるいは、処理部１０は、最下層の項目の選択時に表示していた仮想項目ボタンＶ２を透過表示部１４に表示させてもよい。そして、フローは、ステップ♯４に戻る。スタートキーが操作されるまで（ジョブが開始されるまで）、フローは繰り返される。スタートキーが操作されたとき、フローが終了する。代わりに、ジョブが開始される。

このようにして、実施形態に係る表示入力装置１００は、ヘッドマウントディスプレイ１と本体装置（画像形成装置２）を含む。ヘッドマウントディスプレイ１は、撮像部１３、透過表示部１４、視線検出部１５、処理部１０、ＨＭＤ通信部１６を備える。透過表示部１４は、外光を透過しつつ仮想画像を視認させる。視線検出部１５は、使用者の視線を検出する。処理部１０は、透過表示部１４の表示を制御する。本体装置は、操作パネル２２、本体通信部２４、制御部２０を含む。操作パネル２２は、表示パネル２５と操作部（タッチパネル２６、ハードキー群２７）を含む。本体通信部２４は、ＨＭＤ通信部１６と通信する。制御部２０は、表示パネル２５の表示を制御する。処理部１０は、撮像部１３が操作パネル２２を撮影しているとき、項目を選択するための仮想項目ボタンＶ２を透過表示部１４に表示させる。処理部１０は、視線検出部１５の出力に基づき選択された仮想項目ボタンＶ２を認識する。処理部１０は、選択された仮想項目ボタンＶ２に対応する項目を選択項目と認識する。項目は、複数種設けられ、階層化されつつ分類される。選択項目が下位の項目を有しない最下層に分類された項目のとき、処理部１０は、本体通信部２４に向けて、選択項目を通知する第１通知をＨＭＤ通信部１６に送信させる。第１通知に基づき、制御部２０は、選択項目の設定値を設定するための設定値設定画面４を表示パネル２５に表示させる。操作部は、設定値の設定を受け付ける。

これにより、選択可能な項目の項目名を含む仮想項目ボタンＶ２が透過表示部１４に表示される。ヘッドマウントディスプレイ１の画面は、使用者にとって大きく見える。項目を選ぶためのボタンが大きなボタンとして知覚される。そして、同じ階層（同じグループ）に属する項目の仮想項目ボタンＶ２が一覧的に透過表示部１４に表示される。その結果、項目の階層構造が把握しやすくなる。更に選択項目が下位の項目を有しない最下層に分類された項目であるとき、選択項目の設定値を設定するための設定値設定画面４を表示パネル２５に表示させることができる。そのため、実際に操作パネル２２を操作して設定値を設定することができる。設定に関する項目の階層構造を把握しやすさと、設定値の正確な入力を両立することができる。表示入力装置１００の利便性を高めることができる。

また、選択項目が最下層の項目ではないとき、処理部１０は、選択項目を示す項目表示画像ｉ１を透過表示部１４に表示させ、項目表示画像ｉ１の周りに、選択項目の１つ下の階層に分類された項目に対応する仮想項目ボタンＶ２を透過表示部１４に表示させる。これにより、選択項目の１つ下の階層に割り当てられた項目の仮想項目ボタンＶ２が一覧的に表示される。従って、項目の階層的なつながりを容易に把握することができる。

また、透過表示部１４が仮想項目ボタンＶ２を表示している間、制御部２０は、全面単一色の画面を表示パネル２５に表示させる。これにより、操作パネル２２では、下位の階層に下りていく過程の画面が表示されない。言い換えると、最下層の項目に到るまでの途中の画面が表示されない。表示パネル２５に表示される画面を設定値設定画面４に絞ることができる。表示パネル２５での画面表示時に設定値を設定すべきと直感的に認識させることができる。

また、処理部１０は、ジョブの実行には、本体装置の操作部を操作する必要がある旨のメッセージＭ１を透過表示部１４に表示させる。これにより、ジョブの実行に必要な操作を使用者（装着者）に知らせることができる。

また、操作部が設定値の設定を受け付けたとき、制御部２０は、ＨＭＤ通信部１６に向けて、設定値が設定されたこと知らせる第２通知を本体通信部２４に送信させる。処理部１０は、最下層に分類された項目の仮想項目ボタンＶ２が選択されてから、第２通知を受けるまでの間、仮想的なボタンを透過表示部１４に表示させない。これにより、操作パネル２２の操作のみにより、設定値を設定することができる。ヘッドマウントディスプレイ１で視線を移動させても、設定に影響がでないようにすることができる。

また、処理部１０は、ヘッドマウントディスプレイ１の表示領域の中心と、各仮想項目ボタンＶ２の中心を結ぶ線のなす角度が、表示する仮想項目ボタンＶ２の個数で３６０度を除した値となるように、仮想項目ボタンＶ２を透過表示部１４に表示させる。これにより、仮想項目ボタンＶ２を見やすく配置することができる。また、仮想項目ボタンＶ２の距離を離すことができる。従って、仮想項目ボタンＶ２の誤選択を減らすことができる。

また、処理部１０は、縦方向と横方向のうち、何れか一方又は両方の方向で並ぶように、仮想項目ボタンＶ２を透過表示部１４に表示させる。これにより、仮想項目ボタンＶ２をみやすく、整然と配置することができる。

また、制御部２０はジョブの種類を選択するためのホーム画面３を表示パネル２５に表示させる。撮像部１３がホーム画面３を撮影しているとき、処理部１０は、ジョブの種類を選択するための仮想ジョブ種類ボタンＶ１を透過表示部１４に表示させる。処理部１０は、視線検出部１５の出力に基づき選択された仮想ジョブ種類ボタンＶ１を認識する。処理部１０は、選択されたジョブの種類において最上位に分類された項目に対応する仮想項目ボタンＶ２を透過表示部１４に表示させる。これにより、使用者は、ジョブの種類（使用する機能）を視線の動きで選択できる。

又、本発明の実施形態を説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実施することができる。

本発明は、ヘッドマウントディスプレイと本体装置を含む装置に利用可能である。

１００ 表示入力装置 １ ヘッドマウントディスプレイ
１０ 処理部 １３ 撮像部
１４ 透過表示部 １５ 視線検出部
１６ ＨＭＤ通信部 ２ 画像形成装置（本体装置）
２０ 制御部 ２２ 操作パネル
２４ 本体通信部 ２５ 表示パネル
２６ タッチパネル（操作部） ２７ ハードキー群（操作部）
３ ホーム画面 ４ 設定値設定画面
Ｖ１ 仮想ジョブ種類ボタン Ｖ２ 仮想項目ボタン
ｉ１ 項目表示画像 Ｍ１ メッセージ

Claims (8)

1. ヘッドマウントディスプレイと本体装置とを含み、
   前記ヘッドマウントディスプレイは、
   撮像部と、
   外光を透過しつつ仮想画像を視認させる透過表示部と、
   使用者の視線を検出するための視線検出部と、
   前記透過表示部の表示を制御する処理部と、
   ＨＭＤ通信部と、を備え、
   前記本体装置は、
   表示パネルと操作部を含む操作パネルと、
   前記ＨＭＤ通信部と通信する本体通信部と、
   前記表示パネルの表示を制御する制御部と、を備え、
   前記処理部は、
   前記撮像部が前記操作パネルを撮影しているとき、項目を選択するための仮想項目ボタンを前記透過表示部に表示させ、
   前記視線検出部の出力に基づき選択された前記仮想項目ボタンを認識し、
   選択された前記仮想項目ボタンに対応する項目を選択項目と認識し、
   項目は、複数種設けられ、階層化されつつ分類されており、
   前記選択項目が下位の項目を有しない最下層に分類された項目のとき、
   前記処理部は、前記本体通信部に向けて、前記選択項目を通知する第１通知を前記ＨＭＤ通信部に送信させ、
   前記第１通知に基づき、前記制御部は、前記選択項目の設定値を設定するための設定値設定画面を前記表示パネルに表示させ、
   前記操作部は、前記設定値の設定を受け付けることを特徴とする表示入力装置。
2. 前記選択項目が最下層の項目ではないとき、
   前記処理部は、
   前記選択項目を示す項目表示画像を前記透過表示部に表示させ、
   前記項目表示画像の周りに、前記選択項目の１つ下の階層に分類された項目に対応する前記仮想項目ボタンを前記透過表示部に表示させることを特徴とする請求項１に記載の表示入力装置。
3. 前記透過表示部が前記仮想項目ボタンを表示している間、
   前記制御部は、全面単一色の画面を前記表示パネルに表示させることを特徴とする請求項１又は２に記載の表示入力装置。
4. 前記処理部は、ジョブの実行には、前記本体装置の前記操作部を操作する必要がある旨のメッセージを前記透過表示部に表示させることを特徴とする請求項１乃至３の何れか１項に記載の表示入力装置。
5. 前記操作部が前記設定値の設定を受け付けたとき、
   前記制御部は、前記ＨＭＤ通信部に向けて、前記設定値が設定されたこと知らせる第２通知を前記本体通信部に送信させ、
   前記処理部は、最下層に分類された前記項目の前記仮想項目ボタンが選択されてから、前記第２通知を受けるまでの間、仮想的なボタンを前記透過表示部に表示させないことを特徴とする請求項１乃至４の何れか１項に記載の表示入力装置。
6. 前記処理部は、前記ヘッドマウントディスプレイの表示領域の中心と、各前記仮想項目ボタンの中心を結ぶ線のなす角度が、表示する前記仮想項目ボタンの個数で３６０度を除した値となるように、前記仮想項目ボタンを前記透過表示部に表示させることを特徴とする請求項１乃至５の何れか１項に記載の表示入力装置。
7. 前記処理部は、縦方向と横方向のうち、何れか一方又は両方の方向で並ぶように、前記仮想項目ボタンを前記透過表示部に表示させることを特徴とする請求項１乃至６の何れか１項に記載の表示入力装置。
8. 前記制御部はジョブの種類を選択するためのホーム画面を前記表示パネルに表示させ、
   前記撮像部が前記ホーム画面を撮影しているとき、
   前記処理部は、
   ジョブの種類を選択するための仮想ジョブ種類ボタンを前記透過表示部に表示させ、
   前記視線検出部の出力に基づき選択された前記仮想ジョブ種類ボタンを認識し、
   選択されたジョブの種類において最上位に分類された前記項目に対応する前記仮想項目ボタンを前記透過表示部に表示させることを特徴とする請求項１乃至７の何れか１項に記載の表示入力装置。

Images