JP6304144B2 - 操作システム - Google Patents

操作システム Download PDF

Info

Publication number
JP6304144B2
JP6304144B2 JP2015131513A JP2015131513A JP6304144B2 JP 6304144 B2 JP6304144 B2 JP 6304144B2 JP 2015131513 A JP2015131513 A JP 2015131513A JP 2015131513 A JP2015131513 A JP 2015131513A JP 6304144 B2 JP6304144 B2 JP 6304144B2
Authority
JP
Japan
Prior art keywords
unit
glasses
image
print data
type terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015131513A
Other languages
English (en)
Other versions
JP2017016332A (ja
Inventor
大介 市川
大介 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2015131513A priority Critical patent/JP6304144B2/ja
Priority to CN201610465325.6A priority patent/CN106331407B/zh
Priority to US15/198,834 priority patent/US9703376B2/en
Publication of JP2017016332A publication Critical patent/JP2017016332A/ja
Application granted granted Critical
Publication of JP6304144B2 publication Critical patent/JP6304144B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00267Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with a viewing or projecting apparatus, e.g. for reading image information from a film
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00352Input means
    • H04N1/00381Input by recognition or interpretation of visible user gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00493Particular location of the interface or console
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00912Arrangements for controlling a still picture apparatus or components thereof not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/50Picture reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0074Arrangements for the control of a still picture apparatus by the connected apparatus
    • H04N2201/0075Arrangements for the control of a still picture apparatus by the connected apparatus by a user operated remote control device, e.g. receiving instructions from a user via a computer terminal or mobile telephone handset
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、ユーザーの頭部に装着されるメガネ型のウェアラブル端末(以下、メガネ型端末と称す)によって本体装置を操作する操作システムに関する。
近年、視線入力により操作を行うことができるヘッドマウントディスプレイが提案されている(例えば、特許文献1を参照)。このようなヘッドマウントディスプレイは、操作内容に対応するマーカーが表示され、マーカーに対するユーザーの一定時間以上の注視が検出された場合に、マーカーに対応する操作が実行されるようになっている。
特開2004−180208号公報
しかしながら、従来技術では、操作項目の設定値を複数の中から選択する場合、ユーザーの視線によって選択する関係からディスプレイに表示可能な設定値の数は限られ、設定値が多数ある操作には対応することができないという問題があった。
本発明は上記課題に鑑みてなされたものであり、選択可能な設定値が多数ある操作を、メガネ型端末を用いて簡単に行うことができ、利便性を向上させることができる操作システムを提供することを目的とする。
本発明の操作システムは、ユーザーが頭部に装着するメガネ型端末によって本体装置を操作する操作システムであって、前記メガネ型端末は、ユーザーの前方視界の画像を撮像する視界撮像部と、ユーザーの眼球の画像を撮像する眼球撮像部と、ユーザーが視認可能な画面表示部と、選択項目が配置された画面を生成して前記画面表示部に表示する画面生成部と、前記眼球撮像部によって撮像された画像に基づいて、前記画面表示部上のユーザーの視点を検出し、ユーザーが視点を合わせた前記選択項目の選択を受け付けると共に、前記眼球撮像部によって撮像された画像に基づいて、前記視界撮像部によって撮像された画像上の視点位置を特定する視点検出部と、前記視点検出部によって特定された前記視点位置に基づいて、前記視界撮像部によって撮像された画像からサンプルデータを切り出すサンプルデータ切出部と、前記視点検出部によって選択を受け付けた前記選択項目及び前記サンプルデータ切出部によって切り出された前記サンプルデータを前記本体装置に送信する端末通信部とを具備すると共に、前記本体装置は、前記メガネ型端末から受信した前記選択項目に基づく動作を実行する制御部と、前記メガネ型端末から受信した前記サンプルデータに基づいて、前記メガネ型端末の前記画面表示部に表示する前記選択項目となる設定値候補を特定するサンプルデータ解析部と、前記設定値候補を前記メガネ型端末に送信する本体通信部とを具備することを特徴とする。
さらに、本発明の操作システムにおいて、前記本体装置は、印刷データを印刷する画像形成装置であり、前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補フォントを特定し、前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補フォントによって前記印刷データを編集して印刷しても良い。
さらに、本発明の操作システムにおいて、前記本体装置は、印刷データを印刷する画像形成装置であり、前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補色を特定し、前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補色によって前記印刷データを編集して印刷しても良い。
本発明によれば、ユーザーの視点に基づいて切り出されたサンプルデータ44によって、ユーザーが選択する選択項目として設定値候補が特定される。従って、多数の選択可能な設定値があっても、メガネ型端末1では、設定値候補を選択することで、ユーザーは所望する操作を簡単に行うことができ、利便性を向上させることができるという効果を奏する。
本発明に係る操作システムのシステム構成図である。 図1に示すメガネ型端末の構成を示すブロック図である。 図1に示す画像形成装置の構成を示すブロック図である。 図1に示すメガネ型端末における印刷データの印刷動作を示すフローチャートである。 図1に示す画像形成装置における印刷データの印刷動作を示すフローチャートである。 図2に示す画面表示部での表示例を示す図である。
以下、図を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態において、同様の機能を示す構成には、同一の符号を付してある。
本実施の形態の操作システムは、図1に示すように、メガネ型端末1と、メガネ型端末1と無線等のネットワークで接続された本体装置である画像形成装置2とを備えている。画像形成装置2は、プリンター、複写機、MFP(Multifunction Peripheral/Printer/Product)等の印刷機能を有する装置である。メガネ型端末1は、画像形成装置2で印刷する印刷データの編集を操作する装置である。
メガネ型端末1は、ユーザーが頭部に装着するメガネ型のウェアラブル端末である。図2に示すように、メガネ型端末1は、視界撮像部11と、眼球撮像部12と、画面表示部13と、通信部14と、記憶部15と、制御部16とを備えている。
視界撮像部11は、図1に示すように、メガネ型端末1の前方側に向けて配置されたCCDカメラやCMOSカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの前方視界の画像を撮像する。以下、視界撮像部11によって撮像された画像を視界画像と称す。
眼球撮像部12は、図1に示すように、メガネ型端末1の後方側に向けて配置されたCCDカメラやCMOSカメラ等の固体撮像素子で構成されたカメラであり、ユーザーの眼球の画像を撮像する。以下、眼球撮像部12によって撮像された画像を視点検出画像と称す。
画面表示部13は、メガネ型端末1をユーザーか装着すると、図1に示すような、ユーザーの眼球の直前に位置するハーフミラー13aを表示画面として有し、ハーフミラー13aに画像光を投影することでユーザーが視認可能な各種画面を表示する。
通信部14は、無線LAN等の無線通信によって、画像形成装置2と各種データを送受信する機能を有する。
記憶部15は、半導体メモリ等の記憶手段であり、画像形成装置2から受信した印刷データ一覧や印刷イメージが記憶される。
制御部16は、視界撮像部11、眼球撮像部12、画面表示部13、通信部14と、記憶部15にそれぞれ接続され、メガネ型端末1全体の動作制御を実行する。制御部16は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータ等の情報処理部である。ROMにはメガネ型端末1の動作制御を行うための制御プログラムが記憶されている。制御部16のCPUは、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、端末全体の制御を行う。また、制御部16は、画面生成部161と、視点検出部162と、サンプルデータ切出部163としてそれぞれ機能する。
画面生成部161は、画像形成装置2から受信した印刷データ一覧が配置された印刷データ一覧画面を生成し、生成した印刷データ一覧画面を画面表示部13のハーフミラー13aに表示させる。また、画面生成部161は、画像形成装置2から受信した印刷イメージが配置された印刷データ編集画面を生成し、生成した印刷データ編集画面を画面表示部13のハーフミラー13aに表示させる。
視点検出部162は、視点検出画像に基づいて、ハーフミラー13aに表示された各種画面におけるユーザーの視点や、視界画像上のユーザーの視点を検出する。
サンプルデータ切出部163は、視点検出部162によって特定された視点位置が含まれる所定の領域(例えば、指定位置を中心とする予め設定された大きさの矩形領域)をサンプルデータとして切り出す。
次に、図3を参照して、画像形成装置2について説明する。本実施の形態の画像形成装置2は、MFP(Multifunction Printer)であり、操作パネル21と原稿読取部22と記憶部23と画像処理部24と印刷部25と通信部26とファクシミリ部27と制御部28とを備えている。
操作パネル21は、タッチパネルと操作ボタンとを備えている。タッチパネルは、各種操作キーや画像形成状況を表示する表示部の表面に透明の感圧センサーが設けられており、表示手段及び入力手段として機能する。タッチパネルは、表示面へのタッチ操作を検知して、タッチ操作が検知された位置に対応する信号を出力することで、表示部に表示した操作キーへの操作を受け付ける。また、操作ボタンは、印刷枚数等の数値を入力するためのテンキー、設定情報を初期化させる指示を入力するためのリセットキー、複写動作を停止させるためのストップキー、印刷動作を開始させる出力指示を入力するためのスタートキー等の各種操作キーを備えている。
原稿読取部22は、図示しない原稿給紙装置により給紙されてきた原稿や、ユーザーによってプラテンガラスに載置された原稿に対して光を照射し、その反射光等を受光して原稿画像を読み取るスキャナーである。
記憶部23は、半導体メモリやHDD等の記憶手段であり、通信部26を介して受信された文字列を含む文書データや、原稿読取部22によって読み取られた画像データや、通信部26、ファクシミリ部27を介して受信された画像データなどが印刷データとして蓄積される記憶手段である。また、記憶部23には、複数の異なるフォント(○○明朝、××ゴシック等)が記憶されている。さらに、記憶部23には、文書データの文字列を他の言語に翻訳するための辞書が記憶されている。
画像処理部24は、画像データに対して所定の画像処理を行う手段である。画像処理部24では、例えば、拡大縮小処理や、濃度調整、階調調整等の画像改善処理が行われる。
印刷部25は、記憶部23に記憶された画像データを印刷する印刷手段である。印刷部25は、例えば、記憶部23から読み出した画像データに基づき感光体ドラムの表面に潜像を形成し、トナーによってその潜像をトナー像とする画像形成を行い、その感光体ドラムから記録紙にトナー像を転写させ、そのトナー像を記録紙に定着させて排紙する。また、印刷部25は、シアン、マゼンダ、イエロー、ブラック等のトナーを用いてそれぞれトナー像を形成する機能を有し、これらのトナー像を重ね合わせて記録紙に定着させることで、フルカラー印刷に対応している。
通信部26は、無線LAN等の無線通信によって、メガネ型端末1や外部端末と各種データを送受信する機能を有する。他にも、通信部26は、LANケーブル等の有線ケーブルを介して外部端末と各種データを送受信する機能を有している。
ファクシミリ部27は、モデムを有し、原稿読取部22によって読み取られた画像データや、記憶部23に記憶されている画像データからファクシミリ信号を生成し、生成したファクシミリ信号を公衆回線網経由で送信するファクシミリ送信機能と、公衆回線網経由でファクシミリ信号を受信するファクシミリ受信機能とを備えている。
制御部28は、操作パネル21、原稿読取部22、記憶部23、画像処理部24、印刷部25、通信部26及びファクシミリ部27にそれぞれ接続されている。制御部28は、ROM、RAM等を備えたマイクロコンピュータ等の情報処理部である。ROMには画像形成装置2の動作制御を行うための制御プログラムが記憶されている。制御部28は、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、装置全体の制御を行う。また、制御部28は、印刷データ一覧生成部281と、印刷イメージ生成部282と、印刷データ編集部283と、サンプルデータ解析部284として機能する。
印刷データ一覧生成部281は、記憶部23に記憶されている印刷データの中から編集可能な印刷データを特定し、特定した印刷データのファイル名の一覧を印刷データ一覧として生成する。編集可能な印刷データは、文字列を含む文書データである。この文書データは、文字列の色、フォント、言語を編集可能である。
印刷イメージ生成部282は、メガネ型端末1からファイル名を通知された印刷データの印刷イメージを生成し、生成した印刷イメージを通信部26経由でメガネ型端末1に送信する。また、印刷イメージ生成部282は、印刷データ編集部283によって生成された変更候補印刷データの印刷イメージを生成し、生成した印刷イメージを通信部26経由でメガネ型端末1に送信する。
印刷データ編集部283は、メガネ型端末1からファイル名を通知された印刷データを、サンプルデータ解析部284によって特定された変更候補言語、変更候補フォント、変更候補色に変更した変更候補印刷データを生成する。
サンプルデータ解析部284は、メガネ型端末1から受信したサンプルデータに基づいて、変更候補言語、変更候補フォント及び変更候補色を特定する。
次に、本実施の形態の操作システムにおける印刷データの印刷動作について図4乃至図6を参照して詳細に説明する。
メガネ型端末1と画像形成装置2との通信が開始されると、画像形成装置2の制御部28は、印刷データ一覧生成部281として機能する。メガネ型端末1と画像形成装置2との通信は、例えば、メガネ型端末1を装着したユーザーが画像形成装置2を視界に捉えることで開始される。この場合、メガネ型端末1の制御部16は、画像形成装置2の形状を認識する機能を有し、視界画像内の画像形成装置2を認識することで、画像形成装置2との通信を開始させる。なお、メガネ型端末1に画像形成装置2との通信の開始を指示する操作部を設けても良い。また、画像形成装置2の操作パネル21からメガネ型端末1との通信の開始を指示することもできる。
印刷データ一覧生成部281は、記憶部23に記憶されている印刷データの中から編集可能な印刷データ(文字列を含む文書データ)を特定し、特定した印刷データのファイル名一覧を印刷データ一覧として生成する。そして、印刷データ一覧生成部281は、生成した印刷データ一覧を通信部26経由でメガネ型端末1に送信する(図5、ステップB1)。
メガネ型端末1の制御部16は、画像形成装置2から通信部14経由で印刷データ一覧を受信すると(図4、ステップA1)、画面生成部161として機能する。画面生成部161は、図6(a)に示すような、受信した印刷データ一覧が配置された印刷データ一覧画面30を生成し、生成した印刷データ一覧画面30を画面表示部13のハーフミラー13aに表示させる(図4、ステップA2)。印刷データ一覧画面30において、印刷データ一覧のファイル名のそれぞれがユーザーの視点によって選択される選択項目となる。
次に、メガネ型端末1の制御部16は、視点検出部162として機能する。視点検出部162は、視点検出画像に基づいて、ハーフミラー13aに表示された印刷データ一覧画面30上のユーザーの視点を検出し、ユーザーの視点による選択項目(ファイル名)の選択を受け付ける。なお、視点検出部162は、ユーザーの視点が位置する選択項目を反転表示や枠等によってユーザーに通知し、その選択項目に視点が一定時間留まると、ユーザーの視点が位置する選択項目の選択を受け付ける。そして、点検出部162は、選択を受け付けたファイル名を通信部14経由で画像形成装置2に通知する(図4、ステップA3)。
画像形成装置2の制御部28は、メガネ型端末1から選択を受け付けたファイル名の通知を通信部26経由で受信すると(図5、ステップB2)、印刷イメージ生成部282として機能する。印刷イメージ生成部282は、ステップB2でファイル名を通知された印刷データをバックアップすると共に、ステップB2でファイル名を通知された印刷データの印刷イメージを生成し、生成した印刷イメージを通信部26経由でメガネ型端末1に送信する(図5、ステップB3)。そして、制御部28は、印刷指示の受信と、終了指示の受信と、サンプルデータ44の受信とを待機する(図5、ステップB4、B5、B6)。なお、メガネ型端末1に送信する印刷イメージは、メガネ型端末1おける画面表示部13の解像度に応じて適宜変更すると良い。また、印刷イメージは、印刷データの全ページを対象にして生成するようにしても良いが、ヘッドページ等の代表ページのみとすると、生成に係る処理を軽減することができる共に、メガネ型端末1と画像形成装置2との間の通信トラフィクを軽減することができる。
メガネ型端末1の制御部16は、画像形成装置2から通信部14経由で印刷イメージを受信すると(図4、ステップA4)、画面生成部161として機能する。画面生成部161は、図6(b)に示すような、受信した印刷イメージが配置された印刷データ編集画面40を生成し、生成した印刷データ編集画面40を画面表示部13のハーフミラー13aに表示させる(図4、ステップA5)。印刷データ編集画面40には、表示された印刷イメージの印刷を画像形成装置2に指示する印刷指示ボタン41と、編集動作の終了を指示する終了指示ボタン42とが、ユーザーの視点によって選択される選択項目として配置されている。また、印刷データ編集画面40には、設定項目(色、フォント、言語)の設定値が選択項目として表示される編集領域43が配置されている。
次に、メガネ型端末1の制御部16は、視点検出部162として機能する。視点検出部162は、印刷指示ボタン41による印刷指示の選択と、終了指示ボタン42による終了指示の選択と、視界画像上の視点位置の特定とを待機する(図4、ステップA6、A7、A8)。視点検出部162は、視点検出画像に基づいて、ハーフミラー13aに表示された印刷データ編集画面40上のユーザーの視点を検出し、ユーザーの視点による選択項目(印刷指示ボタン41、終了指示ボタン42)の選択を受け付ける。
ユーザーは、印刷データ編集画面40の表示された印刷イメージで良い場合、印刷データ編集画面40上の選択項目である印刷指示ボタン41に視点を合わせて選択する。視点検出部162は、印刷指示ボタン41による印刷指示が選択されると(図4、ステップA6)、印刷指示の通知を通信部14経由で画像形成装置2に送信し(図4、ステップA9)、印刷動作を終了させる。そして、画像形成装置2の制御部28は、メガネ型端末1から印刷指示の通知を通信部26経由で受信すると(図5、ステップB4)、ステップB2でファイル名を通知された印刷データを印刷部25によって印刷し(図5、ステップB7)、印刷動作を終了させる。
ユーザーは、印刷動作を終了させたい場合、印刷データ編集画面40上の選択項目である終了指示ボタン42に視点を合わせて選択する。視点検出部162は、終了指示ボタン42による終了指示が選択されると(図4、ステップA7)、終了指示の通知を通信部14経由で画像形成装置2に送信し(図4、ステップA10)、印刷動作を終了させる。そして、画像形成装置2の制御部28も、メガネ型端末1から終了指示の通知を通信部26経由で受信すると(図5、ステップB5)、印刷動作を終了させる。
一方、印刷データ編集画面40の表示された印刷イメージでは納得できず、編集したい場合、ユーザーは、自身の周辺、例えば、机の上にある印刷物や物体を変更したい色、フォント、言語のサンプルとして、当該サンプルに視点を移動させ、視点を所定範囲内に所定時間留める。これにより、視点検出部162は、視界画像上の視点位置を特定する。なお、視界画像上の視点位置の特定よりも、印刷データ編集画面40上の選択項目の選択が優先される。視点検出部162によって視界画像上の視点位置が特定されると(図4、ステップA8)、画像形成装置2の制御部28は、サンプルデータ切出部163として機能する。サンプルデータ切出部163は、視点検出部162によって特定された視点位置が含まれる所定の領域(例えば、指定位置を中心とする予め設定された大きさの矩形領域)をサンプルデータ44として切り出し、切り出したサンプルデータ44を通信部14経由で画像形成装置2に送信する(図4、ステップA11)。
画像形成装置2の制御部28は、メガネ型端末1からサンプルデータ44を通信部26経由で受信すると(図5、ステップB6)、サンプルデータ解析部284として機能する。サンプルデータ解析部284は、サンプルデータ44内に文字列が含まれているか否かを判断し(図5、ステップB8)、サンプルデータ44内に文字列が含まれている場合、その言語を変更候補言語として特定すると共に、記憶部23に記憶されている複数のフォントの内からサンプルデータ44内の文字列に類似しているものを変更候補フォントとして特定する(図5、ステップB9)。類似度が高いものから順位を付けて複数の変更候補フォントが特定される。なお、特定する変更候補フォントの数(M個)は、適宜設定することができる。
サンプルデータ44内に文字列が含まれていない場合、サンプルデータ解析部284は、サンプルデータ44内の色を変更候補色として特定する(図5、ステップB10)。サンプルデータ44内に複数の色が存在する場合、面積の広いものから順位を付けて複数の変更候補色が特定される。なお、特定する変更候補フォントの数(N個)は、適宜設定することができる。
サンプルデータ解析部284によって変更候補言語、変更候補フォント、変更候補色が特定されると、印刷データ編集部283として機能する。印刷データ編集部283は、特定された変更候補言語、変更候補フォント、変更候補色に変更した変更候補印刷データを生成する(図5、ステップB11)。印刷データ編集部283は、印刷データの文字列がサンプルデータ解析部284によって特定された変更候補言語と異なる場合には、記憶部23に記憶されている辞書を用いて、印刷データの文字列を変更候補言語に翻訳して変更した変更候補印刷データを生成する。また、印刷データ編集部283は、記憶部23に記憶されているフォントを用いて、印刷データの文字列を変更候補フォントにそれぞれ変更した変更候補印刷データを生成する。さらに、印刷データ編集部283は、印刷データの文字列を変更候補色にそれぞれ変更した変更候補印刷データをそれぞれ生成する。これにより、変更候補フォントに変更したM個の変更候補印刷データ、変更候補言語及び変更候補フォントに変更したM個の変更候補印刷データ、変更候補色に変更したN個の変更候補印刷データ、変更候補言語、変更候補フォント及び変更候補色に変更したN×M個の変更候補印刷データ、もしくは変更候補フォント及び変更候補色に変更したN×M個の変更候補印刷データが生成される。なお、変更候補印刷データは、印刷データの全ページを対象にして生成するようにしても良いが、ヘッドページ等の代表ページのみとすると、生成に係る処理を軽減することができる。また、変更候補印刷データは、順位が1番の変更候補フォント及び変更候補色のみを対象として生成するようにしても良い。
印刷データ編集部283によって変更候補印刷データを生成されると、制御部28は、印刷イメージ生成部282として機能する。印刷イメージ生成部282は、印刷データ編集部283によって生成された変更候補印刷データの印刷イメージ(以下、変更候補イメージと称す)を生成し、変更候補イメージと、当該変更候補イメージの変更候補言語、変更候補フォント、変更候補色とを通信部26経由でメガネ型端末1に送信する(図5、ステップB12)。なお、印刷データ編集部283によって複数の変更候補印刷データが生成される場合には、それぞれの変更候補イメージが生成され、そのメガネ型端末1に送信される。そして、制御部28は、更新印刷指示の通知と、更新なし印刷指示の通知と、終了指示の受信とを待機する(図5、ステップB13、B14、B15)。
メガネ型端末1の制御部16は、画像形成装置2から通信部14経由で変更候補イメージを受信すると(図4、ステップA12)、画面生成部161として機能する。画面生成部161は、図6(c)に示すような、受信した変更候補イメージが配置された印刷データ編集画面40aを生成し、生成した印刷データ編集画面40aを画面表示部13のハーフミラー13aに表示させる(図4、ステップA13)。印刷データ編集画面40aには、変更候補イメージと共に、表示された変更候補イメージに対応する変更候補印刷データへの更新、及び表示された変更候補イメージの印刷を画像形成装置2に指示する第1の印刷指示ボタン41aと、印刷データを変更することなく、表示された変更候補イメージの印刷を画像形成装置2に指示する第2の印刷指示ボタン41bとが配置されている。また、印刷データ編集画面40aの編集領域43には、変更候補言語、変更候補フォント、変更候補色が選択項目として表示される。変更候補イメージは、類似度が最も高い変更候補フォント、且つ面積が最も広い変更候補色のものが初期値として表示される。
次に、メガネ型端末1の制御部16は、視点検出部162として機能する。視点検出部162は、編集領域43の変更候補の選択と、第1の印刷指示ボタン41aによる更新印刷指示の選択と、第2の印刷指示ボタン41bによる更新なし印刷指示の選択と、終了指示ボタン42による終了指示の選択とを待機する(図4、ステップA14、A15、A16、A17)。
また、印刷データ編集画面40aにおいて表示される変更候補イメージに対応する変更候補言語、変更候補フォント、変更候補色は、編集領域43において、図6(c)に示すように、反転表示や枠等によってユーザーに通知される。そして、ユーザーは、変更候補イメージを他の変更候補言語、変更候補フォント、変更候補色に切替えたい場合、他の変更候補言語、変更候補フォント、変更候補色に視点を合わせて選択する。
視点検出部162によって、編集領域43の他の変更候補の選択が受け付けられると(図4、ステップA14)、制御部16は、画面生成部161として機能し、選択された変更候補言語、変更候補フォント、変更候補色に対応する変更候補イメージの表示に切り換える。(図4、ステップA18)。これにより、ユーザーは、候補として特定された少ない設定値(変更候補言語、変更候補フォント、変更候補色)の中から、視線で所望の設定値を容易に選択することができる。
ユーザーは、印刷データ編集画面40aの表示された変更候補イメージで良い場合、印刷データ編集画面40a上の選択項目である第1の印刷指示ボタン41aもしくは第2の印刷指示ボタン41bに視点を合わせて選択する。印刷データを表示された変更候補イメージに更新する場合には、第1の印刷指示ボタン41aを選択し、印刷データを更新しない場合には、第2の印刷指示ボタン41bを選択する。
視点検出部162は、第1の印刷指示ボタン41aによる更新印刷指示が選択されると(図4、ステップA15)、表示された変更候補イメージの更新印刷指示の通知を通信部14経由で画像形成装置2に送信し(図4、ステップA19)、印刷動作を終了させる。そして、画像形成装置2の制御部28は、メガネ型端末1から更新印刷指示の通知を通信部26経由で受信すると(図5、ステップB13)、ステップB2でファイル名を通知された印刷データを通知された変更候補イメージの変更候補印刷データに更新すると共に(図5、ステップB16)、通知された変更候補イメージの変更候補印刷データを印刷部25によって印刷し(図5、ステップB17)、印刷動作を終了させる。なお、変更候補印刷データが一部の頁である場合には、ステップB17で制御部28は印刷データ編集部283として機能し、全頁の変更候補印刷データを生成して印刷する。
視点検出部162は、第1の印刷指示ボタン41aによる更新なし印刷指示が選択されると(図4、ステップA16)、表示された変更候補イメージの更新なし印刷指示の通知を通信部14経由で画像形成装置2に送信し(図4、ステップA20)、印刷動作を終了させる。そして、画像形成装置2の制御部28は、メガネ型端末1から更新なし印刷指示の通知を通信部26経由で受信すると(図5、ステップB14)、ステップB2でファイル名を通知された印刷データを更新することなく、通知された変更候補イメージの変更候補印刷データを印刷部25によって印刷し(図5、ステップB17)、印刷動作を終了させる。
ユーザーは、印刷動作を終了させたい場合、印刷データ編集画面40a上の選択項目である終了指示ボタン42に視点を合わせて選択する。視点検出部162は、終了指示ボタン42による終了指示が選択されると(図4、ステップA17)、終了指示の通知を通信部14経由で画像形成装置2に送信し(図4、ステップA21)、印刷動作を終了させる。そして、画像形成装置2の制御部28も、メガネ型端末1から終了指示の通知を通信部26経由で受信すると(図5、ステップB15)、印刷動作を終了させる。
なお、本実施の形態では、メガネ型端末において、ユーザーが視点を所定の範囲内に所定時間留めることで、視点を合わせている選択項目の選択や視点位置の特定を行うように構成したが、ユーザーの目の「まばたき」等の動きを併用して、視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。また、ユーザーが操作する決定ボタンを設けて、決定ボタンが操作された際に視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。さらに、加速度センサー等のユーザーの所定動作を検出する動作検出部を設け、所定動作が検出された際に視点を合わせている選択項目の選択や視点位置の特定を行うようにしても良い。
以上説明したように、本実施の形態によれば、ユーザーが頭部に装着するメガネ型端末1によって本体装置である画像形成装置2を操作する操作システムであって、メガネ型端末1は、ユーザーの前方視界の画像を撮像する視界撮像部11と、ユーザーの眼球の画像を撮像する眼球撮像部12と、ユーザーが視認可能な画面表示部13と、選択項目が配置された画面を生成して画面表示部13に表示する画面生成部161と、眼球撮像部12によって撮像された画像に基づいて、画面表示部13上のユーザーの視点を検出し、ユーザーが視点を合わせた選択項目の選択を受け付けると共に、眼球撮像部12によって撮像された画像に基づいて、視界撮像部11によって撮像された画像上の視点位置を特定する視点検出部162と、視点検出部162によって特定された視点位置に基づいて、視界撮像部11によって撮像された画像からサンプルデータ44を切り出すサンプルデータ切出部163と、視点検出部162によって選択を受け付けた選択項目及びサンプルデータ切出部163によって切り出されたサンプルデータ44を画像形成装置2に送信する通信部14とを備えると共に、画像形成装置2は、メガネ型端末1から受信した選択項目に基づく動作を実行する制御部28と、メガネ型端末1から受信したサンプルデータ44に基づいて、メガネ型端末1の画面表示部13に表示する選択項目となる設定値候補を特定するサンプルデータ解析部284と、設定値候補をメガネ型端末1に送信する通信部26とを備えている。
この構成により、ユーザーの視点に基づいて切り出されたサンプルデータ44によって、ユーザーが選択する選択項目として設定値候補が特定される。従って、多数の選択可能な設定値があっても、メガネ型端末1では、設定値候補を選択することで、ユーザーは所望する操作を簡単に行うことができ、利便性を向上させることができる。
さらに、本実施の形態において、本体装置は、印刷データを印刷する画像形成装置2であり、画像形成装置2のサンプルデータ解析部284は、設定値候補として変更候補フォントを特定し、画像形成装置2の制御部28(印刷データ編集部283)は、選択項目としてメガネ型端末1から受信した変更候補フォントによって印刷データを編集して印刷する。
この構成により、メガネ型端末1で、変更候補フォントを選択することで、ユーザーは印刷データを簡単に編集することができ、利便性を向上させることができる。
さらに、本実施の形態において、本体装置は、印刷データを印刷する画像形成装置2であり、画像形成装置2のサンプルデータ解析部284は、設定値候補として変更候補色を特定し、画像形成装置2の制御部28(印刷データ編集部283)は、選択項目としてメガネ型端末1から受信した変更候補色によって印刷データを編集して印刷する。
この構成により、メガネ型端末1で、変更候補色を選択することで、ユーザーは印刷データを簡単に編集することができ、利便性を向上させることができる。
なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。また、上記構成部材の数、位置、形状等は上記実施の形態に限定されず、本発明を実施する上で好適な数、位置、形状等にすることができる。なお、各図において、同一構成要素には同一符号を付している。
1 メガネ型端末
2 画像形成装置
11 視界撮像部
12 眼球撮像部
13 画面表示部
13a ハーフミラー
14 通信部
15 記憶部
16 制御部
21 操作パネル
22 原稿読取部
23 記憶部
24 画像処理部
25 印刷部
26 通信部
27 ファクシミリ部
28 制御部
30 印刷データ一覧画面
40、40a 印刷データ編集画面
41 印刷指示ボタン
41a 第1の印刷指示ボタン
41b 第2の印刷指示ボタン
42 終了指示ボタン
43 編集領域
44 サンプルデータ
161 画面生成部
162 視点検出部
163 サンプルデータ切出部
281 印刷データ一覧生成部
282 印刷イメージ生成部
283 印刷データ編集部
284 サンプルデータ解析部

Claims (3)

  1. ユーザーが頭部に装着するメガネ型端末によって本体装置を操作する操作システムであって、
    前記メガネ型端末は、
    ユーザーの前方視界の画像を撮像する視界撮像部と、
    ユーザーの眼球の画像を撮像する眼球撮像部と、
    ユーザーが視認可能な画面表示部と、
    選択項目が配置された画面を生成して前記画面表示部に表示する画面生成部と、
    前記眼球撮像部によって撮像された画像に基づいて、前記画面表示部上のユーザーの視点を検出し、ユーザーが視点を合わせた前記選択項目の選択を受け付けると共に、前記眼球撮像部によって撮像された画像に基づいて、前記視界撮像部によって撮像された画像上の視点位置を特定する視点検出部と、
    前記視点検出部によって特定された前記視点位置に基づいて、前記視界撮像部によって撮像された画像からサンプルデータを切り出すサンプルデータ切出部と、
    前記視点検出部によって選択を受け付けた前記選択項目及び前記サンプルデータ切出部によって切り出された前記サンプルデータを前記本体装置に送信する端末通信部とを具備すると共に、
    前記本体装置は、
    前記メガネ型端末から受信した前記選択項目に基づく動作を実行する制御部と、
    前記メガネ型端末から受信した前記サンプルデータに基づいて、前記メガネ型端末の前記画面表示部に表示する前記選択項目となる設定値候補を特定するサンプルデータ解析部と、
    前記設定値候補を前記メガネ型端末に送信する本体通信部とを具備することを特徴とする操作システム。
  2. 前記本体装置は、印刷データを印刷する画像形成装置であり、
    前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補フォントを特定し、
    前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補フォントによって前記印刷データを編集して印刷することを特徴とする請求項1記載の操作システム。
  3. 前記本体装置は、印刷データを印刷する画像形成装置であり、
    前記本体装置の前記サンプルデータ解析部は、前記設定値候補として変更候補色を特定し、
    前記本体装置の制御部は、前記選択項目として前記メガネ型端末から受信した前記変更候補色によって前記印刷データを編集して印刷することを特徴とする請求項1又は2記載の操作システム。
JP2015131513A 2015-06-30 2015-06-30 操作システム Expired - Fee Related JP6304144B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015131513A JP6304144B2 (ja) 2015-06-30 2015-06-30 操作システム
CN201610465325.6A CN106331407B (zh) 2015-06-30 2016-06-24 操作系统
US15/198,834 US9703376B2 (en) 2015-06-30 2016-06-30 Manipulation system operable by eyewear type terminal device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015131513A JP6304144B2 (ja) 2015-06-30 2015-06-30 操作システム

Publications (2)

Publication Number Publication Date
JP2017016332A JP2017016332A (ja) 2017-01-19
JP6304144B2 true JP6304144B2 (ja) 2018-04-04

Family

ID=57684062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015131513A Expired - Fee Related JP6304144B2 (ja) 2015-06-30 2015-06-30 操作システム

Country Status (3)

Country Link
US (1) US9703376B2 (ja)
JP (1) JP6304144B2 (ja)
CN (1) CN106331407B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6241426B2 (ja) * 2015-01-26 2017-12-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
JP7383885B2 (ja) * 2019-03-04 2023-11-21 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6997129B2 (ja) * 2019-03-28 2022-01-17 ファナック株式会社 制御システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248872A (ja) * 1994-03-11 1995-09-26 Matsushita Electric Ind Co Ltd 入力装置及び演算入出力装置
JP2004180208A (ja) * 2002-11-29 2004-06-24 Toshiba Corp テレビジョン信号視聴装置
JP5195537B2 (ja) * 2009-03-09 2013-05-08 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5316556B2 (ja) * 2011-02-02 2013-10-16 ブラザー工業株式会社 情報処理装置、情報処理プログラムおよび情報処理システム
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
US9829975B2 (en) * 2013-08-27 2017-11-28 Auckland Uniservices Limited Gaze-controlled interface method and system
JP5900468B2 (ja) * 2013-11-21 2016-04-06 コニカミノルタ株式会社 Ar表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Also Published As

Publication number Publication date
US20170003743A1 (en) 2017-01-05
CN106331407A (zh) 2017-01-11
JP2017016332A (ja) 2017-01-19
CN106331407B (zh) 2019-02-15
US9703376B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
US9723177B2 (en) Image processing system, image processing apparatus, and image forming apparatus
JP5138736B2 (ja) 文字入力装置及び文字入力方法
JP6304144B2 (ja) 操作システム
US8760720B2 (en) Image processing apparatus
US10530945B2 (en) Display device and display system
US20210385352A1 (en) Image reading device and image reading method
JP2009278373A (ja) 画像処理装置、画像形成装置及びコンピュータプログラム
US9703513B2 (en) Image forming apparatus with an improved image previewer based on the type of document image
JP2017215701A (ja) ドキュメント補完システム
JP6500842B2 (ja) 印刷システム
US10409536B2 (en) Image forming apparatus for displaying preview images of applied settings for printing, and electronic apparatus
JP6565864B2 (ja) 画像形成システム
JP2018136874A (ja) 画像処理装置および画像処理プログラム
JP5502053B2 (ja) 画像処理装置
JP6465070B2 (ja) 情報表示システム
JP2010263464A (ja) 画像形成装置
US20180115662A1 (en) Human readable sentences used to represent complex color changes in a print driver
JP7388428B2 (ja) 画像処理装置、画像処理装置の制御方法
JP7505236B2 (ja) 画像処理装置、画像処理方法
JP2018122532A (ja) 画像形成装置及び画像形成方法
JP6358198B2 (ja) 画像形成装置及びプログラム
JP2016213565A (ja) 画像処理装置
JP5502054B2 (ja) 画像処理装置
JP5957414B2 (ja) 画像処理装置及び画像形成装置
JP2019168978A (ja) 電子機器及び画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180219

R150 Certificate of patent or registration of utility model

Ref document number: 6304144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees