JP7073868B2 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
JP7073868B2
JP7073868B2 JP2018075184A JP2018075184A JP7073868B2 JP 7073868 B2 JP7073868 B2 JP 7073868B2 JP 2018075184 A JP2018075184 A JP 2018075184A JP 2018075184 A JP2018075184 A JP 2018075184A JP 7073868 B2 JP7073868 B2 JP 7073868B2
Authority
JP
Japan
Prior art keywords
image
operation explanation
display
user
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018075184A
Other languages
English (en)
Other versions
JP2018185805A (ja
Inventor
大輔 安岡
寛夫 関
高史 上野
悠 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018140957A priority Critical patent/JP6969517B2/ja
Publication of JP2018185805A publication Critical patent/JP2018185805A/ja
Application granted granted Critical
Publication of JP7073868B2 publication Critical patent/JP7073868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H04N1/00098—Systems or arrangements for the transmission of the picture signal via a television channel, e.g. for a series of still pictures with or without sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00962—Input arrangements for operating instructions or parameters, e.g. updating internal software
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、情報処理装置およびプログラムに関する。
特許文献１には、撮像画像に含まれる所定の対象を認識して、仮想オブジェクトの画像と撮像画像とを合成した合成画像を生成して表示する際に、認識処理が失敗した場合には、以前に成功した認識処理の対象となった撮像画像と、当該認識処理の処理結果を用いて生成される仮想オブジェクトの画像とを合成するようにした画像表示装置が開示されている。
特許文献２には、印刷装置が出力用紙に施す予定の付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を、現実空間に存在する用紙上に重ね合わせて表示する表示装置が開示されている。
特許文献３には、印刷装置が出力用紙に施す予定の付加処理を実施した場合の処理結果を模擬的に示す出力イメージ画像を、現実空間に存在する用紙上に重ね合わせて表示し、模擬画像に対してユーザが行った操作に応じて、印刷装置の設定情報を変更する処理内容設定装置が開示されている。
特許文献４には、携帯電話端末に動画コンテンツをストリーミング再生させるとともに、その動画コンテンツを携帯電話端末ユーザとオペレーターが共有しながら、オペレーターがユーザのチャット相手を行うサービスを大規模に実施することができるようにした携帯電話向けチャットサービスシステムが開示されている。
特許文献５には、コンタクトセンサ装置はユーザ端末からオペレーターへの問い合わせ内容を含むメッセージを受信すると、その問い合わせ内容に基づいて、問い合わせを受け付けるオペレーター端末を複数のオペレーター端末の中から選択して、選択したオペレーター端末にメッセージを送信するようにしたコンタクトセンタシステムが開示されている。
特開２０１２－０５９２９２号公報 特開２０１５－０９９４４８号公報 特開２０１５－１０２９０９号公報 特開２００６－００４１９０号公報 特開２０１６－０８２５０７号公報
本発明の目的は、操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することを可能とする情報処理装置およびプログラムを提供することである。
［情報処理装置］
請求項１に係る本発明は、実空間の画像を撮像する撮像手段と、
画像を表示する表示手段と、
前記撮像手段により撮像された画像に、操作説明を行う対象物の特定部位の画像が含まれる場合、当該画像に操作を指示するための画像を付加することにより操作説明画像を生成し、生成した操作説明画像を順次表示するよう前記表示手段を制御する制御手段とを備え、
前記制御手段は、前記操作説明画像を生成した際に、生成した当該操作説明画像の一部を保存しておき、前記特定部位に対する操作説明が完了する前に、前記撮像手段により撮像された画像から、前記特定部位を検出することができなくなった場合、保存しておいた前記操作説明画像を前記表示手段に表示する情報処理装置である。
請求項２に係る本発明は、前記制御手段が、生成した操作説明画像により既に保存されていた操作説明画像を更新することにより、最新の操作説明画像を保存する請求項１記載の情報処理装置である。
請求項３に係る本発明は、前記制御手段が、生成した複数の操作説明画像を保存しておき、過去に表示した操作説明画像の表示が指示された場合、保存していた複数の操作説明画像のうち、表示が指示された操作説明画像を前記表示手段に表示する請求項１記載の情報処理装置である。
請求項４に係る本発明は、操作説明を行う対象物における特定部位の画像の特徴情報を格納する格納手段をさらに備え、
前記制御手段は、前記撮像手段により撮像された画像における特徴情報が、前記格納手段に格納されたいずれかの特徴情報と一致した場合、当該画像中に、説明を行おうとする特定部位が含まれると判定する請求項１記載の情報処理装置である。
請求項５に係る本発明は、前記制御手段が、前記特定部位についての操作説明が継続している場合には、操作説明を行う際に最初に特定部位を検出する際に使用した特徴情報と、前記撮像手段により撮像された画像における特徴情報とが一致しなくなった場合、前記撮像手段により撮像された画像から前記特定部位を検出することができなくなったものと判定する請求項４記載の情報処理装置である。
請求項６に係る本発明は、前記制御手段が、保存しておいた前記操作説明画像を前記表示手段に表示している最中であっても、前記撮像手段により撮像された画像に、操作説明を行う対象物の特定部位の画像が含まれるか否かの判定を行い、当該画像中に、説明を行おうとする特定部位の画像が含まれる場合、前記表示手段に表示する画像を、保存しておいた前記操作説明画像から、前記撮像手段により撮像された画像に操作を指示するための画像を付加した操作説明画像に切り替える請求項４記載の情報処理装置である。
請求項７に係る本発明は、前記制御手段が、前記特定部位に対して必要な操作が行われたことが検出された場合に、前記特定部位に対する操作説明が完了したと判定する請求項１から６のいずれか記載の情報処理装置である。
請求項８に係る本発明は、前記制御手段が、使用者により操作が完了した旨の入力がされた場合に、前記特定部位に対して必要な操作が行われたと判定する請求項７記載の情報処理装置である。
請求項９に係る本発明は、前記制御手段が、前記撮像手段により撮像された画像に含まれる特定部位の画像から、前記特定部位に対して必要な操作が行われたことを検出する請求項７記載の情報処理装置である。
請求項１０に係る本発明は、前記制御手段が、前記撮像手段により撮像された画像に含まれる特定部位の画像から、前記特定部位に対して正しい操作が行われたか否かを判定する請求項１から９のいずれか記載の情報処理装置である。
請求項１１に係る本発明は、前記制御手段が、前記特定部位に対して正しい操作が行われたと判定した場合、前記表示手段に正しい操作が行われた旨を表示する請求項１０記載の情報処理装置である。
請求項１２に係る本発明は、前記制御手段が、前記特定部位に対して正しい操作が行われなかったと判定した場合、前記表示手段に誤った操作が行われた旨を表示して、正しい操作に修正するための修正指示画像を付加して表示する請求項１０記載の情報処理装置である。
[プログラム]
請求項１３に係る本発明は、撮像された実空間の画像に、操作説明を行う対象物の特定部位の画像が含まれる場合、当該画像に操作を指示するための画像を付加することにより操作説明画像を生成するステップと、
生成された前記操作説明画像の一部を保存するステップと、
生成した操作説明画像を表示するステップと、
前記特定部位に対する操作説明が完了する前に、撮像された実空間の画像から、前記特定部位を検出することができなくなった場合、保存しておいた前記操作説明画像を表示するステップとをコンピュータに実行させるためのプログラムである。
請求項１に係る本発明によれば、操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することが可能な情報処理装置を提供することができる。
請求項２に係る本発明によれば、特定部位を撮像しなくなった直前の操作説明画像を表示することが可能な情報処理装置を提供することができる。
請求項３に係る本発明によれば、過去の表示した操作説明画像を表示させて過去の操作内容を確認することが可能な情報処理装置を提供することができる。
請求項４に係る本発明によれば、撮像された画像から検出しようとする特定部位の特徴情報を予め格納しておくことにより、撮像手段により撮像された画像から、特定部位を検出することが可能な情報処理装置を提供することができる。
請求項５に係る本発明によれば、ある特定部位についての一連の説明が継続している場合における、撮像された画像から特定部位を検出する際の検出時間を短縮することが可能な情報処理装置を提供することができる。
請求項６に係る本発明によれば、保存しておいた操作説明画像を表示した際でも、撮像手段により特定部位が再度撮影されるようになった場合には、撮像された画像に基づいて生成された操作説明画像の表示に切り替えることが可能な情報処理装置を提供することができる。
請求項７に係る本発明によれば、操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、特定部位に対して必要な操作が行われる前であれば、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することが可能な情報処理装置を提供することができる。
請求項８に係る本発明によれば、操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、使用者により操作が完了した旨の入力がされる前であれば、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することが可能な情報処理装置を提供することができる。
請求項９に係る本発明によれば、使用者による操作が完了した旨の入力を必要とすることなく、特定部位に対して必要な操作が行われた否かを判定することが可能な情報処理装置を提供することができる。
請求項１０に係る本発明によれば、特定部位に対して正しい操作が行われたことを確認してから、次の操作説明に移行することが可能な情報処理装置を提供することができる。
請求項１１に係る本発明によれば、使用者が、特定部位に対して行った操作が正しいことを知ることが可能な情報処理装置を提供することができる。
請求項１２に係る本発明によれば、特定部位に対して行った操作が正しくない場合には、使用者に正しい操作となるように修正指示を行うことが可能な情報処理装置を提供することができる。
請求項１３に係る本発明によれば、操作説明を行う対象物の特定部位を撮像手段により撮像して、撮像された画像に操作を指示するための画像を付加して操作説明画像として表示する際に、撮像手段により特定部位を撮像し続けなくても、操作説明画像を表示することが可能なプログラムを提供することができる。
本発明の一実施形態の操作説明表示システムのシステム構成を示す図である。 本発明の一実施形態における端末装置１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における端末装置１０の機能構成を示すブロック図である。 操作説明を行おうとする特定部位が手差しトレイの場合に、撮像された画像から手差しトレイの画像を抽出する具体例を説明するための図である。 本発明の一実施形態における端末装置１０において操作説明画像を表示して操作説明を行う際の動作を説明するためのフローチャートである。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 本発明の一実施形態の端末装置１０により行われる具体的な操作説明の一例を示す表示画面例である。 ユーザがオペレーターとの間で対話形式のやり取りを行う場合の操作説明表示システムのシステム構成を示す図である。 本発明の一実施形態における配信サーバ４０のハードウェア構成を示すブロック図である。 本発明の一実施形態における配信サーバ４０の機能構成を示すブロック図である。 ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。 ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。 ユーザが画像形成装置とのやり取りの途中でコンタクトセンターへの接続を希望した場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間で画像を用いたチャットを行う場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置１０の表示画面例を示す図である。 ユーザがコンタクトセンターのオペレーターとの間でチャットを中断して再開する場合の、本発明の一実施形態の端末装置６０の表示画面例を示す図である。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の一実施形態の操作説明表示システムのシステム構成を示す図である。
本実施形態の操作説明表示システムでは、操作説明を行う対象物である画像形成装置２０の操作説明を、スマートフォン、タブレット端末等の端末装置１０を用いて行うものである。なお、画像形成装置２０は、印刷（プリント）機能、スキャン機能、複写（コピー）機能、ファクシミリ機能等の複数の機能を有するいわゆる複合機と呼ばれる装置である。
また、以下の説明では、端末装置１０がスマートフォンの場合を用いて説明する。そして、この端末装置１０に、操作説明を行うためのアプリケーションソフト（以下、アプリと略す。）がダウンロードされることにより、画像形成装置２０の操作説明を行う機能が実現される。
本発明の一実施形態の操作説明表示システムは、図１に示されるように、操作説明を行う対象物である画像形成装置２０と、無線ＬＡＮターミナル３０と、画像形成装置２０の操作説明を行うためのコンテンツを端末装置１０に配信するための配信サーバ４０とがネットワーク５０により接続されている。
端末装置１０は、無線ＬＡＮターミナル３０との間で無線回線により接続されることにより、配信サーバ４０と接続される。そして、配信サーバ４０は、画像形成装置２０の新たな操作説明等が追加された場合、端末装置１０に対して追加された操作説明を配信することが可能な構成となっている。
本実施形態の操作説明表示システムでは、端末装置１０のカメラにより画像形成装置２０における説明対象の特定部位を撮像することで、その特定部位が含まれる画像に操作を指示するための各種画像を、ＡＲ（Augmented Reality：拡張現実感）技術により付加して操作説明画像として表示する処理が実行される。なお、具体的な操作説明画像の内容の詳細については後述する。
次に、本実施形態の操作説明表示システムにおける端末装置１０のハードウェア構成を図２に示す。
端末装置１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、フラッシュメモリ等の記憶装置１３、無線ＬＡＮターミナル３０との間で無線回線を介してデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル等のユーザインタフェース（ＵＩ）装置１５、カメラ１６、液晶ディスプレイ等の表示装置１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、端末装置１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＳＤカード等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。
図３は、上記の制御プログラムが実行されることにより実現される端末装置１０の機能構成を示すブロック図である。
本実施形態の端末装置１０は、図３に示されるように、データ送受信部３１と、制御部３２と、表示部３３と、データ格納部３４と、操作受付部３５と、撮像部３６とを備えている。
データ送受信部３１は、制御部３２による制御に基づいて配信サーバ４０との間でデータの送受信を行う。
表示部３３は、制御部３２による制御に基づいて、各種画像を表示する表示手段として機能する。
データ格納部３４は、操作説明を行う画像形成装置２０における、手差しトレイ、操作パネル、自動原稿紙送り装置、用紙トレイ等の操作説明の際に必要となる各種特定部位の画像の特徴情報、制御部３４により生成された操作説明画像等の各種データを格納する。
操作受付部３５は、ユーザ（使用者）による指示や各種入力操作を受付ける。
撮像部３６は、実空間の画像を撮像する撮像手段として機能する。
制御部３２は、撮像部３６により撮像された画像に、操作説明を行う画像形成装置２０の特定部位の画像が含まれる場合、その画像に操作を指示するための画像を付加することにより操作説明画像を生成し、生成した操作説明画像を順次表示するよう表示部３３を制御する。
ここで、撮像された画像に付加される操作を指示するための画像としては、操作場所や操作方向を示す矢印画像、操作内容を説明するテキスト画像、セット場所を説明するための用紙画像、封筒画像等の各種画像が含まれる。
そして、制御部３２は、操作説明画像を生成した際に、生成した操作説明画像の一部をデータ格納部３４に保存しておき、特定部位に対する操作説明が完了する前に、撮像手段３６により撮像された画像から、特定部位を検出することができなくなった場合、保存しておいた操作説明画像を静止画像として表示部３３に表示する。
その際に、制御部３３は、生成した操作説明画像により既に保存されていた操作説明画像を更新することにより、最新の操作説明画像をデータ格納部３４に保存する。
例えば、制御部３２は、ある特定部位についての操作説明画像を順次生成して表示部３３に表示する際に、最後に生成した１フレーム分の画像を静止画像として保存しておき、撮像された画像中に特定部位を検出することができなくなった場合、保存しておいた静止画像を表示部３３に表示する。
なお、制御部３２は、生成した複数の操作説明画像を保存しておき、過去に表示した操作説明画像の表示が指示された場合、保存していた複数の操作説明画像のうち、表示が指示された操作説明画像を表示部３３に表示するようにしても良い。
さらに、制御部３２は、生成した操作説明画像をデータ格納部３４に格納するのではなく、その操作説明画像を生成する際に用いた画像を格納するようにしておき、撮像された画像中に特定部位を検出することができなくなった場合、保存しておいた画像に再度操作を説明するための画像を付加して操作説明画像を生成して表示部３３に表示するようにしても良い。
また、撮像部３６により撮像された画像に特定部位の画像が含まれているか否かを判定する際には、制御部３２は、撮像部３６により撮像された画像における特徴情報が、データ格納部３４に格納されたいずれかの特徴情報と一致した場合、その画像中に、説明を行おうとする特定部位が含まれると判定する。
そして、制御部３２は、特定部位についての操作説明が継続している場合には、操作説明を行う際に最初に特定部位を検出する際に使用した特徴情報と、撮像部３６により撮像された画像における特徴情報とが一致しなくなった場合、撮像部３６により撮像された画像から特定部位を検出することができなくなったものと判定する。
例えば、操作説明を行おうとする特定部位が手差しトレイの場合に、撮像された画像から手差しトレイの画像を抽出する具体例について図４を参照して説明する。
ここで、データ格納部３４には、図４(Ａ)に示すような、手差しトレイ画像の複数の特徴情報からなる特徴情報群が格納されているものとして説明する。
具体的には、撮影方向、明るさ、照明色等の条件が異なる様々な手差しトレイの画像から画像特徴を抽出することにより生成された複数の特徴情報Ａ、Ｂ、Ｃ、Ｄ、Ｅ・・・がデータ格納部３４に格納されている。
そして、操作説明の最初に、撮像された画像から操作トレイの画像を検出する際には、図４(Ａ)に示すように、制御部３２は、撮像部３６により撮像された画像から抽出された特徴情報を、特徴情報Ａ、Ｂ、Ｃ、・・・の順番で順次比較していく。ここでは、例えば、撮像部３６により撮像された画像から抽出された特徴情報が、特徴情報Ｃと一致したものとして説明する。この場合、制御部３２は、操作トレイに対する説明を継続している間は、特徴情報Ｃを用いて、撮像部３６により撮像された画像から手差しトレイの検出の行い、手差しトレイの画像の有無および向きや位置等を検出する。
また、制御部３２は、保存しておいた操作説明画像を表示部３３に表示している最中であっても、撮像部３６により撮像された画像に、操作トレイの画像が含まれるか否かの判定を行い、当該画像中に、操作トレイの画像が含まれる場合、表示部３３に表示する画像を、保存しておいた操作説明画像から、撮像部３６により撮像された画像に操作を指示するための画像を付加した操作説明画像に切り替える。
なお、制御部３２は、特定部位に対して必要な操作が行われたことが検出された場合に、その特定部位に対する操作説明が完了したと判定する。具体的には、制御部３２は、ユーザにより操作が完了した旨の入力がされた場合に、特定部位に対して必要な操作が行われたと判定する。また、制御部３２は、撮像部３６により撮像された画像に含まれる特定部位の画像から、特定部位に対して必要な操作が行われたことを検出するようにしても良い。
さらに、本実施形態の操作説明表示システムでは、操作説明を行った際にユーザが行った操作が操作説明通りに正しく行われたか否かを判定する機能を有する。
具体的には、制御部３２は、撮像部３６により撮像された画像に含まれる特定部位の画像から、その特定部位に対して正しい操作が行われたか否かを判定する。そして、制御部３２は、特定部位に対して正しい操作が行われたと判定した場合、表示部３３に正しい操作が行われた旨を表示する。逆に、制御部３２は、特定部位に対して正しい操作が行われなかったと判定した場合、表示部３３に誤った操作が行われた旨を表示して、正しい操作に修正するための修正指示画像を付加して表示する。
次に、本実施形態の操作説明表示システムの動作を図面を参照して詳細に説明する。
先ず、図５のフローチャートを参照して、本実施形態における端末装置１０において操作説明画像を表示して操作説明を行う際の動作を説明する。この図５のフローチャートでは、特定部位が手差しトレイであり、この手差しトレイに対する操作説明を行う場合を用いて説明する。
先ず、制御部３２は、操作説明が開始された撮像部３６を起動すると、撮像部３６により撮像された画像中から手差しトレイを検出する。その際に、制御部３２は、先ずデータ格納部３４に格納された複数の手差しトレイ画像の特徴情報の中から１つの特徴情報を選択する（ステップＳ１０１）。例えば、制御部３２は、図４（Ａ）に示したような複数の特徴情報の中から、特徴情報Ａを選択する。
そして、制御部３２は、撮像部３６により撮像された画像から特徴情報を抽出し、抽出された特徴情報と、選択した特徴情報Ａとを比較する（ステップＳ１０２）。
ステップＳ１０３の比較処理において、比較した２つの特徴情報が一致しなかった場合（ステップＳ１０３においてｎｏ）、制御部３２は、データ格納部３４に格納された複数の手差しトレイ画像の特徴情報の中から、比較順が次の特徴情報を選択する（ステップＳ１０４）。例えば、制御部３２は、最初に特徴情報Ａを選択して比較処理を行った場合、比較順が次の特徴情報Ｂを選択する。
そして、撮像された画像の特徴情報と、選択した特徴情報との比較処理が繰り返される（ステップＳ１０２、Ｓ１０３）。
そして、ステップＳ１０３の比較処理において、比較した２つの特徴情報が一致した場合（ステップＳ１０３においてｙｅｓ）、制御部３２は、ＡＲ技術を用いて撮像された画像中に操作を指示するための画像を付加して操作説明画像を生成して表示部３３に表示する。
その際に、制御部３２は、生成した操作説明画像の１フレーム分の静止画像をデータ格納部３４に保存する（ステップＳ１０６）。
そして、手差しトレイに対して必要な操作が完了していなければ（ステップＳ１０７においてｎｏ）、制御部３２は、最初に（ステップＳ１０１～Ｓ１０４の処理において）手差しトレイを検出した際の特徴情報を用いて、撮像された画像から手差しトレイの検出を行う（ステップＳ１０８）。そして、手差しトレイの画像が検出できた場合（ステップＳ１０９においてｙｅｓ）、制御部３２は、ＡＲ技術を用いて撮像された画像中に操作を指示するための画像を付加して操作説明画像を生成して表示部３３に表示する処理を繰り返す（ステップＳ１０５）。
なお、制御部３２は、手差しトレイに対する操作説明が継続している場合には、ステップＳ１０５～Ｓ１０９の処理を繰り返すことにより、例えば、３０フレーム／秒の間隔で操作説明画像を順次表示部３３に表示する。
そのため、撮像部３６により手差しトレイが撮像されている間は、端末装置１０の向きや位置が動くことにより、撮像された画像の向きや大きさ等が変化した場合でも、操作説明を行うための画像も変化して表示されることになる。
そして、撮像された画像から手差しトレイが検出されなくなった場合、制御部３２は、データ格納部３４に保存していた静止画像を表示部３３に表示する（ステップＳ１１０）。
例えば、端末装置１０を片手で保持したユーザが、撮像部３６を手差しトレイに向けて操作説明画像を表示させて、表示された操作説明画像を見ながら実際に操作トレイに対する操作を行おうとした場合、撮像部３６の画角から手差しトレイがはずれてしまう場合がある。しかし、本実施形態の画像形成装置１０では、上記で説明したように保存されていた静止画像が表示部３３に表示されることにより、ユーザは手差しトレイに対する操作説明画像を見続けて操作を行うことができる。
なお、保存していた静止画像を表示した場合でも、撮像された画像から手差しトレイを検出する処理は継続され（ステップＳ１０８）、手差しトレイが検出された場合には（ステップＳ１０９においてｙｅｓ）、撮像された画像に操作を指示するための画像が付加された操作説明画像が表示部３３に表示されることになる（ステップＳ１０５）。
そして、制御部３２は、手差しトレイに対して必要な操作が行われたと判定した場合（ステップＳ１０７においてｙｅｓ）、次の手順の操作説明に移行する。
次に、本実施形態の端末装置１０により行われる具体的な操作説明の一例を図６～図２２を参照して説明する。
先ず、端末装置１０にインストールされた、操作説明を行うためのアプリが起動された場合のメイン画面の一例を図６（Ａ）に示す。図６（Ａ）に示したメイン画面では、画像形成装置２０に対する説明を行うための様々な説明コンテンツが表示されている。そして、ユーザはこれらの説明コンテンツの中から、操作説明を希望する説明コンテンツを選択する。例えば、ここでは封筒に対する宛名印刷を行いたいために、「封筒に印刷してみよう。」という名称の説明コンテンツを選択した場合について説明する。
ユーザはこの説明コンテンツを選択すると、図６（Ｂ）に示されるようなコンテンツ画面が表示される。この図６（Ｂ）に示されたコンテンツ画面では、上半分に表示された画像をタッチすることにより、操作説明のダイジェスト動画を視聴することができるようになっている。また、コンテンツ画面の下側には、「みんなの「やってみた」」というボタンが表示されており、このボタンをタッチすることにより他の利用者のコメント等を見ることができるようになっている。また、同様に「説明を見る」というボタンが表示されており、このボタンをタッチすることにより電子マニュアルのＵＲＬ(Uniform Resource Locator)にアクセスしてＷｅｂページが表示されるようになっている。また、同様に「私たちがお手伝いします」というボタンが表示されており、このボタンをタッチすることによりカスタマーセンターに電話をするダイアログ表示が行われるようになっている。
そして、「さあ、やってみよう」というボタンをタッチすることにより、ユーザは、ＡＲ表示を利用した操作説明を受けることができるようになっている。以下の説明では、このようなＡＲ表示を利用した操作説明を受ける場合の表示の一例について説明する。
図６（Ｂ）において、ユーザが「さあ、やってみよう」というボタンをタッチすることにより図７（Ａ）、図７（Ｂ）に示すような表示が行われる。
この図７（Ａ）、図７（Ｂ）では、ユーザがどのような操作説明を希望しているかを対話形式により設定するような画面となっている。対話形式とは、ユーザ同士、又は、装置とユーザが向かい合って話しているように表示される形式のことである。なお、向かい合うとは、完全に向かい合う必要はなく、向かい合っているように表示されていれば良い。例えば、装置側からのコメントや説明内容は画面の右側からの吹き出しで表示され、ユーザ側のコメントや指示内容は画面の左側からの吹き出しで表示され、両者が向かい合って話しているように表示されれば良い。また、三者間の場合は、少なくとも二者が向かい合って話しているように表示されれば良い。さらに、誰が発したのかコメントなのか、いつ、どのような順番で発したコメントなのかがわかるように表示されても良い。例えば、図７（Ｂ）のように、装置が発したコメントは、装置の画像から吹き出しで表示される。また、ユーザのコメントや指示した設定内容が装置の画像とは異なるところから吹き出しで表示される。さらには、コメントした順番に上から下に向かって順に並べられる。なお、吹き出しごとにその周辺にコメントした時刻が表示されるようにしても良い。
具体的には、図７（Ａ）では、「使う封筒は和封筒ですか？洋封筒ですか？」という問いに対して、ユーザが「和封筒」というボタンをタッチすることにより、図７（Ｂ）に示すように、「和封筒です。」という回答となって表示されるとともに「何をプリントしますか？」という次の問いが表示されている。
そして、ユーザが「宛名」というボタンをタッチすることにより、図８（Ａ）に示すように、「宛名です。」という回答となって表示されるとともに「封筒に糊はついていますか？」という次の問いが表示されている。
そして、ユーザが「糊あり」というボタンをタッチすることにより、図８（Ｂ）に示すように、「糊ありです。」という回答となって表示されるとともに「封筒を持って、お使いの複合機Ａ１２３４のところまで行きましょう。」という指示が表示されている。
このように、端末装置１０は、対話形式の画面の中で、画像形成装置２０に対する操作の候補を提示し、ユーザからの選択を受け付ける。そして、その選択された内容に対応する操作説明を同じ対話形式の画面の中に表示する。これによりユーザは対話形式の画面の中で表示させたい操作説明の選択を行い、かつ、操作説明の内容を確認することができる。
そして、この指示に従って複合機が設置してある場所まで移動したユーザがＯＫボタンをタッチすることにより、図９に示すような画面が表示される。
この図９に示した表示画面例では、「封筒は手差しトレイにセットします。手差しトレイを開いてください。セット方法を説明します。」という表示とともに「手差しトレイにスマートフォンをかざしてください。」という指示が表示されている。また、図９では、端末装置１０の上半分に画像形成装置２０の外観画像ととともに、手差しトレイの場所および手差しトレイを開く指示が表示されている。
そして、ユーザが画像形成装置２０の手差しトレイを開いて、スマートフォンである端末装置１０を開いた手差しトレイに向けた場合の様子を図１０に示す。
図１０を参照すると、端末装置１０を手差しトレイに向けたことにより撮像部３６により手差しトレイが撮像され、撮像された画像が表示される様子が示されている。そして、図１０では、撮像された画像から手差しトレイの検出処理が行われていることを示すための処理進行中表示が表示されている。
そして、撮像された画像から手差しトレイの画像が検出されて、検出された手差しトレイの画像に、操作を指示するための矢印画像が付加された操作説明画像が表示される様子を図１１に示す。
図１１では、撮像された画像中の手差しトレイのガイドが封筒の宛名印刷を行うためには狭すぎるため、制御部３２が、撮像されて手差しトレイの画像に、手差しトレイのガイドを外側に広げるよう指示するための矢印画像を付加した場合の表示例が示されている。また、図１１の表示画面例では、「２つある封筒をおさえるガイドを外側に広げてください。」という文言が表示されてユーザにＡＲ画像を用いた操作指示の具体的な内容が示されているのが分かる。
このような表示が行わる際の具体的な様子を図１２、図１３を参照して説明する。
ユーザは、端末装置１０を画像形成装置２０の手差しトレイに向けた場合、最初は図１２に示すように手差しトレイの画像のみが表示されているが、手差しトレイが検出されてＡＲ表示が行われることにより、図１３に示すように手差しトレイの画像に、ユーザが行うべき操作を指示した矢印画像が付加された画像が表示される。
なお、図１１に示した表示画面例では、画像形成装置２０の操作トレイにおけるガイド幅が封筒に対する印刷を行うためには狭すぎた場合であったが、封筒に対する印刷を行うためには広すぎる場合には、図１４に示したような内容が表示される。
図１４では、撮像された画像中の手差しトレイのガイドが封筒の宛名印刷を行うためには広すぎるため、制御部３２が、撮像されて手差しトレイの画像に、手差しトレイのガイドを内側に狭めるよう指示するための矢印画像を付加した場合の表示例が示されている。また、図１４の表示画面例では、「２つある封筒をおさえるガイドを内側に狭めてください。」という文言が表示されてユーザにＡＲ画像を用いた操作指示の具体的な内容が示されているのが分かる。
次に、このようなＡＲ画像が表示された端末装置１０を保持したユーザが、手差しトレイに対する操作を行おうとした場合の動作を説明する。
このようなＡＲ表示を継続するためには、端末装置１０の撮像部３６により手差しトレイを撮像し続ける必要がある。しかし、操作対象の部位である手差しトレイを撮像したまま操作を行うのが難しい場合もある。特に、両手を使うような操作を行う場合には、端末装置１０を操作対象の特定部位に向けた場合にすることはほとんど不可能である。
そのため、ユーザが実施の操作を行うとした場合、操作対象の特定部位が撮像部３６の画角からはずれてしまう場合がある。具体的には、図１５に示すように、撮像された画像から手差しトレイがはずれてしまい、制御部３２は、撮像された画像中に手差しトレイを検出することができなくなってしまう。
しかし、本実施形態の端末装置１０では、操作説明画像を順次表示する際に、最新の操作説明画像を静止画像としてデータ格納部３４に保存するような処理が行われ、特定部位である手差しトレイを検出することができなくなると、保存しておいた静止画像が表示される。
そのため、図１６に示すように、手差しトレイを検出することができなくなると、保存してあったＡＲ画像が再表示されて、ユーザは静止画像である操作説明画像を見続けることが可能となる。
そのため、本実施形態の操作説明システムでは、図１７に示すように、手差しトレイの横に端末装置１０を置いた場合でも、操作説明画像の表示が継続され、ユーザは、この表示を見ながら両手による手差しトレイの操作を行うことが可能となる。
なお、撮像された画像から説明対象の手差しトレイが検出されなくなると保存してあった静止画像を自動的に表示するのではなく、図１８に示すように再表示ボタン７０を表示するようにしても良い。そして、ユーザがこの再表示ボタン７０を操作して、保存されていたＡＲ画像の表示を指示した場合に、保存されていたＡＲ画像を表示するようにしても良い。
次に、このようなＡＲ画像に従ってユーザがガイドの操作を行った後にＯＫボタンをタッチした場合に表示される、次の手順の操作説明画面例を図１９に示す。
図１９では、ガイド幅が調整された後の手差しトレイに対して封筒をセットする操作を指示するためのＡＲ画像が表示された場合の一例が示されている。
図１９のＡＲ画像では、撮像された手差しトレイ画像に対して、封筒画像が付加された様子が示されている。
そして、ユーザが図１９に示されたＡＲ画像を参考にして実際に封筒を手差しトレイにセットして、ＯＫボタンをタッチした場合に表示される画面例を図２０および図２１に示す。
図２０では、手差しトレイにセットされた封筒の向きが正しい場合の表示例が示されている。制御部３２は、撮像部３６により撮像された画像から、封筒が正しく手差しトレイにセットされたことを検出して、ユーザに封筒が正しい向きでセットされたことを示す大きな丸印を画像中に表示するとともに、「正しくセットできました！」という文言を表示している。
また、図２１では、手差しトレイにセットされた封筒の向きが正しくない場合の表示例が示されている。制御部３２は、撮像部３６により撮像された画像から、封筒が正しく手差しトレイにセットされていないことを検出して、ユーザに封筒が正しい向きにセットされていないことを示す大きなバツ印を画像中に表示するとともに、「正しくセットできていません！画像を見て封筒を正しくセットし直してください。」という文言を表示している。
また、図２１では、画像中に封筒を正しくセットし直すための修正指示として、封筒の向きを回転するための矢印画像が付加されて表示されている。
なお、図２０に示したように封筒が正しくセットされたと判定された場合、画面中にはＯＫボタンが表示されて、ユーザがこのＯＫボタンをタッチすると、図２２に示すように、「複合機での操作はこれで終わりです。お使いのＰＣでプリンタドライバを設定し、プリントを実行してください。」という表示が行われる。ユーザは、この表示を見ることにより、後はパソコンでの操作を行えばよいことを知って、自分のパソコンの場所まで行ってプリンタドライバの設定を行う。
[変形例]
上記実施形態では、説明対象の特定部位が手差しトレイである場合を用いて説明したが、本発明はこれに限定されるものではなく、操作パネル、用紙トレイ、排紙トレイ、両面自動原稿送り装置等の手差しトレイ以外の他の特定部位について操作説明を行う場合でも同様に本発明を適用することができるものである。
上記実施形態では、操作説明を行う対象物が画像形成装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、操作説明を行う対象物が、スキャナ等の画像読取装置、パーソナルコンピュータ等の各種情報処理装置、洗濯機や冷蔵庫等の家電機器のような各種装置や、組み立て家具、収納容器等の各種機器の場合でも同様に本発明を適用することができるものである。例えば、対象物が組み立て家具の場合には、本発明により、組み立て方法の説明を行うことができ、対象物が収納容器の場合には開け方や閉め方等の取扱い方法の説明を行うことができる。
上記実施形態では、図６（Ｂ）において「私たちがお手伝いします」というボタンが表示されており、このボタンをタッチすることによりカスタマーセンターに電話をするダイアログ表示が行われるようになっている例を用いて説明したが、本発明はこれに限定されるものではなく、「私たちがお手伝いします」のボタンが押された場合に、ユーザとカスタマーセンターにいるオペレーターとで対話形式でやりとりができるようにしても良い。この場合、装置側の操作説明の吹き出しの代わりに、オペレーターからの説明が吹き出しとして端末装置１０の画面に表示される。また、「私たちがお手伝いします」のボタンが押された場合に、それまでの対話内容がカスタマーセンターのオペレーターの端末装置に送信されるようにしても良い。これにより、オペレーターはボタンが押される前までのユーザの設定内容を知ることができるため、より的確な操作説明を端末装置１０に送ることができる。この場合、端末装置１０の画面に表示されている内容がオペレーター側の端末装置にも表示され、オペレーターは当該端末装置に対してコメントを入力するとそのコメントが端末装置１０に送信される。
［オペレーターとの間の対話形式のやり取り］
次に、上記で説明したような、ユーザがオペレーターとの間で対話形式のやり取りを行う場合について、図面を参照して下記に詳細に説明する。
このような場合の操作説明表示システムのシステム構成を図２３に示す。図２３は、図１に示した本実施形態の操作説明表示システムに対して、オペレーターにより操作される複数の端末装置６０がネットワーク５０に接続されている点のみが異なっている。
そして、このような複数の端末装置６０や配信サーバ４０は、例えば、ユーザからの質問を受け付けるため設けられているコンタクトセンター（カスタマーセンター）内に設置されており、ユーザからの操作説明に関する質問等の各種問い合わせへの対応を行っている。
なお、以下の説明においても、端末装置１０、画像形成装置２０、配信サーバ４０等の構成は、上記で説明した実施形態と同様な構成であるため、以下においても上記で用いた符号を参照して説明を行う。
本実施形態では、配信サーバ４０は、上記でも説明したように画像形成装置２０の操作説明を行うためのコンテンツを端末装置１０に配信するとともに、端末装置１０からコンタクトセンターへの接続依頼を受け付けると、受付けた接続依頼をオペレーターが操作している端末装置６０に送信する。そして、配信サーバ４０は、複数の端末装置６０のうちのユーザからの接続依頼を受け付けた端末装置６０と、利用者の端末装置１０との間の操作内容に関する対話形式のやり取り内容を仲介する機能を行っている。
次に、本実施形態の操作説明表示システムにおける配信サーバ４０のハードウェア構成を図２４に示す。
配信サーバ４０は、図２４に示されるように、ＣＰＵ２１、メモリ２２、ハードディスクドライブ等の記憶装置２３、ネットワーク５０を介して端末装置１０、６０等の外部装置との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）２４、タッチパネル等のユーザインタフェース（ＵＩ）装置２５を有する。これらの構成要素は、制御バス２６を介して互いに接続されている。
ＣＰＵ２１は、メモリ２２または記憶装置２３に格納された制御プログラムに基づいて所定の処理を実行して、配信サーバ４０の動作を制御する。なお、本実施形態では、ＣＰＵ２１は、メモリ２２または記憶装置２３内に格納された制御プログラムを読み出して実行するものとして説明したが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ２１に提供することも可能である。
図２５は、上記の制御プログラムが実行されることにより実現される配信サーバ４０の機能構成を示すブロック図である。
本実施形態の配信サーバ４０は、図２５に示されるように、データ送受信部４１と、表示制御部４２と、権限移動部４３を備えている。
データ送受信部４１は、表示制御部４２による制御に基づいて端末装置１０、６０等との間でデータの送受信を行い、端末装置１０、６０のディスプレイ（表示手段）に表示させるための表示データの送受信を行っている。
表示制御部４２は、ユーザとオペレーターという複数の者の間でやり取りした情報をその複数の者のそれぞれの端末装置のディスプレイ（表示手段）において時系列で表示するように制御する。
なお、以下の説明では、画像形成装置２０のユーザと１人のオペレーターとの間で操作説明に関する質問等の情報をやり取りする場合について説明するが、ユーザ、オペレーターに加えて画像形成装置２０の技術内容に詳しいＣＥ（Customer Engineer）を含めた３人以上の複数の者の間で対話形式により操作説明に関する情報をやり取りする場合でも本発明は同様に適用可能である。
なお、配信サーバ４０が端末装置１０に配信する操作説明を行うためのコンテンツを用いることにより、端末装置１０において、上記で説明したように、ユーザが画像形成装置との間でチャットでもするかのように対話形式で操作説明を受けることができるようになっている。そして、ユーザがこのようなコンテンツを用いて操作説明を受けている場合には、コンタクトセンター内のオペレーターは関与しない。
しかし、このようなコンテンツを用いた操作説明だけでは、ユーザが操作内容を理解できなかったり、操作内容に疑問点が発生したりする場合がある。
本実施形態のシステムでは、このような場合には、ユーザがコンタクトセンターのオペレーターへの接続を要求して直接説明を受けたり、質問したりすることが可能なようになっている。
このような場合には、データ送受信部４１は、少なくともユーザ及び画像形成装置を含む複数の者の間で対話形式により情報をやり取りしている場合に、対話中の相手である画像形成装置を実際の人であるオペレーターに入れ替える指示をユーザから受け付ける。
すると、権限移動部４３は、データ送受信部４１がこのような入れ替え指示を受け付けた場合、ユーザを含む複数の者との間で情報をやり取りする権限を、画像形成装置からオペレーターに移動する。
その結果、表示制御部４２は、オペレーターに対して情報を表示する端末装置６０のディスプレイ上において、ユーザと画像形成装置との間で行われた過去のやり取り情報に続いて、ユーザとオペレーターとを含む複数の者の間でやり取りする情報を表示するように制御する。
つまり、表示制御部４２は、ユーザが、配信サーバ４０から配信された操作説明を行うためのコンテンツを用いて画像形成装置との間でやり取りした過去の履歴情報を、ユーザとのやり取りを引き継いだオペレーターが把握できるように、そのオペレーターの端末装置６０のディスプレイ上に表示されるような制御を行う。
ここで、表示制御部４２は、ユーザを含む複数の者との間で情報をやり取りする権限が付与されていない者に対して情報を表示するディスプレイ上においては、やり取りされた過去の履歴情報が閲覧できないように制御する。そして、表示制御部４２は、ユーザを含む複数の者との間で情報をやり取りする権限が付与された者に対して情報を表示するディスプレイ上においては、権限を付与する以前においてやり取りされた情報を含む過去の履歴情報を閲覧できるように制御する。
その際に、データ送受信部４１は、ユーザと画像形成装置との間でやり取りした過去の履歴情報の中から、オペレーターとの間でやり取りを開始したい箇所の指定をユーザから受け付ける開始箇所受付手段として機能する。
この場合、表示制御部４２は、データ送受信部４１により受付けた箇所以降又は箇所より後の履歴情報が、ユーザ及びオペレーターに対して情報を表示する端末装置１０、６０のディスプレイ上において表示されないように制御する。例えば、受付けた箇所の指定が、残したい履歴情報の最後尾の指定である場合、表示されないように消去するのは指定された箇所よりも後の履歴情報となる。また、受付けた箇所の指定が、残したくない履歴情報の先頭の指定である場合、表示されないように消去するのは指定された箇所以降の履歴情報となる。
なお、画像形成装置からオペレーターへの具体的な権限移動の際には、データ送受信部４１は、ユーザからの入れ替え指示を受け付けた場合、ユーザとの間で情報のやり取りを開始する要求をオペレーターの端末装置６０に対して通知する。
そして、権限移動部４３は、データ送受信部４１により通知した要求をオペレーターが承認した場合、ユーザを含む複数の者と間で情報をやり取りする権限を、画像形成装置からオペレーターに移動する。
なお、表示制御部４２は、オペレーターがデータ送受信部４１により通知された要求を承認するまでの間、ユーザに対して情報を表示する端末装置１０のディスプレイ（表示画面）上において、画像形成装置からオペレーターに入れ替えが行われていることが分かる内容の情報を表示するよう制御する。例えば、表示制御部４２は、ユーザの端末装置１０上において「少々お待ちください。ただいまオペレーターを呼び出しています。」というような表示を行うことにより、対話相手を画像形成装置からオペレーターに入れ替えていることが分かるような表示を行う。
その際に、データ送受信部４１は、ユーザの端末装置１０から画像形成装置と入れ替える対話相手の属性の条件、例えば「人」であるというような条件を指定する条件指定手段として機能するようにしても良い。つまり、ユーザが入れ替えを行う対話相手の属性を指定できるようにして、権限移動部４３は、指定された属性の対話相手に対してユーザとの間でやり取りする権限を移動する。
なお、権限移動部４３は、画像形成装置からオペレーターへの権限移動を行うだけでなく、あるオペレーターから他のオペレーターへの権限移動を行うようなこともできる。
例えば、前記権限移動手段は、ユーザを含む複数の者との間で情報をやり取りする権限を画像形成装置からオペレーターに移動した後に、複数の者の間における情報のやり取りが中断し、ユーザからの要求により情報のやり取りが再開し、そのオペレーターとは異なる新たなオペレーターが情報のやり取りを行うことを受け入れた場合、ユーザを含む複数の者との間で情報をやり取りする権限を中断前のオペレーターから新たなオペレーターに移動する。
そして、このような場合でも、表示制御部４２は、新たなオペレーターに対して情報を表示する端末装置６０のディスプレイ上において、ユーザと中断前のオペレーターとの間で行われた過去のやり取り情報に続いて、ユーザと新たなオペレーターとを含む複数の者の間でやり取りする情報を表示するように制御する。
つまり、表示制御部４２は、対話形式のやり取りが一旦中断された後に再開されて、そのユーザに対する操作説明を中断前のオペレーターとは異なる別のオペレーターが引き継いだような場合、その別のオペレーターの端末装置６０上において、中断前のオペレーターとユーザとの間で行われたやり取り内容を表示するように制御する。
次に、本実施形態の操作説明表示システムにおいて、端末装置１０と端末装置６０において表示される具体的な表示内容の一例を図２６～図３９を参照して説明する。
先ず、ユーザが「封筒に印刷してみよう。」という名称の説明コンテンツを選択して、操作説明を受けているユーザが、図８(Ａ)に示したような表示内容において次に行うべき操作が分からなくなり、コンタクトセンターへの接続を希望した場合について図２６～図３０を参照して説明する。
なお、図２６(Ａ)では、対話形式の表示内容の下部にコンタクトセンターへの接続ボタン等が表示されており、図８(Ａ)に示した表示内容と異なっている。これは、図８(Ａ)等の表示画面ではコンタクトセンターへの接続ボタン等を省略して説明していただけである。
そして、図２６(Ａ)に示した「封筒に糊はついていますか？」という質問を受けたユーザが、宛名を印刷しようとする封筒の糊の有無が分からず「糊なし」、「糊あり」のいずれのボタンも選択できなかったものとして説明する。
このような場合、ユーザは、図２６(Ｂ)に示すように、コンタクトセンターへの接続ボタンをタッチする。すると、端末装置１０では、図２７(Ａ)に示すような画面が表示されて、ユーザにコンタクトセンターへの接続確認が行われる。
そして、図２７(Ａ)に示すような画面においてユーザがＯＫボタンをタッチしてコンタクトセンターへの接続を許可すると、次に図２７(Ｂ)に示すような画面表示が行われて、オペレーターとの間でやり取りを開始したい箇所を指定するような要求がユーザに対して行われる。なお、図２７(Ｂ)では、ユーザと画像形成装置との間でやり取りされた過去の履歴情報の中から、ユーザが、「封筒に糊はついていますか？」という質問の箇所を指定した場合が示されている。
そして、この開始箇所の指定がユーザにより行われると、端末装置１０から配信サーバ４０に対して、対話相手を画像形成装置から人であるオペレーターに入れ替えるような指示が送信される。
すると、配信サーバ４０は、コンタクトセンター内のオペレーターにより操作される複数の端末装置６０に画面に、図２８に示すような表示内容を表示させて、ユーザからの操作説明の要求がきている旨を表示する。なお、図２８では、この端末装置６０のオペレーターがユーザからの操作説明の要求の受け入れを承認していないため、ユーザと画像形成装置との間の過去の対話履歴の情報には網掛けが行われている。
そして、あるオペレーターが自分の端末装置６０の「引継ぐ」ボタンを操作して、このユーザからの操作説明の要求の受け入れを承認すると、図２９に示すように、端末装置６０の過去の対話履歴の情報から網掛け表示が削除される。そして、この過去の対話履歴の後ろに続いて連続するような形で、オペレーターとユーザとの間でチャット形式の対話が行われる。
図２９に示した表示例では、オペレーターが過去の対話履歴を見ることにより、このユーザが「封筒に糊はついていますか？」という質問に対する回答の場面でコンタクトセンターへの接続を行ったことを把握することができる。そのため、オペレーターは、ユーザが質問したい内容を予測して、「封筒の糊の有無のことでしょうか？」というように過去の対話と連続した内容の対話を続けることができている。
そして、このようなオペレーターの対応により、ユーザの端末装置１０では、図３０(Ａ)、図３０(Ｂ)に示すように、過去の対話内容と連続した対話が継続される。そのため、ユーザにとっては、過去においてどのような対話が行われて、現在どのような内容が知りたいかという情報を最初からオペレーターに対して説明する手間が省かれることになる。なお、図３０(Ａ)、図３０(Ｂ)では、オペレーターからの操作説明の場合には、表示アイコンが、対話相手がオペレーターであることを示すものとなっている。そのため、ユーザは、対話相手が画像形成装置から人であるオペレーターに切り替わったことを把握することができる。
なお、本実施形態の操作説明表示システムでは、オペレーターとユーザとの間で文字情報によるチャット形式の対話だけでなく、画像情報を共用して、オペレーターからの操作指示を受けることができる。
例えば、図３１(Ａ)に示すようにユーザとオペレーターとの間で、「スキャンしてパソコンに保存しよう」という内容の操作説明が行われている場合、オペレーターからユーザに対してメニュー画面を撮影するよう指示をしたものとして説明する。
すると、図３１(Ｂ)に示すように、ユーザがオペレーターからの指示に従ってメニュー画面を端末装置１０のカメラにより撮像すると、撮像された画像情報は配信サーバ４０から端末装置６０に送信される。
すると、図３２に示すように、オペレーターの端末装置６０上においても、ユーザにより撮影されたメニュー画面の画像情報が表示される。
その結果、図３３(Ａ)、図３３(Ｂ)に示すように、ユーザの端末装置１０上においても撮影されたメニュー画面の画像情報が表示された状態で、オペレーターからの操作指示が行われる。
次に、オペレーターとユーザとの間でチャット形式の操作説明が行われている最中に、操作説明を途中で一旦中断して、中断した操作説明を後から再開する場合の動作について図３４～図３９を参照して説明する。
なお、以下の説明では、節電に入るまでの時間変更を行うための操作説明をユーザが希望している場合について説明する。
先ず、図３４(Ａ)に示すような画面表示において、ユーザが「私たちがお手伝いします」ボタンをタッチして、コンタクトセンターへの接続を要求した場合、図３４(Ｂ)に示すような画面が表示される。この図３４(Ｂ)では、ユーザが「新たに開始する。」ボタンをタッチして、節電に入るまでの時間変更を行うための操作説明を最初から開始することを選択した場合が示されている。
そして、ユーザが「新たに開始する。」ボタンをタッチすることにより、配信サーバ４０は、この接続要求をオペレーターの端末装置６０に送信して、複数のオペレーターのうちの誰かがこの接続要求を承認することにより、ユーザに対する操作説明が開始される。
その結果、図３５(Ａ)に示すように、オペレーターとユーザとの間で節電に入るまでの時間を変更するための操作に関するやり取りが行われる。
そして、その操作説明が最後まで完了しない状態で、ユーザが操作説明を中断したい場合、例えば、ユーザが他の人から呼ばれて直ぐに対応する必要が発生したとする。
そのため、ユーザは、図３５(Ｂ)に示すようなやり取りをオペレーターとの間で行って、操作説明を中断するために「終了」ボタンをタッチして操作説明を終了させる。
すると、図３６(Ａ)に示すような画面がユーザの端末装置１０に表示され、コンタクトセンターとのコミュニケーションの切断確認が行われる。そして、図３６(Ａ)に示す画面上において、ユーザがＯＫボタンをタッチすると、操作説明は完了せずに中断して終了する。
なお、この後オペレーターは、操作説明のための文書情報や画像情報等を作成して、配信サーバ４０内に格納しておくことにより、ユーザがこの後に操作説明を再開した場合に、この文書情報や画像情報を確認することができるようになっている。
そして、このように文書情報や画像情報が配信サーバ４０に格納されている場合、ユーザの端末装置１０では、「私たちがお手伝いをします」ボタン内に、中断後に操作説明のための各種情報が追加されたことを示す新着アイコンが表示される。図３６(Ｂ)に示す画面例では、新着アイコンとしてＮ文字のアイコンが「私たちがお手伝いをします」ボタン内に表示されている場合が示されている。
ユーザは、このような新着アイコンが表示されていることにより、操作説明のための各種情報が中断後に追加されていることを知ることができる。
そして、図３７(Ａ)に示すように、ユーザが、急な用事等が片付いて操作説明を再開しようとして、「私たちがお手伝いをします」ボタンをタッチすると、図３７(Ｂ)に示すような画面が表示される。この図３７(Ｂ)の画面例では、「新たに開始するボタン」に加えて、「再開する」ボタンが追加されている。
ユーザは、中断した操作説明を再開したい場合、図３７(Ｂ)に示すように、この「再開する」ボタンを選択する。
すると、ユーザの端末装置１０では、中断する前の操作説明と連続するように、中断後にオペレーターにより追加された操作説明が表示される。図３８(Ａ)では、オペレーターにより生成された２つの操作画面画像が、中断前の操作説明の後に追加されて表示される様子が示されている。また、図３８(Ｂ)では、この２つの操作画面画像の後に、操作説明を追加した旨の文章情報が表示されている。
なお、図３８(Ａ)、図３８(Ｂ)では、この操作説明画像や文章情報に添付されたアイコンは、オペレーターによる操作説明のアイコンとは異なるものとなっており、現在オペレーターが対応しているのではないことをユーザが把握することができるようになっている。
そして、図３８(Ｂ)に示すように、この操作説明の最後に、「できました。」ボタンと、「できませんでした。」ボタンが表示画面内に表示される。そして、ユーザが「できました。」ボタンをタッチすると、ユーザは最後まで希望する操作を実行することができたと判定されて、操作説明は完了する。
そして、ユーザが「できませんでした。」ボタンをタッチした場合、ユーザは最後まで希望する操作を実行することができなかったと判定され、再度コンタクトセンターのオペレーターへの接続が行われる。この場合には、図３９に示すように、オペレーターの端末装置６０にユーザの端末装置１０に表示した過去の操作説明の履歴情報が表示される。
そのため、中断前に操作説明を行っていたオペレーターと再開後に操作説明を行うオペレーターとが異なる場合でも、再開後に操作説明を行うオペレーターはそのユーザに対してどのような操作説明が行われ、ユーザがどのような操作説明を希望しているのかを把握することができる。
また、中断前と再開後のオペレーターが同じ場合でも、過去の操作説明の履歴情報を見ることにより、そのユーザに対してどこまでの操作説明が行われたのかを把握して、ユーザからの問い合わせに対応することが可能となる。
１０ 端末装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ カメラ
１７ 表示装置
１８ 制御バス
２０ 画像形成装置
２１ ＣＰＵ
２２ メモリ
２３ 記憶装置
２４ 通信インタフェース（ＩＦ）
２５ ユーザインタフェース（ＵＩ）装置
２６ 制御バス
３０ 無線ＬＡＮターミナル
３１ データ送受信部
３２ 制御部
３３ 表示部
３４ データ格納部
３５ 操作受付部
３６ 撮像部
４０ 配信サーバ
４１ データ送受信部
４２ 表示制御部
４３ 権限移動部
５０ ネットワーク
６０ 端末装置
７０ 再表示ボタン

Claims (13)

  1. 実空間の画像を撮像する撮像手段と、
    画像を表示する表示手段と、
    前記撮像手段により撮像された画像に、操作説明を行う対象物の特定部位の画像が含まれる場合、当該画像に操作を指示するための画像を付加することにより操作説明画像を生成し、生成した操作説明画像を順次表示するよう前記表示手段を制御する制御手段とを備え、
    前記制御手段は、前記操作説明画像を生成した際に、生成した操作説明画像の一部を保存しておき、前記特定部位に対する操作説明が完了する前に、前記撮像手段により撮像された画像から、前記特定部位を検出することができなくなった場合、保存しておいた前記操作説明画像を前記表示手段に表示する
    情報処理装置。
  2. 前記制御手段は、生成した操作説明画像により既に保存されていた操作説明画像を更新することにより、最新の操作説明画像を保存する請求項１記載の情報処理装置。
  3. 前記制御手段は、生成した複数の操作説明画像を保存しておき、過去に表示した操作説明画像の表示が指示された場合、保存していた複数の操作説明画像のうち、表示が指示された操作説明画像を前記表示手段に表示する請求項１記載の情報処理装置。
  4. 操作説明を行う対象物における特定部位の画像の特徴情報を格納する格納手段をさらに備え、
    前記制御手段は、前記撮像手段により撮像された画像における特徴情報が、前記格納手段に格納されたいずれかの特徴情報と一致した場合、当該画像中に、説明を行おうとする特定部位が含まれると判定する請求項１記載の情報処理装置。
  5. 前記制御手段は、前記特定部位についての操作説明が継続している場合には、操作説明を行う際に最初に特定部位を検出する際に使用した特徴情報と、前記撮像手段により撮像された画像における特徴情報とが一致しなくなった場合、前記撮像手段により撮像された画像から前記特定部位を検出することができなくなったものと判定する請求項４記載の情報処理装置。
  6. 前記制御手段は、保存しておいた前記操作説明画像を前記表示手段に表示している最中であっても、前記撮像手段により撮像された画像に、操作説明を行う対象物の特定部位の画像が含まれるか否かの判定を行い、当該画像中に、説明を行おうとする特定部位の画像が含まれる場合、前記表示手段に表示する画像を、保存しておいた前記操作説明画像から、前記撮像手段により撮像された画像に操作を指示するための画像を付加した操作説明画像に切り替える請求項４記載の情報処理装置。
  7. 前記制御手段は、前記特定部位に対して必要な操作が行われたことが検出された場合に、前記特定部位に対する操作説明が完了したと判定する請求項１から６のいずれか記載の情報処理装置。
  8. 前記制御手段は、使用者により操作が完了した旨の入力がされた場合に、前記特定部位に対して必要な操作が行われたと判定する請求項７記載の情報処理装置。
  9. 前記制御手段は、前記撮像手段により撮像された画像に含まれる特定部位の画像から、前記特定部位に対して必要な操作が行われたことを検出する請求項７記載の情報処理装置。
  10. 前記制御手段は、前記撮像手段により撮像された画像に含まれる特定部位の画像から、前記特定部位に対して正しい操作が行われたか否かを判定する請求項１から９のいずれか記載の情報処理装置。
  11. 前記制御手段は、前記特定部位に対して正しい操作が行われたと判定した場合、前記表示手段に正しい操作が行われた旨を表示する請求項１０記載の情報処理装置。
  12. 前記制御手段は、前記特定部位に対して正しい操作が行われなかったと判定した場合、前記表示手段に誤った操作が行われた旨を表示して、正しい操作に修正するための修正指示画像を付加して表示する請求項１０記載の情報処理装置。
  13. 撮像された実空間の画像に、操作説明を行う対象物の特定部位の画像が含まれる場合、当該画像に操作を指示するための画像を付加することにより操作説明画像を生成するステップと、
    生成された前記操作説明画像の一部を保存するステップと、
    生成した操作説明画像を表示するステップと、
    前記特定部位に対する操作説明が完了する前に、撮像された実空間の画像から、前記特定部位を検出することができなくなった場合、保存しておいた前記操作説明画像を表示するステップとをコンピュータに実行させるためのプログラム。
JP2018075184A 2017-04-21 2018-04-10 情報処理装置およびプログラム Active JP7073868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018140957A JP6969517B2 (ja) 2017-04-21 2018-07-27 情報処理装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017084273 2017-04-21
JP2017084273 2017-04-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018140957A Division JP6969517B2 (ja) 2017-04-21 2018-07-27 情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2018185805A JP2018185805A (ja) 2018-11-22
JP7073868B2 true JP7073868B2 (ja) 2022-05-24

Family

ID=63854831

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018075184A Active JP7073868B2 (ja) 2017-04-21 2018-04-10 情報処理装置およびプログラム
JP2018140957A Active JP6969517B2 (ja) 2017-04-21 2018-07-27 情報処理装置およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018140957A Active JP6969517B2 (ja) 2017-04-21 2018-07-27 情報処理装置およびプログラム

Country Status (3)

Country Link
US (1) US10469796B2 (ja)
JP (2) JP7073868B2 (ja)
CN (1) CN108733328B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205688B2 (ja) * 2018-11-08 2023-01-17 京セラドキュメントソリューションズ株式会社 携帯機器および操作支援プログラム
JP7326755B2 (ja) * 2019-01-28 2023-08-16 株式会社リコー サーバ装置、画像形成装置、プログラム、方法、及び情報処理システム
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
WO2024166211A1 (ja) * 2023-02-07 2024-08-15 京セラ株式会社 操作支援方法、及びプログラム
JP7503697B1 (ja) 2023-10-31 2024-06-20 アルティウスリンク株式会社 情報処理方法、情報処理装置、情報処理プログラム及び記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065809A (ja) 2005-08-30 2007-03-15 Sony Corp ヘルプガイダンス表示方法、ヘルプガイダンス表示装置、情報処理装置、プリントキオスク装置及びプログラム
JP2012059292A (ja) 2011-12-09 2012-03-22 Nintendo Co Ltd 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
JP2014038523A (ja) 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP2015146113A (ja) 2014-02-03 2015-08-13 ブラザー工業株式会社 表示プログラムおよび表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001292357A (ja) * 2000-04-07 2001-10-19 Asahi Optical Co Ltd 連写画像処理装置
DE102004003881B4 (de) * 2004-01-26 2013-06-06 Siemens Aktiengesellschaft Bildaufnahmevorrichtung
JP4780422B2 (ja) * 2008-12-22 2011-09-28 ソニー株式会社 画像表示装置および方法
JP5379064B2 (ja) * 2010-04-16 2013-12-25 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、情報処理方法、プログラム及び情報記憶媒体
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP4723043B1 (ja) * 2010-09-30 2011-07-13 株式会社 伊藤園 容器詰味噌汁飲料及びその製造方法
US9558612B2 (en) * 2010-11-15 2017-01-31 Bally Gaming, Inc. System and method for augmented reality gaming
JP2012128473A (ja) * 2010-12-13 2012-07-05 Sony Corp 画像処理装置及び画像処理方法
JP5910864B2 (ja) * 2012-02-27 2016-04-27 カシオ計算機株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP6152293B2 (ja) * 2013-04-24 2017-06-21 日本エイ・ティー・エム株式会社 自動取引装置操作支援システム
CN103294918A (zh) * 2013-05-30 2013-09-11 佛山电视台南海分台 一种在现实图像中进行虚拟游戏的方法和系统
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
JP5884811B2 (ja) 2013-11-18 2016-03-15 コニカミノルタ株式会社 Ａｒ表示装置、ａｒ表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム
JP5900468B2 (ja) 2013-11-21 2016-04-06 コニカミノルタ株式会社 Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム
JP6324716B2 (ja) * 2013-12-26 2018-05-16 株式会社ソニー・インタラクティブエンタテインメント ブロック、ブロックシステム、表示方法、および情報処理方法
US9846996B1 (en) * 2014-02-03 2017-12-19 Wells Fargo Bank, N.A. Systems and methods for automated teller machine repair
JP2016091463A (ja) * 2014-11-10 2016-05-23 株式会社Ｇｕｎｏｓｙ 携帯端末、オペレータ装置および登録システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065809A (ja) 2005-08-30 2007-03-15 Sony Corp ヘルプガイダンス表示方法、ヘルプガイダンス表示装置、情報処理装置、プリントキオスク装置及びプログラム
JP2012059292A (ja) 2011-12-09 2012-03-22 Nintendo Co Ltd 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
JP2014038523A (ja) 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
JP2015146113A (ja) 2014-02-03 2015-08-13 ブラザー工業株式会社 表示プログラムおよび表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
官上 大輔 Daisuke Kanjo，シースルー方式を用いた電気機器操作説明システムの作成 Building the System with See-Through Method for an Electrical Device's Operation，人工知能学会論文誌 Ｖｏｌ．１６ ２００１年 Transactions of the Japanese Society for Artificial Intelligence，日本，社団法人人工知能学会 Japanese Society for Artificial Intelligence，第16巻

Also Published As

Publication number Publication date
JP2018185863A (ja) 2018-11-22
CN108733328B (zh) 2023-06-30
CN108733328A (zh) 2018-11-02
US20180309953A1 (en) 2018-10-25
US10469796B2 (en) 2019-11-05
JP2018185805A (ja) 2018-11-22
JP6969517B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
JP7073868B2 (ja) 情報処理装置およびプログラム
US7911495B2 (en) Electronic conference support device, electronic conference support method, and information terminal device of electronic conference system
KR102049789B1 (ko) 휴대단말기의 정보 전송장치 및 방법
JP6288988B2 (ja) リモート支援装置、電子装置、リモート支援方法及びコンピュータプログラム
EP2924987A1 (en) Image control method and terminal, video conference apparatus
US7730417B2 (en) Terminal apparatus, network system, window display method, and computer program
JPH11308515A (ja) カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
EP3113013A1 (en) Method and system for server-based transfer of gui state among terminals
EP3145160B1 (en) Apparatus and method for transmitting image files.
JP2005149440A (ja) 画面共有制御方法
CN110958479B (zh) 多信号源场景上屏显示方法及多信号源场景上屏显示系统
KR20220061024A (ko) 정보 처리 장치, 정보 처리의 제어 방법, 및 저장 매체
US10938973B2 (en) Method and system for searching for object in network
JP7188024B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6458345B2 (ja) 電子情報連携システム
JP5141162B2 (ja) テレビ会議システムおよび端末装置
US11310376B2 (en) Image processing apparatus for providing notification of a function selected using an aerial image
JP2007304693A (ja) 表示機器選択方法、表示機器選択装置、プログラム、およびプログラムを記録した記録媒体
JP2017054466A (ja) 複数の端末装置を備える会議システム、端末装置およびプログラム
KR101663315B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP7046338B1 (ja) 画面共有装置、画面共有方法、及びコンピュータプログラム
JP4060548B2 (ja) 遠隔監視制御システム及び制御サーバ
JP6992303B2 (ja) 操作装置、被操作装置および操作システム
CN117793042A (zh) 基于即时通讯的人机交互方法、装置以及存储介质
CN118092831A (zh) 设备控制方法、装置、系统及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7073868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150