JP7234718B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP7234718B2
JP7234718B2 JP2019049709A JP2019049709A JP7234718B2 JP 7234718 B2 JP7234718 B2 JP 7234718B2 JP 2019049709 A JP2019049709 A JP 2019049709A JP 2019049709 A JP2019049709 A JP 2019049709A JP 7234718 B2 JP7234718 B2 JP 7234718B2
Authority
JP
Japan
Prior art keywords
image
display
unit
information
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019049709A
Other languages
English (en)
Other versions
JP2020155816A (ja
Inventor
融 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019049709A priority Critical patent/JP7234718B2/ja
Priority to US16/518,960 priority patent/US10909376B2/en
Priority to CN201910833207.XA priority patent/CN111724482A/zh
Publication of JP2020155816A publication Critical patent/JP2020155816A/ja
Application granted granted Critical
Publication of JP7234718B2 publication Critical patent/JP7234718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00493—Particular location of the interface or console
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
機器等の対象物が撮影され、撮影画像から当該対象物が認識された場合に、撮影画像が表示されると共に、当該対象物に関する情報に基づく画像が撮影画像に付加されて表示されることがある。例えば、ＡＲ（Augmented Reality）技術を用いることで、そのような表示が行われる場合がある。
特許文献１には、画像形成装置の撮影画像に基づいて撮影箇所を判断し、通知すべき事象が生じている指定箇所が当該撮影箇所に含まれている場合、当該指定箇所に対応する第１の表示情報を携帯端末に送信し、当該指定箇所が当該撮影箇所に含まれていない場合、当該指定箇所への案内情報を当該携帯端末に送信する情報処理装置が記載されている。
特開２０１２－１５６８７２号公報
ところで、撮影画像から対象物が認識された場合に、当該対象物に関する情報に基づく画像を撮影画像に付加して表示する技術においては、撮影画像から当該対象物が認識されない場合、当該対象物に関する情報に基づく画像は表示されず、ユーザは、当該対象物に関する情報を確認することができない。
本発明の目的は、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されない場合であっても、ユーザが、当該対象物に関する情報を確認できるようにすることにある。
請求項１に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、情報処理装置である。
請求項２に係る発明は、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しなくなった場合、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記第２画像は、前記撮影手段が撮影している前記撮影画像とは異なる画像であって前記対象物を表す画像に、前記対象物情報に基づく画像が付加された画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項４に係る発明は、前記第１画像を記憶する記憶手段を更に有し、前記第２画像は、前記記憶手段に記憶されている前記第１画像である、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項５に係る発明は、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項２に記載の情報処理装置である。
請求項６に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記第２画像を前記表示手段に表示させる、情報処理装置である。
請求項７に係る発明は、前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項８に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、情報処理装置である。
請求項９に係る発明は、前記制御手段は、当該情報処理装置が動いた場合、前記撮影画像を前記表示手段に表示させる、ことを特徴とする請求項７又は請求項８に記載の情報処理装置である。
請求項１０に係る発明は、前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置である。
請求項１１に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、情報処理装置である。
請求項１２に係る発明は、前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置である。
請求項１３に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、情報処理装置である。
請求項１４に係る発明は、前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置である。
請求項１５に係る発明は、撮影手段と、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、を有し、前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、情報処理装置である。
請求項１６に係る発明は、情報処理装置と外部装置とを含み、前記情報処理装置は、撮影手段と、画像を表示手段に表示させる制御手段と、を有し、前記外部装置は、前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、前記対象物に関する対象物情報に基づく画像を前記撮影画像に付加することで第１画像を生成し、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を生成する生成手段と、を有し、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第２画像を前記表示手段に表示させ、前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、情報処理システムである。
請求項１７に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、プログラムである。
請求項１８に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記第２画像を前記表示手段に表示させる、プログラムである。
請求項１９に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記認識手段が前記対象物を認識しない状態で、前記撮影手段を有する情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、プログラムである。
請求項２０に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、プログラムである。
請求項２１に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、プログラムである。
請求項２２に係る発明は、コンピュータを、撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、として機能させ、前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、プログラムである。
請求項１，１６，１７に係る発明によれば、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されない場合であっても、ユーザが、当該対象物に関する情報を確認することができる。
請求項２に係る発明によれば、撮影画像から対象物が認識された場合に当該対象物に関する情報に基づく画像を表示する場合において、撮影画像から当該対象物が認識されなくなった場合であっても、ユーザが、引き続き、当該対象物に関する情報を確認することができる。
請求項３に係る発明によれば、撮影画像から対象物が認識されない場合であっても、ユーザは、撮影画像とは異なる画像によって、当該対象物に関する情報を確認することができる。
請求項４に係る発明によれば、撮影画像から対象物が認識されない場合であっても、ユーザは、記憶手段に記憶されている第１画像によって、当該対象物に関する情報を確認することができる。
請求項１，５，６，１６，１７，１８に係る発明によれば、撮影画像から対象物が一時的に認識されなくなった場合は、第２画像は表示されない。
請求項７，８，１９に係る発明によれば、情報処理装置が静止している状況に適した画像を表示することができる。
請求項９に係る発明によれば、情報処理装置が動いた状況に適した画像を表示することができる。
請求項１０，１１，２０に係る発明によれば、ユーザは、対象物に関する情報を確認しつつ撮影画像を確認することができる。
請求項１２，１３，２１に係る発明によれば、ユーザの希望する画像を表示することができる。
請求項１４，１５，２２に係る発明によれば、対象物が認識されるように当該対象物を撮影することを、ユーザに促すことができる。
本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る端末装置の構成を示すブロック図である。 端末装置と画像形成装置とを模式的に示す図である。 第１画像データの構造を示す図である。 撮影画像の表示例を示す図である。 第１画像の表示例を示す図である。 撮影画像の表示例を示す図である。 第２画像データの構造を示す図である。 第２画像の表示例を示す図である。 端末装置による処理を示すフローチャートを示す図である。 変形例１に係る処理を示すフローチャートを示す図である。 第１画像又は第２画像の表示条件を示す図である。 第２画像と撮影画像との表示例を示す図である。 撮影画像の表示例を示す図である。 第２画像の表示例を示す図である。 撮影画像の表示例を示す図である。 第１推奨情報の表示例を示す図である。 第２推奨情報の表示例を示す図である。 変形例６に係る処理を示すフローチャートを示す図である。 変形例７に係る情報処理システムの構成を示すブロック図である。 変形例７に係るサーバの構成を示すブロック図である。
以下、図１を参照して、本発明の実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。
本実施形態に係る情報処理システムは、情報処理装置の一例である端末装置１０を含む。端末装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン又は携帯電話等の装置である。一例として、端末装置１０は、タブレットＰＣやスマートフォンや携帯電話等の携帯型端末装置である。
対象物１２は、情報の取得の対象となる物体である。後述するように、対象物１２は、端末装置１０によって撮影される。対象物１２は、端末装置１０によって撮影され得る物体であればよい。例えば、対象物１２は、物理的に空間の一部を占める有体物である。具体的には、対象物１２は、機器、家具、自動車又は建造物等である。もちろん、これら以外の物体が対象物１２であってもよい。機器は、例えば、電子機器、情報機器、映像機器、音響機器又は家電機器等と称されている物体である。例えば、情報を処理する機器や、通信機能を有する機器等が、対象物１２の一例に相当する。また、対象物１２は、端末装置１０と通信して情報を送受信することが可能な機器であってもよい。家具は、例えば、椅子やテーブルやソファ等である。建造物は、例えば、家屋や店舗等である。また、対象物１２は、表示装置に表示された画像や、用紙等に記載された文字や図形や、空間上に描写された３次元画像等であってもよい。
図１に示す例では、端末装置１０と対象物１２は、通信経路Ｎに接続されて、他の装置と通信することができる。もちろん、端末装置１０と対象物１２は、通信経路Ｎに接続されていなくてもよい。なお、複数の対象物１２が通信経路Ｎに接続されてもよい。通信経路Ｎは、例えば、ＬＡＮ（Local Area Network）等のネットワークやインターネット等である。通信経路Ｎは、有線通信によって構築されてもよいし、Ｗｉ－Ｆｉ（登録商標）等の無線通信によって構築されてもよい。また、端末装置１０と対象物１２は、通信経路Ｎを介さずに、近距離無線通信等によって他の装置と直接的に通信してもよい。近距離無線通信として、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤやＮＦＣ等が用いられる。
情報管理データベース１４は、各対象物１２の対象物情報を管理する装置である。端末装置１０は、通信経路Ｎを介して、又は、近距離無線通信等によって、情報管理データベース１４から対象物情報を取得してもよい。情報管理データベース１４が対象物１２に設けられて、端末装置１０は、対象物１２から対象物情報を取得してもよい。また、情報管理データベース１４は用いられなくてもよい。この場合、端末装置１０は、情報管理データベース１４以外のサーバ等の外部装置から対象物情報を取得してもよい。また、対象物情報の全部又は一部が、端末装置１０に記憶されていてもよい。
対象物情報は、対象物１２に関する情報である。対象物情報は、対象物１２の状態に応じて変化する情報であってもよいし、対象物１２の状態に応じて変化しない情報であってもよい。
対象物１２の状態は、例えば、対象物１２の外観の状態であってもよいし、対象物１２の内部の状態（つまり外側からは見えない状態）であってもよいし、外観と内部の両方の状態であってもよい。対象物１２の状態に応じて変化する情報は、外観や内部の状態に応じて変化する情報である。例えば、対象物１２としての機器の外観の状態は、当該機器に設けられているカバーの開閉である。カバーの開閉に応じて対象物情報が変化する。当該機器の内部の状態は、当該機器にて発生しているエラーの有無である。エラーの有無に応じて対象物情報が変化する。対象物１２の状態の変化は、対象物１２を撮影しているユーザの操作によってもたらされてもよい。例えば、上記のカバーがユーザによって開閉されてもよい。
対象物１２の状態に応じて変化しない情報は、例えば、対象物１２に対応付けられている固有の情報等である。例えば、対象物１２を識別するための識別情報や、対象物１２が設置されている場所を示す設置場所情報等が、固有の情報の一例に相当する。識別情報は、例えば、対象物１２の名称やＩＤやＩＰアドレスやＭＡＣアドレス等である。設置場所情報は、対象物１２が設置されているフロアを示す情報や、そのフロア内において対象物１２が設置されている位置を示す情報や、対象物１２が設置されている住所を示す情報や、ＧＰＳ（Global Positioning System）によって得られた座標情報等である。
対象物情報は、例えば、上記の識別情報、上記の設置場所情報、対象物１２の種類を示す種類情報、対象物１２の状態を示す状態情報、及び、対象物１２の構成を示す構成情報等を含む。設置場所情報、種類情報、状態情報及び構成情報の中の一部の情報が、対象物情報に含まれてもよい。また、対象物１２によっては、対象物１２によって提供されているサービスの内容を示す情報や、対象物１２の価格を示す情報等が、対象物情報に含まれてもよい。
以下、図２を参照して、端末装置１０の構成について詳しく説明する。図２には、端末装置１０の構成の一例が示されている。
通信部１６は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部１６は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
ＵＩ部１８はユーザインターフェース部であり、表示部と操作部とを含む。表示部は、液晶ディスプレイ等の表示装置である。操作部は、キーボードやマウス等の入力装置である。ＵＩ部１８は、表示部と操作部とを兼ね備えたタッチパネル等であってもよい。また、ＵＩ部１８は、スピーカ等の音声出力部を含んでいてもよい。
記憶部２０は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、端末装置１０に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。
撮影部２２は、カメラ等の撮影装置であり、撮影することで撮影画像データを生成するように構成されている。撮影画像データは、静止画像データであってもよいし、動画像データあってもよい。
特定部２４は、対象物情報の取得の対象である対象物１２を特定するように構成されている。特定部２４は、後述する認識部２６によって認識された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよいし、ユーザによって指定された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。例えば、ＵＩ部１８の表示部に対象物１２の識別情報の一覧が表示され、その一覧の中から、対象物情報の取得の対象である対象物１２がユーザによって指定されてもよい。また、ユーザがＵＩ部１８を用いて対象物１２の識別情報を入力した場合、特定部２４は、当該識別情報を有する対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。特定部２４は、対象物情報の取得の対象である対象物１２の識別情報を、後述する取得部２８に出力する。例えば、認識部２６によって対象物１２が認識された場合、当該対象物１２の識別情報が取得され、特定部２４は、当該識別情報を取得部２８に出力する。また、ユーザが対象物１２を指定した場合、特定部２４は、ユーザによって指定された対象物１２の識別情報を取得部２８に出力する。ユーザが識別情報を入力した場合、特定部２４はユーザによって入力された識別情報を取得部２８に出力する。
認識部２６は、撮影部２２による撮影によって生成された撮影画像データに表されている対象物１２を認識するように構成されている。認識部２６は、撮影部２２が現に撮影している撮影画像データを用いて対象物１２を認識する。対象物１２の認識に用いられる撮影画像データは、例えば動画像データである。認識部２６は、対象物１２を認識することで、当該対象物１２の識別情報を取得する。
認識部２６は、例えば公知の画像認識技術を用いることで対象物１２を認識する。画像認識技術として、例えば、マーカレス型認識技術やマーカ型認識技術が用いられる。
マーカレス型認識技術は、例えば、画像データ同士のマッチングによって、対象物１２を認識する技術である。例えば、対象物１２の全体、一部又は特徴部分を表す画像データが、当該対象物１２の識別情報に対応付けられて、端末装置１０やサーバ等の外部装置等に記憶されている。認識部２６は、撮影部２２が現に撮影している撮影画像データと、端末装置１０や外部装置等に記憶されている画像データとの間でマッチングを行うことで、当該撮影画像データに表されている対象物１２を認識し、当該画像データに対応付けられている識別情報を取得する。認識部２６は、撮影画像データから抽出された特徴を用いてマッチングを行ってもよい。
マーカ型認識技術は、対象物１２に予め設けられたマーカを用いて対象物１２を認識する技術である。マーカは、対象物１２の識別情報を読み取ることが可能な部材である。マーカは、例えば、識別情報がコード化された情報（例えばバーコードや２次元コード等）を表す部材であってもよいし、コード化されていない識別情報を表す部材であってもよい。マーカが撮影部２２によって撮影されると、認識部２６は、マーカを表す画像データから識別情報を取得して対象物１２を認識する。例えば２次元コードが撮影部２２によって撮影された場合、認識部２６は、当該２次元コードをデコードすることで識別情報を取得して対象物１２を認識する。
取得部２８は、特定部２４によって特定された対象物１２の対象物情報を取得するように構成されている。より詳しく説明すると、取得部２８は、特定部２４から取得部２８に出力された識別情報を含む対象物情報を取得する。取得部２８は、対象物情報を情報管理データベース１４から取得してもよいし、対象物１２から取得してもよいし、サーバ等の外部装置から取得してもよい。対象物情報の全部又は一部が記憶部２０に記憶されている場合、取得部２８は、記憶部２０から対象物情報の全部又は一部を取得してもよい。取得部２８は、撮影画像データに基づいて対象物１２の外観の変化を認識し、その変化を示す状態情報を撮影画像データから取得してもよい。例えば、対象物１２が通信機能を有していない場合、取得部２８は、撮影画像データから状態情報を取得してもよい。
制御部３０は、端末装置１０の各部の動作を制御するように構成されている。例えば、制御部３０は、各種の情報をＵＩ部１８の表示部に表示させる。
例えば、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像を、ＵＩ部１８の表示部に表示させる。撮影部２２が、動画像データである撮影画像データを撮影している場合、制御部３０は、撮影によって動画像データが生成され次第、当該動画像データに基づく動画像をＵＩ部１８の表示部に表示させる。
制御部３０は、拡張現実（ＡＲ）技術によって、各種の情報をＵＩ部１８の表示部に表示させてもよい。
例えば、制御部３０は、認識部２６が対象物１２を認識する場合、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させ、認識部２６が対象物１２を認識しない場合、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
第１画像データは、取得部２８によって取得された対象物情報に基づく画像データが、撮影部２２が現に撮影している撮影画像データに付加された画像データである。
第２画像データは、第１画像データとは異なる画像データであって、当該対象物情報に基づく画像データを含む画像データである。第２画像データは、例えば、撮影部２２が現に撮影している撮影画像データとは異なる画像データであって対象物１２を表す画像データに、対象物情報に基づく画像データが付加された画像データである。
以下、対象物情報に基づく画像データを、「付加画像データ」と称することとする。また、撮影部２２が現に撮影している撮影画像データとは異なる画像データであって対象物１２を表す画像データを、「代替画像データ」と称することとする。
代替画像データは、例えば、対象物１２を模式的に表す画像データであってもよいし、対象物１２の固有の構成が反映された画像データであってもよいし、対象物１２の固有の構成が反映されていない汎用の画像データであってもよい。また、代替画像データは、２次元画像データであってもよいし、３次元画像データであってもよい。代替画像データは、例えば、対象物１２毎に予め生成され、対象物１２の識別情報に対応付けられて、記憶部２０、情報管理データベース１４又は外部装置に記憶されている。また、代替画像データは、対象物１２の種類毎に予め生成され、対象物１２の種類情報に対応付けられて、記憶部２０、情報管理データベース１４又は外部装置に記憶されてもよい。また、撮影画像データが対象物１２の識別情報に対応付けられて記憶されている場合には、当該対象物１２の代替画像データは、記憶部２０に記憶されている当該撮影画像データであってもよい。また、第１画像データが記憶部２０に記憶されている場合、第２画像データは、記憶部２０に記憶されている第１画像データであってもよい。
認識部２６が対象物１２を認識した後、認識部２６が当該対象物１２を認識しなくなった場合、制御部３０は、当該対象物１２についての第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させてもよい。
付加画像データは、例えば、対象物情報に含まれる全部又は一部の情報を表す画像データや、対象物情報が加工されることで生成された画像データ等である。例えば、制御部３０が、対象物情報に基づいて付加画像データを生成する。
付加画像データは、対象物情報に含まれる識別情報を表す画像データであってもよいし、対象物情報に含まれる状態情報を表す画像データであってもよいし、対象物情報に含まれる構成情報を表す画像データであってもよい。具体的には、機器である対象物１２にて発生したエラーを示すメッセージを表す画像データや、そのエラーを解消するための方法を表す画像データや、対象物１２の名称を表す画像データや、対象物１２の値段を表す画像データ等が、付加画像データの一例に相当する。もちろん、付加画像データは、これら以外の情報であって対象物情報に含まれる情報を表す画像データであってもよい。
画像の付加は、例えば画像の重畳である。第１画像データに基づく第１画像は、例えば、撮影部２２が現に撮影している撮影画像データに基づく撮影画像上に、付加画像データに基づく付加画像が重畳された画像であってもよい。認識部２６が対象物１２を認識する場合、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像をＵＩ部１８の表示部に表示させ、付加画像を当該撮影画像上に重畳してＵＩ部１８の表示部に表示させる。
第２画像データに基づく第２画像は、例えば、代替画像データに基づく代替画像上に付付加画像が重畳された画像であってもよい。認識部２６が対象物１２を認識しない場合、制御部３０は、代替画像データに基づく代替画像をＵＩ部１８の表示部に表示させ、当該代替画像上に付加画像を重畳してＵＩ部１８の表示部に表示させる。
もちろん、画像の重畳は、画像の付加の一例に過ぎない。例えば、撮影画像上に付加画像が重畳されずに、撮影画像に並んで付加画像が表示されてもよい。同様に、代替画像上に付加画像が重畳されずに、代替画像に並んで付加画像が表示されてもよい。
以下、端末装置１０による処理について更に詳しく説明する。図３には、端末装置１０と、対象物１２の一例である画像形成装置１２Ａとが模式的に示されている。画像形成装置１２Ａは、機器の一例であり、プリント機能、スキャン機能、コピー機能及びファクシミリ機能の中の少なくとも１つの画像形成機能を有する装置である。
図４には、第１画像データの構造の一例が示されている。第１画像データ３２は、例えば、撮影画像データ３４と、対象物情報に基づいて生成された付加画像データ３６とを含む。撮影画像データ３４は、撮影部２２が現に撮影している画像データである。対象物情報は、取得部２８によって取得された情報である。
ユーザが、端末装置１０の撮影部２２によって画像形成装置１２Ａを撮影すると、画像形成装置１２Ａと、画像形成装置１２Ａの周囲の光景（例えば背景等）とを表す撮影画像データ３４が生成される。撮影画像データ３４には、画像形成装置１２Ａを表す対象物画像３８が表されている。なお、周囲の光景を表す画像の図示は省略されている。
図４に示す例では、付加画像データ３６は、画像形成装置１２Ａの状態を示す文字列と、画像形成装置１２Ａを指し示す矢印とを表す画像データである。例えば、画像形成装置１２Ａにて用紙詰まりのエラーが発生しており、対象物情報には、そのエラーの発生を示す状態情報が含まれている。矢印は、エラーの発生箇所を指し示してもよい。また、エラーをリカバリーする方法をユーザに伝えるためのアニメーションや文字列が、付加画像データ３６に含まれてもよい。制御部３０は、対象物情報に基づいて付加画像データ３６を生成する。対象物情報に、付加画像データ３６が含まれていてもよい。この場合、制御部３０は、付加画像データ３６を生成せずに、対象物情報に含まれている付加画像データ３６を用いることで、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる。
図５には、撮影画像の表示例が示されている。制御部３０は、撮影画像データ３４に基づく撮影画像をＵＩ部１８の表示部に表示させる。表示部の画面４０には、その撮影画像が表示される。撮影画像は、例えば、撮影部２２が現に撮影している動画像である。撮影部２２の画角に、つまり、撮影部２２によって撮影される範囲に、画像形成装置１２Ａが含まれているため、撮影画像には、画像形成装置１２Ａを表す対象物画像３８が表されている。この場面では、取得部２８によって対象物情報が取得されていないため、付加画像データ３６に基づく付加画像は表示されていない。
取得部２８が、画像形成装置１２Ａの対象物情報を取得し、認識部２６が、画像形成装置１２Ａを認識している場合、制御部３０は、第１画像データ３２に基づく第１画像をＵＩ部１８の表示部に表示させる。
例えば、認識部２６は、撮影部２２が現に撮影している撮影画像データに基づいて、画像形成装置１２Ａを認識し、画像形成装置１２Ａの識別情報を取得する。特定部２４は、認識部２６によって認識された画像形成装置１２Ａを、対象物情報の取得の対象としての対象物１２として特定し、画像形成装置１２Ａの識別情報を取得部２８に出力する。取得部２８は、当該識別情報に対応付けられている対象物情報を、情報管理データベース１４、画像形成装置１２Ａ、外部装置、又は、記憶部２０から取得する。制御部３０は、取得部２８によって取得された対象物情報に基づいて付加画像データを生成する。そして、制御部３０は、撮影画像データに付加画像データが付加された第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる。なお、ユーザが、画像形成装置１２Ａの識別情報を入力することで、画像形成装置１２Ａが、対象物情報の取得の対象としての対象物１２として特定されてもよい。
図６には、第１画像の表示例が示されている。画面４０には、対象物画像３８を含む撮影画像と、付加画像データ３６に基づく付加画像４２とが表示されている。付加画像４２は、撮影画像に付加されて表示されている。例えば、付加画像４２は、撮影画像に重畳されて表示されている。付加画像４２は、対象物画像３８に重ならないように、対象物画像３８の周囲に表示されてもよいし、対象物画像３８に重なって表示されてもよい。例えば、ＡＲ技術によって、撮影画像と付加画像とを含む第１画像が表示される。
例えば、認識部２６が画像形成装置１２Ａを認識し得る程度に、画像形成装置１２Ａが撮影部２２の画角に含まれて、撮影画像データ３４に画像形成装置１２Ａが表されている場合、認識部２６によって画像形成装置１２Ａが認識される。そして、第１画像が表示される。
認識部２６が画像形成装置１２Ａを認識し得る程度に、画像形成装置１２Ａが撮影部２２の画角に含まれていない場合、認識部２６は画像形成装置１２Ａを認識しない。例えば、画像形成装置１２Ａの一部のみが撮影部２２の画角に含まれており、図７に示すように、画面４０に表示されている撮影画像には、その一部の画像４４のみが含まれている。この一部の画像４４のみからでは認識部２６が画像形成装置１２Ａを認識しない場合、制御部３０は、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
例えば、図６に示すように認識部２６が画像形成装置１２Ａを認識した後、図７に示すように認識部２６が画像形成装置１２Ａを認識しなくなった場合、制御部３０は、第１画像に代えて第２画像をＵＩ部１８の表示部に表示させる。
制御部３０は、画像形成装置１２Ａの識別情報に対応付けられている代替画像データを、記憶部２０、情報管理データベース１４又は外部装置から取得する。別の例として、制御部３０は、画像形成装置１２Ａの種類情報に対応付けられている代替画像データを取得してもよい。次に、制御部３０は、当該代替画像データに付加画像データを付加することで第２画像データを生成し、当該第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる。
図８には、第２画像データの構造の一例が示されている。第２画像データ４６は、例えば、代替画像データ４８と付加画像データ３６とを含む。代替画像データ４８は、例えば、画像形成装置１２Ａを模式的に表す２次元画像データ又は３次元画像データであってもよいし、過去に画像形成装置１２Ａを撮影することで生成された画像データであってもよいし、汎用の画像データであってもよいし、単純な図形（例えば矩形や円や楕円等）のデータであってもよい。例えば、図４に示されている対象物画像３８のデータが記憶部２０に記憶されている場合、代替画像データ４８は、その対象物画像３８のデータであってもよい。
図９には、第２画像の表示例が示されている。画面４０には、代替画像データ４８に基づく代替画像５０と、付加画像データ３６に基づく付加画像４２とが表示されている。付加画像４２は、代替画像５０に付加されて表示されている。例えば、付加画像４２は、代替画像５０に重ならないように、代替画像５０の周囲に表示されてもよいし、代替画像５０に重なって表示されてもよい。
なお、第１画像又は第２画像が表示されているときに、対象物情報が示す状態（例えばエラー）が解消された場合、制御部３０は、付加画像４２を非表示にしてもよい。
以下、図１０を参照して、端末装置１０による処理の流れについて説明する。図１０には、端末装置１０による処理を示すフローチャートが示されている。
まず、取得部２８は、画像形成装置１２Ａの対象物情報を取得する（Ｓ０１）。例えば、ユーザがＵＩ部１８を用いて、対象物情報の取得対象の対象物１２として画像形成装置１２Ａを指定した場合、特定部２４は、画像形成装置１２Ａを対象物情報の取得対象の対象物１２として特定する。また、特定部２４は、認識部２６によって認識された画像形成装置１２Ａを、対象物情報の取得対象の対象物１２として特定してもよい。取得部２８は、このようにして特定された画像形成装置１２Ａの対象物情報を取得する。
例えば、情報管理データベース１４が、ＭＩＢ（Management Information Base）として画像形成装置１２Ａに設けられており、取得部２８は、画像形成装置１２Ａに設けられている情報管理データベース１４から対象物情報を取得する。具体的には、通信部１６は、通信経路Ｎを介して画像形成装置１２Ａと通信する。その通信に用いられる、画像形成装置１２Ａのアドレス情報（例えばＩＰアドレス等）は、ユーザによって入力されてもよいし、近距離無線通信によって画像形成装置１２Ａから取得されてもよいし、記憶部２０に予め記憶されていてもよい。取得部２８は、通信部１６によって確立された通信によって、対象物情報を情報管理データベース１４から取得する。例えば、その通信においては、ＳＮＭＰ（Simple Network Management Protocol）等が用いられる。画像形成装置１２Ａの対象物情報には、例えば、識別情報、種類情報、状態情報、及び、構成情報等が含まれる。画像形成装置１２Ａにて用紙詰まりのエラーが発生している場合、状態情報には、用紙詰まりのエラーを示す情報が含まれている。画像形成装置１２Ａにトナー切れのエラーが発生している場合、状態情報には、トナー切れのエラーを示す情報が含まれている。このような情報が、画像形成装置１２Ａ等の機器からＭＩＢに送信されてＭＩＢにて管理される。構成情報には、例えば、オプショントレイの個数等を示す情報が含まれている。
なお、取得部２８は、サーバ等の外部装置から対象物情報を取得してもよいし、撮影画像データから取得してもよいし、記憶部２０から取得してもよい。
次に、ユーザは、端末装置１０の撮影部２２によって撮影する（Ｓ０２）。この撮影によって撮影画像データが生成され、撮影画像データに基づく撮影画像がＵＩ部１８の表示部に表示される。例えば、図５に示されている撮影画像や、図７に示されている撮影画像等が表示される。
なお、取得部２８が対象物情報を取得する前に、ユーザは撮影部２２によって撮影してもよい。この場合において、認識部２６が撮影画像データに基づいて画像形成装置１２Ａを認識した場合、特定部２４は、認識された画像形成装置１２Ａを、対象物情報の取得の対象である対象物１２として特定してもよい。
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識した場合（Ｓ０３，Ｙｅｓ）、制御部３０は、取得部２８によって取得された対象物情報に基づいて、付加画像データを生成する（Ｓ０４）。制御部３０は、撮影部２２が現に撮影している撮影画像データに付加画像データを付加して、第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させる（Ｓ０５）。例えば、図６に示されている第１画像が表示される。例えば、用紙詰まりが発生している箇所を指し示す矢印の画像が表示されてもよいし、カバーが閉まる様子を表すアニメーションが表示されてもよい。
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識しない場合（Ｓ０３，Ｎｏ）、制御部３０は、取得部２８によって取得された対象物情報に基づいて、付加画像データを生成する（Ｓ０６）。制御部３０は、画像形成装置１２Ａに対応付けられている代替画像データに付加画像データを付加して、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる（Ｓ０７）。例えば、図９に示されている第２画像が表示される。これにより、画像形成装置１２Ａが認識されていない場合であっても、ユーザは、画像形成装置１２Ａに関する対象物情報を確認することができる。
第２画像が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、第２画像に代えて第１画像をＵＩ部１８の表示部に表示させてもよい。
また、認識部２６が画像形成装置１２Ａを認識し、第１画像が表示された後に、認識部２６が画像形成装置１２Ａを認識しなくなった場合、制御部３０は、第１画像に代えて第２画像をＵＩ部１８の表示部に表示させてもよい。これにより、画像形成装置１２Ａが認識されなくなった場合であっても、ユーザは、引き続き、画像形成装置１２Ａに関する対象物情報を確認することができる。
制御部３０は、第１画像又は第２画像を表示すると共に、又は、第１画像及び第２画像を表示せずに、対象物情報に含まれる情報を音声としてＵＩ部１８の音声出力部から発生させてもよい。例えば、エラーの発生を示す情報や、エラーをリカバリーするための方法を示す情報が、音声として、音声出力部から発せられてもよい。
また、制御部３０は、画像形成装置１２Ａの状態に応じて、音声の出力又は第２画像の表示のいずれかを実行してもよい。例えば、画像形成装置１２Ａにて発生したエラーが簡易なものである場合、制御部３０は、対象物情報に含まれる情報を音声としてＵＩ部１８の音声出力部から発生させる。画像形成装置１２Ａにて発生したエラーが複雑である場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。複数の作業を実行すべき場合には、制御部３０は、作業毎に、作業内容に応じて、音声の出力又は第２画像の表示のいずれかを実行してもよい。
認識部２６が画像形成装置１２Ａを認識しない場合、制御部３０は、記憶部２０に予め記憶されている、画像形成装置１２Ａの状態に応じたエラーメッセージ等を、ＵＩ部１８の表示部に表示させてもよい。エラーメッセージ等が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、エラーメッセージ等に代えて第１画像をＵＩ部１８の表示部に表示させる。なお、エラーメッセージ等が、音声として発せられてもよい。
なお、制御部３０は、撮影部２２が撮影した撮影画像に画像形成装置１２Ａが表されている場合、第１画像をＵＩ部１８の表示部に表示させ、撮影画像に画像形成装置１２Ａが表された後、撮影画像に画像形成装置１２Ａが表されなくなった場合、第２画像をＵＩ部１８の表示部に表示させてもよい。制御部３０は、例えば、認識部２６が画像形成装置１２Ａを認識し得る程度に画像形成装置１２Ａが撮影画像に表されている場合、第１画像を表示部に表示させ、認識部２６が画像形成装置１２Ａを認識し得る程度に画像形成装置１２Ａが撮影画像に表されていない場合、第２画像をＵＩ部に表示させる。これにより、画像形成装置１２Ａが撮影画像に表されなくなった場合であっても、ユーザは、引き続き、画像形成装置１２Ａに関する対象物情報を確認することができる。
（変形例１）
以下、図１１を参照して、変形例１に係る処理について説明する。図１１には、変形例１に係る処理を示すフローチャートが示されている。
図１１中のステップＳ１０からステップＳ１４の処理は、図１０中のステップＳ０１からステップＳ０５の処理と同じ処理であるため、ステップＳ１０からステップＳ１４の処理の説明を省略し、ステップＳ１５以降の処理について説明する。
制御部３０は、第１画像データを記憶部２０に記憶させる（Ｓ１５）。また、制御部３０は、取得部２８によって取得された対象物情報を、第１画像データに対応付けて記憶部２０に記憶させる。制御部３０は、撮影画像データと付加画像データとを別々に記憶部２０に記憶させてもよいし、付加画像データが撮影画像データに付加された第１画像データを記憶部２０に記憶させてもよい。制御部３０は、最新の第１画像データを記憶部２０に記憶させ、最新の第１画像データ以外は記憶部２０から削除してもよい。別の例として、制御部３０は、予め定められた期間毎に、記憶部２０に記憶されている第１画像データを、新たに生成された第１画像データに更新してもよい。更に別の例として、制御部３０は、対象物情報に変化があった場合に、記憶部２０に記憶されている第１画像データを、新たに生成された第１画像データに更新してもよい。
認識部２６が、撮影部２２が現に撮影している撮影画像データから画像形成装置１２Ａを認識しない場合（Ｓ１２，Ｎｏ）、処理はステップＳ１６に移行する。
ステップＳ１０にて取得された対象物情報と同じ対象物情報が記憶部２０に記憶されている場合（Ｓ１６，Ｙｅｓ）、制御部３０は、当該対象物情報に対応付けられて記憶部２０に記憶されている第１画像データを記憶部２０から読み出し、当該第１画像データに基づく第１画像を、画像形成装置１２Ａの第２画像として、ＵＩ部１８の表示部に表示させる（Ｓ１７）。
記憶部２０に記憶されている第１画像データに基づく第１画像が表示されているときに、認識部２６が画像形成装置１２Ａを認識した場合、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像に代えて、撮影部２２が現に撮影している撮影画像データを含む第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させる。
また、制御部３０は、最新の第１画像データを記憶部２０に記憶させておいてもよい。この場合において、画像形成装置１２Ａが認識部２６によって認識されてステップＳ１４にて第１画像が表示された後に、画像形成装置１２Ａが認識部２６によって認識されなくなった場合、制御部３０は、記憶部２０に記憶されている最新の第１画像データに基づく第１画像をＵＩ部１８の表示部に表示させてもよい。
ステップＳ１０にて取得された対象物情報と同じ対象物情報が記憶部２０に記憶されていない場合、制御部３０は、ステップＳ１０にて取得された対象物情報に基づいて、付加画像データを生成する（Ｓ１８）。制御部３０は、代替画像データに付加画像データを付加して、第２画像データに基づく第２画像をＵＩ部１８の表示部に表示させる（Ｓ１９）。
例えば、ステップＳ１０にて取得された対象物情報が示す名称、種類及び構成と、同じ名称、種類及び構成を示す対象物情報が記憶部２０に記憶されていない場合、画像形成装置１２Ａは、過去に撮影された対象物１２とは異なる対象物である。そのため、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させない。また、ステップＳ１０にて取得された対象物情報が示す名称、種類及び構成と、同じ名称、種類及び構成を示す対象物情報が記憶部２０に記憶されている場合であっても、ステップＳ１０にて取得された対象物情報が示す状態と、同じ状態を示す対象物情報が記憶部２０に記憶されていない場合、画像形成装置１２Ａの現在の状態は、過去に画像形成装置１２Ａが撮影されたときとの状態とは異なる。そのため、制御部３０は、記憶部２０に記憶されている第１画像データに基づく第１画像を、ＵＩ部１８の表示部に表示させない。
（変形例２）
以下、変形例２に係る処理について説明する。変形例２においては、制御部３０は、第１画像がＵＩ部１８の表示部に表示された時点から、予め定められた時間が経過するまでは、第２画像をＵＩ部１８の表示部に表示させない。
例えば、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態が予め定められた時間以上続いた場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。当該時間は、ユーザによって変更されてもよいし、対象物１２の種類毎や対象物情報毎に設定されてもよい。
換言すると、認識部２６が画像形成装置１２Ａを認識しない状態が予め定められた時間以上続いていない場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させない。
例えば、撮影部２２によって撮影されていた画像形成装置１２Ａが、撮影部２２の画角から外れて、認識部２６が画像形成装置１２Ａを一時的に認識しなくなった場合、第２画像は表示されない。
（変形例３）
以下、変形例３に係る処理について説明する。変形例３においては、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止している場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。より具体的には、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止している場合、制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。
例えば、ジャイロセンサや加速度センサ等の検知部が端末装置１０に設けられており、制御部３０は、当該検知部の検知結果に基づいて、端末装置１０の動きを検知する。また、制御部３０は、撮影画像データに基づいて端末装置１０の動きを検知してもよい。例えば、撮影画像データの変化量が閾値以上になった場合、制御部３０は、端末装置１０が動いていると判断する。端末装置１０の動きが検知されない場合、制御部３０は、端末装置１０が静止していると判断する。
図１２を参照して、変形例３について更に詳しく説明する。図１２には、第１画像又は第２画像を表示する条件が示されている。その条件は、認識部２６が対象物１２を認識していない時間の長さと、端末装置１０が静止している時間の長さとの組み合わせである。
図１２中のＸ時間は、認識部２６が対象物１２を認識しなくなってから経過した時間の長さに関する閾値である。図１２中のＹ時間は、端末装置１０が静止している時間の長さに関する閾値である。Ｘ時間の長さとＹ時間の長さとの関係は、一例として、Ｘ時間＞Ｙ時間である。例えば、Ｘ時間は５秒であり、Ｙ時間は１秒である。これらの値は一例に過ぎず、別の値が用いられてもよいし、ユーザによって変更されてもよい。
例えば、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で、かつ、端末装置１０が動いている場合、制御部３０は、認識部２６が画像形成装置１２Ａを認識しなくなってからＸ時間が経過した後に、第２画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（３）が成就した場合、この表示制御が行われる。条件（３）が成就する状況として、例えば、端末装置１０が、ユーザの衣服のポケットに収容されている状況等が想定される。
認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しなくなった状態で、かつ、端末装置１０が静止している場合、制御部３０は、端末装置１０が静止してからＹ時間が経過した後に、第２画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（１）又は条件（２）が成就した場合、この表示制御が行われる。条件（１）又は条件（２）が成就する状況として、例えば、端末装置１０が、床等に置かれている状況等が想定される。
条件（１）～（３）以外の条件の下では、制御部３０は、第１画像をＵＩ部１８の表示部に表示させる。例えば、図１２中の条件（４）が成就した場合、第１画像が表示される。条件（４）が成就する状況として、例えば、撮影部２２によって画像形成装置１２Ａが撮影されているが、一時的に画像形成装置１２Ａが認識されない状況等が想定される。
なお、Ｘ時間の長さとＹ時間の長さとの関係は、ユーザによって変更されてもよい。
また、認識部２６が画像形成装置１２Ａを認識した後、認識部２６が画像形成装置１２Ａを認識しない状態で端末装置１０が静止し、これによって、第２画像がＵＩ部１８の表示部に表示された後、端末装置１０が動いた場合、制御部３０は、撮影部２２が現に撮影している撮影画像データに基づく撮影画像を、ＵＩ部１８の表示部に表示させる。例えば、上記の条件（１）又は条件（２）が成就して第２画像がＵＩ部１８の表示部に表示されている状態で、端末装置１０が動いた場合、撮影画像がＵＩ部１８の表示部に表示される。
端末装置１０が静止して第２画像がＵＩ部１８の表示部に表示されている状態で、端末装置１０が、予め定められた時間以上にわたって動いた場合、制御部３０は、第２画像に代えて撮影画像をＵＩ部１８の表示部に表示させてもよい。当該時間は、ユーザによって変更されてもよいし、対象物１２の種類毎や対象物情報毎に設定されてもよい。
換言すると、端末装置１０が静止して第２画像がＵＩ部１８の表示部に表示されている状態で端末装置１０が動いたとしても、端末装置１０が、予め定められた時間以上にわたって動いたのでなければ、制御部３０は、表示される画像を第２画像から撮影画像に切り替えず、第２画像をＵＩ部１８の表示部に表示させる。
（変形例４）
以下、図１３及び図１４を参照して、変形例４に係る処理について説明する。図１３及び図１４には、画面が示されている。変形例４においては、制御部３０は、第２画像と撮影画像の両方をＵＩ部１８の表示部に表示させる。
図１３には、その表示例が示されている。制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。これにより、図９に示されている表示例と同様に、代替画像５０と付加画像４２とが画面４０に表示される。制御部３０は、更に、第２画像が表示されている画面４０に、撮影部２２が現に撮影している撮影画像５２を表示させる。撮影画像５２は、代替画像５０と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示される。例えば、撮影画像５２は、代替画像５０中の対象物の画像と付加画像４２とに重ならない位置に、重ならない程度の大きさをもって表示される。具体的には、撮影画像５２は、画面４０の下方の角の付近に表示される。撮影画像５２の大きさは、例えば、代替画像５０の大きさよりも小さい。なお、ユーザによって、撮影画像５２の表示位置が変更されてもよい。
また、ユーザが撮影画像５２を指定した場合（例えば撮影画像５２をタップやクリックした場合）、制御部３０は、図１４に示すように、撮影画像５２を拡大してＵＩ部１８の表示部に表示させる。撮影画像５２は、第２画像上に重畳して表示されてもよいし、第２画像に代えて表示されてもよい。ユーザによって、撮影画像５２の大きさが変更されてもよい。
ユーザが、拡大した撮影画像５２を指定したり、縮小表示の指示を与えたりした場合、図１３に示すように、撮影画像５２は縮小して表示される。例えば、拡大した撮影画像５２の角に縮小ボタン画像が表示され、ユーザが縮小ボタン画像をタップすると、撮影画像５２は縮小して表示される。そして、第２画像が表示される。
なお、ユーザの音声指示によって、撮影画像５２の拡大表示と縮小表示とが切り替えられてもよい。
制御部３０は、第２画像と撮影画像５２とを並べてＵＩ部１８の表示部に表示させてもよい。例えば、画面４０が、第２画像用の表示領域と撮影画像５２用の表示領域とに分けられ、第２画像は、第２画像用の表示領域内に表示され、撮影画像５２は、撮影画像５２用の表示領域に表示される。第２画像用の表示領域の大きさと撮影画像５２用の表示領域の大きさとは同じであってもよいし、それぞれ異なる大きさであってもよい。また、ユーザによって、各表示領域の大きさや位置が変更されてもよい。
また、端末装置１０が静止している状態で、図１３に示すように、第２画像と縮小した撮影画像５２とが表示されている場合において、端末装置１０が動いた場合、制御部３０は、図１４に示すように、撮影画像５２を拡大してＵＩ部１８の表示部に表示させてもよい。端末装置１０が、予め定められた時間以上にわたって継続して動いた場合に、制御部３０は、撮影画像５２を拡大してもよい。
（変形例５）
以下、図１５及び図１６を参照して、変形例５に係る処理について説明する。図１５及び図１６には、画面が示されている。変形例５においては、制御部３０は、撮影部２２が現に撮影している撮影画像の表示と第２画像の表示とを切り替えるための画像を、ＵＩ部１８の表示部に表示させる。以下、その切り替えるための画像を、「切替ボタン画像」と称することとする。
図１５には、切替ボタン画像の表示例が示されている。制御部３０は、第２画像をＵＩ部１８の表示部に表示させる。これにより、図９に示されている表示例と同様に、代替画像５０と付加画像４２とが画面４０に表示される。制御部３０は、更に、第２画像が表示されている画面４０に、切替ボタン画像５４を表示させる。例えば、切替ボタン画像５４は、代替画像５０と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示される。例えば、切替ボタン画像５４は、代替画像５０と付加画像４２とに重ならない位置に、重ならない程度の大きさをもって表示される。具体的には、切替ボタン画像５４は、画面４０の下方の角の付近に表示される。また、ユーザによって、切替ボタン画像５４の表示位置や大きさが変更されてもよい。
第２画像が表示されているときの切替ボタン画像５４は、表示されている画像が第２画像であることを表している。例えば、切替ボタン画像５４に表されているスイッチが、第２画像の表示を示す位置に表示されている。また、表示されている画像が撮影画像ではなく第２画像であることを示す文字列（例えば文字列「ＯＦＦ」）が、切替ボタン画像５４と共に表示されている。
第２画像が表示されている状態で、ユーザが切替ボタン画像５４を操作して、第２画像の表示から撮影画像の表示への切り替えを指示した場合、制御部３０は、図１６に示すように、第２画像に代えて、撮影部２２が現に撮影している撮影画像をＵＩ部１８の表示部に表示させる。図１６に示されている画面４０には、図７に示す表示例と同様に、画像形成装置１２Ａの一部を表す画像４４が表示されている。この状態においては、認識部２６は画像形成装置１２Ａを認識しておらず、付加画像は表示されていない。また、切替ボタン画像５４が表示されている。
撮影画像が表示されているときの切替ボタン画像５４は、表示されている画像が撮影画像であることを表している。例えば、切替ボタン画像５４に表されているスイッチが、撮影画像の表示を示す位置に表示されている。また、表示されている画像が撮影画像であることを示す文字列（例えば文字列「ＯＮ」）が、切替ボタン画像５４と共に表示されている。
撮影画像が表示されている状態で、ユーザが切替ボタン画像５４を操作して、撮影画像の表示から第２画像の表示への切り替えを指示した場合、制御部３０は、図１５に示すように、撮影画像に代えて、第２画像をＵＩ部１８の表示部に表示させる。
制御部３０は、図１５に示すように、第２画像が表示されている場合に、切替ボタン画像５４をＵＩ部１８の表示部に表示させる。また、図１５に示すように第２画像が一旦表示された後に、表示される画像が第２画像から撮影画像に切り替えられた場合、制御部３０は、図１６に示すように、撮影画像が表示されている場合にも、切替ボタン画像５４をＵＩ部１８の表示部に表示させる。もちろん、切替ボタン画像５４は、第２画像が表示されている場合に表示され、撮影画像が表示されている場合に表示されなくてもよい。また、切替ボタン画像５４は、第１画像が表示されている場合にも表示されてもよいし、常に表示されてもよい。また、表示される画像が第２画像から撮影画像に切り替えられ、その後、画像形成装置１２Ａが認識部２６によって認識されて第１画像が表示された場合に、切替ボタン画像５４が表示されなくなってもよい。
また、切替ボタン画像５４を操作することで、第２画像と撮影画像とのそれぞれの表示の大きさが変更されてもよい。例えば図１３に示されている画面４０に、切替ボタン画像５４が表示される。図１３に示すように、撮影画像５２が第２画像よりも小さく表示されている状態で、ユーザが切替ボタン画像５４を操作した場合、制御部３０は、撮影画像５２を第２画像よりも大きくしてＵＩ部１８の表示部に表示させる。撮影画像５２が第２画像よりも大きく表示されている状態で、ユーザが切替ボタン画像５４を操作した場合、制御部３０は、撮影画像５２を第２画像よりも小さくしてＵＩ部１８の表示部に表示させる。なお、画像が大きいという概念の範疇には、表示される画像の面積が大きいことや、表示される画像の外縁が大きいこと等が含まれる。
（変形例６）
以下、変形例６に係る処理について説明する。変形例６においては、制御部３０は、第１画像と第２画像との切り替えをユーザに促すための推奨情報をＵＩ部１８の表示部に表示させる。なお、推奨情報を表現する音声が発せられてもよい。
制御部３０は、第２画像の表示中に、表示される画像を第２画像から第１画像に切り替えることをユーザに促すための第１推奨情報をＵＩ部１８の表示部に表示させてもよい。
例えば、第２画像の表示中に、予め定められた第１条件が成就した場合、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる。具体的には、画像形成装置１２Ａの状態が、実際に撮影した撮影画像に付加画像を付加して表示しないとユーザに情報を伝えきれない状態である場合が、第１条件が成就する一例である。制御部３０は、例えば、対象物情報に含まれる状態情報に基づいて、画像形成装置１２Ａの状態がそのような状態に該当するか否かを判断する。
例えば、画像形成装置１２Ａにて発生しているエラーをリカバリーする方法が複雑であるため、第２画像を表示するよりも、実際に撮影した撮影画像にリカバリーの方法を示す情報を付加して表示した方が、ユーザにとってリカバリーの方法を理解し易い場合がある。この場合、第１推奨情報が表示される。また、第２画像中の代替画像が、画像形成装置１２Ａを模式的に表す画像であったり、画像形成装置１２Ａに固有の構成等が反映されていない汎用の画像であったりした場合、代替画像が、実際の画像形成装置１２Ａの構成を正しく又は詳細に表していないことがある。この場合に第２画像が表示されると、ユーザにとってリカバリー方法を理解することが困難になるため、第１推奨情報が表示される。また、第２画像の表示と共に、又は、第２画像の表示の代わりに、音声によって対象物情報が出力されている場合、音声では、ユーザにとってリカバリーの方法を理解することが困難なことがある。この場合、第１推奨情報が表示される。
また、画像形成装置１２Ａの周囲の環境を考慮して情報を伝えるべきである場合等が、第１条件が成就する一例である。制御部３０は、例えば、撮影部２２が撮影している撮影画像に基づいて周辺の環境を認識し、その認識結果に応じて、第１推奨情報をＵＩ部１８の表示部に表示させる。例えば、画像形成装置１２Ａの周囲に障害物が存在する場合に、当該障害物も表示すべき状況であれば、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる。この場合、制御部３０は、撮影画像に基づいて当該障害物を認識し、その障害物の表示位置を避けて、付加画像を含む第１画像をＵＩ部１８の表示部に表示させる。
図１７には、第１推奨情報の表示例が示されている。第２画像に含まれる代替画像５０と付加画像４２とが、画面４０に表示されている。また、第１推奨情報に基づく画像５６が画面４０に表示されている。例えば、「装置を撮影すると詳細情報を確認できます。」といったメッセージを表す画像５６が表示される。このメッセージは、画像形成装置１２Ａが認識部２６によって認識されるように撮影することをユーザに促すためのメッセージである。
例えば、第２画像が表示された時点では、上記の第１条件が成就していない場合、制御部３０は、画像５６を表示せずに、第２画像を画面４０に表示させる。第２画像が表示された後に取得部２８によって取得された新たな対象物情報が示す状態が、第１条件を成就させる状態である場合、制御部３０は、第１推奨情報に基づく画像５６を画面４０に表示させる。
第１推奨情報に基づく画像５６は、例えば、ポップアップ表示されてもよいし、代替画像５０と付加画像４２との表示の妨げとならない位置に、その妨げにならない大きさをもって表示されてもよい。もちろん、画像５６は、代替画像５０や付加画像４２等に重畳して表示されてもよい。また、第１推奨情報を表現する音声が発生られてもよい。
また、制御部３０は、第１画像の表示中に、表示される画像を第１画像から第２画像に切り替えることをユーザに促すための第２推奨情報をＵＩ部１８の表示部に表示させてもよい。
例えば、第１画像の表示中に、予め定められた第２条件が成就した場合、制御部３０は、第２推奨情報をＵＩ部１８の表示部に表示させる。具体的には、ユーザが両手で作業すべき事象が発生して端末装置１０を手放す必要がある場合等が、第２条件が成就する一例である。制御部３０は、例えば、対象物情報に含まれる状態情報に基づいて、画像形成装置１２Ａの状態を認識し、画像形成装置１２Ａの状態が、ユーザが両手で作業を行うべき状態である場合には、第２推奨情報をＵＩ部１８の表示部に表示させる。
図１８には、第２推奨情報の表示例が示されている。図６に示されている表示例と同様に、第１画像が画面４０に表示されている。また、第２推奨情報に基づく画像５８が画面４０に表示されている。例えば、「端末装置を置いた方が良いです。」といったメッセージを表す画像５８が表示される。このメッセージは、端末装置１０を床や机等に置いて両手を開けることをユーザに促すためのメッセージである。
例えば、第１画像が表示された時点では、上記の第２条件が成就していない場合、制御部３０は、画像５８を表示せずに、第１画像を画面４０に表示させる。第１画像が表示された後に取得部２８によって取得された新たな対象物情報が示す状態が、第２条件を成就させる状態である場合、制御部３０は、第２推奨情報に基づく画像５８を画面４０に表示させる。
第２推奨情報に基づく画像５８は、例えば、ポップアップ表示されてもよいし、対象物画像３８の表示の妨げにならない位置に、その妨げにならない大きさをもって表示されてもよいし、対象物画像３８と付加画像４２との表示の妨げにならない位置に、その妨げにならない大きさをもって表示されてもよい。もちろん、画像５８は、対象物画像３８や付加画像４２に重畳して表示されてもよい。また、第２推奨情報を表現する音声が発せられてもよい。
また、以下に説明する場面にて第１推奨情報が表示されてもよい。図１９には、この処理を示すフローチャートが示されている。
図１９中のステップＳ２０，Ｓ２１の処理は、図１０中のステップＳ０１，Ｓ０２の処理と同じ処理であるため、ステップＳ２０，Ｓ２１の処理の説明を省略し、ステップＳ２２以降の処理について説明する。
第１画像を表示する必要があり、かつ、認識部２６によって画像形成装置１２Ａが認識されていない場合（Ｓ２２，Ｙｅｓ）、制御部３０は、第１推奨情報をＵＩ部１８の表示部に表示させる（Ｓ２３）。例えば、上記の第１条件が成就している場合、第１推奨情報が表示される。
ステップＳ２２の条件が成就しない場合（Ｓ２２，Ｎｏ）、処理は終了する。この場合、撮影画像が表示されてもよいし、第２画像が表示されてもよい。認識部２６によって画像形成装置１２Ａが認識されている場合、第１画像が表示される。
（変形例７）
以下、変形例７に係る情報処理システムについて説明する。変形例７においては、端末装置１０にて実行されていた一部の処理が、サーバ等の外部装置によって実行される。例えば、特定部２４、認識部２６及び取得部２８のそれぞれの処理が、外部装置によって実行される。この場合、特定部２４、認識部２６及び取得部２８は、端末装置１０に設けられず、これらの処理は、端末装置１０にて実行されない。もちろん、特定部２４、認識部２６及び取得部２８の中の一部が、端末装置１０に設けられて、その一部の処理が端末装置１０にて実行されてもよい。この場合、端末装置１０に設けられなかった構成が外部装置に設けられて、その構成の処理が外部装置にて実行される。また、特定部２４、認識部２６及び取得部２８の全部が端末装置１０に設けられている場合であっても、これらの処理が外部装置によって実行されてもよい。
以下、図２０を参照して、変形例７に係る情報処理システムについて詳しく説明する。図２０には、変形例７に係る情報処理システムの構成の一例が示されている。
変形例７に係る情報処理システムは、端末装置１０と、外部装置の一例であるサーバ６０とを含む。サーバ６０は、通信経路Ｎを介して、端末装置１０や対象物１２や情報管理データベース１４と通信することができる。複数の端末装置１０が、変形例７に係る情報処理システムに含まれていてもよいし、複数のサーバ６０が、変形例７に係る情報処理システムに含まれていてもよい。
サーバ６０は、第１画像データ及び第２画像データを生成し、第１画像データ及び第２画像データを、端末装置１０に送信する。第１画像データを生成するための撮影画像データは、端末装置１０からサーバ６０に送信される。複数の端末装置１０が情報処理システムに含まれている場合、サーバ６０は、各端末装置１０から撮影画像データを受信してもよい。この場合、サーバ６０は、ある端末装置１０から送信されてきた撮影画像データに基づいて生成された第１画像データを、別の端末装置１０に送信してもよい。
以下、図２１を参照して、サーバ６０の構成について詳しく説明する。図２１には、サーバ６０の構成の一例が示されている。
通信部６２は通信インターフェースであり、他の装置に情報を送信する機能、及び、他の装置から情報を受信する機能を有する。通信部６２は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
記憶部６４は、情報を記憶する１又は複数の記憶領域である。各記憶領域は、例えば、サーバ６０に設けられている１又は複数の記憶装置（例えばハードディスクドライブやメモリ等の物理ドライブ）によって構成されている。
特定部６６は、端末装置１０に設けられている特定部２４と同様に、対象物情報の取得の対象である対象物１２を特定するように構成されている。特定部６６は、後述する認識部６８によって認識された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよいし、端末装置１０を用いてユーザによって指定された対象物１２を、対象物情報の取得の対象である対象物１２として特定してもよい。
認識部６８は、端末装置１０からサーバ６０に送信されてきた撮影画像データを受けて、端末装置１０に設けられている認識部２６と同様に、当該撮影画像データに表されている対象物１２を認識するように構成されている。認識部６８は、撮影部２２が現に撮影している撮影画像データを用いて対象物１２を認識する。
取得部７０は、端末装置１０に設けられている取得部２８と同様に、特定部６６によって特定された対象物１２の対象物情報を取得するように構成されている。例えば、取得部７０は、対象物情報を情報管理データベース１４から取得してもよいし、対象物１２から取得してもよい。また、対象物情報が記憶部６４に記憶されている場合、取得部７０は記憶部６４から対象物情報を取得してもよい。
画像生成部７２は、第１画像データ及び第２画像データを生成するように構成されている。画像生成部７２は、例えば、取得部７０によって取得された対象物情報に基づく付加画像データを、端末装置１０からサーバ６０に送信されてきた撮影画像データに付加することで、第１画像データを生成する。また、画像生成部７２は、付加画像データを代替画像データに付加することで第２画像データを生成する。代替画像データは、例えば、記憶部６４に記憶されている。
制御部７４は、サーバ６０の各部の動作を制御するように構成されている。例えば、制御部７４は、画像生成部７２によって生成された第１画像データ又は第２画像データを、端末装置１０に送信するように、通信部６２を制御する。また、制御部７４は、第１画像データや第２画像データを対象物情報に対応付けて記憶部６４に記憶させてもよいし、撮影画像データを記憶部６４に記憶させてもよい。
サーバ６０によって、第１画像データ及び第２画像データが生成された場合も、上記の実施形態及び変形例１から変形例６の中のいずれかの処理が実行される。その場合、端末装置１０とサーバ６０との間で情報の送受信が行われて、第１画像又は第２画像が端末装置１０の表示部に表示される。
また、あるユーザが利用する端末装置１０からサーバ６０に送信された撮影画像データに基づいて第１画像データが生成され、当該第１画像データが、第２画像データとして、別のユーザが利用する端末装置１０に送信されて、当該第１画像データに基づく第１画像が、別のユーザが利用する端末装置１０に表示されてもよい。
例えば、画像形成装置１２Ａにて発生したエラーを解消するために、ユーザが３つのステップの作業を実行する必要がある場面を想定する。この場合において、ユーザＡが利用する端末装置１０において、全ステップにて第１画像が表示されて、ユーザＡによって全ステップの作業が実行されたものとする。各ステップにて表示された第１画像データが、サーバ６０の記憶部６４に記憶される。その後、別のユーザＢが同じエラーを解消する場合、ユーザＡによって利用されて記憶部６４に記憶されている第１画像データが、ユーザＢが利用する端末装置１０に送信されて、ユーザＢが利用する端末装置１０に第１画像が表示される。ユーザＢは、第１画像を参照しながら、各ステップの作業を実行する。例えば、ユーザＢが利用する端末装置１０では、エラーが発生した画像形成装置１２Ａが認識されない場合であっても、他のユーザＡによって利用された第１画像データに基づく第１画像が、ユーザＢが利用する端末装置１０に表示される。
なお、対象物１２の一例として画像形成装置１２Ａを例に挙げて、実施形態及び各変形例の処理について説明したが、画像形成装置１２Ａ以外の機器や、機器以外の対象物に対して、本実施形態及び各変形例が適用されてもよい。例えば、店舗にて販売されている商品が撮影されて認識された場合、当該商品に関する第１画像が表示され、当該商品が認識されなくなった場合、当該商品に関する第２画像が表示されてもよい。
上記の端末装置１０及びサーバ６０の各部の機能は、一例としてハードウェアとソフトウェアとの協働により実現される。具体的には、端末装置１０及びサーバ６０は、図示しないＣＰＵ等の１又は複数のプロセッサを備えている。当該１又は複数のプロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することで、端末装置１０及びサーバ６０の各部の機能が実現される。上記プログラムは、ＣＤ又はＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。別の例として、端末装置１０及びサーバ６０の各部の機能は、例えばプロセッサ、電子回路又はＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、端末装置１０及びサーバ６０の各部の機能は、ＤＳＰ（Digital Signal Processor）又はＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。
１０ 端末装置、１２ 対象物、１４ 情報管理データベース、２２ 撮影部、２４ 特定部、２６ 認識部、２８ 取得部。

Claims (22)

  1. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、
    情報処理装置。
  2. 前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しなくなった場合、前記第２画像を前記表示手段に表示させる、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記第２画像は、前記撮影手段が撮影している前記撮影画像とは異なる画像であって前記対象物を表す画像に、前記対象物情報に基づく画像が付加された画像である、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  4. 前記第１画像を記憶する記憶手段を更に有し、
    前記第２画像は、前記記憶手段に記憶されている前記第１画像である、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  5. 前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
    ことを特徴とする請求項２に記載の情報処理装置。
  6. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記第２画像を前記表示手段に表示させる、
    情報処理装置。
  7. 前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  8. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記認識手段が前記対象物を認識しない状態で当該情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
    情報処理装置。
  9. 前記制御手段は、当該情報処理装置が動いた場合、前記撮影画像を前記表示手段に表示させる、
    ことを特徴とする請求項７又は請求項８に記載の情報処理装置。
  10. 前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
  11. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、
    情報処理装置。
  12. 前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
  13. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、
    情報処理装置。
  14. 前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、
    ことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
  15. 撮影手段と、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段と、
    を有し、
    前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、
    情報処理装置。
  16. 情報処理装置と外部装置とを含み、
    前記情報処理装置は、
    撮影手段と、
    画像を表示手段に表示させる制御手段と、
    を有し、
    前記外部装置は、
    前記撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段と、
    前記対象物に関する対象物情報に基づく画像を前記撮影画像に付加することで第１画像を生成し、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を生成する生成手段と、
    を有し、
    前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第２画像を前記表示手段に表示させ、
    前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、
    情報処理システム。
  17. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記制御手段は、前記第１画像が前記表示手段に表示された時点から予め定められた時間が経過するまでは前記第２画像を前記表示手段に表示させない、
    プログラム。
  18. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記制御手段は、前記認識手段が前記対象物を認識する場合、前記第１画像を前記表示手段に表示させ、前記認識手段が前記対象物を認識した後、前記認識手段が前記対象物を認識しない状態が予め定められた時間以上続いた場合、前記第２画像を前記表示手段に表示させる、
    プログラム。
  19. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記認識手段が前記対象物を認識しない状態で、前記撮影手段を有する情報処理装置が静止している場合、前記制御手段は、前記第２画像を前記表示手段に表示させる、
    プログラム。
  20. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記制御手段は、前記第２画像を前記撮影画像と共に前記表示手段に表示させる、
    プログラム。
  21. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記制御手段は、更に、前記撮影画像の表示と前記第２画像の表示とを切り替えるための画像を前記表示手段に表示させる、
    プログラム。
  22. コンピュータを、
    撮影手段が撮影している撮影画像に対象物が表されていることを認識する認識手段、
    前記認識手段が前記対象物を認識する場合、前記対象物に関する対象物情報に基づく画像が前記撮影画像に付加された第１画像を表示手段に表示させ、前記認識手段が前記対象物を認識しない場合、前記第１画像とは異なる第２画像であって前記対象物情報に基づく画像を含む第２画像を、前記表示手段に表示させる制御手段、
    として機能させ、
    前記制御手段は、更に、前記第２画像が前記表示手段に表示されている場合に、前記第２画像を前記第１画像に切り替えることをユーザに促すための情報を前記表示手段に表示させる、
    プログラム。
JP2019049709A 2019-03-18 2019-03-18 情報処理装置、情報処理システム及びプログラム Active JP7234718B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019049709A JP7234718B2 (ja) 2019-03-18 2019-03-18 情報処理装置、情報処理システム及びプログラム
US16/518,960 US10909376B2 (en) 2019-03-18 2019-07-22 Information processing apparatus, information processing system, and non-transitory computer readable medium storing program
CN201910833207.XA CN111724482A (zh) 2019-03-18 2019-09-04 信息处理装置、信息处理系统、记录媒体及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049709A JP7234718B2 (ja) 2019-03-18 2019-03-18 情報処理装置、情報処理システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2020155816A JP2020155816A (ja) 2020-09-24
JP7234718B2 true JP7234718B2 (ja) 2023-03-08

Family

ID=72515166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049709A Active JP7234718B2 (ja) 2019-03-18 2019-03-18 情報処理装置、情報処理システム及びプログラム

Country Status (3)

Country Link
US (1) US10909376B2 (ja)
JP (1) JP7234718B2 (ja)
CN (1) CN111724482A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7555706B2 (ja) * 2019-12-27 2024-09-25 キヤノン株式会社 プログラム、情報処理装置、及び情報処理方法
EP4033397A1 (en) 2021-01-21 2022-07-27 ABB S.p.A. A computer-implemented method for assisting a user in interacting with an electronic relay for electric power distribution grids

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185863A (ja) 2017-04-21 2018-11-22 富士ゼロックス株式会社 情報処理装置およびプログラム

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042169A (ja) * 2000-07-06 2002-02-08 Infiniteface.Com Inc 三次元画像提供システム及び方法並びにモーフィング画像提供システム及び方法
JP3826009B2 (ja) * 2001-10-16 2006-09-27 キヤノン株式会社 情報処理装置、印刷ジョブ出力方法、及びコンピュータプログラム
WO2004009361A1 (ja) * 2002-07-22 2004-01-29 Fuji Xerox Co., Ltd. ネットワーク印刷システム、ネットワーク印刷用装置及びネットワーク印刷方法
JP3903024B2 (ja) * 2002-08-05 2007-04-11 キヤノン株式会社 出力管理方法及び情報処理装置
JP2004317585A (ja) * 2003-04-11 2004-11-11 Mitsubishi Electric Corp 蓋付モニタ
JP4054755B2 (ja) * 2003-12-03 2008-03-05 キヤノン株式会社 代行印刷システム、情報処理装置、及び制御方法
WO2006013621A1 (ja) * 2004-08-03 2006-02-09 Fujitsu Limited 機器の構成認識システム、構成認識方法及び構成認識プログラム
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP5022804B2 (ja) * 2006-09-19 2012-09-12 株式会社リコー 経路検索サーバ、経路検索システム、経路検索方法及び経路検索プログラム
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
US8773689B2 (en) * 2008-04-14 2014-07-08 Xerox Corporation Resubmission to alternate printers to help efficient printing and space planning
RU2011116314A (ru) * 2008-09-26 2012-11-10 Даймо (Be) Принтер для печати этикеток
JP5648282B2 (ja) * 2009-12-24 2015-01-07 富士ゼロックス株式会社 画面管理装置及びプログラム
EP2528741B1 (en) * 2010-01-29 2014-12-10 Brother Kogyo Kabushiki Kaisha Ink cartridge, recording device, and method for controlling recording device
JP5562128B2 (ja) * 2010-06-10 2014-07-30 キヤノン株式会社 出力制御情報を抽出可能な装置、その制御方法およびプログラム
US8384941B2 (en) * 2010-06-21 2013-02-26 Xerox Corporation System and method for enabling an environmentally informed printer choice at job submission time
JP2012080520A (ja) * 2010-09-09 2012-04-19 Canon Inc 文書管理システムおよび文書管理システムを構成する画像形成装置、サーバ並びにその方法及びプログラム。
JP5682815B2 (ja) * 2011-01-27 2015-03-11 コニカミノルタ株式会社 情報処理装置、画像形成装置、およびプログラム
US8738754B2 (en) * 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
JP5787193B2 (ja) * 2011-05-09 2015-09-30 ブラザー工業株式会社 インクカートリッジ及び記録装置
JP5857450B2 (ja) * 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
GB2491393A (en) * 2011-06-02 2012-12-05 Canon Europa Nv A method of displaying the energy consumption of a printer within a printing network
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US20140368859A1 (en) * 2011-10-17 2014-12-18 Google Inc. Virtual print queue for roving printing in a cloud-based print service
US8953192B2 (en) * 2011-10-17 2015-02-10 Google Inc. Roving printing in a cloud-based print service using a mobile device
JP2013091265A (ja) * 2011-10-26 2013-05-16 Oki Data Corp 画像形成装置、画像形成システム、および印刷制御プログラム
US20130169996A1 (en) * 2011-12-30 2013-07-04 Zih Corp. Enhanced printer functionality with dynamic identifier code
US20140211255A1 (en) * 2013-01-30 2014-07-31 Seiko Epson Corporation Control system and control method of a control system
US9423985B2 (en) * 2013-06-24 2016-08-23 Ricoh Company, Ltd. Managing web applications on multi-function peripherals
JP5962690B2 (ja) * 2014-02-21 2016-08-03 コニカミノルタ株式会社 管理サーバー、接続支援方法および接続支援プログラム
US10282619B2 (en) * 2014-03-10 2019-05-07 Sony Corporation Processing apparatus, storage medium, and control method
JP6320112B2 (ja) * 2014-03-27 2018-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US20150350468A1 (en) * 2014-05-30 2015-12-03 Toshiba Tec Kabushiki Kaisha Automatic detection of recently used multifunction peripheral
JP6357918B2 (ja) * 2014-06-27 2018-07-18 ブラザー工業株式会社 情報処理プログラム、情報処理装置および情報処理装置の制御方法
JP6204882B2 (ja) * 2014-07-16 2017-09-27 キヤノン株式会社 情報処理装置、制御方法、並びにプログラム
WO2016017144A1 (en) * 2014-07-31 2016-02-04 Seiko Epson Corporation Display device, control method for display device, and program
US9911273B2 (en) * 2014-08-06 2018-03-06 Kenny Phan Facilitating access to a target device
JP6442950B2 (ja) * 2014-09-24 2018-12-26 富士ゼロックス株式会社 画像形成装置及びプログラム
RU2602386C1 (ru) * 2015-05-26 2016-11-20 Общество с ограниченной ответственностью "Лаборатория 24" Способ визуализации объекта
US10281976B2 (en) * 2015-07-07 2019-05-07 Seiko Epson Corporation Display device, control method for display device, and computer program
US20170076428A1 (en) * 2015-09-14 2017-03-16 Canon Kabushiki Kaisha Information processing apparatus
JP5981006B1 (ja) * 2015-09-14 2016-08-31 株式会社コロプラ 視線誘導のためのコンピュータ・プログラム
US10122888B2 (en) * 2015-10-26 2018-11-06 Ricoh Company, Ltd. Information processing system, terminal device and method of controlling display of secure data using augmented reality
JP6646208B2 (ja) * 2015-10-28 2020-02-14 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US10075845B2 (en) * 2015-10-29 2018-09-11 Ricoh Company, Ltd. Authentication system, terminal apparatus, and authentication method
JP2017081138A (ja) * 2015-10-30 2017-05-18 京セラドキュメントソリューションズ株式会社 画像形成装置及びプリントジョブ管理プログラム
JP6577347B2 (ja) * 2015-11-20 2019-09-18 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
US9766847B1 (en) * 2016-03-15 2017-09-19 Kyocera Document Solutions Inc. Management of an image forming apparatus using test page data
JP6024848B1 (ja) * 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
JP2017220858A (ja) * 2016-06-09 2017-12-14 富士ゼロックス株式会社 処理システム、情報処理装置、処理装置およびプログラム
JP6458783B2 (ja) * 2016-07-28 2019-01-30 京セラドキュメントソリューションズ株式会社 画像形成装置
KR20180014495A (ko) * 2016-08-01 2018-02-09 삼성에스디에스 주식회사 객체 인식 장치 및 방법
KR20180042589A (ko) * 2016-10-18 2018-04-26 디에스글로벌 (주) 사용자 편집 이미지를 이용한 증강현실 콘텐츠 제공 방법 및 시스템
CN108227914B (zh) * 2016-12-12 2021-03-05 财团法人工业技术研究院 透明显示装置、使用其的控制方法及其控制器
US20180189685A1 (en) * 2017-01-04 2018-07-05 GM Global Technology Operations LLC System and method to identify a vehicle fiducial marker
JP6903998B2 (ja) * 2017-03-29 2021-07-14 セイコーエプソン株式会社 ヘッドマウントディスプレイ
JP6855350B2 (ja) * 2017-08-08 2021-04-07 アルパイン株式会社 ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018185863A (ja) 2017-04-21 2018-11-22 富士ゼロックス株式会社 情報処理装置およびプログラム

Also Published As

Publication number Publication date
CN111724482A (zh) 2020-09-29
US10909376B2 (en) 2021-02-02
US20200302172A1 (en) 2020-09-24
JP2020155816A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US11714523B2 (en) Digital image tagging apparatuses, systems, and methods
US8379098B2 (en) Real time video process control using gestures
JP6573755B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
CN107659769B (zh) 一种拍摄方法、第一终端及第二终端
JP6439806B2 (ja) ロボット装置及びプログラム
JP7234718B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2019049902A (ja) 情報処理装置及びプログラム
JP2019050520A (ja) 情報処理装置及びプログラム
JP2019050519A (ja) 情報処理装置及びプログラム
JP7214963B2 (ja) 情報処理装置及びプログラム
US8953050B2 (en) Interaction with electronic device recognized in a scene captured by mobile device
JP2016081428A (ja) 情報端末、情報処理装置、およびプログラム
JP6708384B2 (ja) 出力制御装置、出力制御方法、設定装置、設定方法、及びプログラム
JP2015080067A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2019159848A (ja) 情報処理装置及びプログラム
JP2022014758A (ja) 情報処理装置及びプログラム
JP2019077033A (ja) 情報処理装置及びプログラム
JP6387205B2 (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
JP6909022B2 (ja) プログラム、情報端末、情報表示方法及び情報表示システム
JP2008131174A (ja) 画像処理システム及び画像処理プログラム
JP7119445B2 (ja) 情報処理装置及びプログラム
JP7351089B2 (ja) 情報処理装置及びプログラム
JP2012074999A (ja) 画像データ伝送システム、サーバ装置、クライアント端末、画像データ伝送方法、及び制御プログラム
JP2013250479A (ja) 情報表示装置、プログラムおよび情報記録媒体
JP6721024B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7234718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150