JP6992342B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP6992342B2 JP6992342B2 JP2017176001A JP2017176001A JP6992342B2 JP 6992342 B2 JP6992342 B2 JP 6992342B2 JP 2017176001 A JP2017176001 A JP 2017176001A JP 2017176001 A JP2017176001 A JP 2017176001A JP 6992342 B2 JP6992342 B2 JP 6992342B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- attribute information
- specified
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 104
- 230000008569 process Effects 0.000 claims description 100
- 238000004891 communication Methods 0.000 claims description 46
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 59
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 29
- 238000001514 detection method Methods 0.000 description 8
- 239000002689 soil Substances 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 101100264195 Caenorhabditis elegans app-1 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Robotics (AREA)
- User Interface Of Digital Computer (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
Description
請求項2に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、ことを特徴とするプログラムである。
請求項3に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、情報処理装置である。
請求項4に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、ことを特徴とするプログラムである。
請求項5に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置である。
請求項6に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、ことを特徴とするプログラムである。
請求項7に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置である。
請求項8に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、ことを特徴とするプログラムである。
請求項9に記載の発明は、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、を有し、前記制御部は、前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、情報処理装置である。
請求項10に記載の発明は、コンピュータに、属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、を実現させるためのプログラムであり、前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、ことを特徴とするプログラムである。
請求項2記載の発明によれば、動画像の再生時刻に応じた処理を実行できる。
請求項3記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項4記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項5記載の発明によれば、画像上で指定した被写体の部位に応じて連携動作の内容を切り替えることができる。
請求項6記載の発明によれば、画像上で指定した被写体の部位に応じて連携動作の内容を切り替えることができる。
請求項7記載の発明によれば、画像上での被写体の表示の状態に応じて連携動作の内容を切り替えることができる。
請求項8記載の発明によれば、画像上での被写体の表示の状態に応じて連携動作の内容を切り替えることができる。
請求項9記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
請求項10記載の発明によれば、画像上で指定した被写体に対応する物体が通信機能を有しない場合でも通信機能を有する機器を通じて処理を実行できる。
<実施の形態1>
本実施の形態では、便宜的にJPEGフォーマットに準拠したJPEGファイルの例を説明するが、他の画像フォーマットに対応する他の画像ファイルに適用してもよい。
図1は、本実施の形態で使用するJPEGファイル10のデータ構造を示す図である。JPEGファイル10は、画像ファイルの一例であり、JPEGフォーマットに準拠する。
イメージ開始セグメント11とイメージ終了セグメント15で挟まれた領域はフレームとも呼ばれる。
なお、図1では表していないが、JPEGファイルには、不図示の2つのセグメント、すなわち量子化テーブル定義セグメント(Define Quantization Table segment: DQT)、ハフマンテーブル定義セグメント(Define Huffman Table segment: DHT)も含まれている。これら以外のセグメントは、必要に応じて配置される。
タイプ1のアプリケーションセグメント12とタイプ11のアプリケーションセグメント13は、JPEGファイル10の属性情報16の一部分である。属性情報16は第2のデータ領域の一例である。
タイプ11のアプリケーションセグメント13に格納される情報の個数はゼロでもよいし、1個でもよいし、3個以上でもよい。以下では、情報13A及び13Bを区別しない場合には単に情報13Aという。
例えば情報13Aは、第1の言語(例えば日本語、第1のOS用)による処理に用いられ、情報13Bは、第2の言語(例えば英語、第2のOS用)による処理に用いられてもよい。いずれの言語でワークフロー処理を実行するかは、例えばユーザが選択画面を通じて指定すればよい。
個々のワークフロー処理には、例えば情報13A及び13Bに対応するオブジェクトに関する情報の保存、表示、集計、送信、取得などが含まれる。オブジェクトに関する情報は、インターネット上に存在する情報の他、実物に保持される情報、実物を撮影した画像、実物について実空間で管理されている情報などが含まれる。
また例えば2つの情報13A及び13Bはいずれも、1つの機器の操作の種類別に設けられていてもよい。例えば情報13Aはテレビジョン受像機のチャンネルの操作用、情報13Bはテレビジョン受像機の電源ボタンの操作用であってもよい。
例えば情報13A及び13Bは、テキストデータの形式で記述される。本実施の形態では、情報13A及び13Bの記述にデータ交換フォーマットの一例であるJSON(Java Script Object Notation)を使用する。JSON(登録商標)は、JavaScript(登録商標)におけるオブジェクトの表記法の一部を構文のベースに使用する言語である。勿論、ワークフロー処理の記述に用いる言語はJSONに限らない。
図2は、本実施の形態で使用する画像処理システム100の構成例を示す図である。
画像処理システム100は、静止画像111(例えば電子写真)の表示に使用される携帯型のコンピュータ110と、コンピュータ110と連携して処理機能の一部又は全部を実行するサーバ装置120と、静止画像111の撮影場所に対応する実空間150に存在する機器とで構成されている。
コンピュータ110とサーバ装置120は情報処理装置の一例である。もっとも、サーバ装置120は必須ではない。
本実施の形態におけるコンピュータ110は、図2に示すようなノート型のコンピュータに限らず、タブレット型のコンピュータ、スマートフォン、携帯電話機、カメラ、携帯型のゲーム機などもよい。
図2に示す実空間150は、ある室内を表している。実空間150には、用紙等の記録材に画像を形成する機能や光学的に原稿の画像を読み取る機能などを有する画像形成装置151と、放送番組等を表示する表示装置152と、動画像や音(以下「動画像など」という)を記録媒体に記録し又は記録媒体から動画像などを再生する録画再生機153と、人154と、植木155と、空調機156と、監視カメラ157とが存在している。
なお、実空間150は室内に限定されるものでなく、室外であってもよい。
図3に示す画面は、操作画面110Aとタスクバー110Bとで構成されている。このうち操作画面110Aには、実空間150(図2参照)を撮影した静止画像111が小画面(ウィンドウ)の形式で表示されている。操作位置の指定にはマウスポインタ112が用いられる。タスクバー110Bには、起動中の3つのアプリケーションのアイコン113と、現在時刻114とが表示されている。
図3に示す静止画像111には、画像形成装置の像201、表示装置の像202、録画再生機の像203、人の像204、植木の像205、空調機の像206、監視カメラの像207が含まれている。
静止画像111のデータは、JPEGファイル10(図1参照)のイメージデータ14(図1参照)の部分に保存されている。本実施の形態の場合、JPEGファイル10の属性情報16(図1参照)の部分に、静止画像111に含まれる7つの像のうち少なくとも1つに対応付けて、各像に固有のワークフローを規定する情報13Aが記述されている。
コンピュータ110は、装置全体を制御する制御部131と、JPEGファイル10等の記憶に用いられる記憶部132と、操作画面110A(図3参照)の表示に使用される表示部133と、ユーザの入力操作を受け付ける操作受付部134と、外部装置(例えばサーバ装置120(図1参照))や実空間150(図1参照)との通信に用いられる通信部135とを含む。前述した各部はバス136を通じて相互に接続されている。
ROM131Bには、CPU131Aにより実行されるBIOS(Basic Input/Output System)やオペレーションシステム(OS)が記憶されている。
RAM131Cはアプリケーションプログラムの作業領域として用いられる。
制御部131は、アプリケーションプログラムの実行を通じ、前述した情報13A、13Bが規定するワークフロー処理を実行する。ワークフロー処理の具体例については後述する。
表示部133は、プログラム(オペレーションシステムやファームウェアを含む)の実行を通じて各種の画像を表示するディスプレイ装置である。表示部133は、例えば液晶ディスプレイパネルや有機EL(Electro Luminescence)ディスプレイパネルで構成される。
操作受付部134は、ユーザからの操作を受け付けるデバイスであり、例えばキーボード、ボタン、スイッチ、タッチパッド、タッチパネル等で構成される。
通信部135は、例えばLAN(Local Area Network)インターフェースで構成される。
図5に示す機能構成は、制御部131によるアプリケーションプログラムの実行を通じて実現される。
制御部131は、操作受付部134を通じて入力のあったユーザの指示を認識する指示認識部141と、指定された像(オブジェクト)に対応する情報13A(図1参照)を読み出して実行する実行制御部142として機能する。
ここでの指示認識部141は認識部及び検出部の一例であり、実行制御部142は制御部の一例である。
像の全体をオブジェクトとする場合、ユーザの指示位置は、静止画像111について定められた座標系(例えば静止画像111の左上隅を原点とする座標系)に対する座標(ピクセル値,ピクセル値)として与えられる。指示位置は、静止画像111に重ねて表示されるマウスポインタ112(図3参照)の位置として認識してもよく、操作画面110Aに対して手前(ユーザ側)に配置されたタッチパネルセンサをユーザがタッチした位置として認識してもよい。
図6は、実施の形態1における制御部131(図4参照)によって実行される処理動作の一例を示すフローチャートである。
まず、制御部131は、表示部133(図4参照)に表示されている静止画像111(図3参照)に対応するJPEGファイル10(図1参照)から属性情報16(図1参照)を読み込む(ステップ1)。
続いて、制御部131は、マウスポインタ112で指定された位置にJSON形式の記述(すなわち情報13A)が存在するか否かを判定する(ステップ3)。
マウスポインタ112で指定された位置は、不図示のマウスにおいて位置を特定する操作(例えば左クリック)が行われた時点にマウスポインタ112が位置している座標である。
制御部131は、マウスポインタ112の位置が属性情報16に記憶されている情報13Aの領域(オブジェクト)に含まれているか否かを判定する。具体的には、制御部131は、マウスポインタ112の位置が、情報13Aが対応する個々の像の領域(オブジェクト)又は像の一部の領域(オブジェクト)に含まれるか否かを判定する。本実施の形態の場合、オブジェクトに対して情報13Aが登録されている。
一方、指示認識部141で認識されたマウスポインタ112の位置が、情報13Aが対応付けられている領域(オブジェクト)に含まれる場合、制御部131は、JSON形式の記述を解読し、マウスポインタ112の位置に関連のある実空間150(図2参照)の情報(実空間情報)を取得する(ステップ4)。
実空間情報の取得には、例えば属性情報16(図1参照)に含まれる撮影時のGPS(Global Positioning System)情報が用いられる。また、実空間情報の取得には、例えば被写体である各製品に固有の製造番号、通信ネットワーク上で各機器を特定するアドレス等が用いられる。
通信ネットワークに制限はなく、例えばいわゆるインターネット、携帯電話網、IoT(Intranet of Things)ネットワーク、電力線通信網を用いてもよい。なお、通信ネットワークは無線路でも有線路でも構わない。また、コンピュータ110(図2参照)と各機器との通信は直接通信である必要はなく、ゲートウェイやルータを介した接続でもよい。また、マルチホップで接続されてもよい。
また、本実施の形態の場合、実空間情報を取得できればよいので、必ずしも個々の機器を指定して通信する必要はなく、撮影場所である部屋や地点に存在する機器との通信を可能とするアドレスを情報13A(図1参照)として記録し、当該アドレスを使用して通信できた機器との間で必要とする又は取得可能な実空間情報を収集してもよい。
また、情報13Aに位置情報が含まれていなくても、指定された像に対応する又は関連する機器を特定する情報と利用可能な位置データベース等を使用して特定の機器との通信に必要なアドレスを解決してもよい。
このような場合には、属性情報16に含まれる撮影時のGPS情報、これらの像に対応する情報13Aとして対応付けられている通信可能な機器に関する位置情報等を使用してもよい。例えば植木の像205に対して監視カメラの像207(図3参照)を指定しておくことも可能である。
温度、湿度、照度などは、静止画像111を撮像した場所に設置されているセンサから取得される値だけでなく、静止画像111を撮像した場所の周囲(例えば撮影場所である部屋の外部)に設置されているセンサから取得される値でもよい。また、天候についても、静止画像111を撮影した場所を含む地域について気象庁や民間の気象事業者等から公表されている情報を取得してもよい。
この他、取得される実空間情報には、個々の機器で発生される又は収集される情報、監視カメラの像207(図3参照)によって撮像される画像なども含まれる。
本実施の形態における実空間情報は、ユーザが静止画像111に対して操作を行った時点(特定の被写体の指定が認識された時点)における情報とする。すなわち、操作時点と同期して利用可能な最新の情報を想定するが、過去の時点を指定することも可能である。
なお、本実施の形態では、実空間情報の取得(ステップ4)とワークフロー処理の実行(ステップ5)とを別々に実行しているが、実空間情報の取得はワークフロー処理の動作の一部として実行しても良い。
以下、属性情報16に記述された情報13A(タイプ11のアプリケーションセグメント)で規定されるワークフロー処理の実行を通じて実現可能な利用形態について説明する。
なお、各利用形態で用いるワークフロー処理や実空間情報は例示にすぎない。
図7は、各利用形態で前提とする実空間150と、コンピュータ110(図2参照)の操作画面110A(図3参照)に表示される静止画像111の関係を表す図である。(a)は実空間150を示し、(b)は静止画像111を示す。
一方、実空間150の過去の一時点の状態である静止画像111では、被写体である表示装置152の画面に18チャンネルの画面が表示されている。また、静止画像111には1人(人の像204)だけが写っている。
ここでは、コンピュータ110(図2参照)が、静止画像111上で指定された像に対応する実物の機器と通信し、実物の機器から取得された情報に基づいて静止画像111の該当する機器の表示に変化を与える場合について説明する。
図8は、利用形態1に係るワークフロー処理の一例を説明する図である。(a)は像の1つが選択されるまでの静止画像111の表示状態を示し、(b)は像の1つが選択された後の静止画像111の表示状態を示す。
この状態で、不図示のマウスが左クリックされてマウスポインタ112の位置が特定されると、コンピュータ110(図2参照)は、特定されたマウスポインタ112の位置に対応する情報13Aで規定されているワークフロー処理を起動する。
次に、コンピュータ110は、静止画像111上で特定された表示装置の像202(属性情報16ではオブジェクトとして管理されている)に対応付けられている実在の表示装置152(図2参照)を宛先として、現時点における動作状況の通知を要求する。
この問い合わせは、例えばIoTネットワーク上の通信として実現される。この例の場合、現在、表示装置152の電源がオンであること、16チャンネルの番組が表示されていること等が表示装置152からコンピュータ110に通知される。
変化後に表示される表示画面は、チャンネル別に予め用意されている固定の画像でも、放送中の番組からキャプチャ―された画像でもよい。
これらの画像は、コンピュータ110の記憶部132(図4参照)から読み出してもよいし、表示装置152(図2参照)から取得してもよいし、ワークフロー処理に関連するサービスを提供するサーバ装置120(図2参照)から取得してもよい。
もっとも、表示装置152に表示されている画像が録画再生機153(図2参照)から再生されている画像の場合には、表示装置152でキャプチャされた画像を使用してもよい。
もっとも、表示装置152の画面上に、実在する表示装置152の現時点の表示が16チャンネルであることをテキストによって表示してもよい。
なお、静止画像111に写っている空間がプライベートな空間である場合には、例えばスマートフォンなどを通じてホームネットワーク(家庭内LAN)にアクセスし、家庭内に存在するIoTデバイスと通信することで必要とする情報を収集し、静止画像111に写っている他の像についても現在の状態に応じて表示を変更してもよい。
ここでは、コンピュータ110(図2参照)が、静止画像111上で指定された像に対応する実物の機器と通信し、実物の機器から取得された情報に基づいてユーザに特定の行動を促す通知画面を表示する場合について説明する。
図9は、利用形態2に係るワークフロー処理の一例を説明する図である。(a)は像の1つが選択されるまでの静止画像111の表示状態を示し、(b)は像の1つが選択された後の静止画像111の表示状態を示す。
この状態で、不図示のマウスが左クリックされてマウスポインタ112の位置が特定されると、コンピュータ110(図2参照)は、特定されたマウスポインタ112の位置に対応する情報13Aで規定されているワークフロー処理を起動する。
次に、コンピュータ110は、静止画像111上で特定された空調機の像206(オブジェクト)に対応付けられている実在の空調機156(図2参照)を宛先として、現時点における動作状況の通知を要求する。この問い合わせは、例えばIOTネットワーク上の通信として実現される。この例の場合、現在、空調機156の電源がオフであること、室温が28℃であること等がコンピュータ110に通知される。なお、温度センサは空調機に内蔵されている。
なお、実在する空調機156がオン動作している場合には、通知画面210を静止画像111に重ねて表示することなく、目標温度に室温が下がるように設定温度を下げる制御信号をコンピュータ110から空調機156に送信してもよい。
ここでの目標温度は情報13Aの一部として記憶されていてもよいし、コンピュータ110側のプログラム(情報13Aで規定されたワークフロー処理と連携して動作するアプリケーションプログラム)で規定されていてもよい。なお、アプリケーションプログラムはコンピュータ110で実行されている。
図10では、オンボタンとオフボタンのうちオンボタンがマウスポインタ112で選択された状態を表している。なお、設定温度や目標温度の入力用の画面が表示されてもよい。
図10の場合には、静止画像111上での空調機の像206の指定に伴って実行されるワークフロー処理の過程で操作画面211が表示されるので、操作時点の室温を確認しながら実在する空調機156を遠隔地からでも操作できる。
ここでの操作画面211は、機器が有する機能を操作するための画面の一例である。
また、図9及び図10では、静止画像111に写っている被写体のうち空調機の像206がユーザによって指定された場合において、実在する空調機156から取得した室温の情報に基づいて通知画面210や操作画面211を表示しているが、取得した室温の情報に基づいて空調に関連する他の機器(例えば扇風機)に対しても制御信号を送信してもよい。
図11は、利用形態2に係るワークフロー処理の他の一例を説明する図である。(a)は像の1つが選択された後の静止画像111の表示状態を示し、(b)は通知画面の他の表示例を示す。
図11の例では、画像形成装置の像201の表示が、実在する画像形成装置151の状態に応じて変化した後の様子が表されている。具体的には、画像形成装置の像201の前扉が開いており、内部を確認できる状態にあることを示している。
なお、遠隔操作によって扉を閉じることが可能な機構が画像形成装置151に設けられている場合にはコンピュータ110の制御によって扉を閉じる信号が出力されてもよいし、予め登録されている事業者に対して黒トナーを発注する信号が送信されてもよい。
前述した利用形態1及び2の場合には、静止画像111で指定された像(オブジェクト)が通信機能を有する機器の像であった。しかし、現実には、被写体のいずれもが通信機能を有しているとは限らない。
そこで、この利用形態3では、静止画像111上で指定された像(オブジェクト)に対応する実物に通信機能が備わっていない場合について説明する。
この状態で、不図示のマウスが左クリックされてマウスポインタ112の位置が特定されると、コンピュータ110(図2参照)は、特定されたマウスポインタ112の位置に対応する情報13Aで規定されているワークフロー処理を起動する。
この例の場合、指定されたのは植木の像205であるので通信機能を有していないので、実施の形態1及び2のように、マウスポインタ112で指定された対象物との通信は不可能である。
このような場合は、像とは別の物体を通信対象として登録しておくことで、実空間情報を取得できるようにしておく。
コンピュータ110は、取得された画像を処理し、実在する植木155の現在の状況に応じて静止画像111上での植木の像205の表示を変化させる。
なお、成長したことが分かればよいので必ずしも実像である必要はない。例えばテキスト文で現状が表示されてもよい。また、画像処理で認識された成長段階と類似する段階のサンプル画像をデータベース等から読み出して置き換えてもよい。
また、画像処理で認識された成長段階に応じた手入れの内容や手入れの時期、手入れの際の注意点、収穫時期等に関する情報を表示してもよい。
図13は、利用形態3に係るワークフロー処理の他の一例を説明する図である。(a)は像の1つが選択されるまでの静止画像111の表示状態を示し、(b)は像の1つが選択された後の静止画像111の表示状態を示す。
図13においては、土が乾いていること、水をやるべきであることを示す通知画面213が表示されている。
なお、この利用形態では、植木の像205に対して監視カメラ157が通信先として登録されているが、植木155の土に差し込まれている湿度センサが通信先として登録されていてもよい。この場合は、湿度センサで計測された湿度の値がコンピュータ110に通知されることになる。湿度センサを通信先とすることで、監視カメラ157を用いて土の乾燥具合を判定する場合よりも高い精度で土壌の乾燥具合を知ることができる。
ここでは、静止画像111上で複数の被写体の像が指定された場合のワークフロー処理について説明する。
図14は、利用形態4に係るワークフロー処理の一例を説明する図である。(a)は静止画像111上で2つの像が順番に選択される様子を示し、(b)は実空間における動作状況を示す。
図14では、表示装置の像202と録画再生機の像203が順番にクリックされた場合を想定している。この場合、コンピュータ110(図2参照)は、1番目に表示装置の像202がクリックされ、2番目に録画再生機の像203がクリックされた場合に対応する情報13Aを属性情報16から読み出し、実空間情報を考慮して実在する表示装置152と録画再生機153に対する制御動作を決定する。
図15の場合も、表示装置の像202と録画再生機の像203がクリックされている。ただし、クリックの順番が逆である。すなわち、録画再生機の像203のクリックの後に表示装置の像202がクリックされた場合を想定している。
この場合、コンピュータ110(図2参照)は、1番目に録画再生機の像203がクリックされ、2番目に表示装置の像202がクリックされた場合に対応する情報13Aを属性情報16から読み出し、実空間情報を考慮して実在する表示装置152と録画再生機153に対する制御動作を決定する。
この利用形態のように、静止画像111上で複数の機器に対応する像を指定した場合には、実在する複数の機器から取得した実空間情報に基づく連携動作を制御できる。
利用形態4では、複数の被写体の像が指定された場合のワークフロー処理について説明しているが、このワークフロー処理は、被写体のどの部位がクリックされたかに応じて内容が異なってもよい。
図16は、利用形態5に係るワークフロー処理の一例を説明する図である。(a)は静止画像111上で2つの像が順番に選択される様子を示し、(b)は実空間における動作状況を示す。
ただし、図16におけるマウスポインタ112は、画像形成装置の像201のうち画像読取部(いわゆるスキャナの部分)に位置している。この場合、コンピュータ110(図2参照)は、画像読取部で読み取った画像(スキャン画像)のコンピュータ159への保存を画像形成装置151とコンピュータ159に指示する。
図17の場合には、画像形成装置の像201とコンピュータの像209が順番にクリックされている点では同じであるが、マウスポインタ112が画像形成装置の像201のうち本体部分に位置している点で図16の例とは相違する。
この場合、コンピュータ110(図2参照)は、画像形成装置151に蓄積されている操作ログのコンピュータ159への出力を画像形成装置151とコンピュータ159に指示する。
このように、クリックされる像(オブジェクト)だけでなく、どの部位がクリックされたかにも意味を持たせることで、より多様なワークフロー処理を実現することができる。
図18の場合では、画像形成装置の像201とコンピュータの像209とでクリックの順番が図16と入れ替わった場合である。すなわち、1番目にコンピュータの像209がクリックされ、2番目に画像形成装置の像201のうち操作盤の位置がクリックされた場合を表している。
この際、静止画像111を表示しているコンピュータ110の画面には、実空間情報としてFAX送信の対象とする画像を選択する画面や画像形成装置151に蓄積されている宛先を選択する画面が表示される。
図19の場合も、1番目にコンピュータの像209がクリックされ、2番目に画像形成装置の像201がクリックされている点では図18の例と同じであるが、画像形成装置の像201のうち本体の部分がクリックされた場合を表している。
このように、1つの像に対して複数のオブジェクトが登録されている場合には、クリックされる像(オブジェクト)だけでなく、どの部位がクリックされたかに応じた動作の指定が静止画像111に対する操作によって実現される。
前述した利用形態3及び4の場合には、静止画像111で複数の像(オブジェクト)が指定された場合における実在する機器間の連携動作について説明しているが、静止画像111における表示の状態を反映して連携動作の内容が切り替わる場合も考えられる。
図20は、利用形態6に係るワークフロー処理の例を説明する図である。(a)は実在する機器の状態を反映して表示が変化している静止画像111において2つの像が順番に指定された場合を示し、(b)は実空間の様子を示す。
ここでは、画像形成装置の像201のうち前扉が開くことで外部からの確認が可能になったトナーの部分がクリックされた後、コンピュータの像209がクリックされた場合を表している。
なお、前扉が開いた状態の部位がオブジェクトとして登録されている場合には、このオブジェクトに対応する情報13Aを読み出して同様の処理を実行してもよい。
図20との違いは、静止画像111上で、1番目に前扉の位置がクリックされ、2番目に実在するロボットの像210がクリックされている点である。
この場合、コンピュータ110は、実空間150におけるロボット160に対し、画像形成装置151の位置への移動と、前扉の閉操作とを指示する。ここでのロボット160は、自走式の移動機構(例えばタイヤ、キャタピラ、自立歩行のための機構等)と、目標物を認識するためのカメラと、可動式の腕などを備えている。
図21では、実空間150において、画像形成装置151の前扉がロボット160によって閉じられた後の様子を表している。
前述の利用形態では、静止画像111上で指定される複数の像がいずれも機器と機器の組み合わせであったが、指定の組み合わせは、機器と非機器(例えば人、ペット、植物)や非機器と非機器の場合も考えられる。
図22は、利用形態7に係るワークフロー処理の他の例を説明する図である。(a)は静止画像111上で2つの像が順番に選択される様子を示し、(b)は実空間における動作状況を示す。
前述の実施の形態1の説明では、JPEGファイル10(図1参照)の属性情報16(図1参照)に静止画像111(図1参照)に含まれる各像に関連するワークフロー処理を記述した情報13Aが登録されているものとして、情報13Aを読み出したコンピュータ110(図1参照)を通じて実現される利用形態について説明した。
ここでは、実施の形態2として、JPEGファイル10の属性情報16に情報13Aを記録するための処理機能について説明する。
本実施の形態における制御部131は、ユーザが指定するオブジェクトの領域を検出する位置検出部143と、JPEGファイル10のイメージデータ14(図1参照)から画像処理技術を使用してオブジェクトとして登録する像の領域を検出するオブジェクト検出部144と、検出された各領域に対応付けるワークフロー処理の記述を対応付けて属性情報16を生成する属性情報生成部145として機能する。
位置検出部143は、この領域115を規定する座標情報として、例えばドラッグの開始点である左上隅の座標値、ドラッグが終了した時点までに垂直方向に移動した画素数と水平方向に移動した画素数を出力する。
なお、像に対応する実空間の物体が機器である場合には、静止画像111を撮像する時点にIoTネットワークを通じて各機器を特定する製造番号やIoTネットワーク上のアドレスの情報を収集しておき、静止画像111と対応付けるようにすれば、個々の機器の製造番号等を手入力する手間を省くことができる。
なお、実施の形態1で説明したように、各像に対応付ける実空間の物体は、各像に対応する実物である必要はない。
このように、既存のJPEGファイル10にワークフロー処理を規定する情報13Aを後から追記してもよい。
例えば静止画像111(図24参照)で指定されたのが画像形成装置の像201の場合(換言すると機器の像が指定された場合)、属性情報生成部145は、画像形成装置の像201の制御を規定する内容をデータベース(不図示)から読み出して適用してもよい。
例えば静止画像111(図24参照)で指定されたのが植木の像205の場合(換言すると操作できない物体の像が指定された場合)、属性情報生成部145は、植木の像205に関する情報の表示を規定する内容をデータベース(不図示)から読み出して適用してもよい。
また例えば、属性情報生成部145は、静止画像111が撮影された日時に応じた情報をデータベース(不図示)から読み出して適用してもよい。撮影の日時は、例えば属性情報16にExif情報として記述されている。
図26の例では、静止画像111にレストランの像215と街灯の像216が含まれており、マウスポインタ112によってレストランの像215の領域115が指定されている。ここでの属性情報生成部145(図23参照)は、「ランチメニューを取得して表示する」との内容のワークフロー処理をデータベース(不図示)から読み出して属性情報16に記述している。
図27の場合も、静止画像111にレストランの像215と街灯の像216が含まれており、マウスポインタ112によってレストランの像215の領域115が指定されている。ここでの属性情報生成部145(図23参照)は、「ディナーメニューを取得して表示する」との内容のワークフロー処理をデータベース(不図示)から読み出して属性情報16に記述している。
なお、属性情報生成部145は、撮影の日付より、撮影された季節(例えば春、夏、秋
、冬)に応じて属性情報16に記述するワークフロー処理の内容を決定してもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述した実施の形態に記載の範囲には限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、画像のファイルフォーマットの例として静止画像のJPEGファイル10を例示したが、適用可能なファイルフォーマットは静止画像やJPEGファイルに限らず、動画像やJPEG以外のファイルフォーマットにも適用できる。
図28に示す例は、コンピュータ110の操作画面110Aに動画像116が表示されている場合を表している。動画像116には、各フレームの時間軸上の位置を表す情報(時、分、秒、フレームなど)が記録されている。
図28の例では、再生開始から1分後と3分後に、マウスポインタ112によって画像形成装置の像201がクリックされた場合を表している。なお、操作画面110Aに表示されているのは動画像116であるので、図示されていない期間の表示は任意である。
なお、この例では、マウスポインタ112による像の指定と同時に情報13Aに記述されているワークフロー処理が実行される場合を想定しており、ワークフロー処理の過程で操作を指示する画面が表示される場合には実行ボタンなどが操作された後に画像形成装置151に対する指示が送信される。
図28の例では、再生開始から1分後と3分後に表示されている像が同じであったが、図29の例では像が異なる場合を示している。因みに、図29の例では、再生開始から1分後は画像形成装置の像201が表示され、3分後にはロボットの像210が表示されている。図29の例では、再生開始から1分後に画像形成装置151に対して印刷が指示されているのに対し、再生開始から3分後にロボット160に対して移動が指示されている。
以上のように、動画像の場合には、各時点(フレーム)における属性情報16(図1参照)に含まれる情報13A(図1参照)で規定されているワークフロー処理が実行されることになる。
図30に示す例では、コンピュータ110から各像に対応する物体(例えば画像形成装置151、ロボット160)への指示が送信されるまでの待ち時間が、再生開始から各像が指定された又はワークフロー処理の実行が指示された時点までに経過した時間に応じて定まる場合を表している。
例えば図30の場合、再生開始から1分後に画像形成装置の像201が指定されたことによる印刷の指示は更に1分後の2分の時点である。また、再生開始から3分後にロボットの像210が指定されたことによる移動の指示は更に3分後の6分の時点である。
また、前述した手法では、再生開始からの時間の経過が長いほど対応する物体への指示が送信されるまでの待機時間が長くなるが、像が指定された時点での再生時刻に応じて待機時間が定まるようにしてもよい。
いずれにしても、対応する物体への指示が送信されるまでの待機時間を、像が指定された場合の動画像の再生時刻に応じて可変することで、動画像を用いた実空間150の多様な制御を実現できる。
Claims (10)
- 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と
を有し、
前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、前記制御部は、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、情報処理装置。 - コンピュータに、
属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
を実現させるためのプログラムであり、
前記画像が動画像であって、当該画像の異なる再生時刻に、前記被写体の指定が認識された場合又は前記ワークフロー処理の実行が指示された場合、当該画像の再生が開始されてから各再生時刻までに経過した時間に応じて定まる時間だけ対応する物体への指示の送信を待機する、
ことを特徴とするプログラム。 - 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
を有し、
前記制御部は、
ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、情報処理装置。 - コンピュータに、
属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
を実現させるためのプログラムであり、
ユーザにより指定された前記被写体に対応する実空間内の物体が通信機能を有していない場合、当該被写体に対応付けられている前記属性情報に記述された機器と通信し、当該機器に対して、指定された被写体に紐付けられている前記ワークフロー処理の実行を指示する、
ことを特徴とするプログラム。 - 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
を有し、
前記制御部は、
前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置。 - コンピュータに、
属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
を実現させるためのプログラムであり、
前記画像上で被写体である複数の機器が順番に指定された場合、最初に指定された機器についてユーザが画像上で指示した部位と、次に指定された機器との組み合わせ、又は、最初に指定された機器と次に指定された機器についてユーザが画像上で指示した部位との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、
ことを特徴とするプログラム。 - 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
を有し、
前記制御部は、
前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、情報処理装置。 - コンピュータに、
属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
を実現させるためのプログラムであり、
前記画像上で被写体である複数の機器が順番に指定された場合、指定の順番と当該機器について指定された部位の外観の状態との組み合わせに応じて定まる連携動作の実行を当該複数の機器に送信する、
ことを特徴とするプログラム。 - 属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する認識部と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する制御部と、
を有し、
前記制御部は、
前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、情報処理装置。 - コンピュータに、
属性情報が対応付けられている被写体を含む画像に対するユーザの指定を認識する機能と、
ユーザによる前記画像上での前記被写体の指定が認識されたとき、当該被写体に対応付けられている前記属性情報と実空間に関する情報とに基づいて、当該属性情報が規定するワークフロー処理を実行する機能と、
を実現させるためのプログラムであり、
前記画像上で被写体である機器と、通信機能を有しない物体とが順番に指定された場合に、当該物体に対応付けられている前記属性情報に当該機器との組み合わせに応じた情報が含まれているとき、当該情報を前記機器に送信する、
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176001A JP6992342B2 (ja) | 2017-09-13 | 2017-09-13 | 情報処理装置及びプログラム |
US15/936,448 US10896219B2 (en) | 2017-09-13 | 2018-03-27 | Information processing apparatus, data structure of image file, and non-transitory computer readable medium |
CN201811013605.9A CN109492515B (zh) | 2017-09-13 | 2018-08-31 | 信息处理装置、图像文件的数据结构以及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017176001A JP6992342B2 (ja) | 2017-09-13 | 2017-09-13 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019053424A JP2019053424A (ja) | 2019-04-04 |
JP6992342B2 true JP6992342B2 (ja) | 2022-01-13 |
Family
ID=65632163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017176001A Active JP6992342B2 (ja) | 2017-09-13 | 2017-09-13 | 情報処理装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10896219B2 (ja) |
JP (1) | JP6992342B2 (ja) |
CN (1) | CN109492515B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019217163A1 (en) | 2018-05-08 | 2019-11-14 | Zermatt Technologies Llc | Techniques for switching between immersion levels |
US11468611B1 (en) * | 2019-05-16 | 2022-10-11 | Apple Inc. | Method and device for supplementing a virtual environment |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058239A (ja) | 2001-08-21 | 2003-02-28 | Inter Action Corp | インタラクティブ・状態監視・表示および駆動装置 |
JP2014191523A (ja) | 2013-03-27 | 2014-10-06 | Hitachi Ltd | エネルギー情報を表示する入退室端末、及びビル総合管理システム |
JP6179653B1 (ja) | 2016-10-19 | 2017-08-16 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP6187667B1 (ja) | 2016-10-24 | 2017-08-30 | 富士ゼロックス株式会社 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60112847U (ja) * | 1983-12-31 | 1985-07-31 | カシオ計算機株式会社 | 記録位置検出装置 |
JP4088025B2 (ja) | 2000-07-06 | 2008-05-21 | 株式会社東芝 | インターネット商品受注装置 |
US20020021304A1 (en) | 2000-08-18 | 2002-02-21 | Harutaka Eguchi | Image processing system for adding add information to image object, image processing method and medium |
JP2002132558A (ja) | 2000-08-18 | 2002-05-10 | Fujitsu Ltd | 画像処理装置、方法、媒体、およびプログラム |
JP2004120069A (ja) | 2002-09-24 | 2004-04-15 | Canon Inc | 画像処理装置、画像処理方法および該方法を実現するためのプログラム |
EP1667010A4 (en) * | 2003-09-10 | 2011-05-04 | Fujitsu Ltd | INFORMATION PROCESSING DEVICE FOR SETTING A BACKGROUND IMAGE, INFORMATION DISPLAY PROCESS AND PROGRAM |
JP2005217616A (ja) * | 2004-01-28 | 2005-08-11 | Konica Minolta Photo Imaging Inc | デジタルカメラ |
US7624123B2 (en) * | 2004-02-26 | 2009-11-24 | Ati Technologies, Inc. | Image processing system and method |
WO2008041315A1 (fr) * | 2006-10-02 | 2008-04-10 | Pioneer Corporation | Dispositif d'affichage d'images |
JP5251547B2 (ja) * | 2008-06-06 | 2013-07-31 | ソニー株式会社 | 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム |
US8370293B2 (en) * | 2008-08-21 | 2013-02-05 | Terarecon Inc. | Workflow template management for medical image data processing |
US20120033123A1 (en) * | 2010-08-06 | 2012-02-09 | Nikon Corporation | Information control apparatus, data analyzing apparatus, signal, server, information control system, signal control apparatus, and program |
US20120151397A1 (en) * | 2010-12-08 | 2012-06-14 | Tavendo Gmbh | Access to an electronic object collection via a plurality of views |
EP2490142A1 (en) * | 2011-02-15 | 2012-08-22 | Dassault Systèmes | Designing a navigation scene |
US9245193B2 (en) * | 2011-08-19 | 2016-01-26 | Qualcomm Incorporated | Dynamic selection of surfaces in real world for projection of information thereon |
US20130278633A1 (en) * | 2012-04-20 | 2013-10-24 | Samsung Electronics Co., Ltd. | Method and system for generating augmented reality scene |
US9737808B2 (en) * | 2012-06-05 | 2017-08-22 | Sony Corporation | Information processing apparatus, information processing method, program, and toy system |
US20140047413A1 (en) * | 2012-08-09 | 2014-02-13 | Modit, Inc. | Developing, Modifying, and Using Applications |
US9791921B2 (en) * | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
JP6351313B2 (ja) * | 2013-07-11 | 2018-07-04 | キヤノン株式会社 | 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法 |
CN103823678B (zh) * | 2014-02-21 | 2018-07-03 | 联想(北京)有限公司 | 图像处理方法和图像处理装置 |
WO2016012865A2 (en) * | 2014-07-23 | 2016-01-28 | Yonatan Wexler | Wearable apparatus and methods for processing image data |
US10055018B2 (en) * | 2014-08-22 | 2018-08-21 | Sony Interactive Entertainment Inc. | Glove interface object with thumb-index controller |
US10026229B1 (en) * | 2016-02-09 | 2018-07-17 | A9.Com, Inc. | Auxiliary device as augmented reality platform |
US10388072B2 (en) * | 2016-10-31 | 2019-08-20 | Verizon Patent And Licensing Inc. | Methods and systems for dynamically customizing a scene for presentation to a user |
-
2017
- 2017-09-13 JP JP2017176001A patent/JP6992342B2/ja active Active
-
2018
- 2018-03-27 US US15/936,448 patent/US10896219B2/en active Active
- 2018-08-31 CN CN201811013605.9A patent/CN109492515B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058239A (ja) | 2001-08-21 | 2003-02-28 | Inter Action Corp | インタラクティブ・状態監視・表示および駆動装置 |
JP2014191523A (ja) | 2013-03-27 | 2014-10-06 | Hitachi Ltd | エネルギー情報を表示する入退室端末、及びビル総合管理システム |
JP6179653B1 (ja) | 2016-10-19 | 2017-08-16 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
JP6187667B1 (ja) | 2016-10-24 | 2017-08-30 | 富士ゼロックス株式会社 | 情報処理装置、画像ファイルのデータ構造及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN109492515B (zh) | 2023-07-18 |
CN109492515A (zh) | 2019-03-19 |
JP2019053424A (ja) | 2019-04-04 |
US10896219B2 (en) | 2021-01-19 |
US20190079954A1 (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016185557A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6992342B2 (ja) | 情報処理装置及びプログラム | |
JP7367812B2 (ja) | 情報処理システム、情報処理方法およびプログラム | |
JP2019050520A (ja) | 情報処理装置及びプログラム | |
JP2019049902A (ja) | 情報処理装置及びプログラム | |
US10349254B2 (en) | Information processing system and communication method | |
US20160140715A1 (en) | Information processing apparatus, information processing system, and information processing method | |
JP5514038B2 (ja) | ストリートビュー自動出力装置、地図自動出力装置、ストリートビュー自動出力方法、地図自動出力方法、およびプログラム | |
US9086723B2 (en) | Image processing apparatus and control method for determining and associating private information with an image | |
KR20060062031A (ko) | 원격 감시 시스템 | |
CN110688534A (zh) | 一种设备设施信息收集方法、存储介质、电子设备和系统 | |
JP4533315B2 (ja) | 背景画像を設定する情報処理装置、情報表示方法、およびプログラム | |
JP2010205121A (ja) | 情報処理装置および携帯端末 | |
JP6187667B1 (ja) | 情報処理装置、画像ファイルのデータ構造及びプログラム | |
JP2005031916A (ja) | 状況適応型サービス利用装置、その方法、そのプログラム及び該プログラムを記録した媒体 | |
KR20040099144A (ko) | 변화검출방법 및 장치 | |
JPWO2018134943A1 (ja) | 判別装置、判別システム、判別方法及びプログラム | |
JP2015035169A (ja) | 電子機器、サーバ、電子機器の制御方法、情報処理方法および記録媒体 | |
JP6965704B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
JP6892528B1 (ja) | 情報処理装置およびコンピュータプログラム | |
JP2018106468A (ja) | データ管理システム、情報処理装置、データ管理方法、及びプログラム | |
JP6418290B2 (ja) | 情報処理装置、画像ファイルのデータ構造及びプログラム | |
JP5733755B6 (ja) | 撮像装置 | |
JP5733755B2 (ja) | 撮像装置 | |
JP2021068139A (ja) | 検索結果表示システム、検索結果表示方法、情報処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6992342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |