JP6046874B1 - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP6046874B1 JP6046874B1 JP2016557091A JP2016557091A JP6046874B1 JP 6046874 B1 JP6046874 B1 JP 6046874B1 JP 2016557091 A JP2016557091 A JP 2016557091A JP 2016557091 A JP2016557091 A JP 2016557091A JP 6046874 B1 JP6046874 B1 JP 6046874B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- captured image
- unit
- display device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 23
- 238000004891 communication Methods 0.000 description 30
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 7
- 238000009434 installation Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 101100216234 Schizosaccharomyces pombe (strain 972 / ATCC 24843) cut20 gene Proteins 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 101100128228 Schizosaccharomyces pombe (strain 972 / ATCC 24843) lid2 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/47815—Electronic shopping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Abstract
Description
例えば特許文献1には、撮像した画像から特徴量を算出し、算出した特徴量と、予め記憶しておいた所定の物体の特徴量とを比較し、撮像対象の物体が所定の物体であるか否かを判定するパターン認識システムが記載されている。
そこで本発明では、より少ない処理負荷で、撮像対象を特定できるようにすることを目的とする。
撮像画像上で区分パターンを抽出し、これを記憶した区分パターンと照合することで、撮像画像に含まれている処理対象を特定できる。
認識した処理対象の画像の各領域において、ユーザ操作によって或る領域が選択された場合、選択領域を示す情報とともに情報取得要求を外部装置に送信する。これにより外部装置(例えば情報サーバ)側では、選択領域に表示されている内容に関連した情報が要求されていると認識することができる。
処理対象が、所定の区分パターンで区分された複数領域を有する状態で何らかの情報を表示しているものである場合、外部装置(例えば情報サーバ)側では、予め複数領域と表示内容を対応づけて管理しておくことで、選択操作情報を含む情報取得要求に応じて、表示内容を把握し、その表示内容の関連情報を直接的又は間接的に提供できる。
各領域で表示内容を変化させる場合、外部装置(例えば情報サーバ)側では、予め複数領域と表示内容と時間情報を対応づけて管理しておくことで、領域の選択操作情報と日時情報を含む情報取得要求に応じて、ユーザが操作した日時での表示内容を把握し、その表示内容の関連情報を提供できる。
即ち情報処理装置は、区分パターンが直線により区画されていることを前提として、区分パターンを認識する。
即ち処理対象の画像としては、動画を含む画像を各領域の全部又は一部に表示中の表示装置の画像とする。
即ち撮像画像上で区分パターンを抽出し、これを記憶した区分パターンと照合することで、撮像画像に含まれている処理対象を特定できる。
本発明に係るプログラムは、上記の情報処理方法としての各ステップの処理を情報処理装置に実行させるプログラムである。
<1.システム構成>
<2.ユーザ端末の構成>
<3.データベース>
<4.システム処理例>
<5.まとめ及び変形例>
<6.プログラム及び記憶媒体>
図1Aに実施の形態のシステム構成の一例を示す。当該システムは、ネットワーク1により通信可能とされた情報サーバ2、表示装置3、ユーザ端末5を有する。また情報サーバ2はデータベース部4として示した各種データベースにアクセス可能とされている。なお、以下では「データベース」を「DB」と表記する。
本実施の形態では、このシステムにおいてユーザ端末5が本発明請求項にいう情報処理装置に相当する装置とする例で説明する。
またネットワーク1の全部又は一部を構成する伝送媒体についても多様な例が想定される。例えばIEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)、電力線搬送、電話線等の有線でも、IrDA(Infrared Data Association)のような赤外線、ブルートゥース(登録商標)、802.11無線、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
即ち表示装置3は、デジタルサイネージに用いるように公共空間等に設置された表示装置である。例えば大型の平面ディスプレイやプロジェクタなどが用いられることが多い。
情報サーバ2は、デジタルサイネージとしてのシステム動作の管理サーバとされる。
情報サーバ2は、各表示装置3に対して表示コンテンツのタイムスケジュール管理や、表示コンテンツ供給などを行い、実際に表示装置3を用いた情報発信を実行させる。
表示装置管理DB51には、各表示装置3の属性や表示スケジュールを指定する情報などが登録されている。
スケジュールDB52は、各種の表示スケジュールの設定情報が管理される。
表示装置管理DB51、スケジュールDB52の具体例は後述する。
デジタルサイネージで発信される情報内容は、例えば各種の広告、案内、天気予報、ニュース、時刻、イメージ映像など多岐にわたる。情報サーバ2は、例えばコンテンツDB53に登録されたコンテンツを表示装置3で表示させることができる。
なお表示装置3で表示される内容は、コンテンツDB53に登録されたコンテンツに限らず、例えば所定のURL(Uniform Resource Locator)で指定されるウェブページの画像、動画リンク、放送画像なども選択可能である。
一般ユーザが用いるユーザ端末5は、主に携帯型の情報端末が想定される。例えばスマートフォン、タブレット端末、携帯電話機、携帯可能なパーソナルコンピュータなどである。さらに、めがね型、ヘッドマウント型、ウォッチ型などのウェアラブル情報端末もユーザ端末5として想定される。
また本実施の形態の場合、ユーザ端末5は、ハードウエア的には撮像機能が備えられた情報処理装置であることが望ましいが、少なくとも撮像画像データが取り込めるものであればよい。例えば別体の撮像装置(カメラ)で撮像した撮像画像データを取り込むことができるものでもよい。
詳しくは後述するが、ユーザは、ユーザ端末5を用いて表示装置3を撮像する。そして撮像画像上で表示装置3に表示されている情報(コンテンツ等)を選択することで、情報サーバ2からその選択した情報の関連情報もしくは関連情報を取得するための情報を取得できる。
またユーザ端末5と表示装置3との間は、近距離無線通信、例えばブルートゥース(Bluetooth:登録商標)や赤外線通信等の通信方式で通信可能とされる場合もある。
図2A、図2Bは、表示装置3の表示画面の領域レイアウトの例を示している。
情報サーバ2はデジタルサイネージとして表示させる各種の表示内容を、例えば図2A、図2Bのような領域レイアウトで表示装置3の画面に表示させる。
例えば図2Aの領域レイアウトでは、画面領域を枠10として設定した区分パターンにより11個の領域11を分割設定している。
また図2Bの領域レイアウトでは、画面領域を枠10として設定した区分パターンにより9個の領域11を分割設定している。
なおこれらの例は、特に枠10は直線の線分のみを用いて構成している。
情報サーバ2は、例えばこれらのような各種の領域レイアウトについて、それぞれレイアウトID(identification)を付して管理する。図2A、図2BのレイアウトIDを、それぞれ説明上、“LID1”“LID2”とする。
なお、このような領域レイアウトについては、情報サーバ2は少なくとも1つを管理すれば良いが、説明上、情報サーバ2は、複数の領域レイアウトをレイアウトIDで区別できる状態で管理するものとする。
図2Cには、公共の場所に設置された或る表示装置3に、レイアウトID=LID1の領域レイアウトで情報表示が行われている例を示している。
ユーザは、表示装置3の画面により、例えば11個に区分された各領域11において表示されている情報内容を見ることができる。
そして本実施の形態の場合、ユーザは図示のようなスマートフォンや眼鏡型情報端末等のユーザ端末5を利用して、この表示装置3で表示される情報だけでなく、より多様な関連情報を取得できる。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104には、入出力インターフェース105も接続されている。
入出力インターフェース105には、キーボード、マウス、タッチパネルなどよりなる入力部106、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)、有機EL(Electroluminescence)パネルなどよりなるディスプレイやスピーカなどよりなる出力部107、HDD(Hard Disk Drive)やフラッシュメモリ装置などより構成される記憶部108、ネットワーク1を介しての通信処理や機器間通信、近距離無線通信等を行う通信部109が接続されている。
入出力インターフェース105にはまた、必要に応じてメディアドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が適宜装着され、リムーバブルメディア111に対する情報の書込や読出が行われる。
CPU101が各種のプログラムに基づいて処理動作を行うことで、情報サーバ2や表示装置3としての必要な情報処理や通信が実行される。
なお、情報サーバ2や表示装置3を構成する情報処理装置は、図3のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、LAN等によりシステム化されていてもよいし、インターネット等を利用したVPN等により遠隔地に配置されたものでもよい。
図4Aにユーザ端末5の構成例を示す。ユーザ端末5は制御部31、撮像部32、画像処理部33、通信部34、記憶部35、表示部36、入力部37、位置検出部38、音声出力部39が設けられる。
画像処理部33では、例えばホワイトバランスやガンマ処理などの映像処理、画質補正処理、解像度変換処理、表示信号生成処理、記録用/通信用の符号化処理(コーデック)等を行い、画像データ(動画又は静止画)を出力する。
画像処理部から出力された画像データは、表示部36においていわゆるスルー画(被写体のモニタリング画像としての動画)として表示されたり、静止画又は動画として記憶部35に記憶されたりする。静止画又は動画として記憶部35に記憶された画像データが再生されて表示部36に表示される場合もある。
記憶部35は例えば各種情報が記憶される揮発性又は不揮発性のメモリである。いわゆるD−RAM(Dynamic Random Access Memory)、S−RAM(Static Random Access Memory)、フラッシュメモリ等の半導体メモリを用いた記憶再生部とされたり、或いはHDDでもよい。さらにはメモリカードや光ディスク等の可搬性記憶媒体に対する記憶再生部とされてもよい。
記憶部35には、例えばアプリケーションプログラム、ダウンロードデータ、キャッシュデータ、撮像した画像データ、その他ユーザ端末5で用いる各種のデータが制御部20の制御により記憶され、また読み出される。
入力部37は、ユーザの操作入力に用いる部位を示している。例えば操作スイッチ、キーボード、或いは表示部26上に設けられたタッチパネルなどである。ユーザは入力部37により各種の操作を行うことができる。
なお撮像部32で撮像された画像データを解析して検出できるユーザのジェスチャ等を、ユーザの操作として認識するようにしてもよい。
音声出力部39は、各種コンテンツの音声、通話音声等の音声を出力するための音声処理回路、音声信号増幅回路、スピーカ又はイヤホン端子部等を有する。
即ち基本情報取得部40、撮像画像受付部41、区分パターン抽出部42、対象認識部43、選択操作認識部44、要求送信部45、情報出力制御部46である。
なお、ここでは以上の各機能は、制御部31においてソフトウエア(アプリケーションプログラム)に応じて実行される処理により実現される機能とするが、これらの機能の全部又は一部の処理をハードウエアにより実現してもよい。
また各機能をソフトウエアで実現する場合に、各機能がそれぞれ独立したプログラムで実現される必要はない。1つのプログラムにより複数の機能の処理が実行されてもよいし、1つの機能が複数のプログラムモジュールの連携で実現されてもよい。
この基本情報としては例えば表示装置ID、設置位置等の情報や、その表示装置3の画面表示を実行させる際の領域レイアウトの情報(レイアウトID)を含む。
また基本情報には、各レイアウトIDに対応した、実際の区分パターンの情報も含む。区分パターンの情報とは、例えば図2A,図2Bに例示したような枠10の形状(つまり領域レイアウトの形状)の情報や、各領域11の識別子としてのセクションIDなどである。
例えば具体的には、撮像画像を解析して直線状の部分を抽出する。これは、同一輝度の画素が或る線幅をもって直線状に連続している部分を抽出することで可能である。これにより区分パターン(枠10)の形状を抽出する。
記憶部35には、情報サーバ2から供給された上述の基本情報が記憶されており、その基本情報には実際の区分パターンの情報が含まれている。区分パターンの情報とは、本デジタルサイネージシステムで表示装置3における表示に実際に使用されている(または使用される可能性がある)区分パターンの形状(領域レイアウト)の情報である。例えば図2A、図2Bに示した枠10の形状の情報を1又は複数含んでいる。
対象認識部43は、この記憶部35に予め記憶された区分パターンの情報と、撮像画像から抽出した区分パターンの情報を照合する。そして抽出した区分パターンが、記憶された区分パターンの1つに一致すると判定した場合、撮像画像は、本サイネージシステムにおける表示装置3の撮像画像であると認識する。つまり、撮像画像は、デジタルサイネージを利用するアプリケーションプログラムによる処理対象となる表示装置2の画像と認識する。
表示装置2の撮像画像には、当然、表示装置2の各領域11に表示されている内容(動画、静止画、テキスト等)が含まれており、ユーザは、ユーザ端末5の表示部36においてそれらの内容を見ることができる。具体的には商品や店舗の広告、ニュース、各種案内などの内容が撮像画像に現れている。
本システムでは、ユーザはそれらのうち任意の情報を選択することで、その内容に関連した情報を当該ユーザ端末5で見ることができる。例えば、表示装置3の或る領域11にコーヒーショップの広告が表示されていた場合、ユーザがユーザ端末5に表示された表示装置2の撮像画像上で、当該コーヒーショップの広告となっている部分を選択操作すると、そのコーヒーショップの広告の関連情報、例えばコーヒーショップの店舗写真、地図、メニューなどの詳しい情報が閲覧できるようなサービスである。
選択操作認識部44は、このようなサービスを実現するため、表示部36に表示された撮像画像に対するユーザの選択操作を認識する処理を行う。
次に情報サーバ2がアクセスするDB部4における表示装置管理DB51とスケジュールDB52の例を説明する。
図5Aは表示装置管理DB51のデータ構造の例である。表示装置管理DB51には、1つの表示装置3毎に図のように表示装置ID、設置場所情報、適用スケジュール、装置属性情報等が登録されている。
表示装置IDは表示装置3の個々を識別するIDであり、表示装置3毎にユニークなコードで構成される。
設置場所情報としては、その表示装置3が設置された場所の緯度・経度、住所、施設種別、場所の管理者などが登録される。
装置属性情報としては、その表示装置3の属性、例えば機種名、型番、製造者名、製造年月日、画面サイズ、解像度、通信情報その他、本デジタルサイネージシステムの運用に必要な表示装置3の情報が登録される。
1つのスケジュールについては、スケジュールナンバ、レイアウトID、期間情報が登録される。スケジュールナンバは、後述のスケジュールDB52に登録されているスケジュールのナンバである。このスケジュールナンバで1つの特定のスケジュールが、その表示装置3に適用されたことが示される。
レイアウトIDは、そのスケジュールが用いている領域レイアウト(区分パターン)の識別情報である。
なお、レイアウトIDは、後述のようにスケジュールDB52においてスケジュールナンバに対応して登録されるものとすれば、この適用スケジュールの内容としては必ずしも登録する必要はない。
期間情報は、そのスケジュールがその表示装置3に適用される期間の情報である。或る年月日から或る年月日までという期間設定や、1日のうちの時間帯などとしての期間設定の情報が登録される。
これらの各スケジュールのアサインや適用期間はシステム管理者により任意に設定できる。
なお、1つの表示装置3において、常に1つのスケジュールで表示を行う場合、適用スケジュールの情報としては、そのスケジュールを指定するスケジュールナンバのみが登録されれば良い。
1つのスケジュールに対し、スケジュールナンバ、スケジュールデータ、レイアウトID、情報取得用データ、その他の情報が登録される。
スケジュールナンバは、制作されたスケジュール毎に付けられたユニークなナンバである。
レイアウトIDは、そのスケジュールにおいて使用されている領域レイアウト(区分パターン)の識別情報である。
ここでスケジュール内容およびその制作画面について図6を用いて説明しておく。
図6は1つのスケジュールを制作・編集する際にシステム管理者が使用する制作・編集ツールの画面例を示している。
この制作・編集画面60では、タイムライン61、表示タイトル62、アサインエリア63、レイアウト編集エリア65、モニタエリア66等が用意されている。
まず第1領域から第11領域のそれぞれに対応して表示タイトル62が設定される。これは各領域の表示内容を大まかに表すもので、システム管理者の便宜のためのものである。
各表示タイトルに対して、アサインエリア63に、表示内容がアサインされていく。この例の場合、タイムライン61は25秒の期間とされ、25秒間の表示が繰り返されるスケジュールの例としているが、このタイムライン61に沿って、表示内容が指定される。
例えば「cafe」というタイトルとされた第1領域については、コンテンツ#11〜#15がアサインされている。これは5秒ごとに静止画であるコンテンツ#11、#12、#13、#14、#15が切り替えられるスライドショウ表示が設定された例である。
「newsA」というタイトルとされた第2領域については、「newsA」というウェブキャストの指定情報がアサインされている。これにより第2領域では、リンクされたウェブキャストの動画映像が表示される状態となる。
これらの例のように、システム管理者が、各領域11について所定のコンテンツや放送、或いは情報ソースを指定することで、1つのスケジュールが制作される。
またスケジュールデータとしては、各セクションID(第1領域から第11領域)に対応してアサイン情報が登録される。アサイン情報とは、図6のタイムライン61に対応して登録された表示内容としてのコンテンツや情報ソースの情報である。例えば図6の第1領域についてのアサイン情報を例示すれば、「0:00:00にコンテンツ#11」、「0:00:05にコンテンツ#12」・・・「0:00:20にコンテンツ#15」というような設定を示す情報となる。
その他、スケジュールデータとしては、スケジュールとして設定された各種の内容が登録される。
このようなスケジュールDB52におけるスケジュールデータに基づいて、情報サーバ2は各表示装置3の表示内容を認識してデジタルサイネージとしての表示動作を実行させることになる。
例えば第1領域から第11領域などとしての各領域11のそれぞれにアサインされた情報ソース、コンテンツ等の内容に応じた関連情報のポインタやURLが登録されている。関連情報自体が登録されていても良い。情報サーバ2は、この情報取得用データに基づいて、ユーザ端末5からの情報取得要求に対する情報送信を行うことができる。
なお情報取得用データは、システム管理者が例えば図6のような制作画面を用いて設定することができるようにしてもよい。
例えば図6のような制作画面において、アサインエリア63に設定した表示内容について、情報取得用データを登録するエリアを用意したり、或いは表示内容をクリックすると情報取得用データ設定画面が現れるようにするなどして、システム管理者が、各表示内容に応じた情報取得用データを任意に設定できるようにする。
またスケジュールDB52や表示装置管理DB51は、情報サーバ2がアクセス可能とされていればどのような形態で実現されていてもよい。例えば情報サーバ2と同一システム内の記憶部に各DB(51,52)のすべてが形成されていてもよいし、各DB(51,52)の一部又は全部が別体、遠隔地等のコンピュータシステムに設けられていてもよい。もちろん各DB(51,52)が一つの装置(例えば一つのHDD等)内に形成されている必要はない。また各DB(51,52)のそれぞれが、それぞれ1つのDBとして構成される必要もない。各DB(51,52)は、実施の形態の処理に関連する情報の記憶部を、それぞれ1つのDBの形態で例示したものに過ぎない。
本実施の形態のシステム動作を図7、図8で説明する。図7はユーザ端末5、表示装置3、情報サーバ2の処理動作を示している。
なお、この処理の前提として、情報サーバ2は表示装置3の表示動作に関する領域レイアウトやスケジュールを設定し、そのスケジュールデータに従った表示を実行させているとする。従って表示装置3では、図2Cのように、選択された領域レイアウト(区分パターン)で分割された各領域11において、各種の内容の情報表示が行われている。
そのアプリケーションプログラムに付随して、ユーザ端末5の記憶部35には各種の基本情報が格納される。上述したように基本情報とは、例えば表示装置ID、設置位置等の情報や、その表示装置3の画面表示を実行させる際のレイアウトの情報(レイアウトID)、各レイアウトIDに対応した実際の区分パターンの情報、各領域レイアウトにおいて区分された各領域11の識別子であるセクションIDなどである。
アプリケーションプログラムが起動されたユーザ端末5は、逐次、必要に応じて上記の基本情報のアップデートを情報サーバ2に要求する。情報サーバ2はステップS301でアップデート要求に応じて更新情報をユーザ端末5にダウンロードする。
アップデートデータとは、例えば新たな表示装置3の設置に応じた表示装置IDや設置場所等の情報や、新たに使用されるレイアウトIDや区分パターンの情報等である。これらはユーザ端末5において記憶部35に基本情報として追加格納されていく。
図7のステップS103としてユーザ端末5の制御部31は、表示装置3の画面を含む撮像画像の入力を受け付ける撮像画像受付処理を行う。これはユーザが撮像部32の被写体として表示装置3の画面全体をとらえたときの撮像画像を区分パターン検出処理の対象として取得する処理である。
詳しくは、制御部31は、図8のステップS1031でユーザの撮像操作に応じた撮像画像データの取得状態が開始されたら、ステップS1032で解析対象とする1又は複数のフレーム画像データを特定する。静止画として取り込んだ撮像画像を解析対象として用いる場合は、そのフレーム画像データを処理対象として受け付ける。撮像画像の動画を用いる場合は、1又は所定数のフレーム画像データを解析処理の対象として受け付ける。
また制御部31はステップS1033で、当該解析対象のフレーム画像データが撮像された日時情報(年月日時分秒)をタイムスタンプとして設定し一時的に記憶する。
記憶部35には、当該デジタルサイネージシステムで使用される1又は複数の領域レイアウトのパターンが記憶されている。このステップS105では、撮像画像から抽出した枠形状と、記憶部35に格納した領域レイアウトの形状とを照合する処理となる。
ユーザが実際に当該システムの表示装置3を撮像した場合、抽出される区分パターンは、ある領域レイアウトの形状と一致(認識誤差を含めた略一致状態も含む)することになる。つまり認識した区分パターンに一致する領域レイアウトが存在した場合、制御部31は、撮像画像データが、本システムの表示装置3の画面の撮像画像であり、続く選択操作対応の画像と認識する。
ステップS1052で、照合OK(一致又は略一致)した領域レイアウトの有無に応じて処理を分岐する。
もし、照合OKとならなかった場合、制御部31はステップS1031に戻る。つまり解析対象に特定したフレーム画像データが、表示装置3の画面の撮像画像ではないと判断し、フレーム画像データの特定からやり直すものとする。
照合OKとなった場合、制御部31はステップS1053に進み、照合OKとなった領域レイアウトのレイアウトIDを記憶部35の基本情報から取得する。
また、ステップS1032で解析対象とした1又は複数のフレーム画像データから区分パターンの照合がとれなかった場合は、ステップS1052からS1031に戻って、再試行すればよい。
従って、ユーザに対し、表示装置3の画面全体を含むように撮像することを強いるものとはならない。
図7では、ユーザ端末5と表示装置3の間の通信を示している。例えば近距離無線通信によりユーザ端末5から識別情報要求の送信を行い、表示装置3が自己の表示装置IDをユーザ端末5に送信する。このように両者間で近距離無線通信を行うことで、制御部31は現在処理対象としている表示装置3を特定する情報を取得できる。
近距離無線通信を用いない手法もある。例えば制御部31は位置検出部38で出される現在位置情報(緯度・経度)を確認する。そして記憶部35に格納している各表示装置3の設置場所の情報と照合し、表示装置3を特定する。そしてその表示装置3の表示装置IDを記憶部35に格納した基本情報から取得する。
また、特定したレイアウトIDと表示装置3が1:1で対応するものであれば、記憶部35に予め格納してあった情報から、表示装置IDを確認することもできる。
また、制御部31は、現在位置情報を情報サーバ2に送信し、情報サーバ2が受信した現在位置情報の近辺に設置されている表示装置3を特定して、その表示装置IDをユーザ端末5に送信するような手法も考えられる。
これらのように、何らかの手法で制御部31は対象としている表示装置3を特定する。
また、ステップS103で撮像を開始した際に、現在位置情報や近距離無線通信を用いた手法で表示装置3を特定してもよい。
詳しくは、制御部31は図8のステップS1061で選択操作の検知を行う。ユーザが選択操作を行うまでの期間はステップS1062からS1061に戻って操作を待機する。
ユーザの選択操作を検知したら、ステップS1063に進み、セクションIDを取得する。セクションIDは、特定したレイアウトIDにおける各領域11のうちで、ユーザが選択した領域のセクションIDを、記憶部35に格納した基本情報から取得する。
図9Aのようにユーザ端末5では、表示部36の画面上に撮像画像を表示させているため、ユーザはこの表示部36でのタッチ操作や、所定の操作を用いたカーソル移動などで、選択操作を行うことができる。
表示部36に表示される撮像画像には、実際の表示装置3の各領域11の表示内容がそのまま写されているため、ユーザは単に興味を持った画像が表示されている領域を選択すればよい。しかも、そのような選択をユーザ端末5において行うことは、公共の場にある表示装置3上で或る領域11をタッチするようなものではないため、周囲の人に、何を選んだかを知られないですむことにもなる。
また、選択操作を画像認識で検知してもよい。ユーザは表示装置3で或る距離(例えば1〜3m程度)離れた位置に居ることが通常である。眼鏡型、ヘッドマウント型であって、視線方向の撮像画像が得られるユーザ端末5を所有するユーザの場合、例えば少し離れた位置から表示装置3の或る表示内容を指し示すようなジェスチャを行うようにし、制御部31がそれを認識する。例えば図9Bは、眼鏡型のユーザ端末5において、ユーザの視線方向をとらえた撮像画像であるとする。ユーザがある領域11を指し示した場合に、そのユーザの指先の画像を認識し、指先で示される表示装置3の領域11を検出する。このような画像処理でユーザの選択操作を認識してもよい。
なお、このようなジェスチャによっても、ユーザが少々離れた位置にいて指差しを行うことで、ユーザが何を選択したかは、周囲の人にはわかりにくい。
図8のステップS107に示したように、この情報取得要求には、ステップS1054で取得した表示装置ID、ステップS1053で取得したレイアウトID、ステップS1063で取得したセクションID、及びステップS1033で設定したタイムコードを含むようにする。
まずステップS302で情報サーバ2は選択対象の表示内容判定を行う。上記の情報取得要求により、情報サーバ2は、表示装置3(表示装置ID)、領域レイアウト(レイアウトID)、及び日時(タイムスタンプ)が特定でき、さらにユーザが選択した領域11の情報をセクションIDとして取得できる。
表示装置IDを元に、表示装置管理DB51を参照して、その日時において当該表示装置が実行していた表示内容を指定するスケジュールナンバが特定できる。
またスケジュールDB52を参照すると、そのセクションIDの領域に当該時刻に表示されていた情報内容(広告コンテンツやニュース等)を特定できる。
以上により情報サーバ2は、ユーザが選択した表示内容が把握できることになる。
そしてステップS304で関連情報をユーザ端末5に提供するためのURL、或いは実際の関連情報としてのコンテンツをユーザ端末5に送信する。
関連情報コンテンツとは、例えば領域11に表示された広告についての付加情報などであり、テキストや画像、動画、音データなどである。
例えば情報サーバ2からURLが送信されてきた場合、制御部31はウェブブラウザを起動し、当該URLで指定されたウェブページの画像を表示部36に表示させる。
また情報サーバ2から関連情報としてのコンテンツ自体が送信されてきた場合、制御部31は当該関連情報コンテンツを表示部36に表示させたり、記憶部35に記憶させたりする。関連情報コンテンツを表示部36に表示させる態様としては、いわゆるAR(augmented reality)のようにテキスト、静止画、動画等を画面内にポップアップさせて重畳表示させるようなことも可能である。例えば図9Aのような表示装置3の画面を表示させたユーザ端末5の画面上に関連情報を重畳表示するなどである。
例えば表示装置3の或る領域11にコーヒーショップの広告が表示されていた場合、ユーザはその表示装置3を撮像して、ユーザ端末5上で当該広告を選択する操作を行う。すると、情報サーバから、そのコーヒーショップのホームページのURLが送られ、ユーザ端末でホームページ閲覧によりコーヒーショップの詳しい情報を知ることができる。
或いはまた、情報サーバ2が、当該コーヒーショップのクーポンやメニューなどの関連情報コンテンツを送信してくれば、ユーザ端末5でそれらが表示され、ユーザが利用することができる。
以上の実施の形態では、以下のような各種の効果が得られ、また各種の変形例が想定される。
実施の形態のユーザ端末5(情報処理装置)は、撮像画像の入力を受け付ける撮像画像受付部41と、撮像画像受付部41が受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出部42と、1又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部35を参照し、撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識部43とを備える。
撮像した撮像画像上で区分パターンを抽出し、これを記憶した区分パターン(領域レイアウト)と照合することで、撮像対象の全体のコンテクストなどの特徴量を分析しなくても撮像画像に含まれている処理対象を特定できる。従って、撮像画像において、各領域に多様な画像が表示されている場合に、静止画や動画等の画像解析という比較的処理負担の高い処理を行わずに、処理対象を容易に認識できるものとなる。
つまり認識した処理対象の画像の各領域11において、ユーザ操作によって或る領域11が選択された場合、選択領域を示すセクションIDとともに情報取得要求を情報サーバ2に送信する。これにより情報サーバ2側では、選択領域に表示されている内容に関連した情報が要求されていると認識することができる。
ここで、ユーザが選択した領域11を認識することは、間接的に、ユーザが興味を持った表示内容を認識するものとなる。従ってユーザが選択した領域11を示す選択操作情報は、ユーザが興味を持った表示内容を示すものともなる。これにより情報サーバ2等の外部装置は、ユーザが取得を望む情報を判別できる。
つまり高度な画像処理で表示内容自体を解析することなく、簡単な領域区分の認識で、ユーザがどの表示内容に興味を持ったかを判定できる。
つまり処理対象となる表示装置3は、所定の区分パターンで区分された複数の領域11を有する状態で各種の情報を表示している。情報サーバ2側では、表示装置管理DB51やスケジュールDB52により、予め複数領域と表示内容を対応づけて管理しておくことで、選択操作情報を含む情報取得要求に応じて、表示内容を把握し、その表示内容の関連情報を直接的又は間接的に提供できる。つまりユーザが興味をもった表示内容を領域の選択操作情報から判別できるため、これによってユーザが興味をもった表示内容に関連する情報(関連情報コンテンツ)、又は関連情報へのアクセスのための情報(URL等)を提供できる。
従って実施の形態のように公共のデジタルサイネージにおける複数の表示内容について、ユーザが自己のユーザ端末5で興味のある表示を指定すれば、その関連情報が取得できる。
周囲の人には、どの情報に興味を持ったかを知られずに、所望の情報を選択し、関連情報を閲覧できることにもなる。
また領域11に提示する情報(画像コンテンツ等)を提供する側(情報サーバ2)にとっては、新しい情報を表示用としてアサインする度に、その新しい情報の内容や関連情報コンテンツを学習するという作業は省略できる。
ユーザ端末5の要求送信部45は、撮像画像受付部41が撮像画像の入力を受け付けた日時情報(S1033:タイムスタンプ)を含む情報取得要求を情報サーバ2に送信する。
各領域11において時間経過に応じて表示内容を変化させる場合、情報サーバ2側では、予め複数領域と表示内容と時間情報を対応づけて管理しておくことで、領域の選択操作情報と日時情報を含む情報取得要求に応じて、ユーザが操作した日時での表示内容を把握し、その表示内容の関連情報を提供できる。
このような管理により、時間によって異なる広告を表示させておき、表示させた広告に対応する関連情報を提供することが可能となる。
特に、ユーザが表示装置3についての静止画や動画を撮像し、多少時間を経た時点で撮像された表示内容に対して選択操作を行ったとしても、情報サーバ2はその撮像時点の表示内容の関連情報を提供できる。
なお時間情報は、ある始点からの経過時間でも良いし、時刻でも良い。
直線により区画されていることを前提として、直線を対象として区分パターンを認識することで、コンピュータ処理として認識が容易であり、区分パターン認識処理負担が軽減される。
但し、領域レイアウトとして曲線を含む区分パターンを用いる例も考えられる。
従来の画像認識では、動画の場合は、変化する画面の全てのフレームの特徴量を予め取っておいて、リアルタイムに変化する撮像画像の各フレームの特徴量を計算して比較するという負荷が非常に大きな処理を行う。それに対し本実施の形態では、固定された区分パターンの枠10の線を認識することによって、その枠10内の領域に表示されているものが何であるかを特定することが可能となる。つまり、デジタルサイネージシステムとして、動画を表示することを想定した場合、本実施の形態のように区分パターン抽出を行い、さらに選択操作に対応して表示内容を認識できることは、非常に処理負荷を低くできるものとなる。
実施の形態ではデジタルサイネージシステムを例に挙げたが、例えば表示装置3に代えて紙媒体のポスター等を対象とするシステムも想定される。即ちポスターが枠によって区分された領域に各種の内容を表示しているものである場合、ユーザ端末5でそのポスターを撮像し、枠による区分パターン認識及び照合、処理対象の認識等を行うことで、ユーザの操作に応じた情報取得要求を情報サーバ2は送信できる。従って情報サーバ2は対応する関連情報をユーザ端末5に提供できる。
例えば表示装置3において、各領域11には常に同じ情報内容としての静止画や動画、或いはテキスト表示を行っている場合や、ポスター画像などの場合など、公共の場で発信する情報の内容に時間的変化がなければ(つまり取得すべき関連情報が変化しないものであれば)、タイムコードは不要である。
また情報サーバ2と表示装置3が1:1で対応する図1Bのようなシステムの場合、表示装置IDは不要となる。
さらに1つの情報サーバ2に対して表示装置3が多数存在する場合でも、各表示装置に同一の領域レイアウトが採用される場合、レイアウトIDは不要となる。
また1つの表示装置3とレイアウトIDが1:1で対応する場合、つまり表示装置3毎に領域レイアウトが固有設定される場合、表示装置IDとレイアウトIDは、少なくとも一方が用いられれば良い。
また、全ての領域レイアウトにおける各領域11が、全て固有のセクションIDを設定される場合など、セクションIDのみで表示装置と領域レイアウトが把握できるため、表示装置IDとレイアウトIDは不要となる。
従ってユーザ端末5としては、最低限、ユーザが選択した領域を示すセクションIDを含む情報取得要求を情報サーバ2に送信することが必要で、他の情報はシステム形態に応じて必要となる。
例えば情報サーバ2はステップS301においてアップデートデータとして、表示装置管理DB51やスケジュールDB52をユーザ端末5に送信してしまう。するとユーザ端末5におけるアプリケーションプログラムによっては、ユーザの選択操作に応じて、情報サーバと通信を行わなくとも、表示装置管理DB51やスケジュールDB52を参照して選択対象の表示内容判定や、関連情報としてのURL等の取得が可能となる。これによってステップS108の関連情報の表示等が可能となる。
本発明の実施の形態としてのプログラムは、情報処理装置(CPU等)、例えばユーザ端末5における制御部35等に、図4Bの各機能の処理を実行させるプログラムである。
実施の形態のプログラムは、撮像画像の入力を受け付ける撮像画像受付手順(S103)と、撮像画像受付手順で受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出手順(S104)と、1又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識手順(S105)とを情報処理装置に実行させる。
或いはさらに、対象認識手順で特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識手順(S106)と、少なくとも選択操作認識手順で認識した選択領域を示す選択操作情報(セクションID等)を含めた情報取得要求を外部装置(情報サーバ2等)に送信する要求送信手順(S107)と、情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御手順(S108)とを情報処理装置に実行させるものである場合もある。
即ちこのプログラムは、情報処理装置に対して図7,図8で説明したユーザ端末5の処理を実行させるプログラムである。
このようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
Claims (7)
- 撮像画像の入力を受け付ける撮像画像受付部と、
前記撮像画像受付部が受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出部と、
1又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識部と、
前記対象認識部が特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識部と、
少なくとも前記選択操作認識部が認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信部と、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御部と、を備えた
情報処理装置。 - 前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて表示内容が予め対応づけられて管理されている画像であり、
前記情報取得要求は、選択操作情報によって示す領域に対応づけられた表示内容についての関連情報の取得を要求するものである
請求項1に記載の情報処理装置。 - 前記処理対象の画像は、区分パターンで区分された複数領域のそれぞれについて、表示内容が時間情報に対応づけられて管理されている画像であり、
前記要求送信部は、前記撮像画像受付部が撮像画像の入力を受け付けた日時情報を含む前記情報取得要求を送信する
請求項1に記載の情報処理装置。 - 前記区分パターン抽出部は、撮像画像において直線で区画された区分パターンを抽出する
請求項1乃至請求項3のいずれかに記載の情報処理装置。 - 前記区分パターン抽出部の処理対象の画像は、区分パターンで区分された複数領域の全部又は一部に画像が表示されている表示装置の画像であり、該表示装置に表示される画像には動画が含まれる
請求項1乃至請求項4のいずれかに記載の情報処理装置。 - 撮像画像の入力を受け付ける撮像画像受付ステップと、
前記撮像画像受付ステップで受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出ステップと、
1又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識ステップと、
前記対象認識ステップで特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識ステップと、
少なくとも前記選択操作認識ステップで認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信ステップと、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御ステップと、
を情報処理装置が実行する情報処理方法。 - 撮像画像の入力を受け付ける撮像画像受付手順と、
前記撮像画像受付手順で受け付けた撮像画像において複数領域に区分する区分パターンを抽出する区分パターン抽出手順と、
1又は複数の区分パターンを処理対象に対応づけて予め記憶した記憶部を参照し、前記撮像画像から抽出した区分パターンに対応する処理対象を認識する対象認識手順と、
前記対象認識手順で特定した処理対象において、区分パターンで区切られた複数領域のうちで選択操作の対象とされた選択領域を認識する選択操作認識手順と、
少なくとも前記選択操作認識手順で認識した選択領域を示す選択操作情報を含めた情報取得要求を外部装置に送信する要求送信手順と、
前記情報取得要求に応じて送信されてくる情報を取得し、当該取得した情報に基づく情報出力制御を行う情報出力制御手順と、
を情報処理装置に実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/064295 WO2016185557A1 (ja) | 2015-05-19 | 2015-05-19 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6046874B1 true JP6046874B1 (ja) | 2016-12-21 |
JPWO2016185557A1 JPWO2016185557A1 (ja) | 2017-06-01 |
Family
ID=57319726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016557091A Active JP6046874B1 (ja) | 2015-05-19 | 2015-05-19 | 情報処理装置、情報処理方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10628955B2 (ja) |
JP (1) | JP6046874B1 (ja) |
WO (1) | WO2016185557A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11785161B1 (en) | 2016-06-20 | 2023-10-10 | Pipbin, Inc. | System for user accessibility of tagged curated augmented reality content |
US11876941B1 (en) | 2016-06-20 | 2024-01-16 | Pipbin, Inc. | Clickable augmented reality content manager, system, and network |
US20200066018A1 (en) * | 2017-05-19 | 2020-02-27 | Mitsubishi Electric Corporation | Information display device, program, and information display method |
JP6356889B1 (ja) * | 2017-09-01 | 2018-07-11 | 株式会社ヒット | リモートサーバ、ユーザ端末、それらの制御方法、プログラム、及び広告情報配信システム |
JP6723566B2 (ja) * | 2018-10-17 | 2020-07-15 | 株式会社アジェンシア | コンテンツ生成プログラム、コンテンツ生成方法及びコンテンツ生成システム |
US11546111B2 (en) | 2021-06-24 | 2023-01-03 | Ultralogic 6G, Llc | Demarking the start and end of 5G/6G downlink messages |
US11438122B2 (en) | 2021-06-14 | 2022-09-06 | Ultralogic 6G, Llc | Custom downlink search-spaces for low-complexity 5G/6G messaging |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015702A (ja) * | 2006-07-04 | 2008-01-24 | Tokyo Soft Kk | 帳票処理装置 |
JP2010128528A (ja) * | 2008-11-25 | 2010-06-10 | Sony Ericsson Mobile Communications Ab | 情報処理方法および情報処理システム |
JP2014038387A (ja) * | 2012-08-10 | 2014-02-27 | Dainippon Printing Co Ltd | 電子コンテンツアクセス支援システム、電子コンテンツアクセス支援方法、サーバ、携帯端末及びプログラム |
JP2014197301A (ja) * | 2013-03-29 | 2014-10-16 | カシオ計算機株式会社 | 表示装置、景品提供システム及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5361524B2 (ja) | 2009-05-11 | 2013-12-04 | キヤノン株式会社 | パターン認識システム及びパターン認識方法 |
US8560583B2 (en) * | 2010-04-01 | 2013-10-15 | Sony Computer Entertainment Inc. | Media fingerprinting for social networking |
US8745671B2 (en) * | 2010-04-13 | 2014-06-03 | Imagine Communications Corp. | Systems and methods for presentation of digital media at a mobile platform |
US9814977B2 (en) * | 2010-07-13 | 2017-11-14 | Sony Interactive Entertainment Inc. | Supplemental video content on a mobile device |
US9832441B2 (en) * | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
KR101719653B1 (ko) * | 2010-09-16 | 2017-03-24 | 엘지전자 주식회사 | 이동 단말기, 전자 시스템 및 이를 이용한 데이터 송수신 방법 |
JP2013080326A (ja) * | 2011-10-03 | 2013-05-02 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US9852135B1 (en) * | 2011-11-29 | 2017-12-26 | Amazon Technologies, Inc. | Context-aware caching |
JP6056178B2 (ja) * | 2012-04-11 | 2017-01-11 | ソニー株式会社 | 情報処理装置、表示制御方法及びプログラム |
US10638198B2 (en) * | 2013-03-15 | 2020-04-28 | Ebay Inc. | Shoppable video |
KR102049789B1 (ko) * | 2013-04-25 | 2019-11-28 | 삼성전자 주식회사 | 휴대단말기의 정보 전송장치 및 방법 |
CN104978392B (zh) * | 2014-04-03 | 2018-12-28 | 卡西欧计算机株式会社 | 输出内容的内容输出装置 |
JP6326996B2 (ja) * | 2014-06-13 | 2018-05-23 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
JP2016189507A (ja) * | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2015
- 2015-05-19 JP JP2016557091A patent/JP6046874B1/ja active Active
- 2015-05-19 WO PCT/JP2015/064295 patent/WO2016185557A1/ja active Application Filing
- 2015-05-19 US US15/575,163 patent/US10628955B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015702A (ja) * | 2006-07-04 | 2008-01-24 | Tokyo Soft Kk | 帳票処理装置 |
JP2010128528A (ja) * | 2008-11-25 | 2010-06-10 | Sony Ericsson Mobile Communications Ab | 情報処理方法および情報処理システム |
JP2014038387A (ja) * | 2012-08-10 | 2014-02-27 | Dainippon Printing Co Ltd | 電子コンテンツアクセス支援システム、電子コンテンツアクセス支援方法、サーバ、携帯端末及びプログラム |
JP2014197301A (ja) * | 2013-03-29 | 2014-10-16 | カシオ計算機株式会社 | 表示装置、景品提供システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2016185557A1 (ja) | 2016-11-24 |
JPWO2016185557A1 (ja) | 2017-06-01 |
US10628955B2 (en) | 2020-04-21 |
US20180144494A1 (en) | 2018-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6046874B1 (ja) | 情報処理装置、情報処理方法、プログラム | |
KR102071579B1 (ko) | 화면 미러링을 이용한 서비스 제공 방법 및 그 장치 | |
US8433306B2 (en) | Second screens and widgets | |
US20190333478A1 (en) | Adaptive fiducials for image match recognition and tracking | |
US9137577B2 (en) | System and method of a television for providing information associated with a user-selected information element in a television program | |
EP3010245A2 (en) | Method for providing additional information related to broadcast content and electronic device implementing the same | |
US20120124517A1 (en) | Image display device providing improved media selection | |
US20120081529A1 (en) | Method of generating and reproducing moving image data by using augmented reality and photographing apparatus using the same | |
US20140298249A1 (en) | Method and device for displaying service page for executing application | |
CN102300205A (zh) | 基于位置和上下文的移动应用程序的宣传和传递 | |
US20110016398A1 (en) | Slide Show | |
US9600720B1 (en) | Using available data to assist in object recognition | |
TWI617931B (zh) | 適地性空間物件遠距管理方法與系統 | |
TW201308192A (zh) | 實施於通訊裝置之媒體內容管理系統與方法 | |
EP3388958B1 (en) | Method and system for managing viewability of location-based spatial object | |
CN103516712A (zh) | 装置、信息处理方法和程序 | |
KR102019975B1 (ko) | 디아비스 및 그의 컨텐츠 검색 방법 | |
US20140297672A1 (en) | Content service method and system | |
WO2016093063A1 (ja) | 画像管理システム、画像管理方法、及びプログラム | |
JP6617547B2 (ja) | 画像管理システム、画像管理方法、プログラム | |
CN111641774B (zh) | 中继终端、通信系统、输入系统、中继控制方法 | |
CN110166815B (zh) | 一种视频内容的显示方法、装置、设备及介质 | |
KR102372181B1 (ko) | 전자 장치 및 그의 제어 방법 | |
US20220276822A1 (en) | Information processing apparatus and information processing method | |
KR20180053208A (ko) | 전자 장치 및 그의 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160912 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160912 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A801 Effective date: 20160912 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160912 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160915 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20161031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6046874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |