JP6300113B2 - 情報表示システム及び情報表示端末 - Google Patents

情報表示システム及び情報表示端末 Download PDF

Info

Publication number
JP6300113B2
JP6300113B2 JP2015128135A JP2015128135A JP6300113B2 JP 6300113 B2 JP6300113 B2 JP 6300113B2 JP 2015128135 A JP2015128135 A JP 2015128135A JP 2015128135 A JP2015128135 A JP 2015128135A JP 6300113 B2 JP6300113 B2 JP 6300113B2
Authority
JP
Japan
Prior art keywords
display panel
information
operator
user
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015128135A
Other languages
English (en)
Other versions
JP2017010467A5 (ja
JP2017010467A (ja
Inventor
和幸 堀尾
和幸 堀尾
八浪 竜一
竜一 八浪
宣貴 児玉
宣貴 児玉
祐二 阿部
祐二 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015128135A priority Critical patent/JP6300113B2/ja
Priority to US15/580,755 priority patent/US10122966B2/en
Priority to PCT/JP2016/002304 priority patent/WO2016208111A1/ja
Priority to EP16813887.3A priority patent/EP3316573B1/en
Publication of JP2017010467A publication Critical patent/JP2017010467A/ja
Publication of JP2017010467A5 publication Critical patent/JP2017010467A5/ja
Application granted granted Critical
Publication of JP6300113B2 publication Critical patent/JP6300113B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/1095Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices the scanner comprising adaptations for scanning a record carrier that is displayed on a display-screen or the like
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]

Description

本発明は、情報を表示する情報表示システム及び情報表示端末に関する。
従来、離れた場所にいる通信相手であるオペレータとの間で通信を行い、ユーザは、オペレータと対面しているような感覚で、種々の情報をやり取りするマルチメディア端末が知られている(例えば特許文献1参照)。
特許文献1のマルチメディア端末は、カメラ及び3つのディスプレイを有し、カメラを用いてユーザの顔及び手元を撮像し、撮像した画像をオペレータの端末に送信する。また、マルチメディア端末は、3つのディスプレイのうち、第1のディスプレイにユーザの顔を表示し、第2のディスプレイにテキスト、静止画、動画等のマルチメディア情報を表示し、第3のディスプレイに文字・記号等を入力可能なタッチパネルや入力パネルを表示する。更に、マルチメディア端末は、マイク及びスピーカを有する。
特開2004−147105号公報
しかしながら、特許文献1の構成では、ユーザが接するマルチメディア端末のディスプレイには、あくまでオペレータの顔画像が表示されるだけであり、ユーザがオペレータと実際にやり取りをしているような臨場感の提供が不十分であった。
また、オペレータがユーザに情報を伝えようとしても、正確かつ分かり易く情報を伝えることが難しかった。例えば、施設内マップに描かれている場所をユーザに口頭で伝えようとしても、音声だけでは正確な場所を教えることが難しかった。この結果、特許文献1を含む従来の情報表示端末は、ユーザにとって利便性に乏しいものとなっていた。
本発明は、上述した従来の状況に鑑みてなされたものであり、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる情報表示システム及び情報表示端末を提供することを目的とする。
本発明は、ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、前記情報表示端末は、前記ユーザの顔の映像を撮像する第1カメラと、前記ユーザの手元の映像を撮像する第2カメラと、前記第1カメラにより撮像された前記ユーザの顔の映像と前記第2カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する第1通信部と、前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、前記オペレータの手元の映像を表示する第2表示パネルと、を備え、前記情報提供端末は、前記オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラと、前記オペレータの手元を撮像する第4カメラと、前記第3カメラにより撮像された前記オペレータの顔と上半身の少なくとも一部との映像と前記第4カメラにより撮像された前記オペレータの手元の映像とのデータを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する第2通信部と、前記第1カメラにより撮像された前記ユーザの顔の映像を表示する第3表示パネルと、前記第2カメラにより撮像された前記ユーザの手元の映像を表示する第4表示パネルと、を備え、前記情報表示端末の前記第1表示パネル及び前記第2表示パネルは、前記第1表示パネル、前記第2表示パネルの順に上下方向に並んで配置される、情報表示システムを提供する。
また、本発明は、オペレータが操作可能な情報提供端末との間で通信可能に接続され、ユーザが操作可能な情報表示端末であって、前記ユーザの顔の映像を撮像する第1カメラと、前記ユーザの手元の映像を撮像する第2カメラと、前記第1カメラにより撮像された前記ユーザの顔の映像と前記第2カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する通信部と、前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、前記オペレータの手元の映像を表示する第2表示パネルと、を備え、前記第1表示パネル及び前記第2の表示パネルは、前記第1表示パネル、前記第2表示パネルの順に上下方向に並んで配置される、情報表示端末を提供する。
本発明によれば、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる。
第1の実施形態の情報表示システムの概略構成の一例を示す図 第1の実施形態の情報表示端末及び情報提供端末の内部構成の一例を詳細に示すブロック図 (a)〜(e)第1の実施形態の情報表示システムの利用例を説明する図 第2の実施形態の情報表示端末の外観の一例を示す正面図 第3の実施形態の情報表示端末が設置された店舗の館内における情報の表示例を示す図
以下、適宜図面を参照しながら、本発明に係る情報表示システム及び情報表示端末を具体的に開示した各実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下の各実施形態の情報表示システムは、例えば施設内に入場した顧客であるユーザが、場所が離れているオペレーションセンタで待機しているオペレータとコミュニケーションを行い、各種の案内をオペレータからを受けることが可能なシステムに適用される。
(第1の実施形態)
図1は、第1の実施形態の情報表示システム5の概略構成の一例を示す図である。情報表示システム5は、ネットワーク90を介して接続された、ユーザ側の情報表示端末10と、オペレータ側の情報提供端末50とを含む構成を有する。情報表示端末10と情報提供端末50は、ネットワーク90を介して各種のデータ(テキストデータ、画像データ、音声データ等)を相互に通信可能である。
ネットワーク90には、インターネット等の広域通信網に接続される有線LAN(Local Area Network)や無線LAN、或いは専用線等が用いられる。また、情報表示端末10及び情報提供端末50のいずれも、ネットワーク90に接続された各種サーバ装置(図示せす)とアクセス可能である。
情報表示端末10は、人物の身長に合わせるように、ある程度の高さを有する箱形の架台12に載置される。架台12は、例えば情報表示端末10の筐体と同一色で塗装される、或いは、情報表示端末10と共通のカバーで覆われることで、情報表示端末10と一体化される。情報表示端末10は、ユーザの顔と向き合うように上側に突出するように設けられた第1筐体15と、ユーザの手元(つまり、手、腕、掌、爪等のうち一部の部位を含む手の周囲。以下同様。)が接触可能なように手前に延出された第2筐体18とを有する。
第1筐体15の前面には、後述する第3カメラ63によって撮像されるオペレータの顔と上半身の少なくとも一部との映像が映し出される第1表示パネル21が設けられる。第1表示パネル21には、実際とほぼ同じサイズで、オペレータの顔と上半身の少なくとも一部の映像が表示される。これにより、ユーザはオペレータと実際に対面しているような臨場感を得る。また、第1筐体15の前面上部には、ユーザの手元を撮像する第2カメラ32が設けられる。第1筐体15の前面下部、つまり第1表示パネル21と第2表示パネル22とが配置された筐体の中間部15zは、表示パネルが配置されないエリアとなっている。この中間部15zには、ユーザの顔及び上半身の少なくとも一部の映像を撮像する第1カメラ31が設けられる。また、中間部15zには、オペレータが発した音声のデータを出力する左右一対のスピーカ25L,25R(出力機器の一例)、及びユーザが発した音声を収音するマイク27(入力機器の一例)が設けられる。第1表示パネル21と第2表示パネル22とが配置された筐体の中間部15zに、出力機器や入力機器が配置されることで、第1表示パネル21にオペレータが自然体で映し出され、一層臨場感が高まることが期待される。
一方、第2筐体18の上面には、後述する第4カメラ64によって撮像されるオペレータの手元の映像やUI画面等が映し出される第2表示パネル22が設けられる。第2表示パネル22は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第2表示パネル22がタッチパネルで構成される場合、タッチ入力された情報は、情報表示端末10からネットワーク90に接続される情報提供端末50や各種サーバ装置に伝送される。ここでは、第2表示パネル22がタッチパネルで構成される場合を示す。
また、第2筐体18の前端面18zには、第2表示パネル22に表示された画面のハードコピーを印刷可能なプリンタ40の排出口が配置される。プリンタ40の本体は架台12に内蔵される。また、第2筐体18の前端面18zには、ユーザの個人認証を行うための認証情報(例えばカード決済処理時に要求される、カードに関する各種情報や、PIN(Personal Identification Number)等の暗証番号)を読み取る読取装置42が設置される。
一方、情報提供端末50は、デスク55に載置される。デスク55の前では、ヘッドセット73を装着したオペレータopが案内し易い姿勢でチェア71に座っている。ヘッドセット73は、情報提供端末50に接続され、ユーザが発した音声を出力し、オペレータが発した音声を収音する。
また、デスク55に取り付けられたスタンド58には、第1カメラ31によって撮像されたユーザの顔及び上半身の少なくとも一部の映像が映し出される第3表示パネル53、及びオペレータopの顔及び上半身の少なくとも一部の映像を撮像する第3カメラ63が支持される。
また、デスク55の上には、第2カメラ32によって撮像されたユーザの手元の映像を表示する第4表示パネル54が設けられる。第4表示パネル54の画面サイズは、第3表示パネル53に比べて大きく、オペレータopがユーザの手元を視認し易くなっている。第4表示パネル54は、単に画像を表示するディスプレイ装置で構成されてもよいし、タッチ入力操作が可能なタッチパネルで構成されてもよい。第4表示パネル54がタッチパネルで構成される場合、タッチ入力された情報は、情報提供端末50からネットワーク90に接続される情報表示端末10や各種サーバ装置に伝送される。ここでは、第4表示パネル54がタッチパネルで構成される場合を示す。
また、第4表示パネル54の背部からL字形に延設されたアーム57の先端には、オペレータopの手元を含むデスク55の上面を撮像する第4カメラ64が設けられる。第4カメラ64は、オペレータopの手元を撮像する他、デスク55に載置された案内パンフレット等の資料を撮像可能である。また、情報提供端末50は、第4カメラ64で撮像された画像として、第4表示パネル54に表示されたWebサイトやUI画面等をキャプチャ可能である。また、デスク55には、キーボード、マウス等の操作部68及びスキャナ69が載置される。
このように、ユーザ側の情報表示端末10は、情報提供端末50から受信した画像データを基に、第1表示パネル21にオペレータopの顔と上半身の少なくとも一部の映像を表示し、第2表示パネル22にオペレータopの手元の映像及びUI画面等を表示する。なお、第2表示パネル22は、オペレータopがデスク55の表面に案内パンフレット等の資料を載置すると、その資料も併せて表示する。また、情報表示端末10は、情報提供端末50から受信した音声データをスピーカ25L,25Rから出力し、マイク27で収音した音声データを情報提供端末50に送信する。
一方、オペレータ側の情報提供端末50は、情報表示端末10から受信した画像データを基に、第3表示パネル53にユーザの顔と上半身の少なくとも一部の映像を表示し、第4表示パネル54にユーザの手元の映像等を表示する。また、情報提供端末50は、情報表示端末10から受信した音声データをヘッドセット73のスピーカ73zから出力し、ヘッドセット73のマイク73yで収音した音声データを情報表示端末10に送信する。本第1の実施形態の第3表示パネル53の表示可能領域は、ユーザの手元の映像等を表示する第4表示パネル54のそれよりも小さくてよい。これは、以下の理由による。オペレータにとって重要なのは、第4カメラ64により撮像されるオペレータopの手元にある情報(例えばパンフレット、地図など)をユーザに表示する第2表示パネル22に対して、ユーザが指示する箇所を、オペレータopがユーザと同程度の大きさで共有することである。ユーザの手元の映像等を表示する第4表示パネル54は、その表示可能領域は、ある程度の大きさを必要とする。さらには、第4表示パネル54の解像度や画素数も、ユーザ側の第2表示パネル22と同程度であることが望ましい。ただし、第4表示パネル54は、汎用のモニタであってもよい。これに対して、ユーザの顔(あるいは、それと上半身の少なくとも一部)を表示する第3表示パネル53は、オペレータopにとっては、ユーザの表情やその背景の状況がわかる程度であればよいので、その表示可能領域はそれほど大きなものでなくてよく、解像度、画素数についてもそれほど高いものを必要としない。そのため、第3表示パネル53の表示可能領域は、ユーザの手元の映像等を表示する第4表示パネル54のそれより小さくてよいし、第3表示パネル53の解像度や画素数についても、第4表示パネル54のそれより小さくてよい。第3表示パネル53も、汎用のモニタであってよい。このことによって、オペレータop側の情報提供端末50のシステムは、汎用的なモニタと情報処理装置(PC(パーソナルコンピュータ)、タブレット端末等)又は受像機を用いて構成することが可能である。すなわち、オペレータop側の情報提供端末50は、ユーザ側の情報表示端末10よりも簡易な構成でありながら、ユーザとオペレータopとの間の自然かつスムーズなコミュニケーションを実現することができる。さらには、汎用的なモニタ及び装置により構成することで、各モニタ及び装置のレイアウトに自由度を有するので、異なるオペレータに対して、各モニタ及び装置を、常に最適な位置に配置することができる。
図2は、第1の実施形態の情報表示端末10及び情報提供端末50の内部構成の一例を詳細に示すブロック図である。情報表示端末10は、各部を統括的に制御する制御部11を有する。制御部11には、前述した第1表示パネル21、第1カメラ31、第2表示パネル22、第2カメラ32、読取装置42、左右のスピーカ25L,25R、マイク27及びプリンタ40の他、通信制御部20が接続される。
第1表示パネル21は、オペレータopの顔及び上半身の一部を表示する、超高解像度な4K(つまり、3840画素×2160画素)のディスプレイを有する。なお、第1表示パネル21は、ユーザがタッチ入力可能なタッチパネルで構成されてもよい。
第1カメラ31は、第1筐体15の下部に配置された内蔵カメラであり、情報表示端末10の前に立つユーザの顔と上半身の少なくとも一部の映像を撮像する。なお、第1カメラ31の画角は、オペレータ側の情報提供端末50から遠隔操作可能であってもよい。第1カメラ31には、高解像度なフルハイビジョンカメラ、ハイビジョンカメラ或いはノーマルカメラが用いられる。
第2表示パネル22は、インタラクティブな表示パネルとして、4Kディスプレイを有するタッチパネルで構成され、オペレータopの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下、手書き入力等を受け付ける。また、第2表示パネル22は、画面表示の拡大・縮小の指示を、ユーザの指又はスタイラスペンによる入力操作を受け付ける。
第2カメラ32は、第1筐体15の上部に配置された内蔵カメラであり、第2表示パネル22の周囲に画角が固定され、ユーザが第2表示パネル22に対し操作する手元の映像等を撮像する。第2カメラ32は、4K或いはフルハイビジョンの高解像度カメラであることが望ましい。更に、第2カメラ32がPTZカメラである場合、所望の箇所にズームアップすることで、細部まで視認できるように撮像可能である。
スピーカ25L,25Rは、情報表示端末10の前にいるユーザが聞き取り易くなるような指向性を有するステレオスピーカであり、オペレータopが発する音声等を出力する。マイク27は、ユーザに対し指向方向を有する指向性マイクであり、ユーザが発する音声を収音する。なお、マイク27及びスピーカ25L,25Rはヘッドセットで構成されてもよく、ユーザが情報表示端末10を操作する際、このヘッドセットを頭部に装着する。
プリンタ40は、第2表示パネル22の画面をハードコピーとして印刷可能であり、モノクロ印刷或いはカラー印刷のいずれかで印刷する。また、印刷方式としては、インクジェット方式、レーザプリント方式、静電記録方式等が採用される。
第1通信部の一例としての通信制御部20は、情報提供端末50の通信制御部60とネットワーク90を介してセキュア通信を行うネットワークI/Fである。具体的には、通信制御部20は、第1カメラ31により撮像されたユーザの顔の映像と第2カメラ32により撮像されたユーザの手元の映像とのデータを情報提供端末50に送信する。また通信制御部20は、情報提供端末50から送信された、オペレータの顔と上半身の少なくとも一部との映像とオペレータの手元の映像とを受信する。
読取装置42は、ユーザの個人情報を読み取る。読取装置42として、例えばNFC(Near Field Communication)等の近距離非接触通信によりICタグの情報を読み取る非接触リーダライタ装置や、スロットに挿入されたICカードの情報を読み取るICカードリーダライタ装置が挙げられる。なお、指紋や静脈等のパターンで個人認証を行う生体認証装置が用いられてもよい。また、読取装置42により読み取られたユーザの個人情報は、認証情報として、決済処理や電子マネーに使用されてもよい。個人認証を行うことで、利便性を高めるとともに、なりすまし等を排除できる。
なお、情報表示端末10は、多言語対応型の端末であり、ユーザが予め第2表示パネル22に表示された言語を選択すると、オペレータopが発する音声を、選択された言語に自動翻訳して、スピーカ25L,25Rから出力する。また、情報表示端末10は、オペレータが発した音声をテキストとして表示する機能、手書き入力された文字を認識するOCR機能等も有する。
一方、情報提供端末50は、各部を統括的に制御する制御部51を有する。制御部51には、前述した第3表示パネル53、第3カメラ63、第4表示パネル54、第4カメラ64、操作部68、ヘッドセット73のスピーカ73z,マイク73y及びスキャナ69の他、通信制御部60が接続される。
第3表示パネル53は、ユーザの顔及び上半身の少なくとも一部の映像を表示するディスプレイを有する。第3表示パネル53は、4Kに限らず、ノーマル、ハイビジョン或いはフルハイビジョンディスプレイであってもよい。なお、第3表示パネル53は、オペレータopがタッチ入力可能なタッチパネルで構成されてもよい。
第3カメラ63は、スタンド58に取り付けられたカメラであり、情報表示端末10の第1表示パネル21に表示される、オペレータopの顔及び上半身の少なくとも一部の映像を撮像するので、超高解像度な4Kカメラであることが望ましい。
第4表示パネル54は、インタラクティブな表示パネルとして、4Kディスプレイを有するタッチパネルで構成され、ユーザの手元の映像、操作メニュー画面、アプリ画面、ウェブサイト、各種ドキュメント等を表示し、タッチ操作によるボタン押下等を受け付ける。また、第4表示パネル54は、画面表示の拡大・縮小の指示を、オペレータopの指又はスタイラスペンによる入力操作を受け付ける。
第4カメラ64は、アーム57に取り付けられたカメラであり、デスク55の表面に置かれたオペレータopの手元の映像やパンフレット等を撮像する。第4カメラ64は、第2表示パネル22に表示される手元等の画像を撮像するので、超高解像度な4Kカメラであることが望ましい。更に、PTZカメラである場合、細部を視認可能に撮像することができる。
操作部68は、オペレータopが操作可能なマウスやキーボード等の入力デバイスである。スキャナ69は、パンフレット等に対し読み取り走査を行う。
ヘッドセット73は、オペレータopの頭部に装着され、オペレータopが発する音声を収音するマイク73y、及びユーザが発する音声等を出力する左右一対のスピーカ73zを有する。なお、左右一対のスピーカ及びマイクは、ヘッドセットとして一体化される以外に、それぞれスタンドアローン型の筐体を有するものであってもよい。
第2通信部の一例としての通信制御部60は、情報表示端末10の通信制御部20とネットワーク90を介してセキュア通信を行うネットワークI/Fである。具体的には、通信制御部60は、第3カメラ63により撮像されたオペレータの顔と上半身の少なくとも一部との映像と第4カメラ64により撮像されたオペレータの手元の映像とのデータを情報表示端末10に送信する。また通信制御部60は、情報表示端末10から送信された、ユーザの顔の映像とユーザの手元の映像とを受信する。
(利用例)
上記構成を有する情報表示システム5の利用例を示す。情報表示システム5の利用例として、ここでは、高いおもてなしを提供可能なサービスが求められる、施設案内に用いられる場合を想定して説明する。図3(a)〜(e)は、第1の実施形態の情報表示システム5の利用例を説明する図である。ユーザ側の情報表示端末10の第2表示パネル22には、図中(a)に示すように、オペレータopが提示した店舗の案内パンフレットpfの映像(画像)が表示されている。ここでは、4つの店舗(A店,B店,C店,D店)が紹介されている。
4つの店舗の紹介欄には、それぞれ2次元バーコードが記載されている。図中(b)に示すように、案内パンフレットpfに記載された、4つの2次元バーコードbc1,bc2,bc3,bc4は、あらかじめオペレータ側の情報提供端末50によってキャプチャされている(つまり、取り込まれている)。情報提供端末50は、案内パンフレットpfの画像データを情報表示端末10に送信する際、これとは別に、4つの2次元バーコードbc1,bc2,bc3,bc4の画像データを情報表示端末10に送信する。ただし、各店舗の紹介欄と2次元バーコードとは、各読み取り位置によって対応付けられている。
ユーザが第2表示パネル22に映し出された案内パンフレットpfを見て、例えばB店のお店情報を知りたいと判断した場合を示す。図中(c)に示すように、ユーザが第2表示パネル22のうちB店の紹介欄が表示された部分をタッチ入力すると、第2表示パネル22は、B店の2次元バーコードbc2を拡大してB店の紹介欄と重なるように、表示する。
B店の2次元バーコードbc2が拡大して表示されると、図中(d)に示すように、ユーザは、拡大された2次元バーコードbc2に対し、スマートフォン80の2次元バーコード読取機能を用いて、2次元バーコードbc2を撮像し、その情報(例えば、B店のURL、クーポン等)を入手する。
また、図中(e)に示すように、ユーザが第2表示パネル22に表示された2次元バーコードbc2に対し、タップ操作すると、情報表示端末10は、そのタップ操作された2次元バーコードbc2を読み取り、2次元バーコードbc2に埋め込まれたB店のURLを基に、B店のウェブサイト(つまり、情報提供画面)を第2表示パネル22に表示する。また、この時、ユーザのタップ操作により読み取られた2次元バーコードbc2の情報は、情報表示端末10から情報提供端末50に送信され、情報提供端末50は、第4表示パネル54にユーザと同じB店のウェブサイトを表示する。ここでは、B店が飲食店であり、B店のウェブサイトには、お食事メニューとして特選御膳が紹介されている。これにより、ユーザとオペレータopは、同じウェブサイトを共有して見ることができる。
また、それぞれの画面では、撮像された手元の画像が併せて表示される。ウェブサイト(つまり、情報提供画面)を表示する際、第2表示パネル22を分割し、情報提供画面は手元の画像が表示される画面とは別の画面に表示されてもよいし、手元の画像と重畳して第2表示パネル22に表示されてもよい。手元の画像と情報提供画面とを併せて表示することで利便性が高まる。例えば、オペレータはユーザに対し指で示しながら案内することができ、一方、ユーザはオペレータに対し指で示しながら質問等をすることができる。これにより、正確に相手方に情報を伝達することができるようになる。従って、情報伝達のスピードアップが図れるとともに、ユーザは適切なアドバイスに満足感を得ることができる。以後、同様に、ユーザ或いはオペレータopがタップ操作により展開される画面情報は、相互に通信を行うことで共有される。
また、ユーザは、プリンタ40を操作して、第2表示パネル22の画面のハードコピーを印刷させ、オペレータopにより提案された画面情報をすぐさま入手できる。これにより、情報表示端末10の利便性が一層高まる。
このように、ユーザは、オペレータopが紹介した案内パンフレットpfを見て、気に入ったお店をタッチすると、そのお店のお食事メニューを見ることができる。また、スマートフォン80でクーポンを入手し、お店に行って見せると、お食事の割引を受けることができる。
(その他の利用例)
情報表示システム5の利用例として、上記施設案内の他にも、例えば、学習塾の個別指導、占い、料理・手芸・習字等のお稽古事、観光ガイド、空港でのチェックインやインフォディスクでの手続きサポート、コンビニや店舗における購入手続き代行・サポート、旅行・借入等の無人化店舗、薬販売・提供の場における指導や説明対応、デジタルサイネージ等も利用例として挙げられる。例えば、国内外の旅行において、旅行客であるユーザと旅行会社のスタッフとの間で、各種の旅行プランの紹介や契約を行う際にも、情報表示システム5は利用可能である。
このように、第1の実施形態の情報表示システム5において、情報表示端末10では、第1表示パネル21は、第3カメラ63で撮像されたオペレータopの顔と上半身の一部とを表示し、第2表示パネル22は、第4カメラ64で撮像されたオペレータopの手元を表示する。情報提供端末50では、第3表示パネル53は、第1カメラ31で撮像されたユーザの顔を表示し、第4表示パネル54は、第2カメラ32で撮像されたユーザの手元を表示する。これにより、従来の情報表示端末に比べて、ユーザとオペレータとの間で自然なやり取りが行え、ユーザは、通信相手であるオペレータと実際に対面しているような臨場感を受けた状態で、正確かつ分かり易く情報を伝え、更に教えてもらうことができる。
(第2の実施形態)
第2の実施形態では、第1の実施形態と比べ、スタイルの異なる情報表示端末を示す。図4は、第2の実施形態の情報表示端末10Aの外観の一例を示す正面図である。第1の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。
情報表示端末10Aは、架台として、テーブルスタンド12Aを備え、カフェ等の店舗の設置に適したスタイル(いわゆる、カフェスタイル)を有するものである。
また、このスタイルの場合、第2筐体18の前端面18zにプリンタ40の排出口が配置されるが、第2筐体18の内部に収容されるプリンタは小型プリンタである。なお、このようなスタイルの場合、情報表示端末はプリンタを搭載しなくてもよい。
ユーザは、カフェ等のおしゃれな店舗を含む施設内で、情報表示端末10Aの前に立ち、第1表示パネル21に映し出されたオペレータopと実際にコミュニケーションを取るような臨場感を持って各種の案内を受けることができる。
(第3の実施形態)
図5は、第3の実施形態の情報表示端末10Bが設置された店舗の館内における情報の表示例を示す図である。情報表示端末10Bは、第2の実施形態と同様のカフェスタイルを有するものである。また、第2の実施形態と異なり、第3カメラ63により撮像されたオペレータの顔と上半身の少なくとも一部の映像が映し出される第1表示パネル21Aには、第1表示パネル21Aの後方の背部に設置されたプロジェクタにより映像が投影される透明スクリーンが用いられる。
第1表示パネル21Aに映像を投影する場合、第1表示パネル21Aは、第3カメラ63により撮像されたオペレータの顔と上半身の一部の画像を映し出す。図5では、第1表示パネル21Aには、第3カメラ63により撮像された画像とともに、情報提供端末50から送信された観光ホテルの案内メッセージ「Hakata hotel is near here. Here has a map.」が表示される。
一方、第1表示パネル21Aに映像を投影しない場合(デフォルト状態を含む)、第1表示パネル21Aは、透明スクリーン101として機能し、透明或いは半透明で第1表示パネル21Aの後方の背部が透明化され透けて見えるようになる。
このように、透明スクリーン101を用いることで、第1表示パネル21Aは透けるので、視界が遮られず、ユーザは館内を見渡せるようになる。また、映像を投影しない場合、第1表示パネル21Aは何も表示しないので、省電力化に繋がる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、情報表示端末は、オペレータの顔と上半身の少なくとも一部の映像を映し出す際、最も自然に感じられる、上半身の少なくとも一部として、胸部付近までを映し出していたが、肘付近まで或いは腰部付近まで映し出してもよい。また、上半身をほとんど映し出さずに、首付近まで或いは顔のみ映し出してもよい。また、表示パネルに映し出される顔と上半身の一部は、実際のサイズと一致するように映し出すことが望ましく、より自然な感じとなる。また、情報表示端末が等身大の表示パネルを有する場合、オペレータの全身を映し出すようにしてもよい。この場合、オペレータはユーザと同じように立った姿勢であってもよいし、座った姿勢であってもよい。
本発明は、情報を表示する際、ユーザに対して、通信相手と実際に対面しているような臨場感を提供することができ、正確かつ分かり易く情報を伝えることができる情報表示システム及び情報表示端末として有用である。
5 情報表示システム
10,10A,10B 情報表示端末
11,51 制御部
12 架台
12A テーブルスタンド
15 第1筐体
15z 中間部
18 第2筐体
18z 前端面
20,60 通信制御部
21,21A 第1表示パネル
22 第2表示パネル
25L,25R スピーカ
27 マイク
31 第1カメラ
32 第2カメラ
40 プリンタ
42 読取装置
50 情報提供端末
53 第3表示パネル
54 第4表示パネル
55 デスク
57 アーム
58 スタンド
63 第3カメラ
64 第4カメラ
68 操作部
69 スキャナ
73 ヘッドセット
80 スマートフォン
90 ネットワーク
101 透明スクリーン
bc1,bc2,bc3,bc4 2次元バーコード
fg 指
op オペレータ
pf 案内パンフレット

Claims (11)

  1. ユーザが操作可能な情報表示端末と、オペレータが操作可能な情報提供端末とが通信可能に接続された情報表示システムであって、
    前記情報表示端末は、
    前記ユーザの顔の映像を撮像する第1カメラと、
    前記ユーザの手元の映像を撮像する第2カメラと、
    前記第1カメラにより撮像された前記ユーザの顔の映像と前記第2カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する第1通信部と、
    前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、
    前記オペレータの手元の映像を表示する第2表示パネルと、を備え、
    前記情報提供端末は、
    前記オペレータの顔と上半身の少なくとも一部とを撮像する第3カメラと、
    前記オペレータの手元を撮像する第4カメラと、
    前記第3カメラにより撮像された前記オペレータの顔と上半身の少なくとも一部との映像と前記第4カメラにより撮像された前記オペレータの手元の映像とのデータを前記情報表示端末に送信し、前記情報表示端末から送信された、前記ユーザの顔の映像と前記ユーザの手元の映像とを受信する第2通信部と、
    前記第1カメラにより撮像された前記ユーザの顔の映像を表示する第3表示パネルと、
    前記第2カメラにより撮像された前記ユーザの手元の映像を表示する第4表示パネルと、を備え
    前記情報表示端末の前記第1表示パネル及び前記第2表示パネルは、前記第1表示パネル、前記第2表示パネルの順に上下方向に並んで配置される、
    情報表示システム。
  2. 請求項1に記載の情報表示システムであって、
    前記情報提供端末が備える前記第3カメラ及び前記第3表示パネルは、前記情報提供端末が備える前記第4表示パネルの側部の近傍に配置される、
    情報表示システム。
  3. 請求項1又は2に記載の情報表示システムであって、
    前記第3表示パネルの表示可能領域は、前記第4表示パネルの表示可能領域より小さい、
    情報表示システム。
  4. 請求項1から3のうちいずれか一項に記載の情報表示システムであって、
    前記第3表示パネルの画素数は、前記第4表示パネルの画素数より小さい、
    情報表示システム。
  5. 請求項1から4のうちいずれか一項に記載の情報表示システムであって、
    前記第3表示パネルの解像度は、前記第4表示パネルの解像度より小さい、
    情報表示システム。
  6. 請求項1から5のうちいずれか一項に記載の情報表示システムであって、
    前記第2表示パネルは、前記オペレータの手元の映像と情報提供画面とを併せて表示する、
    情報表示システム。
  7. 請求項1から5のうちいずれか一項に記載の情報表示システムであって、
    前記第1表示パネルは、透明スクリーンを有し、前記オペレータの顔と上半身の少なくとも一部との映像を表示しない場合に、前記第1表示パネルの後方の背部の映像を透明化して表示する、
    情報表示システム。
  8. 請求項1から6のうちいずれか一項に記載の情報表示システムであって、
    前記情報表示端末は、前記第2表示パネルで表示された映像又は画面のデータを印刷可能なプリンタ、を更に備える、
    情報表示システム。
  9. 請求項1から5のうちいずれか一項に記載の情報表示システムであって、
    前記情報表示端末は、前記ユーザの認証情報を読み取る読取装置、を更に備える、
    情報表示システム。
  10. 請求項1から5のうちいずれか一項に記載の情報表示システムであって、
    前記第1表示パネルは、前記情報表示端末の筐体の上部に配置され、
    前記第2表示パネルは、前記情報表示端末の筐体の下部から手前に延出して配置され、
    前記第1表示パネルと前記第2表示パネルとが配置された前記筐体の中間部に、入力機器及び出力機器の少なくとも一方が配置された、
    情報表示システム。
  11. オペレータが操作可能な情報提供端末との間で通信可能に接続され、ユーザが操作可能な情報表示端末であって、
    前記ユーザの顔の映像を撮像する第1カメラと、
    前記ユーザの手元の映像を撮像する第2カメラと、
    前記第1カメラにより撮像された前記ユーザの顔の映像と前記第2カメラにより撮像された前記ユーザの手元の映像とのデータを前記情報提供端末に送信し、前記情報提供端末から送信された、前記オペレータの顔と上半身の少なくとも一部との映像と前記オペレータの手元の映像とを受信する通信部と、
    前記オペレータの顔と上半身の少なくとも一部との映像を表示する第1表示パネルと、
    前記オペレータの手元の映像を表示する第2表示パネルと、を備え
    前記第1表示パネル及び前記第2の表示パネルは、前記第1表示パネル、前記第2表示パネルの順に上下方向に並んで配置される、
    情報表示端末。
JP2015128135A 2015-06-25 2015-06-25 情報表示システム及び情報表示端末 Active JP6300113B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015128135A JP6300113B2 (ja) 2015-06-25 2015-06-25 情報表示システム及び情報表示端末
US15/580,755 US10122966B2 (en) 2015-06-25 2016-05-11 Information display system and information display terminal
PCT/JP2016/002304 WO2016208111A1 (ja) 2015-06-25 2016-05-11 情報表示システム及び情報表示端末
EP16813887.3A EP3316573B1 (en) 2015-06-25 2016-05-11 Information display system and information display terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015128135A JP6300113B2 (ja) 2015-06-25 2015-06-25 情報表示システム及び情報表示端末

Publications (3)

Publication Number Publication Date
JP2017010467A JP2017010467A (ja) 2017-01-12
JP2017010467A5 JP2017010467A5 (ja) 2017-07-13
JP6300113B2 true JP6300113B2 (ja) 2018-03-28

Family

ID=57585325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015128135A Active JP6300113B2 (ja) 2015-06-25 2015-06-25 情報表示システム及び情報表示端末

Country Status (4)

Country Link
US (1) US10122966B2 (ja)
EP (1) EP3316573B1 (ja)
JP (1) JP6300113B2 (ja)
WO (1) WO2016208111A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10233949B2 (en) 2011-03-21 2019-03-19 Dana Belgium N.V. Accumulator assisted hydrostatic driveline and optimization method thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
EP3238198A1 (en) * 2014-12-22 2017-11-01 Cork Institute Of Technology An educational apparatus
JP2018151848A (ja) * 2017-03-13 2018-09-27 セイコーソリューションズ株式会社 注文システム及び制御センター装置のプログラム
JP2018195926A (ja) * 2017-05-15 2018-12-06 富士通株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラムおよびコミュニケーションシステム
JP2019149627A (ja) * 2018-02-26 2019-09-05 パナソニックIpマネジメント株式会社 双方向映像通信システム及び通信制御装置
JP2019149626A (ja) * 2018-02-26 2019-09-05 パナソニックIpマネジメント株式会社 オペレータ端末及びキャリブレーション方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
DE69221070T2 (de) 1991-09-05 1998-01-15 Canon Kk Videokonferenzsystem und Endgerät zur Verwendung in demselben
JPH0630408A (ja) * 1992-07-06 1994-02-04 Canon Inc テレビ会議システム
US6195176B1 (en) 1992-08-31 2001-02-27 Canon Kabushiki Kaisha TV conference system and terminal equipment for use in the same
US8199185B2 (en) * 1995-09-20 2012-06-12 Videotronic Systems Reflected camera image eye contact terminal
JP4329300B2 (ja) * 2002-03-26 2009-09-09 住友電気工業株式会社 マルチウィンドウ表示方法
JP2004056207A (ja) * 2002-07-16 2004-02-19 Oki Electric Ind Co Ltd コミュニケーション装置およびそのプログラム
JP2004147105A (ja) * 2002-10-24 2004-05-20 Oki Electric Ind Co Ltd 遠隔対面用端末装置
JP2008083510A (ja) * 2006-09-28 2008-04-10 Toppan Printing Co Ltd 表示装置及び表示方法
US8125510B2 (en) * 2007-01-30 2012-02-28 Ankur Agarwal Remote workspace sharing
US9049482B2 (en) * 2012-02-19 2015-06-02 Udacity, Inc. System and method for combining computer-based educational content recording and video-based educational content recording

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10233949B2 (en) 2011-03-21 2019-03-19 Dana Belgium N.V. Accumulator assisted hydrostatic driveline and optimization method thereof

Also Published As

Publication number Publication date
EP3316573A4 (en) 2018-06-27
EP3316573A1 (en) 2018-05-02
WO2016208111A1 (ja) 2016-12-29
JP2017010467A (ja) 2017-01-12
US10122966B2 (en) 2018-11-06
US20180152668A1 (en) 2018-05-31
EP3316573B1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
JP6300113B2 (ja) 情報表示システム及び情報表示端末
CN106168875A (zh) 移动终端及其控制方法
CN106257396A (zh) 用于管理协作环境的计算机实现方法、系统和设备
JP4928592B2 (ja) 画像処理装置及びプログラム
CN107038565A (zh) 用于电子支付的移动电子装置和方法
KR20100138863A (ko) 카메라 탑재 단말기에서 코드에 대응하는 증강현실과 개인화된 콘텐츠를 제공하는 방법
WO2017163897A1 (ja) 情報表示システム及び情報提供端末
JP2013172432A (ja) 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
WO2017163895A1 (ja) 情報表示システム及び情報提供端末
US9607094B2 (en) Information communication method and information communication apparatus
JP2015230512A (ja) ユーザインタフェース画面作成支援システム
JP6191519B2 (ja) 取引システム及び取引装置
JP2013054643A (ja) 情報表示装置およびプログラム
US9712693B2 (en) Information provision apparatus, information provision method, and non-transitory storage medium
CN110895440A (zh) 信息处理装置及记录介质
JP6291989B2 (ja) コンテンツ表示装置およびコンテンツ表示装置の制御プログラム
JP2017182647A (ja) 現実の書籍と電子書籍が連携した書籍システム
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2018092659A (ja) 表示装置及び表示装置の制御方法
JP6355256B2 (ja) メニュー画面構築装置、メニュー処理装置、メニュー画面生産方法、メニュー処理方法、及びプログラム
WO2021256240A1 (ja) ガイド装置、ガイドシステム、ガイド方法、プログラム、及び、記録媒体
KR20230076545A (ko) 카메라를 이용한 대화형 주문 방법
JP2019207409A (ja) 表示装置及び表示装置の制御方法
JP6115750B2 (ja) 画像認識システム、画像認識方法、及び携帯端末
CN102436328A (zh) 一种多人多点触摸装置及其应用方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170530

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170530

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180215

R151 Written notification of patent or utility model registration

Ref document number: 6300113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151