JP7244279B2 - 情報表示システム及び情報表示方法 - Google Patents

情報表示システム及び情報表示方法 Download PDF

Info

Publication number
JP7244279B2
JP7244279B2 JP2019001246A JP2019001246A JP7244279B2 JP 7244279 B2 JP7244279 B2 JP 7244279B2 JP 2019001246 A JP2019001246 A JP 2019001246A JP 2019001246 A JP2019001246 A JP 2019001246A JP 7244279 B2 JP7244279 B2 JP 7244279B2
Authority
JP
Japan
Prior art keywords
user
display content
display
content frame
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019001246A
Other languages
English (en)
Other versions
JP2020112867A (ja
Inventor
隆史 松本
雄哉 五十嵐
元明 山崎
理人 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimizu Corp
Original Assignee
Shimizu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimizu Corp filed Critical Shimizu Corp
Priority to JP2019001246A priority Critical patent/JP7244279B2/ja
Priority to CN202080008025.XA priority patent/CN113261052B/zh
Priority to SG11202107436UA priority patent/SG11202107436UA/en
Priority to PCT/JP2020/000044 priority patent/WO2020145232A1/ja
Priority to US17/421,153 priority patent/US11954241B2/en
Publication of JP2020112867A publication Critical patent/JP2020112867A/ja
Application granted granted Critical
Publication of JP7244279B2 publication Critical patent/JP7244279B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/06—Remotely controlled electronic signs other than labels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Signal Processing (AREA)

Description

本発明は、情報表示システム及び情報表示方法に関する。
壁面全体をスクリーンにすることによって、遠くからでも認識できる情報や映像を表現したりすることができる。映画スクリーンはその原始的なものである。また、近年、建物の外壁を情報ディスプレイにしたメディアファサードなどの取り組みも見られる。また、デジタルアートインスタレーションなどで、壁面に絵を描いたり、壁面のアニメーション画像とインタラクションできる表現やツールが提案されている。また、電子ホワイトボードツールなどで、壁面に文字や絵を描いて物理的空間において複数人でコミュニケーションをしながら、同時に記録を電子データ化することができるようになっている。さらに公共空間においては、デジタルサイネージとして、インタラクティブ広告やタッチスクリーンによる情報端末などが用意されるようになっている。また、特許文献１には、地図を床面に表示する技術が開示されている。
特開２００７－１４９０５３号公報
公共空間においては、一つの空間に、複数のユーザがいることが想定され、それぞれのユーザと壁面との位置関係は多様である。公共空間の壁面全体を使って情報を提示する場合、どのぐらいのサイズで情報を表示し、どのようにユーザが情報とインタラクションをするのが適切かは、そのインタラクティブディスプレイ壁面とユーザとの距離によって異なる。特に、複数人に向けた情報と、個人に向けた情報とで、その適切な関係性は大別されると考えられる。つまり、壁面から一定の距離をとっている複数の人に対しては、壁面を大きく使って情報を提示すると、複数の人にとって視認性がよい。また、タッチ操作などにより情報と個別にインタラクションしたいユーザには、壁面に手が届く程度に近接した場所にユーザが居ることが考えられるため、文字や情報の表示サイズは小さくてもそのユーザは視認可能である。そして、一つの大きな壁面に、複数に向けた大きな情報と、個人に向けた小さな情報が混在する場合、壁面から離れた場所にいる複数のユーザに対しては、どの範囲が個人向けの表示であって、どの範囲が多数に共有された表示であるか、領域を明示的に理解できることが望ましい。
上述の課題を鑑み、本発明は、複数の人が集まる空間で共有された情報と個人の情報とを区別できるように表示させることができ、複数のユーザと個人との双方で情報の取得性や操作性を改善できるようにした情報表示システム及び情報表示方法を提供することを目的とする。
上述の課題を解決するために、本発明の一態様に係る情報表示システムは、ユーザの位置を認識する位置認識部と、前記認識されたユーザの位置に対応する水平方向に延びる第１面と垂直方向に延びる第２面のいずれかの領域に表示内容枠を表示させる表示部と、前記ユーザの位置が第２面から所定の範囲内にあるか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記ユーザの位置が前記第２面から所定の範囲よりも離れている場合には、前記第１面に前記表示内容枠を表示させ、前記ユーザの位置が前記第２面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記第２面に表示させつつ前記第２面に対する前記ユーザからの操作入力を受け付ける操作入力領域を表示させる表示制御部と、を有する。
本発明の一態様に係る情報表示方法は、ユーザの位置を認識する工程と、前記認識されたユーザの位置に対応する水平方向に延びる第１面と垂直方向に延びる第２面のいずれかの領域に表示内容枠を表示させる工程と、前記ユーザの位置が第２面から所定の範囲内にあるか否かを判定する工程と、前記判定された結果に基づいて、前記ユーザの位置が前記第２面から所定の範囲よりも離れている場合には、前記第１面に前記表示内容枠を表示させ、前記ユーザの位置が前記第２面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記第２面に表示させつつ前記第２面に対する前記ユーザからの操作入力を受け付ける操作入力領域を表示させる工程とを含む。
本発明によれば、ユーザの位置が壁面に近づくと、水平方向面から垂直方向面に至るように表示内容枠が表示され、壁面の表示内容枠は、ユーザからの操作入力を受け付ける操作入力領域となる。これにより、複数の人が集まる空間で、共有された情報と個人の情報とを明示でき、個人のユーザが専用の操作入力で操作を行うことができる。
本発明の第１の実施形態に係る情報表示システムの概要を示す図である。 本発明の第１の実施形態に係る情報表示システムにおける制御装置の概要を示すブロック図である。 ユーザの位置と表示内容枠との関係の説明図である。 ユーザの位置と表示内容枠との関係の説明図である。 表示内容枠をユーザ毎のアプリケーションプログラムの操作インターフェースとして利用した例の説明図である。 表示内容枠をユーザ毎の情報の入力操作に利用した場合の説明図である。 表示内容枠の大きさを拡大又は縮小する場合の操作の説明図である。 表示内容枠の統合の説明図である。 表示内容枠の統合の説明図である。 本発明の第１の実施形態に係る情報表示システムでの処理を示すフローチャートである。 本発明による情報表示システムの基本構成を示す概略ブロック図である。
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本発明の第１の実施形態に係る情報表示システムの概要を示す図である。本発明の情報表示システムは、複数人によって利用される空間に適用することが可能であり、例えば、駅（待合所、待合室、コンコース等）、空港、公園、商業施設、ビルのエントランス、歩道、博物館、病院、公共施設、イベント会場等に適用することが可能である。この図では、複数の人が集まる駅（例えば、駅の待合所）に用いられる場合について図示されている。
図１において、駅の待合所の空間１０は、少なくとも床面１１と壁面１２とがある。床面１１及び壁面１２はその全体または少なくとも一部の領域が表示面として用いるこがができる。床面１１及び壁面１２は、プロジェクションやＬＥＤ（Light Emitting Diode）モジュールなどにより映像信号が投写されることで、表示面としての機能を実現することができる。また、床面１１や壁面１２近傍においてユーザが操作入力の動作を行ったか否かについては、カメラ１５や、モーションセンサによって検出することができる。また、カメラ１５やモーションセンサの他に、３Ｄスキャナやタッチセンサ等を用いるようにしてよい。
また、駅の待合所の空間１０全体または少なくとも床面１１と壁面１２を撮像するカメラ１５が備えられている。カメラ１５は、そこを訪れたユーザ５０－１、５０－２、５０－３の位置や動作を撮像する。なお、さらに、ユーザ５０－１、５０－２、５０－３の位置や動作を検出する３Ｄスキャナを設け、この３Ｄスキャナから、各ユーザの位置や動作についての情報を取得するようにしてもよい。
また、駅の待合所には、制御装置２０が備えられている。制御装置２０は、プロジェクタまたはＬＥＤモジュールに対して映像信号を供給する。プロジェクタまたはＬＥＤモジュールは、制御装置２０から供給される映像信号を床面１１や壁面１２に投写（表示）する。
図１において、床面１１及び壁面１２は、そこに訪れたユーザ５０－１、５０－２、５０－３で共有された情報を提供可能な領域として用いられる。この例では、壁面１２に、画像３１－１、３１－２が表示される。この画像３１－１、３１－２は、ユーザ５０－１、５０－２、５０－３のいずれのユーザからも視認可能であり、各ユーザにおいて共有の情報として用いることができる。このような共有の情報は、壁面１２から離れた位置にいるユーザからの視認可能な位置や大きさで表示することが好ましく、例えば、壁面１２において床面１１から一定以上の高さであって、画像の表示サイズがある程度の大きさにするとこが視認性の観点から好ましい。また、床面１１に、画像３２－１、３２－２、３２－３が表示される。この画像３２－１、３２－２、３２－３は、ユーザ５０－１、５０－２、５０－３のうちいずれのユーザであっても視認可能であり、共有の情報として用いることができる。床面１１に表示される共有の情報は、床面１１において表示された位置からある程度離れた位置にいるユーザも視認可能である。
また、駅の待合所の空間１０を訪れたユーザ５０－１、５０－２、５０－３の情報（位置や動作）は、カメラ１５の撮像画像を画像認識することで取得される。カメラ１５は、床面１１を撮像することで、ユーザ５０－１、５０－２、５０－３を含む撮像画像を生成し、その撮影画像から、ユーザ５０－１、５０－２、５０－３がいる床面１１における位置を検出する。制御装置２０は、この検出された位置に基づいて、ユーザ５０－１、５０－２、５０－３の足元に、その人がセンシングされていることを示す表示内容枠６０－１、６０－２、６０－３を表示する。この表示内容枠６０をユーザに対応する位置に表示することで、そのユーザに対して割り当てられたユーザ個人に対する情報であることを明示的に表示することができる。このようにして、共有の情報とユーザ個人向けの情報とを明示的に分けて表示することが可能であり、ユーザにとって、自分向けの情報であるか、一般（共有）向けの情報であるかを簡単に把握することが可能である。ここでは、ユーザ５０－１、５０－２、５０－３の全員の足下に表示内容枠を表示してもよいし、少なくとも１人の足下に表示してもよい。
なお、表示内容枠６０－１、６０－２、６０－３は、環状（円環、矩形状）でも破線状でもよい。また、表示内容枠６０－１、６０－２、６０－３は、対象ユーザを線で取り囲むような図形であってもよいし、表示内容枠の内周側についても任意の表示色で表示（ベタ塗り）してもよい。また、表示内容枠６０－１、６０－２、６０－３は、動物や植物などのキャラクターであってもよいし、文字等であってもよい。例えば、表示内容枠６０－１には、表示内容枠６０－１内にいるユーザに対する個人向けの情報として、表示内容枠６０－１の外周から延びるように矢印が表示され、表示内容枠６０－１のユーザの正面側に目的地を示す文字列が表示される（符号６０－１ａ）これにより、表示内容枠６０－１のユーザに対して目的地へ誘導することができる。また、表示内容枠６０－２には、表示内容枠６０－２内にいるユーザに対する個人向けの情報として、表示内容枠６０－２のユーザの正面側に、文字列とバスのアイコンが並んで表示される。これにより、表示内容枠６０－２のユーザに対してバスに関する情報を提供することができる。このように、表示内容枠は、各ユーザに対してパーソナライズされた、矢印、文字、アイコン等を組み合わせた案内表示と、一体化または組み合わされた画像が表示されてもよい。
ユーザ５０－１、５０－２、５０－３が床面１１上を移動していくと、カメラ１５は、これらユーザを含む床面１１を撮像し、各ユーザの床面１１における位置を検出する。制御装置２０は、カメラ１５から得られるユーザの位置に基づいて、表示内容枠６０－１、６０－２、６０－３をユーザの位置に対応する位置に追従するように表示する。また、ユーザ５０－１、５０－２、５０－３が所定距離以内まで壁面１２に近づくと、床面１１に表示された表示内容枠６０－１、６０－２、６０－３は、少なくとも一部が床面１１から壁面１２に至るように、壁面１２にまで伸びるように表示される。図１においては、ユーザ５０－３は、壁面１２から所定距離以内まで近づいていることが制御装置２０によって判定されることで、制御装置２０が、表示内容枠６０－３について、床面１１から壁面１２に至るように、壁面１２にまで伸びて表示する。
なお、ユーザ５０－１、５０－２、５０－３は複数人であるが、以下の説明では、ユーザ５０－１、５０－２、５０－３を区別しない場合には、単に、ユーザ５０と呼ぶことがある。また、表示内容枠６０－１、６０－２、６０－３は、ユーザ５０－１、５０－２、５０－３の数に対応した数であるが、以下の説明では、表示内容枠６０－１、６０－２、６０－３を区別しない場合には、単に、表示内容枠６０と呼ぶことがある。また、画像３１－１、３１－２及び画像３２－１、３２－２、３２－３は、それぞれ複数であるが、以下の説明では、画像を区別しない場合には、単に、画像３１及び画像３２と呼ぶことがある。
また、床面１１及び壁面１２への画像の投写は、プロジェクションやＬＥＤモジュールなどに限定されず、他の装置やモジュールを用いてもよい。本実施形態においては、表示面に影ができないものが望ましく、また、床面１１においては加重や摩耗の影響を受けにくいものが望ましい。また、床面１１、壁面１２の表示面は、離間していてもよいが、接している方が、１つの表示内容枠の連続性を維持して表示できる点において好ましい。また、床面１１と壁面１２との確度は、垂直であってもよいし、湾曲するようにして連続面とされていてもよい。
図２は、本発明の第１の実施形態に係る情報表示システムにおける制御装置２０の概要を示すブロック図である。図２に示すように、制御装置２０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ストレージデバイス２４、及び通信部２５を含んで構成される。ＣＰＵ２１は、コマンドを解釈して、実行を行う。ＲＯＭ２２には、ブートプログラムが記憶されている。ＲＡＭ２３は、メインメモリとして用いられる。ストレージデバイス２４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）からなり、ＯＳ（Operating System）やアプリケーションのプログラムやデータが記憶されている。
制御装置２０には、表示部２６、モーションセンサ２７、カメラ１５が接続される。表示部２６は例えばプロジェクタあるいはＬＥＤモジュールであり、床面１１や壁面１２の全面または一部の領域に画像を表示する。カメラ１５は、床面１１や壁面１２を撮像し、撮像結果に基づいて画像処理を行うことで、撮像領域に存在するユーザの動きを検出し、検出結果を制御装置２０に出力する。制御装置２０は、カメラ１５から入力されるユーザの動きを検出した結果に応じた画像を表示部２６によって床面１１や壁面１２に表示する。
ここでは、カメラ１５の撮像結果に基づいて、ユーザの動きを検出することができるが、モーションセンサ２７を用いることもできる。モーションセンサ２７は、赤外線またはレーザー光等の所定の波長の光を出射し、その反射光を受光することで、周囲に存在する物体を検出する。また、モーションセンサ２７は、物体を検出した検出結果に基づいて、物体の動きを検出する。モーションセンサ２７は、物体を検出した検出結果や、物体の動きを検出した結果をＣＰＵ２１に出力する。モーションセンサ２７は、例えば、空間１０の天井または天井近傍の壁面に取り付けられる。このようなカメラ１５やモーションセンサ２７を用いる場合には、ユーザがどこに居るか（床面と接触）、ユーザが壁面に対してどの程度近接しているか（壁面とは非接触）、ユーザが壁面のどこをタッチしているか（壁面と接触）のいずれについても取得することができる。また、カメラ１５やモーションセンサを用いる場合には、ユーザの移動や、ユーザの壁や表示領域への近接度合による状況的判断、タッチによる明示的な操作等に基づくインタラクションを実現することができる。また、カメラ１５やモーションセンサ２７の他に、３Ｄスキャナによる検出結果に基づいてユーザの動きを検出してもよい。また、壁面１２にタッチパネルを設けた場合には、タッチ操作が行われたか否かを直接検出することができるので、検出精度を向上させることができる。
制御装置２０は、カメラ１５の撮像画面を解析して、ユーザ５０の位置を認識する位置認識部として機能する。ここで、撮像画像に含まれるユーザを認識する処理は、カメラ１５が行っても良いし、制御装置２０が行ってもよい。
表示部２６は、例えば、プロジェクタまたはＬＥＤモジュールであり、認識されたユーザ５０の位置に対応する床面１１（水平方向面）と壁面１２（垂直方向面）のいずれかの領域に、表示内容枠６０を表示（投写）する。
また、制御装置２０は、ユーザ５０の位置が壁面１２から所定の範囲内にあるか否かを判定する判定部と、判定部の判定結果に基づいて、表示内容枠６０を制御する表示制御部として機能する。制御装置２０は、ユーザ５０の位置が壁面１２から所定の範囲よりも離れている場合には、床面１１に表示内容枠６０を表示させ、ユーザ５０の位置が壁面１２から所定の範囲内にある場合には、床面１１から壁面１２に至るように表示内容枠６０を表示させつつ壁面１２にユーザ５０からの操作入力を受け付ける操作入力領域７０を表示させる。
また、制御装置２０は、カメラ１５の撮像画面を解析して、ユーザ５０の動作を検出する動作検出部として機能する。また、制御装置２０は、ユーザ５０の動作に応じて表示内容枠６０の表示態様を変化させる表示制御部として機能する。より具体的には、制御装置２０は、表示内容枠６０拡大／縮小、他のユーザの表示内容枠とのマージ等を行う表示制御部として機能する。
また、制御装置２０は、複数のユーザの動作が検出された検出結果に基づいて、共有を表す動作を行った複数のユーザについて、複数のユーザに割り当てられていた表示内容を表示する個別の領域を１つの共有領域として表示させる表示制御部として機能する。
また、制御装置２０は、表示部２６に、機械読取コード６２（図５参照）を含めた表示内容枠６０を壁面１２に表示させる表示制御部として機能する。この機械読取コードは、ユーザの端末装置６３で撮影して読み取ることができる。通信部２５は、この機械読取コードを読み取った端末装置から送信される機械読取コードを受信すると、機械読取コードを含む表示内容に関連する情報を端末装置６３に送信する通信部として機能する。
図３Ａ及び図３Ｂは、ユーザ５０の位置と表示内容枠との関係の説明図である。図３Ａに示すように、床面１１におけるユーザ５０の位置と壁面１２との間の距離Ｌ１が所定の距離より長い場合には、表示内容枠６０は、ユーザ５０の足元を囲むように、床面１１に表示される。ここで、所定距離は、ユーザ５０が壁面１２に手で接触できるような距離であり、例えば、数１０ｃｍ程度から１ｍ程度の範囲のいずれかの距離を設定することが可能である。ここでは、制御装置２０は、床面１１におけるユーザの位置から壁面１２までの距離を検出する。
これに対して、図３Ｂに示すように、ユーザ５０の位置と壁面１２との間の距離Ｌ２が所定の距離より短くなると、制御装置２０は、表示内容枠を、床面１１から壁面１２に至るように表示する。表示内容枠６０のうち壁面１２に表示される部分は、ユーザ５０が個人的にインタラクションを行う操作入力領域７０として用いられる。この操作入力領域７０の壁面１２における上端の高さは、例えば、検出されたユーザ５０の身長に応じて、手を壁面１２に伸ばして操作がし易い高さと同じかそれよりも一定以上の高さとなるように表示するようにしてもよい。これによりユーザは、操作するためにしゃがんだり飛び跳ねたりする必要がない。
図４は、操作入力領域７０をユーザ毎のアプリケーションプログラムの操作インターフェースとして利用した例の説明図である。図４に示すように、操作入力領域７０には、アイコン６１が表示されている。ユーザ５０がアイコン６１をタッチすると、所望のアプリケーションプログラムが起動される。ここでは、アイコン６１は、バスのアイコンが投影されている。
図５は、操作入力領域７０をユーザ毎の情報の入力操作に利用した場合の説明図である。図５に示すように、操作入力領域７０には、機械読取コード６２が表示される。機械読取コード６２は、バーコード、二次元バーコード等、撮像装置で読み取り可能なものである。ここでは、機械読取コード６２は、二次元バーコードである。ユーザ５０は、自分の端末装置６３で機械読取コード６２を撮影する。ユーザ５０が端末装置６３で機械読取コード６２を撮影すると、端末装置６３と制御装置２０とが通信を行い、この機械読取コード６２に関連する情報が操作入力領域７０に表示される。例えば、制御装置２０は、図４におけるアイコン６１に対してユーザ５０がタッチ操作したことを検出した場合に、機械読取コード６２を表示する等、ユーザの操作に応じた情報を表示することができる。ここでは、制御装置２０は、端末装置６３に割り当てられた識別情報をユーザ識別情報として用いることで、ユーザ識別情報と壁面１２の操作入力領域７０とを関連付けすることができる。また、ユーザ識別情報を特定することができれば、この他の実現手段を用いるようにしてもよく、例えば、ユーザ識別情報と操作入力領域７０との関連付けは、例えば、ビーコンなどの近距離通信を用いた認証や、カメラからの画像解析等を組み合わせた認証方法であってもよい。
また、表示内容枠６０の大きさは、操作入力領域７０を操作することで、拡大／縮小することができる。図６は、表示内容枠６０の大きさを拡大／縮小する場合の操作の説明図である。図６に示すように、ユーザ５０が操作入力領域７０内を広げるように、壁面１２に触れつつ操作入力領域７０の右側端部と左側端部をそれぞれ外側（距離が離れる方向）に広げるような動作をすると、制御装置２０は、この動作を検出し、表示内容枠６０の幅方向の大きさを動作に応じて拡大する。ユーザ５０が壁面１２に触れつつ操作入力領域７０の右側端部と左側端部をそれぞれ内側（距離が近づく方向）に狭めるような動作をすると、表示内容枠６０の幅方向の大きさが縮小していく。ここでは、幅方向の大きさを変更する場合について説明したが、ユーザが両手を上に伸ばす、あるいは両腕を引き下ろすような動作をした場合、制御装置２０が、この動作を検出し、表示内容枠６０の高さ方向のサイズを伸張あるいは縮退させるようにしてもよい。また、この図において、ユーザが壁面１２に触れつつ操作入力領域７０の幅方向のサイズを変更する場合について説明したが、壁面１２にタッチしていなくても、ユーザによる操作入力がなされていることが検出できる場合には、操作入力として受け付けるようにしてもよい。
また、表示内容枠６０を拡大させていくと、隣に別のユーザがいて、その別のユーザの表示内容枠に重なる場合がある。この場合には、表示内容枠を統合して１つの表示内容枠としてもよい。図７Ａ、図７Ｂは、表示内容枠の統合の説明図である。この例では、表示内容枠６０ａと表示内容枠６０ｂとを統合して、１つの表示内容枠として表示する場合について説明する。壁面１２の近傍にいるユーザ５０ａと隣にいる別のユーザ５０ｂがそれぞれ自身に割り当てられた表示内容枠の右側端部または左側端部うち、隣接するユーザが存在する方の端部をタッチしつつ、お互いの端部が接するように操作入力をする。このような操作入力を検出した場合、制御装置２０は、端部を接するように操作入力をしたユーザのそれぞれの表示内容枠を図７Ｂの符号６０ｃに示すように、統合することもできる。この表示内容枠の統合は、３人以上のユーザの表示内容枠であっても統合することができる。
また、壁面１２において、各ユーザに割り当てられた操作入力領域７０には、複数のユーザに対して共通の情報を表示する内容と、異なる内容とを表示させてもよい。
図８は、本発明の第１の実施形態に係る情報表示システムでの処理を示すフローチャートである。
（ステップＳ１０１）制御装置２０は、カメラ１５の撮像画像を解析して、駅の待合所の空間１０内のオブジェクトを検出する。制御装置２０は、オブジェクトを検出したら、処理をステップＳ１０２に進める。
（ステップＳ１０２）制御装置２０は、検出されたオブジェクトが人か否かを判別する。検出されたオブジェクトが人でなければ（ステップＳ１０２：Ｎｏ）、制御装置２０は、処理をステップＳ１０３に進め、検出されたオブジェクトが人なら（ステップＳ１０２：Ｙｅｓ）、処理をステップＳ１０４に進める。
（ステップＳ１０３）検出されたオブジェクトが人でなければ、オブジェクトは物であるので、障害物を認識して、処理をステップＳ１０１に戻す。
（ステップＳ１０４）制御装置２０は、検出された人の足元を囲むように、床面１１に表示内容枠６０を表示して、処理をステップＳ１０５に進める。
（ステップＳ１０５）制御装置２０は、検出された人が壁面１２の近傍か否かを判定する。検出された人が壁面１２の近傍まで近づいたら（ステップＳ１０５：Ｙｅｓ）、制御装置２０は、処理をステップＳ１０６に進め、検出された人が壁面の近傍でなければ（ステップＳ１０５：Ｎｏ）、処理をステップＳ１０４に戻す。人が移動する場合には、ステップＳ１０４、ステップＳ１０５のループが繰り返され、人の動きに追従して、表示内容枠６０が動いていく。
（ステップＳ１０６）制御装置２０は、表示内容枠６０を床面１１から壁面１２に至るように壁面１２にまで伸ばして表示を行ない、処理をステップＳ１０７に進める。
（ステップＳ１０７）制御装置２０は、表示内容枠６０を壁面１２まで延ばした部分を操作入力領域７０とするアプリケーションプログラムを起動して、処理をステップＳ１０８に進める。
（ステップＳ１０８）制御装置２０は、壁面１２を接触した操作があったか否かを判定する。壁面１２を接触する操作があったら（ステップＳ１０８：Ｙｅｓ）、制御装置２０は、処理をステップＳ１０９に進め、操作がなければ（ステップＳ１０８：Ｎｏ）、処理をステップＳ１０５に戻す。
（ステップＳ１０９）制御装置２０は、壁面１２を接触する操作が操作入力領域７０内へのタッチ操作か否かを判定する。制御装置２０は、操作入力領域７０内へのタッチ操作なら（ステップＳ１０９：Ｙｅｓ）、処理をステップＳ１１０へ進め、操作入力領域７０内へのタッチでなければ（ステップＳ１０９：Ｎｏ）、処理をステップＳ１１１へ進める。
（ステップＳ１１０）制御装置２０は、タッチ操作に応じたアプリケーションプログラムの処理を行って、処理をステップＳ１０８に戻す。
（ステップＳ１１１）制御装置２０は、操作入力領域７０のスライド操作か否かを判定する。操作入力領域７０のスライド操作なら（ステップＳ１１１：Ｙｅｓ）、制御装置２０は、処理をステップＳ１１２へ進め、操作入力領域７０のスライド操作でなければ（ステップＳ１１１：Ｎｏ）、処理をステップＳ１０８に戻す。
（ステップＳ１１２）制御装置２０は、スライド操作に応じて、表示内容枠６０を拡大または縮小して、処理をステップＳ１０８に戻す。
以上説明したように、本実施形態では、ユーザ５０が検出されると、ユーザの足元の床面１１に、その人がセンシングされていることを示す表示内容枠６０が表示される。そして、ユーザ５０の位置が壁面１２に近づくと、床面１１から壁面１２に至るように表示内容枠６０が表示され、表示内容枠６０のうち壁面１２に伸びる部分は、ユーザ５０からの操作入力を受け付ける操作入力領域７０となる。これにより、複数の人が集まる空間１０で、共有された情報と個人の情報とを明示的に表示することができ、また、操作入力領域７０を操作対象の範囲として、個人のユーザ５０が専用の操作入力で操作を行うことができる。共有された情報と個人の情報とを明示できることから、文字の大きさや表示の大きさについても、そのユーザに合わせて適切に制御できる。例えば、ユーザの位置が壁面１２に近いほど、文字を小さく表示するようにしてもよい。この場合、ユーザは、壁面１２から離れた位置にいる場合には、大きめの文字の方が視認し易いが、壁面１２に近い位置にいる場合には、小さな文字であっても視認可能である。
図９は、本発明による情報表示システムの基本構成を示す概略ブロック図である。本発明による情報表示システムは、位置認識部１０１と、表示部１０２と、判定部１０３と、表示制御部１０４とを基本構成とする。位置認識部１０１は、ユーザ１１１の位置を認識する。表示部１０２は、認識されたユーザ１１１の位置に対応する水平方向面１０６と垂直方向面１０５のいずれかの領域に表示内容枠１１２を表示させる。判定部１０３は、ユーザ１１１の位置が垂直方向面１０５から所定の範囲内にあるか否かを判定する。表示制御部１０４は、判定部１０３の判定結果に基づいて、ユーザ１１１の位置が垂直方向面１０５から所定の範囲よりも離れている場合には、水平方向面１０６に表示内容枠１１２を表示させ、ユーザの位置が垂直方向面１０５から所定の範囲内にある場合には、水平方向面１０６から垂直方向面１０５に至るように表示内容枠１１２を表示させつつ垂直方向面１０５にユーザ１１１からの操作入力を受け付ける操作入力領域１１３を表示させる。
上述した実施形態における情報表示システムの全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１１…床面、１２…壁面、１５…カメラ、２０…制御装置、２５…通信部、２６…表示部、６０（６０－１、６０－２、６０－３）…表示内容枠、７０…操作入力領域

Claims (7)

  1. ユーザの位置を認識する位置認識部と、
    前記認識されたユーザの位置に対応する水平方向に延びる第１面と垂直方向に延びる第２面のいずれかの領域に表示内容枠を表示させる表示部と、
    前記ユーザの位置が第２面から所定の範囲内にあるか否かを判定する判定部と、
    前記判定部の判定結果に基づいて、
    前記ユーザの位置が前記第２面から所定の範囲よりも離れている場合には、前記第１面に前記表示内容枠を表示させ、
    前記ユーザの位置が前記第２面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記第２面に表示させつつ前記第２面に対する前記ユーザからの操作入力を受け付ける操作入力領域を表示させる表示制御部と、
    を有する情報表示システム。
  2. 前記表示制御部は、
    前記ユーザの位置が前記第２面から所定の範囲内にある場合には、前記第１面から前記第２面に至るように前記表示内容枠を表示させるか、前記表示内容枠の領域全体を第２面に表示させつつ、前記第２面に対する前記ユーザからの操作入力を受け付ける操作入力領域を表示させる
    請求項１記載の情報表示システム。
  3. 前記ユーザの動作を検出する動作検出部を有し、
    前記表示制御部は、前記ユーザの動作に応じて前記表示内容枠の表示態様を変化させて表示させる
    請求項１または請求項２に記載の情報表示システム。
  4. 前記表示制御部は、機械読取コードを含めた表示内容枠を前記第２面に表示させ、
    前記情報表示システムは、
    前記機械読取コードを読み取った端末装置から送信される機械読取コードを受信すると、当該機械読取コードを含む表示内容枠に関連する情報を当該端末装置に送信する通信部
    を有する請求項１から請求項３のうちいずれか１項に記載の情報表示システム。
  5. 前記ユーザは複数であり、
    前記表示制御部は、前記複数のユーザの動作が検出された検出結果に基づいて、共有を表す動作を行った複数のユーザについて、当該複数のユーザに割り当てられていた表示内容枠を表示する個別の領域を１つの共有領域として表示させる
    請求項３または請求項４記載の情報表示システム。
  6. 前記表示制御部は、前記第２面において、前記ユーザに割り当てられた表示内容枠と、複数のユーザに対して共通の情報を表示する表示内容枠とを異なる表示領域に表示させる
    請求項１から請求項５のうちいずれか１項に記載に情報表示システム。
  7. ユーザの位置を認識する工程と、
    前記認識されたユーザの位置に対応する水平方向に延びる第１面と垂直方向に延びる第２面のいずれかの領域に表示内容枠を表示させる工程と、
    前記ユーザの位置が第２面から所定の範囲内にあるか否かを判定する工程と、
    前記判定された結果に基づいて、
    前記ユーザの位置が前記第２面から所定の範囲よりも離れている場合には、前記第１面に前記表示内容枠を表示させ、
    前記ユーザの位置が前記第２面から所定の範囲内にある場合には、前記表示内容枠の少なくとも一部を前記第２面に表示させつつ前記第２面に対する前記ユーザからの操作入力を受け付ける操作入力領域を表示させる工程と
    を含む情報表示方法。
JP2019001246A 2019-01-08 2019-01-08 情報表示システム及び情報表示方法 Active JP7244279B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019001246A JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法
CN202080008025.XA CN113261052B (zh) 2019-01-08 2020-01-06 信息显示系统以及信息显示方法
SG11202107436UA SG11202107436UA (en) 2019-01-08 2020-01-06 Information display system and information display method
PCT/JP2020/000044 WO2020145232A1 (ja) 2019-01-08 2020-01-06 情報表示システム及び情報表示方法
US17/421,153 US11954241B2 (en) 2019-01-08 2020-01-06 Information display system and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019001246A JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法

Publications (2)

Publication Number Publication Date
JP2020112867A JP2020112867A (ja) 2020-07-27
JP7244279B2 true JP7244279B2 (ja) 2023-03-22

Family

ID=71521621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019001246A Active JP7244279B2 (ja) 2019-01-08 2019-01-08 情報表示システム及び情報表示方法

Country Status (5)

Country Link
US (1) US11954241B2 (ja)
JP (1) JP7244279B2 (ja)
CN (1) CN113261052B (ja)
SG (1) SG11202107436UA (ja)
WO (1) WO2020145232A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009214A (ja) 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103543A1 (ja) 2014-12-25 2016-06-30 パナソニックＩｐマネジメント株式会社 投影装置
WO2016103560A1 (ja) 2014-12-25 2016-06-30 パナソニックＩｐマネジメント株式会社 投影装置
JP2016169080A (ja) 2015-03-12 2016-09-23 パナソニックＩｐマネジメント株式会社 照明機能を有する検索システム
JP2017146927A (ja) 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4361857B2 (ja) * 2002-05-16 2009-11-11 インテリマット，インコーポレイティド フロア表示システム
JP4771147B2 (ja) 2005-10-24 2011-09-14 清水建設株式会社 道案内システム
CN103543879A (zh) * 2013-10-28 2014-01-29 陕西高新实业有限公司 虚拟触摸屏系统
JP6282188B2 (ja) * 2014-07-04 2018-02-21 クラリオン株式会社 情報処理装置
US10122976B2 (en) * 2014-12-25 2018-11-06 Panasonic Intellectual Property Management Co., Ltd. Projection device for controlling a position of an image projected on a projection surface
EP3308254A1 (en) * 2015-06-12 2018-04-18 Nureva Inc. System, apparatus, and method for facilitating and perpetuating a collaborative ideation session
WO2019079790A1 (en) * 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
KR102499354B1 (ko) * 2018-02-23 2023-02-13 삼성전자주식회사 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009214A (ja) 2014-06-20 2016-01-18 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2016103543A1 (ja) 2014-12-25 2016-06-30 パナソニックＩｐマネジメント株式会社 投影装置
WO2016103560A1 (ja) 2014-12-25 2016-06-30 パナソニックＩｐマネジメント株式会社 投影装置
JP2016169080A (ja) 2015-03-12 2016-09-23 パナソニックＩｐマネジメント株式会社 照明機能を有する検索システム
JP2017146927A (ja) 2016-02-19 2017-08-24 ソニーモバイルコミュニケーションズ株式会社 制御装置、制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐々木 恵太，インターフェイスを映像投影する試み，エンタテインメントコンピューティングシンポジウム ２０１３ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2013年09月27日，pp.292-296

Also Published As

Publication number Publication date
US11954241B2 (en) 2024-04-09
JP2020112867A (ja) 2020-07-27
CN113261052B (zh) 2024-09-13
US20220083127A1 (en) 2022-03-17
CN113261052A (zh) 2021-08-13
SG11202107436UA (en) 2021-08-30
WO2020145232A1 (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
US9796093B2 (en) Customer service robot and related systems and methods
KR101541561B1 (ko) 유저 인터페이스 장치, 유저 인터페이스 방법, 및 기록 매체
KR102068216B1 (ko) 이동형 원격현전 로봇과의 인터페이싱
KR20130112061A (ko) 자연스러운 제스처 기반 사용자 인터페이스 방법 및 시스템
Lee et al. Opportunities for human-AI collaboration in remote sighted assistance
WO2015159602A1 (ja) 情報提供装置
EP3172721B1 (en) Method and system for augmenting television watching experience
CN113946223A (zh) 一种采用显示屏的旅游互动方法
US9286580B2 (en) Terminal apparatus, display method, recording medium, and display system
Xie et al. Iterative design and prototyping of computer vision mediated remote sighted assistance
JP2018169787A (ja) 自律型モビリティシステムおよび自律型モビリティの制御方法
CN116830066A (zh) 图像处理装置、图像处理方法和图像处理系统
US10866779B2 (en) User interactive display device and operating device
JP2018005663A (ja) 情報処理装置、表示システム、プログラム
JP7244279B2 (ja) 情報表示システム及び情報表示方法
KR102243576B1 (ko) 증강현실 기반 관람 가이드 서비스 방법
TWI470565B (zh) 非接觸式醫療導覽系統及其控制方法
TWM514600U (zh) 虛擬園區之體感探索互動系統
JP4979895B2 (ja) ディスプレイ制御装置、ディスプレイ制御方法、ディスプレイ制御プログラム、およびディスプレイ
KR101268640B1 (ko) 대형 스크린을 위한 디스플레이 시스템 및 그 시스템의 동작 방법
CN113342176A (zh) 一种沉浸式旅游互动系统
JP2018005660A (ja) 情報処理装置、プログラム、位置情報作成方法、情報処理システム
WO2021251368A1 (ja) 情報表示装置及び情報表示方法
Bentley et al. Perceptive presence
JP2019139380A (ja) タッチパネル装置および入力制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230309

R150 Certificate of patent or registration of utility model

Ref document number: 7244279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150