JP6903999B2 - コンテンツ表示装置およびコンテンツ表示プログラム - Google Patents
コンテンツ表示装置およびコンテンツ表示プログラム Download PDFInfo
- Publication number
- JP6903999B2 JP6903999B2 JP2017065160A JP2017065160A JP6903999B2 JP 6903999 B2 JP6903999 B2 JP 6903999B2 JP 2017065160 A JP2017065160 A JP 2017065160A JP 2017065160 A JP2017065160 A JP 2017065160A JP 6903999 B2 JP6903999 B2 JP 6903999B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- content display
- sheet
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
- G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
- G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
Description
手書きで文字入力を行ったり、文字を電子的に閲覧する場合に、黒板やホワイトボード等の設置型のものを使用すると、持ち運びができず、利用者が自由な場所で手軽に利用できない問題があった。また、タブレット端末のような入出力が可能なディスプレイを有する携帯端末を使用する場合は、持ち運ぶことは可能であるが、精密機械で丁寧に扱う必要があったり、ディスプレイやバッテリーの重量があって利用者が持ち続けると手の負担になったりして、手軽に扱うことができない(利便性が低い)問題があった。
画像を取得する画像取得手段と、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段と、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段と、
利用者が把持して使用可能な筆記具型の入力部材であって、先端部に発光部を有する前記入力部材と、
前記画像取得手段で取得された画像に基づき、前記発光部からの光の位置を取得する光取得手段と、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段と、
前記シート媒体が1枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が1枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。
前記画像取得手段で取得されたシート媒体の画像に基づいて、シート媒体の姿勢を推定する姿勢推定手段と、
推定された姿勢に基づいて、シート媒体がめくられた場合に、めくられた後のシート媒体の面に次のページに対応するコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。
円環状の留め具で留められた複数の前記シート媒体に対して、シート媒体がめくられた回数を検知するめくり回数検知手段と、
めくられた回数に応じたページに対応付けられたコンテンツを前記シート媒体の面に表示する前記コンテンツ表示手段と、
を備えたことを特徴とする。
感圧時に発光する前記発光部、
を備えたことを特徴とする。
前記入力部材が前記シート媒体に接触したことを検知する接触検知手段と、
前記入力部材から出力された接触を検知した信号と、前記光取得手段が取得した光の位置とに基づいて、前記シート媒体への入力部材を使用した書き込みを判別する書き込み判別手段と、
を備えたことを特徴とする。
前記入力部材の使用者の視線を検知する視線検知手段と、
視線の先に対応する光を、前記シート媒体への入力部材を使用した書き込みと判別する書き込み判別手段と、
を備えたことを特徴とする。
前記光の軌跡に基づいて、前記シート媒体への入力部材を使用した書き込みの書き順を判別する書き順判別手段と、
前記書き順判別手段で書き込まれた書き順から、書き込まれた文字の認識を行う文字認識手段と、
を備えたことを特徴とする。
コンピュータを、
画像を取得する画像取得手段、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段、
前記画像取得手段で取得された画像に基づき、利用者が把持して使用可能な筆記具型の入力部材の発光部からの光の位置を取得する光取得手段、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段、
前記シート媒体が1枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が1枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段、
として機能させることを特徴とする。
請求項2に記載の発明によれば、シート媒体をめくるという直感的な動作に対応して、次のページの文書の閲覧ができる。
請求項3に記載の発明によれば、コンテンツの総ページ数よりも少ない枚数のシート媒体で全てのページを閲覧することができる。
請求項5に記載の発明によれば、接触検知手段を有しない場合に比べて、シート媒体への入力部材での入力の判別精度を向上できる。
請求項6に記載の発明によれば、視線に基づいて書き込みの判別をしない場合に比べて、入力部材での入力の判別精度を向上できる。
請求項7に記載の発明によれば、書き順に基づいて文字の認識を行わない場合に比べて、文字の認識精度を向上できる。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
図2は実施例1のコンテンツ表示装置の一例としてのヘッドマウントディスプレイの説明図である。
図1において、本発明の実施例1のコンテンツ表示システム1は、コンテンツ表示装置の一例としてのヘッドマウントディスプレイ2を有する。図1、図2において、実施例1のヘッドマウントディスプレイ2は、利用者3が装着可能なメガネ型の形状に形成されている。ヘッドマウントディスプレイ2は、枠部の一例としてのフレーム部2aと、フレーム部2aに支持された被表示部の一例としてのガラス部2bとを有する。フレーム部2aには、表示部材の一例としてのプロジェクタ4が支持されている。プロジェクタ4は、ガラス部2bに画像、映像を投影して、利用者3が視認できるように構成されている。したがって、利用者3がガラス部2bを通じて前方の景色や物体を視認できるとともに、ガラス部2bに投影された画像も利用者3が視認できるように、ヘッドマウントディスプレイ2が構成されている。
また、ヘッドマウントディスプレイ2には、図示しない視線検知部材が支持されている。視線検知部材は、例えば、利用者3の黒目の位置をカメラで撮影して画像の解析から利用者3の視線を検知したり、利用者3の眼球に赤外光を照射して黒目の位置を検出して視線を検知したり、眼電位に基づいて視線を検知する等、従来公知の任意の視線検知部材を採用可能である。
さらに、実施例1のヘッドマウントディスプレイ2は、図示しない無線通信モジュールを内蔵している。したがって、情報処理装置の一例としてのサーバ11との間で、無線通信で情報の送受信が可能に構成されている。
図1において、実施例1のコンテンツ表示システム1は、入力部材の一例としてのペンポインタ16を有する。図1、図3において、実施例1のペンポインタ16は、筆記具型に構成されており、利用者3が手で摘んで操作可能に構成されている。図3において、実施例1のペンポインタ16は、中空円筒状の本体部17を有する。本体部17の内部には、電源の一例としての乾電池18が収容されている。本体部17の先端側には、乾電池18の端子が接触可能な端子部材19が配置されている。
スライダ21の先端部には、発光部の一例としてのLED光源23が支持されている。LED光源23には、端子部材19に向けて伸びる接続端子部24が接続されている。したがって、実施例1のペンポインタ16では、スライダ21の先端部が、紙やOHPフィルム等のシート媒体(紙束S)に接触すると、スプリング22が縮んで接続端子部24が端子部材19に接触する。したがって、LED光源23に乾電池18が接続して給電され、LED光源23が発光する。なお、実施例1では、電源として乾電池を例示したが、これに限定されない。例えば、充電池を使用したり、コンセント等からケーブルを介して給電する等の構成を採用可能である。
図4は実施例1のコンテンツ表示システムの各部材が備えている各機能をブロック図で示した図である。
図4において、ヘッドマウントディスプレイ2の制御部Caやサーバ本体(制御部)11aは、外部との信号の入出力等を行う入出力インターフェースI/Oを有する。また、制御部Ca,11aは、必要な処理を行うためのプログラムおよび情報等が記憶されたROM:リードオンリーメモリを有する。また、制御部Ca,11aは、必要なデータを一時的に記憶するためのRAM:ランダムアクセスメモリを有する。また、制御部Ca,11aは、ROM等に記憶されたプログラムに応じた処理を行うCPU:中央演算処理装置を有する。したがって、実施例1の制御部Caは、小型の情報処理装置、いわゆるマイクロコンピュータにより構成されている。同様に、サーバ本体11aは、情報処理装置、いわゆるコンピュータ装置により構成されている。よって、制御部Ca,11aは、ROM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。
ヘッドマウントディスプレイ2の制御部Caは、カメラ6や視線検知部材SN1や、図示しないセンサ等の信号出力要素からの出力信号が入力されている。
カメラ6は、ヘッドマウントディスプレイ2の前方の画像を撮影する。
視線検知部材SN1は、利用者3の目の映像を撮影する。
ヘッドマウントディスプレイ2の制御部Caは、プロジェクタ4や、その他の図示しない制御要素に接続されている。制御部Caは、プロジェクタ4等へ、それらの制御信号を出力している。
プロジェクタ4は、ガラス部2bに画像を表示(投影)する。
ヘッドマウントディスプレイ2の制御部Caは、前記信号出力要素からの入力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能を有している。すなわち、制御部Caは次の機能を有している。
C1:画像情報送信手段
画像情報送信手段C1は、カメラ6で撮影した画像をサーバ11に向けて送信する。
C2:視線情報送信手段
視線情報送信手段C2は、視線検知部材SN1で撮影した目の映像をサーバ11に向けて送信する。
表示情報受信手段C3は、サーバ11から送信されたガラス部2bに表示する情報を受信する。
C4:コンテンツ表示手段
コンテンツ表示手段C4は、表示情報受信手段C3が受信した情報に基づいて、プロジェクタ4を制御して、画像をガラス部2bに表示する。
サーバ本体11aは、キーボード11cやマウス11dや、図示しないセンサ等の信号出力要素からの出力信号が入力されている。
サーバ本体11aは、ディスプレイ11bや、その他の図示しない制御要素に接続されている。サーバ本体11aは、ディスプレイ11bへ、それらの制御信号を出力している。
サーバ本体11aは、前記信号出力要素からの入力信号に応じた処理を実行して、前記各制御要素に制御信号を出力する機能を有している。すなわち、サーバ本体11aは次の機能を有している。
C11:情報受信手段
情報受信手段C11は、ヘッドマウントディスプレイ2から送信された情報を受信する。実施例1では、カメラ6で撮影した画像や視線検知部材SN1で撮影した画像を受信する。
画像取得手段C12は、カメラ6で撮影した画像を取得する。したがって、紙束Sやペンポインタ16等が映った画像を取得する。実施例1の画像取得手段C12は、予め設定された時間間隔で画像を取得する。画像を取得する時間間隔は、後述する各種処理の処理時間に応じて設定可能であるが、短いほど利用者3に取って滑らかな映像のように認識されやすいため好ましい。
C13:シート検出手段
シート検出手段C13は、画像取得手段C12が取得した画像に基づいて、紙束S(シート媒体)を検出する。実施例1のシート検出手段C13は、カメラ6で撮影した画像の中に、四隅を有するシート状の物体が存在するかを、画像解析を行って、紙束Sを検出する。なお、紙束Sが撓んだり、湾曲したり、角等の一部が折れ曲がっていたり、一部が手やペンポインタ16等で隠れている場合も含めて、画像解析で紙束Sを検出する。
障害物検出手段C14は、画像取得手段C12が取得した画像に基づいて、紙束Sの一部を隠している利用者3の手やペンポインタ16等の障害物を検出する。実施例1の障害物検出手段C14は、画像解析を行って障害物の検出を行う。
C15:姿勢推定手段
姿勢推定手段C15は、シート検出手段C13や障害物検出手段C14の検出結果に基づいて、紙束Sの姿勢を推定する。実施例1の姿勢推定手段C15は、紙束Sの3次元的な位置、傾き、撓み、湾曲、折れ曲がり等の姿勢を推定する。
C16:姿勢履歴の記憶手段
姿勢履歴の記憶手段C16は、姿勢推定手段C15が推定した紙束Sの姿勢の履歴を記憶する。
C17:めくり判定手段
めくり判定手段C17は、姿勢履歴の記憶手段C16に記憶された紙束Sの姿勢の履歴に基づいて、紙束Sを構成する紙S1がめくられたか否かを判別する。実施例1のめくり判定手段C17は、一例として、図5に示すように、紙S1が留め具32に沿って移動している一連の姿勢の変化が見られた場合に、紙S1がめくられたと判定する。
C18:めくり回数検知手段
めくり回数検知手段C18は、めくられた回数、すなわち、めくられた紙S1の枚数を計数する。
C19:マーク認識手段
特定情報の認識手段の一例としてのマーク認識手段C19は、画像取得手段C12で取得された画像に基づいて、紙束Sの各紙S1に付与された特定情報の一例としての識別マーク41を認識する。識別マーク41は、専用のマーカーを使用することも可能であるし、バーコードや、QRコード(登録商標)、ARマーカー等の二次元コードといった従来公知の任意のマーカーを使用することも可能である。また、マーカーを使用しなくても、特定の情報、例えば、プレゼンテーション資料のように各ページの特定の位置に会社名や文書作成者、ページ番号、会社ロゴといったものが付与される場合には、会社名等の特定の文字列や会社ロゴ等を、コンテンツを特定する情報として使用することも可能である。
格納手段C20は、識別マーク41に対応するコンテンツの情報42を格納する。実施例1の格納手段C20は、識別マーク41と、その識別マーク41に対応するコンテンツの情報42とを、対応付けて記憶する。なお、1つの識別マーク41に対して、複数のコンテンツの情報42が対応付けられて記憶される場合もある。例えば、紙束が5枚の場合に、1ページ目の紙S1の識別マーク41に対して、1ページ、6ページ、11ページ、16ページ、…、のコンテンツを対応付け、2ページ目の紙S1の識別マーク41に対して、2ページ、7ページ、12ページ、17ページ、…、のコンテンツを対応付けて記憶することも可能である。
コンテンツ取得手段C21は、マーク認識手段C19が認識した識別マーク41に対応するコンテンツの情報42を取得する。実施例1のコンテンツ取得手段C21は、識別マーク41とめくり回数とに基づいて、対応するコンテンツの情報42を取得する。例えば、めくり回数が6回(5回以上10回未満)と計数された状態で、2ページ目の紙S1の識別マーク41が認識された場合には、7ページ目のコンテンツの情報42を取得する。なお、実施例1のコンテンツ取得手段C21は、取得された画像において、複数の識別マーク41が認識されている場合には、各識別マーク41に対応するコンテンツの情報42を取得する。
C22:領域分割手段
領域分割手段C22は、姿勢推定手段C15で推定された紙S1の姿勢に応じて、紙S1の領域を、複数の領域46に分割する。図7において、実施例1の領域分割手段C22は、紙S1の外縁に平行な四辺を有する四角形状の領域46に分割する。したがって、図7に示すように、紙S1の姿勢が撓んだり、湾曲していたりすると、領域46の四辺も曲線で構成される。なお、手等の障害物で隠されていても
C23:コンテンツ変形手段
コンテンツ変形手段C23は、コンテンツ取得手段C21が取得したコンテンツの情報42と、領域分割手段C22で分割された領域46の形状とに基づいて、コンテンツを変形させる。実施例1のコンテンツ変形手段C23は、各領域46の分割数、一例として、図7では横5×縦8に応じて、コンテンツの情報42を分割する。そして、各領域46の四隅の座標(X,Y,1)を取得し、コンテンツの情報42の各分割領域の四隅の座標(x,y,1)の違いに応じて、射影変換Hでコンテンツの情報42を変形(拡大、縮小、平行移動、回転、せん断)させる。
重畳画像作成手段C24は、紙S1に重畳するコンテンツの画像を作成する。実施例1の重畳画像作成手段C24は、コンテンツ変形手段C23で変形された各分割領域46の画像を組み合わせて、ヘッドマウントディスプレイ2で紙S1に重畳して表示するコンテンツの画像を作成する。
光取得手段C25は、画像取得手段C12が取得した画像に基づいて、ペンポインタ16のLED光源23からの光を取得する。すなわち、ペンポインタ16の先端が紙S1に接触して発光したことを検知する。実施例1の光取得手段C25は、一例として、画像における輝度が予め設定された値よりも大きい場合に、ペンポインタ16の光と特定する。なお、LED光源23からの光を特定する方法は、これに限定されない。例えば、LED光源23の光の色が特定の色の場合、その色に基づいて判別することも可能である。例えば、紙束Sが白色で、光が赤色の場合、紙の領域に赤色があるか否かを判定することで光であるかを判定することも可能である。また、光の検出精度を上げるためには、輝度の急激な上昇を書き込み開始のトリガーとしたり、光の強度、光の広がり、光の周波数等の特性を利用して検出した色が光か否かを判定する等、光の物理特性を利用することも可能である。
C26:光位置検出手段
光位置検出手段C26は、光取得手段C25で取得された光の位置を特定する。実施例1の光位置検出手段C26は、LED光源23の光の位置を特定する。シートの一部が手や腕、あるいは折り曲げによって隠れている場合、後述する軌跡保存手段で保存された光の軌跡48の延長から、光が照射されたシートの位置を推定する。例えば、図9において、分割領域46におけるコンテンツ画像42の特徴と時間ごとの移動量を記憶し、画像42の特徴から障害物47で隠れている領域46や紙S1の姿勢を特定し、分割領域46の過去の位置から現在の位置をカルマンフィルタ等の予測のアルゴリズムで推定することも可能である。このとき、推定位置が分割領域46の隣接領域と連続になるように制限を加えることで絞り込みが容易かつ高精度になる。
C27:視線検知手段
視線検知手段C27は、視線検知部材SN1の検知結果に基づいて、利用者3の視線を検知する。図10において、実施例1の視線検知手段C27は、視線検知部材SN1の検知結果から利用者3の目3aの向いている方向51を検知する。
C28:視野判別手段
視野判別手段C28は、視線(方向51)に基づいて、利用者3の視野52を判別する。実施例1の視野判別手段C28は、視線(方向51)を中心として利用者3からの距離に応じて半径が広くなる円錐状の領域を視野52として演算する。
書き込み判別手段C29は、視野52と光位置検出手段C26で検出された光の位置とに基づいて、書き込みがされたか否かを判別する。実施例1の書き込み判別手段C29は、カメラ6で撮影した画像において、視野52内にLED光源23の光が検出されているか否かを判別することで、書き込みがされたか否かを判別する。すなわち、利用者3が紙S1を見ていない状態で、ペンポインタ16が紙S1に触れて発光している場合に、書き込みと誤判定しないように、書き込み判別手段C29は判別する。
C30:軌跡保存手段(保存手段)
軌跡保存手段C30は、ペンポインタ16のLED光源23の光の軌跡48を保存する。図11において、実施例1の軌跡保存手段C30は、光の軌跡48を保存する場合には、光の軌跡48が書き込まれたコンテンツの画像42に対応付けて保存する。どのコンテンツのどの位置に書き込みがあったかを対応付けて保存する。また、実施例1の軌跡保存手段C30は、書き込み判別手段C29で利用者3による書き込みと判別された光の軌跡を書き込みとして保存する。なお、コンテンツ画像42に光の軌跡48を対応付けて保存する場合には、コンテンツ画像42に軌跡48を重畳した画像を保存することでも可能であるし、コンテンツ画像42と軌跡48とを別ファイルとして保存してもよい。また、保存データ形式として多層(マルチレイヤー)のデータを採用し、コンテンツ画像42のレイヤーと軌跡48のレイヤーとを分けて同一のファイルに保存することも可能である。
軌跡画像作成手段C31は、軌跡保存手段C30に保存された軌跡48に基づいて、ヘッドマウントディスプレイ2に表示する軌跡48の画像を作成する。なお、ヘッドマウントディスプレイ2では、コンテンツ画像に軌跡48の画像が重畳されて表示される。
C32:書き順判別手段
書き順判別手段C32は、光の軌跡48に基づいて、書き込まれた内容の書き順を判別する。実施例1の書き順判別手段C32は、時間的な履歴に基づいて書き順を判別する。
文字認識手段C33は、光の軌跡48に基づいて、書き込まれた文字認識を行う。文字認識は、従来公知のOCR:Optical Character Recognition技術で認識した文字について、書き順判別手段C32で判別した書き順と、文字の書き順とに基づいて、書き込まれた文字の認識、特定を行う。
C34:情報送信手段
情報送信手段C34は、重畳画像作成手段C24で作成されたコンテンツ画像や軌跡重畳手段C31で作成された光の軌跡48の画像をヘッドマウントディスプレイ2に送信する。
次に、実施例1のコンテンツ表示システム1における制御の流れを流れ図、いわゆるフローチャートを使用して説明する。
図12は実施例1の表示画像の作成処理のフローチャートの説明図である。
図12のフローチャートの各ステップSTの処理は、サーバ11に記憶されたプログラムに従って行われる。また、この処理はサーバ11の他の各種処理と並行して実行される。なお、ヘッドマウントディスプレイ2では、カメラ6や視線検出部材SN1の検知結果をサーバ11に送信するとともに、サーバ11から受信した画像を表示する処理が行われるが、簡単であるため図示および詳細な説明は省略する。
図12に示すフローチャートはサーバ11の電源投入により開始される。
ST2において、次の処理(1),(2)を実行し、ST3に進む。
(1)紙S1を検出する。
(2)紙S1上の障害物を検知する。
ST3において、紙S1の姿勢を推定する。そして、ST4に進む。
ST4において、姿勢の履歴からシートがめくられたか否かを判定する。そして、ST5に進む。
ST5において、紙S1上の識別マーク41とめくられた回数に応じたコンテンツ42を取得する。そして、ST6に進む。
ST7において、各領域46の形状に応じて、コンテンツの画像を変形させる。そして、ST8に進む。
ST8において、変形された各領域46の画像から、紙S1の姿勢に応じたコンテンツ画像42を作成する。そして、ST9に進む。
ST9において、カメラ6の画像において、ペンポインタ16の光を検出したか否かを判別する。イエス(Y)の場合はST10に進み、ノー(N)の場合はST11に進む。
ST11において、光の軌跡48から光の位置を推定する。そして、ST12に進む。
ST12において、光の位置が障害物の位置と一致するか否かを判別する。イエス(Y)の場合はST13に進み、ノー(N)の場合はST17に進む。
ST13において、視線51を取得する。そして、ST14に進む。
ST14において、光の位置が視野52の内部にあるか否かを判別する。イエス(Y)の場合はST15に進み、ノー(N)の場合はST17に進む。
(1)光の軌跡48を保存する。
(2)軌跡48の画像を作成する。
ST16において、次の処理(1)〜(3)を実行して、ST17に進む。
(1)軌跡48に基づいて書き順を判別する。
(2)書き順に基づいて文字認識を行う。
(3)文字認識結果を保存する。
ST17において、作成されたコンテンツ画像や軌跡48の画像をヘッドマウントディスプレイ2に送信する。そして、ST1に戻る。
前記構成を備えた実施例1のコンテンツ表示システム1では、利用者3がヘッドマウントディスプレイ2を装着して紙束Sに視線を向けると、紙束Sがカメラ6で撮影される。そして、紙束Sの姿勢が判別され、紙束Sの識別マーク41と姿勢に応じたコンテンツの画像42が重畳して表示される。また、紙束Sに対してペンポインタ16で書き込みが行われると光の軌跡48に応じた画像が重畳して表示される。したがって、利用者3は、現実には、識別マーク41が付された紙束Sの表面をペンポインタ16でなぞっているにも関わらず、ヘッドマウントディスプレイ2を通じて、仮想的にコンテンツと書き込んだ内容が表示されて、視認することが可能である。
また、特許文献1に記載されているように、手書き情報を表示する構成では、コンテンツとの対応が取れず、後から手書き内容だけを確認しても、コンテンツとの関係がわからず、内容を理解しづらくなる問題がある。これに対して、実施例1では、手書きの内容(軌跡48)とコンテンツ42とが対応付けて保存されており、内容の確認や理解等がしやすくなっている。
これらに対して、実施例1では、紙束Sに対してコンテンツ画像を重畳する形で表示している。したがって、利用者3は紙束Sを扱う形となり、タブレット端末を使用する場合に比べて、可搬性が高く、手軽に扱いやすい。そして、紙束Sにコンテンツを投影しており、文書や絵、図、表等のコンテンツの閲覧も容易である。
よって、実施例1では、紙束S自体が、利用者3が手書き入力を行う入力部であるとともに、画像が表示される出力部としても機能しており、いわば、紙束Sがインターフェースとして使用されている。
また、ペンポインタ16での書き込みを判定する際に、視線51も考慮して書き込みの判定を行う。したがって、視線51も使用しない場合に比べて、書き込みの誤判定が低減される。
また、実施例1では、文字認識を行う場合に、書き順も考慮して文字認識が行われる。したがって、書き順を考慮しない場合に比べて、文字認識の精度が向上される。
さらに、実施例1では、カメラ6で撮影された画像において、複数の識別マーク41が検出された場合には、検出された識別マーク41全てに対してコンテンツが表示される。したがって、図13に示すように、複数のページのコンテンツを並べて表示、閲覧することも可能である。ここで、例えば、ページ順を並び替えても、実施例1では、識別マーク41に基づいてコンテンツを表示しており、並べ替えた順に表示される。なお、並べ替えが行われた場合に、ページ順を並べ替え後の順に記憶するように、コンテンツ42の情報を更新するように構成することも可能である。
また、試験問題として、識別マーク41が付与された紙束Sを配布し、問題(コンテンツ)はヘッドマウントディスプレイ2で閲覧することで、紙束S自体には問題が記載されない状態となる。したがって、紙束Sを受験者が持ち帰っても問題を閲覧することができず、試験問題の漏洩を防止することが可能である。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H07)を下記に例示する。
(H01)前記実施例において、ペンポインタ16として、筆圧が作用した場合にスライダ21が移動して、LED光源23が点灯する構成を例示したがこれに限定されない。例えば、ペンポインタ16の先端部に感圧センサや感圧式のスイッチのような接触検知手段を設けておき、先端部に圧力が作用した場合に、LED光源23が点灯する構成とすることも可能である。また、感圧とLED光源23の点灯とを連携させることが望ましいが、連携させない構成とすることも可能である。すなわち、ペンポインタ16とサーバ11との間で情報の送受信を可能としておき、ペンポインタ16で感圧したことをサーバ11に送信することで、書き込みを判断し、LED光源23は点灯し続ける構成とすることも可能である。他にも、書き込みの判別は、感圧に限定されず、例えば、本体部17にスイッチを設けておき、利用者が握った場合にスイッチが入り、LED光源23が点灯したり、サーバ11に情報を送信したりするような構成とすることも可能である。
(H03)前記実施例において、紙S1のめくりを計数する構成を採用することが望ましいが、めくりに対応しない構成とすることも可能である。
(H04)前記実施例において、紙S1の姿勢を検知し、姿勢に応じてコンテンツを変形させることが望ましいが、変形させない構成とすることも可能である。
(H05)前記実施例において、書き込みを検知する場合に、視線51も考慮して判別することが望ましいが、視線51を考慮しないようにすることも可能である。
(H07)前記実施例において、コンテンツの取得やシート媒体の姿勢の推定、コンテンツの変形、書き込みの検出等の各種処理をサーバ11で集中処理する構成を例示したがこれに限定されない。すべての機能をヘッドマウントディスプレイ2に組み込む構成とすることも可能であるし、サーバ11で行った一部の処理をヘッドマウントディスプレイ2で行うことも可能である。また、サーバ11とは異なる情報処理装置を更に設けて分散処理、クラウド処理を行うことも可能である。
3…利用者、
16…入力部材、
23…発光部、
32…留め具、
42…コンテンツ、
48…軌跡、
51…視線、
C4…コンテンツ表示手段、
C12…画像取得手段、
C15…姿勢推定手段、
C18…めくり回数検知手段、
C20…格納手段、
C25…光取得手段、
C27…視線検知手段、
C29…書き込み判別手段、
C30…保存手段、
C32…書き順判別手段、
C33…文字認識手段、
S1…シート媒体。
Claims (8)
- 画像を取得する画像取得手段と、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段と、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段と、
利用者が把持して使用可能な筆記具型の入力部材であって、先端部に発光部を有する前記入力部材と、
前記画像取得手段で取得された画像に基づき、前記発光部からの光の位置を取得する光取得手段と、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段と、
前記シート媒体が1枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が1枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とするコンテンツ表示装置。 - 前記画像取得手段で取得されたシート媒体の画像に基づいて、シート媒体の姿勢を推定する姿勢推定手段と、
推定された姿勢に基づいて、シート媒体がめくられた場合に、めくられた後のシート媒体の面に次のページに対応するコンテンツを重畳して表示する前記コンテンツ表示手段と、
を備えたことを特徴とする請求項1に記載のコンテンツ表示装置。 - 円環状の留め具で留められた複数の前記シート媒体に対して、シート媒体がめくられた回数を検知するめくり回数検知手段と、
めくられた回数に応じたページに対応付けられたコンテンツを前記シート媒体の面に表示する前記コンテンツ表示手段と、
を備えたことを特徴とする請求項2に記載のコンテンツ表示装置。 - 感圧時に発光する前記発光部、
を備えたことを特徴とする請求項1ないし3のいずれかに記載のコンテンツ表示装置。 - 前記入力部材が前記シート媒体に接触したことを検知する接触検知手段と、
前記入力部材から出力された接触を検知した信号と、前記光取得手段が取得した光の位置とに基づいて、前記シート媒体への入力部材を使用した書き込みを判別する書き込み判別手段と、
を備えたことを特徴とする請求項1ないし4のいずれかに記載のコンテンツ表示装置。 - 前記入力部材の使用者の視線を検知する視線検知手段と、
視線の先に対応する光を、前記シート媒体への入力部材を使用した書き込みと判別する書き込み判別手段と、
を備えたことを特徴とする請求項1ないし5のいずれかに記載のコンテンツ表示装置。 - 前記光の軌跡に基づいて、前記シート媒体への入力部材を使用した書き込みの書き順を判別する書き順判別手段と、
前記書き順判別手段で書き込まれた書き順から、書き込まれた文字の認識を行う文字認識手段と、
を備えたことを特徴とする請求項1ないし6のいずれかに記載のコンテンツ表示装置。 - コンピュータを、
画像を取得する画像取得手段、
前記画像取得手段で取得された画像のうちシート媒体の画像に重畳されるコンテンツを格納する格納手段、
前記画像取得手段で取得されたシート媒体の画像に応じて、前記シート媒体の画像にコンテンツを重畳して表示するコンテンツ表示手段、
前記画像取得手段で取得された画像に基づき、利用者が把持して使用可能な筆記具型の入力部材の発光部からの光の位置を取得する光取得手段、
前記入力部材が前記シート媒体に接触した状態での光の軌跡に基づいて、前記軌跡を前記コンテンツに対応させて保存する保存手段、
前記シート媒体が1枚ずつ分離可能な複数の前記シート媒体に対して、前記シート媒体が1枚ずつ分離され且つ複数のシート媒体が並んで配置された場合に、各シート媒体に予め対応付けられたコンテンツを重畳して表示すると共に、並んで配置されたシート媒体の並びが変更された場合に、変更後のシート媒体の並びに応じて、各シート媒体に割り付けられたコンテンツを重畳して表示する前記コンテンツ表示手段、
として機能させることを特徴とするコンテンツ表示プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017065160A JP6903999B2 (ja) | 2017-03-29 | 2017-03-29 | コンテンツ表示装置およびコンテンツ表示プログラム |
US15/672,824 US10754151B2 (en) | 2017-03-29 | 2017-08-09 | Content display apparatus and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017065160A JP6903999B2 (ja) | 2017-03-29 | 2017-03-29 | コンテンツ表示装置およびコンテンツ表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018169709A JP2018169709A (ja) | 2018-11-01 |
JP6903999B2 true JP6903999B2 (ja) | 2021-07-14 |
Family
ID=63669359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017065160A Active JP6903999B2 (ja) | 2017-03-29 | 2017-03-29 | コンテンツ表示装置およびコンテンツ表示プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10754151B2 (ja) |
JP (1) | JP6903999B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017006740A1 (de) * | 2017-06-22 | 2018-12-27 | Staedtler Mars Gmbh & Co. Kg | Elektronisches Gerät zur Erzeugung analoger Abstriche und zur digitalen Speicherung der analogen Abstriche, sowie Eingabesystem und Verfahren zur Digitalisierung analoger Aufzeichnungen |
JP7424201B2 (ja) * | 2020-05-18 | 2024-01-30 | 富士フイルムビジネスイノベーション株式会社 | 目視点検確認装置及びプログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124178A (ja) * | 1996-10-15 | 1998-05-15 | Olympus Optical Co Ltd | 電子メール端末、電子メール端末の処理方法、媒体 |
US6337698B1 (en) * | 1998-11-20 | 2002-01-08 | Microsoft Corporation | Pen-based interface for a notepad computer |
US20020092517A1 (en) * | 2000-11-01 | 2002-07-18 | Jelten Jeffrey Alan | Heated soft gift item |
US7487444B2 (en) * | 2002-03-19 | 2009-02-03 | Aol Llc | Reformatting columns of content for display |
JP2005267257A (ja) | 2004-03-18 | 2005-09-29 | Nara Institute Of Science & Technology | 手書き情報入力システム |
US20080018591A1 (en) * | 2006-07-20 | 2008-01-24 | Arkady Pittel | User Interfacing |
US8505978B1 (en) * | 2006-12-20 | 2013-08-13 | Stamps.Com Inc. | Systems and methods for creating and providing shape-customized, computer-based, value-bearing items |
KR101475736B1 (ko) * | 2007-06-29 | 2014-12-24 | 삼성전자 주식회사 | 필기 가능한 전자 책 |
JP4990704B2 (ja) | 2007-07-20 | 2012-08-01 | 株式会社内田洋行 | 文書位置情報処理システム及び文書位置情報処理方法 |
JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
JP4764957B1 (ja) * | 2011-03-31 | 2011-09-07 | 株式会社Csk | 電子書籍閲覧装置及び電子書籍閲覧プログラム |
JP2013145265A (ja) * | 2012-01-13 | 2013-07-25 | Sony Corp | サーバ、学習用端末装置、および学習コンテンツ管理方法 |
KR20140030379A (ko) * | 2012-08-27 | 2014-03-12 | 삼성전자주식회사 | 단말의 표시 제어 방법 및 그 단말 |
KR101527039B1 (ko) * | 2012-11-01 | 2015-06-08 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
JP6167511B2 (ja) * | 2012-12-04 | 2017-07-26 | セイコーエプソン株式会社 | 書画カメラ、書画カメラの制御方法 |
US10082935B2 (en) * | 2013-04-15 | 2018-09-25 | Carnegie Mellon University | Virtual tools for use with touch-sensitive surfaces |
KR102203885B1 (ko) * | 2013-04-26 | 2021-01-15 | 삼성전자주식회사 | 사용자 단말 장치 및 그 제어 방법 |
JP6255731B2 (ja) * | 2013-06-17 | 2018-01-10 | コニカミノルタ株式会社 | 表示システム、表示方法および表示端末 |
JP6249486B2 (ja) * | 2013-08-19 | 2017-12-20 | 株式会社ワコム | 描画装置 |
KR102063103B1 (ko) * | 2013-08-23 | 2020-01-07 | 엘지전자 주식회사 | 이동 단말기 |
JP5884811B2 (ja) * | 2013-11-18 | 2016-03-15 | コニカミノルタ株式会社 | Ar表示装置、ar表示制御装置、印刷条件設定システム、印刷システム、印刷設定表示方法およびプログラム |
JP6291989B2 (ja) | 2014-04-15 | 2018-03-14 | コニカミノルタ株式会社 | コンテンツ表示装置およびコンテンツ表示装置の制御プログラム |
JP2016081313A (ja) * | 2014-10-17 | 2016-05-16 | コニカミノルタ株式会社 | 画像処理システム、および仮想現実表示方法 |
JP6488704B2 (ja) * | 2015-01-05 | 2019-03-27 | コニカミノルタ株式会社 | 記入システム及び記入方法 |
US10854168B2 (en) * | 2015-03-30 | 2020-12-01 | Sony Corporation | Information processing apparatus, information processing method, and information processing system |
JP2017054285A (ja) * | 2015-09-09 | 2017-03-16 | ルネサスエレクトロニクス株式会社 | スキャンシステム、端末装置及びスキャン方法 |
JP6822107B2 (ja) * | 2016-12-05 | 2021-01-27 | 富士ゼロックス株式会社 | 閲覧制御システム、閲覧装置及びプログラム |
JP7087364B2 (ja) * | 2017-12-04 | 2022-06-21 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システムおよびプログラム |
-
2017
- 2017-03-29 JP JP2017065160A patent/JP6903999B2/ja active Active
- 2017-08-09 US US15/672,824 patent/US10754151B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10754151B2 (en) | 2020-08-25 |
JP2018169709A (ja) | 2018-11-01 |
US20180284433A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9606630B2 (en) | System and method for gesture based control system | |
Jafri et al. | Computer vision-based object recognition for the visually impaired in an indoors environment: a survey | |
CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
KR101918829B1 (ko) | 제1 물체와 제2 물체 사이의 터치를 검출하기 위한 방법 및 디바이스 | |
JP6116064B2 (ja) | 車両インターフェース用ジェスチャ基準制御システム | |
US8229252B2 (en) | Electronic association of a user expression and a context of the expression | |
CN112926423B (zh) | 捏合手势检测识别方法、装置及系统 | |
US20130249786A1 (en) | Gesture-based control system | |
CN108027656B (zh) | 输入设备、输入方法和程序 | |
Olwal et al. | SurfaceFusion: unobtrusive tracking of everyday objects in tangible user interfaces | |
KR101631011B1 (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
KR20120034672A (ko) | 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치 | |
JP6903999B2 (ja) | コンテンツ表示装置およびコンテンツ表示プログラム | |
JP4839432B2 (ja) | 瞳孔位置検出によるポインティング装置及び方法 | |
Deller et al. | Flexible gesture recognition for immersive virtual environments | |
Dongre et al. | Computer Cursor Control Using Eye and Face Gestures | |
CN109144598A (zh) | 基于手势的电子面罩人机交互方法与系统 | |
JP2015525381A (ja) | 相互ユーザ手追跡および形状認識ユーザ・インターフェース | |
KR101775080B1 (ko) | Nui/nux에 기반하여 드로잉 영상을 처리하는 장치 및 방법 | |
TW201351308A (zh) | 非接觸式醫療導覽系統及其控制方法 | |
US20090110237A1 (en) | Method for positioning a non-structural object in a series of continuing images | |
Shi et al. | Helping people with ICT device control by eye gaze | |
Annabel et al. | Design and Development of Multimodal Virtual Mouse | |
US20220326780A1 (en) | Information providing system, information providing method, and non-transitory computer-readable storage medium | |
US9477879B2 (en) | Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6903999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |