JP2024075328A - 表示制御装置および方法並びにプログラム - Google Patents
表示制御装置および方法並びにプログラム Download PDFInfo
- Publication number
- JP2024075328A JP2024075328A JP2022186706A JP2022186706A JP2024075328A JP 2024075328 A JP2024075328 A JP 2024075328A JP 2022186706 A JP2022186706 A JP 2022186706A JP 2022186706 A JP2022186706 A JP 2022186706A JP 2024075328 A JP2024075328 A JP 2024075328A
- Authority
- JP
- Japan
- Prior art keywords
- page
- information
- image
- specific
- book
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000008859 change Effects 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】紙の書籍に対して印を直接つけることなく、書籍のページ毎に印付けでき、後でその印を表示させて確認することができる表示制御装置および方法並びにプログラムを提供する。【解決手段】書籍の所定のページの画像を撮影する撮影部10と、撮影部10によって撮影された画像を表示部14に表示させる制御部15と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部11と、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するARオブジェクト情報取得部12と、ページ特定情報毎のARオブジェクトの情報を記憶する記憶部13とを備え、制御部が15、記憶部13に記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。【選択図】図1
Description
本発明は、書籍の画像を撮影し、その画像上にARオブジェクトをAR表示させる表示制御装置および方法並びにプログラムに関するものである。
書籍を読んでいる際に、読者にとって気になるところがあった場合、その箇所にペンなどを用いて印を付け、後で確認できるようにすることがある。
このような印付けは、読者が所有する書籍であれば可能であるが、たとえば他人や図書館から借りた本に印付けを行うことはできない。
特許文献1においては、電子書籍において、実際の書籍のように簡単な操作を行うだけで任意の要素に印をつけることができる技術が提案されている。
しかしながら、特許文献1の手法では、紙の書籍をデジタル化して電子書籍とする必要があり、デジタル化の手間がかかってしまう。また著作権を侵害してしまう恐れがある。
本発明は、上記事情に鑑み、紙の書籍に対して印を直接つけることなく、書籍のページ毎に印付けでき、後でその印を表示させて確認することができる表示制御装置および方法並びにプログラムを提供することを目的とするものである。
本発明の表示制御装置は、書籍の所定のページの画像を撮影する撮影部と、撮影部によって撮影された画像を表示部に表示させる制御部と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部と、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するARオブジェクト情報取得部と、ページ特定情報毎のARオブジェクトの情報を記憶する記憶部とを備え、制御部が、記憶部に記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。
本発明の表示制御装置および方法並びにプログラムによれば、書籍のページを特定するページ特定情報毎のARオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させるようにしたので、紙の書籍に対して印を直接つけることなく、書籍のページ毎の印付けとしてARオブジェクトを記憶し、後でそのARオブジェクトを表示させて確認することができる。
以下、図面を参照して本発明の表示制御装置の一実施形態を用いた仮想表示装置について詳細に説明する。図1は、本実施形態の仮想表示装置1の概略構成を示すブロック図である。
本実施形態の仮想表示装置1は、たとえばスマートフォンから構成されるものであり、ユーザの頭部に装着されるARグラス(図示省略)に設置される。そして、仮想表示装置1が設置されたARグラスがユーザの頭部の両目部分に装着されることによって、ユーザは、AR表示を観察することができる。
本実施形態の仮想表示装置1は、書籍の所定のページを撮影した際、その撮影したページの画像上に、ページ毎に予め記憶されたARオブジェクト(たとえば文章に付される蛍光マーカーやアンダーラインなど)を重ねてAR表示することができるものである。
具体的には、仮想表示装置1は、図1に示すように、撮影部10と、ページ特定情報取得部11と、ARオブジェクト情報取得部12と、記憶部13と、表示部14と、制御部15とを備えている。
撮影部10は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの撮像素子および結像レンズなど光学系を有し、書籍の所定のページの画像を撮影するものである。撮影部10によって撮影された画像は、制御部15によって表示部14に表示される。
ページ特定情報取得部11は、撮影部10によって撮影された所定のページの画像内に含まれるページを特定するページ特定情報を取得する。ページ特定情報としては、たとえば所定のページの画像内に含まれるページ番号の領域の画像を取得することができる。ページ番号の領域の画像は、たとえば所定のページの画像に含まれる数字を自動的に認識し、その数字およびその周辺領域を含む画像を取得するようにしてもよいし、ユーザが、ページ番号の領域を指定し、その領域の画像をページ特定情報としてもよい。ユーザによる指定方法については、後で詳述する。
また、ページ特定情報としては、ページ番号を含む領域の画像に限らず、たとえば所定のページの画像内に含まれるタイトルが印字された領域の画像でもよい。タイトルが印字された領域についても、予め設定された文字列の条件などに基づいて自動的に認識するようにしてもよいし、ユーザが指定するようにしてもよい。
また、ページ特定情報は、上記の例に限らず、ページを特定できる情報であれば如何なる情報でもよい。
ARオブジェクト情報取得部12は、撮影部10によって撮影された所定のページの画像内においてAR表示するARオブジェクトの情報を取得する。ARオブジェクトとしては、たとえば書籍の所定のページの所定の文章に付された蛍光マーカーやアンダーライン、またはページ内の所定の箇所に付されたマークやテキストなどがあるが、これに限らない。ARオブジェクトの情報は、撮影部10によって撮影された所定のページの画像内において設定入力されるが、その設定入力方法については、後で詳述する。
記憶部13は、ページ特定情報毎のARオブジェクトの情報を記憶する。具体的には、本実施形態の記憶部13は、上述したページ特定情報、ページ特定情報によって特定されるページ内で設定入力されたARオブジェクトの情報、およびページ特定情報とARオブジェクトの情報との距離(位置関係)の情報を紐付けして記憶する。ページ特定情報とARオブジェクトの情報との距離とは、画像の座標系の直交する2方向(X方向およびY方向)の距離である。
表示部14は、撮影部10によって撮影された所定のページの画像を表示するとともに、そのページのページ特定情報に紐づけられたARオブジェクトを画像上に重ねてAR表示する。本実施形態の表示部14は、タッチパネルから構成され、撮影部10によって撮影された画像やARオブジェクトを表示させるとともに、種々の設定入力を受け付ける。
制御部15は、仮想表示装置1全体を制御する。特に、本実施形態の制御部15は、撮影部10によって撮影された書籍の所定のページの画像を表示部14に表示させるとともに、その画像上に、記憶部13に記憶されたARオブジェクトを重ねてAR表示させる。
また、制御部15は、ユーザによって設定入力されたページ特定情報およびARオブジェクトの情報を受け付け、これらを紐付けして記憶部13に記憶する。
また、制御部15は、撮影部10によって撮影された書籍の所定のページの画像に対して、台形補正を含む種々の画像処理を施す。
本実施形態の仮想表示装置1は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random access memory)などの半導体メモリ、並びに通信I/Fを備えている。仮想表示装置1の半導体メモリには、本発明の表示制御プログラムの一実施形態がインストールされており、この表示制御プログラムが、制御部15が有するCPUによって実行されることにより、仮想表示装置1の各部が機能する。
なお、本実施形態においては、仮想表示装置1の各部の機能を表示制御プログラムにより実現するようにしたが、これに限らず、一部または全部の機能もしくは制御をASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)、その他の電気回路などのハードウェアによって実現するようにしてもよい。
次に、書籍のページ毎に表示されるARオブジェクトの設定方法について、図2に示すフローチャートを参照しながら説明する。
所定の書籍について、新たにARオブジェクトの情報を設定する際には、まず、その書籍の表紙の画像が撮影され、その表紙の画像とともに、書籍の名前が設定入力され、表紙の画像と書籍の名前が紐付けされて記憶部13に記憶される(S10)。この表紙の撮影および書籍の名前の入力については、仮想表示装置1をARグラスから取り外した状態で行う。
次に、ユーザは、書籍の所定のページを開き、その所定のページを仮想表示装置1によって撮影する(S12)。そして、仮想表示装置1によって撮影された書籍の所定のページの画像は、制御部15によって表示部14に表示され、ユーザが、所定のページの画像の4隅を指定する(S14)。4隅の指定は、たとえばユーザがタッチパネルである表示部14にタップすることによって行われる。
そして、仮想表示装置1の制御部15は、ユーザによって指定された4隅の点の位置情報を取得し、図3に示すように、その4つの点を結ぶ矩形領域が台形であり、台形補正が必要であると判定した場合には(S16,YES)、その矩形領域の画像に対して台形補正を施し、略長方形の画像とする(S18)。
一方、制御部15は、ユーザによって指定された4隅の点を結ぶ矩形領域が略長方形であり、台形補正が必要ないと判定した場合には(S16,NO)、台形補正を施さず、略長方形の画像のままとする。
なお、本実施形態においては、所定のページの画像の4隅をユーザが指定するようにしたが、これに限らず、制御部15が、書籍の所定のページの領域を画像認識することによって自動的に検出するようにしてもよい。
次に、表示部14に表示された所定のページの画像上において、ページ特定情報の領域が指定される(S20)。なお、本実施形態のページ特定情報は、書籍の所定のページを特定するための情報であるとともに、ARオブジェクトの表示の基準となるARマーカーとしても用いられる。
具体的には、制御部15は、所定のページの画像と、その画像の領域を指定する上述した4隅の点を結ぶ矩形領域とを表示部14に表示させ、さらにその4隅の点を結ぶ矩形領域内に、ページ特定情報の領域を指定するための四角形を表示させる。図4は、所定のページの画像、その所定のページの画像の領域を特定する矩形領域(破線で示す四角形)、およびページ特定情報の領域を指定するための四角形(一点鎖線で示す四角形)を表示した例を示す図である。ページ特定情報の領域を指定するための四角形の初期位置は、図4に示すように、ページの画像の領域を特定する矩形領域の真ん中辺りとしてもよいし、直近の前回指定された位置としてもよい。
そして、ユーザは、ページ特定情報の領域を指定するための四角形を、図5に示すようにドラッグして移動させることによって、ページ特定情報の領域を指定する。ユーザは、たとえば上記四角形をページ番号の位置まで移動させ、そのページ番号の近傍を囲むように、ピンチインまたはピンチアウトによって上記四角形の大きさを調整する。そして、ユーザによって図4に示す「完了」ボタンがタップされた場合には、上記四角形内の画像がページ特定情報としてページ特定情報取得部11によって取得され、記憶部13に記憶される(S22)。
なお、仮想表示装置1には、ジャイロセンサや加速度センサなど(図示省略)が設けられており、たとえば仮想表示装置1が書籍に対して移動し、ページの画像を特定する矩形領域の書籍に対する位置がずれた場合には、制御部15は、ジャイロセンサや加速度センサなどの検出信号に基づいて、ページの画像を特定する矩形領域を移動させる。すなわち、制御部15は、仮想表示装置1の移動に応じて、ページの画像を特定する矩形領域を移動させることによって、書籍と上記矩形領域との位置関係が維持されるようにする。
続いて、ARグラスに仮想表示装置1を設置して頭部に装着した後、ARオブジェクトの情報の指定が行われる(S24)。具体的には、表示部14に所定のページの画像が表示された状態において、ユーザは、ARオブジェクトの種類を選択する。本実施形態では、ARオブジェクトとして、所定の文章に付される蛍光マーカーやアンダーラインをAR表示する。ユーザは、その蛍光マーカーの太さおよび色やアンダーラインの色などをARオブジェクトの種類として指定する。ARオブジェクトの種類の指定は、たとえば図6に示すような表示部14に表示されたメニューバーMを用いて行われる。ユーザは、仮想表示装置1とARグラスとの隙間から指を挿入し、表示部14に表示されたメニューバーMをタップすることによって、ARオブジェクトの種類を選択する。
そして、ARオブジェクトの種類が選択された後、所定のページにおいて、物理的なペン型デバイス2(本発明の指示部材に相当する)を用いて、ARオブジェクト(蛍光マーカー、アンダーライン)の位置が指定される。物理的なペン型デバイス2は、たとえばそのペン先に書籍の所定のページに接触したことを検出する接触センサなどを有し、その接触センサによる検出信号を無線通信によって仮想表示装置1に送信する。
仮想表示装置1は、ペン型デバイス2から送信された検出信号を受信した場合には、その接触点を蛍光マーカーやアンダーラインの開始点と認識し、接触状態から非接触状態になった点をマーカーやアンダーラインの終了点として認識する。
ARオブジェクト情報取得部12は、ユーザによるメニューバーMによる選択によってARオブジェクトの種類の情報を取得し、ペン型デバイス2の接触および非接触の検出信号を受け付けることによってARオブジェクトの位置の情報を取得する。
そして、制御部15は、ARオブジェクトの種類、および上述したページ特定情報の領域とARオブジェクトの位置との距離(位置関係)を紐付けして記憶部13に記憶する(S26)。
制御部15は、S12~S26の処理を書籍のページ毎に行い、書籍のページ毎に、ページARオブジェクトの種類、およびページ特定情報の領域とARオブジェクトの位置との距離(位置関係)を紐付けし、書籍の画像および名前に対応付けて記憶部13に記憶する。
次に、ユーザが、書籍を読む際に、書籍の各ページにARオブジェクトをAR表示させる処理について、図7に示すフローチャートを参照しながら説明する。
まず、ユーザは、仮想表示装置1にインストールされたアプリケーションを起動し、図8に示すような表紙リストを表示させる(S30)。表紙リストは、書籍毎に撮影された表紙の画像とその書籍の名前(図2のS10で記憶されたもの)をリスト表示したものである。
そして、ユーザは、表紙リストの中から今回読む書籍の表紙の画像を選択した後(S32)、仮想表示装置1を設置したARグラスを頭部に装着する。
次に、ユーザは、今回読む書籍の所定のページを開き、その所定のページを仮想表示装置1によって撮影する(S34)。そして、仮想表示装置1によって撮影された書籍の所定のページの画像は、制御部15によって表示部14に表示され、ユーザが、所定のページの画像の4隅を指定する(S36)。4隅の指定は、たとえばユーザがタッチパネルである表示部14にタップすることによって行われる。
そして、仮想表示装置1の制御部15は、ユーザによって指定された4隅の点の位置情報を取得し、その4つの点を結ぶ矩形領域が台形であり、台形補正が必要であると判定した場合には(S38,YES)、その矩形領域の画像に対して台形補正を施し、略長方形の画像とする(S40)。
一方、制御部15は、ユーザによって指定された4隅の点を結ぶ矩形領域が略長方形であり、台形補正が必要ないと判定した場合には(S38,NO)、台形補正を施さず、略長方形の画像のままとする。
なお、本実施形態においては、所定のページの画像の4隅をユーザが指定するようにしたが、これに限らず、制御部15が、書籍の所定のページの領域を画像認識することによって自動的に検出するようにしてもよい。
続いて、制御部15は、ユーザによって指定された矩形領域内の画像(書籍の所定のページの画像)に基づいて、ページ特定情報を抽出する(S42)。具体的には、制御部15は、今回読む書籍に対応づけて記憶部13に記憶されたページ毎のページ特定情報を参照しながら、現在撮影されているページの画像内を検索し、一致するページ特定情報を抽出する。
そして、制御部15は、抽出されたページ特定情報に紐づけて記憶部13に記憶されたARオブジェクトの情報を読み出して取得し(S44)、そのARオブジェクトの情報に基づいて、表示部14に表示された所定のページの画像上にARオブジェクトを重ねてAR表示させる(S46)。
そして、制御部15は、書籍のページがユーザによってめくられ、ページの画像が変更された場合には(S48,YES)、その変更後のページの画像内を検索し、ページ特定情報を抽出する(S42)。制御部15は、ページの画像内から検索されるページ特定情報が変更したことを認識することによって、書籍のページがめくられたことを認識する。
そして、制御部15は、書籍のページがめくられた場合には、変更後のページ特定情報に紐づけて記憶部13に記憶されたARオブジェクトの情報を読み出して取得し(S44)、そのARオブジェクトの情報に基づいて、表示部14に表示された変更後のページの画像上にARオブジェクトを重ねてAR表示させる(S46)。すなわち、制御部15は、ページの変更に応じてARオブジェクトを切り替えてAR表示させる。
一方、ユーザが、書籍のページを変更せず(S48,NO)、読む書籍を変更したいと考えた場合には、所定の操作を行うことによってS30に戻り(S50,YES)、表紙リストを表示部14に表示させる。書籍のページを変更せず(S48,NO)、書籍の変更も行われない場合には(S50,NO)、制御部15は、S48に戻る。
上記実施形態の仮想表示装置1によれば、書籍のページを特定するページ特定情報毎のARオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させるようにしたので、紙の書籍に対して印を直接つけることなく、書籍のページ毎の印付けとしてARオブジェクトを記憶し、後でそのARオブジェクトを表示させて確認することができる。
また、上記実施形態の仮想表示装置1によれば、ページ特定情報を、ARオブジェクトの表示の基準となるARマーカーとして利用するようにしたので、ユーザがARマーカーの位置を任意に設定することができる。
また、上記実施形態の仮想表示装置1によれば、ページ特定情報が、書籍のページ番号の画像を含むようにしたので、ページ毎のARオブジェクトを特定して表示させる際、より簡易な画像認識処理でページ特定情報を抽出することができる。
また、上記実施形態の仮想表示装置1によれば、ページ特定情報の変更を認識し、その変更に応じてARオブジェクトの表示を切り替えるようにしたので、ユーザが意識することなく、書籍のページめくりに応じてARオブジェクトの表示を切り替えることができる。
また、上記実施形態の仮想表示装置1によれば、書籍の所定のページの4隅の位置情報を取得し、その4隅の位置によって特定される矩形領域内の画像に基づいて、ページ特定情報を認識し、その認識したページ特定情報に対応するARオブジェクトの情報を記憶部13から読み出して表示部14にAR表示させるようにしたので、ページ特定情報を認識する際の処理負担を軽減し、処理速度を上げることができる。
なお、上記実施形態の仮想表示装置1においては、ペン型デバイス2を用いて蛍光マーカーやアンダーラインなどのARオブジェクトの情報を取得するようにしたが、これに限らず、たとえばARオブジェクト情報取得部12が、撮影部10によって撮影されたユーザの手の動きを認識することによって、ARオブジェクトの位置の情報を取得するようにしてもよい。具体的には、ARオブジェクト情報取得部12は、ユーザの指を画像認識し、所定のページの画像上において指の画像が所定の位置で予め設定された時間以上静止している場合には、その位置を蛍光マーカーやアンダーラインの開始点とする。そして、ARオブジェクト情報取得部12は、上述したように開始点を認識した後、指の画像が移動し、再び所定の位置で予め設定された時間以上静止している場合には、その位置を蛍光マーカーやアンダーラインの終了点とする。
上述したようにユーザの手またはペン型デバイス2の動きを認識することによって、ARオブジェクトの情報を取得するようにした場合には、より簡易かつ直感的な操作でARオブジェクトの情報を取得することができる。
また、ARオブジェクトとしてマークを表示させる場合には、たとえばマークを選択するメニューバーを表示部14に表示させ、そのメニューバーからマークの種類を選択し、ペン型デバイス2またはユーザの指により、ページの画像上でマークの表示位置を指定することによって、ARオブジェクトの位置の情報を取得するようにしてもよい。
また、ARオブジェクトとしてテキストを表示させる場合には、たとえばペン型デバイス2またはユーザの指の先端の動きを認識することによって文字認識してARオブジェクトとして表示させるテキストの情報を取得し、ペン型デバイス2またはユーザの指によりページの画像上でテキストの表示位置を指定することによって、ARオブジェクトの位置の情報を取得するようにしてもよい。
また、上記実施形態においては、仮想表示装置1をARグラスに設置するようにしたが、これに限らず、仮想表示装置1とARグラスが一体化されたARゴーグルの構成としてもよい。
なお、本発明は、上記実施形態に限定されるものではなく、実施段階でその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。たとえば実施形態に示される全構成要素を適宜組み合わせても良い。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
本発明に関し、さらに以下の付記を開示する。
(付記1)
本発明の表示制御装置は、書籍の所定のページの画像を撮影する撮影部と、撮影部によって撮影された画像を表示部に表示させる制御部と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部と、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するARオブジェクト情報取得部と、ページ特定情報毎のARオブジェクトの情報を記憶する記憶部とを備え、制御部が、記憶部に記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。
本発明の表示制御装置は、書籍の所定のページの画像を撮影する撮影部と、撮影部によって撮影された画像を表示部に表示させる制御部と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部と、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するARオブジェクト情報取得部と、ページ特定情報毎のARオブジェクトの情報を記憶する記憶部とを備え、制御部が、記憶部に記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。
(付記2)
付記1記載の発明の表示制御装置において、ページ特定情報は、ARオブジェクトの表示の基準となるARマーカーとすることができる。
付記1記載の発明の表示制御装置において、ページ特定情報は、ARオブジェクトの表示の基準となるARマーカーとすることができる。
(付記3)
付記1または付記2記載の発明の表示制御装置において、ページ特定情報は、書籍のページ番号の画像を含むことができる。
付記1または付記2記載の発明の表示制御装置において、ページ特定情報は、書籍のページ番号の画像を含むことができる。
(付記4)
付記1から付記3いずれかに記載の発明の表示制御装置において、制御部は、ページ特定情報の変更を認識し、その変更に応じてARオブジェクトの表示を切り替えることができる。
付記1から付記3いずれかに記載の発明の表示制御装置において、制御部は、ページ特定情報の変更を認識し、その変更に応じてARオブジェクトの表示を切り替えることができる。
(付記5)
付記1から付記4いずれかに記載の発明の表示制御装置において、制御部は、書籍の所定のページの4隅の位置情報を取得し、その4隅の位置によって特定される矩形領域内の画像に基づいて、ページ特定情報を認識し、その認識したページ特定情報に対応するARオブジェクトの情報を記憶部から読み出して表示部にAR表示させることができる。
付記1から付記4いずれかに記載の発明の表示制御装置において、制御部は、書籍の所定のページの4隅の位置情報を取得し、その4隅の位置によって特定される矩形領域内の画像に基づいて、ページ特定情報を認識し、その認識したページ特定情報に対応するARオブジェクトの情報を記憶部から読み出して表示部にAR表示させることができる。
(付記6)
付記1から付記5いずれかに記載の発明の表示制御装置において、ARオブジェクト情報取得部は、ユーザの手または所定の指示部材の動きを認識することによって、ARオブジェクトの情報を取得することができる。
付記1から付記5いずれかに記載の発明の表示制御装置において、ARオブジェクト情報取得部は、ユーザの手または所定の指示部材の動きを認識することによって、ARオブジェクトの情報を取得することができる。
(付記7)
本発明の表示制御方法は、書籍の所定のページの画像を撮影し、その撮影した画像内に含まれるページを特定するページ特定情報を取得し、所定のページの画像内においてAR表示するARオブジェクトの情報を取得し、ページ特定情報毎のARオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。
本発明の表示制御方法は、書籍の所定のページの画像を撮影し、その撮影した画像内に含まれるページを特定するページ特定情報を取得し、所定のページの画像内においてAR表示するARオブジェクトの情報を取得し、ページ特定情報毎のARオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させる。
(付記8)
本発明の表示制御プログラムは、書籍の所定のページの画像を撮影するステップと、その撮影した画像内に含まれるページを特定するページ特定情報を取得するステップと、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するステップと、ページ特定情報毎のARオブジェクトの情報を予め記憶するステップと、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させるステップとをコンピュータに実行させる。
本発明の表示制御プログラムは、書籍の所定のページの画像を撮影するステップと、その撮影した画像内に含まれるページを特定するページ特定情報を取得するステップと、所定のページの画像内においてAR表示するARオブジェクトの情報を取得するステップと、ページ特定情報毎のARオブジェクトの情報を予め記憶するステップと、その記憶されたページ特定情報毎のARオブジェクトの情報に基づいて、所定のページの画像内にARオブジェクトを表示させるステップとをコンピュータに実行させる。
1 仮想表示装置
2 ペン型デバイス
10 撮影部
11 ページ特定情報取得部
12 ARオブジェクト情報取得部
13 記憶部
14 表示部
15 制御部
M メニューバー
2 ペン型デバイス
10 撮影部
11 ページ特定情報取得部
12 ARオブジェクト情報取得部
13 記憶部
14 表示部
15 制御部
M メニューバー
Claims (8)
- 書籍の所定のページの画像を撮影する撮影部と、
前記撮影部によって撮影された画像を表示部に表示させる制御部と、
前記所定のページの画像内に含まれる前記ページを特定するページ特定情報を取得するページ特定情報取得部と、
前記所定のページの画像内においてAR表示するARオブジェクトの情報を取得するARオブジェクト情報取得部と、
前記ページ特定情報毎の前記ARオブジェクトの情報を記憶する記憶部とを備え、
前記制御部が、前記記憶部に記憶された前記ページ特定情報毎の前記ARオブジェクトの情報に基づいて、前記所定のページの画像内に前記ARオブジェクトを表示させる表示制御装置。 - 前記ページ特定情報が、前記ARオブジェクトの表示の基準となるARマーカーである請求項1記載の表示制御装置。
- 前記ページ特定情報が、前記書籍のページ番号の画像を含む請求項1記載の表示制御装置。
- 前記制御部が、前記ページ特定情報の変更を認識し、該変更に応じて前記ARオブジェクトの表示を切り替える請求項1記載の表示制御装置。
- 前記制御部が、前記書籍の所定のページの4隅の位置情報を取得し、該4隅の位置によって特定される矩形領域内の画像に基づいて、前記ページ特定情報を認識し、該認識したページ特定情報に対応する前記ARオブジェクトの情報を前記記憶部から読み出して前記表示部にAR表示させる請求項1記載の表示制御装置。
- 前記ARオブジェクト情報取得部が、ユーザの手または所定の指示部材の動きを認識することによって、前記ARオブジェクトの情報を取得する請求項1記載の表示制御装置。
- 書籍の所定のページの画像を撮影し、
該撮影した画像内に含まれる前記ページを特定するページ特定情報を取得し、
前記所定のページの画像内においてAR表示するARオブジェクトの情報を取得し、
前記ページ特定情報毎の前記ARオブジェクトの情報を予め記憶し、
該記憶された前記ページ特定情報毎の前記ARオブジェクトの情報に基づいて、前記所定のページの画像内に前記ARオブジェクトを表示させる表示制御方法。 - 書籍の所定のページの画像を撮影するステップと、
該撮影した画像内に含まれる前記ページを特定するページ特定情報を取得するステップと、
前記所定のページの画像内においてAR表示するARオブジェクトの情報を取得するステップと、
前記ページ特定情報毎の前記ARオブジェクトの情報を予め記憶するステップと、
該記憶された前記ページ特定情報毎の前記ARオブジェクトの情報に基づいて、前記所定のページの画像内に前記ARオブジェクトを表示させるステップとをコンピュータに実行させる表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022186706A JP2024075328A (ja) | 2022-11-22 | 2022-11-22 | 表示制御装置および方法並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022186706A JP2024075328A (ja) | 2022-11-22 | 2022-11-22 | 表示制御装置および方法並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024075328A true JP2024075328A (ja) | 2024-06-03 |
Family
ID=91321677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022186706A Pending JP2024075328A (ja) | 2022-11-22 | 2022-11-22 | 表示制御装置および方法並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024075328A (ja) |
-
2022
- 2022-11-22 JP JP2022186706A patent/JP2024075328A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6657593B2 (ja) | 生体撮影装置、生体撮影方法及び生体撮影プログラム | |
US10585488B2 (en) | System, method, and apparatus for man-machine interaction | |
US10198867B2 (en) | Display control device, display control method, and program | |
KR102147935B1 (ko) | 데이터 처리 방법 및 그 전자 장치 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
CN108027654B (zh) | 输入设备、输入方法和程序 | |
JP5989479B2 (ja) | 文字認識装置、文字認識装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP6206581B2 (ja) | 端末装置、表示制御方法及びプログラム | |
JP6164361B2 (ja) | 端末装置、表示制御方法及びプログラム | |
WO2015145570A1 (ja) | 端末装置、表示制御方法及びプログラム | |
JP2013182211A (ja) | 携帯端末、手書き支援方法、及びプログラム | |
JP6201282B2 (ja) | 携帯電子機器、その制御方法及びプログラム | |
JP2024075328A (ja) | 表示制御装置および方法並びにプログラム | |
JP4951266B2 (ja) | 表示装置、関連情報表示方法およびプログラム | |
JP6399371B1 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP6155893B2 (ja) | 画像処理装置、及びプログラム | |
JP2018092420A (ja) | 閲覧制御システム、閲覧装置及びプログラム | |
JP6737229B2 (ja) | 表示装置 | |
JP2002049455A (ja) | 入力インタフェース装置、及び該装置を具備する携帯情報装置 | |
JP2008113107A (ja) | カメラ機能を利用した入力方法、及び入力方法を用いた情報通信端末。 | |
JPH0744650A (ja) | 情報認識装置 | |
US10877663B2 (en) | Display method and display apparatus | |
JP5716057B2 (ja) | 表示装置、表示方法、プログラム | |
JP6677410B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP6369604B2 (ja) | 画像処理装置、画像処理方法、及びプログラム |