JP7438827B2 - Display control system, display control method, and display control program - Google Patents
Display control system, display control method, and display control program Download PDFInfo
- Publication number
- JP7438827B2 JP7438827B2 JP2020068984A JP2020068984A JP7438827B2 JP 7438827 B2 JP7438827 B2 JP 7438827B2 JP 2020068984 A JP2020068984 A JP 2020068984A JP 2020068984 A JP2020068984 A JP 2020068984A JP 7438827 B2 JP7438827 B2 JP 7438827B2
- Authority
- JP
- Japan
- Prior art keywords
- attitude
- operating device
- display
- marker
- object image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 239000003550 marker Substances 0.000 claims description 109
- 238000001514 detection method Methods 0.000 claims description 100
- 238000012545 processing Methods 0.000 claims description 22
- 238000013459 approach Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 206010034719 Personality change Diseases 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Description
本発明は、表示制御システム、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to a display control system, a display control method, and a display control program.
従来、コンピュータグラフィックス（ＣＧ）データとして作成された鑑賞対象物の形状を模したレプリカ（模型、人形）の動きに合わせて、前記鑑賞対象物のＣＧ画像を表示装置に提示するシステムが提案されている（例えば特許文献１参照）。このシステムによれば、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能となる。 Conventionally, a system has been proposed in which a CG image of an object to be appreciated is displayed on a display device in accordance with the movement of a replica (model, doll) that is created as computer graphics (CG) data and imitates the shape of the object. (For example, see Patent Document 1). According to this system, it is possible to present an image viewed from any direction desired by the viewer on the display device.
しかし、従来のシステムは、レプリカの動きに連動させて表示装置のＣＧ画像の姿勢を変化させることは可能であるが、例えば鑑賞対象物に関する様々な情報（説明、解説など）をレプリカの動きに連動させて鑑賞者に提示することは困難である。特に鑑賞対象物が美術品などである場合には、美術品に関する情報を鑑賞者に提示可能であることが望まれる。 However, with conventional systems, although it is possible to change the posture of the CG image on the display device in conjunction with the movement of the replica, for example, it is possible to change the posture of the CG image on the display device in conjunction with the movement of the replica. It is difficult to present them to the viewer in a linked manner. Particularly when the object to be appreciated is a work of art, it is desirable to be able to present information regarding the work of art to the viewer.
本発明の目的は、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、当該操作対象物の特定情報をユーザに提示することが可能な表示制御システム、表示制御方法、及び表示制御プログラムを提供することにある。 An object of the present invention is to provide a display control system that changes the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operation device, the system presenting specific information of the operation target to a user. An object of the present invention is to provide a display control system, a display control method, and a display control program that can perform the following operations.
本発明の一の態様に係る表示制御システムは、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出部と、前記マーカー検出部により前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示部と、を備える。 A display control system according to one aspect of the present invention is a display control system that changes the posture of an object image of an operation target displayed on a display device in conjunction with a change in the posture of an operating device, the system comprising: a marker detection unit that detects a marker set at a specific position; and an information presentation unit that presents specific information associated with the detected marker when the marker is detected by the marker detection unit. Be prepared.
本発明の他の形態に係る表示制御方法は、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御方法であって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出ステップと、前記マーカー検出ステップにより前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示ステップと、を一又は複数のプロセッサにより実行する方法である。 A display control method according to another aspect of the present invention is a display control method for changing the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operating device, the method comprising: a marker detection step of detecting a marker set at a specific position; and an information presentation step of presenting specific information associated with the detected marker when the marker is detected by the marker detection step. This method is executed by one or more processors.
本発明の他の形態に係る表示制御プログラムは、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御方法であって、前記オブジェクト画像の特定位置に設定されたマーカーを検出するマーカー検出ステップと、前記マーカー検出ステップにより前記マーカーが検出された場合に、検出された前記マーカーに対応付けられた特定情報を提示する情報提示ステップと、を一又は複数のプロセッサに実行させるためのプログラムである。 A display control program according to another aspect of the present invention is a display control method for changing the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operating device, the program comprising: a marker detection step of detecting a marker set at a specific position; and an information presentation step of presenting specific information associated with the detected marker when the marker is detected by the marker detection step. This is a program to be executed by one or more processors.
本発明によれば、表示装置に表示される操作対象物のオブジェクト画像の姿勢を操作装置の姿勢変化に連動させて変化させる表示制御システムであって、当該操作対象物の特定情報をユーザに提示することが可能な表示制御システム、表示制御方法、及び表示制御プログラムが提供される。 According to the present invention, there is provided a display control system that changes the orientation of an object image of an operation target displayed on a display device in conjunction with a change in the orientation of an operation device, the system presenting specific information of the operation target to a user. A display control system, a display control method, and a display control program are provided.
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。 Embodiments of the present invention will be described below with reference to the accompanying drawings to provide an understanding of the present invention. Note that the following embodiments are examples of embodying the present invention, and do not limit the technical scope of the present invention.
［表示制御システム１００］
図１及び図２に示されるように、本発明の実施形態に係る表示制御システム１００は、操作装置１と表示装置２とを含む。操作装置１と表示装置２とは、無線ＬＡＮ、有線ＬＡＮなどの通信網Ｎ１を介して通信可能である。操作装置１は本発明の操作装置の一例であり、表示装置２は本発明の表示装置の一例である。
[Display control system 100]
As shown in FIGS. 1 and 2, a
表示制御システム１００は、表示装置２に表示される操作対象物のオブジェクト画像３の姿勢を、操作対象物を模した形状を有する操作装置１の姿勢変化に連動させて変化させることが可能である。例えば、前記操作対象物は美術品であり、オブジェクト画像３は美術品の三次元画像であり、操作装置１は美術品のレプリカ（模型）である。本実施形態では、美術品の一例として陶器の茶碗を例に挙げて説明する。操作装置１は、例えば前記茶碗と素材、形状、大きさ、重さ、質感などが同等のレプリカである。
The
例えば図１に示すように、ユーザ（鑑賞者）が操作装置１（茶碗のレプリカ）を把持してＤ１方向に回転させると、表示制御システム１００は、表示装置２に表示されたオブジェクト画像３をユーザの操作に応じてＤ１方向に回転させる。また、例えばユーザが操作装置１を把持してＤ２方向に回転させると、表示制御システム１００は、オブジェクト画像３をユーザの操作に応じてＤ２方向に回転させる。また、例えばユーザが操作装置１を把持したまま腕を伸ばして顔から遠ざける方向（奥側）に動かすと、すなわち操作装置１を表示装置２側に近づけると、表示制御システム１００は、表示装置２に表示されたオブジェクト画像３を縮小表示させる。また、例えばユーザが操作装置１を把持したまま腕を縮めて顔に近づける方向（手前側）に動かすと、すなわち操作装置１を表示装置２から遠ざけると、表示制御システム１００は、表示装置２に表示されたオブジェクト画像３を拡大表示させる。
For example, as shown in FIG. 1, when a user (viewer) grasps the operating device 1 (a replica of a teacup) and rotates it in the D1 direction, the
このように、操作装置１は、ユーザの操作に応じて、表示装置２に表示されるオブジェクト画像３の姿勢を変化させることが可能なコントローラーである。美術品（例えば茶碗）は、本発明の操作対象物の一例である。またオブジェクト画像３は、本発明のオブジェクト画像の一例である。
In this way, the
本実施形態では、表示制御システム１００が本発明に係る表示制御システムに相当するが、本発明に係る表示制御システムは、操作装置１単体又は表示装置２単体により実現されてもよい。
In this embodiment, the
［操作装置１］
図２に示されるように、操作装置１は、制御部１１、記憶部１２、姿勢検出センサ１３、及び通信部１４などを備える。操作装置１で実行される各種の処理は、一又は複数のプロセッサによって分散して実行されてもよい。図３には、操作装置１の外観を示している。本実施形態では、操作装置１は、茶碗のレプリカである。
[Operating device 1]
As shown in FIG. 2, the
通信部１４は、操作装置１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して表示装置２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
The
姿勢検出センサ１３は、操作装置１の姿勢を検出するセンサであり、ジャイロセンサ、加速度センサ、地磁気センサなどである。例えば、姿勢検出センサ１３は、操作装置１の回転、傾きなどの姿勢変化を検出して、検出信号を制御部１１に出力する。姿勢検出センサ１３は、操作装置１に搭載されている。本実施形態では、例えば図３に示すように、姿勢検出センサ１３は、茶碗の内側の底部に固定されている。なお、姿勢検出センサ１３は、外部から見えないように蓋で覆われてもよいし、操作装置１に内蔵されてもよい。
The
記憶部１２は、各種の情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリーなどの不揮発性の記憶部である。記憶部１２には、制御部１１に後述の表示制御処理（図１２参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、操作装置１に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。また、前記表示制御プログラムは、操作装置１からアクセス可能なサーバからダウンロードされて、記憶部１２に記憶されてもよい。
The
制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより操作装置１を制御する。
The
具体的に、制御部１１は、図２に示されるように、姿勢設定部１１１、姿勢検出部１１２などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記表示制御プログラムに従った各種の処理を実行することによって、姿勢設定部１１１及び姿勢検出部１１２として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
Specifically, the
姿勢設定部１１１は、操作装置１の姿勢を、操作装置１がユーザに対して正対する正対姿勢に設定する。具体的には、姿勢設定部１１１は、ユーザが操作装置１に正対する位置、すなわちユーザが操作装置１の正面となる位置の操作装置１の姿勢（正対姿勢）を登録する。例えば、姿勢設定部１１１は、正対姿勢における操作装置１のＸＹＺ方向の座標、傾きを姿勢検出センサ１３から取得して登録する。
The
例えば、姿勢設定部１１１は、操作装置１に設けられる地磁気センサ（方位磁石）を利用して、正対姿勢を設定してもよい。例えば、図４Ａに示すように、表示装置２を予め所定の方位Ａに向くように位置合わせし、表示装置２の正面に操作装置１を所定時間（例えば５秒）載置する。そして、姿勢設定部１１１は、表示装置２の前記方位Ａと、地磁気センサの方位Ｂ（Ｎ極）との相対関係により、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１１は、操作装置１の姿勢を正対姿勢に設定する。
For example, the
また例えば、姿勢設定部１１１は、操作装置１に設けられる地磁気センサ（方位磁石）と、表示装置２の正面に配置された磁石Ｍｇとを利用して、正対姿勢を設定してもよい。例えば、図４Ｂに示すように、表示装置２の正面に磁石Ｍｇを配置し、磁石Ｍｇの前方に操作装置１を所定時間（例えば５秒）載置する。そして、地磁気センサが磁石Ｍｇの方向を検出し、姿勢設定部１１１は、地磁気センサが検出した方向に基づいて、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１１は、操作装置１の姿勢を正対姿勢に設定する。
For example, the
また例えば、姿勢設定部１１１は、操作装置１に設けられる加速度センサを利用して、正対姿勢を設定してもよい。例えば、図４Ｃに示すように、表示装置２の正面に、表示装置２に向かって角度ｄ（例えば５度）だけ傾斜する傾斜台Ｔを設置し、傾斜台Ｔに操作装置１を所定時間（例えば５秒）載置する。なお、図４Ｃの点線は水平の台の位置を表している。そして、加速度センサがＸ軸、Ｙ軸、Ｚ軸の加速度を検出し、姿勢設定部１１１は、加速度センサが検出した加速度に基づいて、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１１は、操作装置１の姿勢を正対姿勢に設定する。
For example, the
また例えば、姿勢設定部１１１は、ユーザが操作装置１に設けられるキャリブレーションボタン（不図示）を押したときの操作装置１の姿勢を正対姿勢に設定してもよい。例えば、ユーザは操作装置１を把持して操作装置１が自身の正面方向に向くように位置合わせする。その後、ユーザが前記キャリブレーションボタンを押すと、姿勢設定部１１１は、そのときの操作装置１の姿勢を正対姿勢に設定する。なお、前記キャリブレーションボタンの機能は、操作装置１に対する所定の操作に代替することもできる。例えば、前記位置合わせ後に、ユーザが操作装置１を所定方向に振った場合に、姿勢設定部１１１は、そのときの操作装置１の姿勢を正対姿勢に設定する。
For example, the
また例えば、姿勢設定部１１１は、操作装置１に設けられるカメラ（不図示）を利用して、正対姿勢を設定してもよい。例えば、カメラがユーザと、ユーザの周囲の天井、床、壁などの周辺環境を撮像し、姿勢設定部１１１が、カメラから取得する撮像画像に基づいて、表示装置２に対する操作装置１の正面方向を算出する。これにより、姿勢設定部１１１は、操作装置１の姿勢を正対姿勢に設定する。
For example, the
このように、姿勢設定部１１１は、様々な方法により操作装置１の正面方向（正対姿勢）を設定することができる。また、姿勢設定部１１１は、ユーザが操作装置１を所定の場所に載置する度に正対姿勢を設定することが可能である。なお、操作装置１自身に正面、背面などの向きが定められている場合には、姿勢設定部１１１は、操作装置１の向きを考慮して正対姿勢を設定する。例えば、操作装置１がユーザ側（表示装置２の正面側）に向くようにして所定の場所に載置された場合に、姿勢設定部１１１は、正対姿勢を設定する。これにより、表示装置２は、オブジェクト画像３をその向きがユーザ側（表示装置２の正面側）に向くように表示することが可能となる。また、姿勢設定部１１１は、所定の場所に載置された操作装置１の向きを検出して、正対姿勢を設定してもよい。この場合、表示装置２は、オブジェクト画像３を操作装置１の向きと同じ方向を向くように表示する。
In this way, the
姿勢検出部１１２は、ユーザが操作装置１の姿勢を変化させた場合に、操作装置１の姿勢変化を検出する。具体的には、姿勢検出部１１２は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化を検出する。姿勢検出部１１２は、本発明の姿勢検出部の一例である。
The
例えば図１に示すように、ユーザは、表示装置２に表示されたオブジェクト画像３の向きを変えたい場合に、操作装置１を把持して右方向Ｄ１又は左方向Ｄ２に回転させる。この場合に、姿勢検出部１１２は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化（右回転又は左回転）を検出する。
For example, as shown in FIG. 1, when the user wants to change the orientation of the
また例えば図１に示すように、ユーザは、表示装置２に表示されたオブジェクト画像３の大きさ（表示倍率）を変えたい（例えば拡大させたい）場合に、操作装置１を把持して手前側に動かす。この場合に、姿勢検出部１１２は、姿勢検出センサ１３から取得する検出信号に基づいて、操作装置１の姿勢変化（手前側への移動）を検出する。
For example, as shown in FIG. 1, when the user wants to change the size (display magnification) of the
姿勢検出部１１２は、操作装置１の姿勢変化を検出すると、正対姿勢からの姿勢変化に対応する情報（姿勢情報）を表示装置２に出力する。前記姿勢情報には、回転角度、傾き角度、座標、表示倍率（拡大率、縮小率）などの情報が含まれる。
When detecting a change in the posture of the
［表示装置２］
図２に示されるように、表示装置２は、制御部２１、記憶部２２、表示部２３、位置検出センサ２４、及び通信部２５などを備える。表示装置２は、例えばパーソナルコンピュータのような情報処理装置であってもよい。
[Display device 2]
As shown in FIG. 2, the
通信部２５は、表示装置２を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して操作装置１などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
The
位置検出センサ２４は、表示装置２に対する操作装置１の位置を検出する。具体的には、位置検出センサ２４は、例えば位置検出センサ２４の設置場所を基準（座標原点）とした操作装置１の位置（ＸＹＺ座標）を検出する。例えば、位置検出センサ２４は、赤外線を照射して反射光を検出することにより操作装置１までの距離及び位置を検出する。なお、位置検出センサ２４は、カメラで構成されてもよい。この場合、位置検出センサ２４は、カメラによる撮像画像に基づいて操作装置１までの距離及び位置を検出する。位置検出センサ２４は、表示装置２の外部に設けられてもよい。例えば、位置検出センサ２４は、操作装置１及び表示装置２が設置される部屋の天井又は壁に設けられてもよい。
The
表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイである。表示部２３は、例えばオブジェクト画像３を表示する。なお、表示装置２は、各種の操作を受け付けるマウス、キーボード、又はタッチパネルなどの操作部（不図示）を備えてもよい。
The
記憶部２２は、各種の情報を記憶するＨＤＤ、ＳＳＤ又はフラッシュメモリーなどの不揮発性の記憶部である。記憶部２２には、表示部２３に表示されるオブジェクト画像３のデータ（三次元画像データ）が記憶される。
The
また、記憶部２２には、制御部２１に後述の表示制御処理（図１２参照）を実行させるための表示制御プログラムなどの制御プログラムが記憶されている。例えば、前記表示制御プログラムは、ＵＳＢ、ＣＤ又はＤＶＤなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、表示装置２に電気的に接続されるＵＳＢドライブ、ＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部２２に記憶される。また、前記表示制御プログラムは、表示装置２からアクセス可能なサーバからダウンロードされて、記憶部２２に記憶されてもよい。
The
制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶された不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部２１は、前記ＲＯＭ又は記憶部２２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより表示装置２を制御する。
The
具体的に、制御部２１は、図２に示されるように、表示処理部２１１、姿勢制御部２１２、マーカー検出部２１３、情報提示部２１４、断面表示部２１５などの各種の処理部を含む。なお、制御部２１は、前記ＣＰＵで前記表示制御プログラムに従った各種の処理を実行することによって、表示処理部２１１、姿勢制御部２１２、マーカー検出部２１３、情報提示部２１４、断面表示部２１５として機能する。また、制御部２１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記表示制御プログラムは、複数のプロセッサを前記各種の処理部として機能させるためのプログラムであってもよい。
Specifically, the
表示処理部２１１は、各種情報を表示部２３に表示させる。例えば、表示処理部２１１は、オブジェクト画像３（図１参照）を表示部２３に表示させる。
The
姿勢制御部２１２は、操作装置１から前記姿勢情報を受信し、表示部２３に表示されたオブジェクト画像３に対して当該姿勢情報に応じた処理を実行する。具体的には、姿勢制御部２１２は、操作装置１の姿勢変化に応じて、オブジェクト画像３の姿勢を変化させる。姿勢制御部２１２は、操作装置１の姿勢変化に対応する操作装置１の回転角と表示装置２に対する操作装置１の位置とに基づいて、オブジェクト画像３の姿勢を変化させる。姿勢制御部２１２は、本発明の姿勢制御部の一例である。
The
例えば、ユーザが操作装置１を動かした場合に、操作装置１の姿勢検出部１１２は、姿勢検出センサ１３から取得する回転角度、傾き角度、座標、表示倍率などの情報を含む姿勢情報を表示装置２に出力する。姿勢制御部２１２は、前記姿勢情報を受信すると、前記姿勢情報に基づいてオブジェクト画像３の回転角度、傾き角度、座標、表示倍率などを変更する。なお、操作装置１自身に正面、背面などの向きが定められている場合には、姿勢制御部２１２は、操作装置１の向きとオブジェクト画像３の向きとが一致した状態で、オブジェクト画像３の回転角度、傾き角度、座標、表示倍率など変更する。また、姿勢制御部２１２は、位置検出センサ２４の検出信号に基づいて、オブジェクト画像３の表示座標及び表示倍率を算出してもよい。
For example, when the user moves the
例えば、図５に示すように、ユーザが操作装置１を顔に近付けるように手前側に移動させた場合に、姿勢制御部２１２は、移動量に応じた拡大率を算出してオブジェクト画像３の表示倍率を変更（拡大）する。また例えば、図６に示すように、ユーザが操作装置１を顔から遠ざけるように奥側に移動させた場合に、姿勢制御部２１２は、移動量に応じた縮小率を算出してオブジェクト画像３の表示倍率を変更（縮小）する。
For example, as shown in FIG. 5, when the user moves the
姿勢制御部２１２は、表示部２３に表示されるオブジェクト画像３を、ユーザから見える操作装置１の姿勢と一致するように姿勢（表示状態）を制御する。このため、例えばユーザが茶碗（操作装置１）の底を自身に向けた場合には、姿勢制御部２１２は、オブジェクト画像３の茶碗の底がユーザ側に向くように回転させる。
The
なお、姿勢制御部２１２は、操作装置１の姿勢検出部１１２の機能を兼ね備えてもよい。この場合、操作装置１において姿勢検出部１１２が省略されてもよい。
Note that the
マーカー検出部２１３、オブジェクト画像３の特定位置に設定されたマーカーＭを検出する。例えば図７に示すように、オブジェクト画像３には、予め定められた各特定位置に複数のマーカーＭ１、Ｍ２、Ｍ３がそれぞれ設定されている。マーカーＭは、複数個に限定されず、１個でもよい。例えば、展示会に茶碗を出展する出展者が、茶碗の特徴部分にマーカーＭを設定する。各マーカーＭは、表示装置２において、オブジェクト画像３とともに識別可能に表示される。例えばマーカーＭは、表示装置２において点灯又は点滅して表示される。
A
具体的には、マーカー検出部２１３は、操作装置１の姿勢変化に応じてオブジェクト画像３の姿勢が変化することによりマーカーＭが表示装置２の正面方向に向いた場合にマーカーＭを検出する。例えば図８に示すように、ユーザは表示装置２に表示されたオブジェクト画像３のマーカーＭ１が正面方向に向くように操作装置１を回転させる。操作装置１の回転に連動してオブジェクト画像３が回転してマーカーＭ１の向きが正面方向に一致した場合、具体的にはオブジェクト画像３におけるマーカーＭ１が付された部分（面）に垂直な方向が表示部２３の表示面に垂直な方向と一致した場合に、マーカー検出部２１３は、マーカーＭ１を検出する。
Specifically, the
情報提示部２１４は、マーカー検出部２１３によりマーカーＭが検出された場合に、前記特定位置に対応付けられた特定情報を提示する。例えば図８に示す例では、情報提示部２１４は、マーカー検出部２１３によりマーカーＭ１が検出された場合に、マーカーＭ１に対応付けられた特定情報Ｃ１を表示部２３に表示する。同様に、情報提示部２１４は、マーカー検出部２１３によりマーカーＭ２が検出された場合に、マーカーＭ２に対応付けられた特定情報Ｃ２を表示部２３に表示し、マーカー検出部２１３によりマーカーＭ３が検出された場合に、マーカーＭ３に対応付けられた特定情報Ｃ３を表示部２３に表示する。特定情報Ｃ１、Ｃ２、Ｃ３は、例えば、茶碗に関する説明、解説などの情報であり、それぞれ異なる情報が登録されている。特定情報Ｃは、テキスト情報であってもよいし、写真、イラストなどの画像情報であってもよい。各マーカーＭ及び各特定情報Ｃは、互いに関連付けられて記憶部２２に記憶されている。
The
情報提示部２１４は、マーカー検出部２１３によりマーカーＭが検出されるごとに、対応する特定情報Ｃを提示する。
The
ここで、マーカー検出部２１３は、マーカーＭを検出した場合に、検出済みであることを示す情報を記憶部２２に登録してもよい。例えば、マーカー検出部２１３は、マーカーＭごとに「検出済」、「未検出」の検出状況を登録する。マーカー検出部２１３は、検出済みのマーカーＭについては再検出を行わない。このため、マーカーＭが一度検出されて情報提示部２１４が対応する特定情報Ｃを提示した場合には、当該特定情報Ｃは再提示されない。マーカー検出部２１３は、マーカーＭを検出した場合には、検出済みのマーカーＭをオブジェクト画像３から削除してもよい。マーカー検出部２１３は、操作装置１が所定の場所に載置された場合に、前記検出状況をリセットする。この構成によれば、例えば、ユーザＡが茶碗を鑑賞して特定情報Ｃ１、Ｃ２、Ｃ３の全てを閲覧した場合には、ユーザＡに対して特定情報Ｃ１、Ｃ２、Ｃ３の再度の提示が行われない。その後、ユーザＡが操作装置１を所定の場所に戻し、ユーザＢが茶碗の鑑賞を開始した場合に特定情報Ｃ１、Ｃ２、Ｃ３の提示が行われる。
Here, when the
なお、情報提示部２１４は、特定情報Ｃを音声により出力させてもよい。例えば、情報提示部２１４は、マーカー検出部２１３によりマーカーＭ１が検出された場合に、マーカーＭ１に対応付けられた特定情報Ｃ１のテキスト情報をスピーカ（不図示）から音声出力させる。前記スピーカは、表示装置２に設けられてもよいし、操作装置１に設けられてもよい。
Note that the
また、マーカーＭは、オブジェクト画像３のみに表示されてもよいし、オブジェクト画像３及び操作装置１の両方に表示されてもよいし、操作装置１のみに表示されてもよい。
Further, the marker M may be displayed only on the
断面表示部２１５は、操作装置１が表示装置２から遠ざかる方向に移動して表示装置２から所定距離Ｌ１だけ離れた位置の仮想面Ｓ１に重なる場合に、操作装置１を仮想面Ｓ１で切断した切断面を含むオブジェクト画像３を表示部２３に表示させる。具体的には、先ず、制御部２１は、図９に示すように、所定距離Ｌ１だけ離れた位置に仮想面Ｓ１を設定する。所定距離Ｌ１は、管理者などにより予め設定され、適宜変更可能である。所定距離Ｌ１は記憶部２２に登録される。制御部２１は、位置検出センサ２４の検出結果に基づいて操作装置１の位置を特定し、操作装置１が所定距離Ｌ１を超えた場合に、オブジェクト画像３の断面を表示する。なお、図９に示す操作装置１の点線は、仮想面Ｓ１による切断位置を表している。
The
例えば、制御部２１は、オブジェクト画像３に設定された全てのマーカーＭが検出され、全ての特定情報Ｃが提示された場合に、オブジェクト画像３の断面を表示可能な断面表示モードを有効にする。断面表示モードが無効の間は、制御部２１は、操作装置１の移動に応じてオブジェクト画像３の表示倍率を変更する（図５、図６参照）。
For example, the
断面表示モードが有効になると、図１０に示すように、制御部２１は、操作装置１が表示装置２から所定距離Ｌ１の範囲内で移動する場合にはオブジェクト画像３の表示倍率を変更し、操作装置１が表示装置２から所定距離Ｌ１の範囲を超えて仮想面Ｓ１に重なる場合にオブジェクト画像３の断面を表示させる。例えば、所定距離Ｌ１の範囲内では、姿勢制御部２１２は、操作装置１が表示装置２に近づく場合にオブジェクト画像３を縮小表示させ、操作装置１が表示装置２から遠ざかる場合にオブジェクト画像３を拡大表示させる。一方、所定距離Ｌ１の範囲を超える場合に、断面表示部２１５は、操作装置１を仮想面Ｓ１で切断した切断面を含むオブジェクト画像３を表示部２３に表示させる。また、所定距離Ｌ１の範囲を超える場合には、姿勢制御部２１２は、オブジェクト画像３を予め設定された設定倍率で表示させる。すなわち、所定距離Ｌ１の範囲を超える場合には、姿勢制御部２１２は、操作装置１の移動に応じてオブジェクト画像３の切断位置を変更し、表示倍率を変更しない。
When the cross-sectional display mode is enabled, as shown in FIG. 10, the
また、情報提示部２１４は、仮想面Ｓ１が操作装置１の所定位置を切断する場合に、当該所定位置に対応付けられた特定情報Ｃ４を提示してもよい。例えば図１１に示すように、仮想面Ｓ１が操作装置１の中間位置を切断する場合に、断面表示部２１５は、中間位置で切断した断面を含むオブジェクト画像３を表示するとともに、情報提示部２１４は、中間位置に対応付けられた特定情報Ｃ４を提示する。なお、情報提示部２１４は、仮想面Ｓ１が上述のマーカーＭ（図７参照）と重なった場合に、当該マーカーＭに対応付けられた特定情報Ｃを提示してもよい。
Furthermore, when the virtual plane S1 cuts a predetermined position of the
［表示制御処理］
次に、図１２を参照しつつ、表示制御システム１００において実行される表示制御処理について説明する。具体的に、本実施形態では、操作装置１の制御部１１及び表示装置２の制御部２１によって表示制御処理が実行される。なお、制御部１１、２１は、操作装置１又は表示装置２の所定の操作によって表示制御処理を途中で終了することがある。
[Display control processing]
Next, the display control processing executed in the
なお、本発明は、前記表示制御処理に含まれる一又は複数のステップを実行する表示制御方法（本発明の表示制御方法の一例）の発明として捉えることができる。また、ここで説明する前記表示制御処理に含まれる一又は複数のステップは適宜省略されてもよい。なお、前記表示制御処理における各ステップは同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１、２１によって前記表示制御処理における各ステップが実行される場合を例に挙げて説明するが、複数のプロセッサによって前記表示制御処理における各ステップが分散して実行される表示制御方法も他の実施形態として考えられる。
Note that the present invention can be regarded as an invention of a display control method (an example of the display control method of the present invention) that executes one or more steps included in the display control process. Furthermore, one or more steps included in the display control processing described here may be omitted as appropriate. Note that the steps in the display control process may be executed in a different order as long as similar effects are produced. Furthermore, although a case will be described here taking as an example a case where each step in the display control process is executed by the
ここで、操作装置１は、専用アプリケーションが起動されることにより、表示装置２に表示されたオブジェクト画像３を操作することが可能となる。
Here, the operating
先ず、ステップＳ１において、操作装置１の制御部１１は、操作装置１の姿勢が正対姿勢（正面方向）に設定されたか否かを判定する。具体的には、制御部１１は、前記専用アプリケーションを起動させて、操作装置１の正面となる位置の操作装置１の姿勢を正対姿勢に設定する。
First, in step S1, the
制御部１１は、姿勢検出センサ１３から取得する位置座標及び傾きに基づいて正対姿勢を設定する。例えば、操作装置１が所定の場所に載置された場合に、制御部１１は正対姿勢を設定する。
The
操作装置１の正対姿勢が設定された場合（Ｓ１：Ｙｅｓ）、処理はステップＳ２に移行する。制御部１１は、操作装置１の正対姿勢が設定されるまで待機する（Ｓ１：Ｎｏ）。
When the facing attitude of the
ステップＳ２において、表示装置２の制御部２１は、表示部２３において、オブジェクト画像３を正対姿勢に対応する所定の方向に向けて表示させる。
In step S2, the
ステップＳ３において、操作装置１の制御部１１は、操作装置１に対するユーザの操作の受け付けを開始する。これにより、ユーザ（鑑賞者）は操作装置１を用いてオブジェクト画像３を操作することが可能となる。
In step S3, the
ステップＳ４において、操作装置１の制御部１１は、操作装置１の姿勢変化を検出したか否かを判定する。具体的には、制御部１１は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化の有無を検出する。例えば図１に示すように、ユーザが操作装置１を右方向Ｄ１に回転させた場合に、制御部１１は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化（右回転）を検出する。また、例えば図５に示すように、ユーザが操作装置１を手前側に移動させた場合に、制御部１１は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化（位置変化）を検出する。制御部１１が操作装置１の姿勢変化を検出した場合（Ｓ４：Ｙｅｓ）、処理はステップＳ５に移行する。制御部１１は、操作装置１の姿勢変化を検出するまで待機する（Ｓ４：Ｎｏ）。ステップＳ４は、本発明の姿勢検出ステップの一例である。
In step S4, the
ステップＳ５において、表示装置２の制御部２１は、操作装置１の姿勢変化に応じて、表示装置２に表示されたオブジェクト画像３の姿勢を変化させる。具体的には、操作装置１の制御部１１は、姿勢検出センサ１３から取得する回転角度、傾き角度、座標、表示倍率などの情報を含む姿勢情報を表示装置２に出力する。表示装置２の制御部２１は、前記姿勢情報を受信すると、前記姿勢情報に基づいてオブジェクト画像３の回転角度、傾き角度、座標、表示倍率などを変更する（図５、図６参照）。ステップＳ５は、本発明の姿勢制御ステップの一例である。
In step S5, the
ステップＳ６において、表示装置２の制御部２１は、オブジェクト画像３の特定位置に設定されたマーカーＭを検出したか否かを判定する。例えば、オブジェクト画像３に３個のマーカーＭ１、Ｍ２、Ｍ３が設定されている場合（図７参照）に、制御部２１は、いずれか１個のマーカーＭを検出したか否かを判定する。制御部２１がマーカーＭを検出した場合（Ｓ６：Ｙｅｓ）、処理はステップＳ７に移行する。制御部２１がマーカーＭを検出しない場合（Ｓ６：Ｎｏ）、処理はステップＳ４に戻る。ステップＳ６は、本発明のマーカー検出ステップの一例である。
In step S6, the
ステップＳ７において、表示装置２の制御部２１は、全てのマーカーＭを検出したか否かを判定する。例えば、制御部２１は、記憶部２２の前記検出状況を参照して、オブジェクト画像３に設定されたマーカーＭ１、Ｍ２、Ｍ３が全て検出済みであるか否かを判定する。制御部２１が全てのマーカーＭを検出済みでない場合（Ｓ７：Ｎｏ）、処理はステップＳ８に移行する。一方、制御部２１が全てのマーカーＭを検出済みである場合（Ｓ７：Ｙｅｓ）、処理はステップＳ９に移行する。
In step S7, the
ステップＳ８では、制御部２１は、検出したマーカーＭに対応付けられた特定情報Ｃを提示する。例えば、制御部２１は、マーカーＭ１を検出した場合に、マーカーＭ１に対応付けられた特定情報Ｃ１を表示部２３に表示する（図８参照）。ステップＳ８は、本発明の情報提示ステップの一例である。
In step S8, the
ステップＳ９では、制御部２１は、ステップＳ８と同様に、検出したマーカーＭに対応付けられた特定情報Ｃを提示する。ステップＳ９では、制御部２１は、オブジェクト画像３に設定された複数のマーカーＭのうち最後に検出したマーカーＭに対応付けられた特定情報Ｃを提示する。ステップＳ４～Ｓ８を繰り返すことにより、ユーザに対して、マーカーＭ１に対応付けられた特定情報Ｃ１、マーカーＭ２に対応付けられた特定情報Ｃ２、及びマーカーＭ３に対応付けられた特定情報Ｃ３の全てが順に提示される。全てのマーカーＭが検出されて全ての特定情報Ｃが提示されると、処理はステップＳ１０に移行する。
In step S9, the
ステップＳ１０において、制御部２１は、断面表示モードを有効化する。断面表示モードが有効化されると、制御部２１は、以下に示す条件を満たす場合にオブジェクト画像３の断面を表示部２３に表示する。
In step S10, the
ステップＳ１１において、操作装置１の制御部１１は、操作装置１の姿勢変化を検出したか否かを判定する。例えば図５に示すように、ユーザが操作装置１を手前側に移動させた場合に、制御部１１は、姿勢検出センサ１３から取得する検出信号に基づいて操作装置１の姿勢変化（位置変化）を検出する。制御部１１が操作装置１の姿勢変化を検出した場合（Ｓ１１：Ｙｅｓ）、処理はステップＳ１２に移行する。制御部１１が操作装置１の姿勢変化を検出しない場合（Ｓ１１：Ｎｏ）、処理はステップＳ１５に移行する。
In step S11, the
ステップＳ１２において、表示装置２の制御部２１は、操作装置１が仮想面Ｓ１を超えたか否か（又は仮想面Ｓ１に重なったか否か）を判定する。具体的には、制御部２１は、位置検出センサ２４の検出結果に基づいて操作装置１の位置を特定し、操作装置１の先端が表示装置２からの所定距離Ｌ１を超えたか否かを判定する。操作装置１が仮想面Ｓ１を超えない場合（Ｓ１２：Ｎｏ）、処理はステップＳ１３に移行する。一方、操作装置１が仮想面Ｓ１を超えた場合（Ｓ１２：Ｙｅｓ）、処理はステップＳ１４に移行する。
In step S12, the
ステップＳ１３では、表示装置２の制御部２１は、操作装置１の姿勢変化に応じて、表示装置２に表示されたオブジェクト画像３の姿勢を変化させる。ここでは、操作装置１は所定距離Ｌ１の範囲内において例えば奥側又は手前側に移動することになるため、制御部２１は、操作装置１が表示装置２に近づく場合にオブジェクト画像３を縮小表示させ、操作装置１が表示装置２から遠ざかる場合にオブジェクト画像３を拡大表示させる。その後、処理はステップＳ１１に戻る。操作装置１が所定距離Ｌ１の範囲内で姿勢変化する場合は、ステップＳ１１～Ｓ１３の処理が繰り返される。ステップＳ１３は、本発明の姿勢制御ステップの一例である。
In step S13, the
一方、ステップＳ１４では、制御部２１は、操作装置１を仮想面Ｓ１で切断した切断面を含むオブジェクト画像３を表示部２３に表示させる（図９、図１１参照）。この場合、制御部２１は、操作装置１の移動に応じて、オブジェクト画像３の表示倍率を変更することなく、切断位置を変更してオブジェクト画像３の断面を表示させる。ステップＳ１４は、本発明の断面表示ステップの一例である。
On the other hand, in step S14, the
ステップＳ１５において、制御部２１は、ユーザの終了操作を受け付けたか否かを判定する。例えば、ユーザが操作装置１を所定の場所に載置した場合に、制御部２１は、終了操作を受け付けたと判定する。制御部２１が終了操作を受け付けると（Ｓ１５：Ｙｅｓ）、前記表示制御処理は終了する。制御部２１は終了操作を受け付けるまでステップＳ１１～Ｓ１４の処理を繰り返す（Ｓ１５：Ｎｏ）。
In step S15, the
なお、前記表示制御処理において、操作装置１の所定位置が仮想面Ｓ１を超えた場合、すなわち仮想面Ｓ１が操作装置１の所定位置を切断する場合、制御部２１は、当該所定位置に対応付けられた特定情報Ｃ４を提示してもよい（図１１参照）。前記所定位置は、操作装置１の中間位置であってもよいし、マーカーＭ（図７参照）が設けられた位置であってもよい。以上のようにして、制御部１１は、前記表示制御処理を実行する。
Note that in the display control process, if the predetermined position of the
ここで、表示制御システム１００は、操作装置１の正対姿勢が設定（ステップＳ１）されてから所定時間が経過した場合に前記表示制御処理を終了してもよい。これにより、例えば、複数の鑑賞者が順に美術品を鑑賞する場合に、各鑑賞者は平等に美術品を鑑賞することができる。また、表示制御システム１００は、全てのマーカーＭが検出（ステップＳ７）されてから所定時間が経過した場合に前記表示制御処理を終了してもよい。これにより、各鑑賞者は、全ての特定情報Ｃを閲覧することができる。
Here, the
なお、上述の表示制御処理では、全てのマーカーＭが検出されたことを条件（ステップＳ７）として、断面表示モードを有効化（ステップＳ１０）する構成であるが、他の実施形態として、表示制御システム１００は、ユーザの所定の操作を受け付けた場合に、断面表示モードを有効化してもよい。例えばユーザが操作装置１又は表示装置２の所定のボタン（不図示）を押下した場合、ユーザが操作装置１を所定の姿勢に変化させた場合、ユーザが音声で指示した場合などに、表示制御システム１００が断面表示モードを有効化してもよい。
Note that in the display control processing described above, the cross-section display mode is enabled (step S10) on the condition that all markers M have been detected (step S7), but as another embodiment, the display control The
以上説明したように、本実施形態に係る表示制御システム１００は、ユーザが操作装置１の姿勢を変化させた場合に、操作装置１の姿勢変化を検出し、操作装置１の姿勢変化に応じて、表示装置２に表示される操作対象物のオブジェクト画像３の姿勢を変化させる。また、表示制御システム１００は、オブジェクト画像３の特定位置に設定されたマーカーＭを検出し、検出されたマーカーＭに対応付けられた特定情報Ｃをユーザ（鑑賞者）に提示する。この構成によれば、操作装置１の動きに連動してオブジェクト画像３を動かすことができる。また、ユーザは操作装置１を動かして操作対象物に関する情報（特定情報）を閲覧することができる。
As described above, the
また、本実施形態に係る表示制御システム１００は、操作装置１が表示装置２から遠ざかる方向に移動して表示装置２から所定距離だけ離れた位置の仮想面Ｓ１に重なる場合に、操作装置１を仮想面Ｓ１で切断した切断面を含むオブジェクト画像３を表示装置２に表示させる。この構成によれば、操作装置１の動きに連動してオブジェクト画像３の厚み、内部構造などの断面情報を表示させることができる。よって、ユーザは操作装置１を動かして操作対象物に関する断面情報を閲覧することができる。
Further, the
本発明は上述の実施形態に限定されない。本発明の他の実施形態について以下に説明する。 The invention is not limited to the embodiments described above. Other embodiments of the invention will be described below.
上述の実施形態では、例えばユーザが操作装置１を把持して腕を伸ばした場合には、顔と操作装置１との相対的な位置が離れるため、ユーザから見た操作装置１の大きさは小さくなる。この場合、表示装置２に表示されるオブジェクト画像３は、ユーザから見た操作装置１の大きさが反映されるように縮小表示される（図６参照）。同様に、例えばユーザが操作装置１を把持して腕を縮めた場合には、顔と操作装置１との相対的な位置が近づくため、ユーザから見た操作装置１の大きさは大きくなる。この場合、表示装置２に表示されるオブジェクト画像３は、ユーザから見た操作装置１の大きさが反映されるように拡大表示される（図５参照）。このように、ユーザがその場（立ったまま又は座ったまま）で腕の曲げ伸ばしによりユーザと操作装置１との相対位置が変化する場合には、ユーザから見た操作装置１の大きさがオブジェクト画像３に適切に反映される。
In the above-described embodiment, for example, when the user holds the
しかし、例えばユーザが操作装置１を把持した状態で移動した（歩いた）場合には、ユーザから見た操作装置１の大きさがオブジェクト画像３に適切に反映されないことが考えられる。例えば、ユーザが操作装置１を把持した状態で歩いて表示装置２に近付いた場合には、ユーザと操作装置１との相対位置が変化せずユーザから見た操作装置１の大きさが変わらないにもかかわらず、オブジェクト画像３が縮小表示されてしまう。同様に、例えば、ユーザが操作装置１を把持した状態で歩いて表示装置２から遠ざかった場合には、ユーザと操作装置１との相対位置が変化せずユーザから見た操作装置１の大きさが変わらないにもかかわらず、オブジェクト画像３が拡大表示されてしまう。このように、ユーザから見た操作装置１の大きさがオブジェクト画像３に適切に反映されない場合には、操作装置１の操作性及びオブジェクト画像３の視認性が低下する問題が生じる。
However, for example, if the user moves (walks) while holding the
そこで、他の実施形態に係る表示制御システム１００は、上述の実施形態の構成に加えて、前記問題を解消し得る構成を備える。
Therefore, the
具体的には、位置検出センサ２４は、表示装置２に対する操作装置１の位置とユーザの位置とを検出する。具体的には、位置検出センサ２４は、位置検出センサ２４の位置を基準（座標原点）とした操作装置１の位置（ＸＹＺ座標）とユーザの位置（ＸＹＺ座標）とを検出する。姿勢制御部２１２は、位置検出センサ２４の検出信号に基づいて、操作装置１と表示装置２との相対位置、及び、操作装置１とユーザとの相対位置を算出する。例えば図１３に示すように、姿勢制御部２１２は、操作装置１と表示装置２との距離Ｌ２、及び、操作装置１とユーザとの距離Ｌ３とを算出する。そして、姿勢制御部２１２は、距離Ｌ２，Ｌ３に基づいてオブジェクト画像３の姿勢を変化させる。
Specifically, the
例えば、所定の場所に載置された操作装置１をユーザが把持すると、姿勢設定部１１１が、操作装置１の姿勢を、操作装置１がユーザに対して正対する正対姿勢に設定する。このとき、姿勢制御部２１２は、操作装置１とユーザとの距離Ｌ３を基準距離に設定する。その後、例えばユーザがその場で腕を伸ばして操作装置１を奥側（表示装置２側）に移動させた場合、距離Ｌ３が前記基準距離よりも大きくなる。姿勢制御部２１２は、距離Ｌ３の変化（増加）を検出すると、変化量に応じた縮小率でオブジェクト画像３を縮小表示する。また、例えばユーザがその場で腕を縮めて操作装置１を手前側（ユーザ側）に移動させた場合、距離Ｌ３が前記基準距離よりも小さくなる。姿勢制御部２１２は、距離Ｌ３の変化（減少）を検出すると、変化量に応じた拡大率でオブジェクト画像３を拡大表示する。
For example, when a user grasps the
これに対して、例えばユーザが操作装置１を把持した状態で歩いて奥側（表示装置２側）に移動した場合、距離Ｌ３は前記基準距離から略変わらず、距離Ｌ２だけが小さくなる。この場合、姿勢制御部２１２は、距離Ｌ３の変化を検出しないことを条件として、オブジェクト画像３の表示倍率を変更しない。同様に、例えばユーザが操作装置１を把持した状態で歩いて手前側（表示装置２から離れる方向）に移動した場合、距離Ｌ３は前記基準距離から略変わらず、距離Ｌ２だけが大きくなる。この場合、姿勢制御部２１２は、距離Ｌ３の変化を検出しないことを条件として、オブジェクト画像３の表示倍率を変更しない。
On the other hand, for example, when the user walks to the back side (towards the display device 2) while holding the
この構成によれば、ユーザから見た操作装置１の大きさをオブジェクト画像３に適切に反映させることが可能となる。よって、操作装置１の操作性及びオブジェクト画像３の視認性が低下することを回避することができる。なお、制御部２１は、距離Ｌ３の変化を検出しないで距離Ｌ２の変化だけを検出した場合に、ユーザが操作装置１を持って移動していると判断して、所定のメッセージを表示部２３に表示させてもよい。例えば、制御部２１は、「レプリカを体（顔）に近づけたり遠ざけたりしてください。」など、ユーザが移動しないで操作装置１を動かすよう促すメッセージを表示させてもよい。
According to this configuration, it is possible to appropriately reflect the size of the
本発明の他の実施形態として、位置検出センサ２４は、操作装置１に搭載されてもよい。例えば図１４に示すように、操作装置１は、位置検出センサ２４の一例であるカメラ１５を備えてもよい。カメラ１５は、鉛直上向きに撮像可能に配置され、室内の天井を撮像可能である。操作装置１は、カメラ１５の撮像画像（天井画像）に基づいて、操作装置１の位置（座標）を検出する。操作装置１は検出信号（座標情報）を表示装置２に出力する。表示装置２は、前記検出信号を受信すると、操作装置１の姿勢変化を検出してオブジェクト画像３の姿勢を変化させる。
As another embodiment of the present invention, the
本発明の操作対象物は、美術品に限定されず、種々の分野の物品であってもよい。例えば、前記操作対象物は、臓器、建築物、装飾品などであってもよい。 The object to be operated according to the present invention is not limited to works of art, but may be objects in various fields. For example, the object to be manipulated may be an organ, a building, an ornament, or the like.
１ ：操作装置
２ ：表示装置
３ ：オブジェクト画像
１１ ：制御部
１２ ：記憶部
１３ ：姿勢検出センサ
１４ ：通信部
１５ ：カメラ
２１ ：制御部
２２ ：記憶部
２３ ：表示部
２４ ：位置検出センサ
２５ ：通信部
１００ ：表示制御システム
１１１ ：姿勢設定部
１１２ ：姿勢検出部
２１１ ：表示処理部
２１２ ：姿勢制御部
２１３ ：マーカー検出部
２１４ ：情報提示部
２１５ ：断面表示部
1: Operating device 2: Display device 3: Object image 11: Control unit 12: Storage unit 13: Posture detection sensor 14: Communication unit 15: Camera 21: Control unit 22: Storage unit 23: Display unit 24: Position detection sensor 25 : Communication unit 100 : Display control system 111 : Attitude setting unit 112 : Attitude detection unit 211 : Display processing unit 212 : Attitude control unit 213 : Marker detection unit 214 : Information presentation unit 215 : Cross section display unit
Claims (9)
前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示処理部と、
前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出部と、
前記マーカー検出部により前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示部と、
を備える表示制御システム。 A display control system that changes the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operating device, the system comprising:
a display processing unit that displays the object image on the display device and displays a marker image at a specific position set on the object image;
a marker detection unit that detects the marker image when the marker image faces in the front direction of the display device due to a change in the attitude of the object image according to a change in the attitude of the operating device;
an information presentation unit that presents specific information associated with the marker image when the marker image is detected by the marker detection unit;
A display control system equipped with
前記情報提示部は、前記マーカー検出部により前記第１マーカー画像が検出された場合に前記第１特定情報を提示し、前記マーカー検出部により前記第２マーカー画像が検出された場合に前記第２特定情報を提示する、
請求項１に記載の表示制御システム。 The display processing unit causes the display device to display a first marker image associated with first specific information at a first position on the object image, and displays second specific information at a second position on the object image. displays a second marker image associated with
The information presentation section presents the first specific information when the first marker image is detected by the marker detection section, and presents the second specific information when the second marker image is detected by the marker detection section. provide specific information ;
The display control system according to claim 1.
請求項１又は請求項２に記載の表示制御システム。 The information presentation unit displays the specific information on the display device,
The display control system according to claim 1 or claim 2 .
請求項１から請求項３のいずれか１項に記載の表示制御システム。 The information presentation unit outputs the specific information by voice.
The display control system according to any one of claims 1 to 3 .
前記操作装置の姿勢変化に応じて、前記表示装置に表示される前記オブジェクト画像の姿勢を変化させる姿勢制御部と、
をさらに備え、
前記姿勢制御部は、前記操作装置の姿勢変化に対応する前記操作装置の回転角と前記表示装置に対する前記操作装置の位置とに基づいて、前記オブジェクト画像の姿勢を変化させる、
請求項１から請求項４のいずれか１項に記載の表示制御システム。 an attitude detection unit that detects a change in attitude of the operating device when a user changes the attitude of the operating device;
an attitude control unit that changes the attitude of the object image displayed on the display device according to a change in the attitude of the operating device;
Furthermore,
The attitude control unit changes the attitude of the object image based on a rotation angle of the operating device corresponding to a change in attitude of the operating device and a position of the operating device with respect to the display device.
The display control system according to any one of claims 1 to 4 .
請求項５に記載の表示制御システム。 The attitude control unit displays the object image in a reduced size when the operating device approaches the display device, and displays the object image in an enlarged manner when the operating device moves away from the display device.
The display control system according to claim 5 .
前記オブジェクト画像は、前記美術品の三次元画像であり、
前記操作装置は、前記美術品のレプリカである、
請求項１から請求項６のいずれか１項に記載の表示制御システム。 The object to be manipulated is a work of art;
The object image is a three-dimensional image of the artwork,
the operating device is a replica of the artwork;
The display control system according to any one of claims 1 to 6 .
前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示ステップと、
前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出ステップと、
前記マーカー検出ステップにより前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示ステップと、
を一又は複数のプロセッサが実行する表示制御方法。 A display control method for changing the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operating device, the method comprising:
a display step of displaying the object image on the display device and displaying a marker image at a specific position set on the object image;
a marker detection step of detecting the marker image when the marker image faces in the front direction of the display device due to a change in the attitude of the object image according to a change in the attitude of the operating device;
an information presentation step of presenting specific information associated with the marker image when the marker image is detected in the marker detection step ;
A display control method executed by one or more processors.
前記オブジェクト画像を前記表示装置に表示させるとともに、前記オブジェクト画像上に設定された特定位置にマーカー画像を表示させる表示ステップと、
前記操作装置の姿勢変化に応じて前記オブジェクト画像の姿勢が変化することにより前記マーカー画像が前記表示装置の正面方向に向いた場合に前記マーカー画像を検出するマーカー検出ステップと、
前記マーカー検出ステップにより前記マーカー画像が検出された場合に、前記マーカー画像に対応付けられた特定情報を提示する情報提示ステップと、
を一又は複数のプロセッサに実行させるための表示制御プログラム。
A display control program that changes the attitude of an object image of an operation target displayed on a display device in conjunction with a change in the attitude of an operating device, the program comprising:
a display step of displaying the object image on the display device and displaying a marker image at a specific position set on the object image;
a marker detection step of detecting the marker image when the marker image faces in the front direction of the display device due to a change in the attitude of the object image according to a change in the attitude of the operating device;
an information presentation step of presenting specific information associated with the marker image when the marker image is detected in the marker detection step ;
A display control program that causes one or more processors to execute.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020068984A JP7438827B2 (en) | 2020-04-07 | 2020-04-07 | Display control system, display control method, and display control program |
| US17/220,289 US11650673B2 (en) | 2020-04-07 | 2021-04-01 | Display control system and display control method for changing a size of an object image in association with a location change of an operation device |
| US18/130,819 US20230244327A1 (en) | 2020-04-07 | 2023-04-04 | Display control system and display control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020068984A JP7438827B2 (en) | 2020-04-07 | 2020-04-07 | Display control system, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021165934A JP2021165934A (en) | 2021-10-14 |
| JP7438827B2 true JP7438827B2 (en) | 2024-02-27 |
Family
ID=78022106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020068984A Active JP7438827B2 (en) | 2020-04-07 | 2020-04-07 | Display control system, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7438827B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023166636A1 (en) * | 2022-03-02 | 2023-09-07 | 日本電信電話株式会社 | Speech reproduction device, speech reproduction method, and speech reproduction program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013149106A (en) | 2012-01-19 | 2013-08-01 | Kaiyodo:Kk | I-figure and image processing system using i-figure |
| JP2017010228A (en) | 2015-06-19 | 2017-01-12 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
-
2020
- 2020-04-07 JP JP2020068984A patent/JP7438827B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013149106A (en) | 2012-01-19 | 2013-08-01 | Kaiyodo:Kk | I-figure and image processing system using i-figure |
| JP2017010228A (en) | 2015-06-19 | 2017-01-12 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021165934A (en) | 2021-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11409376B2 (en) | Multi-sensor device with an accelerometer for enabling user interaction through sound or image | |
| JP6748961B2 (en) | Projection image adjustment system and projection image adjustment method | |
| TW202117502A (en) | An augmented reality data presentation method, device and storage medium | |
| US7911468B2 (en) | Storage medium storing a program for controlling the movement of an object | |
| US10685485B2 (en) | Navigation in augmented reality environment | |
| TW201013630A (en) | Device with display position input | |
| JP4694435B2 (en) | Sectional image display device, sectional image display method, and sectional image display program | |
| JP2008293357A (en) | Information processing method and information processor | |
| WO2019065846A1 (en) | Program, information processing method, information processing system, head mounted display device, and information processing device | |
| JP7438827B2 (en) | Display control system, display control method, and display control program | |
| JP2022505457A (en) | How to build buildings in virtual environments, equipment, equipment and programs | |
| JP7404139B2 (en) | Display control system, display control method, and display control program | |
| JP2019155062A (en) | Display system, display control device, and program | |
| US11650673B2 (en) | Display control system and display control method for changing a size of an object image in association with a location change of an operation device | |
| JP2016139199A (en) | Image processing device, image processing method, and program | |
| JP7262247B2 (en) | Information processing program, information processing device, information processing system, and information processing method | |
| JP2021165932A (en) | Display control system, display control method, and display control program | |
| JP2022078623A (en) | Display control system, display control method, and display control program | |
| JPWO2018074054A1 (en) | Display control apparatus, display control method, and program | |
| JP2020164319A (en) | Winch control system | |
| JP7319686B2 (en) | Game program, game processing method, and game device | |
| JP7325833B2 (en) | Game program, game processing method, and game device | |
| US11972037B2 (en) | Head mounted information processing apparatus and head mounted display system | |
| WO2021235316A1 (en) | Information processing device, information processing method, and information processing program | |
| JP6452014B1 (en) | Display system, display control apparatus, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7438827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |