JP7078221B2 - 投影システム - Google Patents
投影システム Download PDFInfo
- Publication number
- JP7078221B2 JP7078221B2 JP2018069604A JP2018069604A JP7078221B2 JP 7078221 B2 JP7078221 B2 JP 7078221B2 JP 2018069604 A JP2018069604 A JP 2018069604A JP 2018069604 A JP2018069604 A JP 2018069604A JP 7078221 B2 JP7078221 B2 JP 7078221B2
- Authority
- JP
- Japan
- Prior art keywords
- projection
- image
- projected
- predetermined
- handling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、投影システムを用いた新しい映像表現の実現を目的に考案されたものである。
前記第1の投影対象物の取り扱い状況を検出する検出手段(例えば、図1の制御コンピュータ1100、制御基板1150、トラッキングセンサ40、図7のトラッキング計測部102、処理部200、取り扱い状況検出制御部220、図10のステップS4)と、
前記取り扱い状況が所定条件を満たしたか否かを判定する判定手段(例えば、図1の制御コンピュータ1100、制御基板1150、図7の処理部200、判定部230、図10のステップS30)と、
前記判定手段により肯定判定された場合に、前記第1の投影画像に関連付けられた第2の投影画像を第2の投影対象物に投影する制御を行う第2の投影制御手段(例えば、図1の制御コンピュータ1100、制御基板1150、図7の処理部200、第2投影制御部240、図10のステップS32)と、を備えた投影システムである。
前記第1の投影制御手段は、前記中間判定手段により肯定判定された場合に、前記第1の投影画像を、前記第1の投影画像によって表されていた物体が揺動する画像に変更して投影する制御を行う、第1~第4の何れかの発明の投影システムである。
図1は、本実施形態の投影システムの構成例を示す図である。
投影システム1000は、対象物へ画像等を投影するシステムであって、取り扱い空間10と、制御コンピュータ1100と、を有する。
なお、第1投影対象物21を、本実施形態ではフライ返しとするが、その他の形状の用具、例えばお玉を模したものなどとしてもよい。
よって、これらは同じ白或いは淡色であっても、深度センサ44の走査データからそれぞれを識別することができる。
図2は、映像表現の開始時における取り扱い空間10の状態の例を示す図である。
映像表現の開始時、ユーザ2は、第1投影対象物21の把持部21jを把持して第2投影対象物22の脇に立つ。この時点では、ユーザ2は第1投影対象物21を何れの料理にも触れさせていないので、第1投影対象物21には画像は投影されていない。
ユーザ2は、第1投影対象物21を、第3投影画像53又は第4投影画像54に重ねることで、第1投影対象物21を取り扱うことで運んで移動しようとする所定物体を選択する。映像表現のシチュエーション設定からすると、配膳皿に取り分ける料理の選択に相当する。図3の例では、第1投影対象物21を第3投影画像53に重ねた状態を表しているが、第4投影画像54に重ねても良いのは勿論である。
ユーザ2は、料理を掬うとこれを配膳皿まで運んで移動させるように操作する。
第1投影対象物21を取り扱うことで運んで移動しようとする所定物体の選択が完了してから、移動が完了するまでの移動過程においても、第1投影対象物21はトラッキングされているので、第1投影画像51が第1投影対象物21に追従して投影され続ける。よって、ユーザ2には、あたかも掬った料理をフライ返しにのせて運んで移動させているように見える。
例えば、速度Vが大きいほど、第1投影対象物21に対して第2投影画像52が投影される位置が遠くになるように決定される。これにより、ハンバーグを急いで運んでいる時に落下させてしまった場合に、より遠くへ飛んで落下したかのように表現される。
ユーザ2が、第1投影対象物21を第5投影対象物25に重ねると、移動完了と判断される。あるいは、第1投影対象物21を第5投影対象物25に重ねた上で、横向きにする(姿勢の変化が検出される状態にするか、物体として検出ができない状態にする)等の操作を行うことで、移動完了と判断されるようにしても良い。そして移動完了と判断されると、第1投影対象物21の取り扱いによって移動された物体の移動完了状態の様子を表す第5投影画像55が第5投影対象物25に投影開始される。また、これに伴って、第1投影対象物21への第1投影画像51の投影が中止される。或いは、ハンバーグのソースのみ残ったような画像に第1投影画像51を差し替える変更を行う。これにより、ハンバーグが配膳された状態を表現できる。
投影システム1000は、操作入力部100と、処理部200と、画像投影部392と、記憶部500とを有する。
具体的には、第1投影制御部214は、
1)トラッキング制御部202によるトラッキングに係る演算結果に基づいて、動かされる第1投影対象物21に追従させるように第1投影対象物21に第1投影画像51を投影する制御、
2)取り扱い状況が所定条件を満たす場合に、第1投影対象物21への第1投影画像51の投影を中止又は変更する制御、
3)取り扱い状況が前記所定条件を満たす前に至る中間状況に達した場合に、第1投影画像51を、当該第1投影画像51によって表されていた物体が揺動する画像に変更して投影する制御、
4)第1投影対象物21が所定の終了位置に位置した検出に応じて、第1投影画像51の第1投影対象物21への投影を終了する制御、
を行う。
本実施形態では、第1投影対象物21と、第3投影対象物23又は第4投影対象物24と、が接近して重なったと見なされる双方の代表点位置の距離条件として定義される。なお、所定物の選択操作の認識に、第1投影対象物21の位置や姿勢変化(具体的には、フライ返しを差し込んで持ち上げる動作に相当する一連の位置や姿勢の変化)を条件として含める場合には、当該定義データにその条件のデータも適宜含めることができる。
次に、本実施形態における投影システム1000の動作について説明する。
図10と図11は、制御コンピュータ1100における処理の流れを説明するためのフローチャートであって、制御コンピュータ1100が制御プログラム501を実行することにより実現される。
もし、中間条件が満たされていなければ(ステップS20のNO)、第1投影画像51を非揺動状態の画像に戻す(ステップS24)。例えば、1度落としたハンバーグを掬い直すと揺れていない状態のハンバーグの画像が投影されることになる。
以上、本発明を適用した実施形態の例について説明したが、本発明を適用可能な形態は上記形態に限定されるものではなく適宜構成要素の追加・省略・変更を施すことができる。
例えば、投影対象物に深度センサ44で計測される深度方向に凹凸を設けて、所定物体の選択条件、兼、第1投影画像51の投影開始条件に、深度方向の操作に係る条件を加えることができる。
当該構成における第3投影対象物23は、深鍋に相当する。上面視中央部に凹部23hが設けられており、第1投影対象物21(図12の例では、お玉やレードル)を挿入できるスペースが確保されている。そして、凹部23hの平坦な底面には、流動性の候補物体(例えば、カレー、シチューなど)の第3投影画像53が投影される。
当該構成によれば、深鍋にお玉を差し込んで流動性の物体を掬って運ぶという仮想体験をその映像表現で実現可能になる。
また、上記実施形態では、第2投影画像52は1度表示されると、映像表現が終了するまで表示されたままとしているが、適宜、第2投影画像52を消去する制御を含めることができる。例えば、投影画像定義データ510(図9参照)に、第2消去条件データを追加して、この第2消去条件が満たされたと肯定判定された場合に、当該第2投影画像52を消去する。
また、投影する所定物体は、それに対応する投影対象物でしか移動・運搬できないという構成とすることもできる。例えば、第1投影対象物21をフライ返しとお玉の2種類とする。そして、運搬する所定物体を、第2投影対象物としてのフライパンに投影されたハンバーグと、第3投影対象物としての鍋に投影されたカレーとする。このとき、ハンバーグはフライ返しでなければ掬うことができず、カレーはお玉でなければ掬うことができない、という構成とすることもできる。
また、上記実施形態では、第5投影対象物25を固定として例示したが、第5投影対象物25を、個体識別可能な別の第1投影対象物21とすることもできる。当該構成を前提にして、1)第1投影対象物21をお玉やスプーンとし、2)第1投影画像51をピンポン球等のボールとし、3)投影画像定義データ510に第1投影制御パラメータ値設定関数を追加して、当該関数で第1投影対象物21の取り扱い状況に応じて第1投影画像51の投影位置のオフセット量を決定する構成、とするならば、複数のユーザがお玉(それぞれのユーザが把持する第1投影対象物21)を使ってピンポン球をリレーするピンポン球リレーのような仮想体験を実現する映像表現が可能になる。
20…投影対象物
21…第1投影対象物
21h…被投影部
21j…把持部
21t…画像部分
22…第2投影対象物
30…投影装置
40…トラッキングセンサ
42…赤外線ビデオカメラ
44…深度センサ
51…第1投影画像
52…第2投影画像
102…トラッキング計測部
104…撮像部
106…深度検出部
200…処理部
202…トラッキング制御部
210…選択制御部
212…開始検出制御部
214…第1投影制御部
220…取り扱い状況検出制御部
230…判定部
240…第2投影制御部
242…中間判定部
244…終了検出部
392…画像投影部
500…記憶部
501…制御プログラム
510…投影画像定義データ
511…物体名
520…第1投影画像データ
530…中間投影画像データ
532…中間条件定義データ
540…第2投影画像データ
542…第2開始条件定義データ
546…第2投影中止設定
600…トラッキングデータ
602…所定物体名
604…第1投影画像管理データ
610…第2投影画像管理データ
1000…投影システム
1100…制御コンピュータ
1150…制御基板
Claims (15)
- ユーザが動かして取り扱う第1の投影対象物に所定物体を表す第1の投影画像を投影する制御を行う第1の投影制御手段と、
前記第1の投影対象物の取り扱い状況を検出する検出手段と、
前記取り扱い状況が所定条件を満たしたか否かを判定する判定手段と、
前記判定手段により肯定判定された場合に、前記第1の投影画像に関連付けられた第2の投影画像を第2の投影対象物に投影する制御を行う第2の投影制御手段と、
前記取り扱い状況が前記所定条件を満たす前に至る中間状況に達したか否かを判定する中間判定手段と、
を備え、
前記第1の投影制御手段は、前記中間判定手段により肯定判定された場合に、前記第1の投影画像の投影制御として、前記第1の投影対象物に前記所定物体の揺動状態の画像を投影する制御を行う、
投影システム。 - 前記第2の投影画像は、前記第1の投影画像と同じ画像、或いは、前記所定物体を前記第1の投影画像とは異なる表現で表した画像、である、
請求項1に記載の投影システム。 - 前記第1の投影対象物の位置をトラッキングするトラッキング手段、
を更に備え、
前記第1の投影制御手段は、前記トラッキングに基づいて、動かされる前記第1の投影対象物に追従させるように前記第1の投影対象物に前記第1の投影画像を投影する制御を行う、
請求項1又は2に記載の投影システム。 - 前記第1の投影制御手段は、前記判定手段により肯定判定された場合に、前記第1の投影対象物への前記第1の投影画像の投影を中止する、又は、投影する前記第1の投影画像を別の画像に差し替える変更を行う、
請求項1~3の何れか一項に記載の投影システム。 - 前記ユーザによる前記第1の投影対象物の取り扱いは、前記所定物体を運ぶ又は移動させる取り扱いである、
請求項1~4の何れか一項に記載の投影システム。 - 前記第1の投影対象物が所定の開始位置に位置したことを検出する開始検出手段、
を更に備え、
前記第1の投影制御手段は、前記開始検出手段の検出に応じて、前記第1の投影画像の前記第1の投影対象物への投影を開始する制御を行う、
請求項1~5の何れか一項に記載の投影システム。 - 前記第1の投影対象物が所定の終了位置に位置したことを検出する終了検出手段、
を更に備え、
前記第1の投影制御手段は、前記終了検出手段の検出に応じて、前記第1の投影画像の前記第1の投影対象物への投影を終了する制御を行う、
請求項1~6の何れか一項に記載の投影システム。 - 複数種類の前記所定物体のうち、一種類の前記所定物体を選択する選択手段、
を更に備え、
前記判定手段は、前記選択された所定物体に関連付けられた前記所定条件を満たしたか否かを判定する、
請求項1~7の何れか一項に記載の投影システム。 - 前記検出手段は、前記ユーザによる前記第1の投影対象物の取り扱いに係る所定物理量を検出し、
前記判定手段は、前記所定物理量に基づいて前記所定条件を満足したか否かを判定する、
請求項1~8の何れか一項に記載の投影システム。 - 前記所定物理量は、前記第1の投影対象物の位置、速度、加速度および姿勢の何れかである、
請求項9に記載の投影システム。 - ユーザが動かして取り扱う第1の投影対象物に第1の投影画像を投影する制御を行う第1の投影制御手段と、
前記第1の投影対象物の速度又は加速度を前記ユーザによる前記第1の投影対象物の取り扱いに係る所定物理量として検出することで、前記第1の投影対象物の取り扱い状況を検出する検出手段と、
前記取り扱い状況が所定条件を満たしたか否かを前記所定物理量に基づいて判定する判定手段と、
前記判定手段により肯定判定された場合に、前記第1の投影画像に関連付けられた第2の投影画像を第2の投影対象物に投影する制御を行う第2の投影制御手段と、
を備えた投影システム。 - 前記ユーザによる前記第1の投影対象物の取り扱い空間を撮影範囲に含むカメラ、
を更に備え、
前記検出手段は、前記カメラの撮影画像に基づいて前記所定物理量を検出する、
請求項9~11の何れか一項に記載の投影システム。 - 前記カメラは、前記取り扱い空間の上方から俯瞰して撮影する位置に設置されており、
前記検出手段は、前記撮影画像中の前記第1の投影対象物の画像部分に基づいて前記所定物理量を検出する、
請求項12に記載の投影システム。 - 前記第1の投影対象物は、前記ユーザが把持するための把持部と、前記第1の投影画像が投影される被投影部とを有し、
前記検出手段は、前記撮影画像中の前記被投影部の画像部分に基づいて前記所定物理量を検出する、
請求項13に記載の投影システム。 - 前記第1の投影制御手段によって制御される投影装置は、前記取り扱い空間の上方から前記第1の投影画像を投影する位置に設置されており、
前記第2の投影対象物は、前記取り扱い空間の底部固定位置に設けられ、
前記第2の投影画像は、前記第1の投影画像によって表される物体が落下した状態の画像である、
請求項12~14の何れか一項に記載の投影システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069604A JP7078221B2 (ja) | 2018-03-30 | 2018-03-30 | 投影システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018069604A JP7078221B2 (ja) | 2018-03-30 | 2018-03-30 | 投影システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179209A JP2019179209A (ja) | 2019-10-17 |
JP7078221B2 true JP7078221B2 (ja) | 2022-05-31 |
Family
ID=68278443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018069604A Active JP7078221B2 (ja) | 2018-03-30 | 2018-03-30 | 投影システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7078221B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7147314B2 (ja) * | 2018-07-19 | 2022-10-05 | セイコーエプソン株式会社 | 表示システム、及び、反射体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072071A (ja) | 2004-09-03 | 2006-03-16 | Japan Advanced Institute Of Science & Technology Hokuriku | 表示制御装置 |
JP2015087726A (ja) | 2013-11-01 | 2015-05-07 | シャープ株式会社 | 画像投影装置 |
JP2015210379A (ja) | 2014-04-25 | 2015-11-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
US20170223321A1 (en) | 2014-08-01 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Projection of image onto object |
JP2018018169A (ja) | 2016-07-25 | 2018-02-01 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2018036813A (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
-
2018
- 2018-03-30 JP JP2018069604A patent/JP7078221B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072071A (ja) | 2004-09-03 | 2006-03-16 | Japan Advanced Institute Of Science & Technology Hokuriku | 表示制御装置 |
JP2015087726A (ja) | 2013-11-01 | 2015-05-07 | シャープ株式会社 | 画像投影装置 |
JP2015210379A (ja) | 2014-04-25 | 2015-11-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像融合システム、情報処理装置、情報端末、および情報処理方法 |
US20170223321A1 (en) | 2014-08-01 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Projection of image onto object |
JP2018018169A (ja) | 2016-07-25 | 2018-02-01 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP2018036813A (ja) | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理システム、情報処理方法、およびプログラム |
WO2018042948A1 (en) | 2016-08-31 | 2018-03-08 | Sony Corporation | Information processing system, method of information processing, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2019179209A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9149716B2 (en) | Game apparatus and game program | |
US9983409B2 (en) | Stereoscopic display device and control method | |
EP2494432B1 (en) | Gesture-based user interface | |
US8405656B2 (en) | Method and system for three dimensional interaction of a subject | |
JP5813948B2 (ja) | プログラム及び端末装置 | |
JP6343718B2 (ja) | ジェスチャインタフェース | |
JP5238900B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
US20150312559A1 (en) | Display device, control method, and control program | |
JP5425940B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
JP7078221B2 (ja) | 投影システム | |
Bikos et al. | An interactive augmented reality chess game using bare-hand pinch gestures | |
CN101534916B (zh) | 游戏装置、游戏装置的控制方法 | |
US10076704B2 (en) | Game device | |
JP6738604B2 (ja) | プログラム及びゲーム装置 | |
JP5971816B2 (ja) | ゲーム装置及びプログラム | |
JP6385272B2 (ja) | 入力処理装置及びプログラム | |
JP2013154125A (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
CN109316739A (zh) | 一种游戏场景中的三维位置选取方法和装置 | |
JP2019162257A (ja) | 遠隔操作システム及びプログラム | |
JP5789771B2 (ja) | 操作入力装置、プログラム | |
JP5715583B2 (ja) | ゲーム装置及びプログラム | |
JP2012247953A (ja) | プログラム、情報記憶媒体、情報処理システム及び情報処理方法 | |
JP6779048B2 (ja) | ゲームの実行方法、プログラムおよび記録媒体 | |
JP5396432B2 (ja) | プログラム、情報記憶媒体、情報処理システム及び情報処理方法 | |
JP2022047565A (ja) | 職業訓練装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20190125 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190220 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190220 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20190222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7078221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |