JP5647813B2 - 映像提示システム、プログラム及び記録媒体 - Google Patents
映像提示システム、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP5647813B2 JP5647813B2 JP2010109881A JP2010109881A JP5647813B2 JP 5647813 B2 JP5647813 B2 JP 5647813B2 JP 2010109881 A JP2010109881 A JP 2010109881A JP 2010109881 A JP2010109881 A JP 2010109881A JP 5647813 B2 JP5647813 B2 JP 5647813B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic data
- image
- presentation system
- processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
<システム構成>
本発明の第1の実施形態を図1〜図8に基づいて説明する。図1は映像と音声を双方向通信できる本発明に係る映像提示システムの第1の実施形態を模式的に示す図である。広域のネットワーク6より先の遠隔地にも同じ映像提示システムが設置されており、遠隔の映像提示システム間で、映像と音声を使ったコミュニケーションをリアルタイムに行うことができる。
計算機4には、遠隔地の利用者の映像7、及び遠隔地の相手と一緒に作業を行っている電子データ8を表示する液晶ディスプレイなどの表示装置1と、遠隔地の音声を再生する音声再生装置3とが接続される。計算機4は、遠隔地から伝送された映像と音声の情報を受け取り、表示装置1と音声再生装置3に映像や音声を提示するためのものである。
また、計算機4には、キーボードなどの操作装置5が接続されており、利用者が本発明の特徴である作業形態等の情報を入力し、システムを制御することが可能である。計算機4は、ネットワーク6を介して、遠隔地の同一の画像提示システムと繋がっており、映像や音声の送受信を行うことができる。利用者9はこの画像提示システムを利用することで、遠隔地に設置された同システムの利用者とリアルタイムに電子データ8を見ながらコミュニケーションを行うことができる。
(システムブロック図の基本処理の説明)
計算機4の内部で行われる基本の処理について、図2のブロック図を用いて説明する。図2において、広域のネットワーク6より左側が上記利用者9の側を示し、右側が遠隔地の側を示している。
利用者9側の画像提示システムにおける送信機能についてはじめに説明する。カメラやマイクで構成されるマルチメディア情報取得装置2で取得された映像と音声の信号は、映像・音声処理装置41の内部にある送信装置16に取り込まれる。映像・音声処理装置41は、図1の計算機4と等価な装置である。ここでは、映像信号は送信装置16内の映像処理装置(送信側)21に入力され、音声信号は音声処理装置(送信側)22に入力され、遠隔地に送信するための信号処理が施された後に、外部に出力され、広域のネットワーク6を経由して遠隔地に伝送される。
映像・音声処理装置41について図3のブロック図を用いて具体的に説明する。但し、音声処理については、支障がない限り説明を省略する。以下、上記利用者9が使用する画像提示システムにおいて、撮影された利用者の撮像画像に作業で扱う電子データを合成(重畳)した映像を遠隔地に伝送する流れと、遠隔地から送られてきた映像を受信して表示するまでの流れについて説明する。もう一方の遠隔地側の流れについては、利用者9のシステムと同じであるため説明は省略する。
CPU29から撮影画像に電子データを合成処理するように指示された場合、画像重畳部27は、画像メモリ26から入力される撮像画像に、電子データ加工部28から入力される電子データを合成処理し、送信制御部32に結果を出力する。一方、CPU29によって、合成処理を行なわないように指示された場合には、画像メモリ26から入力される撮像画像をそのまま送信制御部32に出力する。
LUT31から電子データを加工するための加工情報が出力されるまでの処理について順に説明する。始めに、操作装置5の入力操作によって指定された利用形態を示す情報を、CPU29がLUT31を制御するための信号に変換する。利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めたものである。このような利用形態としてはその内容によって様々な形態が存在するが、ここでは実際の場面でよく行われていて、比較的重要な利用形態を用いる。図4を用いて、3つの具体的な利用形態について説明する。
LUT31では、CPU29から入力される利用者選択信号Sinから、適切に電子データを加工するための加工情報を、変換テーブルを用いて抽出し、電子データ加工部28に出力する。電子情報加工のための加工情報は、例えば、電子データを合成するために必要な3次元位置と角度の情報である。
電子データdに与えられる位置情報と角度情報とからその電子データdを空間内に正しく配置するために、図7を用いて座標軸の定義を行う。座標軸の原点oを利用者のディスプレイの中心とし、ディスプレイ面fに向かって右手方向がX軸の正の向き、上側がY軸の正の向き、ディスプレイ面fの奥の方向がZ軸の正の向きとする。以下、原点oを中心としたこの座標系をワールド座標系と呼び、基準の座標系とする。
一方、利用者らを撮影する撮影装置(カメラ)2aは撮影装置固有の座標系を有しているため、そのままでは上記ワールド座標系に配置された電子データと実写した撮影画像とを合成することはできない。そのため、撮影装置固有のカメラ座標系を、ワールド座標系に変換する必要がある。ワールド座標系への変換方法については図8を用いて説明する。
具体的に、X軸周りの回転θx、Y軸周りの回転θy、Z軸周りの回転θzを示す変換行列は、それぞれ以下のようになる。
表示装置1の枠を含めた高さをν、幅をhとすると、撮影装置2aはディスプレイ中心oからν/2上側に設置されている。また、ディスプレイ中心oから手前方向に向かったZw軸のマイナス方向の軸を便宜上−Zw軸と呼ぶと、撮影装置2aの光学系の光軸は、−Zw軸に平行な軸40に対して下向きにθx傾いている。ワールド座標系と撮影装置固有のローカル座標系がこのような関係にあるとすると、ローカル座標系上の点(Xc,Yc,Zc)からワールド座標系上の点(Xw,Yw,Zw)への変換は式(式4)によって実現できる。
=(Xc,Yc,Zc,1)・rot(180−θx)・shiftXYZ(0,ly,0)
・・・(4)
そこで本発明に係る実施形態では、上記撮影装置で撮影されたローカル座標系を新たに基準座標系と定義し直し、ワールド座標系から基準座標系に変換しなおす。変換は、上記式(4)とは反対の変換を行えばよく、以下のように行うことができる。
=(Xw,Yw,Zw,1)・rotX(−180+θx)・shiftXYZ(0,−ly,0)
・・・(5)
任意の視点を合成して生成する技術の詳細については説明を行わないが、例えば公知技術解説文献「自由視点映像技術」映像メディア学会誌Vol.60,No.1(2006)に記載のように、複数の撮影装置で撮影された映像から光線空間を構築し、仮想的な視点の映像を生成する技術を応用することも可能である。
一般的な3DCGレンダリング技術では、画像供給源より供給される3次元位置を持った複数の平面画像を仮想的な3次元空間内に配置することでシーンが形成され、上記算出された基準座標系において想定する利用者位置から見た映像を生成することができる。この利用者位置に設置された仮想的なカメラよって3次元空間に再現されたシーンが撮影され、その後表示装置に表示するためのビュー変換処理によって想定する観察者位置から見た画像を切り出して提示することができる。
利用者は、表示装置1に提示される遠隔地の撮像画像と選択された利用形態に合わせた位置と角度に調整された電子データを見ると、その利用形態に合うように適切な位置に移動しコミュニケーションを行うことができる。これは、通常のフェイスツーフェイスの作業でも、特に意識することなく行われており、適切な位置関係で作業することが作業効率を高められることを潜在的・経験的に認知しているためである。利用者自信が備えているこの能力を活用することで、本発明の画像提示システムを補完することができる。
本発明の第2の実施の形態を図9〜図13に基づいて説明する。上記第1の実施例では、利用者が操作装置5を用いて作業形態を入力する必要がある。本実施例では、利用者の位置を検出する3次元位置計測装置を導入することで、お互いの利用者の位置関係から適切な利用形態を計算機で推定し、その推定結果に基づいて電子情報を適切に合成表示することができる。
本実施形態では、利用者の3次元位置をリアルタイムに計測する3次元位置計測装置が追加されていることが、第1の実施形態と異なる点である。具体的には、3次元位置計測装置として、利用者9の頭に装着される磁場を計測するセンサ52と、磁場を発生させる磁場発生器51とが追加されている。センサ52と磁場発生器53はそれぞれ、計算機4に接続されており、リアルタイムに利用者の3次元位置を測定することができる。
また、計算機4で行われるシステムの基本処理である図2とその説明については第1の実施形態と同一である。
本実施形態では、形態推定部54は、3次元位置計測装置53による利用者の位置計測情報に従って利用形態を推定し、電子データの加工情報の抽出に使用する利用形態を決定する。従って本実施形態では、形態推定部54が本発明の利用形態決定部に該当する。
利用形態の推定方法について、図13のフローチャートを用いて説明する。S1において、3次元位置計測装置53を用いて利用者の3次元位置を計測する。S2では、S1で計測された利用者の位置より、お互いの利用者の相対的な位置関係を算出する。相対的な位置関係の算出は、上記第1の実施形態と同様に基準座標系に基づいて行う。但し、双方それぞれに基準座標系が存在するため、擬似的に図11に示すようにお互いの空間が接続しているものとして、片方の座標系をベースに考える。
(XA,YA,ZA)=(−XB,YB,−ZB) ・・・(9)
このように利用者の位置関係から利用形態を求め、その利用形態によって電子データの合成位置を制御することの利点は、利用者の直接の位置関係から電子データの合成位置を制御する場合に比べて、電子データの合成位置をより安定させることが可能になる。後者の方法では、利用者が動く度に電子データの合成位置が変わってしまい、視認性を低下させる問題がある。
本発明は、上記第1または第2の実施形態の画像提示システムの機能を実現するプログラムとして実施することができる。また、このプログラムをコンピュータ読み取り可能に記録した記録媒体として実施することができる。
本実施形態のプログロムは、利用者に取って解釈しやすい利用形態から適切な角度と位置になるように電子データを実写された撮像画像に合成し、提示することで、遠隔地間の実作業に適したコミュニケーションを実現するための映像を生成する方法をソフトウエア処理として実行することができる。この結果、一般利用者にとって理解しにくい3次元的な位置関係を考慮することなく、解釈しやすい利用形態を利用者に選択させるだけで、適切な位置と角度に電子データを合成表示することが可能になる。
Claims (7)
- 撮影装置によって取得された撮影画像を入力し、該入力した撮影画像に、画像として生成された電子データを加工して合成し、該合成した画像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした画像提示システムであって、
該画像提示システムの利用形態を、利用者が実空間で行う状況を想定した作業を類型化して予め定められた利用形態の中から決定する利用形態決定部と、
前記利用形態決定部で決定可能な利用形態に対応させて、撮影画像に電子データを合成する際の前記電子データの配置状態を指定する情報を含む加工情報を予め保持する加工情報保持部と、
前記利用形態決定部により決定された利用形態に基づいて、前記加工情報保持部から前記加工情報を取得し、該加工情報に基づき前記撮影画像に合成すべき電子データを加工する電子データ加工部と、
前記電子データ加工部で加工された電子データと、前記撮影画像とを合成する合成部とを有し、該合成部で合成された映像を送信することを特徴とする画像提示システム。 - 利用者による操作入力を受け付ける操作装置を有し、
前記利用形態決定部は、前記操作装置に対する利用者の入力操作に従って、前記画像提示システムの利用形態を決定することを特徴とする請求項1に記載の画像提示システム。 - 画像提示システムを利用する利用者の3次元上の位置を計測する3次元位置計測装置を有し、
前記利用形態決定部は、前記3次元位置計測装置で計測された利用者の位置情報と、遠隔の他の画像提示システムで計測された利用者の位置情報とに従って、前記画像提示システムの利用形態を決定することを特徴とする請求項1に記載の画像提示システム。 - 前記加工情報保持部は、前記利用形態と、前記電子データを加工するために必要な情報とを対応付けた変換テーブルであることを特徴とする請求項1〜3のいずれか1に記載の画像提示システム。
- 前記電子データを加工するために必要な情報は、前記撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、
前記配置状態を指定する情報を用いて電子データを加工することにより、前記撮像画像内に前記電子データが指定された状態で配置された合成画像が得られることを特徴とする請求項1〜4のいずれか1に記載の画像提示システム。 - コンピュータに、請求項1〜5のいずれか1の画像提示システムの機能を実現させるためのプログラム。
- 請求項6に記載のプログラムをコンピュータ読み取り可能に記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010109881A JP5647813B2 (ja) | 2010-05-12 | 2010-05-12 | 映像提示システム、プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010109881A JP5647813B2 (ja) | 2010-05-12 | 2010-05-12 | 映像提示システム、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011238085A JP2011238085A (ja) | 2011-11-24 |
JP5647813B2 true JP5647813B2 (ja) | 2015-01-07 |
Family
ID=45325981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010109881A Expired - Fee Related JP5647813B2 (ja) | 2010-05-12 | 2010-05-12 | 映像提示システム、プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5647813B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6374203B2 (ja) * | 2014-04-04 | 2018-08-15 | 株式会社日本総合研究所 | 表示システム及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3660198B2 (ja) * | 1999-04-16 | 2005-06-15 | 日本電信電話株式会社 | 3次元共有仮想空間表示方法、3次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体 |
JP2001307138A (ja) * | 2000-04-27 | 2001-11-02 | Interrobot Inc | コミュニケーション場の生成システム |
JP3466143B2 (ja) * | 2000-09-07 | 2003-11-10 | 東平 新田 | 外国語修得のための分散仮想環境コンピュータシステム |
JP2003009108A (ja) * | 2001-06-26 | 2003-01-10 | Minolta Co Ltd | 画像通信システム、画像通信装置、および画像通信方法 |
JP4077656B2 (ja) * | 2002-05-02 | 2008-04-16 | 日本放送協会 | 発言者特定映像装置 |
JP2004329696A (ja) * | 2003-05-09 | 2004-11-25 | Nintendo Co Ltd | ゲームシステムおよびゲームプログラム |
TW201141226A (en) * | 2010-05-04 | 2011-11-16 | Utw Technologies Corp | Virtual conversing method |
-
2010
- 2010-05-12 JP JP2010109881A patent/JP5647813B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011238085A (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2888943C (en) | Augmented reality system and method for positioning and mapping | |
JP4115117B2 (ja) | 情報処理装置および方法 | |
JP5093053B2 (ja) | 電子カメラ | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
JP2004062756A (ja) | 情報提示装置および情報処理方法 | |
JP2006209664A (ja) | システム、画像処理装置、情報処理方法 | |
WO2020084951A1 (ja) | 画像処理装置および画像処理方法 | |
US20230298280A1 (en) | Map for augmented reality | |
JP4406824B2 (ja) | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム | |
US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
JP2011035638A (ja) | 仮想現実空間映像制作システム | |
EP3665656B1 (en) | Three-dimensional video processing | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2006012042A (ja) | 画像生成方法及び装置 | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
JP2015170232A (ja) | 情報処理装置、その制御方法、及びプログラム | |
JP5647813B2 (ja) | 映像提示システム、プログラム及び記録媒体 | |
JP6091850B2 (ja) | テレコミュニケーション装置及びテレコミュニケーション方法 | |
JP5326816B2 (ja) | 遠隔会議システム、情報処理装置、及びプログラム | |
KR20190059711A (ko) | 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법 | |
JP2005251118A (ja) | 画像処理方法、画像処理装置 | |
JP5200141B2 (ja) | 映像提示システム、映像提示方法、プログラム及び記録媒体 | |
US20240036791A1 (en) | Information processing apparatus, information processing method, and non-transitory recording medium | |
JP7479978B2 (ja) | 内視映像表示システム、内視映像表示装置及び内視映像表示方法 | |
KR20190118803A (ko) | 입체영상 생성 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141021 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5647813 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |