JP5818322B2 - 映像生成装置、映像生成方法及びコンピュータプログラム - Google Patents
映像生成装置、映像生成方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP5818322B2 JP5818322B2 JP2012129303A JP2012129303A JP5818322B2 JP 5818322 B2 JP5818322 B2 JP 5818322B2 JP 2012129303 A JP2012129303 A JP 2012129303A JP 2012129303 A JP2012129303 A JP 2012129303A JP 5818322 B2 JP5818322 B2 JP 5818322B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- user
- image
- unit
- video generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、本発明における映像表示システムのシステム構成を示す図である。本発明の映像表示システムは、映像生成装置10、映像表示装置107及び音声出力装置108を備える。
映像生成装置10は、情報処理装置を用いて構成される。映像生成装置10は、ユーザ1の視点位置に応じた映像を生成する。また、映像生成装置10は、映像に応じた音声を生成する。
音声出力装置108は、スピーカー、ヘッドホン、イヤホン等の音声出力装置である。音声出力装置108は、映像生成装置10によって生成された音声を出力する。
ユーザ1は、映像表示装置107によって表示された映像を見ること、音声出力装置108によって出力された音声を聞くことが可能である。
以下、映像生成装置10の具体的な構成例(第一実施形態及び第二実施形態)について説明する。
図2は、映像生成装置10の第一実施形態(映像生成装置10a)の機能構成を表す概略ブロック図である。映像生成装置10aは、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、映像生成プログラムを実行する。映像生成プログラムの実行によって、映像生成装置10aは、受信部101、視点位置計測部102、映像生成部103、音声再生部104を備える装置として機能する。なお、映像生成装置10aの各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。また、映像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像生成プログラムは、電気通信回線を介して送受信されても良い。
視点位置計測部102は、ユーザ1の視点位置V(Vx、Vy、Vz)を計測する。視点位置計測部102は、例えばカメラによって撮影された映像を用いた顔認識及びステレオマッチングを用いて計測する。ユーザ1の視点位置Vは、例えば映像表示装置107の映像表示面に相当するディスプレイ面30(映像面)の中心を原点とした座標系で定義されても良い(以下、この定義にしたがって説明する)。
音声再生部104は、受信部101が受信した映像データに含まれる音声を再生し、音声出力装置108に出力する。
映像生成部103は、ディスプレイ面30に表示される映像を、以下のような想定の元で生成する。映像生成部103は、ディスプレイ面30を挟んでユーザ1と反対側に仮想映像面20を仮想的に設ける。仮想映像面20は、実在する面ではなく、映像生成部103の映像生成処理において想定される仮想的な面である。仮想映像面20の大きさは、ディスプレイ面30の大きさよりも大きい。仮想映像面20には、受信部101によって受信された映像データが表示される。図3では、映像データの具体例として、円形40、四角形50及び三角形60がそれぞれ中央、右側、左側に表示される映像を示す。ディスプレイ面30上に位置する座標C(Cx,Cy,Cz)には、ユーザ1の視点位置Vと座標Cとを結ぶ直線が仮想映像面20に交差する座標であるH(hx,、hy,hz)の映像が投影される。
図4は、ユーザ1がディスプレイ面30を正面から見ている状態を表す図である。符号20−1は、ディスプレイ面30に透視投影される仮想映像面20の映像範囲を示す。ディスプレイ面30には、仮想映像面20の中央部分に位置する映像範囲20−1の映像が透視投影変換される。ディスプレイ面30に透視投影変換された映像が、映像生成部103によって生成される映像である。すなわち、映像生成部103は、ユーザ1の視点位置Vに応じて、仮想映像面20の映像をディスプレイ面30に透視投影変換することによって映像を生成する。
図5に示されるように、ユーザ1がディスプレイ面30を左前方から見る場合、映像範囲20−1は右方向に移動する。すなわち、仮想映像面20に示される映像のうち右側の映像がディスプレイ面30に透視投影される。映像生成部103は、映像範囲20−1の映像をディスプレイ面30に透視投影変換することによって映像を生成する。その結果、映像30−1には、三角形60が表示されない。それに対して、四角形50は、正面から見た際に映像30−1には映らなかった右側部分まで表示される。
図6に示されるように、ユーザ1がディスプレイ面30を右前方から見る場合、映像範囲20−1は左方向に移動する。すなわち、仮想映像面20に示される映像のうち左側の映像がディスプレイ面30に透視投影される。映像生成部103は、映像範囲20−1の映像をディスプレイ面30に透視投影変換することによって映像を生成する。その結果、映像30−1には、四角形50が表示されない。それに対して、三角形60は、正面から見た際に映像30−1には映らなかった左側部分まで表示される。
まず、受信部101がネットワーク又は放送網を介して映像データを受信する(ステップS101)。視点位置計測部102は、ユーザ1の視点位置Vを計測する(ステップS102)。
映像生成部103は、視点位置計測部102が計測したユーザ1の視点位置Vに応じた映像を、透視射影変換を行うことによって、受信部101が受信した映像データに基づいて生成する(ステップS103)。
映像表示装置107は、映像生成部103が生成した映像を表示する。また、音声出力装置108は音声再生部104が再生した音声を出力する(ステップS104)。その後、ステップS101以降の処理を繰り返し実行する。
また、上述した処理により、ディスプレイ面30と仮想映像面20との間での運動視差を実現させることができる。そのため、映像表示装置107の映像表示面を介してその奥に広がる映像をのぞき込んで見るという仮想体験をユーザ1に提供することが可能となる。したがって、ユーザ1は、視覚的に窓一枚を挟んで映像上の風景が広がっているかのような臨場感を感じることができる。
受信部101が受信する映像データは、映像であればどのような映像であっても良い。受信部101が受信する映像データは、例えば2次元映像であっても良いし、立体視のために利用される2台のカメラ等で撮影された視差映像であっても良い。
視点位置計測部102がユーザ1の視点位置を計測する方法には、どのような方法が適用されても良い。視点位置計測部102がユーザ1の視点位置を計測する方法の具体例として以下のような方法がある。
a)光学式又は磁気式のモーショントラッキング技術を用いた方法
b)カメラのオートフォーカス機能によるフォーカス機能情報を取得し、ユーザ1の視点位置を計測する方法
c)ユーザ1の頭部又はユーザ1の身体の位置を計測し、計測された位置をユーザ1の視点位置として代替する方法
映像生成装置10は、記録媒体読出部をさらに備えるように構成されても良い。記録媒体読出部は、記録媒体に記録されている映像データを記録媒体から読み出す。記録媒体とは、例えばCD−ROM、DVD−ROMである。映像生成部103及び音声再生部104は、記録媒体読出部によって読み出された映像データに基づいて処理を行っても良い。
映像生成部103が映像を生成する方法として、上述した式1の変換方法以外の方法を用いて映像を生成してもよい。
映像表示装置107は、プロジェクタなどの投影機を用いて構成されても良い。ただしこの場合、映像が投影される投影面の位置がディスプレイ面30の位置となる。映像生成部103は、投影面の位置に関する情報を取得して映像を生成する。
映像生成装置10と映像表示装置107とが一体化して構成されても良い。映像生成装置10aの各機能部は、必ずしも一体で構成される必要はなく、複数の装置に分けて構成されても良い。
図8は、映像生成装置10の第二実施形態(映像生成装置10b)の機能構成を表す概略ブロック図である。映像生成装置10bは、バスで接続されたCPUやメモリや補助記憶装置などを備え、映像生成プログラムを実行する。映像生成プログラムの実行によって、映像生成装置10bは、受信部101、視点位置計測部102、判断部203、映像処理部204、映像生成部103、音声再生部104を備える装置として機能する。なお、映像生成装置10bの各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。また、映像生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、映像生成プログラムは、電気通信回線を介して送受信されても良い。
判断部203は、ユーザ1の視点位置Vが所定の条件を満たしたか否か判断する。所定の条件は、ユーザ1の視点位置Vがユーザ1にとって負担となっている位置であることを示す条件である。例えば、最初に検出された視点位置(初期視点位置V0(Vx0,Vy0,Vz0))から所定の時間の間、ユーザ1の視点位置Vが所定の距離以上移動したままの状態である場合、判断部203は所定の条件が満たされたと判断しても良い。なお、所定の距離は、X軸方向、Y軸方向、Z軸方向それぞれ異なる値として設定されても良い。
図9〜11は、仮想映像面20の移動の具体例を表す図である。図9〜11に示す仮想映像面20の移動は、初期視点位置V0がディスプレイ面30の正面に位置し(例えば図4の視点位置V)、その後に視点位置Vが所定の時間の間所定の距離以上右側に移動したままの状態である場合に行われる移動である。
判断部203は、ユーザ1の視点位置Vが、任意の時間の間、初期視点位置V0から閾値S以上移動したままであるという条件を満たしたか否かを判断する。映像処理部204は、条件が満たされたと判断した場合、仮想映像面20を平行移動させる値M(Mx、My、Mz)(以下、移動値Mとする)を算出する。移動値Mは、ユーザ1の初期視点位置V0とユーザ1の視点位置Vと、ディスプレイの横もしくは縦の長さS、仮想映像面20とディスプレイ面30との間の距離Dと、を用いて式2のように表される。
まず、受信部101がネットワーク又は放送網を介して映像データを受信する(ステップS201)。視点位置計測部102は、ユーザ1の初期視点位置V0を計測する(ステップS202)。映像処理部204は、初期視点位置V0を記憶する。映像生成部103は、受信部101が受信した映像データと初期視点位置V0とに基づいて透視投影変換を行い映像を生成する(ステップS203)。
判断部203は、ユーザ1の視点位置Vが所定の条件を満たしているか否か判断する。例えば、判断部203は、視点位置Vが、任意の時間の間、初期視点位置V0から閾値S以上移動したままであるか否か判断する(ステップS206)。
また、ユーザ1の視点位置Vが初期視点位置V0から大きく移動したままである場合、仮想映像面20が平行移動される。移動後は、ユーザ1が見たいと推定される範囲の映像を、ユーザ1の視点位置Vが初期視点位置V0付近に位置する状態で見ることができるように映像が生成される。一般的に、ユーザはリラックスした状態(映像表示装置107を見やすい体の状態)で映像を見始める。そのため、初期視点位置V0付近に視点位置Vが位置する場合、ユーザ1はリラックスした状態であると想定できる。したがって、第二実施形態によれば、ユーザ1はリラックスした状態で所望の映像を視聴することができる。
視点位置計測部102が計測するユーザ1の初期視点位置は、ユーザ1によって映像生成装置10の電源が投入された際にカメラ及びセンサの映像を用いて決定されても良い。
映像生成装置10bは、映像生成装置10aの構成を備えている。そのため、映像生成装置10bは、映像生成装置10aと同様の変形を行っても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
Claims (4)
- 映像表示部に表示される映像を生成する映像生成装置であって、
ユーザの位置を計測する計測部と、
所定の条件が満たされた場合に、前記映像表示部の映像表示面に相当する映像面を挟んで前記ユーザの位置と反対側に位置する仮想映像面に投影されている映像において前記ユーザが第1の位置で注目している映像が、第2の位置で視聴可能となる位置に前記仮想映像面を移動させる映像処理部と、
前記計測部によって計測されたユーザの位置と、前記仮想映像面とに基づいて、前記ユーザの位置に応じた映像を生成する映像生成部と、
を備える映像生成装置。 - 前記映像生成部は、前記仮想映像面に投影されている映像を、前記ユーザの位置に応じて前記映像面に投影変換することによって、前記映像を生成する、請求項1に記載の映像生成装置。
- 映像表示部に表示される映像を生成する映像生成方法であって、
ユーザの位置を計測する計測ステップと、
所定の条件が満たされた場合に、前記映像表示部の映像表示面に相当する映像面を挟んで前記ユーザの位置と反対側に位置する仮想映像面に投影されている映像において前記ユーザが第1の位置で注目している映像が、第2の位置で視聴可能となる位置に前記仮想映像面を移動させる映像処理ステップと、
前記計測ステップによって計測されたユーザの位置と、前記映像処理ステップによって移動させた前記仮想映像面とに基づいて、前記ユーザの位置に応じた映像を生成する映像生成ステップと、
を有する映像生成方法。 - 映像表示部に表示される映像を生成する映像生成方法をコンピュータに実行させるためのコンピュータプログラムであって、
ユーザの位置を計測する計測ステップと、
所定の条件が満たされた場合に、前記映像表示部の映像表示面に相当する映像面を挟んで前記ユーザの位置と反対側に位置する仮想映像面に投影されている映像において前記ユーザが第1の位置で注目している映像が、第2の位置で視聴可能となる位置に前記仮想映像面を移動させる映像処理ステップと、
前記計測ステップによって計測されたユーザの位置と、前記映像処理ステップによって移動させた前記仮想映像面とに基づいて、前記ユーザの位置に応じた映像を生成する映像生成ステップとをコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012129303A JP5818322B2 (ja) | 2012-06-06 | 2012-06-06 | 映像生成装置、映像生成方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012129303A JP5818322B2 (ja) | 2012-06-06 | 2012-06-06 | 映像生成装置、映像生成方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013254338A JP2013254338A (ja) | 2013-12-19 |
JP5818322B2 true JP5818322B2 (ja) | 2015-11-18 |
Family
ID=49951796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012129303A Active JP5818322B2 (ja) | 2012-06-06 | 2012-06-06 | 映像生成装置、映像生成方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5818322B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610535B2 (ja) * | 2014-04-10 | 2019-11-27 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2016066918A (ja) * | 2014-09-25 | 2016-04-28 | 大日本印刷株式会社 | 映像表示装置、映像表示制御方法、及びプログラム |
JP6963399B2 (ja) * | 2017-03-16 | 2021-11-10 | 株式会社スクウェア・エニックス | プログラム、記録媒体、画像生成装置、画像生成方法 |
JP7073481B2 (ja) * | 2018-03-08 | 2022-05-23 | 塁 佐藤 | 画像表示システム |
WO2024095356A1 (ja) * | 2022-11-01 | 2024-05-10 | 株式会社バーチャルウインドウ | グラフィックス生成装置、グラフィックス生成方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5439281B2 (ja) * | 2010-05-27 | 2014-03-12 | エヌ・ティ・ティ・コムウェア株式会社 | ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム |
-
2012
- 2012-06-06 JP JP2012129303A patent/JP5818322B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013254338A (ja) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10574889B2 (en) | Information processing device, information processing method, and program | |
JP5992210B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
JP4926916B2 (ja) | 情報処理装置、情報処理方法、およびコンピュータプログラム | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
JP5818322B2 (ja) | 映像生成装置、映像生成方法及びコンピュータプログラム | |
US9418436B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US10664128B2 (en) | Information processing apparatus, configured to generate an audio signal corresponding to a virtual viewpoint image, information processing system, information processing method, and non-transitory computer-readable storage medium | |
CN105939497B (zh) | 媒体串流系统及媒体串流方法 | |
WO2015194075A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017208676A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JP6126272B1 (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JPWO2018168823A1 (ja) | 画像処理装置および電子機器 | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
JPWO2016158119A1 (ja) | 医療用観察装置、情報処理方法、プログラム、及びビデオ顕微鏡装置 | |
US10902554B2 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
JPWO2016158184A1 (ja) | 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置 | |
KR20150031662A (ko) | 동영상 장치 및 그것의 동영상 생성 및 재생 방법 | |
JPWO2014155961A1 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
JP6314321B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
JP2017208809A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JP5779140B2 (ja) | 映像生成システム及び映像生成方法 | |
JP2020005150A (ja) | 録画再生装置及びプログラム | |
US20240089688A1 (en) | Processing of audio data | |
US20220044351A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5818322 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |