JP5242762B2 - 画像再生装置、画像再生方法及びデータ構造 - Google Patents
画像再生装置、画像再生方法及びデータ構造 Download PDFInfo
- Publication number
- JP5242762B2 JP5242762B2 JP2011262051A JP2011262051A JP5242762B2 JP 5242762 B2 JP5242762 B2 JP 5242762B2 JP 2011262051 A JP2011262051 A JP 2011262051A JP 2011262051 A JP2011262051 A JP 2011262051A JP 5242762 B2 JP5242762 B2 JP 5242762B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- display
- pixel value
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Analysis (AREA)
Description
本発明の実施形態は、画像再生装置、画像再生方法及びデータ構造に関する。
従来、表示部に対する観察者の視点位置を取得して、視点位置と表示部とを結ぶ直線に沿った被写体からの光線に対応した所定の画素データを得ることで、表面が所定の形状とされた表示部に視点位置に対応した実写の画像を表示する表示装置がある。
しかしながら、上述した従来技術においては、視点位置に対応した実写の画像を表示させるものであり、画像の提供者が視聴者に対して3次元上の所望の位置に画像を配置して視聴させることができなかった。
そこで、本発明の実施形態は、一例として、画像の提供者が視聴者に対して3次元上の所望の位置に画像を配置して視聴させることを可能とする画像再生装置、画像再生方法及びデータ構造を得ることを目的の一つとする。
上述した課題を解決し、目的を達成するために、実施形態にかかる画像再生装置は、表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の3次元上の配置位置に関する配置情報とを含む画像データを取得する画像データ取得手段と、前記取得された視聴者の視点位置と、前記取得された配置位置とに基づいた位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、を備え、前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔に関する画素間距離情報を更に含み、前記画像データ取得手段は、前記画像データに含まれる前記画素間距離情報を取得し、前記画素値算出手段は、前記取得された画素間距離情報に応じた間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する。
また、実施形態の画像再生方法は、表示手段に画像を表示させる画像再生装置の画像再生方法であって、前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の3次元上の配置位置に関する配置情報とを含む画像データを取得する画像データ取得ステップと、前記取得された視聴者の視点位置と、前記取得された配置位置とに基づいた位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、を含み、前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔に関する画素間距離情報を更に含み、前記画像データ取得ステップは、前記画像データに含まれる前記画素間距離情報を取得し、前記画素値算出ステップは、前記取得された画素間距離情報に応じた間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する。
以下、添付図面を参照して実施形態にかかる画像再生装置、画像再生方法及びデータ構造を詳細に説明する。なお、本実施形態では映像再生装置として一般的なデジタルテレビジョン受信装置を例示するが、ハードディスクレコーダーやセットトップボックス等の機器であってもよいことは言うまでもないことである。
図1は、実施形態に係る画像再生装置1の内部構成を記録媒体203、ネットワークストレージ204、表示装置300及び音声出力装置400とともに示すブロック図である。図1に示すように、画像再生装置1は、チューナ装置21により受信した画像コンテンツおよびインタラクティブデータ等のデジタルデータを再生するデジタルテレビジョン受信装置である。また、画像再生装置1は、光ディスク等の記録媒体203が用いられ、記録媒体203に記録されているデジタル形式のデジタルデータを読取って画像コンテンツおよびインタラクティブデータを再生することができる。ここで、画像コンテンツ(以下、画像)には、例えば写真等の静止画像の他、映画やドラマなどの所定のフレームレートの動画像がある。
この画像は、表示装置300において継続して表示させる1つ(1枚又は一連)の画像であってもよいし、表示装置300において同時に表示される複数の画像であってもよい。本実施形態では、表示装置300において継続して表示させる個々の画像については、後述する配置位置に表示される。この際に、個々の画像については、表示装置300の表示領域に合わせて、表示できるサイズにリサイズ(縮小)するなどの画像処理は行われない(詳細は後述する)。
この画像を含む画像コンテンツデータ(以下、画像データ)としては、例えばJPEG形式、MPEG形式のデジタルデータであってよい。また、画像再生装置1は、インターネット202を介してネットワークストレージ204に接続し、ネットワークストレージ204からも画像データを取得して画像およびインタラクティブデータを再生可能な構成を有している。
画像再生装置1は、ハードディスクドライブ2、フラッシュメモリ(Flash Memory)3、ディスクドライブ4およびネットワークコントローラ5を有し、いずれもバス20に接続されている。ハードディスクドライブ2は、高速回転する磁気ディスクに画像データ等のデジタルデータを記録して、デジタルデータの読み書きを行う。フラッシュメモリ3には、画像データ等のデジタルデータが記憶されてデジタルデータの読み書きが行われる。ディスクドライブ4は、記録媒体203から画像データ等のデジタルデータを読み取り、再生信号を出力する機能を有している。ネットワークコントローラ5は、インターネット202を介してネットワークストレージ204との間で行われる画像データ等のデジタルデータの読み書きを制御する。
また、画像再生装置1は、MPU(Micro Processing Unit)6、メモリ部7、ROM部8およびビデオメモリ部9を有し、いずれもバス20に接続されている。MPU6は、ROM部8からメモリ部7に読み出された起動プログラムにしたがい起動され、また、プレイヤプログラムをROM部8からメモリ部7に読み出し、そのプレイヤプログラムにしたがってシステム初期化、他プログラムの制御、システム終了などを制御し、後述のシステムマイコン16を作動させる。さらに、MPU6は、後述するデータプロセッサ部10に対して、チューナ装置21により受信したデータ、記録媒体203、ネットワークストレージ204、ハードディスクドライブ2およびフラッシュメモリ3のいずれかから読み出される画像データ及びインタラクティブデータを用いて映像および音声を再生するように指示する。メモリ部7には、MPU6が作動する際に用いるデータやプログラムが記憶される。ROM部8には、起動プログラム、プレイヤプログラムといったMPU6が実行するプログラムや、各種設定が記述された設定情報81等の恒久的なデータが記憶されている。ビデオメモリ部9には、デコード(復調)された画像データが順次書き込まれる。
さらに、画像再生装置1は、画像や音声等のデジタルデータを表示装置300での表示や音声出力装置400での音声出力で再生させるためのデータプロセッサ部10、画像プロセッサ部34、オーディオプロセッサ部35を有し、そのほか、システムマイコン16および表示パネル17も有している。データプロセッサ部10は、バス20を介して入力するMPU6の指示に応じて動画音声再生プログラムを実行し、チューナ装置21により受信したデジタルデータ、記録媒体203、ネットワークストレージ204、ハードディスクドライブ2およびフラッシュメモリ3のいずれかから読み出されるデジタルデータを分離して画像データを画像プロセッサ部34に供給し、オーディオデータをオーディオプロセッサ部35へ供給する。
画像プロセッサ部34は、内部に記憶されたプログラムを順次実行することで、画像デコーダ11、画像処理部13、画像出力部14としての機能を有する。画像デコーダ11は、データプロセッサ部10から出力された画像データを復調(デコード)して、その復調した画像データを画像処理部13に出力する。画像処理部13は、画像デコーダ11から出力された画像データに画像処理を行なって、表示装置300の第1ディスプレイ301、第2ディスプレイ302…で表示させる画像データを生成する。画像出力部14は、画像処理部13で生成された画像データに対応した画像出力信号(ビデオ出力信号)を表示装置300の第1ディスプレイ301、第2ディスプレイ302…に出力する。これにより、画像出力部14は、画像処理部13で生成された画像データに対応した画像を表示装置300に表示させる。なお、画像処理部13の画像処理や表示装置300への画像出力の詳細については後述する。
表示装置300は、液晶ディスプレイやプロジェクタ等であり、画像出力部14から出力された画像出力信号をもとに画像を表示する。表示装置300が画像を表示する表示面、すなわち液晶ディスプレイのディスプレイ面やプロジェクタの投影面は、視聴者の正面に配置されるものだけでなく、視聴者の上方や背後に配置されてよく、さらに正面および上方の複数に配置されてよい。本実施形態では、視聴者Hの上方に第1ディスプレイ301、視聴者Hの正面に第2ディスプレイ302が配置されるものとする(図6参照)。なお、表示装置300における第1ディスプレイ301、第2ディスプレイ302は、図6に例示した平面形状のものだけでなく、曲面(例えば視聴者を覆うドーム型)形状のものであってもよい。また、表示装置300における第1ディスプレイ301、第2ディスプレイ302の配置位置、表示面の形状や画素配置等の表示装置300の設定にかかる情報は、予め設定情報81に記録されている。
オーディオプロセッサ部35は、内部に記憶されたプログラムを順次実行することで、オーディオデコーダ12、オーディオ出力部15としての機能を有する。オーディオデコーダ12は、データプロセッサ部10から出力されたオーディオデータを復調して復調オーディオデータとし、その復調オーディオデータをオーディオ出力部15へ出力する。オーディオ出力部15は出力された復調オーディオデータに対応したオーディオ出力信号を音声出力装置400に出力する。音声出力装置400は、アンプおよびスピーカなどであり、オーディオ出力部15より出力されたオーディオ出力信号をもとにした音声を出力する。
システムマイコン16は、画像およびインタラクティブデータの再生に関する様々な情報(再生情報)を表示パネル17へ表示させ、ユーザ入力装置18(リモートコントローラまたは画像再生装置1に備えられた操作ボタン等操作入力可能な装置)から入力される操作入力信号をバス20を介してMPU6に入力する。表示パネル17は、液晶表示パネルを有し、システムマイコン16の指示にしたがい、再生情報を液晶表示パネルに表示する。
また、画像再生装置1は、カメラ19、チューナ装置21を有し、いずれもバス20に接続されている。カメラ19は、第1ディスプレイ301、第2ディスプレイ302などの正面方向に向けて設置され、第1ディスプレイ301、第2ディスプレイ302より表示される画像を視聴する視聴者H(図6参照)を、MPU6の制御のもとで撮像するデジタルカメラである。チューナ装置21は、MPU6の制御のもと、アンテナ(図示しない)で受信したデジタルテレビジョン放送信号から、所望のチャンネルの放送信号を選局する。チューナ装置21は、選曲して得られた放送信号(デジタルデータ)をバス20を介してデータプロセッサ部10へ出力する。
次に、画像再生装置1が表示装置300へ表示するための画像データのデータ構造について説明する。図2は、実施形態にかかる画像データD3のデータ構成を示す図である。
図2に示すように、画像データD3には、データファイルの先頭を示すファイルヘッダD1と、画像データD3にかかる情報が格納される情報ヘッダD2を有する。画像データD3は、静止画像である場合は例えばビットマップデータなどであり、動画像である場合は所定のフレームレートで再生する静止画像群のデータである。情報ヘッダD2には、画像データD3にかかる情報として配置情報D21、画素間距離情報D22が追加されている。配置情報D21は、画像データD3の画像を視聴者Hに対して表示する際の、その視聴者Hに対する画像の3次元上の配置位置を示す情報である。画素間距離情報D22は、画像データD3の画像を視聴者Hに対して表示する際の、その画像の画素間の間隔を示す情報である。
具体的には、配置情報D21は、「SURFACEINFO」や「POSINFO」などの名称でタグ付された、画像の配置位置を示すパラメータである。例えば、「SURFACEINFO」には、3次元空間に画像を配置する際の面(画像面)を表す方程式(例えばax+by+cz=k)のパラメータa、b、c、kなどが含まれる。また、「POSINFO」には、「SURFACEINFO」で規定される画像面に画像を配置する際の、画像の基準点の座標(xB、yB、zB)、画像の向きを示すx軸方向単位ベクトル(xax、yax、zax)、画像の向きを示すy軸方向単位ベクトル(xay、yay、zay)などが含まれる。画像データD3の提供者は、配置情報D21における「SURFACEINFO」、「POSINFO」を設定することにより、画像データD3を3次元空間に配置する際の面(画像面)と、その画像面上における画像の配置位置、配置方向を指定できる。
また、画素間距離情報D22は、「PIXELGAP」などの名称でタグ付された、画像に含まれる画素間の距離を示すパラメータである。例えば、「PIXELGAP」には、「SURFACEINFO」や「POSINFO」等のパラメータと同じ単位系で、画素間の距離を示す画素間距離(g)が含まれる。なお、「PIXELGAP」のパラメータで用いる単位系は、「SURFACEINFO」や「POSINFO」と同一のものでなくとも、所定の単位変換処理で他のパラメータと合わせることができればよいものとする。画像データD3の提供者は、画素間距離情報D22における「PIXELGAP」を設定することにより、画像データD3を3次元空間に配置した画像の画素間の距離を指定できる。
次に、上述した画像データD3を表示装置300へ表示するための機能構成について説明する。図3は、実施形態にかかる画像再生装置1の機能構成を例示するブロック図である。
図3に示すように、画像処理部13は、画像データ取得部131、視点位置算出部132、表示画素値算出部133としての機能を有する。画像データ取得部131は、画像デコーダ11から出力された画像データD3と、その画像データD3に追加されているファイルヘッダD1、情報ヘッダD2を取得する。画像データ取得部131は、画像デコーダ11から出力されたデータの中で、画像データD3と、情報ヘッダD2に追加されている配置情報D21及び画素間距離情報D22を表示画素値算出部133へ出力する。なお、配置情報D21及びD22の表示画素値算出部133への出力は、所定の名称(「SURFACEINFO」、「POSINFO」、「PIXELGAP」等)でタグ付されているパラメータを情報ヘッダD2より抽出して行う。
視点位置算出部132は、カメラ19により撮像された視聴者Hの像をもとに、表示装置300の第1ディスプレイ301、第2ディスプレイ302に対する視聴者Hの視点位置を算出して取得する。具体的には、視点位置算出部132は、カメラ19により撮像された画像から人物(視聴者H)の顔画像を認識し、その顔画像の位置(目の位置)や大きさなどを識別することで、第1ディスプレイ301、第2ディスプレイ302に対する視聴者Hの視点位置(距離、3次元空間における座標位置)を算出する。なお、本実施形態では、カメラ19で視聴者Hを撮像した画像をもとに視聴者Hの視点位置を算出する構成を例示した。しかしながら、視聴者Hの視点位置については、赤外線線センサーなどで視聴者H及び視聴者Hの顔位置などを検出して行う場合や、ユーザ入力装置18のリモートコントローラ等による数値や方向の操作入力で行う場合であってもよい。視点位置算出部132は、算出して取得した視聴者Hの視点位置を表示画素値算出部133へ出力する。
表示画素値算出部133は、視点位置算出部132により取得された視聴者Hの視点位置と、画像データ取得部131により取得された配置情報D21、画素間距離情報D22とをもとに、配置情報D21が示す配置位置において、画素間距離情報D22が示す画素間距離で画像データD3が視聴者Hに対して表示されるように、画像データD3の画素に対応する表示装置300の第1ディスプレイ301、第2ディスプレイ302上の画素値を算出する。具体的には、表示画素値算出部133は、配置情報D21が示す3次元上の配置位置に画像データD3の画像を画素間距離情報D22が示す画素間隔で配置した際の、その画像の画素と、取得された視点位置とを結ぶ直線を算出する。そして、表示画素値算出部133は、算出した直線における第1ディスプレイ301、第2ディスプレイ302との交点にあたる画素の値を、直線の起点とした画像データD3の画素値をもとに算出する。
ここで、表示画素値算出部133における画素値の算出方法の詳細について、図4を参照して説明する。図4は、ディスプレイ画素PDの画素値を算出する様子を例示する概念図である。ここで、図4における画像面PHは、配置情報D21の「SURFACEINFO」が示す面である。また、画素PTは、「POSINFO」、「PIXELGAP」に従って画像面PH上に配置した画像データD3の画像の一画素であり、座標を(xT、yT、zT)とする。また、視点PVは、表示画素値算出部133により取得された視聴者Hの視点位置であり、座標を(xV、yV、zV)とする。また、ディスプレイ画素PDは、画素PTと、視点PVとを結んだ直線Lと、第1ディスプレイ301又は第2ディスプレイ302との交点にあたる画素であり、座標を(xD、yD、zD)とする。このディスプレイ画素PDにかかる座標については、上述した設定情報81に設定されている、第1ディスプレイ301、第2ディスプレイ302の配置位置、表示面の形状や画素配置等の表示装置300の設定にかかる情報を参照して得るものとする。
なお、「SURFACEINFO」、「POSINFO」、「PIXELGAP」のパラメータについては、上述した画像面PHを示すa、b、c、k、基準点(画像最右端点)の(xB、yB、zB)、y軸方向単位ベクトル(xax、yax、zax)、y軸方向単位ベクトル(xay、yay、zay)、画素間距離(g)とする。
表示画素値算出部133における画素値の算出では、視点PVから画像面PHを見た場合の第1ディスプレイ301又は第2ディスプレイ302のディスプレイ画素PDに設定されるべき画素値を求めればよい。視点PVとディスプレイ画素PDとを通る3次元空間上の直線Lが画像面PHと交わる点は画素PTであり、この画素PTの画素値をディスプレイ画素PDに表示する画素値として設定する。これにより、視点PVから画像面PHを見ているものと同じ画像を第1ディスプレイ301又は第2ディスプレイ302に表現することができる。ここで、画素PTの座標は、直線と平面の交点なので次の式(1)、(2)で算出する。
ここで、tが不定(つまりa(xD−xV)+b(yD−yV)+c(zD−zV)=0)の場合、直線Lと画像面PHが並行のため交点なしであることから、ディスプレイ画素PDに設定すべき画素値はなし(NODATA)とする。t<0の場合、視点PVから第1ディスプレイ301又は第2ディスプレイ302と反対側に交点が存在するため無効(NODATA)とする。この場合、NODATAとなった画素であり、後述する補間で画素値が求められない画素は、黒等の予め設定された画素値とする。
画素PT該当する画像データの画素(m、n)は、「POSINFO」、「PIXELGAP」を用いて次の式(3)を解くことで求める。
ここで、m、nについて連立方程式を解くと次の式(4)が得られる。
得られた式(4)をもとに、画像データD3の画素の画素値を第1ディスプレイ301又は第2ディスプレイ302のディスプレイ画素PDの画素値に設定する。なお、m、nが整数値でない場合等、画像データD3の画素を正確に指定できない場合には、近傍の画素値を利用して画素値を設定する。すなわち、m、nが整数値で指定され、画素PTと視点PVとを結ぶ直線Lにおける、第1ディスプレイ301又は第2ディスプレイ302との交点にあたる複数の画素値については、画像データD3の画素をそのまま適用し、その交点にあたる複数の画素の間にある画素の画素値については、近傍で算出された画素の画素値で補間する。これにより、画素に欠落のない画像を視聴者Hに提供できる。
表示画素値算出部133で算出された第1ディスプレイ301、第2ディスプレイ302における画素の画素値は、第1ディスプレイ301、第2ディスプレイ302に表示する画像の画像データとして、画像出力部14に出力される。画像出力部14では、表示画素値算出部133より出力された画像データに対応した画像出力信号(ビデオ出力信号)を生成して、表示装置300の第1ディスプレイ301、第2ディスプレイ302…に出力する。これにより、視聴者Hは、画像データD3の提供者が所望する3次元上の配置位置に配置された画像を見ることが可能となる。
図5は、実施形態にかかる画像再生装置1の動作を例示するフローチャートである。図5に示すように、画像データ取得部131は、画像デコーダ11から出力された画像データD3と、その画像データD3に追加されているファイルヘッダD1、情報ヘッダD2を取得する(S1)。そして、画像データ取得部131は、取得した画像データD3と、情報ヘッダD2に追加されている配置情報D21及び画素間距離情報D22を表示画素値算出部133へ出力する。
次いで、視点位置算出部132は、カメラ19により撮像された視聴者Hの像をもとに、表示装置300の第1ディスプレイ301、第2ディスプレイ302に対する視聴者Hの視点位置を算出して取得する(S2)。そして、視点位置算出部132は、算出して取得した視聴者Hの視点位置を表示画素値算出部133へ出力する。
次いで、表示画素値算出部133は、視点位置算出部132により取得された視聴者Hの視点位置と、画像データ取得部131により取得された配置情報D21、画素間距離情報D22とをもとに、画像データD3の画素に対応する表示装置300の表示画素値(第1ディスプレイ301又は第2ディスプレイ302のディスプレイ画素PDの画素値)を算出する(S3)。次いで、画像出力部14は、表示画素値算出部133により算出された表示画素値をもとに画像出力信号(ビデオ出力信号)を生成して表示装置300の第1ディスプレイ301、第2ディスプレイ302…に出力し、表示装置300へ画像を出力させる(S4)。
画像再生装置1では、上述したS1〜S4をループして行うことで、画像データD3の提供者が所望する3次元上の配置位置に配置された画像(例えば静止画像や動画像)を継続して視聴者Hに提供できる。なお、配置情報D21又は画素間距離情報D22の少なくとも一方は、時間の経過に従って変化する項(関数f(t))を含んでよい。配置情報D21又は画素間距離情報D22に時間の経過に従って変化する項を含む場合は、上述したS1〜S4をループして行うことで、時間の経過に従って変化する配置情報D21、画素間距離情報D22をもとに、画像データD3の画素に対応する表示装置300の表示画素値が表示画素値算出部133により算出される。これにより、時間の経過に従って、提供者が所望する配置位置に移動する画像を視聴者Hに提供できる。
図6は、視聴者Hが表示画像Gを視聴する様子を例示する概念図である。図6に示すように、表示画像Gは、提供者が所望する配置位置において、設定された画素間距離、すなわち提供者が所望するサイズで視聴者Hに提供されることとなる。すなわち、表示画像Gの提供者の意図しない縮小やトリミング等が行われることなく、表示画像Gの提供者が意図する表現(3次元空間における視聴者に対する配置位置、画像サイズ)で視聴者Hに表示画像Gを提供できる。また、視聴者Hの視点位置に応じて表示を追従させることができるため、臨場感のある表示画像Gを提供できる。
なお、本実施形態では、3次元空間に画像を配置する際の画像面(「SURFACEINFO」)を平面とする場合を例示したが、3次元空間に画像を配置する際の画像面は、曲面であってもよいことは言うまでもないことである。この場合は、「SURFACEINFO」として曲面を表すパラメータを設定すればよく、技術的な本質は平面の場合と同じである。また、画像面PH、画素PT、ディスプレイ画素PD、視点PV等の座標の取り方は、視点PV基準、ディスプレイ画素PD基準、画像面PH基準であってよい。例えば、視点PVからの相対座標を絶対座標に変換する、あるいは視点PVを絶対座標の原点と見立て、ディスプレイ画素PD及び画素PTが平行移動すると考えることで画素値の算出を行なってもよい。この場合は、視点PVが移動して追従させる場合の処理を、視点PVの移動に対応した平行移動として、画像の表示を追従させることができる。
なお、本実施形態の画像再生装置1で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態の画像再生装置1で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
なお、本実施形態の画像再生装置1で実行されるプログラムは、ROM等に予め組み込まれて提供される。本実施形態の画像再生装置1で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、本実施形態の画像再生装置1で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像再生装置1で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
本実施形態の画像再生装置1で実行されるプログラムは、上述した各部(画像データ取得部131、視点位置算出部132、表示画素値算出部133、画像出力部14)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
1…画像再生装置、2…ハードディスクドライブ、3…フラッシュメモリ、4…ディスクドライブ、5…ネットワークコントローラ、6…MPU、7…メモリ部、8…ROM部、9…ビデオメモリ部、10…データプロセッサ部、11…画像デコーダ、12…オーディオデコーダ、13…画像処理部、14…画像出力部、15…オーディオ出力部、16…システムマイコン、17…表示パネル、18…ユーザ入力装置、19…カメラ、20…バス、21…チューナ装置、34…画像プロセッサ部、35…オーディオプロセッサ部、81…設定情報、131…画像データ取得部、132…視点位置算出部、133…表示画素値算出部、202…インターネット、203…記録媒体、204…ネットワークストレージ、300…表示装置、301…第1ディスプレイ、302…第2ディスプレイ、400…音声出力装置、D1…ファイルヘッダ、D2…情報ヘッダ、D3…画像データ、D21…配置情報、D22…画素間距離情報、L…直線、H…視聴者、G…表示画像、PH…画像面、PT…画素、PD…ディスプレイ画素、PV…視点
Claims (8)
- 表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得手段と、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の3次元上の配置位置に関する配置情報とを含む画像データを取得する画像データ取得手段と、
前記取得された視聴者の視点位置と、前記取得された配置位置とに基づいた位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出手段と、
前記算出された画素値をもとに、前記取得された画像を前記表示手段に表示させる表示制御手段と、
を備え、
前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔に関する画素間距離情報を更に含み、
前記画像データ取得手段は、前記画像データに含まれる前記画素間距離情報を取得し、
前記画素値算出手段は、前記取得された画素間距離情報に応じた間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画像再生装置。 - 前記配置位置又は前記画素間の間隔の少なくとも一方は、時間の経過に従って変化し、
前記画素値算出手段は、前記時間の経過に従って変化する配置位置又は画素間の間隔をもとに、前記表示面上の画素値を算出する、
請求項1に記載の画像再生装置。 - 前記画素値算出手段は、前記配置情報が示す3次元上の配置位置に前記画像を配置した際の、当該画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある画素の画素値を、前記画像の画素値をもとに算出する、
請求項1又は2に記載の画像再生装置。 - 前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素の間にある画素の画素値を、当該画素の近傍で算出された画素の画素値で補間して算出する、
請求項3に記載の画像再生装置。 - 前記画素値算出手段は、前記画像の画素と、前記視点位置とを結ぶ直線における前記表示面との交点にある複数の画素、及び当該複数の画素の間にある画素以外の画素の画素値を、予め設定された画素値とする、
請求項3又は4に記載の画像再生装置。 - 前記画像は、前記表示手段に継続して表示させる1つの画像である、
請求項1乃至5のいずれか一項に記載の画像再生装置。 - 前記画像は、静止画像、又は所定のフレームレートの動画像である、
請求項1乃至6のいずれか一項に記載の画像再生装置。 - 表示手段に画像を表示させる画像再生装置の画像再生方法であって、
前記表示手段の表示面に対する視聴者の視点位置を取得する視点位置取得ステップと、
表示する画像と、当該画像を前記視聴者に表示する際の、当該視聴者に対する前記画像の3次元上の配置位置に関する配置情報とを含む画像データを取得する画像データ取得ステップと、
前記取得された視聴者の視点位置と、前記取得された配置位置とに基づいた位置に前記取得された画像が表示されるように、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画素値算出ステップと、
前記算出された画素値をもとに、前記表示面を有する表示手段に前記取得された画像を表示させる表示制御ステップと、
を含み、
前記画像データは、前記画像を前記配置位置に配置した際の、当該画像の画素間の間隔に関する画素間距離情報を更に含み、
前記画像データ取得ステップは、前記画像データに含まれる前記画素間距離情報を取得し、
前記画素値算出ステップは、前記取得された画素間距離情報に応じた間隔で配置された、前記取得された画像の画素に対応する前記表示面上の画素値を算出する画像再生方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262051A JP5242762B2 (ja) | 2011-11-30 | 2011-11-30 | 画像再生装置、画像再生方法及びデータ構造 |
EP12179970.4A EP2600625A1 (en) | 2011-11-30 | 2012-08-09 | Image reproducer, image reproduction method, and data structure |
US13/590,939 US20130135311A1 (en) | 2011-11-30 | 2012-08-21 | Image reproducer, image reproduction method, and data structure |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011262051A JP5242762B2 (ja) | 2011-11-30 | 2011-11-30 | 画像再生装置、画像再生方法及びデータ構造 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013114570A JP2013114570A (ja) | 2013-06-10 |
JP5242762B2 true JP5242762B2 (ja) | 2013-07-24 |
Family
ID=46704463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011262051A Expired - Fee Related JP5242762B2 (ja) | 2011-11-30 | 2011-11-30 | 画像再生装置、画像再生方法及びデータ構造 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130135311A1 (ja) |
EP (1) | EP2600625A1 (ja) |
JP (1) | JP5242762B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101944911B1 (ko) * | 2012-10-31 | 2019-02-07 | 삼성전자주식회사 | 영상 처리 방법 및 영상 처리 장치 |
US11785203B2 (en) * | 2019-03-19 | 2023-10-10 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4141620B2 (ja) * | 2000-07-04 | 2008-08-27 | 日本放送協会 | 立体物表示システム及びその受信装置 |
US7417664B2 (en) * | 2003-03-20 | 2008-08-26 | Seijiro Tomita | Stereoscopic image picking up and display system based upon optical axes cross-point information |
JP4406824B2 (ja) | 2003-08-21 | 2010-02-03 | ソニー株式会社 | 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
JP5376874B2 (ja) * | 2008-09-05 | 2013-12-25 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
JP4793451B2 (ja) * | 2009-01-21 | 2011-10-12 | ソニー株式会社 | 信号処理装置、画像表示装置、信号処理方法およびコンピュータプログラム |
CA2749583C (en) * | 2009-02-01 | 2016-01-12 | Lg Electronics Inc. | Broadcast receiver and 3d video data processing method |
EP2478706A1 (en) * | 2009-09-16 | 2012-07-25 | Koninklijke Philips Electronics N.V. | 3d screen size compensation |
KR101719981B1 (ko) * | 2010-07-13 | 2017-03-27 | 엘지전자 주식회사 | 3차원 컨텐츠를 출력하는 디스플레이 기기의 사용자 인터페이스 출력 방법 및 그 방법을 채용한 디스플레이 기기 |
-
2011
- 2011-11-30 JP JP2011262051A patent/JP5242762B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-09 EP EP12179970.4A patent/EP2600625A1/en not_active Withdrawn
- 2012-08-21 US US13/590,939 patent/US20130135311A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2013114570A (ja) | 2013-06-10 |
EP2600625A1 (en) | 2013-06-05 |
US20130135311A1 (en) | 2013-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6249202B2 (ja) | 画像表示装置、画像表示方法、およびプログラム | |
TWI520610B (zh) | 電視控制裝置與相關方法 | |
JP2018530950A (ja) | いつでもどこからでもビデオコンテンツを再生するための方法および装置 | |
US8457387B2 (en) | System and method for interactive environments presented by video playback devices | |
US8958686B2 (en) | Information processing device, synchronization method, and program | |
JP5371493B2 (ja) | 装置及び方法 | |
US20120242780A1 (en) | Image processing apparatus and method, and program | |
JP5517598B2 (ja) | 映像再生装置及びその制御方法 | |
US20080136937A1 (en) | Image processing apparatus, image processing method, and program | |
CN102239697A (zh) | 图像处理装置和方法及程序 | |
JP2014220724A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
TWI595408B (zh) | 電子元件及在其中進行操作的方法 | |
US20190098250A1 (en) | Information processing apparatus, imaging apparatus, information processing method, and recording medium | |
JP2006352539A (ja) | 広視野映像システム | |
US9111363B2 (en) | Video playback apparatus and video playback method | |
JP5242762B2 (ja) | 画像再生装置、画像再生方法及びデータ構造 | |
JP2006309661A (ja) | 画像再生装置及び画像再生プログラム | |
JP2013179563A (ja) | 映像処理装置、映像表示装置、映像記録装置、映像処理方法、および映像処理プログラム | |
US8717424B2 (en) | Display apparatus and recording medium for controlling playback of three-dimensional video based on detected presence of stereoscopic-viewing glasses | |
JP2014220722A (ja) | 表示制御装置、表示制御方法、およびプログラム | |
WO2019004073A1 (ja) | 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム | |
US9661217B2 (en) | Image capturing apparatus and control method therefor | |
KR20140106351A (ko) | 스마트 골프 스윙 분석장치 | |
JP4609711B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2005269342A (ja) | 記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130403 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |