JP5111739B2 - Texture display device - Google Patents
Texture display device Download PDFInfo
- Publication number
- JP5111739B2 JP5111739B2 JP2005139707A JP2005139707A JP5111739B2 JP 5111739 B2 JP5111739 B2 JP 5111739B2 JP 2005139707 A JP2005139707 A JP 2005139707A JP 2005139707 A JP2005139707 A JP 2005139707A JP 5111739 B2 JP5111739 B2 JP 5111739B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- time
- viewpoint position
- series
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、対象物を異なる視点から見たときの画像を、実物をその視点から見たときと同様の質感で表示する質感表示装置に関する。対象物としては、例えば、絵画などが挙げられる。 The present invention relates to a texture display device that displays an image when an object is viewed from a different viewpoint with the same texture as when an actual object is viewed from that viewpoint. Examples of the object include a painting.
従来の質感表示装置は、立体構造物とそれに描かれた図柄の色を、実物の物とほぼ同様の質感で表示させるために、立体構造物への照射角度と観測角度の選択と、立体構造物の材質の選択とを受け付ける。そして、従来の質感表示装置は、その受け付けた情報に基づいて、合成情報で表す立体構造体と図柄の各部分の分光反射率を、色見本データベースで記憶する色見本情報から特定する。 In order to display the color of the three-dimensional structure and the pattern drawn on it with the same texture as the actual object, the conventional texture display device selects the irradiation angle and observation angle on the three-dimensional structure, and the three-dimensional structure. The selection of the material of the object is accepted. Then, based on the received information, the conventional texture display device specifies the spectral reflectance of each part of the three-dimensional structure represented by the composite information and the pattern from the color sample information stored in the color sample database.
さらに、従来の質感表示装置は、特定したその色見本情報と合成情報とを含む質感表現情報を作成する。そして、従来の質感表示装置は、質感表現情報を元に、端末の表示部に表示できる色の特性に合わせた表示情報を作成し、表示情報を端末の表示部に表示する(例えば、特許文献1参照)。また、上記と同様の考えに基づく実験結果も示されている(例えば、非特許文献1参照)。 Further, the conventional texture display device creates texture expression information including the specified color sample information and synthesis information. Then, the conventional texture display device creates display information that matches the characteristics of the colors that can be displayed on the display unit of the terminal based on the texture expression information, and displays the display information on the display unit of the terminal (for example, Patent Literatures). 1). Moreover, the experimental result based on the same idea as the above is also shown (for example, refer nonpatent literature 1).
しかしながら、従来技術には次のような課題がある。従来の質感表示装置では、立体構造物への照射角度、観測角度、材質の選択をその都度実施し、それに応じた質感表現情報を合成するため、視点を移動する度に膨大な演算を行う必要があった。また、視点の移動は、リアルタイムで行われるが、上記の膨大な演算をリアルタイムで実施するためには大規模な演算処理ユニットを必要としている。 However, the prior art has the following problems. In conventional texture display devices, it is necessary to perform enormous calculations each time the viewpoint is moved in order to select the irradiation angle, observation angle, and material of the three-dimensional structure each time and synthesize texture expression information accordingly. was there. Moreover, although the viewpoint is moved in real time, a large-scale arithmetic processing unit is required to perform the enormous calculation in real time.
処理量が膨大であることは、上述の特許文献1において、454画素×380ラインの画像を一枚処理するために15〜50ms必要であることから、実用上で鑑賞に耐えうる解像度、例えば2000画素×2000ライン程度の画像を処理する場合、リアルタイム処理が困難であることは、容易に想像がつく。
The enormous amount of processing means that, in the above-mentioned
本発明は上述のような課題を解決するためになされたもので、質感表示を行う際に、大きな演算処理を必要としない質感表示装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a texture display device that does not require large arithmetic processing when performing texture display.
本発明に係る質感表示装置は、対象物を異なる複数の視点位置から見たときの画像を、複数の視点位置のそれぞれから実物を見たときと同様の質感で表示する質感表示装置であって、複数の視点位置は、所定の順序で規定される順番で時系列化することで所定の時系列順に並べられ、他の視点位置とは独立に符号化された画像圧縮データを有する第1グループの視点位置と、時系列として1つ手前の視点位置との差分を符号化した画像圧縮データを有する第2グループの視点位置とに分けられ、第1グループの視点位置をアクセスポイントと定義すると、あるアクセスポイントの後に第2グループの視点位置が1以上続くように、第1グループの視点位置と第2グループの視点位置とが混在して所定の時系列順に並べられており、第1グループの視点位置と第2グループの視点位置とが混在してなる所定の時系列順に並べられた複数の視点位置と、複数の視点位置に対応するそれぞれの画像圧縮データとを関連づけることで、時系列化された一連の動画像圧縮データとして記憶する記憶部と、複数の視点位置の中から対象物を鑑賞する視点位置を位置情報として特定する視点位置検出部と、特定された位置情報に対応する視点位置を、記憶部に所定の時系列順で記憶されている複数の視点位置の中から抽出することで、特定された位置情報に対応する一連の動画像圧縮データの時刻を決定する座標・時刻変換部と、記憶部に記憶された一連の動画像圧縮データに基づいて、決定された時刻に対応する視点位置が、第1グループの視点位置である場合には、時刻に対応して記憶部に記憶されている画像圧縮データを復号することで、座標・時刻変換部で決定された時刻に対応した画像を生成し、決定された時刻に対応する視点位置が、第2グループの視点位置である場合には、時刻に対応する視点位置の直前のアクセスポイントを検出し、検出したアクセスポイントから時刻に対応する視点位置までの一連の時刻に対応して記憶部に記憶されている一連の画像圧縮データを取り出して復号することで、座標・時刻変換部で決定された時刻に対応した画像を生成する画像復号部と、座標・時刻変換部で決定された時刻に対応して画像復号部で生成された画像を表示させる表示処理部とを備えるものである。
A texture display device according to the present invention is a texture display device that displays an image when an object is viewed from a plurality of different viewpoint positions with the same texture as when an actual object is viewed from each of the plurality of viewpoint positions. The plurality of viewpoint positions are arranged in a predetermined time-series order by time-sequentially in an order defined in a predetermined order, and a first group having compressed image data encoded independently of other viewpoint positions And the second group of viewpoint positions having image compression data in which the difference between the viewpoint position and the viewpoint position one before in time series is encoded, and the viewpoint position of the first group is defined as an access point, The viewpoint position of the first group and the viewpoint position of the second group are mixed and arranged in a predetermined chronological order so that the viewpoint position of the second group continues one or more after a certain access point. A plurality of viewpoint positions viewpoint position and a viewpoint position of the second group and are arranged in a predetermined chronological order formed by mixed in can associate a respective compressed image data corresponding to a plurality of viewpoint positions, when Corresponding to the specified position information, a storage unit that stores as a series of sequenced moving image compressed data, a viewpoint position detection unit that specifies a viewpoint position for viewing an object from a plurality of viewpoint positions, and position information Coordinates for determining the time of a series of compressed video data corresponding to the specified position information by extracting the viewpoint position to be extracted from a plurality of viewpoint positions stored in a predetermined time-series order in the storage unit If the viewpoint position corresponding to the time determined based on the time conversion unit and the series of moving image compressed data stored in the storage unit is the viewpoint position of the first group, Record in memory By decoding the compressed image data, an image corresponding to the time determined by the coordinate / time conversion unit is generated, and the viewpoint position corresponding to the determined time is the viewpoint position of the second group Includes a series of compressed image data stored in the storage unit corresponding to a series of times from the detected access point to the viewpoint position corresponding to the time, by detecting an access point immediately before the viewpoint position corresponding to the time. The image decoding unit generates an image corresponding to the time determined by the coordinate / time conversion unit, and the image decoding unit generates the image corresponding to the time determined by the coordinate / time conversion unit. And a display processing unit for displaying the image.
本発明によれば、所定の時系列順に並べられた複数の視点位置に対応する動画像圧縮データに基づいて、所望の視点位置からの画像を復号することにより、質感表示を行う際に、大きな演算処理を必要としない質感表示装置を得ることができる。 According to the present invention, when a texture display is performed by decoding an image from a desired viewpoint position based on moving image compression data corresponding to a plurality of viewpoint positions arranged in a predetermined time series order, A texture display device that does not require arithmetic processing can be obtained.
以下、本発明の質感表示装置の好適な実施の形態につき図面を用いて説明する。
本発明の質感表示装置は、複数の視点位置を所定の時系列順に並べ、対象物の動画像圧縮データをあらかじめ記憶しておき、記憶された動画像圧縮データに基づいて所望の視点位置からの画像を復元して表示させることを特徴とする。
Hereinafter, preferred embodiments of the texture display device of the present invention will be described with reference to the drawings.
The texture display device according to the present invention arranges a plurality of viewpoint positions in a predetermined time series, stores moving image compressed data of an object in advance, and stores a moving image from a desired viewpoint position based on the stored moving image compressed data. The image is restored and displayed.
実施の形態1.
図1は、本発明の実施の形態1における質感表示装置の構成図である。図1における質感表示装置は、符号化データ記憶部10、視点位置検出部20、座標・時刻変換部30、時刻情報生成部40、画像復号部50、フレームバッファ60、および表示処理部70で構成される。
FIG. 1 is a configuration diagram of a texture display device according to
符号化データ記憶部10は、所定の時系列順に並べられた複数の視点位置と、複数の視点位置の時系列順に従ってあらかじめ取り込まれた対象物の一連の動画像圧縮データと、アクセスポイントとを関連づけて、符号化データとして記憶する記憶部である。
The encoded
本発明は、複数の視点位置からの個々の画像を記憶しておくのではなく、所定の時系列順に並べられた複数の視点位置に対する一連の動画像圧縮データを記憶しておくことを特徴としている。さらに、この一連の動画像圧縮データは、MPEG(Motion Picture Expert Group)に代表されるような、フレーム間予測による圧縮に基づくものである。 The present invention is characterized by storing a series of compressed moving image data for a plurality of viewpoint positions arranged in a predetermined time-series order, rather than storing individual images from a plurality of viewpoint positions. Yes. Further, this series of moving image compression data is based on compression by inter-frame prediction, as represented by MPEG (Motion Picture Expert Group).
そして、複数の視点位置は、他の視点位置とは独立に符号化された画像データを有する視点位置と、時系列として1つ手前の視点位置との差分を符号化した画像データを有する視点位置とに分けることができ、前者の視点位置のことを以下の説明ではアクセスポイントと称する。すなわち、このアクセスポイントは、複数の視点位置に対応する時系列画像圧縮データの中でフレーム間予測なしに画像を復元可能な視点位置を示す。 The plurality of viewpoint positions are viewpoint positions having image data obtained by encoding a difference between a viewpoint position having image data encoded independently of other viewpoint positions and a viewpoint position immediately before in time series. The former viewpoint position is referred to as an access point in the following description. That is, this access point indicates a viewpoint position where an image can be restored without inter-frame prediction in time-series image compression data corresponding to a plurality of viewpoint positions.
次に、視点位置検出部20は、対象物を鑑賞する視点位置を位置情報として特定し、特定した位置情報をXYZ座標信号として出力する。これに対して、座標・時刻変換部30は、符号化データ記憶部10に記憶された符号化データに基づいて、視点位置検出部20で特定された位置情報を時刻情報に変換する。
Next, the viewpoint
具体的には、座標・時刻変換部30は、符号化データとして記憶され、所定の時系列順に並べられて時間と関連づけられている複数の視点位置の中から、特定された位置情報に対応する視点位置を抽出することにより、位置情報を1次元情報である時刻情報に変換する。
Specifically, the coordinate /
次に、時刻情報生成部40は、符号化データ記憶部10に記憶された符号化データと座標・時刻変換部30で変換された時刻情報とに基づいて、対象物を鑑賞する視点位置からの画像を復号するために必要なシーン時刻情報を生成する。
Next, the time
具体的には、時刻情報生成部40は、まず始めに、符号化データとして記憶されている時系列順に並べられた複数の視点位置とアクセスポイントとの対応関係に基づいて、座標・時刻変換部30により変換された時刻情報に対応する視点位置を特定する。次に、特定した視点位置の直前のアクセスポイントとなる視点位置に対応する時刻をさらに特定する。
Specifically, the time
そして、時刻情報生成部40は、アクセスポイントとなる視点位置に対応する時刻から座標・時刻変換部30により変換された時刻情報までの時系列の時刻データからなるシーン時刻情報を生成する。
Then, the time
次に、画像復号部50は、時刻情報生成部40で生成されたシーン時刻情報と、符号化データ記憶部10に記憶された符号化データとに基づいて、対象物を鑑賞する視点位置からの画像を復号する。
Next, based on the scene time information generated by the time
具体的には、画像復号部50は、シーン時刻情報に含まれている時系列の時刻データに対応した一連の圧縮画像である符号化ストリームを、符号化データの一連の動画像圧縮データの中から取り出し、符号化ストリームを復号した画像を生成する。
Specifically, the
すなわち、画像復号部50は、アクセスポイントに対応する時刻における独立に符号化された画像データと、その後の一連の時刻における差分を符号化した一連の画像データを符号化ストリームとして取り出し、その符号化ストリームを復号することにより、対象物を鑑賞する視点位置からの画像を生成する。
That is, the
フレームバッファ60は、復号画像を蓄積する記憶部であり、画像復号部50は、復号により生成した画像をフレームバッファ60に記憶させる。さらに、表示処理部70は、座標・時刻変換部30で決定された時刻に対応する画像をフレームバッファ60から取り出して表示させる。
The
上述のように、本発明の質感表示装置は、視点位置を検出し、視点位置に対応した時刻情報を算出し、算出された時刻情報の直前のアクセスポイントから該時刻情報までのシーン時刻情報を求め、シーン時刻情報に対応する符号化ストリームを復号し、復号された画像中から、視点位置に対応する時刻情報に相当する画像を表示させることができる。 As described above, the texture display device of the present invention detects the viewpoint position, calculates time information corresponding to the viewpoint position, and obtains the scene time information from the access point immediately before the calculated time information to the time information. In other words, the encoded stream corresponding to the scene time information is decoded, and an image corresponding to the time information corresponding to the viewpoint position can be displayed from the decoded images.
実施の形態1によれば、所定の時系列順に並べられた複数の視点位置に対応する動画像圧縮データに基づいて、所望の視点位置に応じた画像を表示させることができる。したがって、記憶するデータ量を抑えるとともに、所望の視点位置に対応する画像を高速で表示させることができ、大きな演算処理を必要とせずにリアルタイム性を確保した質感表示装置を実現できる。 According to the first embodiment, an image corresponding to a desired viewpoint position can be displayed based on moving image compression data corresponding to a plurality of viewpoint positions arranged in a predetermined time-series order. Therefore, it is possible to reduce the amount of data to be stored, display an image corresponding to a desired viewpoint position at high speed, and realize a texture display device that secures real-time performance without requiring a large calculation process.
実施の形態2.
実施の形態2では、視点位置検出部20による視点位置の検出方法について具体的に説明する。図2は、本発明の実施の形態2における視点位置検出部20の一構成例を示す図である。図2における視点位置検出部20は、第1のカメラ21、第2のカメラ22、および第1のカメラ21と第2のカメラ22の映像を入力して三角測量による3次元位置算出を行う3次元位置算出部23を備えている。
In the second embodiment, a viewpoint position detection method by the viewpoint
第1のカメラ21と第2のカメラ22は、何れも視点24を撮影して、その映像が、三角測量を行う3次元位置算出部23に入力される。ここで、視点24−第1のカメラ21−第2のカメラ22の3点により定まる角度を第1の角度とし、視点24−第2のカメラ22−第1のカメラ21の3点により定まる角度を第2の角度とする。
Each of the
3次元位置算出部23は、あらかじめ定まっている第1のカメラ21と第2のカメラ22との間の距離と、第1の角度と、第2の角度の3つの情報に基づいて、視点24の空間位置を算出する。さらに、3次元位置算出部23は、算出した空間位置をXYZ座標に変換し、視点位置の位置情報を出力する。
The three-dimensional
実施の形態2によれば、視点位置を三角測量により求めることにより、その視点位置に応じた映像を表示させることができ、リアルな画像の鑑賞を可能とする質感表示装置を得ることができる。 According to the second embodiment, by obtaining the viewpoint position by triangulation, it is possible to display an image according to the viewpoint position, and it is possible to obtain a texture display device that enables viewing of a realistic image.
なお、上述の実施の形態2においては、カメラを2台だけ用いたが、より多くのカメラを用いることにより、視点位置の検出精度を向上させることも可能である。 In the second embodiment described above, only two cameras are used. However, it is possible to improve the detection accuracy of the viewpoint position by using more cameras.
実施の形態3.
実施の形態3では、視点位置検出部20による視点位置の別の検出方法について具体的に説明する。図3は、本発明の実施の形態3における視点位置検出部20の一構成例を示す図である。図3における視点位置検出部20は、ポインティングデバイス25と位置情報変換部26とを備えている。
In the third embodiment, another viewpoint position detection method by the viewpoint
ポインティングデバイス25は、ユーザ制御が可能な位置特定機能を有し、例えば、マウス、トラックボール、スティックポインタ、タッチスクリーン等に相当する。そして、位置情報変換部26は、ポインティングデバイス25の出力を空間位置に対応させ、視点位置の位置情報を出力する。
The
実施の形態3によれば、制御可能なポインティングデバイスを用いて視点位置を求めることにより、実際に視点を移動させることなく仮想の視点位置を指定でき、様々な方向から見た映像を容易に鑑賞することができる質感表示装置を得ることができる。 According to the third embodiment, by obtaining a viewpoint position using a controllable pointing device, a virtual viewpoint position can be designated without actually moving the viewpoint, and images viewed from various directions can be easily viewed. It is possible to obtain a texture display device that can be used.
実施の形態4.
次に、実施の形態4では、複数の視点位置を所定の時系列順として規定するための具体例を説明する。所定の時系列順として規定された複数の視点位置に応じて、一連の動画像圧縮データがあらかじめ生成されることとなる。
Next, in the fourth embodiment, a specific example for defining a plurality of viewpoint positions in a predetermined time series order will be described. A series of moving image compressed data is generated in advance according to a plurality of viewpoint positions defined as a predetermined time-series order.
図4は、本発明の実施の形態4における所定の時系列順の一構成例の説明図である。ここでは、説明を容易とするために、2次元空間で規定された複数の視点位置を時系列化することにより、1次元の時間軸へ変換する場合を説明する。この図4は、ヒルベルト曲線による、2次元空間の1次元化を示している。
FIG. 4 is an explanatory diagram of a configuration example in a predetermined time-series order according to
ヒルベルト曲線は、以下のような手段で領域の局所化を行うことが容易に可能である。図4における複数の視点位置は、横方向に8画素×縦方向に8ラインの画像領域として示されているが、これを4×4の4つの領域に分割し得る。すなわち、左上の領域は、(1、1)が始点、左下の領域は(1、5)が始点、右上の領域は(8、4)が始点、右下の領域は(5、5)が始点となる4つの領域に分割し得る。 The Hilbert curve can be easily localized by the following means. The plurality of viewpoint positions in FIG. 4 are shown as an image area of 8 pixels in the horizontal direction × 8 lines in the vertical direction, but can be divided into 4 areas of 4 × 4. That is, (1, 1) is the starting point in the upper left area, (1, 5) is the starting point in the lower left area, (8, 4) is the starting point in the upper right area, and (5, 5) is in the lower right area. It can be divided into four areas as starting points.
さらに、これら4つの領域の各始点をアクセスポイントとして、8×8の視点位置の順序を図4で示すヒルベルト曲線で規定することにより、所定の時系列順が定められている。そして、この時系列順およびアクセスポイントに従った一連の動画像圧縮データが、符号化データ記憶部10にあらかじめ記憶されていることとなる。
Further, a predetermined time-series order is determined by defining the order of 8 × 8 viewpoint positions with the Hilbert curve shown in FIG. 4 using the start points of these four areas as access points. A series of compressed moving image data according to the time series order and the access point is stored in the encoded
本発明では、シーン時刻情報を生成することにより、任意の視点の映像を高速に表示可能なように構成している。一例として、左下の4×4の領域において、視点位置の座標が(1、6)の位置の画像を復号したい場合について説明する。この座標(1、6)は、アクセスポイントである(1、5)を始点とし、(1、5)→(2、5)→(2、6)→(1、6)の順序で時系列化されている。 In the present invention, by generating scene time information, an image of an arbitrary viewpoint can be displayed at high speed. As an example, a case will be described in which it is desired to decode an image having a viewpoint position coordinate (1, 6) in a lower left 4 × 4 region. The coordinates (1, 6) are time points in the order of (1, 5) → (2, 5) → (2, 6) → (1, 6), starting from the access point (1, 5). It has become.
従って、時刻情報生成部40は、符号化データ記憶部10に記憶された符号化データに基づいて、この4つの座標からなる時刻の時系列情報をシーン時刻情報として生成する。さらに、画像復号部50は、アクセスポイントに対応する座標(1、5)における独立に符号化された画像データと、その後の3つの座標(2、5)、(2、6)、(1、6)における時系列として1つ手前の視点位置との差分を符号化した画像データとによる符号化ストリームに基づいて、座標(1、6)における画像を復号する。
Therefore, the time
ここで、ヒルベルト曲線による走査は、次の2つのメリットがある。まず第1のメリットとして、時刻情報に対応付けられる空間座標から得られる視点位置の連続映像の符号化を効率化できる点が挙げられる。すなわち、ヒルベルト曲線で規定された時系列として前後に並んでいる2つの視点位置は、空間座標として上下、あるいは左右に並んでいる関係にあり、両視点位置の空間距離が一定であるため、画像間の相関が大きく変わらないため、符号化効率がよく、一連の動画像圧縮データのデータ量を減らすことが可能となる。 Here, the scanning by the Hilbert curve has the following two merits. First, as a first merit, it is possible to improve the efficiency of encoding the continuous video of the viewpoint position obtained from the spatial coordinates associated with the time information. That is, the two viewpoint positions arranged in the front and rear as the time series defined by the Hilbert curve are in a relationship of being arranged in the vertical and horizontal directions as the spatial coordinates, and the spatial distance between the two viewpoint positions is constant. Therefore, the coding efficiency is good and the data amount of the series of moving image compressed data can be reduced.
さらに、第2のメリットとして、どの場所でも高速に再生可能というアクセス性のよい点が挙げられる。図4に例示したように、8×8からなる複数の視点位置は、空間的に均等となる4つの4×4の領域に分割できる。さらに、各領域に対して、例えば、その始点をアクセスポイントとして規定できる。 Further, as a second merit, there is a good accessibility that reproduction is possible at any place at high speed. As illustrated in FIG. 4, a plurality of 8 × 8 viewpoint positions can be divided into four 4 × 4 regions that are spatially equal. Furthermore, for each area, for example, the starting point can be defined as an access point.
このようにして、全領域を空間的に均等に分割してアクセスポイントを割り付けることにより、いずれの視点位置に対しても、シーン画像情報に含まれる座標の数が極端に多くなることを防止でき、全領域において一様のアクセス性を持たせることができ、アクセス性の向上を図ることができる。 In this way, by assigning access points by equally dividing the entire area spatially, it is possible to prevent the number of coordinates included in the scene image information from becoming extremely large for any viewpoint position. The uniform accessibility can be provided in the entire area, and the accessibility can be improved.
実施の形態4によれば、ヒルベルト曲線を用いて複数の視点位置に対応する所定の時系列順を規定することにより、符号化効率の向上に伴う圧縮動画像データの容量の低減と、所望の視点位置における復号画像の高速生成を実現した質感表示装置を得ることができる。 According to the fourth embodiment, by defining a predetermined time-series order corresponding to a plurality of viewpoint positions using a Hilbert curve, it is possible to reduce the volume of compressed moving image data accompanying improvement in encoding efficiency, A texture display device that realizes high-speed generation of a decoded image at the viewpoint position can be obtained.
なお、上述の説明においては、2次元の視点位置に対する形態を示したが、3次元への拡張も同様の方法で可能である。 In the above description, the form with respect to the two-dimensional viewpoint position is shown, but extension to three dimensions is also possible by the same method.
実施の形態5.
次に、実施の形態5では、複数の視点位置を所定の時系列順として規定するための別の具体例を説明する。所定の時系列順として規定された複数の視点位置に応じて、一連の動画像圧縮データがあらかじめ生成されることとなる。
Next, in the fifth embodiment, another specific example for defining a plurality of viewpoint positions in a predetermined time series order will be described. A series of moving image compressed data is generated in advance according to a plurality of viewpoint positions defined as a predetermined time-series order.
図5は、本発明の実施の形態5における所定の時系列順の一構成例の説明図である。ここでは、説明を容易とするために、左記の実施の形態4と同様に、2次元空間で規定された複数の視点位置を時系列化することにより、1次元の時間軸へ変換する場合を説明する。この図5は、ジグザグスキャンによる、2次元空間の1次元化を示している。 FIG. 5 is an explanatory diagram of a configuration example in a predetermined time series order according to the fifth embodiment of the present invention. Here, for ease of explanation, a case where a plurality of viewpoint positions defined in a two-dimensional space are time-sequentially converted to a one-dimensional time axis as in the fourth embodiment described on the left. explain. FIG. 5 shows one-dimensionalization of a two-dimensional space by zigzag scanning.
図5に示すように、このジグザグスキャンにおいては、8×8の領域を(1、1)を始点、(8、8)を終点として、ななめに往復しながら全視点位置をスキャンする。このジグザグスキャンは、先のヒルベルト曲線によるスキャンと比較すると、符号化効率およびアクセス性では劣るものの、複数の視点位置の時系列化を容易に実現できるメリットがある。 As shown in FIG. 5, in this zigzag scan, all viewpoint positions are scanned while reciprocating smoothly, with an 8 × 8 region starting at (1, 1) and ending at (8, 8). Although this zigzag scan is inferior in encoding efficiency and accessibility as compared with the previous scan using the Hilbert curve, there is an advantage that time series of a plurality of viewpoint positions can be easily realized.
実施の形態5によれば、ジグザグスキャンを用いて複数の視点位置に対応する所定の時系列順を規定することにより、ヒルベルト曲線を用いる場合に比べて、スキャンの順序が単純化でき、複数の視点位置の時系列順を容易に規定できる。従って、複数の視点位置が3次元である場合にも、容易に拡張でき、3次元からなる複数の視点位置の時系列化を容易に実現できる。 According to the fifth embodiment, by defining a predetermined time-series order corresponding to a plurality of viewpoint positions using a zigzag scan, the scan order can be simplified as compared with the case of using a Hilbert curve, The time-series order of viewpoint positions can be easily specified. Therefore, even when a plurality of viewpoint positions are three-dimensional, it can be easily expanded, and a time series of a plurality of viewpoint positions consisting of three dimensions can be easily realized.
なお、本説明では、算出されたシーン時刻情報に対応する一連の復号画像を一旦フレームバッファ60に蓄積しているが、フレームバッファ60を用いずに、一連の復号画像の時刻情報と、表示すべき時刻情報との比較により、必要な画像データだけを表示処理部70に伝送してもよい。この構成は、フレームバッファ60が不要になり、さらに簡易な装置構成を取ることができる。
In this description, a series of decoded images corresponding to the calculated scene time information is temporarily stored in the
また、本発明では、フレームバッファ60を用いる場合において、蓄積された複数の復号画像を用いて、時間情報に対応付けた空間位置だけでなく、それ以外の位置を補間して表示することも可能である。一般的には、複数の画像の加算平均を取ることで補間画像を求めることが可能であるが、動き補償などの技術を併用し、より精細度の高い画像を補間することもできる。
In the present invention, when the
また、本発明では、空間位置情報を時間軸情報に対応させることで、現在、市場に大量に存在するMPEGを始めとする動画符号化技術を応用することを可能とし、既開発技術を最大限に利用することで、製造コストを大幅に低下させることが可能である。 In addition, in the present invention, spatial position information corresponds to time axis information, so that it is possible to apply moving image coding technology such as MPEG that currently exists in the market in large quantities, It is possible to greatly reduce the manufacturing cost by using it.
10 符号化データ記憶部(記憶部)、20 視点位置検出部、21 第1のカメラ、22 第2のカメラ、23 3次元位置算出部、25 ポインティングデバイス、26 位置情報変換部、30 座標・時刻変換部、40 時刻情報生成部、50 画像復号部、60 フレームバッファ、70 表示処理部。
DESCRIPTION OF
Claims (6)
前記複数の視点位置は、所定の順序で規定される順番で時系列化することで所定の時系列順に並べられ、他の視点位置とは独立に符号化された画像圧縮データを有する第1グループの視点位置と、時系列として1つ手前の視点位置との差分を符号化した画像圧縮データを有する第2グループの視点位置とに分けられ、前記第1グループの視点位置をアクセスポイントと定義すると、あるアクセスポイントの後に前記第2グループの視点位置が1以上続くように、前記第1グループの視点位置と前記第2グループの視点位置とが混在して前記所定の時系列順に並べられており、
前記第1グループの視点位置と前記第2グループの視点位置とが混在してなる前記所定の時系列順に並べられた複数の視点位置と、前記複数の視点位置に対応するそれぞれの画像圧縮データとを関連づけることで、時系列化された一連の動画像圧縮データとして記憶する記憶部と、
前記複数の視点位置の中から前記対象物を鑑賞する視点位置を位置情報として特定する視点位置検出部と、
特定された前記位置情報に対応する視点位置を、前記記憶部に前記所定の時系列順で記憶されている前記複数の視点位置の中から抽出することで、特定された前記位置情報に対応する前記一連の動画像圧縮データの時刻を決定する座標・時刻変換部と、
前記記憶部に記憶された前記一連の動画像圧縮データに基づいて、決定された前記時刻に対応する視点位置が、前記第1グループの視点位置である場合には、前記時刻に対応して前記記憶部に記憶されている画像圧縮データを復号することで、前記座標・時刻変換部で決定された時刻に対応した画像を生成し、決定された前記時刻に対応する視点位置が、前記第2グループの視点位置である場合には、前記時刻に対応する視点位置の直前のアクセスポイントを検出し、検出した前記アクセスポイントから前記時刻に対応する視点位置までの一連の時刻に対応して前記記憶部に記憶されている一連の画像圧縮データを取り出して復号することで、前記座標・時刻変換部で決定された時刻に対応した画像を生成する画像復号部と、
前記座標・時刻変換部で決定された時刻に対応して前記画像復号部で生成された画像を表示させる表示処理部と
を備えたことを特徴とする質感表示装置。 A texture display device that displays an image when an object is viewed from a plurality of different viewpoint positions with the same texture as when an actual object is viewed from each of the plurality of viewpoint positions,
The plurality of viewpoint positions are arranged in a predetermined time series by time series in an order defined in a predetermined order, and a first group having compressed image data encoded independently of other viewpoint positions And a second group of viewpoint positions having compressed image data obtained by encoding a difference between the viewpoint position of the previous viewpoint and a viewpoint position one before in time series, and defining the viewpoint position of the first group as an access point The viewpoint position of the first group and the viewpoint position of the second group are mixed and arranged in the predetermined time-series order so that one or more viewpoint positions of the second group follow one access point. ,
A plurality of viewpoint positions arranged in the predetermined time series in which the viewpoint position of the first group and the viewpoint position of the second group are mixed, and compressed image data corresponding to the plurality of viewpoint positions; , And a storage unit that stores a series of time-series compressed moving image data,
A viewpoint position detection unit that specifies, as position information, a viewpoint position at which the object is viewed from the plurality of viewpoint positions;
The viewpoint position corresponding to the specified position information is extracted from the plurality of viewpoint positions stored in the storage unit in the predetermined time series order, thereby corresponding to the specified position information. A coordinate / time conversion unit for determining the time of the series of moving image compression data;
When the viewpoint position corresponding to the time determined based on the series of moving image compression data stored in the storage unit is the viewpoint position of the first group, the viewpoint position corresponds to the time. By decoding the compressed image data stored in the storage unit, an image corresponding to the time determined by the coordinate / time conversion unit is generated, and the viewpoint position corresponding to the determined time is the second If it is the viewpoint position of the group, an access point immediately before the viewpoint position corresponding to the time is detected, and the storage is performed corresponding to a series of times from the detected access point to the viewpoint position corresponding to the time. An image decoding unit that generates an image corresponding to the time determined by the coordinate / time conversion unit by extracting and decoding a series of image compression data stored in the unit;
A texture display device comprising: a display processing unit that displays an image generated by the image decoding unit corresponding to the time determined by the coordinate / time conversion unit.
時刻に応じて復号された画像を蓄積するフレームバッファをさらに備え、
前記画像復号部は、復号した画像を前記フレームバッファに記憶させ、
前記表示処理部は、前記座標・時刻変換部で決定された時刻に対応する画像を前記フレームバッファから取り出して表示させる
ことを特徴とする質感表示装置。 The texture display device according to claim 1,
A frame buffer for storing images decoded according to time;
The image decoding unit stores the decoded image in the frame buffer,
The texture display device, wherein the display processing unit extracts and displays an image corresponding to the time determined by the coordinate / time conversion unit from the frame buffer.
前記視点位置検出部は、前記複数の視点位置の中から前記対象物を鑑賞する1つの視点位置を、所定距離離れた2台のカメラを用いて前記1つの視点位置を撮影した映像に基づく三角測量によって求め、前記1つの視点位置に対応する前記位置情報を特定することを特徴とする質感表示装置。 The texture display device according to claim 1 or 2,
The viewpoint position detection unit is a triangle based on an image obtained by photographing one viewpoint position using two cameras separated by a predetermined distance from one viewpoint position for viewing the object from the plurality of viewpoint positions. A texture display device characterized in that the position information corresponding to the one viewpoint position is determined by surveying.
前記視点位置検出部は、前記複数の視点位置の中から前記対象物を鑑賞するための1つの視点位置を、ポインティングデバイスにより指定された視点位置として求め、前記1つの視点位置に対応する前記位置情報を特定することを特徴とする質感表示装置。 The texture display device according to claim 1 or 2,
The viewpoint-position detecting unit, said that one of the viewpoint position for viewing the object from among the plurality of viewpoint positions, determined as a more specified viewpoint position pointing device, corresponding to the one viewpoint position A texture display device characterized by specifying position information.
前記記憶部に記憶されている前記所定の時系列順は、ヒルベルト曲線で規定された走査に基づいて、2次元の平面の離散的な視点位置情報を1次元の時間軸情報に対応付けることにより定められていることを特徴とする質感表示装置。 The texture display device according to any one of claims 1 to 4,
The predetermined time-series order stored in the storage unit is determined by associating discrete viewpoint position information on a two-dimensional plane with one-dimensional time axis information based on scanning defined by a Hilbert curve. A texture display device characterized by being made.
前記記憶部に記憶されている前記所定の時系列順は、ジグザグスキャンによる走査に基づいて、2次元の平面の離散的な視点位置情報を1次元の時間軸情報に対応付けることにより定められていることを特徴とする質感表示装置。 The texture display device according to any one of claims 1 to 4,
The predetermined time-series order stored in the storage unit is determined by associating discrete viewpoint position information of a two-dimensional plane with one-dimensional time axis information based on scanning by zigzag scanning. A texture display device characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005139707A JP5111739B2 (en) | 2005-05-12 | 2005-05-12 | Texture display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005139707A JP5111739B2 (en) | 2005-05-12 | 2005-05-12 | Texture display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006317672A JP2006317672A (en) | 2006-11-24 |
JP5111739B2 true JP5111739B2 (en) | 2013-01-09 |
Family
ID=37538412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005139707A Expired - Fee Related JP5111739B2 (en) | 2005-05-12 | 2005-05-12 | Texture display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5111739B2 (en) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3745117B2 (en) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP3218220B2 (en) * | 1998-06-10 | 2001-10-15 | 株式会社九州エレクトロニクスシステム | Image information compression method and image information compression system |
JP2000047651A (en) * | 1998-07-29 | 2000-02-18 | Mitsubishi Electric Corp | Video reproducing device |
JP3674454B2 (en) * | 2000-04-14 | 2005-07-20 | セイコーエプソン株式会社 | Video playback system and display control apparatus |
JP2002267413A (en) * | 2001-03-13 | 2002-09-18 | Matsushita Electric Ind Co Ltd | Instrument and method for three-dimensional position measurement |
JP2003046787A (en) * | 2001-07-31 | 2003-02-14 | Mitsubishi Electric Corp | Image transmission apparatus, image reception apparatus, image communication system and image communication method |
JP3964646B2 (en) * | 2001-10-25 | 2007-08-22 | 富士フイルム株式会社 | Image processing method, image processing apparatus, and image signal creation method |
JP3863775B2 (en) * | 2001-12-25 | 2006-12-27 | 株式会社九州エレクトロニクスシステム | Image information compression method, image information compression apparatus, and image information compression program |
JP2003309836A (en) * | 2002-04-16 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | Moving picture data providing system, moving picture data providing method, moving picture data providing program, and recording medium with the program recorded |
JP2004214970A (en) * | 2002-12-27 | 2004-07-29 | Sumitomo Electric Ind Ltd | Image display system, image display method and image processor |
JP4286556B2 (en) * | 2003-02-24 | 2009-07-01 | 株式会社東芝 | Image display device |
-
2005
- 2005-05-12 JP JP2005139707A patent/JP5111739B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006317672A (en) | 2006-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6466205B2 (en) | System and method for creating 3D models from 2D sequential image data | |
JP4605715B2 (en) | Multi-view image compression encoding method, apparatus, and program | |
TW393859B (en) | Process and device operating in real time for identifying and localizing an area in relative movement in a scene, and for determining the speed and direction of the displacement | |
US11941748B2 (en) | Lightweight view dependent rendering system for mobile devices | |
US20140078265A1 (en) | Moving picture capturing device, information processing system, information processing device, and image data processing method | |
WO2019065536A1 (en) | Reconfiguration method and reconfiguration device | |
JPH0749964A (en) | Three-dimensional dynamic image generating device | |
US7990385B2 (en) | Method and apparatus for generating new images by using image data that vary along time axis | |
US9148564B2 (en) | Image pickup apparatus, information processing system and image data processing method | |
JP2019114842A (en) | Image processing device, content processing device, content processing system, and image processing method | |
KR20170032288A (en) | Method and apparatus for up-scaling an image | |
JP2020005202A (en) | Video processing device | |
KR101423915B1 (en) | Method and apparatus for generating 3D On screen display | |
JP5111739B2 (en) | Texture display device | |
US10257488B2 (en) | View synthesis using low resolution depth maps | |
EP3457695A1 (en) | Method and apparatus for motion vector predictor adaptation for omnidirectional video | |
Fujii et al. | Acquisition and display systems of FTV (Free-viewpoint TeleVision) | |
Inamoto et al. | Fly-through viewpoint video system for multiview soccer movie using viewpoint interpolation | |
JP4787681B2 (en) | Image composition apparatus and image composition program | |
JP2005115011A (en) | Image display apparatus, image display method, image display program and recording medium recording the program | |
JP2511771B2 (en) | Image memory type image generator | |
Huang et al. | Low-Complexity 3D-Vision Conferencing System based on Accelerated RIFE Model | |
TW202338738A (en) | Video signal and processing thereof | |
JP3771452B2 (en) | Animation creation method | |
KR20240028345A (en) | Information processing devices, information processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080408 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120619 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121009 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121010 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5111739 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |