JP5550603B2 - Video processing apparatus, video processing method, and program - Google Patents

Video processing apparatus, video processing method, and program Download PDF

Info

Publication number
JP5550603B2
JP5550603B2 JP2011127636A JP2011127636A JP5550603B2 JP 5550603 B2 JP5550603 B2 JP 5550603B2 JP 2011127636 A JP2011127636 A JP 2011127636A JP 2011127636 A JP2011127636 A JP 2011127636A JP 5550603 B2 JP5550603 B2 JP 5550603B2
Authority
JP
Japan
Prior art keywords
image
eye
interleaved
dimensional model
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011127636A
Other languages
Japanese (ja)
Other versions
JP2011172293A (en
Inventor
文俊 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011127636A priority Critical patent/JP5550603B2/en
Publication of JP2011172293A publication Critical patent/JP2011172293A/en
Application granted granted Critical
Publication of JP5550603B2 publication Critical patent/JP5550603B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、三次元映像を表示するための映像処理装置及び映像処理方法並びにプログラムに関する。   The present invention relates to a video processing apparatus, a video processing method, and a program for displaying a 3D video.

従来から、三次元映像を観賞可能にする様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像（立体映像）を知覚させる。   2. Description of the Related Art Conventionally, various video display devices that allow 3D video to be viewed have been provided. In such a video display device, for example, the user perceives a 3D video (stereoscopic video) using a video for the left eye and a video for the right eye based on binocular parallax.

特許文献１には、インターレース方式の画像をプログレッシブ方式の画像に変換（ＩＰ変換）する順次走査変換方法が開示されている。特許文献１では二次元の映像コンテンツデータにＩＰ変換を施し、インターレース方式の画像に画素を補間してプログレッシブ方式の画像を生成している。   Patent Document 1 discloses a progressive scan conversion method for converting an interlaced image into a progressive image (IP conversion). In Patent Document 1, IP conversion is performed on two-dimensional video content data, and pixels are interpolated into an interlaced image to generate a progressive image.

特開２００４−２１５２６３号公報JP 2004-215263 A

ところで、偏光方式により三次元映像を観賞可能にする映像表示装置では、画面に左眼用画像と右眼用画像とを同時に表示する。これら左眼用画像と右眼用画像とには、偏光フィルタによりそれぞれ異なる方向への偏光が施される。ユーザは、偏光眼鏡を用いることで、偏光された左眼用画像を左眼で、偏光された右眼用画像を右眼で見ることができる。これによりユーザは、画面に表示される映像を立体として知覚することができる。   By the way, in a video display device that enables viewing of 3D video by the polarization method, a left-eye image and a right-eye image are simultaneously displayed on the screen. The left-eye image and the right-eye image are polarized in different directions by polarization filters. By using the polarized glasses, the user can view the polarized left-eye image with the left eye and the polarized right-eye image with the right eye. As a result, the user can perceive the video displayed on the screen as a three-dimensional image.

偏光方式による映像表示装置では、画面に左眼用画像と右眼用画像とを走査線毎に交互に配置した画像、すなわち左眼用画像と右眼用画像とをインターリーブした画像を表示する。例えば、画面の奇数番目の走査線に左眼用画像の画素を表示し、偶数番目の走査線に右眼用画像の画素を表示する。したがって、左眼用画像及び右眼用画像の各々では、一つの走査線おきに画像が表示されていない走査線が存在する。このため例えば、三次元映像が表示されるウィンドウのサイズが大きく変更される際に、滑らかに拡大（スケーリング）された三次元映像を生成することができない可能性がある。つまり、左眼用画像と右眼用画像とをインターリーブしたことにより、拡大された三次元映像に含まれる走査線に対応する映像の情報が失われているため、滑らかに拡大された三次元映像を生成することができない可能性がある。   In a video display device using a polarization method, an image in which left-eye images and right-eye images are alternately arranged for each scanning line, that is, an image in which left-eye images and right-eye images are interleaved is displayed on a screen. For example, the pixels of the left eye image are displayed on the odd-numbered scanning lines on the screen, and the pixels of the right eye image are displayed on the even-numbered scanning lines. Accordingly, in each of the left-eye image and the right-eye image, there is a scanning line in which no image is displayed every other scanning line. For this reason, for example, when the size of the window in which the 3D image is displayed is greatly changed, there is a possibility that the 3D image that is smoothly enlarged (scaled) cannot be generated. In other words, the information of the video corresponding to the scanning line included in the enlarged 3D video is lost due to the interleaving of the left eye image and the right eye image, and thus the smoothly enlarged 3D video. May not be generated.

本発明は上述の事情を考慮してなされたものであり、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる映像処理装置及び映像処理方法を提供することを目的とする。   The present invention has been made in consideration of the above-described circumstances, and provides a video processing apparatus and a video processing method capable of smoothly scaling 3D video data in which a left-eye image and a right-eye image are interleaved. With the goal.

上述の課題を解決するため、本発明の映像処理装置は、左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する画像補間手段と、前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段と、前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成するインターリーブ画像生成手段とを具備することを特徴とする。 In order to solve the above-described problem, the video processing apparatus of the present invention converts 3D video data including interleaved images in which left-eye images and right-eye images are alternately arranged from the first resolution to the second resolution. An image extracting unit that extracts a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image from the interleaved image. Generating a first three-dimensional model using the left-eye interleaved image, generating a second three-dimensional model using the right-eye interleaved image, and generating the first three-dimensional model and the first generating a three-dimensional model that integrates and second three-dimensional model, using said three-dimensional model, interpolating between the left-eye interleaved image and the right-eye interleaved image that Accordingly, the image interpolation means and, and said the interpolated image for the left eye the interpolated right eye image and the second resolution to produce a right-eye image which is interpolated and interpolated image for the left eye Scaling means for generating a left-eye scaling image and a right-eye scaling image, and by alternately arranging the left-eye scaling image and the right-eye scaling image. And an interleaved image generating means for generating an interleaved image .

本発明によれば、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる。   According to the present invention, it is possible to smoothly scale 3D video data in which a left-eye image and a right-eye image are interleaved.

本発明の一実施形態に係る映像処理装置の構成を示すブロック図。1 is a block diagram showing a configuration of a video processing apparatus according to an embodiment of the present invention. 同実施形態の映像処理装置のシステム構成を示すブロック図。The block diagram which shows the system configuration | structure of the video processing apparatus of the embodiment. 同実施形態の映像処理装置によって実行されるコンテンツ再生アプリケーションプログラムの機能構成を示すブロック図。FIG. 3 is an exemplary block diagram illustrating a functional configuration of a content reproduction application program executed by the video processing apparatus according to the embodiment. インターリーブ画像をスケーリングすることによって歪みが生じる例を示す概念図。The conceptual diagram which shows the example which distortion produces by scaling an interleaved image. 図３のコンテンツ再生アプリケーションにより、インターリーブ画像を滑らかにスケーリングする例を示す概念図。FIG. 4 is a conceptual diagram illustrating an example in which an interleaved image is smoothly scaled by the content reproduction application in FIG. 3. 図３のコンテンツ再生アプリケーションに入力されるインターリーブ画像の例を示す概念図。The conceptual diagram which shows the example of the interleaved image input into the content reproduction | regeneration application of FIG. 図６のインターリーブ画像をスケーリングすることによって歪みが生じる例を示す概念図。FIG. 7 is a conceptual diagram illustrating an example in which distortion is generated by scaling the interleaved image of FIG. 6. 図３のコンテンツ再生アプリケーションにより、図６のインターリーブ画像を滑らかにスケーリングする例を示す概念図。FIG. 7 is a conceptual diagram illustrating an example in which the interleaved image in FIG. 6 is smoothly scaled by the content reproduction application in FIG. 3. 同実施形態の映像処理装置によって実行される映像表示処理の手順の例を示すフローチャート。6 is an exemplary flowchart illustrating an example of a procedure of video display processing executed by the video processing device according to the embodiment. 図３のコンテンツ再生アプリケーションによって実行されるスケーリング処理の手順の例を示すフローチャート。FIG. 4 is a flowchart illustrating an example of a scaling process executed by the content reproduction application of FIG. 3. FIG.

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る映像処理装置の外観を示す斜視図である。この映像処理装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現される。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成される。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view showing an appearance of a video processing apparatus according to an embodiment of the present invention. This video processing apparatus is realized as, for example, a notebook type personal computer 10. As shown in FIG. 1, the computer 10 includes a computer main body 11 and a display unit 12.

ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７及び偏光フィルタ１９が組み込まれている。偏光フィルタ１９は、ＬＣＤ１７の画面を覆うように設けられる。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。   The display unit 12 includes an LCD (liquid crystal display) 17 and a polarizing filter 19. The polarizing filter 19 is provided so as to cover the screen of the LCD 17. The display unit 12 is attached to the computer main body 11 so as to be rotatable between an open position where the upper surface of the computer main body 11 is exposed and a closed position covering the upper surface of the computer main body 11.

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。   The computer main body 11 has a thin box-shaped casing. On the upper surface of the computer main body 11, a keyboard 13, a power button 14 for powering on / off the computer 10, an input operation panel 15, a touch pad 16, Speakers 18A, 18B, etc. are arranged. Various operation buttons are provided on the input operation panel 15.

また、コンピュータ本体１１の背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。   An external display connection terminal (not shown) corresponding to, for example, the HDMI (high-definition multimedia interface) standard is provided on the back of the computer main body 11. This external display connection terminal is used to output a digital video signal to an external display.

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されるように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ１０５、ＶＲＡＭ１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備える。 FIG. 2 is a diagram showing a system configuration of the computer 10.
As shown in FIG. 2, the computer 10 includes a CPU 101, a north bridge 102, a main memory 103, a south bridge 104, a GPU 105, a VRAM 105A, a sound controller 106, a BIOS-ROM 107, a LAN controller 108, a hard disk drive (HDD) 109, An optical disk drive (ODD) 110, a USB controller 111A, a card controller 111B, a wireless LAN controller 112, an embedded controller / keyboard controller (EC / KBC) 113, an EEPROM 114, and the like are provided.

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、及びコンテンツ再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。コンテンツ再生アプリケーションプログラム２０２は、例えばＨＤＤ１０９等に格納された各種デジタルコンテンツを再生するソフトウェアである。このコンテンツ再生アプリケーションプログラム２０２は、三次元映像コンテンツデータを再生する三次元映像再生機能も有する。この三次元映像再生機能は、例えば、Ｘｐｏｌ（登録商標）方式等の偏光方式や時分割方式等により観賞可能な三次元映像を作成及び表示する機能である。三次元映像は、例えば、両眼視差に基づく左眼用映像と右眼用映像とをユーザに知覚させることで実現される。三次元映像のコンテンツデータは、例えば、ＤＶＤやビデオゲーム等に収録される３Ｄ対応の映像データである。この映像データは、例えば、左眼用映像のデータと右眼用映像のデータとをインターリーブして構成される。コンテンツ再生アプリケーションプログラム２０２は、この映像データを用いて、ＬＣＤ１７に表示される映像の映像信号を生成する。   The CPU 101 is a processor that controls the operation of the computer 10. The CPU 101 executes various application programs such as an operating system (OS) 201 and a content reproduction application program 202 that are loaded from the HDD 109 to the main memory 103. The content reproduction application program 202 is software that reproduces various digital contents stored in the HDD 109 or the like, for example. The content playback application program 202 also has a 3D video playback function for playing back 3D video content data. This 3D video reproduction function is a function of creating and displaying a 3D video that can be viewed by a polarization method such as an Xpol (registered trademark) method, a time division method, or the like. The three-dimensional video is realized, for example, by allowing a user to perceive a left-eye video and a right-eye video based on binocular parallax. The 3D video content data is, for example, 3D video data recorded on a DVD, a video game, or the like. For example, the video data is configured by interleaving left-eye video data and right-eye video data. The content reproduction application program 202 generates a video signal of a video displayed on the LCD 17 using this video data.

また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。   The CPU 101 also executes the BIOS stored in the BIOS-ROM 107. The BIOS is a program for hardware control.

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。   The north bridge 102 is a bridge device that connects the local bus of the CPU 101 and the south bridge 104. The north bridge 102 also includes a memory controller that controls access to the main memory 103. The north bridge 102 also has a function of executing communication with the GPU 105 via a PCI EXPRESS standard serial bus or the like.

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。ＬＣＤ１７は、表示信号に基づいて映像を表示する。   The GPU 105 is a display controller that controls the LCD 17 used as a display monitor of the computer 10. A display signal generated by the GPU 105 is sent to the LCD 17. The LCD 17 displays an image based on the display signal.

偏光フィルタ１９は、ＬＣＤ１７に表示された映像を偏光するフィルタである。偏光フィルタは、ＬＣＤ１７の画面を覆うように設けられ、左眼用映像と右眼用映像とをそれぞれ偏光する。例えば、偏光フィルタ１９は、画面（ＬＣＤ１７）上部から奇数番目の走査線と偶数番目の走査線とをそれぞれ異なる方向に偏光して出力する。すなわち、偏光フィルタ１９は、奇数番目の走査線と偶数番目の走査線の各々に対応して、異なる方向への偏光を施すフィルタを交互に配置して構成される。   The polarizing filter 19 is a filter that polarizes the image displayed on the LCD 17. The polarizing filter is provided so as to cover the screen of the LCD 17 and polarizes the left-eye video and the right-eye video, respectively. For example, the polarization filter 19 polarizes and outputs the odd-numbered scan lines and the even-numbered scan lines in different directions from the upper part of the screen (LCD 17). That is, the polarization filter 19 is configured by alternately arranging filters that apply polarization in different directions corresponding to the odd-numbered scan lines and the even-numbered scan lines.

また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３及びＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。
ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。 The GPU 105 can also send a digital video signal to the external display device 1 via the HDMI control circuit 3 and the HDMI terminal 2.
The HDMI terminal 2 is the aforementioned external display connection terminal. The HDMI terminal 2 can send an uncompressed digital video signal and a digital audio signal to the external display device 1 such as a television with a single cable. The HDMI control circuit 3 is an interface for sending a digital video signal to the external display device 1 called an HDMI monitor via the HDMI terminal 2.

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。   The south bridge 104 controls each device on a peripheral component interconnect (PCI) bus and each device on a low pin count (LPC) bus. Further, the south bridge 104 includes an IDE (Integrated Drive Electronics) controller for controlling the HDD 109 and the ODD 110. Further, the south bridge 104 has a function of executing communication with the sound controller 106.

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂ又はＨＤＭＩ制御回路３に出力する。ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。   The sound controller 106 is a sound source device and outputs audio data to be reproduced to the speakers 18A and 18B or the HDMI control circuit 3. The LAN controller 108 is a wired communication device that executes IEEE 802.3 standard wired communication, for example, while the wireless LAN controller 112 is a wireless communication device that executes IEEE 802.11g standard wireless communication, for example.

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。   The EC / KBC 113 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard 13 and the touch pad 16 are integrated. The EC / KBC 114 has a function of turning on / off the computer 10 in accordance with the operation of the power button 14 by the user.

次に、図３を参照して、本コンピュータ１０上で動作するコンテンツ再生アプリケーションプログラム２０２の一機能構成を説明する。コンテンツ再生アプリケーション２０２は、三次元映像コンテンツデータ５０１を再生する機能を有する。また、コンテンツ再生アプリケーション２０２は、ＬＣＤ１７の画面に、三次元映像コンテンツデータ５０１に基づく映像信号を任意の解像度で表示するためのスケーリング機能も有する。コンテンツ再生アプリケーション２０２は、スケーリング判定部３０１、左右眼画像抽出部３０２、三次元モデル生成部３０３、画像補間部３０４、スケーリング部３０５、インターリーブ画像生成部３０６、画像出力部３０７、及び映像信号生成部３０８を備える。   Next, a functional configuration of the content reproduction application program 202 that runs on the computer 10 will be described with reference to FIG. The content reproduction application 202 has a function of reproducing the 3D video content data 501. The content reproduction application 202 also has a scaling function for displaying a video signal based on the 3D video content data 501 at an arbitrary resolution on the screen of the LCD 17. The content reproduction application 202 includes a scaling determination unit 301, left and right eye image extraction unit 302, 3D model generation unit 303, image interpolation unit 304, scaling unit 305, interleaved image generation unit 306, image output unit 307, and video signal generation unit. 308.

映像信号生成部３０８は、三次元映像コンテンツデータ５０１を用いて、複数のインターリーブ画像を含む映像信号を生成する。このインターリーブ画像は、両眼視差を考慮して作成された左眼用画像と右眼用画像とが走査線毎に交互に配置された画像である。したがって、インターリーブ画像には、例えば、奇数番目の走査線に左眼用画像の画素が表示され、偶数番目の走査線に右眼用画像の画素が表示される。つまり、インターリーブ画像には左眼用画像と右眼用画像とが１行毎に交互に配置される。換言すると、インターリーブ画像では、例えば、左眼用画像の偶数番目の走査線に対応する画素と右眼用画像の奇数番目の走査線に対応する画素とが欠落している。映像信号生成部３０８は、生成した映像信号に含まれる複数のインターリーブ画像をスケーリング判定部３０１に出力する。   The video signal generation unit 308 generates a video signal including a plurality of interleaved images using the 3D video content data 501. This interleaved image is an image in which left-eye images and right-eye images created in consideration of binocular parallax are alternately arranged for each scanning line. Therefore, in the interleaved image, for example, pixels of the left eye image are displayed on the odd-numbered scanning lines, and pixels of the right eye image are displayed on the even-numbered scanning lines. That is, the left-eye image and the right-eye image are alternately arranged for each line in the interleaved image. In other words, in the interleaved image, for example, pixels corresponding to even-numbered scanning lines of the left-eye image and pixels corresponding to odd-numbered scanning lines of the right-eye image are missing. The video signal generation unit 308 outputs a plurality of interleaved images included in the generated video signal to the scaling determination unit 301.

スケーリング判定部３０１は、映像信号生成部３０８から出力されるインターリーブ画像をスケーリングする必要があるか否かを判定する。スケーリング判定部３０１は、例えば、インターリーブ画像の解像度と、インターリーブ画像（三次元映像コンテンツデータ５０１）を描画する、ＬＣＤ１７上のウィンドウの解像度とが異なる際に、インターリーブ画像をスケーリングする必要があると判定する。より具体的には、例えば、三次元映像コンテンツデータ５０１を再生して表示するウィンドウのサイズが大きく変更されたとき、スケーリング判定部３０１は、インターリーブ画像をスケーリング（アップスケーリング）する必要があると判定する。   The scaling determination unit 301 determines whether or not the interleaved image output from the video signal generation unit 308 needs to be scaled. For example, the scaling determination unit 301 determines that the interleaved image needs to be scaled when the resolution of the interleaved image is different from the resolution of the window on the LCD 17 on which the interleaved image (3D video content data 501) is drawn. To do. More specifically, for example, when the size of the window for reproducing and displaying the 3D video content data 501 is significantly changed, the scaling determining unit 301 determines that it is necessary to scale (upscale) the interleaved image. To do.

スケーリング判定部３０１は、インターリーブ画像をスケーリングする必要があると判定した場合、すなわち、インターリーブ画像の解像度とウィンドウの解像度とが異なる場合、インターリーブ画像を左右眼画像抽出部３０２に出力する。一方、スケーリング判定部３０１は、インターリーブ画像をスケーリングする必要がないと判定した場合、すなわち、インターリーブ画像の解像度とウィンドウの解像度とが同じ場合、インターリーブ画像を画像出力部３０７に出力する。   When it is determined that the interleaved image needs to be scaled, that is, when the resolution of the interleaved image is different from the resolution of the window, the scaling determining unit 301 outputs the interleaved image to the left and right eye image extracting unit 302. On the other hand, when it is determined that the interleaved image does not need to be scaled, that is, when the resolution of the interleaved image is the same as the resolution of the window, the scaling determining unit 301 outputs the interleaved image to the image output unit 307.

左右眼画像抽出部３０２は、スケーリング判定部３０１から出力されるインターリーブ画像から、左眼用画像の走査線に対応する左眼用インターリーブ画像と、右眼用画像の走査線に対応する右眼用インターリーブ画像とを抽出する。左右眼画像抽出部３０２は、抽出した左眼用インターリーブ画像と右眼用インターリーブ画像とを三次元モデル生成部３０３に出力する。   From the interleaved image output from the scaling determination unit 301, the left and right eye image extraction unit 302 uses the left eye interleave image corresponding to the left eye image scan line and the right eye image scan line corresponding to the right eye image scan line. Extract an interleaved image. The left and right eye image extraction unit 302 outputs the extracted left-eye interleaved image and right-eye interleaved image to the three-dimensional model generation unit 303.

三次元モデル生成部３０３は、左右眼画像抽出部３０２から出力される左眼用インターリーブ画像と右眼用インターリーブ画像とを用いて三次元モデルを生成する。具体的には、三次元モデル生成部３０３は、左眼用インターリーブ画像を用いて、当該画像に含まれる各画素の奥行き（depth）を推定し、第１の三次元モデルを生成する。同様に、三次元モデル生成部３０３は、右眼用インターリーブ画像を用いて、当該画像に含まれる各画素の奥行き（depth）を推定し、第２の三次元モデルを生成する。そして、三次元モデル生成部３０３は、生成した第１の三次元モデルと第２の三次元モデルとを両眼視差等を考慮して統合した三次元モデルを生成する。三次元モデル生成部３０３は、生成した三次元モデルを画像補間部３０４に出力する。   The three-dimensional model generation unit 303 generates a three-dimensional model using the left-eye interleaved image and the right-eye interleaved image output from the left and right eye image extraction unit 302. Specifically, the three-dimensional model generation unit 303 uses the left-eye interleaved image to estimate the depth of each pixel included in the image, and generates a first three-dimensional model. Similarly, the 3D model generation unit 303 estimates the depth of each pixel included in the image using the interleaved image for the right eye, and generates a second 3D model. Then, the 3D model generation unit 303 generates a 3D model in which the generated first 3D model and the second 3D model are integrated in consideration of binocular parallax and the like. The three-dimensional model generation unit 303 outputs the generated three-dimensional model to the image interpolation unit 304.

画像補間部３０４は、左眼用インターリーブ画像と右眼用インターリーブ画像とを用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間する。画像補間部３０４は、例えば両眼視差を考慮して左眼用インターリーブ画像と右眼用インターリーブ画像とを補間する。つまり、画像補間部３０４は、左眼用インターリーブ画像内の欠落部分を、右眼用インターリーブ画像を用いて推定し、補間する。また、画像補間部３０４は、右眼用インターリーブ画像内の欠落部分を、左眼用インターリーブ画像を用いて推定し、補間する。したがって、画像補間部３０４は、欠落部分が補間された左眼用画像と右眼用画像とを生成する。なお、補間の際に考慮される両眼視差には、眼間距離等に基づいて予め決定された値（パラメータ）を用いることができる。   The image interpolation unit 304 uses the left-eye interleaved image and the right-eye interleaved image to interpolate a missing portion due to interleaving in the left-eye interleaved image and the right-eye interleaved image. The image interpolation unit 304 interpolates the left-eye interleaved image and the right-eye interleaved image in consideration of binocular parallax, for example. That is, the image interpolation unit 304 estimates and interpolates a missing portion in the left-eye interleaved image using the right-eye interleaved image. Further, the image interpolation unit 304 estimates and interpolates a missing portion in the right-eye interleaved image using the left-eye interleaved image. Therefore, the image interpolation unit 304 generates a left-eye image and a right-eye image in which the missing part is interpolated. A value (parameter) determined in advance based on the interocular distance or the like can be used for the binocular parallax considered in the interpolation.

なお、画像補間部３０４は、三次元モデル生成部３０３から出力される三次元モデルをさらに用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間してもよい。また、画像補間部３０４は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像及び右眼用インターリーブ画像内のインターリーブによる欠落部分を補間してもよい。一つ前のスケーリングされたインターリーブ画像４０４’は、映像信号生成部３０８により生成された映像信号（三次元映像コンテンツデータ５０１）において、現在（処理対象）のインターリーブ画像の一つ前のインターリーブ画像に対応する、スケーリングされたインターリーブ画像である。画像補間部３０４は、左眼用画像と右眼用画像とを走査線毎に交互に配置すること（インターリーブ）によって欠落した画素を、三次元モデルに基づいて補間する。そして、画像補間部３０４は、一つ前のスケーリングされたインターリーブ画像を参照フレームとして用いたブロックマッチングによって、補間した画素の画素値を更新し、補間された左眼用画像と補間された右眼用画像とを生成する。一つ前のスケーリングされたインターリーブ画像を用いて、補間した画素の画素値を更新することによって、処理対象のインターリーブ画像をより滑らかにスケーリングすることができる。画像補間部３０４は、補間された左眼用画像と補間された右眼用画像とをスケーリング部３０５に出力する。   Note that the image interpolation unit 304 may further use the three-dimensional model output from the three-dimensional model generation unit 303 to interpolate missing portions due to interleaving in the left-eye interleaved image and the right-eye interleaved image. Further, the image interpolation unit 304 may further use the previous scaled interleaved image 404 ′ to interpolate missing portions due to interleaving in the left-eye interleaved image and the right-eye interleaved image. The previous scaled interleaved image 404 ′ is converted into an interleaved image immediately preceding the current (processed) interleaved image in the video signal (3D video content data 501) generated by the video signal generating unit 308. Corresponding scaled interleaved image. The image interpolation unit 304 interpolates the missing pixels based on the three-dimensional model by alternately arranging the left-eye image and the right-eye image for each scanning line (interleaving). Then, the image interpolation unit 304 updates the pixel value of the interpolated pixel by block matching using the previous scaled interleaved image as a reference frame, and interpolates the interpolated left-eye image and the interpolated right-eye image. Images. By updating the pixel value of the interpolated pixel using the previous scaled interleaved image, the interleaved image to be processed can be scaled more smoothly. The image interpolation unit 304 outputs the interpolated left eye image and the interpolated right eye image to the scaling unit 305.

なお、補間に用いる三次元モデルは、画素毎の三次元位置を示す三次元データであってもよい。また、画像補間部３０４は、三次元モデルのみを用いて左眼用インターリーブ画像と右眼用インターリーブ画像とを補間してもよい。   Note that the three-dimensional model used for the interpolation may be three-dimensional data indicating a three-dimensional position for each pixel. The image interpolation unit 304 may interpolate the left-eye interleaved image and the right-eye interleaved image using only the three-dimensional model.

スケーリング部３０５は、画像補間部３０４から出力される、補間された左眼用画像と補間された右眼用画像とを第１の解像度から第２の解像度にスケーリングし、左眼用スケーリング画像と右眼用スケーリング画像とを生成する。すなわち、スケーリング部３０５は、補間された左眼用画像と補間された右眼用画像とを、これら左眼用画像及び右眼用画像が有する第１の解像度よりも高い、第２の解像度を有する左眼用スケーリング画像及び右眼用スケーリング画像に変換する。この第２の解像度は、例えば、三次元映像コンテンツデータ５０１を再生するためのウィンドウのサイズに応じた解像度である。したがって例えば、ウィンドウのサイズが変更される操作によって、この第２の解像度も変更される。スケーリング部３０５は、左眼用スケーリング画像と右眼用スケーリング画像とをインターリーブ画像生成部３０６に出力する。   The scaling unit 305 scales the interpolated left eye image and the interpolated right eye image output from the image interpolation unit 304 from the first resolution to the second resolution, A right-eye scaling image is generated. In other words, the scaling unit 305 sets the second resolution, which is higher than the first resolution of the left-eye image and the right-eye image, to the interpolated left-eye image and the interpolated right-eye image. The left eye scaling image and the right eye scaling image are converted. This second resolution is, for example, a resolution corresponding to the size of the window for reproducing the 3D video content data 501. Therefore, for example, the second resolution is also changed by an operation of changing the size of the window. The scaling unit 305 outputs the left-eye scaling image and the right-eye scaling image to the interleaved image generation unit 306.

インターリーブ画像生成部３０６は、スケーリング部３０５によって入力された左眼用スケーリング画像と右眼用スケーリング画像とを走査線毎に交互に配置したインターリーブ画像を生成する。インターリーブ画像生成部３０６は、例えば、インターリーブ画像内の奇数番目の走査線に、左眼用スケーリング画像内の奇数番目の走査線に対応する画素を配置し、インターリーブ画像内の偶数番目の走査線に、右眼用スケーリング画像内の偶数番目の走査線に対応する画素を配置する。これにより、三次元映像コンテンツデータ５０１に含まれるインターリーブ画像を、第１の解像度から第２の解像度に滑らかにスケーリングしたインターリーブ画像が生成される。インターリーブ画像生成部３０６は、生成したインターリーブ画像を画像出力部３０７に出力する。また、インターリーブ画像生成部３０６は、生成したインターリーブ画像を一つ前のスケーリングされたインターリーブ画像４０４’として保存する。   The interleaved image generation unit 306 generates an interleaved image in which the left-eye scaling image and the right-eye scaling image input by the scaling unit 305 are alternately arranged for each scanning line. For example, the interleaved image generation unit 306 arranges pixels corresponding to the odd-numbered scan lines in the left-eye scaling image on the odd-numbered scan lines in the interleaved image, and the even-numbered scan lines in the interleaved image. Pixels corresponding to even-numbered scanning lines in the right-eye scaling image are arranged. As a result, an interleaved image obtained by smoothly scaling the interleaved image included in the 3D video content data 501 from the first resolution to the second resolution is generated. The interleaved image generation unit 306 outputs the generated interleaved image to the image output unit 307. The interleaved image generation unit 306 stores the generated interleaved image as the previous scaled interleaved image 404 ′.

画像出力部３０７は、スケーリング判定部３０１から出力されるインターリーブ画像、又はインターリーブ画像生成部３０６から出力される、スケーリングされたインターリーブ画像をＬＣＤ１７に出力する。   The image output unit 307 outputs the interleaved image output from the scaling determination unit 301 or the scaled interleaved image output from the interleaved image generation unit 306 to the LCD 17.

ＬＣＤ１７は、入力されたインターリーブ画像を画面に表示する。
偏光フィルタ１９は、ＬＣＤ１７に表示されたインターリーブ画像を偏光する。偏光フィルタ１９は、例えば、奇数番目の走査線に対応する画像（左眼用画像）を第１の方向に偏光し、偶数番目の走査線に対応する画像（右眼用画像）を第２の方向に偏光する。このため、偏光フィルタ１９は、奇数番目の走査線に対応する位置に左眼用フィルタ１９Ａを備え、偶数番目の走査線に対応する位置に右眼用フィルタ１９Ｂを備える。左眼用フィルタ１９Ａと右眼用フィルタ１９Ｂとは、それぞれ異なる方向に画像を偏光する。すなわち、左眼用フィルタ１９Ａは左眼用画像を第１の方向に偏光し、右眼用フィルタ１９Ｂは右眼用画像を第２の方向に偏光する。 The LCD 17 displays the input interleaved image on the screen.
The polarizing filter 19 polarizes the interleaved image displayed on the LCD 17. For example, the polarization filter 19 polarizes the image corresponding to the odd-numbered scanning line (image for the left eye) in the first direction, and converts the image corresponding to the even-numbered scanning line (the image for the right eye) to the second. Polarize in direction. For this reason, the polarizing filter 19 includes a left-eye filter 19A at a position corresponding to an odd-numbered scanning line, and a right-eye filter 19B at a position corresponding to an even-numbered scanning line. The left eye filter 19A and the right eye filter 19B polarize images in different directions. That is, the left eye filter 19A polarizes the left eye image in the first direction, and the right eye filter 19B polarizes the right eye image in the second direction.

偏光眼鏡３１は、偏光された画像をフィルタリングして、必要な画像を抽出する。偏光眼鏡３１は、左眼用フィルタ３１Ａと右眼用フィルタ３１Ｂを備える。左眼用フィルタ３１Ａは、偏光された左眼用画像のみを透過する。一方、右眼用フィルタ３１Ａは、偏光された右眼用画像のみを透過する。ユーザは、偏光眼鏡３１を装着して偏光された画像を見ることで、左眼用画像を左眼で、右眼用画像を右眼で捉えることができる。つまり、ユーザは、偏光眼鏡３１を装着して偏光された画像を見ることで、三次元映像を観賞することができる。   The polarized glasses 31 filter a polarized image and extract a necessary image. The polarizing glasses 31 include a left eye filter 31A and a right eye filter 31B. The left-eye filter 31A transmits only the polarized left-eye image. On the other hand, the right-eye filter 31A transmits only the polarized right-eye image. By viewing the polarized image with the polarizing glasses 31 attached, the user can capture the left-eye image with the left eye and the right-eye image with the right eye. That is, the user can view the 3D video by wearing the polarizing glasses 31 and viewing the polarized image.

以上の構成により、コンテンツ再生アプリケーション２０２は、入力される三次元映像コンテンツデータ５０１に基づく映像信号の解像度（第１の解像度）と、該映像信号を表示するウィンドウのサイズ（第２の解像度）とが異なる際に、ウィンドウのサイズに応じて、該映像信号を滑らかにスケーリングすることができる。三次元映像コンテンツデータ５０１に基づく映像信号は、左眼用画像と右眼用画像とが走査線毎に交互に配置されたインターリーブ画像を含む。コンテンツ再生アプリケーション２０２は、インターリーブ画像内に配置された左眼用画像及び右眼用画像の各々で、インターリーブによって欠損している画像の部分を補間し、補間した画像を第１の解像度から第２の解像度にスケーリングすることによって、該インターリーブ画像を滑らかにスケーリングすることができる。   With the above configuration, the content reproduction application 202 has the resolution of the video signal (first resolution) based on the input 3D video content data 501 and the size of the window (second resolution) for displaying the video signal. Can be scaled smoothly according to the size of the window. The video signal based on the 3D video content data 501 includes an interleaved image in which left-eye images and right-eye images are alternately arranged for each scanning line. The content reproduction application 202 interpolates the portion of the image missing due to interleaving in each of the left eye image and the right eye image arranged in the interleaved image, and the interpolated image is converted from the first resolution to the second resolution. The interleaved image can be smoothly scaled by scaling to a resolution of.

なお、画像出力部３０７は、スケーリング部３０５から出力される、左眼用スケーリング画像と右眼用スケーリング画像とをＬＣＤ１７に出力してもよい。左眼用スケーリング画像及び右眼用スケーリング画像は、上述のように、インターリーブ画像内に配置された左眼用インターリーブ画像及び右眼用インターリーブ画像の各々で、インターリーブによって欠損している画素を補間し、補間した画像を第１の解像度から第２の解像度にスケーリングした画像である。画像出力部３０７は、ＬＣＤ１７に、左眼用スケーリング画像と右眼用スケーリング画像とを交互に（高速に）出力する。ユーザは、例えば、液晶シャッターメガネ（図示せず）を用いることで、左眼用スケーリング画像を左眼で、右眼用スケーリング画像を右眼で見ることができる。より具体的には、ユーザは、ＬＣＤ１７に左眼用スケーリング画像が表示されるときには左眼にのみ画像を透過し、ＬＣＤ１７に右眼用スケーリング画像が表示されるときには右眼にのみ画像を透過する機能を有する液晶シャッターメガネを用いることで、左眼用スケーリング画像を左眼で、右眼用スケーリング画像を右眼で見ることができる。すなわち、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に左眼用スケーリング画像と右眼用スケーリング画像とを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。   Note that the image output unit 307 may output the left-eye scaling image and the right-eye scaling image output from the scaling unit 305 to the LCD 17. As described above, the left-eye scaling image and the right-eye scaling image interpolate the missing pixels in the left-eye interleaved image and the right-eye interleaved image arranged in the interleaved image as described above. The image obtained by scaling the interpolated image from the first resolution to the second resolution. The image output unit 307 alternately outputs the left-eye scaling image and the right-eye scaling image to the LCD 17 (at high speed). For example, by using liquid crystal shutter glasses (not shown), the user can view the left eye scaling image with the left eye and the right eye scaling image with the right eye. More specifically, the user transmits the image only to the left eye when the left-eye scaling image is displayed on the LCD 17, and transmits the image only to the right eye when the right-eye scaling image is displayed on the LCD 17. By using the liquid crystal shutter glasses having the function, the left eye scaling image can be viewed with the left eye, and the right eye scaling image can be viewed with the right eye. That is, the content reproduction application 202 displays the left-eye scaling image and the right-eye scaling image alternately (at high speed) on the LCD 17, and the shutter in front of the user's left eye and the shutter in front of the right eye are: By opening and closing in synchronization with the display of the image, the user can perceive the video displayed on the screen as a three-dimensional image.

図４は、インターリーブ画像４０１をスケーリングすることによって歪みが生じる例を示す。図４では、インターリーブ画像４０１内に左眼用画像と右眼用画像とが走査線毎に交互に配置される。インターリーブ画像４０１では、例えば、奇数番目の走査線に左眼用画像が配置され、偶数番目の走査線に右眼用画像が配置される。したがって、インターリーブ画像４０１は、インターリーブされた左眼用画像（左眼用インターリーブ画像）４０１Ａとインターリーブされた右眼用画像（右眼用インターリーブ画像）４０１Ｂとを含む。左眼用インターリーブ画像４０１Ａでは、例えば、画像が描画される走査線が奇数番目に配置され、画像が描画されない走査線（図４中、斜線部分）が偶数番目に配置される。換言すると、左眼用インターリーブ画像４０１Ａでは、偶数番目の走査線に対応する画像が欠落する。また、右眼用インターリーブ画像４０１Ｂでは、例えば、画像が描画されない走査線が奇数番目に配置され、画像が描画される走査線が偶数番目に配置される。換言すると、右眼用インターリーブ画像４０１Ｂでは、奇数番目の走査線に対応する画像が欠落する。   FIG. 4 shows an example in which distortion is caused by scaling the interleaved image 401. In FIG. 4, the left eye image and the right eye image are alternately arranged in the interleaved image 401 for each scanning line. In the interleaved image 401, for example, the left-eye image is arranged on the odd-numbered scanning lines, and the right-eye image is arranged on the even-numbered scanning lines. Therefore, the interleaved image 401 includes an interleaved left-eye image (left-eye interleaved image) 401A and an interleaved right-eye image (right-eye interleaved image) 401B. In the left-eye interleaved image 401A, for example, scanning lines on which an image is drawn are arranged at odd numbers, and scanning lines (hatched portions in FIG. 4) where no image is drawn are arranged at even numbers. In other words, in the left-eye interleaved image 401A, an image corresponding to an even-numbered scan line is missing. In the interleaved image 401B for the right eye, for example, scanning lines on which no image is drawn are arranged at odd numbers, and scanning lines on which an image is drawn are arranged at even numbers. In other words, in the right-eye interleaved image 401B, an image corresponding to an odd-numbered scan line is missing.

左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとがスケーリングされた場合、それぞれ、スケーリングされた左眼用インターリーブ画像４０５Ａとスケーリングされた右眼用インターリーブ画像４０５Ｂとが生成される。例えば、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の走査線数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。   When the left-eye interleaved image 401A and the right-eye interleaved image 401B are scaled, a scaled left-eye interleaved image 405A and a scaled right-eye interleaved image 405B are generated. For example, a left-eye interleaved image 405A and a right-eye interleaved image 405B in which the number of scanning lines of each of the left-eye interleaved image 401A and the right-eye interleaved image 401B is doubled are generated.

次いで、これらスケーリングされた左眼用インターリーブ画像４０５Ａ及び右眼用インターリーブ画像４０５Ｂに対して、再度インターリーブを行った場合、画像が描画される走査線と画像が描画されない走査線とが交互に配置された左眼用インターリーブ画像４０６Ａと右眼用インターリーブ画像４０６Ｂとが生成される。例えば、スケーリングされた左眼用インターリーブ画像４０５Ａにおいて、隣接する、偶数番目に配置され且つ画像が描画された走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画されない走査線（例えば、上から３番目の走査線）とが置き換えられ、左眼用インターリーブ画像４０６Ａが生成される。また例えば、スケーリングされた右眼用インターリーブ画像４０５Ｂにおいて、隣接する、偶数番目に配置され且つ画像が描画されない走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画される走査線（例えば、上から３番目の走査線）とが置き換えられ、右眼用インターリーブ画像４０６Ｂが生成される。   Next, when the interleaved image 405A for the left eye and the interleaved image for the right eye 405B that have been scaled are interleaved again, the scanning lines on which the image is drawn and the scanning lines on which the image is not drawn are alternately arranged. A left-eye interleaved image 406A and a right-eye interleaved image 406B are generated. For example, in the scaled left-eye interleaved image 405A, the adjacent even-numbered even-numbered scanning lines on which the image is drawn (for example, the second scanning line from the top), and the odd-numbered-numbered scanning lines and the image are arranged. A scanning line that is not drawn (for example, the third scanning line from the top) is replaced, and a left-eye interleaved image 406A is generated. Also, for example, in the scaled right-eye interleaved image 405B, adjacent scan lines that are arranged evenly and on which no image is drawn (for example, the second scan line from the top) and odd-numbered and that the image is arranged The drawn scanning line (for example, the third scanning line from the top) is replaced, and the right-eye interleaved image 406B is generated.

インターリーブ画像４０１に対して、上述のようなスケーリング及び再インターリーブを施す場合、本来の位置とは異なる位置に走査線が配置されるため、インターリーブ画像４０６Ａ，４０６Ｂのように画像（画像内に描画されたオブジェクト等）に歪みが生じる可能性がある。そのため本実施形態では、図５に示す例のように、インターリーブ画像４０１を滑らかにスケーリングする。   When the above-described scaling and re-interleaving are performed on the interleaved image 401, the scanning lines are arranged at positions different from the original positions, so that images (drawn in the image) are displayed as the interleaved images 406A and 406B. May be distorted. Therefore, in this embodiment, the interleaved image 401 is smoothly scaled as in the example illustrated in FIG.

図５でも、図４と同様に、インターリーブ画像４０１内に左眼用画像４０１Ａと右眼用画像４０１Ｂとが走査線毎に交互に配置される。インターリーブ画像４０１では、例えば、奇数番目の走査線に左眼用画像４０１Ａが配置され、偶数番目の走査線に右眼用画像４０１Ｂが配置される。したがって、インターリーブ画像４０１は、インターリーブされた左眼用画像（左眼用インターリーブ画像）４０１Ａとインターリーブされた右眼用画像（右眼用インターリーブ画像）４０１Ｂとを含む。左眼用インターリーブ画像４０１Ａでは、例えば、画像が描画される走査線が奇数番目に配置され、画像が描画されない走査線（図４中、斜線部分）が偶数番目に配置される。換言すると、左眼用インターリーブ画像４０１Ａでは、偶数番目の走査線に対応する画像が欠落する。また、右眼用インターリーブ画像４０１Ｂでは、例えば、画像が描画されない走査線が奇数番目に配置され、画像が描画される走査線が偶数番目に配置される。換言すると、右眼用インターリーブ画像４０１Ｂでは、奇数番目の走査線に対応する画像が欠落する。   Also in FIG. 5, as in FIG. 4, the left eye image 401 </ b> A and the right eye image 401 </ b> B are alternately arranged for each scanning line in the interleaved image 401. In the interleaved image 401, for example, the left eye image 401A is arranged on the odd-numbered scanning lines, and the right eye image 401B is arranged on the even-numbered scanning lines. Therefore, the interleaved image 401 includes an interleaved left-eye image (left-eye interleaved image) 401A and an interleaved right-eye image (right-eye interleaved image) 401B. In the left-eye interleaved image 401A, for example, scanning lines on which an image is drawn are arranged at odd numbers, and scanning lines (hatched portions in FIG. 4) where no image is drawn are arranged at even numbers. In other words, in the left-eye interleaved image 401A, an image corresponding to an even-numbered scan line is missing. In the interleaved image 401B for the right eye, for example, scanning lines on which no image is drawn are arranged at odd numbers, and scanning lines on which an image is drawn are arranged at even numbers. In other words, in the right-eye interleaved image 401B, an image corresponding to an odd-numbered scan line is missing.

コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分を補間する。コンテンツ再生アプリケーション２０２は、例えば両眼視差を考慮して左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する。つまり、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ内の欠落部分、すなわち、偶数番目の走査線に対応する画素を、視差を考慮して右眼用インターリーブ画像４０１Ｂで補間する。また、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂ内の欠落部分、すなわち、奇数番目の走査線に対応する画素を、視差を考慮して左眼用インターリーブ画像４０１Ａで補間する。これにより、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分が補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを生成する。   The content reproduction application 202 uses the left-eye interleaved image 401A and the right-eye interleaved image 401B to interpolate a missing portion due to interleaving in the left-eye interleaved image 401A and the right-eye interleaved image 401B. The content reproduction application 202 interpolates the left-eye interleaved image 401A and the right-eye interleaved image 401B in consideration of, for example, binocular parallax. That is, the content reproduction application 202 interpolates the missing portion in the left-eye interleaved image 401A, that is, the pixel corresponding to the even-numbered scan line, with the right-eye interleaved image 401B in consideration of parallax. In addition, the content reproduction application 202 interpolates the missing portion in the right-eye interleaved image 401B, that is, the pixel corresponding to the odd-numbered scan line, with the left-eye interleaved image 401A in consideration of parallax. Accordingly, the content reproduction application 202 generates a left-eye image 402A and a right-eye image 402B in which missing portions in the left-eye interleaved image 401A and the right-eye interleaved image 401B are interpolated.

なお、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとから推定した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの欠落部分を補間してもよい。また、コンテンツ再生アプリケーション２０２は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分を補間してもよい。   Note that the content reproduction application 202 interpolates the missing portions of the left-eye interleaved image 401A and the right-eye interleaved image 401B using the three-dimensional model estimated from the left-eye interleaved image 401A and the right-eye interleaved image 401B. May be. In addition, the content reproduction application 202 may further use the previous scaled interleaved image 404 ′ to interpolate a missing portion in the left-eye interleaved image 401 A and the right-eye interleaved image 401 B.

次いで、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂをそれぞれスケーリングし、再度インターリーブして、スケーリングされた左眼用インターリーブ画像４０４Ａ及びスケーリングされた右眼用インターリーブ画像４０４Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線に、補間された左眼用画像４０２Ａの奇数番目の走査線に対応する画素を配置し、左眼用インターリーブ画像４０４Ａの偶数番目の走査線に、画像の描画されない画素を配置する。また、コンテンツ再生アプリケーション２０２は、例えば、右眼用インターリーブ画像４０４Ｂの偶数番目の走査線に、補間された右眼用画像４０２Ｂの偶数番目の走査線に対応する画素を配置し、右眼用インターリーブ画像４０４Ｂの奇数番目の走査線に、画像の描画されない画素を配置する。上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間した後に、スケーリング及び再インターリーブを施すことにより、インターリーブ画像４０１を滑らかにスケーリングすることができる。なお、ＬＣＤ１７には、左眼用インターリーブ画像４０４Ａと右眼用インターリーブ画像４０４Ｂとを重ね合わせたインターリーブ画像４０４が表示される。すなわち、コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線と右眼用インターリーブ画像４０４Ｂの偶数番目の走査線とが交互に配置されたインターリーブ画像４０４をＬＣＤ１７に表示する。   Next, the content playback application 202 scales the interpolated left-eye image 402A and the interpolated right-eye image 402B, respectively, and re-interleaves the scaled left-eye interleaved image 404A and the scaled right-eye. Interleaved image 404B is generated. For example, the content reproduction application 202 arranges pixels corresponding to the odd-numbered scan lines of the interpolated left-eye image 402A on the odd-numbered scan lines of the left-eye interleaved image 404A, and the left-eye interleaved image 404A. Pixels on which no image is drawn are arranged on the even-numbered scan lines. Further, the content reproduction application 202 arranges pixels corresponding to the even-numbered scan lines of the interpolated right-eye image 402B on the even-numbered scan lines of the right-eye interleaved image 404B, for example, and interleaves the right eye. Pixels on which an image is not drawn are arranged on odd-numbered scanning lines of the image 404B. As described above, the interleaved image 401 can be smoothly scaled by interpolating the left-eye interleaved image 401A and the right-eye interleaved image 401B and then performing scaling and reinterleaving. The LCD 17 displays an interleaved image 404 in which the left-eye interleaved image 404A and the right-eye interleaved image 404B are superimposed. That is, the content reproduction application 202 displays, for example, the interleaved image 404 in which the odd-numbered scan lines of the left-eye interleaved image 404A and the even-numbered scan lines of the right-eye interleaved image 404B are alternately arranged on the LCD 17. .

なお、コンテンツ再生アプリケーション２０２は、時分割方式に対応した画像をＬＣＤ１７に表示することもできる。その場合、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングする。そして、コンテンツ再生アプリケーション２０２は、スケーリングされた左眼用画像４０２Ａと右眼用画像４０２Ｂとを、交互にＬＣＤ１７に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。より具体的には、ユーザは、ＬＣＤ１７に左眼用画像が表示されるときには左眼にのみ画像を透過し、ＬＣＤ１７に右眼用画像が表示されるときには右眼にのみ画像を透過する機能を有する液晶シャッターメガネを用いることで、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。すなわち、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に、左眼用画像と右眼用画像とを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。   The content playback application 202 can also display an image corresponding to the time division method on the LCD 17. In this case, the content reproduction application 202 scales the interpolated left eye image 402A and right eye image 402B from the first resolution to the second resolution. Then, the content reproduction application 202 alternately displays the scaled left-eye image 402A and the right-eye image 402B on the LCD 17. For example, by using liquid crystal shutter glasses, the user can view the left-eye image with the left eye and the right-eye image with the right eye. More specifically, the user has a function of transmitting the image only to the left eye when the left eye image is displayed on the LCD 17 and transmitting the image only to the right eye when the right eye image is displayed on the LCD 17. By using the liquid crystal shutter glasses, the left eye image can be viewed with the left eye and the right eye image can be viewed with the right eye. That is, the content reproduction application 202 alternately displays the left-eye image and the right-eye image on the LCD 17 (at high speed), and the shutter in front of the user's left eye and the shutter in front of the right eye By opening and closing in synchronization with the display, the user can perceive the image displayed on the screen as a three-dimensional image.

次いで、図６乃至図８を参照して、インターリーブ画像４０１をスケーリングする詳細な例について説明する。
図６は、コンテンツ再生アプリケーション２０２に入力されるインターリーブ画像４０１が作成される例を示す。コンテンツ再生アプリケーション２０２には、両眼視差を考慮して作成された左眼用画像４０７Ａと右眼用画像４０７Ｂとを、走査線毎に交互に配置して作成されたインターリーブ画像４０１が入力される。図６に示すインターリーブ画像４０１では、奇数番目の走査線に、左眼用画像４０７Ａ内の対応する走査線が配置され、偶数番目の走査線に、右眼用画像４０７Ｂ内の対応する走査線が配置される。したがって、インターリーブ画像４０１では、例えば、左眼用画像４０７Ａの偶数番目の走査線に対応する画素、及び右眼用画像４０７Ｂの奇数番目の走査線に対応する画素は欠落する。上述のように作成されたインターリーブ画像４０１を偏光フィルタ１９で覆われたＬＣＤ１７に表示し、偏光眼鏡３１を用いて観賞することによって、ユーザは三次元映像を知覚することができる。 Next, a detailed example of scaling the interleaved image 401 will be described with reference to FIGS.
FIG. 6 shows an example in which an interleaved image 401 input to the content reproduction application 202 is created. The content reproduction application 202 receives an interleaved image 401 created by alternately arranging left-eye images 407A and right-eye images 407B created in consideration of binocular parallax for each scanning line. . In the interleaved image 401 shown in FIG. 6, the corresponding scan lines in the left-eye image 407A are arranged on the odd-numbered scan lines, and the corresponding scan lines in the right-eye image 407B are arranged on the even-numbered scan lines. Be placed. Therefore, in the interleaved image 401, for example, pixels corresponding to even-numbered scanning lines of the left-eye image 407A and pixels corresponding to odd-numbered scanning lines of the right-eye image 407B are missing. By displaying the interleaved image 401 created as described above on the LCD 17 covered with the polarizing filter 19 and viewing it using the polarizing glasses 31, the user can perceive a three-dimensional image.

図７は、図６に示したインターリーブ画像４０１をスケーリングすることによって歪みが生じる例を示す。インターリーブ画像４０１は、上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを含む。なお、図７に斜線で示される領域は、インターリーブによって画像が欠落している領域を示す。図７の左眼用インターリーブ画像４０１Ａでは、画像が表示される奇数番目の走査線と、画像が表示されない（画像が欠落した）偶数番目の走査線とが交互に配置されている。また、図７の右眼用インターリーブ画像４０１Ｂでは、画像が表示されない（画像が欠落した）奇数番目の走査線と、画像が表示される偶数番目の走査線とが交互に配置されている。   FIG. 7 shows an example in which distortion is caused by scaling the interleaved image 401 shown in FIG. As described above, the interleaved image 401 includes the left-eye interleaved image 401A and the right-eye interleaved image 401B. In addition, the area | region shown with the oblique line in FIG. 7 shows the area | region where the image is missing by interleaving. In the left-eye interleaved image 401A in FIG. 7, odd-numbered scanning lines in which an image is displayed and even-numbered scanning lines in which no image is displayed (an image is missing) are alternately arranged. In the right-eye interleaved image 401B in FIG. 7, odd-numbered scanning lines in which no image is displayed (images are missing) and even-numbered scanning lines in which images are displayed are alternately arranged.

これら左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとにスケーリングを施した場合、スケーリングされた左眼用インターリーブ画像４０５Ａとスケーリングされた右眼用インターリーブ画像４０５Ｂとが生成される。例えば、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の水平方向及び垂直方向の画素数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。換言すると、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々の走査線数が２倍に増加した左眼用インターリーブ画像４０５Ａと右眼用インターリーブ画像４０５Ｂとが生成される。   When the left-eye interleaved image 401A and the right-eye interleaved image 401B are scaled, a scaled left-eye interleaved image 405A and a scaled right-eye interleaved image 405B are generated. For example, a left-eye interleaved image 405A and a right-eye interleaved image 405B in which the number of pixels in the horizontal direction and the vertical direction of each of the left-eye interleaved image 401A and the right-eye interleaved image 401B are doubled are generated. . In other words, a left-eye interleaved image 405A and a right-eye interleaved image 405B in which the number of scanning lines of each of the left-eye interleaved image 401A and the right-eye interleaved image 401B is doubled are generated.

次いで、これらスケーリングされた左眼用インターリーブ画像４０５Ａ及び右眼用インターリーブ画像４０５Ｂに対して、再度インターリーブを行った場合、画像が描画される走査線と画像が描画されない走査線とが交互に配置された左眼用インターリーブ画像４０６Ａと右眼用インターリーブ画像４０６Ｂとが生成される。例えば、スケーリングされた左眼用インターリーブ画像４０５Ａにおいて、隣接する、偶数番目に配置され且つ画像が描画された走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画されない走査線（例えば、上から３番目の走査線）とが置き換えられ、左眼用インターリーブ画像４０６Ａが生成される。また例えば、スケーリングされた右眼用インターリーブ画像４０５Ｂにおいて、隣接する、偶数番目に配置され且つ画像が描画されない走査線（例えば、上から２番目の走査線）と、奇数番目に配置され且つ画像が描画される走査線（例えば、上から３番目の走査線）とが置き換えられ、右眼用インターリーブ画像４０６Ｂが生成される。   Next, when the interleaved image 405A for the left eye and the interleaved image for the right eye 405B that have been scaled are interleaved again, the scanning lines on which the image is drawn and the scanning lines on which the image is not drawn are alternately arranged. A left-eye interleaved image 406A and a right-eye interleaved image 406B are generated. For example, in the scaled left-eye interleaved image 405A, the adjacent even-numbered even-numbered scanning lines on which the image is drawn (for example, the second scanning line from the top), and the odd-numbered-numbered scanning lines and the image are arranged. A scanning line that is not drawn (for example, the third scanning line from the top) is replaced, and a left-eye interleaved image 406A is generated. Also, for example, in the scaled right-eye interleaved image 405B, adjacent scan lines that are arranged evenly and on which no image is drawn (for example, the second scan line from the top) and odd-numbered and that the image is arranged The drawn scanning line (for example, the third scanning line from the top) is replaced, and the right-eye interleaved image 406B is generated.

インターリーブ画像４０１に対して、上述のようなスケーリング及び再インターリーブを施す場合、本来の位置とは異なる位置に走査線が配置されるため、インターリーブ画像４０６Ａ，４０６Ｂのように画像（画像内に描画されたオブジェクト等）に歪みが生じる可能性がある。   When the above-described scaling and re-interleaving are performed on the interleaved image 401, the scanning lines are arranged at positions different from the original positions, so that images (drawn in the image) are displayed as the interleaved images 406A and 406B. May be distorted.

図８は、コンテンツ再生アプリケーション２０２によって、図６に示したインターリーブ画像４０１を滑らかにスケーリングする例を示す。図７と同様に、インターリーブ画像４０１は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを含む。なお、図８に斜線で示される領域は、インターリーブによって画像が欠落している領域を示す。図８の左眼用インターリーブ画像４０１Ａでは、画像が表示される奇数番目の走査線と、画像が表示されない（画像が欠落した）偶数番目の走査線とが交互に配置されている。また、図８の右眼用インターリーブ画像４０１Ｂでは、画像が表示されない（画像が欠落した）奇数番目の走査線と、画像が表示される偶数番目の走査線とが交互に配置されている。   FIG. 8 shows an example in which the content reproduction application 202 smoothly scales the interleaved image 401 shown in FIG. Similar to FIG. 7, the interleaved image 401 includes a left-eye interleaved image 401A and a right-eye interleaved image 401B. In addition, the area | region shown with the oblique line in FIG. 8 shows the area | region where the image is missing by interleaving. In the left-eye interleaved image 401A in FIG. 8, odd-numbered scanning lines in which an image is displayed and even-numbered scanning lines in which no image is displayed (an image is missing) are alternately arranged. In the right-eye interleaved image 401B in FIG. 8, odd-numbered scanning lines in which no image is displayed (images are missing) and even-numbered scanning lines in which an image is displayed are alternately arranged.

左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分（図８中、斜線部分）を補間する。コンテンツ再生アプリケーション２０２は、例えば両眼視差を考慮して左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する。つまり、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ内の欠落部分、すなわち、偶数番目の走査線に対応する画素を、視差を考慮して右眼用インターリーブ画像４０１Ｂで補間する。また、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂ内の欠落部分、すなわち、奇数番目の走査線に対応する画素を、視差を考慮して左眼用インターリーブ画像４０１Ａで補間する。これにより、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ａ内の欠落部分が補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを生成する。   The left-eye interleaved image 401A and the right-eye interleaved image 401B are interpolated using the left-eye interleaved image 401A and the right-eye interleaved image 401B to interpolate a missing portion (hatched portion in FIG. 8). The content reproduction application 202 interpolates the left-eye interleaved image 401A and the right-eye interleaved image 401B in consideration of, for example, binocular parallax. That is, the content reproduction application 202 interpolates the missing portion in the left-eye interleaved image 401A, that is, the pixel corresponding to the even-numbered scan line, with the right-eye interleaved image 401B in consideration of parallax. In addition, the content reproduction application 202 interpolates the missing portion in the right-eye interleaved image 401B, that is, the pixel corresponding to the odd-numbered scan line, with the left-eye interleaved image 401A in consideration of parallax. As a result, the content reproduction application 202 generates a left-eye image 402A and a right-eye image 402B in which missing portions in the left-eye interleaved image 401A and the right-eye interleaved image 401A are interpolated.

なお、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとから推定した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの欠落部分を補間してもよい。また、コンテンツ再生アプリケーション２０２は、一つ前のスケーリングされたインターリーブ画像４０４’をさらに用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内の欠落部分を補間してもよい。   Note that the content reproduction application 202 interpolates the missing portions of the left-eye interleaved image 401A and the right-eye interleaved image 401B using the three-dimensional model estimated from the left-eye interleaved image 401A and the right-eye interleaved image 401B. May be. In addition, the content reproduction application 202 may further use the previous scaled interleaved image 404 ′ to interpolate a missing portion in the left-eye interleaved image 401 A and the right-eye interleaved image 401 B.

次いで、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂをそれぞれスケーリングし、スケーリングされた左眼用画像４０３Ａ及びスケーリングされた右眼用画像４０３Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂの水平方向及び垂直方向の画素数が、それぞれ２倍に増加した左眼用画像４０３Ａ及び右眼用画像４０３Ｂを生成する。換言すると、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａ及び補間された右眼用画像４０２Ｂの走査線数が２倍に増加した左眼用画像４０３Ａ及び右眼用画像４０３Ｂを生成する。   Next, the content reproduction application 202 scales the interpolated left eye image 402A and the interpolated right eye image 402B, respectively, and generates a scaled left eye image 403A and a scaled right eye image 403B. . The content reproduction application 202, for example, the left eye image 403A and the right eye in which the number of pixels in the horizontal direction and the vertical direction of the interpolated left eye image 402A and the interpolated right eye image 402B is doubled, respectively. A work image 403B is generated. In other words, the content reproduction application 202 generates the left eye image 403A and the right eye image 403B in which the number of scanning lines of the interpolated left eye image 402A and the interpolated right eye image 402B is doubled. .

コンテンツ再生アプリケーション２０２は、スケーリングされた左眼用画像４０３Ａとスケーリングされた右眼用画像４０３Ｂとを再度インターリーブして、スケーリングされた左眼用インターリーブ画像４０４Ａ及びスケーリングされた右眼用インターリーブ画像４０４Ｂを生成する。コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線に、補間された左眼用画像４０２Ａの奇数番目の走査線に対応する画素を配置し、左眼用インターリーブ画像４０４Ａの偶数番目の走査線に、画像の描画されない画素を配置する。また、コンテンツ再生アプリケーション２０２は、例えば、右眼用インターリーブ画像４０４Ｂの偶数番目の走査線に、補間された右眼用画像４０２Ｂの偶数番目の走査線に対応する画素を配置し、右眼用インターリーブ画像４０４Ｂの奇数番目の走査線に、画像の描画されない画素を配置する。上述のように、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間した後に、スケーリング及び再インターリーブを施すことにより、インターリーブ画像４０１を滑らかにスケーリングすることができる。なお、ＬＣＤ１７には、左眼用インターリーブ画像４０４Ａと右眼用インターリーブ画像４０４Ｂとを重ね合わせたインターリーブ画像４０４が表示される。すなわち、コンテンツ再生アプリケーション２０２は、例えば、左眼用インターリーブ画像４０４Ａの奇数番目の走査線と右眼用インターリーブ画像４０４Ｂの偶数番目の走査線とが交互に配置されたインターリーブ画像４０４をＬＣＤ１７に表示する。   The content reproduction application 202 re-interleaves the scaled left eye image 403A and the scaled right eye image 403B, and the scaled left eye interleave image 404A and the scaled right eye interleave image 404B. Generate. For example, the content reproduction application 202 arranges pixels corresponding to the odd-numbered scan lines of the interpolated left-eye image 402A on the odd-numbered scan lines of the left-eye interleaved image 404A, and the left-eye interleaved image 404A. Pixels on which no image is drawn are arranged on the even-numbered scan lines. Further, the content reproduction application 202 arranges pixels corresponding to the even-numbered scan lines of the interpolated right-eye image 402B on the even-numbered scan lines of the right-eye interleaved image 404B, for example, and interleaves the right eye. Pixels on which an image is not drawn are arranged on odd-numbered scanning lines of the image 404B. As described above, the interleaved image 401 can be smoothly scaled by interpolating the left-eye interleaved image 401A and the right-eye interleaved image 401B and then performing scaling and reinterleaving. The LCD 17 displays an interleaved image 404 in which the left-eye interleaved image 404A and the right-eye interleaved image 404B are superimposed. That is, the content reproduction application 202 displays, for example, the interleaved image 404 in which the odd-numbered scan lines of the left-eye interleaved image 404A and the even-numbered scan lines of the right-eye interleaved image 404B are alternately arranged on the LCD 17. .

なお、上述のように、コンテンツ再生アプリケーション２０２は、時分割方式に対応した画像をＬＣＤ１７に表示することもできる。その場合、コンテンツ再生アプリケーション２０２は、補間してスケーリングされた左眼用画像４０３Ａ及び右眼用画像４０３Ｂを、交互にＬＣＤ１７に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像４０３Ａを左眼で、右眼用画像４０３Ｂを右眼で見ることができる。したがって、コンテンツ再生アプリケーション２０２が、ＬＣＤ１７に、左眼用画像４０３Ａと右眼用画像４０３Ｂとを交互に（高速に）表示し、ユーザの左眼の前のシャッターと右眼の前のシャッターとが、画像の表示と同期して開閉されることにより、ユーザは、画面に表示される映像を立体として知覚することができる。   As described above, the content reproduction application 202 can also display an image corresponding to the time division method on the LCD 17. In this case, the content reproduction application 202 alternately displays the left-eye image 403A and the right-eye image 403B that have been interpolated and scaled on the LCD 17. For example, by using liquid crystal shutter glasses, the user can view the left-eye image 403A with the left eye and the right-eye image 403B with the right eye. Therefore, the content reproduction application 202 displays the left-eye image 403A and the right-eye image 403B alternately (at high speed) on the LCD 17, and the shutter in front of the user's left eye and the shutter in front of the right eye are displayed. By opening and closing in synchronization with the display of the image, the user can perceive the video displayed on the screen as a three-dimensional image.

次いで、図９のフローチャートを参照して、映像処理装置１０によって実行される映像表示処理の手順の例を説明する。   Next, an example of the procedure of video display processing executed by the video processing device 10 will be described with reference to the flowchart of FIG.

まず、コンテンツ再生アプリケーション２０２は、再生対象の三次元映像コンテンツデータ５０１を選択する（ステップＳ１０１）。再生対象の映像コンテンツデータ５０１は、例えば、ＧＵＩ等を用いてユーザによって指定される。そして、コンテンツ再生アプリケーション２０２は、再生対象の映像コンテンツデータ５０１を再生し、ＬＣＤ１７に表示する映像の映像信号を生成する（ステップＳ１０２）。   First, the content playback application 202 selects 3D video content data 501 to be played back (step S101). The video content data 501 to be reproduced is designated by the user using a GUI or the like, for example. Then, the content playback application 202 plays back the video content data 501 to be played back, and generates a video signal of a video to be displayed on the LCD 17 (step S102).

次いで、コンテンツ再生アプリケーション２０２は、生成した映像信号に対してスケーリング処理を施す必要があるか否かを判定する（ステップＳ１０３）。コンテンツ再生アプリケーション２０２は、例えば、生成した映像信号の解像度と、映像信号（三次元映像コンテンツデータ５０１）を表示するウィンドウのサイズ（解像度）とが異なる際に、生成した映像信号に対してスケーリング処理を施す必要があると判定する。   Next, the content reproduction application 202 determines whether or not it is necessary to perform scaling processing on the generated video signal (step S103). For example, when the resolution of the generated video signal and the size (resolution) of the window for displaying the video signal (3D video content data 501) are different, the content reproduction application 202 performs a scaling process on the generated video signal. Is determined to be necessary.

生成した映像信号に対してスケーリング処理を施す必要がある場合（ステップＳ１０３のＹＥＳ）、コンテンツ再生アプリケーション２０２は、映像信号に対してスケーリング処理を施す（ステップＳ１０４）。スケーリング処理の手順の詳細については、図１０を参照して後述する。   When the generated video signal needs to be subjected to scaling processing (YES in step S103), the content reproduction application 202 performs scaling processing on the video signal (step S104). Details of the procedure of the scaling process will be described later with reference to FIG.

映像信号に対してスケーリング処理が施された後、又は生成した映像信号に対してスケーリング処理を施す必要がない場合（ステップＳ１０３のＮＯ）、コンテンツ再生アプリケーション２０２は、生成した映像信号をＬＣＤ１７に出力する（ステップＳ１０５）。   After the scaling process is performed on the video signal or when it is not necessary to perform the scaling process on the generated video signal (NO in step S103), the content reproduction application 202 outputs the generated video signal to the LCD 17 (Step S105).

次いで、ＬＣＤ１７は、入力された映像信号に基づいて、映像を表示する（ステップＳ１０６）。再生対象の映像コンテンツデータが三次元映像を表示するための映像コンテンツデータである場合には、例えば、奇数番目の走査線に左眼用映像の画素が表示され、偶数番目の走査線に右眼用映像の画素が表示される。   Next, the LCD 17 displays a video based on the input video signal (step S106). When the video content data to be reproduced is video content data for displaying 3D video, for example, pixels of the left-eye video are displayed on the odd-numbered scan lines, and the right-eye is displayed on the even-numbered scan lines. The image pixels are displayed.

偏光フィルタ１９は、ＬＣＤ１７に表示された映像を偏光する（ステップＳ１０７）。偏光フィルタ１９は、例えば、奇数番目の走査線に対応する映像を第１の方向に偏光し、偶数番目の走査線に対応する映像を第２の方向に偏光する。換言すると、偏光フィルタ１９は、左眼用フィルタ１９Ａにより左眼用映像を偏光し、右眼用フィルタ１９Ｂにより右眼用映像を偏光する。   The polarizing filter 19 polarizes the image displayed on the LCD 17 (step S107). For example, the polarization filter 19 polarizes an image corresponding to an odd-numbered scanning line in a first direction and polarizes an image corresponding to an even-numbered scanning line in a second direction. In other words, the polarizing filter 19 polarizes the left-eye image by the left-eye filter 19A, and polarizes the right-eye image by the right-eye filter 19B.

偏光眼鏡３１は、偏光された左眼用映像を左眼用フィルタ３１Ａにより透過し、偏光された右眼用映像を右眼用フィルタ３１Ａにより透過する（ステップＳ１０８）。ユーザは、偏光眼鏡３１を用いて偏光された映像を観賞することで、左眼用映像を左眼で、右眼用映像を右眼で見ることができる。したがって、再生対象の映像コンテンツデータが三次元映像を表示するための映像コンテンツデータである場合、ユーザは偏光眼鏡３１を装着して偏光された映像を見ることで、三次元映像を観賞することができる。また、ユーザは、ウィンドウのサイズに応じてスケーリングされた三次元映像を観賞することができる。   The polarized glasses 31 transmit the polarized left-eye image through the left-eye filter 31A, and transmit the polarized right-eye image through the right-eye filter 31A (step S108). By viewing the polarized image using the polarizing glasses 31, the user can view the left-eye image with the left eye and the right-eye image with the right eye. Therefore, when the video content data to be reproduced is video content data for displaying a 3D video, the user can watch the 3D video by wearing the polarizing glasses 31 and viewing the polarized video. it can. Further, the user can view a 3D image scaled according to the size of the window.

次いで、図１０を参照して、コンテンツ再生アプリケーション２０２によるスケーリング処理の手順の例を説明する。コンテンツ再生アプリケーション２０２は、三次元映像コンテンツデータ５０１に基づいて生成された映像信号に含まれるインターリーブ画像（フレーム）に対して順次、スケーリング処理を施す。   Next, an example of the procedure of the scaling process performed by the content reproduction application 202 will be described with reference to FIG. The content reproduction application 202 sequentially performs scaling processing on the interleaved image (frame) included in the video signal generated based on the 3D video content data 501.

まず、コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１から左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを抽出する（ステップＳ２０１）。コンテンツ再生アプリケーション２０２は、例えば、インターリーブ画像４０１内の奇数番目の走査線に対応する左眼用インターリーブ画像４０１Ａと、インターリーブ画像４０１内の偶数番目の走査線に対応する右眼用インターリーブ画像４０１Ｂとを抽出する。   First, the content reproduction application 202 extracts a left-eye interleaved image 401A and a right-eye interleaved image 401B from the interleaved image 401 (step S201). For example, the content reproduction application 202 generates a left-eye interleaved image 401A corresponding to an odd-numbered scan line in the interleaved image 401 and a right-eye interleaved image 401B corresponding to an even-numbered scan line in the interleaved image 401. Extract.

次いで、コンテンツ再生アプリケーション２０２は、左眼用インターリーブ画像４０１Ａを用いて、第１の三次元モデルを生成する（ステップＳ２０２）。コンテンツ再生アプリケーション２０２は、例えば、画像内の各画素の奥行きを推定する技術を用いて、左眼用インターリーブ画像４０１Ａに対応する第１の三次元モデルを生成する。同様に、コンテンツ再生アプリケーション２０２は、右眼用インターリーブ画像４０１Ｂを用いて、第２の三次元モデルを生成する（ステップＳ２０３）。コンテンツ再生アプリケーション２０２は、例えば、画像内の各画素の奥行きを推定する技術を用いて、右眼用インターリーブ画像４０１Ｂに対応する第２の三次元モデルを生成する。そして、コンテンツ再生アプリケーション２０２は、第１の三次元モデルと第２の三次元モデルとを両眼視差を考慮して統合した三次元モデルを生成する（ステップＳ２０４）。   Next, the content reproduction application 202 generates a first three-dimensional model using the left-eye interleaved image 401A (step S202). The content reproduction application 202 generates, for example, a first three-dimensional model corresponding to the left-eye interleaved image 401A using a technique for estimating the depth of each pixel in the image. Similarly, the content reproduction application 202 generates a second three-dimensional model using the right-eye interleaved image 401B (step S203). The content reproduction application 202 generates a second three-dimensional model corresponding to the right-eye interleaved image 401B, for example, using a technique for estimating the depth of each pixel in the image. Then, the content reproduction application 202 generates a three-dimensional model in which the first three-dimensional model and the second three-dimensional model are integrated in consideration of binocular parallax (step S204).

次いで、コンテンツ再生アプリケーション２０２は、処理対象のインターリーブ画像４０１が、映像信号（三次元映像コンテンツデータ５０１）の先頭フレームであるか否かを判定する。処理対象のインターリーブ画像４０１が映像信号の先頭フレームでない場合（ステップＳ２０５のＮＯ）、コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルと、処理対象のインターリーブ画像４０１の一つ前のスケーリングされたインターリーブ画像４０４’とを用いて、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂ内のインターリーブによる欠落部分を補間する（ステップＳ２０６）。コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルと、処理対象のインターリーブ画像４０１の一つ前のスケーリングされたインターリーブ画像４０４’とを用いて、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを生成する。一方、処理対象のインターリーブ画像４０１が映像信号の先頭フレームである場合（ステップＳ２０５のＹＥＳ）、コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルを用いて、左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを補間する（ステップＳ２０７）。コンテンツ再生アプリケーション２０２は、ステップＳ２０４で作成した三次元モデルを用いて、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを生成する。   Next, the content reproduction application 202 determines whether or not the interleaved image 401 to be processed is the first frame of the video signal (3D video content data 501). If the interleaved image 401 to be processed is not the first frame of the video signal (NO in step S205), the content reproduction application 202 is scaled by the three-dimensional model created in step S204 and the previous interleaved image 401 to be processed. The interleaved image 404 ′ is used to interpolate a missing portion due to interleaving in the left-eye interleaved image 401A and the right-eye interleaved image 401B (step S206). The content reproduction application 202 is interpolated with the interpolated image for left eye 402A using the three-dimensional model created in step S204 and the scaled interleaved image 404 ′ immediately before the interleaved image 401 to be processed. A right eye image 402B is generated. On the other hand, when the interleaved image 401 to be processed is the first frame of the video signal (YES in step S205), the content reproduction application 202 uses the three-dimensional model created in step S204 and the left-eye interleaved image 401A and the right frame. The eye interleaved image 401B is interpolated (step S207). The content reproduction application 202 generates an interpolated left eye image 402A and an interpolated right eye image 402B using the three-dimensional model created in step S204.

コンテンツ再生アプリケーション２０２は、ステップＳ２０６又はステップＳ２０７で生成された、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングする（ステップＳ２０８）。コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと補間された右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングした、左眼用スケーリング画像４０３Ａと右眼用スケーリング画像４０３Ｂとを生成する。そして、コンテンツ再生アプリケーション２０２は、左眼用スケーリング画像４０３Ａと右眼用スケーリング画像４０３Ｂとを用いて、インターリーブ画像４０４Ａ，４０４Ｂを生成する（ステップＳ２０９）。   The content reproduction application 202 scales the interpolated left eye image 402A and the interpolated right eye image 402B generated in step S206 or step S207 from the first resolution to the second resolution (step S208). ). The content reproduction application 202 scales the interpolated left-eye image 402A and the interpolated right-eye image 402B from the first resolution to the second resolution, and the left-eye scaling image 403A and the right-eye scaling image. 403B is generated. Then, the content reproduction application 202 generates interleaved images 404A and 404B using the left-eye scaling image 403A and the right-eye scaling image 403B (step S209).

次いで、コンテンツ再生アプリケーション２０２は、処理対象のインターリーブ画像４０１に後続するフレームがあるか否かを判定する（ステップＳ２１０）。処理対象のインターリーブ画像４０１に後続するフレームがある場合（ステップＳ２１０のＹＥＳ）、コンテンツ再生アプリケーション２０２は、次のフレームを処理対象のインターリーブ画像４０１に設定する（ステップＳ２１１）。そして、コンテンツ再生アプリケーション２０２は、新たに設定された処理対象のインターリーブ画像４０１に対して、ステップＳ２０１以降の処理を施す。処理対象のインターリーブ画像４０１に後続するフレームがない場合（ステップＳ２１０のＮＯ）、コンテンツ再生アプリケーション２０２はスケーリング処理を終了する。   Next, the content reproduction application 202 determines whether there is a frame that follows the interleaved image 401 to be processed (step S210). When there is a frame following the processing-target interleaved image 401 (YES in step S210), the content reproduction application 202 sets the next frame as the processing-target interleaved image 401 (step S211). Then, the content reproduction application 202 performs the processing from step S201 on on the newly set interleaved image 401 to be processed. If there is no subsequent frame in the interleaved image 401 to be processed (NO in step S210), the content reproduction application 202 ends the scaling process.

以上の処理により、コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１を、インターリーブ画像４０１の解像度よりも高い、第１の解像度から第２の解像度に滑らかにスケーリングしたインターリーブ画像４０４に変換することができる。したがって、コンテンツ再生アプリケーション２０２で三次元映像コンテンツデータ５０１を再生することによって、ユーザは、任意の解像度で滑らかな三次元映像を観賞することができる。   With the above processing, the content reproduction application 202 can convert the interleaved image 401 into an interleaved image 404 that is higher than the resolution of the interleaved image 401 and is smoothly scaled from the first resolution to the second resolution. Therefore, by reproducing the 3D video content data 501 by the content playback application 202, the user can view a smooth 3D video at an arbitrary resolution.

以上説明したように、本実施形態によれば、左眼用画像と右眼用画像とがインターリーブされた三次元映像データを滑らかにスケーリングできる。コンテンツ再生アプリケーション２０２は、インターリーブ画像４０１から左眼用インターリーブ画像４０１Ａと右眼用インターリーブ画像４０１Ｂとを抽出し、左眼用インターリーブ画像４０１Ａ及び右眼用インターリーブ画像４０１Ｂの各々において、インターリーブによって欠落した領域を補間する。そして、コンテンツ再生アプリケーション２０２は、補間された左眼用画像４０２Ａと右眼用画像４０２Ｂとを第１の解像度から第２の解像度にスケーリングし、再度インターリーブを施すことによって、滑らかにスケーリングされたインターリーブ画像４０４を生成することができる。ユーザは、ＬＣＤ１７に表示されたインターリーブ４０４を、偏光眼鏡１９を用いて見ることで立体映像を知覚することができる。   As described above, according to this embodiment, it is possible to smoothly scale 3D video data in which a left-eye image and a right-eye image are interleaved. The content reproduction application 202 extracts a left-eye interleaved image 401A and a right-eye interleaved image 401B from the interleaved image 401, and each of the left-eye interleaved image 401A and the right-eye interleaved image 401B lacks an interleaved area. Is interpolated. Then, the content reproduction application 202 scales the interpolated left-eye image 402A and right-eye image 402B from the first resolution to the second resolution, and performs interleaving again, thereby smoothly interleaving the interleaved image. An image 404 can be generated. The user can perceive a stereoscopic image by viewing the interleave 404 displayed on the LCD 17 using the polarizing glasses 19.

なお、コンテンツ再生アプリケーション２０２は、補間して、第１の解像度から第２の解像度にスケーリングされた左眼用画像４０３Ａと右眼用画像４０３Ｂとを交互に、ＬＣＤ１７に表示してもよい。その場合、ユーザは、ＬＣＤ１７における画像の表示タイミングに同期した液晶シャッターメガネを用いることで、立体映像を知覚することができる。   The content reproduction application 202 may alternately display the left-eye image 403A and the right-eye image 403B scaled from the first resolution to the second resolution on the LCD 17 by interpolation. In that case, the user can perceive a stereoscopic image by using the liquid crystal shutter glasses synchronized with the display timing of the image on the LCD 17.

なお、本実施形態のスケーリング処理の手順は全てソフトウェアによって実行することができる。このため、スケーリング処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。   Note that all the scaling processing procedures of this embodiment can be executed by software. For this reason, it is possible to easily realize the same effect as that of the present embodiment simply by installing and executing this program on a normal computer through a computer-readable storage medium storing a program for executing the scaling processing procedure. it can.

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以下に、原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
［１］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する画像補間手段と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成するインターリーブ画像生成手段とを具備することを特徴とする映像処理装置。
［２］前記画像補間手段は、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［１］記載の映像処理装置。
［３］前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［１］記載の映像処理装置。
［４］前記画像補間手段は、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと前記一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［２］記載の映像処理装置。
［５］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理方法であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出し、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成し、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成し、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成することを特徴とする映像処理方法。
［６］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像を用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［５］記載の映像処理方法。
［７］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［５］記載の映像処理方法。
［８］前記補間された左眼用画像と前記補間された右眼用画像とを生成することは、前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルと前記一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする［６］記載の映像処理方法。
［９］左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングするプログラムであって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する手順と、
前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを用いて、前記左眼用画像と前記右眼用画像とを交互に配置することによって欠落した画素を補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する手順と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成する手順と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成する手順とをコンピュータに実行させることを特徴とするプログラム。 Further, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
The invention described in the scope of the claims at the time of the appraisal of the original application will be added below.
[1] A video processing device for scaling 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
Image extracting means for extracting from the interleaved image a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image;
Using the left-eye interleaved image and the right-eye interleaved image, the left eye image and the right-eye image are alternately arranged to interpolate missing pixels, thereby interpolating the left Image interpolating means for generating an ophthalmic image and an interpolated right eye image;
Scaling means for generating a left-eye scaling image and a right-eye scaling image by scaling the interpolated left-eye image and the interpolated right-eye image to the second resolution;
An image processing apparatus comprising: an interleaved image generation unit configured to generate a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image.
[2] The image interpolating unit uses the scaled interleaved image corresponding to the previous interleaved image of the interleaved image to be processed in the 3D video data, and uses the interleaved image for the left eye. The video processing apparatus according to [1], wherein an image and the interleaved image for the right eye are interpolated.
[3] The image interpolation means generates a first three-dimensional model using the left-eye interleaved image, generates a second three-dimensional model using the right-eye interleaved image, and Generating a three-dimensional model obtained by integrating the three-dimensional model and the second three-dimensional model, and interpolating the interleaved image for the left eye and the interleaved image for the right eye using the three-dimensional model. The video processing apparatus according to [1], characterized in that it is characterized in that
[4] The image interpolation means generates a first three-dimensional model using the left-eye interleaved image, generates a second three-dimensional model using the right-eye interleaved image, and generates the first three-dimensional model. A three-dimensional model integrating the second three-dimensional model and the second three-dimensional model, and using the three-dimensional model and the previous scaled interleaved image, The video processing apparatus according to [2], wherein the interleaved image for the right eye is interpolated.
[5] A video processing method for scaling 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
Extracting a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image from the interleaved image,
Using the left-eye interleaved image and the right-eye interleaved image, the left eye image and the right-eye image are alternately arranged to interpolate missing pixels, thereby interpolating the left Generate an eye image and an interpolated right eye image;
Generating a left eye scaling image and a right eye scaling image by scaling the interpolated left eye image and the interpolated right eye image to the second resolution;
A video processing method comprising generating a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image.
[6] Generating the interpolated image for the left eye and the interpolated image for the right eye corresponds to an interleaved image immediately before the interleaved image to be processed in the 3D video data. The video processing method according to [5], wherein the left-eye interleaved image and the right-eye interleaved image are interpolated using the previous scaled interleaved image.
[7] Generating the interpolated image for the left eye and the interpolated image for the right eye generates a first three-dimensional model using the interleaved image for the left eye, and Generating a second three-dimensional model using an interleaved image, generating a three-dimensional model integrating the first three-dimensional model and the second three-dimensional model, and using the three-dimensional model, The video processing method according to [5], wherein the left-eye interleaved image and the right-eye interleaved image are interpolated.
[8] Generating the interpolated image for the left eye and the interpolated image for the right eye generates a first three-dimensional model using the interleaved image for the left eye, and A second three-dimensional model is generated using an interleaved image, a three-dimensional model obtained by integrating the first three-dimensional model and the second three-dimensional model is generated, and the three-dimensional model and the previous one are generated. [6] The video processing method according to [6], wherein the left-eye interleaved image and the right-eye interleaved image are interpolated using the scaled interleaved image.
[9] A program for scaling 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
A procedure for extracting a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image from the interleaved image;
Using the left-eye interleaved image and the right-eye interleaved image, the left eye image and the right-eye image are alternately arranged to interpolate missing pixels, thereby interpolating the left A procedure for generating an eye image and an interpolated right eye image;
Generating a left-eye scaling image and a right-eye scaling image by scaling the interpolated left-eye image and the interpolated right-eye image to the second resolution;
A program that causes a computer to execute a procedure for generating a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image.

１７…ＬＣＤ、１９…偏光フィルタ、１９Ａ…左眼用フィルタ、１９Ｂ…右眼用フィルタ、３１…偏光眼鏡、３１Ａ…左眼用フィルタ、３１Ｂ…右眼用フィルタ、２０２…コンテンツ再生アプリケーション、３０１…スケーリング判定部、３０２…左右眼画像抽出部、３０３…三次元モデル生成部、３０４…画像補間部、３０５…スケーリング部、３０６…インターリーブ画像生成部、３０７…画像出力部、３０８…映像信号生成部、５０１…三次元映像コンテンツデータ、４０４’…一つ前のスケーリングされたインターリーブ画像。   DESCRIPTION OF SYMBOLS 17 ... LCD, 19 ... Polarizing filter, 19A ... Left eye filter, 19B ... Right eye filter, 31 ... Polarized glasses, 31A ... Left eye filter, 31B ... Right eye filter, 202 ... Content reproduction application, 301 ... Scaling determination unit, 302 ... right and left eye image extraction unit, 303 ... 3D model generation unit, 304 ... image interpolation unit, 305 ... scaling unit, 306 ... interleaved image generation unit, 307 ... image output unit, 308 ... video signal generation unit 501 ... 3D video content data, 404 '... previous scaled interleaved image.

Claims (5)

左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理装置であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する画像抽出手段と、
前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する画像補間手段と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成するスケーリング手段と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成するインターリーブ画像生成手段とを具備することを特徴とする映像処理装置。 A video processing apparatus that scales 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
Image extracting means for extracting from the interleaved image a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image;
A first three-dimensional model is generated using the left-eye interleaved image, a second three-dimensional model is generated using the right-eye interleaved image, and the first three-dimensional model and the second three-dimensional model are generated. generating a three-dimensional model that integrates a three-dimensional model, using said three-dimensional model, by interpolating between the left-eye interleaved image and the right-eye interleaved image, the left-eye image interpolated Image interpolation means for generating an interpolated right eye image ;
Scaling means for generating a left-eye scaling image and a right-eye scaling image by scaling the interpolated left-eye image and the interpolated right-eye image to the second resolution ;
An image processing apparatus comprising: an interleaved image generation unit configured to generate a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image . 前記画像補間手段は、前記三次元モデルと、前記三次元映像データにおいて、処理対象のインターリーブ画像の一つ前のインターリーブ画像に対応する、一つ前のスケーリングされたインターリーブ画像とを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することを特徴とする請求項１記載の映像処理装置。 The image interpolation unit includes: the three-dimensional model, in the three-dimensional image data, corresponding to the previous interleaved image of the processing target interleaved image, by using the immediately preceding scaled interleaved image, the The video processing apparatus according to claim 1, wherein the left-eye interleaved image and the right-eye interleaved image are interpolated. 前記画像補間手段は、前記左眼用インターリーブ画像に含まれる複数の画素に対応する複数の第１の奥行きを推定し、前記複数の第１の奥行きを用いて前記第１の三次元モデルを生成し、前記右眼用インターリーブ画像に含まれる複数の画素に対応する複数の第２の奥行きを推定し、前記複数の第２の奥行きを用いて前記第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを両眼視差に基づいて統合した前記三次元モデルを生成する請求項１記載の映像処理装置。The image interpolation means estimates a plurality of first depths corresponding to a plurality of pixels included in the left-eye interleaved image, and generates the first three-dimensional model using the plurality of first depths. And estimating a plurality of second depths corresponding to a plurality of pixels included in the interleaved image for the right eye, generating the second three-dimensional model using the plurality of second depths, and The video processing apparatus according to claim 1, wherein the three-dimensional model is generated by integrating one three-dimensional model and the second three-dimensional model based on binocular parallax. 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングする映像処理方法であって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出し、
前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することによって、補間された左眼用画像と補間された右眼用画像とを生成し、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成し、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成することを特徴とする映像処理方法。 A video processing method for scaling 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
Extracting a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image from the interleaved image,
A first three-dimensional model is generated using the left-eye interleaved image, a second three-dimensional model is generated using the right-eye interleaved image, and the first three-dimensional model and the second three-dimensional model are generated. generating a three-dimensional model that integrates a three-dimensional model, using said three-dimensional model, by interpolating between the left-eye interleaved image and the right-eye interleaved image, the left-eye image interpolated Interpolated right eye image and
Generating a left eye scaling image and a right eye scaling image by scaling the interpolated left eye image and the interpolated right eye image to the second resolution ;
A video processing method comprising generating a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image . 左眼用画像と右眼用画像とが交互に配置されたインターリーブ画像を含む三次元映像データを第１の解像度から第２の解像度にスケーリングするプログラムであって、
前記インターリーブ画像から、前記左眼用画像に対応する左眼用インターリーブ画像と、前記右眼用画像に対応する右眼用インターリーブ画像とを抽出する手順と、
前記左眼用インターリーブ画像を用いて第１の三次元モデルを生成し、前記右眼用インターリーブ画像を用いて第２の三次元モデルを生成し、前記第１の三次元モデルと前記第２の三次元モデルとを統合した三次元モデルを生成し、前記三次元モデルを用いて、前記左眼用インターリーブ画像と前記右眼用インターリーブ画像とを補間することによって、補間された左眼用画像と補間された右眼用画像とを生成する手順と、
前記補間された左眼用画像と前記補間された右眼用画像とを前記第２の解像度にスケーリングすることによって、左眼用スケーリング画像と右眼用スケーリング画像とを生成する手順と、
前記左眼用スケーリング画像と前記右眼用スケーリング画像とを交互に配置することによって、スケーリングされたインターリーブ画像を生成する手順とをコンピュータに実行させることを特徴とするプログラム。 A program for scaling 3D video data including an interleaved image in which left-eye images and right-eye images are alternately arranged from a first resolution to a second resolution,
A procedure for extracting a left-eye interleaved image corresponding to the left-eye image and a right-eye interleaved image corresponding to the right-eye image from the interleaved image;
A first three-dimensional model is generated using the left-eye interleaved image, a second three-dimensional model is generated using the right-eye interleaved image, and the first three-dimensional model and the second three-dimensional model are generated. generating a three-dimensional model that integrates a three-dimensional model, using said three-dimensional model, by interpolating between the left-eye interleaved image and the right-eye interleaved image, the left-eye image interpolated A procedure for generating an interpolated right-eye image ;
Generating a left-eye scaling image and a right-eye scaling image by scaling the interpolated left-eye image and the interpolated right-eye image to the second resolution ;
A program that causes a computer to execute a procedure for generating a scaled interleaved image by alternately arranging the left-eye scaling image and the right-eye scaling image .
JP2011127636A 2011-06-07 2011-06-07 Video processing apparatus, video processing method, and program Active JP5550603B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011127636A JP5550603B2 (en) 2011-06-07 2011-06-07 Video processing apparatus, video processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011127636A JP5550603B2 (en) 2011-06-07 2011-06-07 Video processing apparatus, video processing method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010010435 Division 2010-01-20 2010-01-20

Publications (2)

Publication Number Publication Date
JP2011172293A JP2011172293A (en) 2011-09-01
JP5550603B2 true JP5550603B2 (en) 2014-07-16

Family

ID=44685843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011127636A Active JP5550603B2 (en) 2011-06-07 2011-06-07 Video processing apparatus, video processing method, and program

Country Status (1)

Country Link
JP (1) JP5550603B2 (en)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3159327B2 (en) * 1991-11-30 2001-04-23 ソニー株式会社 Video data decoding device
JP3524147B2 (en) * 1994-04-28 2004-05-10 キヤノン株式会社 3D image display device
JPH0870475A (en) * 1994-06-23 1996-03-12 Sanyo Electric Co Ltd Method and device for encoding and decoding stereoscopic animation
JP2002092656A (en) * 2000-09-11 2002-03-29 Canon Inc Stereoscopic image display device and image data displaying method
JP2002352271A (en) * 2001-05-28 2002-12-06 Olympus Optical Co Ltd Three-dimensional image acquisition device
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100657275B1 (en) * 2004-08-26 2006-12-14 삼성전자주식회사 Method for generating a stereoscopic image and method for scaling therefor
JP4440067B2 (en) * 2004-10-15 2010-03-24 キヤノン株式会社 Image processing program for stereoscopic display, image processing apparatus, and stereoscopic display system
JP4214529B2 (en) * 2004-12-28 2009-01-28 日本ビクター株式会社 Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program
KR101450670B1 (en) * 2007-06-11 2014-10-15 삼성전자 주식회사 Method and apparatus for generating block-based stereoscopic image format, and method and apparatus for reconstructing stereoscopic images from the block-based stereoscopic image format
JP4948358B2 (en) * 2007-10-26 2012-06-06 キヤノン株式会社 Video transmission system and method
JP5127633B2 (en) * 2008-08-25 2013-01-23 三菱電機株式会社 Content playback apparatus and method
CN102265622B (en) * 2008-12-25 2014-01-22 杜比实验室特许公司 Method and device for up-sampling different views of images

Also Published As

Publication number Publication date
JP2011172293A (en) 2011-09-01

Similar Documents

Publication Publication Date Title
JP5389139B2 (en) Electronic device and display control method
JPWO2011135857A1 (en) Image converter
KR20110096494A (en) Electronic device and method for displaying stereo-view or multiview sequence image
KR20120120502A (en) Stereoscopic video graphics overlay
US8619123B2 (en) Video processing apparatus and method for scaling three-dimensional video
US8687950B2 (en) Electronic apparatus and display control method
US20120224035A1 (en) Electronic apparatus and image processing method
JP4738522B2 (en) Video display device and video display method
JP5289538B2 (en) Electronic device, display control method and program
JP5025768B2 (en) Electronic apparatus and image processing method
JP2011101229A (en) Display control device, display control method, program, output device, and transmission apparatus
JP5550603B2 (en) Video processing apparatus, video processing method, and program
JP5058316B2 (en) Electronic device, image processing method, and image processing program
JP2012049813A (en) Image output device and image output method
JP5166567B2 (en) Electronic device, video data display control method, and program
JP5238849B2 (en) Electronic device, electronic device control method, and electronic device control program
JP2013104937A (en) Display processing device and display processing method
JP5362082B2 (en) Electronic device, image processing method, and image processing program
WO2012014489A1 (en) Video image signal processor and video image signal processing method
JP2012104898A (en) Image processing system, image processing method, and program
JP5641953B2 (en) Electronic device, video data generation method, and program
JP5759728B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2011193498A (en) Video display device, video display method and program
JP5159911B2 (en) REPRODUCTION DEVICE, REPRODUCTION METHOD, AND PROGRAM
JP2014030238A (en) Display control device and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131128

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20140319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R151 Written notification of patent or utility model registration

Ref document number: 5550603

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350