JP5362082B2 - Electronic device, image processing method, and image processing program - Google Patents

Electronic device, image processing method, and image processing program Download PDF

Info

Publication number
JP5362082B2
JP5362082B2 JP2012164182A JP2012164182A JP5362082B2 JP 5362082 B2 JP5362082 B2 JP 5362082B2 JP 2012164182 A JP2012164182 A JP 2012164182A JP 2012164182 A JP2012164182 A JP 2012164182A JP 5362082 B2 JP5362082 B2 JP 5362082B2
Authority
JP
Japan
Prior art keywords
video
data
display
content data
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012164182A
Other languages
Japanese (ja)
Other versions
JP2012239208A (en
Inventor
栄太 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012164182A priority Critical patent/JP5362082B2/en
Publication of JP2012239208A publication Critical patent/JP2012239208A/en
Application granted granted Critical
Publication of JP5362082B2 publication Critical patent/JP5362082B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To avoid hindrance caused by the displacement of a video due to the conversion of a two-dimensional video to a three-dimensional video. <P>SOLUTION: An electronic apparatus includes: data extraction means for extracting first video data and second video data from video content data; mode setting means for setting a first display mode to display the video content data as a two-dimensional video or a second display mode to display the video content data as a three-dimensional video; first video signal generation means for generating a first video signal for a two-dimensional video corresponding to the first video data when the second display mode is set and also the second video data is extracted, and generating a second video signal for a three-dimensional video corresponding to the first video data when the second display mode is set and also the second video data is not extracted; second video signal generation means for generating a third video signal corresponding to the second video data; synthesizing means for synthesizing the first video signal or the second video signal with the third video signal; and display means for displaying an image plane corresponding to the video signal synthesized by the synthesizing means. <P>COPYRIGHT: (C)2013,JPO&amp;INPIT

Description

本発明の実施形態は、三次元映像コンテンツを再生する電子機器及び同機器に適用される画像処理方法、画像処理プログラムに関する。   Embodiments described herein relate generally to an electronic device that plays back 3D video content, an image processing method and an image processing program applied to the device.

従来から、三次元映像を観賞可能にする様々な映像表示装置が提供されている。このような映像表示装置では、例えば、両眼視差に基づく左眼用映像と右眼用映像とを用いて、ユーザに三次元映像(立体映像)を知覚させる。   2. Description of the Related Art Conventionally, various video display devices that allow 3D video to be viewed have been provided. In such a video display device, for example, the user perceives a 3D video (stereoscopic video) using a video for the left eye and a video for the right eye based on binocular parallax.

一般に、DVD(Digital Versatile Disc)等の記録媒体により提供される映像コンテンツ、あるいは放送やネットワークを介して受信される映像コンテンツのほとんどは、二次元映像を含む映像コンテンツデータである。そのような映像コンテンツデータを用いて三次元映像を視聴するために、二次元映像を三次元映像に変換する種々の技術が提案されている。   In general, most of video content provided by a recording medium such as a DVD (Digital Versatile Disc) or received via broadcasting or a network is video content data including two-dimensional video. In order to view 3D video using such video content data, various techniques for converting 2D video to 3D video have been proposed.

特開2002−91643号公報JP 2002-91643 A

しかしながら、映像コンテンツデータには、三次元映像への変換の対象となる二次元映像だけでなく、三次元映像への変換対象とならない映像データが含まれている。例えば、DVD等によって提供される映像コンテンツデータには、本編タイトル用データの他に、メニュー表示用データが含まれている。メニュー表示用の映像コンテンツデータには、例えばメニューの選択項目や背景の映像を表示するための映像データの他に、ユーザ操作によって表示が変更される映像データが含まれている。ユーザ操作によって表示が変更される映像データには、例えばメニューの選択項目の位置に合わせて表示されるデータ(現在の選択項目を示すためのハイライト表示などのデータ)があり、三次元映像への変換対象となる映像データとは別に管理されている。   However, the video content data includes not only 2D video that is to be converted into 3D video but also video data that is not to be converted into 3D video. For example, video content data provided by a DVD or the like includes menu display data in addition to the main title data. The video content data for menu display includes, for example, video data whose display is changed by a user operation, in addition to video data for displaying menu selection items and background video. The video data whose display is changed by a user operation includes, for example, data displayed in accordance with the position of a menu selection item (data such as a highlight display for indicating the current selection item). Are managed separately from the video data to be converted.

二次元映像を三次元映像に変換する場合には、例えば二次元映像をもとにして右眼用と左眼用の視差画像を生成する。従って、視差画像と、三次元元映像に変換されていないハイライト表示などを合成して表示すると、ずれが生じてしまう。具体的には、三次元映像として表示されるメニューの選択項目の表示位置と、現在の選択項目を示すためのハイライト表示の表示位置とがずれてしまう。この場合、ハイライト表示の表示位置が何れの選択項目を示しているか分かりにくくなり、ユーザによるメニューから希望する選択項目を指定する操作に支障が生じてしまう。   When converting a 2D video into a 3D video, for example, right-eye and left-eye parallax images are generated based on the 2D video. Therefore, when a parallax image and a highlight display that has not been converted into a three-dimensional original image are combined and displayed, a shift occurs. Specifically, the display position of the selection item of the menu displayed as the 3D video is shifted from the display position of the highlight display for indicating the current selection item. In this case, it becomes difficult to understand which selection item the display position of the highlight display indicates, and this hinders the user's operation to specify the desired selection item from the menu.

本発明の目的は、二次元映像を三次元映像に変換することによる映像の位置ずれによる支障を回避することができる電子機器、画像処理方法、及び画像処理プログラムを提供することである。   An object of the present invention is to provide an electronic device, an image processing method, and an image processing program capable of avoiding troubles caused by image misalignment caused by converting a 2D image into a 3D image.

実施形態によれば、電子機器は、二次元映像用の映像コンテンツデータをもとに三次元映像を表示する第1表示制御手段と、操作入力に応じて表示位置が変更されるオブジェクトが表示対象の画像に含まれる場合、前記三次元映像に代えて、前記映像コンテンツデータをもとに二次元映像を表示する第2表示制御手段とを具備する。   According to the embodiment, the electronic device includes a first display control unit that displays 3D video based on video content data for 2D video, and an object whose display position is changed according to an operation input. The second display control means for displaying a 2D video based on the video content data instead of the 3D video.

実施形態によれば、電子機器は、二次元映像用の映像コンテンツデータをもとに三次元映像を表示する第1表示制御手段と、操作入力に応じて表示位置が変更されるオブジェクトが表示対象とする前記映像コンテンツデータに含まれる場合、前記第1表示制御手段による前記三次元映像の表示に代えて、前記映像コンテンツデータをもとに二次元映像を表示する第2表示制御手段とを具備する。 According to the embodiment, the electronic device includes a first display control unit that displays 3D video based on video content data for 2D video, and an object whose display position is changed according to an operation input. And the second display control means for displaying a 2D video based on the video content data, instead of displaying the 3D video by the first display control means. To do.

以下、図面を参照して、実施の形態について説明する。
図1は、本実施形態における電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ1として実現される。図1に示すように、パーソナルコンピュータ1は、コンピュータ本体2と、ディスプレイユニット3とから構成される。
Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a perspective view showing an external appearance of an electronic apparatus according to this embodiment. This electronic apparatus is realized as, for example, a notebook type personal computer 1. As shown in FIG. 1, the personal computer 1 includes a computer main body 2 and a display unit 3.

ディスプレイユニット3には、LCD(liquid crystal display)15が組み込まれている。ディスプレイユニット3は、コンピュータ本体2の上面が露出される開放位置とコンピュータ本体2の上面を覆う閉塞位置との間を回動自在にコンピュータ本体2に取り付けられている。   The display unit 3 includes an LCD (liquid crystal display) 15. The display unit 3 is attached to the computer main body 2 so as to be rotatable between an open position where the upper surface of the computer main body 2 is exposed and a closed position covering the upper surface of the computer main body 2.

コンピュータ本体2は、薄い箱形の筐体を有しており、その上面には、キーボード26、パーソナルコンピュータ1を電源オン/電源オフするためのパワーボタン28、入力操作パネル29、タッチパッド27、スピーカ18A,18Bなどが配置されている。入力操作パネル29上には、各種操作ボタンが設けられている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体2の正面には、パーソナルコンピュータ1のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部30が設けられている。リモコンユニットインタフェース部30は、例えば赤外線信号受信部などから構成されている。   The computer main body 2 has a thin box-shaped housing. On the top surface thereof, a keyboard 26, a power button 28 for powering on / off the personal computer 1, an input operation panel 29, a touch pad 27, Speakers 18A, 18B, etc. are arranged. Various operation buttons are provided on the input operation panel 29. These button groups also include operation button groups for controlling TV functions (viewing, recording, and reproduction of recorded broadcast program data / video data). Further, a remote control unit interface unit 30 for executing communication with a remote control unit for remotely controlling the TV function of the personal computer 1 is provided on the front surface of the computer main body 2. The remote control unit interface unit 30 is composed of, for example, an infrared signal receiving unit.

コンピュータ本体2の例えば右側面には、TV放送用のアンテナ端子32が設けられている。また、コンピュータ本体2の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。   On the right side of the computer main body 2, for example, an antenna terminal 32 for TV broadcasting is provided. Further, an external display connection terminal corresponding to, for example, the HDMI (high-definition multimedia interface) standard is provided on the back surface of the computer main body 2, for example. The external display connection terminal is used to output video data (moving image data) included in video content data such as broadcast program data to an external display.

図2は、本実施形態におけるパーソナルコンピュータ1のシステム構成を示す図である。
パーソナルコンピュータ1は、図2に示すように、CPU11、ノースブリッジ12、主メモリ13、表示コントローラ14、ビデオメモリ(VRAM)14A、LCD(Liquid Crystal Display)15、サウスブリッジ16、サウンドコントローラ17、スピーカ18A,18B、BIOS−ROM19、LANコントローラ20、ハードディスクドライブ(HDD)21、光ディスクドライブ(ODD)22、無線LANコントローラ23、USBコントローラ24、エンベデッドコントローラ/キーボードコントローラ(EC/KBC)25、キーボード(KB)26、ポインティングデバイス27、リモコンユニットインタフェース部30、TVチューナ31等を備えている。
FIG. 2 is a diagram showing a system configuration of the personal computer 1 in the present embodiment.
As shown in FIG. 2, the personal computer 1 includes a CPU 11, a north bridge 12, a main memory 13, a display controller 14, a video memory (VRAM) 14A, an LCD (Liquid Crystal Display) 15, a south bridge 16, a sound controller 17, and a speaker. 18A, 18B, BIOS-ROM 19, LAN controller 20, hard disk drive (HDD) 21, optical disk drive (ODD) 22, wireless LAN controller 23, USB controller 24, embedded controller / keyboard controller (EC / KBC) 25, keyboard (KB) ) 26, a pointing device 27, a remote control unit interface unit 30, a TV tuner 31 and the like.

CPU11は、パーソナルコンピュータ1の動作を制御するプロセッサである。CPU11は、HDD21から主メモリ13にロードされる、オペレーティングシステム(OS)13A、及び映像コンテンツ再生アプリケーションプログラム13B等のようなアプリケーションプログラムを実行する。映像コンテンツ再生アプリケーションプログラム13Bは、映像コンテンツデータを視聴するための機能を有するソフトウェアである。この映像コンテンツ再生アプリケーション13Bは、TVチューナ31によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをHDD21に記録する録画処理、HDD21に記録された放送番組データ/ビデオデータを再生する再生処理、ネットワークを介して受信された映像コンテンツデータや光ディスクドライブ(ODD)22によって各種記録媒体(DVD、CD(Compact Disc)から読み出された映像コンテンツデータを再生する再生処理等を実行する。さらに、映像コンテンツ再生アプリケーション13Bは、三次元映像を視聴するための機能も有する。映像コンテンツ再生アプリケーション13Bは、映像コンテンツデータに含まれる二次元映像を三次元映像にリアルタイムで変換してLCD15の画面上に表示させることができる。   The CPU 11 is a processor that controls the operation of the personal computer 1. The CPU 11 executes application programs such as an operating system (OS) 13A and a video content reproduction application program 13B that are loaded from the HDD 21 into the main memory 13. The video content reproduction application program 13B is software having a function for viewing video content data. The video content playback application 13B includes a live playback process for viewing the broadcast program data received by the TV tuner 31, a recording process for recording the received broadcast program data in the HDD 21, and the broadcast program data / data recorded in the HDD 21. Playback processing for playing back video data, playback processing for playing back video content data received via a network and video content data read from various recording media (DVD, CD (Compact Disc)) by an optical disk drive (ODD) 22 Furthermore, the video content playback application 13B also has a function for viewing 3D video, and the video content playback application 13B converts a 2D video included in the video content data into a 3D video in real time. L It can be displayed on the D15 screen.

三次元映像の表示には、例えば、シャッター方式(時分割方式とも云う)を用いてもよい。シャッター方式の三次元映像表示では、左眼用ビデオデータと右眼用ビデオデータとを含むステレオペア映像が用いられる。LCD15は、例えば、通常のリフレッシュレート(例えば60Hz)の2倍のリフレッシュレート(例えば120Hz)で駆動される。左眼用ビデオデータ内の左眼用フレームデータと右眼用ビデオデータ内の右眼用フレームデータは例えば120Hzのリフレッシュレートで交互にLCD15上に表示される。ユーザは、例えば、液晶シャッターメガネのような3Dグラス(図示せず)を用いることで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で見ることができる。3Dグラスは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をパーソナルコンピュータ1から赤外線などを用いて受信するように構成してもよい。3Dグラス内の左眼用シャッター及び右眼用シャッターは、LCD15への左眼用及び右眼用フレームデータそれぞれの表示タイミングに同期して開閉される。   For example, a shutter method (also referred to as a time division method) may be used for displaying the 3D video. In shutter-type 3D video display, stereo pair video including left-eye video data and right-eye video data is used. The LCD 15 is driven at, for example, a refresh rate (for example, 120 Hz) that is twice a normal refresh rate (for example, 60 Hz). The left-eye frame data in the left-eye video data and the right-eye frame data in the right-eye video data are alternately displayed on the LCD 15 at a refresh rate of 120 Hz, for example. For example, by using 3D glasses (not shown) such as liquid crystal shutter glasses, the user views an image corresponding to the left eye frame with the left eye and an image corresponding to the right eye frame with the right eye. Can do. The 3D glasses may be configured to receive synchronization signals indicating the display timing of the left-eye frame data and the right-eye frame data from the personal computer 1 using infrared rays or the like. The left-eye shutter and right-eye shutter in the 3D glass are opened and closed in synchronization with the display timings of the left-eye and right-eye frame data on the LCD 15.

代わりに、三次元映像の表示には、例えば、Xpol(登録商標)方式等の偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がLCD15に表示される。LCD15の画面を覆う偏向フィルタは、LCD15の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏向メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。   Instead, for example, a polarization method such as an Xpol (registered trademark) method may be used to display a three-dimensional image. In this case, for example, an interleaved frame group in which the left-eye image and the right-eye image are interleaved in units of scanning lines, for example, is generated, and these interleaved frame groups are displayed on the LCD 15. The deflection filter that covers the screen of the LCD 15 polarizes, for example, the left-eye image displayed on the odd-numbered line group and the right-eye image displayed on the even-numbered line group on the LCD 15 in different directions. By using the deflection glasses, the user can view the left-eye image with the left eye and the right-eye image with the right eye.

また、CPU11は、BIOS−ROM19に格納されたBIOS(Basic Input/Output System)も実行する。BIOSは、ハードウェア制御のためのプログラムである。   The CPU 11 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 19. The BIOS is a program for hardware control.

ノースブリッジ12は、CPU11のローカルバスとサウスブリッジ16との間を接続するブリッジデバイスである。ノースブリッジ12には、主メモリ13をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ12は、表示コントローラ14との通信を実行する機能も有している。   The north bridge 12 is a bridge device that connects the local bus of the CPU 11 and the south bridge 16. The north bridge 12 also includes a memory controller that controls access to the main memory 13. The north bridge 12 also has a function of executing communication with the display controller 14.

表示コントローラ14は、パーソナルコンピュータ1のディスプレイとして使用されるLCD15を制御するデバイスである。この表示コントローラ14によって生成される表示信号はLCD15に送られる。LCD15は、表示信号に基づいて映像を表示する。   The display controller 14 is a device that controls the LCD 15 used as a display of the personal computer 1. A display signal generated by the display controller 14 is sent to the LCD 15. The LCD 15 displays an image based on the display signal.

サウスブリッジ16は、PCI(Peripheral Component Interconnect)バス上及びLPC(Low Pin Count)バス上の各デバイスを制御する。また、サウスブリッジ16は、HDD21及びODD22を制御するためのIDE(Integrated Drive Electronics)コントローラ、及びBIOS−ROM19をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ16は、サウンドコントローラ17及びLANコントローラ20との通信を実行する機能も有している。   The south bridge 16 controls each device on a peripheral component interconnect (PCI) bus and a low pin count (LPC) bus. The south bridge 16 incorporates an IDE (Integrated Drive Electronics) controller for controlling the HDD 21 and ODD 22 and a memory controller for controlling access to the BIOS-ROM 19. Furthermore, the south bridge 16 also has a function of executing communication with the sound controller 17 and the LAN controller 20.

サウンドコントローラ17は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18Bに出力する。LANコントローラ20は、例えばEthernet(登録商標)規格の有線通信を実行する有線通信デバイスであり、無線LANコントローラ23は、例えばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。また、USBコントローラ24は、例えばUSB2.0規格のケーブルを介して外部機器との通信を実行する。   The sound controller 17 is a sound source device and outputs audio data to be reproduced to the speakers 18A and 18B. The LAN controller 20 is, for example, a wired communication device that executes Ethernet (registered trademark) standard wired communication, and the wireless LAN controller 23 is a wireless communication device that executes, for example, IEEE 802.11 standard wireless communication. The USB controller 24 executes communication with an external device via, for example, a USB 2.0 standard cable.

EC/KBC25は、電力管理を行うためのエンベデッドコントローラと、キーボード(KB)26、及びポインティングデバイス27を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このEC/KBC25は、ユーザの操作に応じてパーソナルコンピュータ1をパワーオン/パワーオフする機能を有している。さらに、EC/KBC25は、リモコンユニットインタフェース部30との通信を実行する機能を有している。   The EC / KBC 25 is a one-chip microcomputer in which an embedded controller for performing power management, a keyboard (KB) 26, and a keyboard controller for controlling a pointing device 27 are integrated. The EC / KBC 25 has a function of powering on / off the personal computer 1 in accordance with a user operation. Further, the EC / KBC 25 has a function of executing communication with the remote control unit interface unit 30.

TVチューナ31はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子32に接続されている。このTVチューナ31は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ31は、外部機器から入力されるビデオデータをキャプチャする機能も有している。   The TV tuner 31 is a receiving device that receives broadcast program data broadcast by a television (TV) broadcast signal, and is connected to the antenna terminal 32. The TV tuner 31 is realized as a digital TV tuner capable of receiving digital broadcast program data such as terrestrial digital TV broadcast. The TV tuner 31 also has a function of capturing video data input from an external device.

次に、図3を参照して、本実施形態の映像コンテンツ再生機能の構成について説明する。
再生対象のソースデータである映像コンテンツデータ51は、例えばDVDから読み出された二次元映像用のデータである。映像コンテンツデータ51は、映像(動画像)を表示するためのビデオデータを含む。また、映像コンテンツデータ51は、メニュー画面を表示させるためのメニュードメインとして、映像(動画像)を表示するためのビデオデータ(第1の映像データ)と、ビデオデータとは別に処理される画像を表示するための追加データ(第2の映像データ)とを含む。追加データは、例えば、メニュー画面において表示されるもので、メニューの選択項目の位置に合わせて表示されるデータ(現在の選択項目を示すためのハイライト表示などのデータ)である。以下、追加データをメニュー画像データとして説明する。
Next, the configuration of the video content playback function of the present embodiment will be described with reference to FIG.
Video content data 51, which is source data to be reproduced, is data for 2D video read from, for example, a DVD. The video content data 51 includes video data for displaying a video (moving image). The video content data 51 includes video data (first video data) for displaying a video (moving image) as a menu domain for displaying a menu screen, and an image processed separately from the video data. And additional data (second video data) to be displayed. The additional data is, for example, data displayed on the menu screen and data that is displayed in accordance with the position of the menu selection item (data such as a highlight display for indicating the current selection item). Hereinafter, additional data will be described as menu image data.

図3に示すように、映像コンテンツ再生アプリケーション13Bは、再生制御部100(モード設定部100a)、データ抽出部101、映像信号生成部102(デコーダ102a、2Dto3D変換部102b)、メニュー画像生成部103、入力制御部105(メニュー制御部106)、画像合成部109、及び表示部110を備える。   As shown in FIG. 3, the video content playback application 13B includes a playback control unit 100 (mode setting unit 100a), a data extraction unit 101, a video signal generation unit 102 (decoder 102a, 2Dto3D conversion unit 102b), and a menu image generation unit 103. , An input control unit 105 (menu control unit 106), an image composition unit 109, and a display unit 110.

再生制御部100は、映像コンテンツの再生を制御する。再生制御部100は、入力制御部105を通じて入力されるユーザからの要求に応じて、モード設定部100aにより再生モードの設定を行う。モード設定部100aは、映像コンテンツデータを二次元映像として表示させる2D(二次元)モード(第1表示モード)と、三次元映像として表示させる2Dto3Dモード(第2表示モード)の何れかを設定する。通常は、二次元映像用の映像コンテンツデータに対しては2Dモードを設定し、ユーザからの要求に応じて2Dto3Dモードを設定する。また、データ抽出部101により抽出されたデータからメニュードメインへの遷移を判別して、この判別に応じて映像信号生成部102(2Dto3D変換部102b)による処理を制御する。   The playback control unit 100 controls playback of video content. In response to a request from the user input through the input control unit 105, the playback control unit 100 sets the playback mode using the mode setting unit 100a. The mode setting unit 100a sets either a 2D (two-dimensional) mode (first display mode) for displaying video content data as a two-dimensional video or a 2D to 3D mode (second display mode) for displaying as three-dimensional video. . Normally, 2D mode is set for video content data for 2D video, and 2D to 3D mode is set in response to a request from the user. Further, the transition from the data extracted by the data extraction unit 101 to the menu domain is determined, and the processing by the video signal generation unit 102 (2D to 3D conversion unit 102b) is controlled according to this determination.

データ抽出部101は、入力された映像コンテンツデータ51に含まれる各種のデータ、例えばビデオデータ、音声データ、メニュー画像データ等を抽出する。以下の説明では、ビデオデータとメニュー画像データを対象として説明する。データ抽出部101は、抽出したビデオデータを映像信号生成部102に出力する。また、データ抽出部101は、抽出したメニュー画像データをメニュー画像生成部103に出力する。例えば、DVD等から読み出された映像コンテンツデータ(メニュードメイン)には、メニュー画面中に選択項目や背景映像を表示するためのビデオデータの他に、メニュー画像データが含まれている。データ抽出部101は、メニュー表示用の映像コンテンツデータからメニュー画像データを抽出する。   The data extraction unit 101 extracts various data included in the input video content data 51, such as video data, audio data, menu image data, and the like. In the following description, video data and menu image data will be described. The data extraction unit 101 outputs the extracted video data to the video signal generation unit 102. Further, the data extraction unit 101 outputs the extracted menu image data to the menu image generation unit 103. For example, video content data (menu domain) read from a DVD or the like includes menu image data in addition to video data for displaying selection items and background video in a menu screen. The data extraction unit 101 extracts menu image data from video content data for menu display.

メニュー画像生成部103は、データ抽出部101によって出力されたメニュー画像データに基づいてメニュー画像の映像信号を生成する。メニュー画像は、例えばメニュー画面における現在の選択項目を示すためのハイライト表示である。なお、メニュー画像は、ハイライト表示に限定されるものではなく、ラインや枠、特定の色表示などであっても良い。メニュー画像は、背景に表示される二次元映像(例えば、メニューの選択項目など)と相対的な位置関係が予め決められている。   The menu image generation unit 103 generates a video signal of the menu image based on the menu image data output by the data extraction unit 101. The menu image is, for example, a highlight display for showing the current selection item on the menu screen. The menu image is not limited to highlight display, and may be a line, a frame, a specific color display, or the like. The menu image has a predetermined relative positional relationship with a two-dimensional image (for example, a menu selection item) displayed in the background.

映像信号生成部102は、再生対象のビデオデータを用いて、LCD15に表示する映像の映像信号を生成する。再生対象のビデオデータが通常の映像(二次元映像)を表示するためのデータである場合、映像信号生成部102は、一般に符号化(圧縮符号化)されたビデオデータをデコーダ102aによりデコードする処理等を施して、映像信号を生成する。   The video signal generation unit 102 generates a video signal of a video to be displayed on the LCD 15 using the video data to be reproduced. When the video data to be reproduced is data for displaying a normal video (2D video), the video signal generation unit 102 generally decodes the encoded (compressed) video data by the decoder 102a. Etc. to generate a video signal.

また、ビデオデータを三次元映像として表示させる場合、映像信号生成部102は、2Dto3D変換部102bによりビデオデータに対して2Dto3D変換を行う。すなわち、2Dto3D変換部102bは、ビデオデータから左眼用映像(左眼用画像フレーム)と右眼用映像(右眼用画像フレーム)とを含む映像(視差画像)の映像信号を生成する。具体的には、2Dto3D変換部102bは、デコーダ102aによりデコードされた映像信号を用いて、映像信号の画像フレームそれぞれを解析することによって、各画像フレームに含まれる画素毎の奥行き位置(depth)を推定する。2Dto3D変換部102bは、例えば、画像フレーム間の動きや画像フレーム内の画素値の差分等を用いて、画素毎の奥行き位置を推定する。そして、2Dto3D変換部102bは、推定した画素毎の奥行き位置に基づいて、その画像フレームに対応する左眼用画像フレームと右眼用画像フレームとを生成する。左眼用画像フレームと右眼用画像フレームとを含む映像は、例えば、奇数番目の走査線に左眼用映像の画素が表示され、偶数番目の走査線に右眼用の画素が表示される映像である。つまり、映像には左眼用映像と右眼用映像とが1行毎に交互に描画される。なお、左眼用映像と右眼用映像とを1列毎に交互に描画する方式により、映像を作成してもよい。   When displaying video data as 3D video, the video signal generation unit 102 performs 2D to 3D conversion on the video data by the 2D to 3D conversion unit 102b. That is, the 2D to 3D conversion unit 102b generates a video signal of a video (parallax image) including a left-eye video (left-eye image frame) and a right-eye video (right-eye image frame) from the video data. Specifically, the 2D to 3D conversion unit 102b uses the video signal decoded by the decoder 102a to analyze each image frame of the video signal, thereby obtaining a depth position (depth) for each pixel included in each image frame. presume. The 2D to 3D conversion unit 102b estimates the depth position for each pixel using, for example, a motion between image frames, a difference between pixel values in the image frame, and the like. Then, the 2D to 3D conversion unit 102b generates a left-eye image frame and a right-eye image frame corresponding to the image frame based on the estimated depth position for each pixel. In a video including a left-eye image frame and a right-eye image frame, for example, left-eye video pixels are displayed on odd-numbered scan lines, and right-eye pixels are displayed on even-numbered scan lines. It is a picture. That is, the video for the left eye and the video for the right eye are alternately drawn for each line. Note that the video may be created by a method of alternately drawing the left-eye video and the right-eye video for each column.

入力制御部105は、ユーザ操作に応じた入力装置52からの通知を入力する。入力装置52には、例えばキーボード26やリモコンユニット(図示せず)を含む。入力制御部105は、キーボード26に割り当てられた所定のキーや、リモコンユニットのボタンなどに対するユーザ操作に応じた通知を入力する。入力制御部105は、映像コンテンツデータ51の再生モードとして、2Dto3Dモードが通知された場合に、再生制御部100(モード設定部100a)に通知する。また、入力制御部105には、メニュー制御部106が含まれている。メニュー制御部106は、メニュー画面が表示されている場合、入力装置52に対するユーザ操作に応じて、メニュー画像生成部103により生成されるメニュー画像データ(ハイライト表示)の表示位置を変更する。具体的には、ハイライト表示の表示位置をユーザからの指示に応じて変更することで、メニュー画面中の現在の選択項目を変更する。   The input control unit 105 inputs a notification from the input device 52 according to a user operation. The input device 52 includes a keyboard 26 and a remote control unit (not shown), for example. The input control unit 105 inputs a notification corresponding to a user operation on a predetermined key assigned to the keyboard 26 or a button of the remote control unit. When the 2D to 3D mode is notified as the reproduction mode of the video content data 51, the input control unit 105 notifies the reproduction control unit 100 (mode setting unit 100a). The input control unit 105 includes a menu control unit 106. When the menu screen is displayed, the menu control unit 106 changes the display position of the menu image data (highlighted display) generated by the menu image generation unit 103 in accordance with a user operation on the input device 52. Specifically, the currently selected item in the menu screen is changed by changing the display position of the highlight display in accordance with an instruction from the user.

画像合成部109は、映像信号生成部102(デコーダ102a、2Dto3D変換部102b)によって出力された映像信号と、メニュー画像生成部103により生成されたメニュー画像の映像信号(画像フレーム)を合成して表示部110に出力する。   The image synthesis unit 109 synthesizes the video signal output from the video signal generation unit 102 (decoder 102a, 2D to 3D conversion unit 102b) and the video signal (image frame) of the menu image generated by the menu image generation unit 103. Output to the display unit 110.

表示部110は、画像合成部109により合成された映像信号をLCD15の画面に表示させる。表示部110は、映像信号生成部102の2Dto3D変換部102bによって三次元映像用の映像信号が生成された場合、画像合成部109によって出力された左眼用画像フレームと右眼用画像フレームの各々を所定のタイミングで画面(LCD)15に表示する。シャッター方式の三次元映像表示では、表示部110は、所定のリフレッシュレート(例えば、120Hz)で、左眼用画像フレームと右眼用画像フレームとをLCD15上に交互に表示する。ユーザは、例えば、液晶シャッターメガネを用いることで、左眼用画像フレームを左眼で、右眼用画像フレームを右眼で見ることができる。これによりユーザは、三次元画像(立体画像)を知覚することができる。   The display unit 110 displays the video signal combined by the image combining unit 109 on the screen of the LCD 15. When the 2D to 3D conversion unit 102b of the video signal generation unit 102 generates a 3D video signal, the display unit 110 outputs each of the left-eye image frame and the right-eye image frame output by the image synthesis unit 109. Is displayed on the screen (LCD) 15 at a predetermined timing. In the shutter-type 3D video display, the display unit 110 alternately displays the left-eye image frame and the right-eye image frame on the LCD 15 at a predetermined refresh rate (for example, 120 Hz). For example, by using liquid crystal shutter glasses, the user can view the left-eye image frame with the left eye and the right-eye image frame with the right eye. Thereby, the user can perceive a three-dimensional image (stereoscopic image).

また、偏光方式の三次元映像表示では、表示部110は、例えば、左眼用画像フレームと右眼用画像フレームとが走査線単位でインタリーブされたインタリーブ画像フレームを生成する。表示部110は、生成したインタリーブ画像フレームをLCD15上に、所定のリフレッシュレート(例えば、60Hz)で表示する。表示されたインタリーブ画像フレームは、LCD15の画面を覆う偏光フィルタによって偏光される。具体的には、偏光フィルタは、例えば、画面上の奇数番目の走査線群に表示される左眼用画像と、偶数番目の走査線群に表示される右眼用画像とを異なる方向に偏光する。ユーザは、偏光メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。これによりユーザは、三次元画像(立体画像)を知覚することができる。   In the polarization type 3D image display, the display unit 110 generates an interleaved image frame in which, for example, a left-eye image frame and a right-eye image frame are interleaved in units of scanning lines. The display unit 110 displays the generated interleaved image frame on the LCD 15 at a predetermined refresh rate (for example, 60 Hz). The displayed interleaved image frame is polarized by a polarizing filter that covers the screen of the LCD 15. Specifically, the polarizing filter, for example, polarizes the left-eye image displayed on the odd-numbered scanning line group on the screen and the right-eye image displayed on the even-numbered scanning line group in different directions. To do. By using polarized glasses, the user can see the left-eye image with the left eye and the right-eye image with the right eye. Thereby, the user can perceive a three-dimensional image (stereoscopic image).

図4は、本実施形態における映像コンテンツデータ51に含まれるメニュードメインのビデオデータとメニュー画像データとの関係を示す図である。
図4に示すように、メニュードメインには、メニュー画面中のタイトル名などの選択項目や背景の映像(動画像)などを表示するビデオデータと、ユーザ操作に応じて表示位置が変更されるハイライト表示などのメニュー画像データが含まれる。
FIG. 4 is a diagram illustrating a relationship between menu domain video data and menu image data included in the video content data 51 according to the present embodiment.
As shown in FIG. 4, the menu domain includes video data for displaying a selection item such as a title name in the menu screen, a background video (moving image), and the like and a display position that is changed according to a user operation. Menu image data such as light display is included.

ビデオデータとメニュー画像データは、図4に示すように、異なるプレーンにおいて管理されている。映像コンテンツデータ51を3次元映像として表示させるために2Dto3D変換をする場合、ビデオプレーン200において管理されているビデオデータのみが変換対象となる。一方、メニュープレーン201において管理されるメニュー画像データは、2Dto3D変換の対象とならないため、2Dto3D変換されたビデオデータと合成されて出力される。   Video data and menu image data are managed in different planes as shown in FIG. When performing 2D to 3D conversion in order to display the video content data 51 as a 3D video, only video data managed in the video plane 200 is a conversion target. On the other hand, the menu image data managed in the menu plane 201 is not subjected to 2D to 3D conversion, and is therefore combined with 2D to 3D converted video data and output.

図5(A)(B)(C)は、本実施形態における映像コンテンツデータ51(メニュードメイン)に応じて表示されるメニュー画面の一例を示す図である。
図5(A)は、二次元映像用の映像コンテンツデータ51によって表示されるメニュー画面を示している。図5(A)に示すように、メニュードメインを標準の2次元映像として表示させた場合、ビデオデータによって表示されるタイトル名などの選択項目の表示位置に合わせて、ハイライト表示(メニュー画像データ)の表示位置が決められている。例えば、図5(A)に示すメニュー画面が表示されている時、カーソルキーなどの操作によって選択項目の変更が指示されると、例えば次のタイトル名が表示された位置に合わせてハイライト表示の表示位置が変更される。
FIGS. 5A, 5B, and 5C are diagrams illustrating examples of menu screens displayed in accordance with the video content data 51 (menu domain) in the present embodiment.
FIG. 5A shows a menu screen displayed by video content data 51 for 2D video. As shown in FIG. 5A, when the menu domain is displayed as a standard two-dimensional image, highlight display (menu image data) is performed in accordance with the display position of a selection item such as a title name displayed by video data. ) Display position is determined. For example, when the menu screen shown in FIG. 5A is displayed, if a change of a selection item is instructed by an operation of a cursor key or the like, for example, a highlight display is performed in accordance with the position where the next title name is displayed. The display position of is changed.

メニュードメインを三次元映像として表示させる場合には、図4に示すようにビデオデータをもとにして2Dto3D変換が実行されて、左眼用画像フレームと右眼用画像フレームの視差画像が生成される。視差画像は、図5(B)(C)に示すように、タイトル名(選択項目)や背景映像などの表示位置が元の画像とずれてしまう。   When the menu domain is displayed as a 3D video, 2D to 3D conversion is performed based on video data as shown in FIG. 4, and a parallax image of the left-eye image frame and the right-eye image frame is generated. The As shown in FIGS. 5B and 5C, the display position of the title name (selection item), the background video, and the like shifts from the original image in the parallax image.

一方、ハイライト表示などのメニュー画像データは2Dto3D変換の対象となっていないため、表示位置が変更されない。従って、三次元映像では、ハイライト表示の表示位置がタイトル名の表示位置と一致せず、ハイライト表示の表示位置から何れのタイトル名を選択している状態であるか認識しにくくなってしまう。   On the other hand, menu image data such as highlight display is not subject to 2D to 3D conversion, so the display position is not changed. Therefore, in the 3D image, the display position of the highlight display does not match the display position of the title name, and it is difficult to recognize which title name is selected from the display position of the highlight display. .

本実施形態における映像コンテンツ再生機能では、映像コンテンツデータ51を三次元映像として表示する設定(2Dto3Dモード)がされている場合であっても、メニュードメインへ表示対象が遷移した場合には、映像コンテンツデータ51から抽出されたビデオデータに対する2Dto3D変換を無効化(ディセーブル)することで、三次元映像(選択項目)とメニュー画像データ(ハイライト表示)のずれによるメニュー操作の障害を回避する。   In the video content playback function according to the present embodiment, even if the video content data 51 is set to be displayed as a 3D video (2D to 3D mode), the video content is displayed when the display target transitions to the menu domain. By disabling (disabling) the 2D to 3D conversion for the video data extracted from the data 51, it is possible to avoid an obstacle to the menu operation due to a shift between the 3D video (selection item) and the menu image data (highlight display).

次に、本実施形態における映像コンテンツ再生機能について、図6に示すフローチャートを参照しながら説明する。
ここでは、ODD22から読み出されるDVDに記録された映像コンテンツデータ51を再生する場合を例にする。DVDに記録された映像コンテンツデータ51には、二次元映像用のデータであり、本編タイトル用データの他に、メニュー表示用データ(メニュードメイン)が含まれている。また、メニュードメインには、メニュー画面中に選択項目や背景映像を表示するためのビデオデータの他に、現在の選択項目を示すハイライト表示のためのメニュー画像データが含まれている。
Next, the video content playback function in this embodiment will be described with reference to the flowchart shown in FIG.
Here, a case where the video content data 51 recorded on the DVD read from the ODD 22 is reproduced is taken as an example. The video content data 51 recorded on the DVD is data for two-dimensional video, and includes menu display data (menu domain) in addition to the main title data. The menu domain includes menu image data for highlight display indicating the current selection item, in addition to video data for displaying the selection item and the background video in the menu screen.

再生制御部100は、映像コンテンツデータ51の再生開始の要求が入力制御部105を介して入力されると、映像コンテンツデータ51を読み込んで再生処理を開始する。   When a playback start request for the video content data 51 is input via the input control unit 105, the playback control unit 100 reads the video content data 51 and starts playback processing.

2Dto3Dモードが設定されていない場合には(ステップA1、No)、映像コンテンツ再生アプリケーション13Bは、映像コンテンツデータ51を二次元映像として再生する。データ抽出部101は、映像コンテンツデータ51を入力して(ステップA3)、映像コンテンツデータ51からビデオデータとメニュー画像データを抽出する(ステップA4)。ただし、入力した映像コンテンツデータ51が本編タイトルデータである場合にはメニュー画像データは抽出されない。   When the 2D to 3D mode is not set (step A1, No), the video content playback application 13B plays back the video content data 51 as a 2D video. The data extraction unit 101 inputs the video content data 51 (step A3), and extracts video data and menu image data from the video content data 51 (step A4). However, if the input video content data 51 is the main title data, the menu image data is not extracted.

映像信号生成部102は、データ抽出部101により抽出されたビデオデータを、デコーダ102aによってデコードする(ステップA5)。2Dto3Dモードが設定されていない場合には(ステップA6、2Dモード)、2Dto3D変換部102bは無効化されているため、デコーダ102aによるデコードにより生成された映像信号が画像合成部109に出力される。   The video signal generation unit 102 decodes the video data extracted by the data extraction unit 101 by the decoder 102a (step A5). When the 2D to 3D mode is not set (step A6, 2D mode), since the 2D to 3D conversion unit 102b is invalidated, the video signal generated by the decoding by the decoder 102a is output to the image synthesis unit 109.

画像合成部109は、映像信号生成部102(デコーダ102a)から出力された映像信号とメニュー画像生成部103から出力された映像信号とを合成する(ステップA9)。なお、映像コンテンツデータ51がメニュードメインでない場合(本編タイトルデータの場合)には、映像信号生成部102から出力された映像信号が再生対象となる。   The image synthesis unit 109 synthesizes the video signal output from the video signal generation unit 102 (decoder 102a) and the video signal output from the menu image generation unit 103 (step A9). When the video content data 51 is not a menu domain (in the case of main title data), the video signal output from the video signal generation unit 102 is a reproduction target.

表示部110は、画像合成部109により合成された映像信号をLCD15の画面に表示させる(ステップA10)。ここでは、2Dto3Dモードが設定されていないので、二次元映像を表示させる。以下、前述した処理が、映像コンテンツデータ51の読出しが終了するまで継続される(ステップA11、No)。   The display unit 110 displays the video signal synthesized by the image synthesis unit 109 on the screen of the LCD 15 (step A10). Here, since the 2D to 3D mode is not set, a 2D image is displayed. Hereinafter, the above-described processing is continued until the reading of the video content data 51 is completed (No at Step A11).

一方、入力装置52へのユーザ操作によって2Dto3Dモードの設定が要求されると、入力制御部105は、再生制御部100に通知する。再生制御部100のモード設定部100aは、映像コンテンツデータ51の再生モードを2Dto3Dモードに設定する。   On the other hand, when setting of the 2D to 3D mode is requested by a user operation on the input device 52, the input control unit 105 notifies the reproduction control unit 100. The mode setting unit 100a of the playback control unit 100 sets the playback mode of the video content data 51 to the 2D to 3D mode.

2Dto3Dモードが設定されている場合には(ステップA1、Yes)、再生制御部100は、2Dto3D変換部102bを有効化(イネーブル)する(ステップA2)。すなわち、映像コンテンツ再生アプリケーション13Bは、映像コンテンツデータ51を、メニュードメイン以外について三次元映像として再生できるようにする。データ抽出部101は、映像コンテンツデータ51を入力して(ステップA3)、映像コンテンツデータ51からビデオデータとメニュー画像データを抽出する(ステップA4)。ただし、入力した映像コンテンツデータ51が本編タイトルデータである場合にはメニュー画像データは抽出されない。   When the 2D to 3D mode is set (step A1, Yes), the playback control unit 100 enables (enables) the 2D to 3D conversion unit 102b (step A2). In other words, the video content playback application 13B enables the video content data 51 to be played back as a 3D video except for the menu domain. The data extraction unit 101 inputs the video content data 51 (step A3), and extracts video data and menu image data from the video content data 51 (step A4). However, if the input video content data 51 is the main title data, the menu image data is not extracted.

映像信号生成部102は、データ抽出部101により抽出されたビデオデータを、デコーダ102aによってデコードする(ステップA5)。2Dto3Dモードが設定されている場合には(ステップA6、2Dto3Dモード)、再生制御部100は、データ抽出部101により抽出対象となっているデータがメニュードメインでない場合、2Dto3D変換部102bにより2Dto3D変換を実行させる。   The video signal generation unit 102 decodes the video data extracted by the data extraction unit 101 by the decoder 102a (step A5). When the 2D to 3D mode is set (step A6, 2D to 3D mode), the playback control unit 100 performs 2D to 3D conversion by the 2D to 3D conversion unit 102b when the data to be extracted by the data extraction unit 101 is not a menu domain. Let it run.

2Dto3D変換部102bは、デコーダ102aによるデコードにより生成された映像信号を用いて、左眼用画像フレームと右眼用画像フレームとを生成する(ステップA8)。   The 2D to 3D conversion unit 102b generates a left-eye image frame and a right-eye image frame using the video signal generated by the decoding by the decoder 102a (step A8).

画像合成部109は、映像信号生成部102(2Dto3D変換部102b)から出力された映像信号とメニュー画像生成部103から出力された映像信号とを合成する(ステップA9)。なお、映像コンテンツデータ51がメニュードメインでない場合(本編タイトルデータの場合)には、映像信号生成部102から出力された映像信号が再生対象となる。   The image synthesis unit 109 synthesizes the video signal output from the video signal generation unit 102 (2D to 3D conversion unit 102b) and the video signal output from the menu image generation unit 103 (step A9). When the video content data 51 is not a menu domain (in the case of main title data), the video signal output from the video signal generation unit 102 is a reproduction target.

表示部110は、画像合成部109により合成された映像信号をLCD15の画面に表示させる。ここでは、2Dto3Dモードが設定されているので、三次元映像を表示させる。   The display unit 110 displays the video signal combined by the image combining unit 109 on the screen of the LCD 15. Here, since the 2D to 3D mode is set, a 3D image is displayed.

なお、再生制御部100は、2Dto3Dモードが設定されている場合に、データ抽出部101により抽出対象となっているデータがメニュードメインに遷移したことを判別すると(ステップA7、Yes)、2Dto3D変換部102bを無効化(ディセーブル)する。   When the 2D to 3D mode is set, the playback control unit 100 determines that the data to be extracted has transitioned to the menu domain by the data extraction unit 101 (step A7, Yes), and the 2D to 3D conversion unit. 102b is invalidated (disabled).

従って、映像信号生成部102は、データ抽出部101により抽出されたビデオデータを、デコーダ102aによりデコードして映像信号を出力する。すなわち、映像信号生成部102は、ビデオデータに対して2Dto3D変換をせず、メニュー画面中のタイトル名などの選択項目や背景等の二次元映像を表示するための映像信号を出力する。また、メニュー画像生成部103は、データ抽出部101により抽出されたメニュー画像データをもとに、例えばメニュー画面中でハイライト表示するための映像信号を生成して画像合成部109に出力する。   Accordingly, the video signal generation unit 102 decodes the video data extracted by the data extraction unit 101 by the decoder 102a and outputs a video signal. That is, the video signal generation unit 102 does not perform 2D to 3D conversion on the video data, and outputs a video signal for displaying a selection item such as a title name in the menu screen and a 2D video such as a background. Further, the menu image generation unit 103 generates a video signal for highlight display on the menu screen, for example, based on the menu image data extracted by the data extraction unit 101 and outputs the video signal to the image composition unit 109.

画像合成部109は、映像信号生成部102(デコーダ102a)によって出力された映像信号と、メニュー画像生成部103により生成されたメニュー画像の映像信号を合成して表示部110に出力する(ステップA9)。表示部110は、画像合成部109により合成された映像信号に応じた映像(メニュー画面)を表示する。   The image synthesis unit 109 synthesizes the video signal output by the video signal generation unit 102 (decoder 102a) and the video signal of the menu image generated by the menu image generation unit 103 and outputs the synthesized video signal to the display unit 110 (step A9). ). The display unit 110 displays a video (menu screen) corresponding to the video signal synthesized by the image synthesis unit 109.

メニュー画面では、タイトル名などの選択項目が二次元映像によって表示されるため、ハイライト表示の表示位置が選択項目の表示位置と一致する。すなわち、2Dto3Dモードが設定されている場合であっても、メニュー画面では2Dモードにより表示することにより、図5(B)(C)を用いて説明したようなメニュー操作の障害が発生しない。   On the menu screen, a selection item such as a title name is displayed as a two-dimensional image, so that the display position of the highlight display matches the display position of the selection item. That is, even when the 2D to 3D mode is set, the menu operation is not disturbed as described with reference to FIGS. 5B and 5C by displaying in the 2D mode on the menu screen.

なお、メニュー画面の表示が終了された場合には、再生制御部100は、2Dto3D変換部102bを有効化(イネーブル)して、映像コンテンツデータ51を三次元映像によって表示できるようにする。   When the display of the menu screen is finished, the playback control unit 100 enables (enables) the 2D to 3D conversion unit 102b so that the video content data 51 can be displayed as 3D video.

このようにして、本実施形態におけるパーソナルコンピュータ1では、映像コンテンツ再生アプリケーション13Bを実行することにより、二次元映像用の映像コンテンツデータ51を三次元映像として表示させることができる。そして、2Dto3Dモードが設定されている場合であっても、三次元映像化することによりメニュー画像データ(ハイライト表示等)との位置ずれが生じるメニュー画面の表示時には、2Dto3D変換を無効化することによりメニュー操作の障害を回避することができる。   In this way, the personal computer 1 in the present embodiment can display the video content data 51 for 2D video as a 3D video by executing the video content playback application 13B. Even when the 2D to 3D mode is set, 2D to 3D conversion is invalidated at the time of displaying a menu screen in which the positional deviation from the menu image data (highlight display, etc.) occurs due to the 3D video. Thus, troubles in menu operation can be avoided.

なお、前述した説明では、パーソナルコンピュータ1により実現されるものとして説明しているが、その他の映像を表示する電子機器により実現することが可能である。例えば、テレビ、携帯電話機、光ディスクプレーヤ、カーナビゲーション等において実現可能である。   In the above description, although described as being realized by the personal computer 1, it may be realized by an electronic device that displays other video. For example, it can be realized in a television, a mobile phone, an optical disc player, a car navigation, and the like.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
[1] 第1の映像データと前記第1の映像データと合成されて表示される第2の映像データとを含む映像コンテンツデータから前記第1の映像データと前記第2の映像データとを抽出するデータ抽出手段と、
前記映像コンテンツデータを二次元映像として表示させる第1表示モードと三次元映像として表示させる第2表示モードの何れかに設定するモード設定手段と、
前記第2表示モードが設定され、かつ前記第2の映像データが抽出された場合に、前記第1の映像データに応じた二次元映像用の第1の映像信号を生成し、前記第2表示モードが設定され、かつ前記第2の映像データが抽出されない場合に、前記第1の映像データに応じた三次元映像用の第2の映像信号を生成する第1の映像信号生成手段と、
前記第2の映像データに応じた第3の映像信号を生成する第2の映像信号生成手段と、
前記第1の映像信号または前記第2の映像信号と、前記第3の映像信号とを合成する合成手段と、
前記合成手段により合成された映像信号に応じた画面を表示する表示手段と
を具備する電子機器。
[2] 前記第1の映像信号生成手段は、
前記第1の映像データをデコードして前記第1の映像信号を出力するデコーダと、
前記第1の映像信号をもとにして三次元映像用の視差画像を作成して、前記視差画像に応じた前記第2の映像信号を出力する変換手段とを含む[1]記載の電子機器。
[3] 前記第2の映像データの画面中の表示位置は、前記第1の映像データにより表示される二次元映像と相対的な位置関係が決められている[1]記載の電子機器。
[4] 第1の映像データと前記第1の映像データと合成されて表示される第2の映像データとを含む映像コンテンツデータから前記第1の映像データと前記第2の映像データとを抽出し、
前記映像コンテンツデータを二次元映像として表示させる第1表示モードと三次元映像として表示させる第2表示モードの何れかに設定し、
前記第2表示モードが設定され、かつ前記第2の映像データが抽出された場合に、前記第1の映像データに応じた二次元映像用の第1の映像信号を生成し、前記第2表示モードが設定され、かつ前記第2の映像データが抽出されない場合に、前記第1の映像データに応じた三次元映像用の第2の映像信号を生成し、
前記第2の映像データに応じた第3の映像信号を生成し、
前記第1の映像信号または前記第2の映像信号と、前記第3の映像信号とを合成し、
前記合成手段により合成された映像信号に応じた画面を表示する画像処理方法。
[5] コンピュータに、
第1の映像データと前記第1の映像データと合成されて表示される第2の映像データとを含む映像コンテンツデータから前記第1の映像データと前記第2の映像データとを抽出する手順、
前記映像コンテンツデータを二次元映像として表示させる第1表示モードと三次元映像として表示させる第2表示モードの何れかに設定する手順、
前記第2表示モードが設定され、かつ前記第2の映像データが抽出された場合に、前記第1の映像データに応じた二次元映像用の第1の映像信号を生成し、前記第2表示モードが設定され、かつ前記第2の映像データが抽出されない場合に、前記第1の映像データに応じた三次元映像用の第2の映像信号を生成する手順、
前記第2の映像データに応じた第3の映像信号を生成する手順、
前記第1の映像信号または前記第2の映像信号と、前記第3の映像信号とを合成する手順、
前記合成手段により合成された映像信号に応じた画面を表示する手順を実行させるための画像処理プログラム。
Further, the processing described in the above-described embodiment is a recording medium such as a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, etc. And can be provided to various devices. It is also possible to transmit to a variety of devices by transmitting via a communication medium. The computer reads the program recorded on the recording medium or receives the program via the communication medium, and the operation is controlled by this program, thereby executing the above-described processing.
The invention described in the scope of the claims of the present application will be appended below.
[1] Extracting the first video data and the second video data from video content data including the first video data and the second video data combined with the first video data and displayed. Data extraction means to
Mode setting means for setting either the first display mode for displaying the video content data as a two-dimensional video or the second display mode for displaying as a three-dimensional video;
When the second display mode is set and the second video data is extracted, a first video signal for 2D video corresponding to the first video data is generated, and the second display is generated. First video signal generating means for generating a second video signal for 3D video according to the first video data when the mode is set and the second video data is not extracted;
Second video signal generating means for generating a third video signal corresponding to the second video data;
Combining means for combining the first video signal or the second video signal and the third video signal;
Display means for displaying a screen corresponding to the video signal synthesized by the synthesis means;
An electronic device comprising:
[2] The first video signal generation means includes:
A decoder for decoding the first video data and outputting the first video signal;
The electronic device according to [1], further comprising: conversion means for creating a parallax image for 3D video based on the first video signal and outputting the second video signal corresponding to the parallax image. .
[3] The electronic device according to [1], wherein the display position of the second video data in the screen is determined to have a relative positional relationship with the two-dimensional video displayed by the first video data.
[4] Extracting the first video data and the second video data from video content data including the first video data and the second video data combined with the first video data and displayed. And
Set to either the first display mode for displaying the video content data as 2D video or the second display mode for displaying as 3D video,
When the second display mode is set and the second video data is extracted, a first video signal for 2D video corresponding to the first video data is generated, and the second display is generated. When a mode is set and the second video data is not extracted, a second video signal for 3D video corresponding to the first video data is generated,
Generating a third video signal corresponding to the second video data;
Combining the first video signal or the second video signal and the third video signal;
An image processing method for displaying a screen according to the video signal synthesized by the synthesis means.
[5]
A procedure for extracting the first video data and the second video data from video content data including first video data and second video data to be displayed in combination with the first video data;
A procedure for setting either the first display mode for displaying the video content data as a two-dimensional video or the second display mode for displaying the video content data as a three-dimensional video;
When the second display mode is set and the second video data is extracted, a first video signal for 2D video corresponding to the first video data is generated, and the second display is generated. A procedure for generating a second video signal for 3D video corresponding to the first video data when a mode is set and the second video data is not extracted;
A procedure for generating a third video signal corresponding to the second video data;
A procedure of combining the first video signal or the second video signal and the third video signal;
An image processing program for executing a procedure for displaying a screen according to the video signal synthesized by the synthesizing means.

13B…映像コンテンツ再生アプリケーションプログラム、51…映像コンテンツデータ、52…入力装置、100…再生制御部、100a…モード設定部、101…データ抽出部、102…映像信号生成部、102a…デコーダ、102b…2Dto3D変換部、103…メニュー画像生成部、105…入力制御部、106…メニュー制御部、109…画像合成部、110…表示部。   13B ... Video content playback application program, 51 ... Video content data, 52 ... Input device, 100 ... Playback control unit, 100a ... Mode setting unit, 101 ... Data extraction unit, 102 ... Video signal generation unit, 102a ... Decoder, 102b ... 2D to 3D conversion unit, 103 ... menu image generation unit, 105 ... input control unit, 106 ... menu control unit, 109 ... image composition unit, 110 ... display unit.

Claims (6)

二次元映像用の映像コンテンツデータをもとに三次元映像を表示する第1表示制御手段と、
操作入力に応じて表示位置が変更されるオブジェクトが表示対象とする前記映像コンテンツデータに含まれる場合、前記第1表示制御手段による前記三次元映像の表示に代えて、前記映像コンテンツデータをもとに二次元映像を表示する第2表示制御手段と
を具備する電子機器。
First display control means for displaying 3D video based on video content data for 2D video;
When an object whose display position is changed in response to an operation input is included in the video content data to be displayed , instead of displaying the 3D video by the first display control unit , the video content data is used as a basis. And a second display control means for displaying a two-dimensional image.
前記映像コンテンツデータを前記二次元映像として表示させる第1表示モードと前記三次元映像として表示させる第2表示モードの何れかに設定するモード設定手段をさらに具備し、
前記第1表示制御手段は、前記第2表示モードが設定される場合に、前記三次元映像を表示する請求項1記載の電子機器。
Further comprising mode setting means for setting either the first display mode for displaying the video content data as the 2D video or the second display mode for displaying as the 3D video;
The electronic device according to claim 1, wherein the first display control unit displays the three-dimensional image when the second display mode is set.
前記映像コンテンツデータは、前記オブジェクトを含むメニュー画面を表示する映像データを含む請求項1記載の電子機器。   The electronic device according to claim 1, wherein the video content data includes video data for displaying a menu screen including the object. 二次元映像用の映像コンテンツデータをもとに三次元映像を表示し、
操作入力に応じて表示位置が変更されるオブジェクトが表示対象とする前記映像コンテンツデータに含まれる場合、前記第1表示制御手段による前記三次元映像の表示に代えて、前記映像コンテンツデータをもとに二次元映像を表示する画像処理方法。
Display 3D video based on video content data for 2D video,
When an object whose display position is changed in response to an operation input is included in the video content data to be displayed , instead of displaying the 3D video by the first display control unit , the video content data is used as a basis. Image processing method for displaying 2D video on
コンピュータに、
二次元映像用の映像コンテンツデータをもとに三次元映像を表示する手順と、
操作入力に応じて表示位置が変更されるオブジェクトが表示対象とする前記映像コンテンツデータに含まれる場合、前記第1表示制御手段による前記三次元映像の表示に代えて、前記映像コンテンツデータをもとに二次元映像を表示する手順とを実行させるための画像処理プログラム。
On the computer,
Procedure for displaying 3D video based on video content data for 2D video,
When an object whose display position is changed in response to an operation input is included in the video content data to be displayed , instead of displaying the 3D video by the first display control unit , the video content data is used as a basis. An image processing program for causing a computer to execute a procedure for displaying a two-dimensional image.
二次元映像用の映像コンテンツデータをもとに三次元映像を表示する第1表示制御手段と、
操作入力に応じて表示位置が変更されるオブジェクトと前記オブジェクトにより指定される複数の選択項目とを含むメニューが表示対象とする前記映像コンテンツデータに含まれる場合、前記第1表示制御手段による前記三次元映像の表示に代えて、前記映像コンテンツデータをもとに二次元映像を表示する第2表示制御手段と
を具備する電子機器。
First display control means for displaying 3D video based on video content data for 2D video;
If the display position according to the operation input a menu that includes a plurality of selection items specified by the object and the object to be changed, is contained in the video content data to be displayed, said by the first display control means an electronic device including instead of the display of three-dimensional video and a second display control means for displaying the original two-dimensional image of the video content data.
JP2012164182A 2012-07-24 2012-07-24 Electronic device, image processing method, and image processing program Active JP5362082B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012164182A JP5362082B2 (en) 2012-07-24 2012-07-24 Electronic device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012164182A JP5362082B2 (en) 2012-07-24 2012-07-24 Electronic device, image processing method, and image processing program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010198186A Division JP5058316B2 (en) 2010-09-03 2010-09-03 Electronic device, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2012239208A JP2012239208A (en) 2012-12-06
JP5362082B2 true JP5362082B2 (en) 2013-12-11

Family

ID=47461645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012164182A Active JP5362082B2 (en) 2012-07-24 2012-07-24 Electronic device, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP5362082B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610799B2 (en) * 2001-06-25 2011-01-12 オリンパス株式会社 Stereoscopic observation system and endoscope apparatus
JP4251952B2 (en) * 2003-10-01 2009-04-08 シャープ株式会社 Stereoscopic image display apparatus and stereoscopic image display method
JP2011250321A (en) * 2010-05-28 2011-12-08 Sharp Corp Three-dimensional video display apparatus, program, and recording medium

Also Published As

Publication number Publication date
JP2012239208A (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP5389139B2 (en) Electronic device and display control method
JP6846130B2 (en) Methods and devices for overlaying 3D graphics on 3D video
WO2011135857A1 (en) Image conversion device
WO2012143745A1 (en) Method and system for providing an improved audio experience for viewers of video
US8619123B2 (en) Video processing apparatus and method for scaling three-dimensional video
US8687950B2 (en) Electronic apparatus and display control method
JP5058316B2 (en) Electronic device, image processing method, and image processing program
JP2012186652A (en) Electronic apparatus, image processing method and image processing program
JP5025768B2 (en) Electronic apparatus and image processing method
JP4738522B2 (en) Video display device and video display method
JP5166567B2 (en) Electronic device, video data display control method, and program
JP5058354B1 (en) Electronic device, display control method and program
JP5362082B2 (en) Electronic device, image processing method, and image processing program
WO2011077673A1 (en) Reproduction device
JP5238849B2 (en) Electronic device, electronic device control method, and electronic device control program
JP5161999B2 (en) Electronic device, display control method, and display control program
JP5641953B2 (en) Electronic device, video data generation method, and program
JP5550603B2 (en) Video processing apparatus, video processing method, and program
JP5433774B2 (en) Electronic device, display control method, and display control program
JP2012231533A (en) Electronic apparatus, display control method and program
JP2011193498A (en) Video display device, video display method and program
JP2013085275A (en) Electronic apparatus, display control method and display control program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130903

R151 Written notification of patent or utility model registration

Ref document number: 5362082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313121

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350