JPWO2011121916A1 - 映像処理装置 - Google Patents

映像処理装置 Download PDF

Info

Publication number
JPWO2011121916A1
JPWO2011121916A1 JP2012508052A JP2012508052A JPWO2011121916A1 JP WO2011121916 A1 JPWO2011121916 A1 JP WO2011121916A1 JP 2012508052 A JP2012508052 A JP 2012508052A JP 2012508052 A JP2012508052 A JP 2012508052A JP WO2011121916 A1 JPWO2011121916 A1 JP WO2011121916A1
Authority
JP
Japan
Prior art keywords
video
program
frame
output
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012508052A
Other languages
English (en)
Other versions
JP5870272B2 (ja
Inventor
川口 透
透 川口
篠原 弘樹
弘樹 篠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012508052A priority Critical patent/JP5870272B2/ja
Publication of JPWO2011121916A1 publication Critical patent/JPWO2011121916A1/ja
Application granted granted Critical
Publication of JP5870272B2 publication Critical patent/JP5870272B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/399Control of the bit-mapped memory using two or more bit-mapped memories, the operations of which are switched in time, e.g. ping-pong buffers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/02Graphics controller able to handle multiple formats, e.g. input or output formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

放送された3D番組内の3D映像及び2D映像をシームレスに表示することのできる映像処理装置を提供することを目的とする。2D映像と3D映像とを出力する映像処理装置は、3D映像の映像フレーム及び2D映像の映像フレームが混在する映像ストリームを受信する受信手段と、受信した映像ストリームに含まれる番組が3D番組であるか、2D番組であるかを判断する判断手段と、前記判断手段で番組が3D番組であると判断する場合には当該3D番組中に含まれる2D映像の映像フレームを3D映像の出力方法で出力し、2D番組であると判断する場合には当該2D番組に含まれる2D映像の映像フレームを2D映像の出力方法で出力する出力手段とを備えることを特徴とする。

Description

本発明は、3D映像及び2D映像を表示する技術に関する。
近年、映画館等において、3D映像の立体視映像を楽しむ機会が増えていることに伴い、デジタルテレビ等においても3D映像の番組の放送が求められてきている。
ここで、立体視映像を再生、表示するための技術として、特許文献1がある。
特許文献1では、フレーム内の映像がSide−by−Side方式により格納された3D映像であるか否かを判別して、3D映像であれば、当該フレームから左目用の映像と右目用の映像を生成し、順次表示することで立体視表示を行っている。Side−by−Side方式とは、1つのフレームを左右に分割して、立体視に必要な左目用の映像を分割された一の領域へ、立体視に必要な右目用の映像を分割された他の領域へ、それぞれ格納する方法である。このような技術を用いることで、3D映像を視聴することができる。
特許第3789794号公報
ところで放送を考えると、3D映像を含む番組の放送時間帯には、番組の本編である3D映像と、当該番組内で放送されるコマーシャル等の2D映像とが放送される場合がある。つまりひとつの番組の放送において、3D映像のフレームと2D映像のフレームとが混在したストリームが送出されることとなる。このように、番組内で少なくとも一部が3D映像で放送される番組を3D番組、番組内に全く3D映像が含まれない番組を2D番組とする。
通常、2D映像については、例えばプラズマテレビでは1/60秒毎に映像の表示を行っている。これに対し、3D映像については、左目用の映像と右目用の映像と順次表示することで1つの立体映像として見ることができるので、1/60秒毎に1つの映像として視聴するためには1/120秒毎に左目用の映像と右目用の映像とを交互に表示する必要がある。
ここで、3D番組を視聴するために特許文献1に開示された技術を用いると、放送されたストリームに含まれるフレーム毎に3D映像であるか否かを判断することとなる。そのため、2D映像のフレームと3D映像のフレームとが混在する3D番組のストリームを受信する場合においては、2D映像から3D映像へ、また逆に3D映像から2D映像へ切り替わると、その都度、映像の出力周期の切り替えが発生する。
そうすると、出力周期の切り替えの開始から完了するまでの間は映像が出力されないので、当該切り替え期間中の映像が表示されなくなる。そのため、視聴者は、放送された3D番組の映像を十分に楽しめないという問題がある。
そこで、本発明は、放送された3D番組内の3D映像及び2D映像をシームレスに表示することのできる映像処理装置、映像処理方法、映像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明は、映像処理装置であって、3D映像の映像フレーム及び2D映像の映像フレームが混在する映像ストリームを受信する受信手段と、受信した映像ストリームに含まれる番組が3D番組であるか、2D番組であるかを判断する判断手段と、前記判断手段で番組が3D番組であると判断する場合には当該3D番組中に含まれる2D映像の映像フレームを3D映像の出力方法で出力し、2D番組であると判断する場合には当該2D番組に含まれる2D映像の映像フレームを2D映像の出力方法で出力する出力手段とを備えることを特徴とする。
上記に示す構成によると、映像処理装置は、3D番組中に放送された2D映像の映像フレームを受信しても、3D映像の出力方法で当該2D映像の映像フレームを出力するので、2D映像の出力方法と3D映像の出力方法とを切り替える必要がない。そのため、3D番組の視聴中に2D映像及び3D映像の表示に遅延が生じることはないので、映像処理装置は、放送された3D番組内の3D映像及び2D映像をシームレスに表示することができる。これにより、視聴者は、放送された3D番組を十分に楽しむことができる。
ここで、前記受信手段は、前記映像ストリームと関連付けられ、且つ当該映像ストリームを含む番組が2D番組であるか、3D番組であるかを示す付加情報を受信し、前記判断手段は、前記付加情報を用いて前記番組が3D番組を示すか2D番組を示すかを判断するとしてもよい。
この構成によると、映像処理装置は、付加情報を用いることで、受信した映像ストリームが3D番組のものであるか2D番組のものであるかを容易に判断することができる。
ここで、前記判断手段は、3D映像の映像フレームの受信開始から連続して所定枚数の3D映像の映像フレームを受信した場合には前記番組は3D番組であると判断し、連続して所定枚数の3D映像の映像フレームを受信しない場合には前記番組は2D番組であると判断するとしてもよい。
この構成によると、映像処理装置は、3D映像の映像フレームを連続して所定枚数以上受信したか否かを判断することで、受信した映像ストリームが3D番組のものであるか2D番組のものであるかを容易に判断することができる。
ここで、前記判断手段は、さらに、前記出力手段が前記3D映像の出力方法で映像フレームを出力中にチャネル切替が行われた後、2D映像の映像フレームの受信開始から連続して所定枚数の2D映像の映像フレームを受信すると、3D映像の出力方法から2D映像の出力方法へ切り替えると判断し、前記出力手段は、さらに、前記判断手段で3D映像の出力方法から2D映像の出力方法へ切り替えると判断された場合、映像の出力方法を3D映像のものから2D映像のものへと切り替えるとしてもよい。
この構成によると、映像処理装置は、チャネル切り替えが行われ、且つ切り替え後に受信した映像フレームが2D映像である場合に、出力方法を3D映像のものから2D映像のものへと切り替えている。したがって、映像処理装置は、ユーザの操作により、3D番組視聴の終了を検知することができる。
ここで、映像フレームには、当該映像フレームが2D映像であるか3D映像であるかを識別するための識別子が含まれており、前記映像処理装置は、さらに、受信した映像フレームに含まれる識別子を用いて、当該映像フレームが2D映像であるか3D映像であるかを判別するフレーム判別手段を備え、前記出力手段は、前記判断手段で番組が3D番組であると判断する場合に、前記フレーム判別手段で受信した映像フレームは2D映像であると判別されると当該映像フレームを3D映像の出力方法で出力するとしてもよい。
この構成によると、映像処理装置は、受信した映像フレームが2D映像のものであるか3D映像のものであるかの判断に識別子を用いて行うので、確実に判断することができる。
ここで、前記映像処理装置は、さらに、3D番組に対しては3D番組であることを示す識別情報が付加された電子番組表を記憶している記憶手段を備え、前記判断手段は、受信した映像ストリームが放送されたチャネルを特定し、特定したチャネルと現在時刻と前記電子番組表とから、受信した映像ストリームを含む番組が3D映像の番組であるか2D番組であるかを判断するとしてもよい。
この構成によると、映像処理装置は、電子番組表を用いて受信したストリームの番組が3D番組であるか2D番組であるかを容易に判断することができる。
ここで、前記電子番組表には、さらに、3D番組を放送する放送局である場合にはチャネル単位に当該放送局が3D番組を放送する放送局である旨の情報が付加されており、前記判断手段は、受信した映像ストリームを含む番組が3D映像の番組であるか否かの特定に先立って、特定したチャネルに対して3D番組を放送する放送局を示す情報が付加されているか否かを判断し、前記出力手段は、さらに、前記判断手段で3D番組を放送する放送局であると判断する場合には3D映像の出力方法で2D映像の映像フレームを出力するとしてもよい。
この構成によると、映像処理装置は、番組単位で2D番組であるか3D番組であるかを特定するに先立って、チャネル単位で3D番組のみを放送するチャネルであるか否かを特定することができる。
ここで、前記判断手段は、さらに、前記出力手段が前記3D映像の出力方法で映像フレームを出力中に、3D映像の番組であると特定した当該番組の終了を前記電子番組表を用いて検知した後、当該電子番組表を用いて当該番組に後続する後続番組が2D映像の番組であるか3D番組であるかを特定し、前記出力手段は、前記判断手段で前記後続番組が3D映像の番組であると判断される場合には2D映像の映像フレームを受信しても継続して3D映像の出力方法で当該2D映像の映像フレームの出力を行い、前記後続番組が2D映像の番組であると判断される場合には2D映像の映像フレームを受信すると前記2D映像の出力方法で当該2D映像の映像フレームを出力するとしてもよい。
この構成によると、映像処理装置は、電子番組表を用いることで、3D番組から2D番組への切り替えのタイミングを容易に検知することができる。
ここで、前記3D映像の出力方法における出力周期は、前記2D映像の出力方法における出力周期の半分であり、前記出力手段は、前記3D映像の出力方法における出力周期で2D映像の映像フレームを出力する際には、当該2D映像の映像フレームを2度出力するとしてもよい。
この構成によると、映像処理装置は、3D映像の出力方法における出力周期に基づいて2D映像を2回出力している。通常、3D映像では左目用の画像及び右目用の画像を交互に出力して1つの立体画像を形成するので、3D映像の出力方法における出力周期は2D映像の出力方法における出力周期の半分となっている。そのため、3D映像の出力方法における出力周期に基づいて2D映像が2回出力されることで、2D映像は2Dの出力方法における出力周期と変わらない周期で映像が変化する。したがって、視聴者は、3D番組を視聴中に2D映像が出力されても違和感なく映像を視聴することができる。
ここで、前記3D映像の出力方法における出力周期は、前記2D映像の出力方法における出力周期の半分であり、前記映像処理装置は、さらに、3D映像フレームを受信した以降において、2D映像フレームを連続して受信すると、一の2D映像フレームと、当該一の2D映像フレームの直後に受信した次2D映像フレームとから、当該一の2D映像フレームと次2D映像フレームとの中間映像となる補完映像を生成する映像処理手段を備え、前記出力手段は、前記3D映像の出力方法における出力周期で前記一の2D映像の映像フレームを出力し、次の出力周期で生成された前記補完映像を出力するとしてもよい。
この構成によると、映像処理装置は、3D映像の出力方法における出力周期に基づいて2D映像を出力した後、生成された補完映像を出力するので、3D映像の出力方法における出力周期において、2D映像の変化を滑らかにすることができる。通常、3D映像では左目用の画像及び右目用の画像を交互に出力して1つの立体画像を形成するので、3D映像の出力方法における出力周期は2D映像の出力方法における出力周期の半分となっている。そのため、一の2D映像と後続の2D映像とを出力する間に、一の2D映像と後続の2D映像との中間映像である補完映像を出力することで、滑らかな映像の変化を行うことができる。
デジタルテレビ(映像処理装置)100の利用形態を示す図である。 立体視画像の表示の一例を示す図である。 Side−by−Side方式による映像の表示の例を示す図である。 立体視のためのフレームの構成の一例を示す図である。 デジタルテレビ100の構成を示すブロック図である。 PMT(プログラムマップテーブル)T100内のデータ構造の一例を示す図である。 出力処理部105の構成を示すブロック図である。 バッファ切替処理の動作を示す流れ図である。 バッファ書込処理の動作を示す流れ図である。 3D番組を受信した場合において、その番組含まれる3D映像と2D映像とを表示する具体例を示す図である。 3D番組において2D映像を表示する際の仕組みの具体例を示す図である。 デジタルテレビ(映像処理装置)1100の利用形態を示す図である。 セットトップボックス(STB)1200の構成を示すブロック図である。 デジタルテレビ1100の構成を示すブロック図である。 出力処理の動作を示す流れ図である。 セットトップボックス(STB)1200aの構成を示すブロック図である。 出力処理部1205aの構成を示すブロック図である。 デジタルテレビ2100の構成を示すブロック図である。 デジタルテレビ2100aの構成を示すブロック図である。 デジタルテレビ3100の構成を示すブロック図である。 デジタルテレビ4100の構成を示すブロック図である。 番組判定処理の動作を示す流れ図である。 SDT(サービス記述子テーブル)T200のデータ構造の一例を示す図である。 補完映像を用いて2D映像を表示する仕組みの具体例を示す図である。 グラフィックス生成部110Aを備えた場合のデジタルテレビ100Aの構成を示すブロック図である。
1.第1の実施の形態
図面を参照しながら、本実施の形態に係る映像処理装置について説明する。
1.1 立体視について
先ず始めに、立体視の原理について簡単に述べる。立体視の実現法としては、ホログラフィ技術を用いる方法と、視差画像を用いる方式とがある。
まず、1つ目のホログラフィ技術の特徴としては、人間が通常物体を認識するのと全く同じように物体を立体として再現することができるが、動画生成に関しては、技術的な理論は確立しているが、ホログラフィ用の動画をリアルタイムで生成する膨大な演算量を伴うコンピューター、及び1mmの間に数千本の線を引けるだけの解像度を持った表示装置が必要であるが、現在の技術での実現は非常に難しく、商用として実用化されている例はほとんどない。
次に、2つ目の視差画像を用いる方式について説明する。一般に右目と、左目は、その位置の差に起因して、右目から見える像と左目から見える像には見え方に若干の差がある。この差を利用して人間は目に見える像を立体として認識できるのである。視差画像を用いて立体表示をする場合には、人間の視差を利用し平面の画像があたかも立体に見えるようにしている。
この方式のメリットは、高々右目用と左目用の2つの視点の映像を準備するだけで立体視を実現できることにあり、技術的には、左右のそれぞれの目に対応した絵を、いかにして対応した目にだけ見せることができるかの観点から、継時分離方式を始めとするいくつかの技術が実用化されている。
継時分離方式とは、左目用映像及び右目用映像を時間軸方向で交互に表示させ、目の残像反応により左右のシーンを脳内で重ね合わさせて、立体映像として認識させる方法である。
本実施の形態における映像処理装置は、3D映像の視聴が可能なテレビであり、図1(a)は、当該映像処理装置の、使用行為についての形態を示す図である。本図に示すように、デジタルテレビ100と3D眼鏡200とから構成され、ユーザによる使用が可能となる。
デジタルテレビ100は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
本実施形態のデジタルテレビ100は、3D眼鏡200をユーザが着用することで立体視を実現するものである。3D眼鏡200は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図1(b)は、左目用映像の表示時を示す。画面上に左目用の映像が表示されている瞬間において、前述の3D眼鏡200は、左目に対応する液晶シャッターを透過にし、右目に対応する液晶シャッターは遮光する。同図(c)は、右目用映像の表示時を示す。画面上に右目用の映像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
以上が、映像処理装置の使用形態についての説明である。
ここでは、立体視に使う視差画像を表示する方法を説明する。
視差画像方式は、右目に入る映像と、左目に入る映像とを各々用意し、それぞれの目に対応したピクチャだけが入るようにして立体視を行う方法である。図2は、ユーザの顔を左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を、右目から見た場合の例とを示している。右目及び左目の透光、遮光から繰り返されば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
視差画像のうち、左目に入る画像を左目画像(L画像)といい、右目に入る画像を右目画像(R画像)という。そして、各々のピクチャが、L画像になっている動画像をレフトビュービデオといい、各々のピクチャがR画像になっている動画像をライトビュービデオという。
レフトビュービデオとライトビュービデオを合成して圧縮符号化する3D方式には、フレーム互換方式とサービス互換方式がある。
まず1つ目のフレーム互換方式は、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。一例としては、図3に示すような、Side−by−Side方式がある。Side−by−Side方式では、レフトビュービデオとライトビュービデオの対応する各ピクチャをそれぞれ水平方向に1/2に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に2倍に伸長されることによって、レフトビュービデオとライトビュービデオの対応する各ピクチャが得られる。得られたレフトビュービデオのピクチャ(L画像)とライトビュービデオのピクチャ(R画像)を交互に表示することによって、図2に示すような立体視画像を得ることができる。フレーム互換方式にはSide−by−Side方式の他に、左右画像を上下に並べるTop and Bottom方式や、ピクチャ内の1ライン毎に左右画像を交互に配置するLine Alternative方式などがある。
次に、2つ目のサービス互換方式について説明する。サービス互換方式では、レフトビュービデオ、ライトビュービデオをデジタル化し、圧縮符号化することにより得られるビデオストリームである、レフトビュービデオストリームとライトビュービデオストリームを用いる。
図4は、サービス互換方式による立体視のためのレフトビュービデオストリーム、ライトビュービデオストリームの内部構成の一例を示す図である。
本図の第2段目は、レフトビュービデオストリームの内部構成を示す。このストリームには、ピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9というピクチャデータが含まれている。これらのピクチャデータは、Decode Time Stamp(DTS)に従いデコードされる。第1段目は、左目画像を示す。そうしてデコードされたピクチャデータI1、P2、Br3、Br4、P5、Br6、Br7、P9をPTSに従い、I1、Br3、Br4、P2、Br6、Br7、P5の順序で再生することで、左目画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する1つの符号化の単位である。また、既に処理済の1枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの2枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
第4段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームは、P1、P2、B3、B4、P5、B6、B7、P8というピクチャデータが含まれている。これらのピクチャデータは、DTSに従いデコードされる。第3段目は、右目画像を示す。そうしてデコードされたピクチャデータP1、P2、B3、B4、P5、B6、B7、P8をPTSに従い、P1、B3、B4、P2、B6、B7、P5の順序で再生することで、右目画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目画像と右目画像とのペアうち一方の表示を、PTSの間隔の半分の時間(以下、「3D表示ディレイ」という)分だけ遅延して表示する。
第5段目は、3D眼鏡200の状態をどのように変化させるかを示す。この第5段目に示すように、左目画像の視聴時は、右目のシャッターを閉じ、右目画像の視聴時は、左目のシャッターを閉じていることがわかる。
これらのレフトビュービデオストリーム、ライトビュービデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
例えば、ライトビュービデオストリームの先頭Pピクチャは、レフトビュービデオストリームのIピクチャを参照し、ライトビュービデオストリームのBピクチャは、レフトビュービデオストリームのBrピクチャを参照し、ライトビュービデオストリームの二つ目のPピクチャは、レフトビュービデオストリームのPピクチャを参照している。
そして、圧縮符号化されたレフトビュービデオストリーム及びライトビュービデオストリームのうち、単体で復号化が可能になるものを“ベースビュービデオストリーム”という。また、レフトビュービデオストリーム及びライトビュービデオストリームのうち、ベースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、ベースビュービデオストリームが復号された上で復号可能になるビデオストリームを、“ディペンデントビューストリーム”という。なおベースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG2−TSなどの同一のストリームに多重化されてもよい。
1.2 構成
ここでは、3Dと2D画面を切り替える映像処理装置の一例としてデジタルテレビ100の構成について説明する。
デジタルテレビ100は、具体的には、プラズマテレビであり、2D映像及び3D映像を送出するデジタル放送波(ストリーム)を受信する。またデジタルテレビ100は、IPネットワーク及び再生装置と接続され、これらから出力された2D映像及び3D映像をも表示する。
デジタルテレビ100は、図5に示すように、信号入力部101、番組フォーマット判定部102、フレームフォーマット判定部103、フレームバッファ104及び出力処理部105から構成されている。
(1)信号入力部101
信号入力部101は、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームは、2D及び3Dを構成するフレームを含む映像ストリームと、PSI(Program Specific Information)とが多重化されているものとする。またその他に、必要に応じて音声ストリームや字幕ストリーム、BML等のマルチメディアストリームが多重化されている。PSIには、多重化されている各種ストリームで構成される番組に係る情報が含まれている。
ここで、送出(出力)される3D映像のフレームは、Side−by−Side方式等の3D方式で構成されているものとする。Side−by−Side方式とは、前述の通り、左目用の映像(以下、L映像ともいう。)と右目用の映像(以下、R映像ともいう。)とを1フレーム内に含める方式である。
また、本実施の形態において、送出(出力)されるフレームの信号フォーマットは、H.264|MPEG4/AVC規格に基づいたものであり、当該フレームが2D映像であるか3D映像であるか、3D映像の場合Side−by−Side方式を含むどの方式であるかを示す情報(以下、3D映像情報と呼ぶ。)が、SEI(Supplemental enhancement information)形式に格納されて含まれている。
ここで、PSIのデータ構造の一例を示す。本実施の形態では、PSIとしてPMT(Program MAP Table)を用いる。図6に示すように、テーブル識別子(Table_id)T101と、ES種別T110、ESのPIDT111、3D番組フラグT112及び記述子領域T113を含んでいる。ここで、PMT(プログラムマップテーブル)T100内においては、ES種別T110、ESのPIDT111、3D番組フラグT112及び記述子領域T113を含む組が複数個存在する。テーブル識別子(Table_id)T101と、ES種別T110、ESのPIDT111及び記述子領域T113は、既知のものであるので、ここでの説明は省略する。3D番組フラグT112は、当該PMTに対応するストリームで構成される番組が2D番組であるか3D番組であるかを識別するためのフラグである。具体的には、3D番組フラグは1ビットからなる情報であり、値0は2D番組を示し、値1は3D番組を示す。
信号入力部101は、図5に示すように、チューナ(復調器)151、NIC(Network Interface Card)152、多重化分離部153及び映像デコード部154を有している。
チューナ151は、デジタル放送波(ストリーム)を受信し、受信した信号を復調する機能を有している。
NIC152は、IPネットワークと接続されており、外部から出力されたストリームを受信する機能を有している。
多重化分離部153は、受信したストリームを、2D及び3Dを構成するフレームを含む映像ストリームと、PSIとに分離し、分離した映像ストリームを映像デコード部154へ、PSIを番組フォーマット判定部102へそれぞれ出力する。また多重化分離部153は、チューナ151やNIC152からの入力に加えて、記録媒体からストリームを読み出すこともできる。
映像デコード部154は、2D及び3Dを構成するフレームを含む映像ストリームを多重化分離部153から受け取ると、受け取った映像ストリームのデコードを行うとともに、映像ストリーム中にフレーム単位で格納されていた3D映像情報を取り出す機能を有している。この映像デコード部154により、フレーム単位の映像が生成される。この場合、3D映像のフレームにおいては、Side−by−Side方式で構成されているフレームであり、L画像とR画像との切り分けはなされていない。
映像デコード部154は、生成したフレーム単位の映像をフレームバッファ104へ書き込み、取り出したフレーム単位の3D映像情報をフレームフォーマット判定部103へ出力する。
(2)番組フォーマット判定部102
番組フォーマット判定部102は、多重化分離部153からPSIを受け取ると、受け取ったPSIに含まれる3D番組フラグの値に基づいて、多重化分離部2153で受け取ったストリームを含む番組が3D番組であるか2D番組であるかを判定する。
(3)フレームフォーマット判定部103
フレームフォーマット判定部103は、映像デコード部154から受け取った3D映像情報を受け取ると、その値に基づいて、デコードされたフレームの映像が2D映像であるか3D映像であるか、さらに3D映像である場合はSide−by−Side方式を含むどの方式であるかを判定する。
(4)フレームバッファ104
フレームバッファ104は、映像デコード部154でデコードされたフレームを格納するための領域を有する。
(5)出力処理部105
出力処理部105は、番組フォーマット判定部102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部105は、図5で示すように、映像処理部161、フレームバッファ162及び表示部163を有している。
(5−1)フレームバッファ162
フレームバッファ162は、図7に示すように、第1バッファ171と第2バッファ172とを有している。
第1バッファ171は、2D番組のストリームに含まれるフレームを格納するためのものである。
第2バッファ172は、L映像バッファ173とR映像バッファ174とを有し、3D番組のストリームに含まれるフレームを格納するためのものである。
(5−2)映像処理部161
映像処理部161は、処理対象のフレームが2Dの映像であるか3Dの映像であるか、さらに3D映像である場合はSide−by−Side方式を含むどの方式であるかを、フレームフォーマット判定部103の判定結果に基づいて判断する。
3D映像であると判断する場合には、映像処理部161は、フレームを2つの映像に分割し、分割した各映像を拡大して、L映像及びR映像を生成する。具体的にはSide−by−Side方式であれば左右に分割した映像を横方向に拡大して、またTop and bottom方式であれば上下に分割した映像を縦方向に拡大して、L映像及びR映像を得る。映像処理部161は、生成したL映像をL映像バッファ173へ、生成したR映像をR映像バッファ174へそれぞれ格納する。
3D映像でない、つまり2D映像であると判断する場合には、処理対象のフレームが2D番組のものであるか、3D番組のものであるかを判断する。
2D番組のものであると判断する場合には、映像処理部161は、当該フレーム(映像)を第1バッファ171へ格納する。3D番組のものであると判断する場合には、映像処理部161は、当該フレーム(映像)をL映像バッファ173及びR映像バッファ174の双方に格納する。
(5−3)表示部163
表示部163は、図7に示すように、スイッチ181、ディスプレイ182及び切替制御部183を有している。
スイッチ181は、表示部163との接続先として、第1バッファ171及び第2バッファ172の何れかへ切り替えるスイッチである。
切替制御部183は、番組フォーマット判定部102の判定結果に基づいて、接続先となるバッファの切り替えを行うものである。具体的には、受信したストリームの番組が3D番組であると判定された場合には、切替制御部183は、接続先が第2バッファ172となるようスイッチ181を制御する。受信したストリームの番組が2D番組であると判定された場合には、切替制御部183は、接続先が第1バッファ171となるようスイッチ181を制御する。
ディスプレイ182は、番組フォーマット判定部102の判定結果に基づいて、映像の表示周期を変更して、映像を表示するものである。例えば、ディスプレイ182は、受信したストリームが2D番組である場合には、表示周期を60Hzとして、スイッチ181の接続先である第1バッファ171から表示対象である2Dの映像を読み出し表示する。ディスプレイ182は、受信したストリームが3D番組である場合には、表示周期を120Hzとして、スイッチ181の接続先である第2バッファ172のL映像バッファ173及びR映像バッファ174から表示対象である映像を交互に読み出し表示する。
なお出力処理部105において、ユーザによって3Dの映像であっても2Dでの視聴が選択されている(Side−by−Side形式のまま表示する、または左右半分いずれかを拡大して表示する)場合には、その選択が優先され、フレームフォーマット判定部103および番組フォーマット判定部102の判断に関わらず、2D番組のものであると判断される場合と同様に扱ってもよい。
1.3 動作
ここでは、デジタルテレビ100において、受信したストリームが示す3D番組及び2D番組に応じた出力動作に係る処理について説明する。
(1)バッファ切替処理
バッファ切替処理は、受信したストリームが示す3D番組及び2D番組に応じて、スイッチ181の接続先を切り替える処理であり、図8に示す流れ図を用いて説明する。
切替制御部183は、番組フォーマット判定部102の判定結果に基づいて、受信中のフレームが3D番組であるか否かを判断する(ステップS5)。
3D番組であると判断する場合(ステップS5における「Yes」)、切替制御部183は、スイッチ181の接続先が第2バッファ172であるか否かを判定する(ステップS10)。接続先が第2バッファ172でないと判断する場合には(ステップS10における「No」)、切替制御部183は、スイッチ181に対して接続先が第2バッファ172となるよう制御し(ステップS15)、その後、ステップS5へ戻る。接続先が第2バッファ172であると判断する場合には(ステップS10における「Yes」)、処理はステップS5へと戻る。
3D番組でない、つまり2D番組であると判断する場合(ステップS5における「No」)、切替制御部183は、スイッチ181の接続先が第1バッファ171であるか否かを判定する(ステップS20)。接続先が第1バッファ171でないと判断する場合には(ステップS20における「No」)、切替制御部183は、スイッチ181に対して接続先が第1バッファ172となるよう制御し(ステップS25)、その後ステップS5へ戻る。接続先が第1バッファ171であると判断する場合には(ステップS20における「Yes」)、処理はステップS5へと戻る。
(2)バッファ書込処理
バッファ書込処理は、表示対象のフレームを、当該フレームを含む番組、つまり3D番組及び2D番組に応じたバッファへ書き込む処理であり、図9に示す流れ図を用いて説明する。
映像処理部161は、出力対象となるフレームをフレームバッファ104から読み出す(ステップS100)。
映像処理部161は、読み出したフレームが3D映像であるか否かを判断する(ステップS105)。
3D映像であると判断する場合(ステップS105における「Yes」)、映像処理部161は、読み出したフレームからL映像及びR映像をそれぞれ生成する(ステップS110)。映像処理部161は、生成したL映像をL映像バッファ173へ、R映像をR映像バッファ174へそれぞれ書き込む(ステップS115)。
3D映像でない、つまり2D映像であると判断する場合(ステップS105における「No」)、映像処理部161は、番組フォーマット判定部102の判定結果に基づいて、読み出したフレームが3D番組のものであるか否かを判断する(ステップS120)。
3D番組であると判断する場合(ステップS120における「Yes」)、映像処理部161は、読み出したフレーム(2D映像)をL映像バッファ173及びR映像バッファ174の双方へ書き込む(ステップS125)。
3D番組でない、つまり2D番組であると判断する場合(ステップs120における「No」)、映像処理部161は、読み出したフレーム(2D映像)を第1バッファ171へ書き込む(ステップS130)。
1.4 具体例
ここでは、3D番組を受信した場合における、映像の表示について、具体例を用いて説明する。
図10は、3D番組を受信した場合に、その番組に含まれる3D映像と2D映像とを表示する具体例を示す。
図10では、3D番組が、3D映像区間#1、2D映像区間#2及び3D映像区間#3から構成されている。
映像処理装置100は、3D映像区間#1及び3D映像区間#3では、Side−by−Side方式で構成された複数のフレーム(3D映像のフレーム)を含むストリームを受信する。そして、映像処理装置100は、受信した3D映像のフレームからL映像とR映像を生成し、120Hz毎に、L映像とR映像とを交互に表示する。
映像処理装置100は、2D映像区間#2では、2D映像の複数のフレームを含むストリームを受信する。そして、映像処理装置100は、受信した2D映像のフレームを60Hzの間に2回、つまり一つの2D映像のフレームを120Hz毎に2度ずつ表示する。
図11は、3D番組において2D映像を表示する際の仕組みの具体例を示すものである。
図11において、信号入力部101は、1/60(=2×1/120)秒毎にデコードされた2D映像P100、P101をフレームバッファ104へ書き込む。
映像処理部161は、1/60秒毎に、フレームバッファ104に格納されている2D映像P100、P101を第2バッファ172のL映像バッファ173及びR映像バッファ174の双方へ書き込む。
表示部163は、1/120秒毎に、L映像バッファ173とR映像バッファ174とから交互に2D映像P100、P101を読み出して表示する。
このとき、ユーザが使用しているシャッター眼鏡は、1/120秒毎に、右目、左目と交互にシャッターが閉じている。しかしながら、表示される画像は、視差画像でないので、例えば、2D映像P100を1/120秒毎に2度表示しても立体視されることはなく、平面視されることとなる。
なお2D映像P100が表示される間はシャッター眼鏡の開閉を停止、すなわち「常時左右開」としても良い。この場合3D映像が表示されている場合に比べてユーザは倍の光量の画像を視聴することとなるので、それを補償するために表示部163の表示光量を自動的に調整しても良い。
2.第2の実施の形態
上記第1の実施の形態では、映像処理装置としてデジタルテレビを用いて説明したが、本実施の形態では、セットトップボックス(STB)とデジタルテレビの組み合わせを映像処理装置として、図を用いて説明する。
2.1 構成
図12は、当該映像処理装置の、使用行為についての形態を示す図である。本図に示すように、HDMIで接続されたデジタルテレビ1100とSTB1200と、3D眼鏡200とから構成され、ユーザによる使用が可能となる。ここで、映像処理装置は、HDMIで接続されたデジタルテレビ1100とSTB1200との組み合わせからなるものとする。
デジタルテレビ1100は、2D映像及び3D映像を表示することができるものであり、STB1200は、2D映像及び3D映像を含むストリームを受信する。STB1200は受信したストリームに含まれるフレームをデジタルテレビ1100へ出力し、デジタルテレビ1100はSTB1200から受け取ったフレームを再生することで映像を表示する。
2.1.1 STB1200の構成
STB1200は、2D映像及び3D映像を送出するデジタル放送波を受信する。またSTB1200は、IPネットワーク及び再生装置と接続され、これらから出力された2D映像及び3D映像をも受信する。
STB1200は、図13に示すように、信号入力部1201、番組フォーマット判定部1202、フレームフォーマット判定部1203、フレームバッファ1204及び出力処理部1205から構成されている。
(1)信号入力部1201
信号入力部1201は、第1の実施の形態で示す信号入力部101と同様に、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームには、2D及び3Dを構成するフレームを含む映像ストリームと、PSIとが多重化されているものとする。
ここで、送出(出力)される3D映像のフレームは、Side−by−Side方式等の3D方式で構成されているものとする。Side−by−Side方式とは、前述の通り、L映像とR映像とを1フレーム内に含める方式である。また、受信するストリームのフォーマットについても、第1の実施の形態と同様であるので、ここでの説明は省略する。
信号入力部101は、図13に示すように、チューナ(復調器)1251、NIC(Network Interface Card)1252、多重化分離部1253及び映像デコード部1254を有している。
これら構成要素は、第1の実施の形態で示すチューナ151、NIC152、多重化分離部153及び映像デコード部154と同様であるので、ここでの説明は省略する。
(2)番組フォーマット判定部1202
番組フォーマット判定部1202は、第1の実施の形態で示す番組フォーマット判定部102と同様であるので、ここでの説明は省略する。
(3)フレームフォーマット判定部1203
フレームフォーマット判定部1203は、第1の実施の形態で示すフレームフォーマット判定部103と同様であるので、ここでの説明は省略する。
(4)フレームバッファ1204
フレームバッファ1204は、映像デコード部1254でデコードされたフレームを格納するための領域を有する。
(5)出力処理部1205
出力処理部1205は、フレームバッファ1204に格納されているフレームをHDMI接続されたデジタルテレビ1100へ出力する機能を有している。
出力処理部1205は、フレームバッファ1204に格納されているフレームを読み出す。
そして、読み出したフレームを含む番組が2D番組であるか3D番組であるかを示す3D番組フラグと、当該フレームが2D映像であるか3D映像であるか、3D映像の場合Side−by−Side方式を含むどの方式であるか等を示す映像情報をHDMIの情報に付加して、読み出したフレームとともにデジタルテレビ1100へ出力する。
2.1.2 デジタルテレビ1100の構成
デジタルテレビ1100は、具体的には、プラズマテレビであり、2D映像及び3D映像を表示する。
デジタルテレビ100は、図14に示すように、信号入力部1101、番組フォーマット判定部1102、フレームフォーマット判定部1103、フレームバッファ1104及び出力処理部1105から構成されている。
(1)信号入力部1101
信号入力部1101は、STB1200から送出されたHDMI規格の信号を受信する機能を有している。
信号入力部1101は、図14に示すように、HDMI受信部1151を有している。
HDMI受信部1151は、HDMI規格の信号、ここでは、2D映像及び3D映像を構成する信号と、HDMIの情報とを受信する。
HDMI受信部1151は、受信した2D映像及び3D映像の信号をフレームバッファ1104へ書き込む。また、HDMI受信部1151は、受信したHDMIの情報を番組フォーマット判定部1102及びフレームフォーマット判定部1103の双方へ出力する。
(2)番組フォーマット判定部1102
番組フォーマット判定部102は、HDMIの情報を受け取ると、受け取ったHDMIの情報に含まれる3D番組フラグの値に基づいて、STB1200から受け取ったフレームを含む番組が3D番組であるか2D番組であるかを判定する。
(3)フレームフォーマット判定部1103
フレームフォーマット判定部1103は、HDMIの情報を受け取ると、受け取ったHDMIの情報に含まれる映像情報の内容に基づいて、STB1200から受け取ったフレームの映像が2D映像であるか3D映像であるか、3D映像の場合Side−by−Side方式を含むどの3D方式であるかを判定する。
(4)フレームバッファ1104
フレームバッファ1104は、STB1200から受け取ったフレームを格納するための領域を有する。
(5)出力処理部1105
出力処理部1105は、番組フォーマット判定部1102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部1105は、図14で示すように、映像処理部1161、フレームバッファ1162及び表示部1163を有している。
映像処理部1161、フレームバッファ1162及び表示部1163のそれぞれは、第1の実施の形態で示す映像処理部161、フレームバッファ162及び表示部163のそれぞれと同様であるので、ここでの説明は省略する。
2.2 動作
以下、デジタルテレビ1100及びSTB1200の動作について説明する。
(1)出力処理
ここでは、STB1200において、受信したストリームが示す3D番組及び2D番組に応じた、デジタルテレビ1100への出力動作に係る処理について、図15で示す流れ図を用いて説明する。
出力処理部1205は、出力対象のフレームをフレームバッファ1204から読み出す(ステップS200)。
出力処理部1205は、番組フォーマット判定部1202の判定結果に基づいて、読み出したフレームが3D番組のものであるか否かを判断する(ステップS205)。3D番組のフレームであると判断する場合には(ステップS205における「Yes」)、出力処理部1205は、3D番組フラグに1を設定する(ステップS210)。
出力処理部1205は、読み出したフレームが3D映像であるか否かを判断する(ステップS220)。
3D映像であると判断する場合(ステップS220における「Yes」)、出力処理部1205は、HDMIの情報に映像情報を設定し(ステップS225)、読み出したフレーム及びHDMIの情報をデジタルテレビ1100へ出力する(ステップS230)。
3D番組のフレームでない、つまり2D番組と判断する場合には(ステップS205における「No」)、及び3D映像でない、つまり2D映像であると判断する場合(ステップS220における「No」)、出力処理部1205は、ステップS230を実行する。
(2)バッファ切替処理
バッファ切替処理は、デジタルテレビ1100において2D番組及び3D番組に応じてスイッチ181の接続先を切り替える処理であり、その処理動作は、第1の実施の形態におけるバッファ切替処理と同様であるので、ここでの説明は省略する。
(3)バッファ書込処理
バッファ書込処理は、出力処理部1105で行われ、表示対象のフレームを、当該フレームを含む番組、つまり3D番組及び2D番組に応じたバッファへ書き込む処理である。そして、その処理動作は、第1の実施の形態におけるバッファ書込処理と同様であるので、ここでの説明は省略する。
2.3 変形例
上記第2の実施の形態では、デジタルテレビ1100において、2D番組及び3D番組に応じて出力周期(映像の読み出し周期)の切替を行ったが、これに限定されない。
映像の読み出し周期の切替はSTB1200側で行ってもよい。
2.3.1 構成
この場合におけるSTB1200aの構成要素を図16に示す。
STB1200aは、図16に示すように、信号入力部1201a、番組フォーマット判定部1202a、フレームフォーマット判定部1203a、フレームバッファ1204a及び出力処理部1205aから構成されている。
(1)信号入力部1201a
信号入力部1201aは、上記にて示す信号入力部101及び信号入力部1201と同様の機能を有しており、チューナ(復調器)1251a、NIC(Network Interface Card)1252a、多重化分離部1253a及び映像デコード部1254aを有している。
これら構成要素は、第1の実施の形態で示すチューナ151、NIC152、多重化分離部153及び映像デコード部154と同様であるので、ここでの説明は省略する。
(2)番組フォーマット判定部1202a
番組フォーマット判定部1202aは、上記にて示す番組フォーマット判定部102及び番組フォーマット判定部1202と同様であるので、ここでの説明は省略する。
(3)フレームフォーマット判定部1203a
フレームフォーマット判定部1203aは、上記にて示すフレームフォーマット判定部103及びフレームフォーマット判定部1203と同様であるので、ここでの説明は省略する。
(4)フレームバッファ1204a
フレームバッファ1204aは、映像デコード部1254aでデコードされたフレームを格納するための領域を有する。
(5)出力処理部1205a
出力処理部1205aは、番組フォーマット判定部1202aの判定結果に応じた出力周期に基づいてフレームを出力する。
出力処理部1205aは、図17で示すように、映像処理部1261a、フレームバッファ1262a及び出力部1263aを有している。
映像処理部1261aは、第1の実施の形態で示す映像処理部161と同様であるので、ここでの説明は省略する。
フレームバッファ1262aは、図17に示すように、第1バッファ1271aと、L映像バッファ1273a及びR映像バッファ1274aを有する第2バッファ1272aとから構成されている。フレームバッファ1262aを構成する各構成要素は、第1の実施の形態で示す第1バッファ171、第2バッファ172、L映像バッファ173及びR映像バッファ174と同様であるので、ここでの説明は省略する。
出力部1263aは、図17に示すように、スイッチ1281a、出力制御部1282a及び切替制御部1283aを有している。
スイッチ1281a及び切替制御部1283aは、第1の実施の形態で示すスイッチ181及び切替制御部183と同様であるので、ここのでの説明は省略する。
出力制御部1282aは、番組フォーマット判定部102の判定結果に基づいて、映像の読み出し周期を変更して、フレームをデジタルテレビ1100aへ出力するものである。例えば、出力制御部1282aは、受信したストリームが2D番組である場合には、読み出し周期を60Hzとして、スイッチ1281aの接続先である第1バッファ1271aから表示対象である2Dのフレームを読み出し出力する。
出力制御部1282aは、受信したストリームが3D番組である場合には、読み出し周期を120Hzとして、スイッチ181の接続先である第2バッファ1272aのL映像バッファ1273a及びR映像バッファ1274aから出力対象であるフレームを交互に読み出し出力する。
なお、2D映像及び3D映像がデジタルテレビ1100aへ出力される際に、デジタルテレビ1100aでは、HDMIの映像フォーマットに従って、読み出し周期との同期をとる。
2.3.2 動作
(1)バッファ切替処理
バッファ切替処理は、STB1200aにおいて2D番組及び3D番組に応じてスイッチ1281aの接続先を切り替える処理であり、その処理動作は、第1の実施の形態におけるバッファ切替処理と同様であるので、ここでの説明は省略する。
(2)バッファ書込処理
バッファ書込処理は、映像処理部1261aで行われ、表示対象のフレームを、当該フレームを含む番組、つまり3D番組及び2D番組に応じたバッファへ書き込む処理である。そして、その処理動作は、第1の実施の形態におけるバッファ書込処理と同様であるので、ここでの説明は省略する。
なお、フレームバッファ1262aへの書込処理と並行して、出力部1263aでは、番組フォーマット判定部1202aの判定結果に基づいた読み出し周期で、対応するバッファから出力対象のフレームを読み出し、デジタルテレビ1100aへ出力する。
3.第3の実施の形態
映像処理装置として録画機能付のデジタルテレビを用いてもよい。
以下、本発明の一態様として、映像処理装置を録画機能付のデジタルテレビとした場合について説明する。
3.1 構成
デジタルテレビ2100は、具体的には、プラズマテレビであり、第1の実施の形態と同様に2D映像及び3D映像を含むストリームを受信する機能を有している。さらに、デジタルテレビ2100は、受信したストリームをHDD及びBDに記録する録画機能をも有している。
デジタルテレビ2100は、図18に示すように、信号入力部2101、番組フォーマット判定部2102、フレームフォーマット判定部2103、フレームバッファ2104、出力処理部2105及び記録部2106から構成されている。
(1)信号入力部2101
信号入力部2101は、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームは、第1の実施の形態と同様に、2D及び3Dを構成するフレームと、PSIとが多重化されているものとする。
ここで、3D映像のフレームは、第1の実施の形態と同様に、Side−by−Side方式で構成されているものとする。
また、フレームのフォーマットについても、第1の実施の形態と同様であるものとする。
信号入力部2101は、図18に示すように、チューナ(復調器)2151、NIC(Network Interface Card)2152、多重化分離部2153及び映像デコード部2154を有している。
(1−1)チューナ2151及びNIC2152
チューナ2151及びNIC2152それぞれは、第1の実施の形態で示すチューナ151及びNIC152それぞれと同様であるので、ここでの説明は省略する。
(1−2)多重化分離部2153
多重化分離部2153は、録画時及び通常再生時における動作と、録画再生時における動作とは異なるので、以下それぞれの場合について説明する。ここで、通常再生時とは、非録画状態であり、且つ受信した放送波を表示する場合のことである。また、録画再生時とは、録画された番組を再生して表示する場合のことである。
(録画時及び通常再生時)
多重化分離部2153は、録画時及び通常再生時においては、チューナ2151及びNIC2152で受信したストリームを、2D及び3Dを構成するフレームを含む映像ストリームとPSIとに分離する。多重化分離部2153は、録画時においては、分離した映像ストリームを記録部2106へ、PSIを番組フォーマット判定部2102へそれぞれ出力する。多重化分離部2153は、映像を表示する場合には、分離した映像ストリームを映像デコード部2154へ、PSIを番組フォーマット判定部2102へそれぞれ出力する。ここで、映像を表示する場合とは、録画中の映像を表示する場合及び通常再生時において番組を表示する場合の双方を含む。
(録画再生時)
多重化分離部2153は、録画再生時においては、録画されたストリームをユーザにより指定された格納場所(HDD若しくはBD等の記録媒体)から取得し、取得したストリームを2D及び3Dを構成するフレームを含む映像ストリームとその他のストリームとに分離する。
多重化分離部2153は、分離した映像ストリームを映像デコード部2154へ出力する。
(1−3)映像デコード部2154
映像デコード部2154は、映像ストリームを多重化分離部2153から受け取ると、受け取った映像ストリームのデコードを行うとともに、映像ストリーム中にフレーム単位で格納されていた3D映像情報を取り出す機能を有している。この映像デコード部2154により、フレーム単位の映像が生成される。この場合、3D映像のフレームにおいては、Side−by−Side方式で構成されているフレームであり、L画像とR画像との切り分けはなされていない。
映像デコード部2154は、生成したフレーム単位の映像をフレームバッファ2104へ書き込み、取り出した3D映像情報をフレームフォーマット判定部2103へ出力する。
(2)番組フォーマット判定部2102
番組フォーマット判定部2102は、録画時及び通常再生時において、多重化分離部2153からPSIを受け取ると、受け取ったPSIに含まれる3D番組フラグの値に基づいて、多重化分離部2153で受け取ったストリームを含む番組が3D番組であるか2D番組であるかを判定する。
番組フォーマット判定部2102は、録画時においては、録画されるストリームに対応付けて記録されるファイル属性情報(メタデータ)を生成し、記録部2106へ出力する。このとき、番組フォーマット判定部2102は、PSIに含まれる3D番組フラグの値に基づく判定結果に応じて、ストリームが2D番組であるか3D番組であるかを示す番組フォーマット情報をファイル属性情報に付与して記録部2106へ出力する。
番組フォーマット判定部2102は、録画再生時においては、再生するストリームに対応付けられた格納場所(HDD若しくはBD等の記録媒体)からファイル属性情報を読み出し、ファイル属性情報に含まれる番組フォーマット情報に基づいて、再生対象の番組が2D番組であるか3D番組であるかを判定する。
以下、ファイル属性情報の構成について説明する。
ファイル属性情報は、例えば、ETSI TS 102 822(TV Anytime)規格に基づくものである。本実施の形態では、ETSI TS 102 822のAV Attributeを拡張して、2D番組であるか3D番組であるかの番組フォーマット情報を追加する。番組フォーマット情報には、例えば、2D番組である場合には値0が、3D番組である場合には値1が設定される。これにより、再生時において、当該3D番組フラグを参照することで、再生対象の番組が2D番組であるか3D番組であるかを判別することができる。
(3)フレームフォーマット判定部2103
フレームフォーマット判定部2103は、第1の実施の形態で示すフレームフォーマット判定部103と同様であるので、ここでの説明は省略する。
(4)フレームバッファ2104
フレームバッファ2104は、第1の実施の形態で示すフレームバッファ104と同様であるので、ここでの説明は省略する。
(5)出力処理部2105
出力処理部2105は、番組フォーマット判定部2102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部2105は、図18で示すように、映像処理部2161、フレームバッファ2162及び表示部2163を有している。
映像処理部2161、フレームバッファ2162及び表示部2163のそれぞれは、第1の実施の形態で示す映像処理部161、フレームバッファ162及び表示部163のそれぞれと同様であるので、ここでの説明は省略する。
(6)記録部2106
記録部2106は、録画時において、多重化分離部2153から分離された映像ストリームを、番組フォーマット判定部2102から生成されたファイル属性情報をそれぞれ受け取ると、受け取ったストリームとファイル属性情報とを対応付けて、予めユーザにより指定された格納領域(HDD若しくはBD等の記録媒体)へ記録する。
3.2 動作
ここで、デジタルテレビ2100では、番組を表示する際には、表示する番組、つまり2D番組及び3D番組に応じてフレームバッファ2162内の接続先を切り替えるバッファ切替処理と、切り替えられたバッファに対する書き込み処理とが行われる。
バッファ切替処理は、第1の実施の形態におけるバッファ切替処理と同様であるので、ここでの説明は省略する。
また、バッファ書込処理についても、第1の実施の形態におけるバッファ書込処理と同様であるので、ここでの説明は省略する。
3.3 変形例
上記第3の実施の形態のデジタルテレビ2100は、受信した映像ストリームをデコードすることなく、記録媒体へ記録するものであったが、これに限定されない。
受信された映像ストリームは、一旦デコードされ、所定の処理が施された後、再度エンコードして記録されてもよい。
この場合のデジタルテレビ2100aの構成について説明する。
3.3.1 構成
デジタルテレビ2100aは、図19に示すように、信号入力部2101a、番組フォーマット判定部2102a、フレームフォーマット判定部2103a、フレームバッファ2104a、出力処理部2105a、記録部2106a及び映像エンコード部2107aから構成されている。
(1)信号入力部2101a
信号入力部2101aは、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームは、第1の実施の形態と同様に、2D及び3Dを構成するフレームを含む映像ストリームと、PSIとが多重化されているものとする。
ここで、3D映像のフレームは、第1の実施の形態と同様に、Side−by−Side方式等の3D方式で構成されているものとする。
また、フレームのフォーマットについても、第1の実施の形態と同様であるものとする。
信号入力部2101aは、図19に示すように、チューナ(復調器)2151a、NIC(Network Interface Card)2152a、多重化分離部2153a及び映像デコード部2154aを有している。
(1−1)チューナ2151a及びNIC2152a
チューナ2151a及びNIC2152aそれぞれは、第1の実施の形態で示すチューナ151及びNIC152それぞれと同様であるので、ここでの説明は省略する。
(1−2)多重化分離部2153a
多重化分離部2153aは、録画時及び通常再生時における動作と、録画再生時における動作とは異なるので、以下それぞれの場合について説明する。
(録画時及び通常再生時)
多重化分離部2153aは、録画時及び通常再生時においては、チューナ2151a及びNIC2152aで受信したストリームを、2D及び3Dを構成するフレームを含む映像ストリームとPSIとに分離する。多重化分離部2153aは、分離した映像ストリームを映像デコード部2154aへ、PSIを番組フォーマット判定部2102aへそれぞれ出力する。
(録画再生時)
多重化分離部2153aは、録画再生時においては、録画されたストリームをユーザにより指定された格納場所(HDD若しくはBD等の記録媒体)から取得し、取得したストリームを2D及び3Dを構成するフレームを含む映像ストリームとその他のストリームとに分離する。
多重化分離部2153aは、分離した映像ストリームを映像デコード部2154aへ出力する。
なお、ファイル属性情報についは、第3の実施の形態で説明しているので、ここでの説明は省略する。
(1−3)映像デコード部2154a
映像デコード部2154aは、映像ストリームを多重化分離部2153aから受け取ると、受け取った映像ストリームのデコードを行うとともに、映像ストリーム中にフレーム単位で格納されていた3D映像情報を取り出す機能を有している。
以下、録画時における動作と、通常再生時及び録画再生時(以下、単に再生時という。)における動作とは異なるので、以下それぞれの場合について説明する。
(録画時)
映像デコード部2154aは、生成したフレーム単位の映像を映像エンコード部2107aへ出力すると同時に、取り出したフレーム単位の3D映像情報をフレームフォーマット判定部2103aへ出力する。
(再生時)
映像デコード部2154aは、生成したフレーム単位の映像をフレームバッファ2104aへ書き込み、取り出したフレーム単位の3D映像情報をフレームフォーマット判定部2103aへ出力する。
(2)番組フォーマット判定部2102a
番組フォーマット判定部2102aは、第3の実施の形態で示す番組フォーマット判定部2102と同様であるので、ここでの説明は省略する。
(3)フレームフォーマット判定部2103a
録画時及び通常再生時における動作と、録画再生時における動作とは異なるので、以下それぞれの場合について説明する。
(再生時)
フレームフォーマット判定部2103aは、映像デコード部154から取り出した3D映像情報を受け取ると、その値に基づいて、デコードされたフレームの映像が2D映像であるか3D映像であるかを判定する。
(録画時)
フレームフォーマット判定部2103aは、映像デコード部154から取り出した3D映像情報を受け取ると、その値に基づいて、デコードされたフレームの映像が2D映像であるか3D映像であるかを判定して、その結果を映像エンコード部2107aへ出力する。
(4)フレームバッファ2104a
フレームバッファ2104aは、第1の実施の形態で示すフレームバッファ104と同様であるので、ここでの説明は省略する。
(5)出力処理部2105a
出力処理部2105aは、番組フォーマット判定部2102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部2105aは、図19で示すように、映像処理部2161a、フレームバッファ2162a及び表示部2163aを有している。
映像処理部2161a、フレームバッファ2162a及び表示部2163aのそれぞれは、第1の実施の形態で示す映像処理部161、フレームバッファ162及び表示部163のそれぞれと同様であるので、ここでの説明は省略する。
(6)映像エンコード部2107a
映像エンコード部2107aは、録画対象のフレームを再度エンコードする機能を有している。
映像デコード部2154aからデコードされたフレームを、フレームフォーマット判定部2103aからフレームフォーマット判定結果を受け取る。
映像エンコード部2107aは、当該フレームに対して当該コード形式に応じたエンコードを施し、受け取ったフレームフォーマット判定結果を付加して、映像ストリームを生成して記録部2106aへ出力する。
(7)記録部2106a
記録部2106aは、録画時において、映像エンコード部から再度エンコードされた映像ストリームを、番組フォーマット判定部2102aからファイル属性情報をそれぞれ受け取ると、受け取った映像ストリームとファイル属性情報とを対応付けて、予めユーザにより指定された格納領域(HDD若しくはBD等の記録媒体)へ記録する。
3.3.2 動作
ここで、デジタルテレビ2100aにおけるバッファ切替処理及びバッファ書込処理のそれぞれは、第1の実施の形態におけるバッファ切替処理及びバッファ書込処理のそれぞれと同様であるので、ここでの説明は省略する。
4.第4の実施の形態
上記各実施の形態では、フレームの中に、当該フレームが2D映像であるか3D映像であるかの情報を含めるとしたが、これに限定されない。
この情報をフレームに含めなくてもよい。この場合の映像処理装置としてのデジタルテレビ3100の構成及び動作について説明する。
なお、本実施の形態において、フレーム中には、当該フレームが2D映像であるか3D映像であるかの情報は含まれていないものとする。
4.1 構成
デジタルテレビ3100は、具体的には、プラズマテレビであり、第1の実施の形態と同様に2D映像及び3D映像を含むストリームを受信する機能を有している。
デジタルテレビ3100は、図20に示すように、信号入力部3101、番組フォーマット判定部3102、フレームフォーマット判定部3103、フレームバッファ3104及び出力処理部3105から構成されている。
(1)信号入力部3101
信号入力部3101は、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームは、第1の実施の形態と同様に、2D及び3Dを構成するフレームと、PSIとが多重化されているものとする。
ここで、3D映像のフレームは、第1の実施の形態と同様に、Side−by−Side方式で構成されているものとする。
また、フレームのフォーマットについても、第1の実施の形態と同様であるものとする。
信号入力部3101は、図20に示すように、チューナ(復調器)3151、NIC(Network Interface Card)3152、多重化分離部3153及び映像デコード部3154を有している。
チューナ3151、NIC3152及び多重化分離部3153のそれぞれは、第1の実施の形態で示すチューナ151、NIC152及び多重化分離部153のそれぞれと同様であるので、ここでの説明は省略する。
映像デコード部3154は、デコードした結果の出力先がフレームバッファ3104のみとなることが、第1の実施の形態で示す映像デコード部154と異なる。他の機能については、同様の機能である。
(2)番組フォーマット判定部3102
番組フォーマット判定部3102は、第1の実施の形態で示す番組フォーマット判定部102と同様であるので、ここでの説明は省略する。
(3)フレームバッファ3104
フレームバッファ3104は、第1の実施の形態で示すフレームバッファ104と同様であるので、ここでの説明は省略する。
(4)フレームフォーマット判定部3103
フレームフォーマット判定部3103は、フレームバッファ3104に格納されているフレームから当該フレームがSide−by−Side方式を含む3D方式で構成されているか否か、構成されている場合はどの3D方式で構成されているかを検出する機能を有している。
具体的には、フレームフォーマット判定部3103は、フレームを水平方向及び垂直方向にそれぞれm等分及びn等分し、それぞれの領域の画像の近似度をmとnとを変えながら検証する。そして、フレームフォーマット判定部3103は、水平方向の類似度が所定値以上であるm、nの値が存在する場合には当該フレームはSide−by−Side方式で構成されていると判断し、垂直方向の類似度が所定値以上であるm、nの値が存在する場合には当該フレームはTop and Bottom方式で構成されていると判断する。
(5)出力処理部3105
出力処理部3105は、番組フォーマット判定部3102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部3105は、図20で示すように、映像処理部3161、フレームバッファ3162及び表示部3163を有している。
映像処理部3161、フレームバッファ3162及び表示部3163のそれぞれは、第1の実施の形態で示す映像処理部161、フレームバッファ162及び表示部163のそれぞれと同様であるので、ここでの説明は省略する。
4.2 動作
ここで、デジタルテレビ3100では、番組を表示する際には、表示する番組、つまり2D番組及び3D番組に応じてフレームバッファ3162内の接続先を切り替えるバッファ切替処理と、切り替えられたバッファに対する書き込み処理とが行われる。
バッファ切替処理は、第1の実施の形態におけるバッファ切替処理と同様であるので、ここでの説明は省略する。
また、バッファ書込処理についても、第1の実施の形態におけるバッファ書込処理と同様であるので、ここでの説明は省略する。
5.第5の実施の形態
上記各実施の形態では、フレームと3D番組フラグを含むPSIとが多重化されたストリームを受信するとしたが、これに限定されない。
ストリームは、複数のフレームのみで構成されていてもよい。またフレームとPSIが多重化されているが、PSIに3D番組フラグが含まれていなくてもよい。
この場合の映像処理装置としてのデジタルテレビ4100の構成及び動作について説明する。
5.1 構成
デジタルテレビ4100は、具体的には、プラズマテレビであり、第1の実施の形態と同様に2D映像及び3D映像を含むストリームを受信する機能を有している。
デジタルテレビ4100は、図21に示すように、信号入力部4101、番組フォーマット判定部4102、フレームフォーマット判定部4103、フレームバッファ4104、出力処理部4105、履歴保持部4108及び操作入力部4109から構成されている。
(1)信号入力部4101
信号入力部4101は、外部から送出(出力)された2D映像を構成するフレーム及び3D映像を構成するフレームを含むストリームを受信するものである。なお、ストリームは、第1の実施の形態と同様に、2D及び3Dを構成するフレームと、PSIとが多重化されているものとする。
ここで、3D映像のフレームは、第1の実施の形態と同様に、Side−by−Side方式で構成されているものとする。
また、フレームのフォーマットについても、第1の実施の形態と同様であるものとする。
信号入力部4101は、図21に示すように、チューナ(復調器)4151、NIC(Network Interface Card)4152、多重化分離部4153及び映像デコード部4154を有している。
チューナ4151、NIC4152及び映像デコード部4154のそれぞれは、第1の実施の形態で示すチューナ151、NIC152及び映像デコード部154のそれぞれと同様であるので、ここでの説明は省略する。
多重化分離部4153は、受信したストリームから映像ストリームを分離し、分離した映像ストリームを映像デコード部4154へ出力する。
(2)履歴保持部4108
履歴保持部4108は、フレームフォーマット判定部4103の判定結果の履歴を記憶する領域を有している。
(3)フレームフォーマット判定部4103
フレームフォーマット判定部4103は、第1の実施の形態のフレームフォーマット判定部103と同様の判定を行う。
フレームフォーマット判定部4103は、判定結果に応じた判定情報を履歴保持部4108へ書き込む。例えば、2D映像であると判定した場合には値0を、3D映像であると判定した場合には値1を書き込む。
(4)番組フォーマット判定部4102
番組フォーマット判定部4102は、履歴保持部4108に格納されているフレームフォーマット判定部4103での判定結果の履歴を参照して、受信したストリームが3D番組であるか2D番組であるかを判定する。なお、当該参照は、判定情報が書き込まれた後、次の判定情報が書き込まれるまでに行われる。
具体的には、番組フォーマット判定部4102は、参照時点の判定情報が値1である場合には、現時点から過去に遡り、値1が所定数以上連続しているか否かを判断する。
連続していると判断する場合には、番組フォーマット判定部4102は、受信したストリームは3D番組であると判定し、その後の判定は中断する。そして、番組フォーマット判定部4102は、判定の再開の指示を受け取ると、受信したストリームが3D番組であるか2D番組であるかの判定を再開する。
それ以外の場合には、番組フォーマット判定部4102は、受信したストリームは2D番組であると判定する。そして、番組フォーマット判定部4102は、受信したストリームが3D番組であるか2D番組であるかの判定を継続する。
(5)操作入力部4109
操作入力部4109は、ユーザから選局の指示や電源オフの指示を受け付ける。
操作入力部4109は、ユーザから選局の指示(チャネル変更の指示)を受け付けると、履歴保持情報の内容をリセットするとともに、番組フォーマット判定部4102へ判定の再開の指示を出力する。なお、このとき、チューナ4151では、ユーザから選局された放送波の受信が行われることになる。
操作入力部4109は、ユーザから電源オフの指示を受け付けると、履歴保持情報の内容をリセットする。その後、デジタルテレビ4100は電源オフがなされる。この場合、再度電源のオンなされると、番組フォーマット判定部4102は、受信したストリームの番組が3D番組であるか2D番組であるかの判定を開始する。
(6)フレームバッファ4104
フレームバッファ4104は、第1の実施の形態で示すフレームバッファ104と同様であるので、ここでの説明は省略する。
(7)出力処理部4105
出力処理部4105は、番組フォーマット判定部4102の判定結果に応じた出力周期に基づいて映像を出力する。
出力処理部4105は、図21で示すように、映像処理部4161、フレームバッファ4162及び表示部4163を有している。
映像処理部4161、フレームバッファ4162及び表示部4163のそれぞれは、第1の実施の形態で示す映像処理部161、フレームバッファ162及び表示部163のそれぞれと同様であるので、ここでの説明は省略する。
なお、出力処理部4105は、番組フォーマット判定部4102の判定がなされるまでの間は、従来と同様に、フレーム単位に必要に応じて、出力周期を切り替える。
5.2 動作
ここで、デジタルテレビ4100では、番組を表示する際には、表示する番組、つまり2D番組であるか3D番組であるかの番組判定処理と、判定結果に応じてフレームバッファ4162内の接続先を切り替えるバッファ切替処理と、切り替えられたバッファに対する書き込み処理とが行われる。
バッファ切替処理は、第1の実施の形態におけるバッファ切替処理と同様であるので、ここでの説明は省略する。
また、バッファ書込切替処理についても、第1の実施の形態におけるバッファ書込処理と同様であるので、ここでの説明は省略する。
以下、番組判定処理について、図22で示す流れ図を用いて説明する。
番組フォーマット判定部4102は、参照時点のフレームが3D映像である場合において現時点から過去に遡り、3D映像が所定数以上連続しているか否かを判断する(ステップS300)。具体的には、番組フォーマット判定部4102は、現時点から過去に遡り判定情報の値1が所定数以上連続しているか否かを判断する。
連続していると判断する場合(ステップS300における「Yes」)、番組フォーマット判定部4102は、受信した番組は3D番組と判定し(ステップS305)、処理を終了する。
連続していないと判断する場合には(ステップS300における「No」)、番組フォーマット判定部4102は、受信した番組は2D番組と判定し(ステップS310)、ステップS300へ戻る。
6.変形例
以上、各実施の形態に基づいて説明したが、本発明は上記の各実施の形態に限られない。例えば、以下のような変形例が考えられる。
(1)上記の各実施の形態において、送出(出力)されるフレームを含む映像ストリームの信号フォーマットは、H.264|MPEG4/AVC規格に基づいたものとしたが、これに限定されない。
送出(出力)されるフレームの信号フォーマットは、MPEG2規格にもとづくものであってもよい。
この場合、MPEG2規格で定義されるデータ構造のうち“user_data”または“extension_data”のデータ構造において、フレームが2D映像であるか3D映像であるかのフラグを設けることで実現できる。また、MPEG2−SYSTEMS規格で定義されるデータ構造のうち“PES_private_data”または“PES_extension_field_data”のデータ構造において、フレームが2D映像であるか3D映像であるかのフラグを設けてもよい。
(2)上記の各実施の形態において、PSIのPMT内において3D番組フラグを含める位置は一例であり、これに限定されない。
例えば、図6に示す記述子領域T113を用いてもよい。
記述子領域T112には、H.264|MPEG4/AVC規格の映像(ストリーム)が送出される場合にはAVCビデオ記述子のデータが格納され、MPEG2規格のストリームが送出される場合にはビデオデコードコントロール記述子のデータが格納される。これら記述子のデータ構造の未定義部分に3D番組フラグを設定することで実現できる。
または、記述子領域T112において、上記の2つの記述子以外の記述子を新たに定義することで対応してもよい。また、ESの種別T110に新たな値を設定してもよい。
(3)上記の各実施の形態において、送出されるストリームに多重化される情報はPSIとしたが、これに限定されない。
多重化される情報は、SI(service information)であってもよい。
SIとしてSDT(Service Description Table)やEIT(Event Information Table)を用いてもよい。
(3−1)SDTを用いた場合
ここで、SIとしてSDTを用いた場合について説明する。
SDT(サービス記述子テーブル)T300は、チャネル単位の情報が記載されたものであり、図23にそのデータ構造の一例を示す。テーブル識別子(table_id)T301、サービス種別T310及び記述子領域T313は既知のものであるので、ここでの説明は省略する。3D番組フラグT312は、当該SDTに対応するストリームで構成される番組が2D番組であるか3D番組であるかを識別するためのフラグである。具体的には、3D番組フラグは1ビットからなる情報であり、値0は2D番組を示し、値1は3D番組を示す。ここで、サービス記述子テーブルT300においては、サービス種別T310、3D番組フラグT312及び記述子領域T313を含む組が複数個存在する。
上記の変形例では、3D番組フラグT312をサービス種別T310の後続の情報として配置したが、これに限定されない。
記述子領域T313に新たな記述子を定義して対応してもよい。また、サービス種別T310に新たな値を設定してもよい。
(3−2)EITを用いた場合
EIT(イベント情報テーブル)は、番組単位の情報が記載されたものであり、当該EIT内には、コンポーネント記述子及びコンテント記述子が含まれる。
EITを用いる場合には、コンポーネント記述子において、現在、未定義である領域に3D番組フラグを割り当てる。また、コンテント記述子においては、8ビットからなるユーザジャンルに、2D番組であるか3D番組であるかの情報を割り当てる。こうすることで、番組が2D番組であるか3D番組であるかの判別が可能となる。
または、新たな記述子を定義して対応してもよい。
(4)上記第3の実施の形態において、ファイル属性情報として、ETSI TS 102 822規格を用いたが、これに限定されない。
ファイル属性情報は、他の規格に基づくものや、独自形式のものであってもよい。
例えば、ISO_IEC_14496−12規格であってもよい。また、その他BDA(Blu−ray Disc Association)、SDA(SD Association)、DVD Forum等の規格に基づくものであってもよい。
(5)上記第3の実施の形態において、映像処理装置は記録媒体への録画再生を行うものとしたが、この記録媒体は映像処理装置の外部にあって、IPネットワーク等で接続されていてもよい。
記録媒体が宅内のIPネットワーク等で接続されている場合は、UPnP(Universal Plug and play)等のプロトコルを利用することができる。UPnPプロトコルを用いる場合、ファイル属性情報として、UPnP AV CDS等が利用できる。
また宅外の記録媒体からIPネットワーク等を利用してVideo On Demand形式でストリームを受信することもできる。この場合は、映像処理装置はHTTPやRTSP/RTP等のプロトコルを用いて、ストリームの要求と受信を行う。この場合のファイル属性情報は、メニュー画面等を構成するHTMLやBML等のマルチメディアスクリプトに直接記載してもよいし、前述のETSI TS 102 822規格を用いてもよいし、IPTV Forum STD−0002 VOD規格に規定される再生制御ファイル等を用いてもよい。
(6)上記各実施の形態において、3D番組時の2D映像については、同じ2D映像を2回繰り返して表示するとしたが、これに限定されない。
一の2D映像(第1映像という。)と次の表示対象となる2D映像(第2映像という。)とからフレーム補完を行うことで補完映像を生成し、第1映像、生成した補完映像、第2映像の順に表示してもよい。なお、この場合、フレーム間の補完が行われるため、実際に出力される各映像は最低1/120秒遅延することとなる。
上記実施の形態と異なる点は、先ず、フレームバッファ104aは少なくとも2つの映像を格納する領域を有している。また、本変形例に係る映像処理部161aは、3D番組中において、2D映像を表示する際には、フレームバッファ104aから連続する2つの2D映像から補完映像を生成し、生成した補完映像をR映像バッファ174へ書き込む。なお、連続する2D映像が存在しない場合には、上記実施の形態と同様に、同じ2D映像を2回表示する。
図24は、当該変形例に係る2D映像の表示の仕組みの具体例を示すものである。
図24において、信号入力部101は、デコードされた2D映像P200、P201をフレームバッファ104aへ書き込む。
映像処理部161aは、フレームバッファ104aに格納されている2D映像P200、P201を読み出し、2D映像P200を第2バッファ172のL映像バッファ173へ書き込む。また、映像処理部161aは、読み出した2D映像P200、P201を用いてフレーム間の補完を行い、補完映像P200aを生成し、生成した補完映像P200aをR映像バッファ174へ書き込む。
表示部163は、1/120秒毎に、L映像バッファ173から2D映像P200を読み出して表示し、R映像バッファ174から補完映像P200aを読み出して表示する。
このとき、ユーザが使用しているシャッター眼鏡は、1/120秒毎に、左目、右目と交互にシャッターが閉じている。しかしながら、表示部163においては、2D映像P200、補完映像P200a、そして2D映像P201の順に表示されるので、映像の遷移が滑らかに行われ、ユーザは、2D映像が2度表示されるという違和感をもつことなく、映像を視聴することができる。
なおこの場合も2D映像P200が表示される間はシャッター眼鏡の開閉を停止、すなわち「常時左右開」としても良い。この場合3D映像が表示されている場合に比べてユーザは倍の光量の画像を視聴することとなるので、それを補償するために表示部163の表示光量を自動的に調整しても良い。
(7)上記実施の形態において、2D番組であるか3D番組であるかの判定は、ストリームと多重化されたPSI又はSIの情報に基づいて逐次行ったが、これに限定されない。
フレーム毎に記載する3D映像情報に直接、3D番組中の2Dフレームである旨を記載してもよい。
また3D方式がサービス互換方式である場合は、サービス互換方式の3Dストリームであるか、通常の2Dのストリームであるかによって、3D番組フラグに替えてもよい。例えばMPEG4|H.264による圧縮符号化を行う場合、profile_idcの値を参照することで、サービス互換方式の3Dストリーム(MVC)であるか、通常の2Dストリーム(AVC)であるかを識別できる。
(8)上記実施の形態において、2D番組であるか3D番組であるかの判定は、ストリームと多重化されたPSI又はSIの情報に基づいて逐次行ったが、これに限定されない。
映像処理装置(デジタルテレビ)は、予め上記SIもしくは他の形式の情報からなる電子番組表(EPG)を記憶しておき、電子番組表を用いて、受信したストリームの番組が2D番組であるか3D番組であるかを判定してもよい。
または、電子番組表において3D番組のみを放送するチャネルに対しては3D番組のみを放送する旨の情報(以下、3D放送情報)を付加しておき、上記のように番組が3D番組であるか2D番組であるかの判定を行う前に、映像処理装置は、3D放送情報を基に、受信したストリームのチャネルが3D番組のみを放送するチャネルであるか否かを判定してもよい。この場合、3D番組のみを放送するチャネルであると判定すると、受信したストリームの番組は3D番組であると特定する。なお、3D放送情報が3D番組のみを放送する旨のものでない場合には、番組単位で、3D番組であるか2D番組であるかの判定を行う。
また、映像処理装置は、電子番組表に基づいて、受信しているストリームの3D番組の終了を検知すると、その後の番組が3D番組であるか2D番組であるかを当該電子番組表を用いて判定する。後続の番組が3D番組であると判定すると、映像の出力周期の変更は行わない。また、後続の番組が2D番組であると判定すると、映像の出力周期を2D映像のものへと変更する。
(9)上記第3の実施の形態において、デジタルテレビ2100は録画機能付のデジタルテレビとしたが、これに限定されない。
当該実施の形態で説明した録画機能を有する録画装置を別途設けてもよい。この場合、デジタルテレビは、放送波の受信機能、IPネットワークからの番組の受信機能及び録画装置から録画された番組の再生に係る機能を有することで実現できる。
(10)上記第5の実施の形態において、デジタルテレビ4100は、チャネル変更の指示もしくは電源の切/入があると履歴保持情報の内容をリセットして、再度番組の判定を開始するようにしたが、これに限定されない。
例えば、デジタルテレビは、履歴保持情報の内容をリセットすることなく、番組の判定を開始を行ってもよい。この場合、デジタルテレビ(映像処理装置)は、2D映像を連続して所定枚数以上受信すると、2D番組と判定し、出力周期を3D映像の出力周期から2D映像の出力周期へと変更する。なお、この場合に用いる所定数は、上記第5の実施の形態で3D番組であるか否かの判定に用いる所定数と同一の値であってもよいし、異なる値であってもよい。
(11)上記第5の実施の形態において、2D番組であるか、3D番組であるかを判定する処理動作において用いた所定数は、1であってもよい。この場合、3D映像を受信すると即座に出力周期を切り替えることとなる。
(12)上記第5の実施の形態において、2D番組であるか、3D番組であるかを判定する処理動作において、3D番組であると判定した場合、当該処理動作を、次の開始のトリガーとなるユーザ動作が行われるまで、停止したが、これに限定されない。
3D番組であると判定した以降においても当該処理動作を継続してもよい。
この場合、映像処理装置の出力処理部4105は、番組フォーマット判定部4102で3D番組であると判定された以降、2D映像を所定数連続して受信すると、2D番組であると判定して、出力周期の切り替えを行う。なお、2D番組の判定に用いる所定数は、上記第5の実施の形態で3D番組であるか否かの判定に用いる所定数と同一の値であってもよいし、異なる値であってもよし、または1であってもよい。所定数が1である場合には、映像処理装置の出力処理部4105は、番組フォーマット判定部4102で3D番組であると判定された以降、2D映像を受信すると即座に、出力周期の切り替えを行う。
(13)上記実施の形態において、プラズマテレビを用いて、2D映像と3D映像の出力周期の切り替えについて説明したが、これに限定されない。
プラズマテレビに限らず、2D映像の表示時と3D映像の表示時で異なるパネル駆動方式が用いられることで、切り替えの時間がかかる(1映像フレーム期間内に完了しない)表示デバイスを有する装置に、上述した切り替えの技術を適用してもよい。
(14)上記実施の形態において、デジタルテレビは、放送波の受信、IPネットワークから番組の受信、記録媒体から番組の取得及び再生装置から番組の取得、それぞれを行うものとしたが、これに限定されない。
デジタルテレビは、これら機能のうち少なくとも1つの機能を備えていればよい。
(15)上記実施の形態において、フレームバッファは、第1バッファと、第2バッファ(L映像バッファ、R映像バッファ)とは、物理的に異なるものとしたが、これに限定されない。
第1バッファ、L映像バッファ、R映像バッファが物理的には共通で、時分割で切り替えて用いられる形態でもよい。
(16)上記実施の形態では、2D映像の出力周期は、1/60秒としたが、これに限定されない。
2D映像は他の出力周期(例えば、1/50秒)であってもよい。この場合、3Dの出力周期は、2D映像の出力周期の半分(例えば、1/100秒)となる。
(17)上記実施の形態において、PSIに3D番組フラグに加えて、当該3D番組フラグが3D番組を示す場合には3D映像のフレームがSide−by−Side方式及びTop and Bottom方式の何れの方式で構成されているかを示す情報(以下、方式情報という。)を追加してもよい。
この場合、番組フォーマット判定部は、方式情報を映像処理部へ出力し、映像処理部は、受け取った方式情報に基づいて、3D番組がどの方式で構成されているかを特定する。
これにより、フレームフォーマット判定部でフレーム毎に方式を判断する場合に比べて、1回の判定で3D番組がどの方式で構成されているかを特定することができるので、処理の効率化が図れる。例えば、3D番組がSide−by−Side方式で構成されていると判断する場合には、Top and Bottom方式のフレームをL映像とR映像とに分割するプログラムのロードは不要となる。
(18)上記各実施の形態において、グラフィックスを生成し、映像の重畳するグラフィックス生成部を設けてもよい。
第1の実施の形態に示すデジタルテレビ100にグラフィックス生成部110Aを設けた場合の一例を図25に示す。
グラフィックス生成部110Aは、フレームフォーマット判定部103からフレームフォーマットの判定結果(フレームの映像が2D映像であるか3D映像であるか、及び3D映像である場合には構成方式)を受け取る。
グラフィックス生成部110Aは、生成したグラフィックスをフレームフォーマット判定部103から受け取った判定結果に基づいて、対象のフレームに重畳する。
具体的には、グラフィックス生成部110Aは、判定結果が2D映像である場合には、フレーム中において重畳する位置を決定し、決定した位置にグラフィックスを重畳する。そして、グラフィックスを重畳したフレームをフレームバッファ104に書き込む。グラフィックス生成部110Aは、判定結果が3D映像である場合には、一フレーム中におけるL映像が格納された領域においてグラフィックスを重畳する位置(x)を決定する。そして、グラフィックス生成部110Aは、R映像が格納された領域において、先に決定した位置(x)に基づいて、グラフィックスを重畳する位置を決定する。R映像においてグラフィックスが重畳される位置(y)は、y=x+(一フレームの横幅の画素数/2)で算出される。例えば、一フレームの横幅の画素数が1920である場合には、位置(y)は、y=x+960で算出される。
なお、上記では、3D映像においてグラフィックスが重畳される位置は、L映像とR映像とでは同一の位置となるが、これに限定されない。例えば、R映像でグラフィックスを重畳する位置をL映像の位置より右若しくは左に少なくとも1画素分ずらしてもよい。
また、上記においては、フレームバッファ104に格納する前に、グラフィックスを重畳したが、これに限定されない。出力処理部105内のフレームバッファ162に格納する前にグラフィックスを重畳してもよい。このとき、L映像バッファ173に格納される映像と、R映像バッファ174に格納される映像において、同一の位置にグラフィックスが重畳されるよう位置を決定してもよいし、R映像バッファ174に格納される映像についてグラフィックスを重畳する位置をL映像バッファ173に格納される映像についてグラフィックスを重畳する位置より右若しくは左に少なくとも1画素分ずらしてもよい。
(19)上記第2の実施の形態において、3Dの映像情報をHDMIの情報に付加するとしているが、具体的には、HDMIの情報を構成するテーブルのうち装置を製造する業者が共通して使用するテーブルに3Dの映像情報を格納してもよいし、業者毎に使用が許可されている個別のテーブルに3Dの映像情報を格納してもよい。また、個別のテーブルを利用する場合において、当該個別テーブルをデジタルテレビ1100へHDMIのケーブルを介して出力する際には、共通のテーブルを出力する信号線と同一の信号線を用いてもよいし、異なる信号線を用いてもよい。
(20)上記の実施の形態で説明した手法の手順を記述したプログラムをメモリに記憶しておき、CPU(Central Processing Unit)などがメモリからプログラムを読み出して、読み出したプログラムを実行することによって、上記の手法が実現されるようにしてもよい。
また、当該手法の手順を記述したプログラムを記録媒体に格納して、頒布するようにしてもよい。
(21)上記の各実施の形態にかかる各構成は、集積回路であるLSI(Large Scale Integration)として実現されてもよい。これらの構成は、1チップ化されても良いし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIと表現したが、回路の集積度の違いによっては、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと称呼されることもある。また、集積回路化の手法は、LSIに限られるものではなく、専用回路または汎用プロセッサで集積回路化を行ってもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(ReConfigurable Processor)を用いてもよい。あるいは、これらの機能ブロックの演算は、例えば、DSP(Digital Signal Processor)やCPU(Central Processing Unit)などを用いて演算することもできる。さらに、これらの処理ステップはプログラムとして記録媒体に記録して実行することで処理することもできる。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適応などが可能性としてあり得る。
(22)上記実施の形態及び変形例を組み合わせるとしてもよい。
上記にて説明した映像処理装置は、3D映像及び2D映像の双方を表示する場合において有用である。
100 デジタルテレビ
101 信号入力部
102 番組フォーマット判定部
103 フレームフォーマット判定部
104 フレームバッファ
105 出力処理部
151 チューナ
152 NIC
153 多重化分離部
154 映像デコード部
161 映像処理部
162 フレームバッファ
163 表示部
171 第1バッファ
172 第2バッファ
173 L映像バッファ
174 R映像バッファ
181 スイッチ
182 ディスプレイ
183 切替制御部

Claims (12)

  1. 3D映像の映像フレーム及び2D映像の映像フレームが混在する映像ストリームを受信する受信手段と、
    受信した映像ストリームに含まれる番組が3D番組であるか、2D番組であるかを判断する判断手段と、
    前記判断手段で番組が3D番組であると判断する場合には当該3D番組中に含まれる2D映像の映像フレームを3D映像の出力方法で出力し、2D番組であると判断する場合には当該2D番組に含まれる2D映像の映像フレームを2D映像の出力方法で出力する出力手段とを備える
    ことを特徴とする映像処理装置。
  2. 前記受信手段は、
    前記映像ストリームと関連付けられ、且つ当該映像ストリームを含む番組が2D番組であるか、3D番組であるかを示す付加情報を受信し、
    前記判断手段は、
    前記付加情報を用いて前記番組が3D番組を示すか2D番組を示すかを判断する
    ことを特徴とする請求項1に記載の映像処理装置。
  3. 前記判断手段は、
    3D映像の映像フレームの受信開始から連続して所定枚数の3D映像の映像フレームを受信した場合には前記番組は3D番組であると判断し、連続して所定枚数の3D映像の映像フレームを受信しない場合には前記番組は2D番組であると判断する
    ことを特徴とする請求項1に記載の映像処理装置。
  4. 前記判断手段は、さらに、
    前記出力手段が前記3D映像の出力方法で映像フレームを出力中にチャネル切替が行われた後、2D映像の映像フレームの受信開始から連続して所定枚数の2D映像の映像フレームを受信すると、3D映像の出力方法から2D映像の出力方法へ切り替えると判断し、
    前記出力手段は、さらに、
    前記判断手段で3D映像の出力方法から2D映像の出力方法へ切り替えると判断された場合、映像の出力方法を3D映像のものから2D映像のものへと切り替える
    ことを特徴とする請求項3に記載の映像処理装置。
  5. 映像フレームには、当該映像フレームが2D映像であるか3D映像であるかを識別するための識別子が含まれており、
    前記映像処理装置は、さらに、
    受信した映像フレームに含まれる識別子を用いて、当該映像フレームが2D映像であるか3D映像であるかを判別するフレーム判別手段を備え、
    前記出力手段は、
    前記判断手段で番組が3D番組であると判断する場合に、前記フレーム判別手段で受信した映像フレームは2D映像であると判別されると当該映像フレームを3D映像の出力方法で出力する
    ことを特徴とする請求項1に記載の映像処理装置。
  6. 前記映像処理装置は、さらに、
    3D番組に対しては3D番組であることを示す識別情報が付加された電子番組表を記憶している記憶手段を備え、
    前記判断手段は、
    受信した映像ストリームが放送されたチャネルを特定し、特定したチャネルと現在時刻と前記電子番組表とから、受信した映像ストリームを含む番組が3D映像の番組であるか2D番組であるかを判断する
    ことを特徴とする請求項1に記載の映像処理装置。
  7. 前記電子番組表には、さらに、3D番組を放送する放送局である場合にはチャネル単位に当該放送局が3D番組を放送する放送局である旨の情報が付加されており、
    前記判断手段は、
    受信した映像ストリームを含む番組が3D映像の番組であるか否かの特定に先立って、特定したチャネルに対して3D番組を放送する放送局を示す情報が付加されているか否かを判断し、
    前記出力手段は、さらに、
    前記判断手段で3D番組を放送する放送局であると判断する場合には3D映像の出力方法で2D映像の映像フレームを出力する
    ことを特徴とする請求項6に記載の映像処理装置。
  8. 前記判断手段は、さらに、
    前記出力手段が前記3D映像の出力方法で映像フレームを出力中に、3D映像の番組であると特定した当該番組の終了を前記電子番組表を用いて検知した後、当該電子番組表を用いて当該番組に後続する後続番組が2D映像の番組であるか3D番組であるかを特定し、
    前記出力手段は、
    前記判断手段で前記後続番組が3D映像の番組であると判断される場合には2D映像の映像フレームを受信しても継続して3D映像の出力方法で当該2D映像の映像フレームの出力を行い、前記後続番組が2D映像の番組であると判断される場合には2D映像の映像フレームを受信すると前記2D映像の出力方法で当該2D映像の映像フレームを出力する
    ことを特徴とする請求項6に記載の映像処理装置。
  9. 前記3D映像の出力方法における出力周期は、前記2D映像の出力方法における出力周期の半分であり、
    前記出力手段は、
    前記3D映像の出力方法における出力周期で2D映像の映像フレームを出力する際には、当該2D映像の映像フレームを2度出力する
    ことを特徴とする請求項1に記載の映像処理装置。
  10. 前記3D映像の出力方法における出力周期は、前記2D映像の出力方法における出力周期の半分であり、
    前記映像処理装置は、さらに、
    3D映像フレームを受信した以降において、2D映像フレームを連続して受信すると、一の2D映像フレームと、当該一の2D映像フレームの直後に受信した次2D映像フレームとから、当該一の2D映像フレームと次2D映像フレームとの中間映像となる補完映像を生成する映像処理手段を備え、
    前記出力手段は、
    前記3D映像の出力方法における出力周期で前記一の2D映像の映像フレームを出力し、次の出力周期で生成された前記補完映像を出力する
    ことを特徴とする請求項1に記載の映像処理装置。
  11. 3D映像の映像フレーム及び2D映像の映像フレームが混在する映像ストリームを受信する受信ステップと、
    受信した映像ストリームに含まれる番組が3D番組であるか、2D番組であるかを判断する判断ステップと、
    前記判断ステップで番組が3D番組であると判断する場合には当該3D番組中に含まれる2D映像の映像フレームを3D映像の出力方法で出力し、2D番組であると判断する場合には当該2D番組に含まれる2D映像の映像フレームを2D映像の出力方法で出力する出力ステップとを含む
    ことを特徴とする映像処理方法。
  12. 映像処理装置で用いられるコンピュータプログラムであって、
    前記映像処理装置に、
    3D映像の映像フレーム及び2D映像の映像フレームが混在する映像ストリームを受信する受信ステップと、
    受信した映像ストリームに含まれる番組が3D番組であるか、2D番組であるかを判断する判断ステップと、
    前記判断ステップで番組が3D番組であると判断する場合には当該3D番組中に含まれる2D映像の映像フレームを3D映像の出力方法で出力し、2D番組であると判断する場合には当該2D番組に含まれる2D映像の映像フレームを2D映像の出力方法で出力する出力ステップとを実行させる
    ことを特徴とするコンピュータプログラム。
JP2012508052A 2010-03-29 2011-03-16 映像処理装置 Expired - Fee Related JP5870272B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012508052A JP5870272B2 (ja) 2010-03-29 2011-03-16 映像処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010074926 2010-03-29
JP2010074926 2010-03-29
JP2012508052A JP5870272B2 (ja) 2010-03-29 2011-03-16 映像処理装置
PCT/JP2011/001544 WO2011121916A1 (ja) 2010-03-29 2011-03-16 映像処理装置

Publications (2)

Publication Number Publication Date
JPWO2011121916A1 true JPWO2011121916A1 (ja) 2013-07-04
JP5870272B2 JP5870272B2 (ja) 2016-02-24

Family

ID=44711686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012508052A Expired - Fee Related JP5870272B2 (ja) 2010-03-29 2011-03-16 映像処理装置

Country Status (8)

Country Link
US (1) US20120050476A1 (ja)
EP (1) EP2555530A1 (ja)
JP (1) JP5870272B2 (ja)
CN (1) CN102450028B (ja)
MX (1) MX2011012447A (ja)
RU (1) RU2011148354A (ja)
TW (1) TW201206163A (ja)
WO (1) WO2011121916A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6396658B2 (ja) 2010-12-02 2018-09-26 ウルトラデント プロダクツ インコーポレイテッド 立体視ビデオ画像を観察および追跡するためのシステムおよび方法
JP5328852B2 (ja) * 2011-07-25 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
TWI514844B (zh) * 2011-10-31 2015-12-21 Innolux Corp 具有視訊格式轉換的時序控制裝置、時序控制裝置的方法以及其顯示系統
JP5887983B2 (ja) * 2012-02-16 2016-03-16 セイコーエプソン株式会社 画像表示装置および画像表示装置の制御方法
JP6069854B2 (ja) * 2012-03-02 2017-02-01 セイコーエプソン株式会社 映像表示装置および映像表示方法
CN103313074A (zh) * 2012-03-16 2013-09-18 深圳市亿思达显示科技有限公司 转换盒及应用该转换盒的立体显示系统
AU2013202775B2 (en) 2012-06-01 2015-09-17 Ultradent Products, Inc. Stereoscopic video imaging
CN102984483B (zh) * 2012-12-18 2016-08-03 上海晨思电子科技有限公司 一种三维用户界面显示系统及方法
JP6120557B2 (ja) * 2012-12-21 2017-04-26 キヤノン株式会社 表示装置、画像処理装置、及びその制御方法
JP2015088796A (ja) * 2013-10-28 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、映像出力プログラム、映像出力方法
EP3075146A4 (en) * 2013-11-27 2017-07-19 Ultradent Products, Inc. Video interaction between physical locations
CN104735531B (zh) * 2015-02-04 2017-06-23 四川长虹电器股份有限公司 基于图像画质分析的3d信号自动识别方法
CN104796641B (zh) * 2015-04-09 2018-11-30 康佳集团股份有限公司 眼镜式和自由式二合一立体电视机
CN106791795A (zh) * 2017-01-03 2017-05-31 京东方科技集团股份有限公司 3d视频流的发送方法及发送装置、接收方法及接收装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191895A (ja) * 1996-12-04 1999-07-13 Matsushita Electric Ind Co Ltd 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2010010709A1 (ja) * 2008-07-24 2010-01-28 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
JP2010068315A (ja) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp 映像記録装置及び方法、並びに映像再生装置及び方法
WO2010038409A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 再生装置、記録媒体、及び集積回路
JP2011205606A (ja) * 2009-07-14 2011-10-13 Panasonic Corp 映像再生装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012348A1 (en) * 1997-08-29 1999-03-11 Matsushita Electric Industrial Co., Ltd. Optical disc for recording high resolution and normal image, optical disc player, optical disc recorder, and playback control information generator
JP3789794B2 (ja) 2001-09-26 2006-06-28 三洋電機株式会社 立体画像処理方法、装置、およびシステム
JP2003260028A (ja) * 2002-03-11 2003-09-16 Fuji Photo Optical Co Ltd 立体電子内視鏡装置
JP2004357156A (ja) * 2003-05-30 2004-12-16 Sharp Corp 映像受信装置および映像再生装置
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100828358B1 (ko) * 2005-06-14 2008-05-08 삼성전자주식회사 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR100657322B1 (ko) * 2005-07-02 2006-12-14 삼성전자주식회사 로컬 3차원 비디오를 구현하기 위한 인코딩/디코딩 방법 및장치
KR101177412B1 (ko) * 2006-04-20 2012-08-24 엘지전자 주식회사 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
KR20090004722A (ko) * 2007-07-06 2009-01-12 엘지전자 주식회사 방송 수신기 및 데이터 처리 방법
DK2230844T3 (en) * 2008-01-17 2018-01-02 Panasonic Ip Man Co Ltd REGISTRATION MEDIUM, WHICH 3D VIDEO IS REGISTERED, REGISTRATION MEDIUM FOR REGISTERING 3D VIDEO AND REPLACEMENT DEVICE AND METHOD OF REPRESENTING 3D VIDEO
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
US8339441B2 (en) * 2008-12-26 2012-12-25 Kabushiki Kaisha Toshiba Frame processing device, television receiving apparatus and frame processing method
WO2011046279A1 (en) * 2009-10-16 2011-04-21 Lg Electronics Inc. Method for indicating a 3d contents and apparatus for processing a signal

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191895A (ja) * 1996-12-04 1999-07-13 Matsushita Electric Ind Co Ltd 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置
JP2005006114A (ja) * 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
WO2010010709A1 (ja) * 2008-07-24 2010-01-28 パナソニック株式会社 立体視再生が可能な再生装置、再生方法、プログラム
JP2010068315A (ja) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp 映像記録装置及び方法、並びに映像再生装置及び方法
WO2010038409A1 (ja) * 2008-09-30 2010-04-08 パナソニック株式会社 再生装置、記録媒体、及び集積回路
JP2011205606A (ja) * 2009-07-14 2011-10-13 Panasonic Corp 映像再生装置

Also Published As

Publication number Publication date
CN102450028A (zh) 2012-05-09
WO2011121916A1 (ja) 2011-10-06
MX2011012447A (es) 2011-12-16
EP2555530A1 (en) 2013-02-06
TW201206163A (en) 2012-02-01
RU2011148354A (ru) 2014-05-10
CN102450028B (zh) 2015-04-29
US20120050476A1 (en) 2012-03-01
JP5870272B2 (ja) 2016-02-24

Similar Documents

Publication Publication Date Title
JP5870272B2 (ja) 映像処理装置
US8503869B2 (en) Stereoscopic video playback device and stereoscopic video display device
WO2012017643A1 (ja) 符号化方法、表示装置、及び復号方法
WO2011064913A1 (ja) 映像信号処理装置及び映像信号処理方法
JP2016197909A (ja) デジタル立体ビデオストリームのデータ構造
US9357200B2 (en) Video processing device and video processing method
US20140089962A1 (en) Image playback device, image playback method, image playback program, image transmission device, image transmission method and image transmission program
US9008494B2 (en) Reproduction unit, reproduction method, and program
WO2013031156A1 (ja) 映像処理システム、送信装置、受信装置、送信方法、受信方法及びコンピュータプログラム
WO2012029293A1 (ja) 映像処理装置、映像処理方法、コンピュータプログラム及び配信方法
WO2013099289A1 (ja) 再生装置、送信装置、再生方法及び送信方法
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
US8934757B2 (en) Content distribution system, playback device, distribution server, playback method, and distribution method
US20120188340A1 (en) Content distribution system, playback apparatus, distribution server, playback method, and distribution method
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
KR101659623B1 (ko) 입체영상 재생 장치 및 데이터 처리 방법
KR20110113475A (ko) 입체영상 재생 장치 및 방송정보 표시 방법
KR20120017127A (ko) 입체영상 재생 장치 및 입체영상 재생 방법
KR20120004587A (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 스트림 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131125

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141010

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150728

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150820

R151 Written notification of patent or utility model registration

Ref document number: 5870272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees