JP4660618B1 - 映像処理装置、映像表示システム、及び映像表示方法 - Google Patents

映像処理装置、映像表示システム、及び映像表示方法 Download PDF

Info

Publication number
JP4660618B1
JP4660618B1 JP2009213994A JP2009213994A JP4660618B1 JP 4660618 B1 JP4660618 B1 JP 4660618B1 JP 2009213994 A JP2009213994 A JP 2009213994A JP 2009213994 A JP2009213994 A JP 2009213994A JP 4660618 B1 JP4660618 B1 JP 4660618B1
Authority
JP
Japan
Prior art keywords
image
image frame
eye
frame group
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009213994A
Other languages
English (en)
Other versions
JP2011066574A (ja
Inventor
雅弘 山田
智 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009213994A priority Critical patent/JP4660618B1/ja
Priority to US12/884,029 priority patent/US20110063423A1/en
Application granted granted Critical
Publication of JP4660618B1 publication Critical patent/JP4660618B1/ja
Publication of JP2011066574A publication Critical patent/JP2011066574A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/24Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type involving temporal multiplexing, e.g. using sequentially activated left and right shutters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/106Determination of movement vectors or equivalent parameters within the image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Television Systems (AREA)

Abstract

【課題】動きの滑らかな立体映像をユーザに提供することを可能とする映像処理装置、映像表示システム、及び映像表示方法を提供する
【解決手段】同時に撮像した、視差を有する左目用画像と右目用画像を受信し、画像生成部33はこの右目用画像の連続する画像フレームを用いて、それらの画像フレームを撮像した時刻の中間時刻の中間画像を生成する。この中間画像を右目用画像の代わりに左目用画像を交互に表示部37より表示する。この表示のタイミングと同期させて、左目用画像が左目のみに見えるように、また右目用画像が右目のみに見えるようにシャッターメガネ3のシャッターを制御する。こうすることで同時に撮像した画像フレームを異なった時刻に表示する場合よりも、動きの滑らかな立体表示をユーザに提供することが可能となる。
【選択図】図3

Description

本発明は映像処理装置、映像表示システム、及び映像処理方法に関するものであって、特に動きの滑らかな立体映像をユーザに提供することが可能な映像処理装置、映像表示システム、及び映像表示方法に関する。
近年、映像表示技術の発達により、ユーザに立体映像を表示することが可能な立体映像表示システムが提案されている。この立体映像表示システムのなかには、ユーザに立体映像を認識させる方式の一つとして、シャッターメガネを用いた立体映像表示方式がある。
シャッターメガネを用いる立体映像表示方式では、一つの表示装置に互いに視差を有する左目用画像と右目用画像とを異なったタイミングで表示して、シャッターメガネのシャッターの開閉を制御することによって、左目用画像をユーザに左目のみに見せ、右目用画像を右目のみに見せることで、ユーザに表示装置に表示されている映像を立体として認識させている。
また、2次元(平面)映像の画像フレームにディレイ処理を施し、上述のような左目用画像と右目用画像の3次元(立体)映像を生成して、2次元映像を3次元映像に変換する装置が提案されている(特許文献1を参照)。
特開平11−98535号公報
立体映像を撮影するときに、2台の撮像装置を用いて左目用画像と右目用画像とをそれぞれ同時に撮像する場合がある。このとき、2台の撮像装置が同時刻に画像フレームを撮像し、これらを交互にユーザに表示しようとすると、それぞれの画像フレームは同じタイミングで撮像された画像であるにも関わらず、ユーザに表示するときには右目用と左目用とでは時間差が生じてしまう。このため、表示される左目用画像と右目用画像とでは撮影した実時間とは異なるタイミングで映像が表示され、特に撮像対象が動いている場合、ユーザにはぎこちない立体映像として映ってしまう。
本発明は上記問題に鑑みてなされたものであって、動きの滑らかな立体映像をユーザに提供することを可能とする映像処理装置、映像表示システム、及び映像表示方法を提供する
本発明にかかる映像処理装置は、映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群同じタイミングで第2の画像フレーム群とを取りこむために構成された入力手段と、前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記連続する前の画像フレームと現在の画像フレームの中間画像を生成するために構成された中間画像生成手段と、前記生成された前記中間画像と、前記第2の画像フレーム群とが順次交互に表示されるように表示を制御するために構成された表示制御手段と、前記表示制御手段によって制御される表示と同期して、前記中間画像を表示中は第1の領域に前記中間画像が見えるように、前記第2の画像フレーム群を表示中は第2の領域に前記第2の画像フレーム群が見えるように制御するために構成された制御手段とを具備することを特徴としている。
本発明にかかる映像表示システムは、映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群同じタイミングで前記画像捕捉目標が捕捉した第2の画像フレーム群とを取りこむために構成された入力手段と、前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記第1の画像フレーム群のうちの連続する画像フレームの中間画像を生成するために構成された中間画像生成手段と、前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示するために構成された表示手段と、前記中間画像を第1の領域に、前記第2の画像フレーム群を第2の領域に出力するために構成された出力手段とを具備することを特徴としている。
本発明にかかる映像表示方法は、映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群と同じタイミングで前記画像捕捉目標が捕捉した第2の画像フレーム群とを入力し、前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記第1の画像フレーム群のうちの連続する画像フレームの中間画像を生成し、前記生成された中間画像と、前記第2の画像フレーム群とを順次交互に表示し、第1の領域内の前記中間画像と、第2の領域内の前記第2の画像フレーム群を出力するを含むことを特徴としている。
本発明にかかる映像処理装置、立体映像表示システム、及び映像処理方法は、右眼用画像(あるいは左眼用画像)がユーザに届く、時系列的にずれたタイミングに存在するべき画像フレームを生成し、そのずれたタイミングで表示することによって、動きの滑らかな立体映像をユーザに提供する映像処理装置、映像表示システム、及び映像表示方法を実現することができる。
本発明の一実施形態における立体映像表示システムの概観の一例を示す図。 本発明の一実施形態における左目用画像と右目用画像との撮影システムの一例を示す図。 本発明の一実施形態における立体映像表示システムの内部構成の一例を示すブロック図。 本発明の一実施形態における映像表示装置に表示される画像フレームとシャッターメガネのシャッターの開閉周期の一例を示す図。 本発明の一実施形態における画像生成部によって画像生成処理を行わなかった場合のユーザの視認する画像フレームの一例を示す図。 本発明の一実施形態における画像生成部による画像生成処理の一例を示す図。 本発明の一実施形態における画像生成部によって画像生成処理を行なった場合のユーザの視認する画像フレームの一例を示す図。 本発明の一実施形態における映像表示装置の行う処理の処理フローの一例を示す図。
以下、本発明の実施の一形態を図面を用いて説明する。
図1は本実施形態における立体映像表示システム1の概観の一例を示す図である。図1には立体映像表示システム1、映像表示装置2、およびシャッターメガネ3が示されている。
立体映像表示システム1は映像表示装置2及びシャッターメガネ3によって構成される。ユーザはシャッターメガネ3を装着して、映像表示装置2に表示されている映像を見ることで、この映像を立体映像として認識することができる。
人間は通常、物体を位置の異なる左目と右目とのそれぞれで見ており、この左目と右目とで見る像にはそれぞれ視差が存在する。この視差の存在する左目で見る像と右目で見る像とを脳内で合成することによって人間は見ている物体を立体として認識することができる。よって、視差を有する左目用の画像と右目用の画像をそれぞれの目で見ることによって、ユーザはそれらの画像を脳内で合成し、立体として捉えることが可能となる。
映像表示装置2は例えばデジタルテレビであって、互いに視差を有する左目用画像と右目用画像を交互に表示することによって、シャッターメガネ3を装着したユーザに立体映像を表示することが可能である。また、映像表示装置2は受信する立体映像表示用の画像信号に基づいて新たな画像フレームを生成する機能も有している。
シャッターメガネ3は左目用レンズ4および右目用レンズ5を有している。この左目用レンズ4及び右目用レンズ5にはそれぞれ遮光可能なシャッターが設けられており、映像表示装置2から受信するシャッターの開閉信号にもとづいて、それぞれのシャッターを異なるタイミングで開閉してユーザに立体映像を提供する。例えば、表示装置2に左目用画像が表示されているときには、シャッターメガネ3は表示装置2からの開閉信号に基づいて右目用レンズ5のシャッターを閉状態とし、ユーザの左目(一方の箇所)のみに左目用画像を見せる。また右目用画像が表示されているときには左目用レンズ4のシャッターを閉状態とし、ユーザの右目のみ(他方の箇所)に右目用画像を見せる。
図2は本実施形態における左目用画像と右目用画像との撮影システムの一例を示す図である。図2には物体21、左目用撮像装置22、右目用撮像装置23、多重化装置24、送信装置25、及び画像フレーム201〜204が示されている。
物体21は左目用撮像装置22および右目用撮像装置23の撮像対象であり、図2中矢印方向(右方向)に移動する移動体である。
左目用撮像装置22および右目用撮像装置23は物体21を撮像する撮像装置であり、これらはそれぞれ左目用画像と右目用画像を撮像する。また、左目用撮像装置22および右目用撮像装置23の画像の撮影時刻は同タイミングである(同時刻に画像の撮像を行う)。
画像フレーム201〜204は左目用撮像装置22および右目用撮像装置23によって撮像される画像フレームである。画像フレーム(L1)201、画像フレーム(R1)202は時刻T1において左目用撮像装置22、右目用撮像装置23がそれぞれ撮像した画像フレームであり、画像フレーム(L2)203、画像フレーム(R2)203は時刻T2において左目用撮像装置22、右目用撮像装置23がそれぞれ撮像した画像フレームである。左目用撮像装置22および右目用撮像装置23によって撮像されたこれらの画像フレーム201〜204はそれぞれ多重化装置24に送信される。
多重化装置24は左目用撮像装置22および右目用撮像装置23よりパラレルに受信する左目用の画像フレームと右目用の画像フレームを連続したシリアルなデータに多重化して、送信装置25に対して送信する機能を有している。本実施形態において多重化装置24は先に撮像した画像フレームより時系列的に順に送信するように画像フレームの多重化を行うが、同時刻に撮像された画像フレームは左目用の画像フレームを先、右目用の画像フレームを後となるように並べて多重化し、送信装置25に対して送信する。
送信装置25は受信した画像フレームのデジタルデータをエンコードし、放送信号として受信装置に対して送信する。
図3は本実施形態における立体映像表示システム1の内部構成の一例を示すブロック図である。
図3に示されるように、映像表示装置2はチューナ31、L/R振分部32、画像生成部33、L/R多重化部34、表示制御部35、L/R開閉信号送信部36、及び表示部37を有しており、前記送信装置25が送信した放送信号を受信し、ユーザに立体映像を提供することができる。
チューナ31は、アンテナによって受信した図2に示す送信装置25より送信される放送信号をデコード処理し、映像表示装置2で表示可能な画像信号へ変換して映像表示装置2内に画像信号を入力する入力手段としての機能を有している。
L/R振分部32はチューナ31によって映像表示装置2で表示可能な形式へ変換された、映像信号を左目用画像と右目用画像へと振り分ける機能を有している。L/R振分部32は受信する映像信号より左目用画像と右目用画像とを分離し、左目用画像はL/R多重化部34へ、右目用画像は画像生成部33へと送信する。
画像生成部33はL/R振分部32より右目用画像を受信し、受信した右目用画像の連続する画像フレームに基づいて、それぞれの画像フレームが撮像された時刻の中間時刻の新たな右目用画像を生成する。この画像生成処理に関しては図6を用いて後述する。画像生成部33は新たに右目用画像を生成し、L/R振分部32より受信した右目用画像に代えてL/R多重化部34に送信する機能を有している。
L/R多重化部34はL/R振分部32より受信する左目用画像と、画像生成部33より受信する新たに生成された右目用画像とを並べて多重化する機能を有している。また、L/R多重化部34多重化した画像データを表示制御部35に送信する。
表示制御部35はL/R多重化部34より受信する画像データを表示部37に表示させる機能を有している。このとき、表示制御部35は画像データ中の画像フレームの表示時間の制御を行う。一つの画像フレームを表示する時間は、左目用撮像装置22および右目用撮像装置23においてそれぞれの画像フレームの撮像を行った周期の半分の時間となる。例えば、左目用撮像装置22および右目用撮像装置23がそれぞれ60分の1秒周期で連続して撮像していとすると、映像表示装置2は120分の1秒毎に表示している画像フレームを切り替えることとなる。また、表示制御部35はこの画像フレームの切り替えに同期してシャッターメガネ3がシャッターを開閉するように、シャッターメガネ3の開閉に関する信号をL/R開閉信号送信部36に対して送信する。
L/R開閉信号送信部36は上記のシャッターメガネ3の開閉に関する信号を表示制御部35より受信すると、シャッターメガネ3に対して赤外線によってシャッターへの開閉を指示する開閉信号を送信する信号送信手段としての機能を有している。本実施形態では赤外線によって開閉信号を送信すると例示するが、これに限定されず、開閉信号を送信できれば他の無線送信であってもよい。また、映像表示装置2とシャッターメガネ3が信号の送受信可能な有線ケーブルによって接続されていてもよい。
シャッターメガネ3はL/R開閉信号送信部36より受信する開閉信号に基づいてシャッターの開閉を行う。
ここでの表示部37に表示される表示の切り替え、シャッターメガネ3シャッターの開閉の周期に関しては図4を用いて説明する。
図4は本実施形態における映像表示装置2に表示される画像フレームとシャッターメガネ3のシャッターの開閉周期の一例を示す図である。
本実施形態においては画像データ中のそれぞれの画像フレームを120分の1秒毎に切り替える(それぞれの画像フレームを120分の1秒ずつ表示する)。
本実施形態ではシャッターメガネ3の左右それぞれのレンズに設けられたシャッターは開閉信号1を受信すると開き、開閉信号0を受信すると閉じるものとする。L/R開閉信号送信部36は赤外線によってこれらの開閉信号を送信し、シャッターメガネ3の左右のレンズのシャッターの開閉状態を制御する制御手段として機能する。上述のように映像表示装置2は表示部37に表示する画像フレームの切り替えに同期させて、L/R開閉信号送信部36よりシャッターメガネ3に開閉信号を送信する。映像表示装置2は表示部37に左目用画像が表示されているときは左目用レンズ4のシャッターの開閉信号を1、右目用レンズ5のシャッターの開閉信号を0として、ユーザの左目のみに左目用画像を視認させるようにする。また、右目用画像が表示されているときは図4に示すように映像表示装置2はこれらの開閉信号の値を逆として出力し、ユーザの右目のみに右目用画像を視認させるようにする。
図5は本実施形態における画像生成部33によって画像生成処理を行わなかった場合のユーザの視認する画像フレームの一例を示す図である。
図5には左目用レンズ4からユーザが視認できる画像、右目用レンズ5からユーザが視認できる画像、およびこれらを合わせてユーザが視認できる画像が左より順に縦方向に時系列に示す。図5に示す図は上が古く、下が新しい。また、斜線で示される枠はシャッターが閉じている状態でユーザは何も視認することができない状態である。
左目用画像と右目用画像が交互に映像表示装置2の表示部37に表示され、ユーザはこの左目用画像を左目で視認し右目用画像を右目で視認する。これらの左目用画像と右目用画像とをあわせて、最終的にユーザが認識する画像は図5右のユーザが視認できる画像となる。これらの左目用画像と右目用画像とは視差を有するため、ユーザは映像を立体として認識することができる。しかし、図5中のユーザが視認できる画像における破線で囲まれた枠内の画像フレームは同時刻に撮像されたものとなっており、ユーザは同時間に撮像した画像フレームを異なる時間に視認することとなる。そのため、ユーザは撮像周期の半分の時間分ずつ遅れた右目用画像を見ることとなり、このズレが動画の動きに不自然さを与え、動画は滑らかでなく、ぎこちないものとなってしまう。
図6は本実施形態における画像生成部33による画像生成処理の一例を示す図である。
本実施形態において画像生成部33は受信した右目用画像に画像生成処理を行う。ここでの画像生成処理とは2枚の画像フレームを比較して、画像フレーム内の動きベクトルを求め、求めた動きベクトルに基づいてこの2枚の画像フレームの撮像時刻の中間の時点における画像フレームを生成する処理である。この画像生成処理(フレーム補完処理)に関しては、例えば公開特許2008−067222号公報に詳細な説明がある。
画像生成部33は時刻T1に撮像した画像フレーム(R1)202と、時刻T2に撮像した画像フレーム(R2)204を用いて画像生成処理を行い、中間画像である画像フレーム(R1’)61を生成する。また同様に画像生成部33は時刻T2に撮像した画像フレーム(R2)204と、時刻T3に撮像した画像フレーム(R3)206を用いて画像生成処理を行い、中間画像である画像フレーム(R2’)62を生成する。このように画像生成部33は入力される連続する画像フレームを用いて中間画像の画像フレームを生成する機能を有している。この中間画像の画像フレームは、参照された2枚の画像フレームの間の時間に撮像された画像とほぼ同様になっていることが期待される。よって、画像フレーム(R1’)61を時刻T1と時刻T2の中間の時刻に右目用撮像装置23によって撮像された画像フレームとして扱う。
つまり画像生成部33は生成した画像フレーム(R1’)61を画像フレーム(R1)202の代わりに映像制御部34に対して送信する。画像生成部33は受信する右目用画像の画像フレームに対して順次同様の処理を行って、映像制御部34に対して送信する。
このように画像生成部33による画像フレームの差し替えが行われた後に、ユーザが視認する画像を図7を用いて後述する。
図7は本実施形態における画像生成部33によって画像生成処理を行なった場合のユーザの視認する画像フレームの一例を示す図である。
図7に示すように左目用レンズ4より視認できる画像は変化していないが、右目用レンズ5より視認できる画像は画像生成部33によって差し替えられている。
画像生成部33によって画像生成処理(および生成された画像の送信)が行われた後は、例えばユーザは時刻T1に撮像された画像フレーム(L1)201と時刻T2に撮像された画像フレーム(L2)202との間で、画像生成部33によって生成された、時刻T1と時刻T2の中間時刻に撮像される画像フレームとほぼ同様となっていることの期待される画像フレーム(R1’)61を見ることとなる。そのため画像生成部33による画像生成処理が行われなかった場合の様に同時刻に撮影された、画像を異なる時刻に見ることがなくなり、更に、表示される時刻に対応する時系列の画像とほぼ同様であると期待される画像を表示することができるため、画像生成処理を行わなかった場合よりもユーザは動きの滑らかな立体映像を見ることができる。
図8は本実施形態における映像表示装置2の行う処理の処理フローの一例を示す図である。
まず、映像表示装置2はアンテナによって右目用画像及び左目用画像の画像フレームが含まれる放送波を受信する(S81)。
次に、映像表示装置2はチューナ3によって受信した放送波をデコードして、デコードした受信信号より画像フレームの画像信号を抽出する。L/R振分部32は抽出された画像フレームを受信して、画像フレームを左目用の画像フレームと右目用の画像フレームとに振り分ける(S82)。
L/R振分部32は振り分けた画像フレームのうち、左目用の画像フレームを多重化部に送信し、右目用の画像フレームを画像生成部33に送信する。画像生成部33は受信した右目用の画像フレームを用いて画像生成処理を行い、ある時点の右目用画像と、その右目用画像と連続した右目用画像との中間時点での中間画像を生成し、生成した画像フレームを受信した右目用画像に代えてL/R多重化部34に送信する(S83)。
L/R多重化部34はL/R振分部32より受信する左目用の画像フレームと、画像生成部33によって生成された画像フレームとを多重化し(S84)、表示制御部35に多重化した画像データを送信する。
表示制御部35は受信した画像データを順に表示部37に表示させる(S85)。またこのときL/R開閉信号送信部36は表示部37の左目用画像と右目用画像の表示に同期するように、シャッターメガネ3に開閉信号を送信する。するとユーザはシャッターメガネ3の左右のレンズのシャッターの開閉によって、左目用画像を左目のみで、画像生成部33で生成された右目用画像を右目のみで見ることができ、動きの滑らかな立体映像を視聴することが可能となる。
以上で一連の処理フローは終了となる。
本実施形態においては、映像の映像表示装置2への入力は放送波によって行われるものを例に挙げて説明しているがこれに限定されず、例えばDVD(Digital Versatile Disc)等の記憶媒体によって映像を入力するとしてもよい。
また、本実施形態においては右目用画像に画像生成処理を行うように例示したが、これに限定されず、右目用画像と左目用画像とに逆の処理を行ったとしてもよく、その場合も動きの滑らかな立体映像を視聴することが可能となる。
本実施形態における立体映像表示システムは、表示する映像の画像フレームのうちの時系列的に不自然な箇所の画像フレームを、自然な画像フレームに置き換えて表示することによって、ユーザに動きの滑らかな立体映像を提供することが可能となる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1…立体映像表示システム、2…映像表示装置、3…シャッターメガネ、4…左目用レンズ、5…右目用レンズ、21…物体、22…左目用撮像装置、23…右目用撮像装置、24…多重化装置、25…送信装置、201〜206…画像フレーム、31…チューナ、32…L/R振分部、33…画像生成部、34…L/R多重化部、35…表示制御部、36…L/R開閉信号送信部、37…表示部、61、62…画像フレーム

Claims (9)

  1. 映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群同じタイミングで第2の画像フレーム群とを取りこむために構成された入力手段と、
    前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記連続する前の画像フレームと現在の画像フレームの中間画像を生成するために構成された中間画像生成手段と、
    記生成された前記中間画像と、前記第2の画像フレーム群とが順次交互に表示されるように表示を制御するために構成された表示制御手段と、
    前記表示制御手段によって制御される表示と同期して、前記中間画像を表示中は第1の領域に前記中間画像が見えるように、前記第2の画像フレーム群を表示中は第2の領域に前記第2の画像フレーム群が見えるように制御するために構成された制御手段と
    を具備することを特徴とする映像処理装置。
  2. 前記中間画像生成手段は、前記連続する画像フレーム内の動きベクトルを求め、前記動きベクトルに基づいて前記中間画像を生成するために構成されたこと
    を特徴とする請求項1記載の映像処理装置。
  3. 前記映像処理装置は、ユーザが装着したときに右及び左対応する映像をそれぞれ遮るために構成されたシャッターを含むシャッターメガネに信号送信可能に接続されるために構成されており、
    前記制御手段は、
    前記表示制御手段によって前記中間画像が表示されているとき一方のに対応付けられた一方のシャッターを閉じ、前記第2の画像フレーム群が表示されているときに、他方の眼に対応付けられた他方のシャッターを閉じるように開閉信号を前記シャッターメガネに送信するために構成された送信器を含む
    ことを特徴とする請求項1記載の映像処理装置。
  4. 映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群同じタイミングで前記画像捕捉目標が捕捉した第2の画像フレーム群とを取りこむために構成された入力手段と、
    前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記第1の画像フレーム群のうちの連続する画像フレームの中間画像を生成するために構成された中間画像生成手段と、
    前記中間画像生成手段によって生成された前記中間画像と、前記第2の画像フレーム群とを順次交互に表示するために構成された表示手段と、
    前記中間画像を第1の領域に、前記第2の画像フレーム群を第2の領域に出力するために構成された出力手段と
    を具備することを特徴とする映像表示システム。
  5. 前記中間画像生成手段は、前記連続する画像フレーム内の動きベクトルを求め、求めた前記動きベクトルに基づいて前記中間画像を生成するために構成されたこと
    を特徴とする請求項4記載の映像表示システム。
  6. 前記出力手段は、
    前記表示手段が前記中間画像を表示しているときに一方のに対応付けられたシャッターを閉じ、前記表示手段が前記第2のフレーム群を表示しているときに、他方の目に対応付けられたシャッターを閉じるために構成されたシャッターメガネであること
    を特徴とする請求項4記載の映像表示システム。
  7. 映像として画像捕捉目標が捕捉した第1の画像フレーム群と、前記第1の画像フレーム群と同じタイミングで前記画像捕捉目標が捕捉した第2の画像フレーム群とを入力し、
    前記第1の画像フレーム群のうちの連続する前の画像フレームと現在の画像フレームを用いて、前記第1の画像フレーム群のうちの連続する画像フレームの中間画像を生成し、
    前記生成された中間画像と、前記第2の画像フレーム群とを順次交互に表示し、
    第1の領域内の前記中間画像と、第2の領域内の前記第2の画像フレーム群を出力するを含む
    ことを特徴とする映像表示方法。
  8. 記連続する画像フレーム内の動きベクトルを求め、前記動きベクトルに基づいて前記中間画像を生成するをさらに含むこと
    を特徴とする請求項7記載の映像表示方法。
  9. 前記第2の画像フレームが第1の目に表示され、前記中間画像が第2の目に表示されており、
    ユーザが装着したときに、前記ユーザの左目又は右目に対応した画像を遮るように構成されたシャッターで、
    前記中間画像が表示されたときに、いずれか一方の目に対応する第1のシャッターが閉じ、
    前記第2の画像フレーム群が表示されたときに、他方の目に対応する第2のシャッターが閉じるを含む
    を特徴とする請求項7記載の映像表示方法。
JP2009213994A 2009-09-16 2009-09-16 映像処理装置、映像表示システム、及び映像表示方法 Expired - Fee Related JP4660618B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009213994A JP4660618B1 (ja) 2009-09-16 2009-09-16 映像処理装置、映像表示システム、及び映像表示方法
US12/884,029 US20110063423A1 (en) 2009-09-16 2010-09-16 Video processor, video displaying system and video displaying method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009213994A JP4660618B1 (ja) 2009-09-16 2009-09-16 映像処理装置、映像表示システム、及び映像表示方法

Publications (2)

Publication Number Publication Date
JP4660618B1 true JP4660618B1 (ja) 2011-03-30
JP2011066574A JP2011066574A (ja) 2011-03-31

Family

ID=43730147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009213994A Expired - Fee Related JP4660618B1 (ja) 2009-09-16 2009-09-16 映像処理装置、映像表示システム、及び映像表示方法

Country Status (2)

Country Link
US (1) US20110063423A1 (ja)
JP (1) JP4660618B1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231275A (ja) * 2011-04-26 2012-11-22 Sony Corp 画像処理装置及び画像処理方法、表示システム、映像生成装置、並びに再生装置
ITTO20110653A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Apparecchio visore per la visualizzazione di immagini 3d
US9113140B2 (en) 2011-08-25 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector
JP5490252B2 (ja) * 2011-08-25 2014-05-14 パナソニック株式会社 立体画像処理装置、立体画像表示装置及び立体画像処理方法
GB2494707B (en) * 2011-09-19 2014-10-08 Sony Comp Entertainment Europe Generation and display of stereoscopic images
KR102582841B1 (ko) * 2016-07-07 2023-09-27 삼성디스플레이 주식회사 표시 장치
JP7102173B2 (ja) * 2018-03-09 2022-07-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR102629441B1 (ko) * 2018-12-11 2024-01-24 엘지디스플레이 주식회사 영상 생성 방법과 이를 이용한 표시장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316092A (ja) * 1988-06-16 1989-12-20 Matsushita Electric Ind Co Ltd 立体表示装置
FR2724033B1 (fr) * 1994-08-30 1997-01-03 Thomson Broadband Systems Procede de generation d'image de synthese
KR100270804B1 (ko) * 1998-02-18 2000-11-01 박남은 시알티모니터를사용하는컴퓨터시스템에서입체영상구현을위한입체영상구현장치
US6906687B2 (en) * 2000-07-31 2005-06-14 Texas Instruments Incorporated Digital formatter for 3-dimensional display applications
JP4451730B2 (ja) * 2003-09-25 2010-04-14 富士フイルム株式会社 動画生成装置、方法及びプログラム
JP4364287B1 (ja) * 2008-06-27 2009-11-11 株式会社東芝 映像信号処理装置及びテレビジョン受信装置及びその制御方法
JP2010034704A (ja) * 2008-07-25 2010-02-12 Sony Corp 再生装置及び再生方法
JP4606502B2 (ja) * 2008-08-07 2011-01-05 三菱電機株式会社 画像表示装置および方法

Also Published As

Publication number Publication date
US20110063423A1 (en) 2011-03-17
JP2011066574A (ja) 2011-03-31

Similar Documents

Publication Publication Date Title
JP4660618B1 (ja) 映像処理装置、映像表示システム、及び映像表示方法
CN103747234B (zh) 产生用于显示三维图像的信号的方法及其图像显示设备
JP2011139222A (ja) 立体画像処理装置、tv受信機及び立体画像処理方法
JP5259519B2 (ja) デジタル放送受信機、送信機及び端末装置
JP2010258583A (ja) 立体画像表示装置、立体画像再生装置および立体画像視認システム
KR20100002035A (ko) 3차원 비디오 영상 처리 방법 및 장치
JP5299111B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2011089982A1 (ja) 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
CN101047872B (zh) 用于电视的立体音视频装置
JP2012019517A (ja) ディスプレイ方法および装置
JP2005020606A (ja) デジタルカメラ
KR101158678B1 (ko) 입체 영상 시스템 및 입체 영상 처리 방법
JP2001069530A (ja) 立体映像高能率符号化装置
KR20180099756A (ko) 2차원 영상의 입체 영상화 표시장치
JP2012138655A (ja) 画像処理装置及び画像処理方法
KR20190053565A (ko) 스티칭 장치를 이용한 생방송 스티칭 방법
JP2001112024A (ja) 多眼立体撮影表示装置
EP2312860A2 (en) Stereoscopic image providing method, apparatus and system
KR100703713B1 (ko) 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치
KR100189487B1 (ko) 디지탈 입체 동영상 라이브 서빙 장치
KR101830768B1 (ko) 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치
JP2006129225A (ja) 立体映像表示装置及び立体映像表示方法
JP5742886B2 (ja) 立体映像符号化装置、立体映像復号装置及び立体映像符号化システム、並びに、立体映像符号化プログラム及び立体映像復号プログラム
KR100868244B1 (ko) 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140107

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees