JP5741683B2 - 立体映像処理装置及び立体映像処理方法 - Google Patents

立体映像処理装置及び立体映像処理方法 Download PDF

Info

Publication number
JP5741683B2
JP5741683B2 JP2013507606A JP2013507606A JP5741683B2 JP 5741683 B2 JP5741683 B2 JP 5741683B2 JP 2013507606 A JP2013507606 A JP 2013507606A JP 2013507606 A JP2013507606 A JP 2013507606A JP 5741683 B2 JP5741683 B2 JP 5741683B2
Authority
JP
Japan
Prior art keywords
unit
vertical
video signal
signal
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013507606A
Other languages
English (en)
Other versions
JPWO2012133398A1 (ja
Inventor
吉田 篤史
篤史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2013507606A priority Critical patent/JP5741683B2/ja
Publication of JPWO2012133398A1 publication Critical patent/JPWO2012133398A1/ja
Application granted granted Critical
Publication of JP5741683B2 publication Critical patent/JP5741683B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Description

本発明は、立体映像処理装置及び立体映像処理方法に係り、詳細には、表示画像が縦横に切り替え表示可能で、2D3D変換可能な立体映像処理装置及び立体映像処理方法に関する。
近年、液晶パネルに、両眼視差のある左右2つの映像データを右眼用映像データおよび左眼用映像データとして表示し、映像視聴者に対してあたかもオブジェクトが立体的に存在するように知覚させる立体映像技術が脚光を浴びている。このような立体的な映像表示を実現するために様々な技術が公開されている。例えば、μpolやXpol(登録商標)といった偏光フィルタ方式(パッシブタイプ)や、電子シャッタ方式(アクティブタイプ)等がある。
立体的な映像表示をするための映像信号の取得方法としては、2台のカメラを用いて撮影を行う方法や、特許文献1に示されるような、2次元の映像信号を3次元映像信号に変換する2D3D変換を行う方法がある。特に2D3D変換を用いる方法は、過去の映像資産を立体表示可能とすることができるため近年注目されており、多くの研究がなされている。
一方で、主に携帯可能な表示デバイスにおいて、特許文献2に示されるような、重力センサ等を用いて表示デバイスを縦方向か横方向のどちらで視聴しているかを判別して、それに合わせて画面表示の縦横を回転させて変更する縦横変換の技術が搭載されているものが増えてきている。
特開2001−298753号公報 特開2010−107665号公報
ここで、特許文献1や特許文献2の技術を使用して、縦横視聴可能な表示デバイスにおいて2D3D変換を実現するための構成を考える。
先に2D3D変換、後に縦横変換を行う場合、図1に示すように基本画像1は2D3D変換画像2に変換され、縦横変換画像3に変換され、完成画像4となる。2D3D変換を先に行う方法では出力信号は右目用信号と左目用信号が左右にシフトした形で得られる。例えば、右目用信号と左目用信号とを1フレーム分出力し、それぞれの信号をフレームメモリを介して縦横変換し、出力信号とする手法が考えられる。しかしこの手法では、2D3D変換後の右目用信号と左目用信号を1フレームずつフレームメモリが保持するため、縦横変換に用いるフレームメモリの必要容量が倍になるという問題がある。右目用信号と左目用信号を1フレームにまとめた状態で出力し、フレームメモリを介して縦横変換し、出力信号とするという手法が考えられる。しかしこの手法では、2D3D変換後の信号は右目用信号、左目用信号を1フレーム分としているためフレームメモリの必要容量は増えないが、右目用信号、左目用信号の解像度が低下するため、縦横変換時に行われるスケーリング精度が落ちるという問題がある。
次に、先に縦横変換、後に2D3D変換を行う場合、図1に示す基本画像1は縦横変換画像5に変換され、2D3D変換画像6に変換され、完成画像7となる。縦横変換を先に行う方法では右目用信号と左目用信号とが上下にシフトするため、2D3D変換のシフト方向を変える必要がある。例えば、入力信号にフレームメモリを介して縦横変換を行い、2D3D変換をして出力信号とする手法が考えられる。しかしこの手法では、縦横変換後に2D3D変換が行われるため、出力信号の右目用信号と左目用信号は表示部の表示の縦横によってシフト方向が変わる。ラインメモリを最大シフト分用意する必要があるという問題がある。
そこで本発明は、上記の課題に鑑み、メモリの使用容量を少なくすることができ、且つスケーリング精度を落とすことのない、2D3D変換及び縦横変換を実現する立体映像処理装置及び立体映像処理方法を提供することを目的とする。
上記目的を達成するため、本発明の第1の特徴は、(1)入力された映像信号に基づく画像の縦横方向と、映像信号に基づく画像を表示部に表示させる際の縦横方向とに基づいて、映像信号の読み出し位置を変更するか否かを判別する判別部と、(2)判別部による判別結果に基づいて表示部に表示させる画像の縦横比を示すパラメータを生成するパラメータ生成部と、(3)映像信号に基づいて左目用信号及び右目用信号を生成するためのシフト量を生成する視差生成部と、(4)映像信号を一時格納するフレームメモリ部と、(5)フレームメモリ部に格納された映像信号の読み出し位置を制御する制御部と、を備え、(6)制御部は、判別部により読み出し位置を変更すると判別すると、パラメータとシフト量とに基づいて映像信号の読み出し位置を制御し、判別部により読み出し位置を変更しないと判別すると、シフト量に基づいて映像信号の読み出し位置を制御する立体映像処理装置であることを要旨とする。
更に本発明の第1の特徴には、(7)パラメータ生成部は、表示部の水平有効画素数と垂直有効画素数の比より縦横比を生成すること、(8)映像信号のフレーム間の信号の差異によって動きベクトルを決定する動きベクトルパラメータ生成部を更に備え、制御部は、判別部により読み出し位置を変更すると判別すると、パラメータとシフト量と動きベクトルとに基づいて映像信号の読み出し位置を制御し、判別部により読み出し位置を変更しないと判別すると、シフト量と動きベクトルとに基づいて映像信号の読み出し位置を制御すること、(9)動きベクトルパラメータ生成部は、映像信号と、映像信号をフレームメモリ部によってフレーム遅延させた信号との差異によって動きベクトルを決定することを加えても良い。
本発明の第2の特徴は、(10)判別部が、入力された映像信号に基づく画像の縦横方向と、前記映像信号に基づく画像を表示部に表示させる際の縦横方向とに基づいて、前記映像信号の読み出し位置を変更するか否かを判別す判別ステップと、(11)パラメータ生成部が、前記判別した判別結果に基づいて前記表示部に表示させる画像の縦横比を示すパラメータを生成するパラメータ生成ステップと、(12)視差生成部が、前記映像信号に基づいて左目用信号及び右目用信号を生成するためのシフト量を生成する視差生成ステップと、(13)制御部が、前記判別ステップにより前記読み出し位置を変更すると判別すると、前記パラメータと前記シフト量に基づいて、フレームメモリ部に一時格納された前記映像信号の読み出し位置を制御し、前記判別ステップにより前記読み出し位置を変更しないと判別すると、前記シフト量に基づいて、前記フレームメモリ部に一時格納された前記映像信号の読み出し位置を制御する制御ステップと、を備えることを特徴とする立体映像処理方法であることを要旨とする。
更に本発明の第2の特徴には、(15)前記パラメータ生成ステップにおいて、前記パラメータ生成部が、前記表示部の水平有効画素数と垂直有効画素数の比により前記縦横比を生成ること、(16)動きベクトルパラメータ生成部が、前記映像信号のフレーム間の信号の差異によって動きベクトルを決定する動きベクトルパラメータ生成ステップを更に備え、前記制御ステップにおいて、前記判別ステップにより前記読み出し位置を変更すると判別すると、前記映像信号の読み出し位置は、前記パラメータと前記シフト量と前記動きベクトルとに基づいて制御され、前記判別ステップにより前記読み出し位置を変更しないと判別すると、前記映像信号の読み出し位置は、前記シフト量と前記動きベクトルとに基づいて制御され、(17)前記動きベクトルパラメータ生成ステップにおいて、前記動きベクトルパラメータ生成部が、前記映像信号と、前記映像信号を前記フレームメモリ部によってフレーム遅延させた信号との差異によって前記動きベクトルを決定ることを加えても良い。
本発明の立体映像処理装置及び立体映像処理方法によれば、2D3D変換機能及び縦横変換機能を有していても、メモリ容量を少なくし回路規模を縮小することができる構成を実現することができる。
2D3D変換と縦横変換の構成パターンを示す画像遷移図である。 本発明の第1の実施の形態に係る立体映像処理装置の構成図である。 本発明の第1の実施の形態に係る立体映像処理方法のフローチャートである。 本発明の第2の実施の形態に係る立体映像処理装置の構成図である。 本発明の第2の実施の形態に係る立体映像処理方法のフローチャートである。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。ただし、図面は模式的なものであることに留意すべきである。更に以下に記載される数式は一例であり、その本質を同一とする範囲において適宜変更可能であることに留意すべきである。
(第1の実施の形態)
(立体映像処理装置)
本発明の第1の実施の形態に係る立体映像処理装置100について図2を参照して説明する。尚、立体映像処理装置100としては、表示部を有する携帯可能な装置、例えば携帯電話、スマートフォン、ブックリーダおよび携帯用DVDプレイヤ等が挙げられる。
立体映像処理装置100は、入力信号受信部11、縦横識別用信号受信部12、縦横変換判別部13、縦横変換パラメータ生成部14、2D3D変換パラメータ生成部15、リードアドレス制御部16、フレームメモリ部17および出力信号送信部18を備えている。
入力信号受信部11は、縦横変換及び2D3D変換の実行対象である映像信号データを受信する。入力信号受信部11は映像信号を、縦横変換判別部13、縦横変換パラメータ生成部14、2D3D変換パラメータ生成部15、フレームメモリ部17にそれぞれ供給する。
縦横識別用信号受信部12は、映像信号を図示しない表示部に表示させる際の画像の縦横の向き(表示方向)を識別するための縦横識別用信号を受信する。縦横識別用信号は、例えば図示しない重力センサから出力される表示部に表示する画像の縦横を示す信号や、ユーザが手入力等で表示部に表示する画像の縦横の向きを決定した場合の当該指示を示す信号である。
縦横変換判別部13は、入力された映像信号に基づく画像の縦横方向と、映像信号に基づく画像を表示部に表示させる際の縦横方向を示す識別用信号とに基づいて、映像信号の読み出し位置を変更するか否かを判別し、読み出し位置を変更するか否かを示す信号を生成する。縦横変換判別部13は、入力信号受信部11より映像信号を、縦横識別用信号受信部12より縦横識別用信号をそれぞれ受け取る。縦横変換判別部13は縦横識別用信号と映像信号から判別する画像の表示方向とから、表示部に出力する映像信号の縦横変換が必要か否かを判別する。映像信号から画像の表示方向を判別するには、ユーザ入力や映像信号のフォーマットに基づいて判別すればよい。
縦横変換判別部13は縦横識別用信号が示す画像の表示方向と、入力された映像信号から判別した画像の表示方向とを基に、表示部に対して出力する映像信号の縦横変換が必要か否かを判断して、縦横変換の有無を示す信号(以下、縦横変換信号)hvcを縦横変換パラメータ生成部14に出力する。縦横変換判別部13は縦横変換が必要と判断すると縦横変換信号hvc=1を出力し、縦横変換が不要と判断すると縦横変換信号hvc=0を出力する。
一例として、縦横識別用信号が画像の縦表示を示し、映像信号が横表示の画像である場合は、縦横変換判別部13は縦横変換が必要(有り)と判断し、縦横変換を必要なことを示す縦横変換信号hvc(=1)を出力する。
縦横変換パラメータ生成部14は、映像信号に基づいて表示部に表示させる画像の縦横比を示すパラメータを生成するパラメータ生成部であり、表示部の水平有効画素数と垂直有効画素数の比より縦横比を生成する。縦横変換パラメータ生成部14は、縦横変換判別部13より供給された縦横変換信号hvcを基に映像信号のスケーリング比を生成する。スケーリング比は、表示部の水平有効画素数と垂直有効画素数の比より求められる。
2D3D変換パラメータ生成部15は、映像信号に基づいて左目用信号及び右目用信号を生成するためのシフト量を生成する視差生成部である。2D3D変換パラメータ生成部15は、入力信号受信部11より映像信号を受信し、映像信号から右目用信号、左目用信号をそれぞれ生成するためのシフト量を、映像信号の特徴等を基に生成する。2D3D変換パラメータは、映像信号の1フレーム内の特徴を検出した際の右目用信号と左目用信号の視差を与えるためのシフト量である。
フレームメモリ部17は、入力信号受信部11から受信する映像信号をフレーム遅延させる、即ち、一時格納する。
リードアドレス制御部16は、フレームメモリ部17に格納された映像信号の読み出し位置を制御する。リードアドレス制御部16は、縦横変換判別部13から読み出し位置を変更することを示す信号を受信すると、パラメータとシフト量とに基づいて映像信号の読み出し位置を制御し、縦横変換判別部13から読み出し位置を変更しないことを示す信号を受信すると、シフト量に基づいて映像信号の読み出し位置を制御する。リードアドレス制御部16は、縦横変換パラメータ生成部14から受信するスケーリング比と、2D3D変換パラメータ生成部15から受信する左目用信号および右目用信号を生成するためのシフト量とを基に、フレームメモリ部17に一時格納される映像入力信号の読み出し位置を決定する。
出力信号送信部18は、映像信号に所定の変換処理を施した映像信号を、表示装置等に出力する。
(立体映像処理装置における映像変換動作)
立体映像処理装置100における映像変換動作(立体映像処理方法)について図3を参照して説明する。縦横変換判別部13は、縦横識別用信号が示す画像の表示方向と、入力された映像信号から判別した画像の表示方向とを基に、表示部に対して出力する映像信号の縦横変換が必要か否かを判断して、縦横変換信号hvcを生成する(ステップS1)。縦横変換判別部13が判別して出力した縦横変換信号hvcと、入力信号受信部11から送信される映像信号データを縦横変換パラメータ生成部14は受信し、縦横変換パラメータを生成する(ステップS2)。
縦横変換パラメータ生成部14はパラメータとして、表示部の水平有効画素数Ph、垂直有効画素数Pvとした場合のスケーリング係数kを生成する。スケーリング係数kを値1とする。
k=Ph/Pv…(値1)
なお、縦横変換信号hvcが縦横変換なしを示す(0)のとき、縦横変換パラメータ生成部14はスケーリング係数kとして予め定めた値である1(k=1)をリードアドレス制御部16に出力する。
縦横変換判別部13は、縦横変換信号hvcをリードアドレス制御部16に出力する。縦横変換信号hvcを値2とする。
また、2D3D変換パラメータ生成部15は、映像信号データの特徴から、右目用シフト量及び左目用シフト量をパラメータとして生成する(ステップS2)。
右目用シフト量 αr …(値3)
左目用シフト量 αl …(値4)
リードアドレス制御部16は、縦横変換判別部13、縦横変換パラメータ生成部14及び2D3D変換パラメータ生成部15より、値1、値2、値3および値4を受信すると、フレームメモリ部17内の映像信号データの読み出し位置を算出する(ステップS3)。なお、値2である縦横変換信号hvcは、縦横変換パラメータ生成部14よりリードアドレス制御部16に供給されてもよい。
まず、値2である縦横変換信号hvcが縦横変換なしを示す(hvc=0)場合の、リードアドレス制御部16が算出する読み出し位置について説明する。縦横変換をしない場合は、2D3D変換におけるシフトは表示部の水平走査方向に行われるため、2D3D変換パラメータは水平方向のみに与えられる。よって任意の画素の座標(x,y)における左目用・右目用のリードアドレスはそれぞれ、シフト量である2D3Dパラメータ分だけ水平方向に移動した式1、式2にて示される位置となる。
右目用リードアドレス (x+αr,y)…(式1)
左目用リードアドレス (x+αl,y)…(式2)
次に値2である縦横変換信号hvcが縦横変換ありを示す(hvc=1)場合の、リードアドレス制御部16が算出する読み出し位置について説明する。縦横変換をする場合は、2D3D変換におけるシフトは表示部の垂直走査方向に行われるため、2D3D変換パラメータは垂直方向のみに与えられる。縦横変換を右回りに90度回転させるとすると、映像の上下が表示部の右側・左側になり、映像の左右が表示部の上側・下側になる。そのため、縦横変換後の水平座標は垂直画素数から変換前の垂直座標を引いた値で、縦横変換後の垂直座標は変換前の水平座標となる。また、縦横変換に伴ってスケーリングが行われる場合、スケーリングの比率も加味して考える必要がある。以上より、任意の画素の座標(x,y)における左目用・右目用のリードアドレスはそれぞれ、2D3Dパラメータ分を垂直方向に移動させて縦横変換とそれに伴うスケーリング係数を加えた式3、式4にて示される位置となる。
右目用リードアドレス(k(Pv−(y+αr)),kx)…(式3)
左目用リードアドレス(k(Pv−(y+αl)),kx)…(式4)
式3、式4にて用いられる垂直画素数Pvは、縦横変換パラメータ生成部14よりリードアドレス制御部16が取得する。
所定変換処理の行われた映像信号は、出力信号送信部18から表示部等に出力される(ステップS4)。
リードアドレス制御部16において、縦横変換信号hvcに応じて式1〜式4を選択的に用いフレームメモリ部17のリードアドレスを制御することで、2D3D変換におけるシフトに独立のメモリやレジスタを使用せずにすむようになり、回路規模の削減につながる。
(第2の実施の形態)
(立体映像処理装置)
本発明の第2の実施の形態に係る立体映像処理装置200について図4を参照して説明する。
立体映像処理装置200は、入力信号受信部21、縦横識別用信号受信部22、縦横変換判別部23、縦横変換パラメータ生成部24、2D3D変換パラメータ生成部25、動きベクトルパラメータ生成部26、リードアドレス制御部27、フレームメモリ部28および出力信号送信部29を備えている。
立体映像処理装置200は、第1の実施の形態にかかる立体映像処理装置100と、動きベクトルパラメータ生成部26及びリードアドレス制御部27が異なる。その他の構成部である、入力信号受信部21、縦横識別用信号受信部22、縦横変換判別部23、縦横変換パラメータ生成部24、2D3D変換パラメータ生成部25、フレームメモリ部28および出力信号送信部29は、立体映像処理装置100における同名称の構成部と同様の働きをするため、説明を省略する。
動きベクトルパラメータ生成部26は、映像信号と、映像信号をフレームメモリ部28によってフレーム遅延させた信号との差異によって決定される動きベクトルパラメータを生成する。具体的には、入力信号受信部21より受信する映像信号と映像信号をフレームメモリ部28でフレーム遅延させた信号とによって動きベクトルを算出する。動きベクトルパラメータは縦横変換に伴って水平と垂直が入れ替わり、縦横変換時には水平動きベクトルが垂直方向のアドレス制御に寄与し、垂直動きベクトルが水平方向のアドレス制御に寄与する。
リードアドレス制御部27は、縦横変換判別部23から読み出し位置を変更することを示す信号を受信すると、パラメータとシフト量と動きベクトルとに基づいて映像信号の読み出し位置を制御し、縦横変換判別部23から読み出し位置を変更しないことを示す信号を受信すると、シフト量と動きベクトルに基づいて映像信号の読み出し位置を制御する制御部である。リードアドレス制御部27は、縦横変換パラメータ生成部24から受信する縦横変換有りの場合の縦横変換時のスケーリング比と、2D3D変換パラメータ生成部25から受信する左目用信号および右目用信号のシフト量と、動きベクトルパラメータ生成部26から受信する動きベクトルを基に、フレームメモリ部28に一時格納される映像入力信号の読み出し位置を決定する。
(立体映像処理装置における映像変換動作)
立体映像処理装置200における映像変換動作(立体映像処理方法)について図5を参照して説明する。縦横変換判別部23は、縦横識別用信号が示す画像の表示方向と、入力された映像信号から判別した画像の表示方向とを基に、表示部に対して出力する映像信号の縦横変換が必要か否かを判断して、縦横変換信号hvcを生成する(ステップS11)。縦横変換判別部23が判別して出力した縦横変換信号hvcと、入力信号受信部21から送信される映像信号データを縦横変換パラメータ生成部24は受信し、縦横変換パラメータを生成する(ステップS12)。
第1の実施の形態と同様に、縦横変換パラメータ生成部24及び2D3D変換パラメータ生成部25から出力される以下の値をパラメータとする。
縦横変換パラメータ生成部24はパラメータとして、表示部の水平有効画素数Ph、垂直有効画素数Pvとした場合のスケーリング係数kを生成する。スケーリング係数kを値1とする。
k=Ph/Pv…(値1)
また縦横変換パラメータ生成部24は、縦横変換判別部23より出力された縦横変換信号hvcを出力する。縦横変換信号hvcを値2とする。
2D3D変換パラメータ生成部25は、右目用シフト量及び左目用シフト量をパラメータとして生成する(ステップS12)。
右目用シフト量 αr …(値3)
左目用シフト量 αl …(値4)
更に、第2実施形態では動きベクトルパラメータ生成部26が、水平動きベクトル及び垂直動きベクトルを生成し(ステップS12)、出力する。
水平動きベクトル βh…(値5)
垂直動きベクトル βv…(値6)
リードアドレス制御部27は、値1〜値6を全て受信し、フレームメモリ部28内の映像信号データの読み出し位置を算出する(ステップS13)。
値2である縦横変換信号hvcが縦横変換なしを示す(hvc=0)場合のフレームメモリリードアドレス制御部27が算出する読み出し位置について説明する。縦横変換なしの場合は、動きベクトルパラメータの寄与する方向は表示部における画像の表示方向と同方向となるため、任意の画素の座標(x,y)における左目用・右目用のリードアドレスはそれぞれ、式1および式2のリードアドレスに動きベクトルパラメータを加えたものとなる。よって、式5、式6にて示される位置となる。
右目用リードアドレス(x+αr+βh,y+βv)…(式5)
左目用リードアドレス(x+αl+βh,y+βv)…(式6)
次に値2である縦横変換信号hvcが縦横変換ありを示す(hvc=1)場合のリードアドレス制御部27が算出する読み出し位置について説明する。縦横変換をする場合は、動きベクトルパラメータの寄与する方向は表示部の表示方向と直交方向となるため、任意の画素の座標(x,y)における左目用・右目用のリードアドレスはそれぞれ、式3および式4のリードアドレスに動きベクトルパラメータを加えたものとなり、式7、式8にて示される位置となる。
右目用リードアドレス
(k(Pv−(y+αr+βv)),k(x+βh))…(式7)
左目用リードアドレス
(k(Pv−(y+αl+βv)),k(x+βh))…(式8)
式7、式8にて用いられる垂直画素数Pvは、縦横変換パラメータ生成部24よりリードアドレス制御部27が取得する。
所定変換処理の行われた映像信号データは、出力信号送信部29から表示部等に出力される(ステップS14)。
リードアドレス制御部27において縦横変換信号hvcに応じて式5〜式8を選択的に用いてアドレス制御を行うことで、2D3D変換におけるシフトに加え、動きベクトルによる補間フレーム生成においても、別途のメモリやレジスタを必要としない構成が可能となり、回路規模の削減を図ることができる。
本発明の立体映像処理装置によれば、映像に2D3D変換及び縦横変換を行う場合でも、メモリからの読み出し位置を制御することで、スケーリング精度を劣化させず、且つ各々の機能が独立したメモリを要しないようにする、即ちメモリ容量を少なくし回路規模を縮小することができる。
11,21 … 入力信号受信部
12,22 … 縦横識別用信号受信部
13,23 … 縦横変換判別部
14,24 … 縦横変換パラメータ生成部
15,25 … 2D3D変換パラメータ生成部
16,27 … リードアドレス制御部
17,28 … フレームメモリ部
18,29 … 出力信号送信部
26 … 動きベクトルパラメータ生成部

Claims (8)

  1. 入力された映像信号に基づく画像の縦横方向と、前記映像信号に基づく画像を表示部に表示させる際の縦横方向とに基づいて、前記映像信号の読み出し位置を変更するか否かを判別する判別部と、
    前記判別部による判別結果に基づいて前記表示部に表示させる画像の縦横比を示すパラメータを生成するパラメータ生成部と、
    前記映像信号に基づいて左目用信号及び右目用信号を生成するためのシフト量を生成する視差生成部と、
    前記映像信号を一時格納するフレームメモリ部と、
    前記フレームメモリ部に格納された前記映像信号の読み出し位置を制御する制御部と、を備え、
    前記制御部は、前記判別部により読み出し位置を変更すると判別すると、前記パラメータと前記シフト量とに基づいて前記映像信号の読み出し位置を制御し、前記判別部により読み出し位置を変更しないと判別すると、前記シフト量に基づいて前記映像信号の読み出し位置を制御することを特徴とする立体映像処理装置。
  2. 前記パラメータ生成部は、前記表示部の水平有効画素数と垂直有効画素数の比より前記縦横比を生成することを特徴とする請求項1に記載の立体映像処理装置。
  3. 前記映像信号のフレーム間の信号の差異によって動きベクトルを決定する動きベクトルパラメータ生成部を更に備え、
    前記制御部は、前記判別部により読み出し位置を変更すると判別すると、前記パラメータと前記シフト量と前記動きベクトルとに基づいて前記映像信号の読み出し位置を制御し、前記判別部により読み出し位置を変更しないと判別すると、前記シフト量と前記動きベクトルとに基づいて前記映像信号の読み出し位置を制御することを特徴とする請求項1または2に記載の立体映像処理装置。
  4. 前記動きベクトルパラメータ生成部は、前記映像信号と、前記映像信号を前記フレームメモリ部によってフレーム遅延させた信号との差異によって前記動きベクトルを決定することを特徴とする請求項3に記載の立体映像処理装置。
  5. 判別部が、入力された映像信号に基づく画像の縦横方向と、前記映像信号に基づく画像を表示部に表示させる際の縦横方向とに基づいて、前記映像信号の読み出し位置を変更するか否かを判別す判別ステップと、
    パラメータ生成部が、前記判別した判別結果に基づいて前記表示部に表示させる画像の縦横比を示すパラメータを生成するパラメータ生成ステップと、
    視差生成部が、前記映像信号に基づいて左目用信号及び右目用信号を生成するためのシフト量を生成する視差生成ステップと、
    制御部が、前記判別ステップにより前記読み出し位置を変更すると判別すると、前記パラメータと前記シフト量に基づいて、フレームメモリ部に一時格納された前記映像信号の読み出し位置し、前記判別ステップにより前記読み出し位置を変更しないと判別すると、前記シフト量に基づいて、前記フレームメモリ部に一時格納された前記映像信号の読み出し位置を制御する制御ステップと、
    を備えることを特徴とする立体映像処理方法。
  6. 前記パラメータ生成ステップにおいて、前記パラメータ生成部が、前記表示部の水平有効画素数と垂直有効画素数の比により前記縦横比を生成ることを特徴とする請求項5に記載の立体映像処理方法。
  7. 動きベクトルパラメータ生成部が、前記映像信号のフレーム間の信号の差異によって動きベクトルを決定する動きベクトルパラメータ生成ステップを更に備え、
    前記制御ステップにおいて、前記判別ステップにより前記読み出し位置を変更すると判別すると、前記映像信号の読み出し位置は、前記パラメータと前記シフト量と前記動きベクトルとに基づいて制御され、前記判別ステップにより前記読み出し位置を変更しないと判別すると、前記映像信号の読み出し位置は、前記シフト量と前記動きベクトルとに基づいて制御されることを特徴とする請求項5又は6に記載の立体映像処理方法。
  8. 前記動きベクトルパラメータ生成ステップにおいて、前記動きベクトルパラメータ生成部が、前記映像信号と、前記映像信号を前記フレームメモリ部によってフレーム遅延させた信号との差異によって前記動きベクトルを決定ることを特徴とする請求項7に記載の立体映像処理方法。
JP2013507606A 2011-03-28 2012-03-27 立体映像処理装置及び立体映像処理方法 Active JP5741683B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013507606A JP5741683B2 (ja) 2011-03-28 2012-03-27 立体映像処理装置及び立体映像処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011070624 2011-03-28
JP2011070624 2011-03-28
PCT/JP2012/057917 WO2012133398A1 (ja) 2011-03-28 2012-03-27 立体映像処理装置及び立体映像処理方法
JP2013507606A JP5741683B2 (ja) 2011-03-28 2012-03-27 立体映像処理装置及び立体映像処理方法

Publications (2)

Publication Number Publication Date
JPWO2012133398A1 JPWO2012133398A1 (ja) 2014-07-28
JP5741683B2 true JP5741683B2 (ja) 2015-07-01

Family

ID=46931114

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013507606A Active JP5741683B2 (ja) 2011-03-28 2012-03-27 立体映像処理装置及び立体映像処理方法

Country Status (4)

Country Link
US (1) US9350971B2 (ja)
JP (1) JP5741683B2 (ja)
TW (1) TWI488470B (ja)
WO (1) WO2012133398A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
TWI489152B (zh) * 2012-12-18 2015-06-21 Delta Electronics Inc 投影系統及其投影方法
JP2015129787A (ja) * 2014-01-06 2015-07-16 キヤノン株式会社 表示装置および表示装置の制御方法
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
CN107635132B (zh) * 2017-09-26 2019-12-24 深圳超多维科技有限公司 裸眼3d显示终端的显示控制方法、装置及显示终端
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109414A (ja) * 2008-10-28 2010-05-13 Seiko Epson Corp 表示装置、および電子機器、並びに視差画像データの表示方法
JP2010183154A (ja) * 2009-02-03 2010-08-19 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2011028263A (ja) * 2010-07-09 2011-02-10 Nec Casio Mobile Communications Ltd 電子機器、および、プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW421969B (en) * 1999-03-19 2001-02-11 Asustek Comp Inc 3D image processing device and method
JP4036599B2 (ja) 2000-04-11 2008-01-23 三洋電機株式会社 2次元映像を3次元映像に変換する方法
TWM266475U (en) * 2004-11-23 2005-06-01 Ling-Gau Liou Mobile 3D image processing and output center
JP2010107665A (ja) 2008-10-29 2010-05-13 Nec Corp 画像回転装置、方法、プログラム及び携帯端末装置
KR101598653B1 (ko) * 2009-07-10 2016-02-29 아이씨3디 인크. 단일 이미징 경로를 사용하여 3차원 이미지 정보를 발생시키는 방법 및 장치
US20130033490A1 (en) * 2011-08-04 2013-02-07 Texas Instruments Incorporated Method, System and Computer Program Product for Reorienting a Stereoscopic Image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010109414A (ja) * 2008-10-28 2010-05-13 Seiko Epson Corp 表示装置、および電子機器、並びに視差画像データの表示方法
JP2010183154A (ja) * 2009-02-03 2010-08-19 Casio Hitachi Mobile Communications Co Ltd 端末装置及びプログラム
JP2011028263A (ja) * 2010-07-09 2011-02-10 Nec Casio Mobile Communications Ltd 電子機器、および、プログラム

Also Published As

Publication number Publication date
TW201246912A (en) 2012-11-16
US20140015940A1 (en) 2014-01-16
TWI488470B (zh) 2015-06-11
JPWO2012133398A1 (ja) 2014-07-28
US9350971B2 (en) 2016-05-24
WO2012133398A1 (ja) 2012-10-04

Similar Documents

Publication Publication Date Title
JP5741683B2 (ja) 立体映像処理装置及び立体映像処理方法
US8884952B2 (en) 3D display apparatus and method for processing image using the same
EP2549762B1 (en) Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
EP2618584B1 (en) Stereoscopic video creation device and stereoscopic video creation method
US20110298898A1 (en) Three dimensional image generating system and method accomodating multi-view imaging
TWI493505B (zh) 影像處理方法以及影像處理裝置
RU2012101829A (ru) Вставка трехмерных объектов в стереоскопическое изображение на относительную глубину
US20120044241A1 (en) Three-dimensional on-screen display imaging system and method
KR20140020921A (ko) 화상 처리 장치 및 화상 처리 방법
CN102256143A (zh) 视频处理装置及方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
US20120050279A1 (en) Information processing apparatus, program, and information processing method
US20120163700A1 (en) Image processing device and image processing method
JP6025740B2 (ja) エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法
CN102281423A (zh) 3d视频场频转换系统及场频转换方法
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP2012134885A (ja) 画像処理装置及び画像処理方法
JP5367747B2 (ja) 撮像装置および撮像方法、ならびに、撮像システム
JP5281720B1 (ja) 立体映像処理装置及び立体映像処理方法
JP2011066507A (ja) 画像処理装置
JP2012065010A (ja) 遠隔映像監視システム
CN105472234A (zh) 一种照片拍摄方法、显示方法及装置
KR101369006B1 (ko) 다시점 영상 재생 장치 및 방법
JPWO2012108406A1 (ja) 視点画像生成装置、視点画像生成方法及び立体画像印画装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150413

R150 Certificate of patent or registration of utility model

Ref document number: 5741683

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150