JP6808484B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6808484B2 JP6808484B2 JP2016256606A JP2016256606A JP6808484B2 JP 6808484 B2 JP6808484 B2 JP 6808484B2 JP 2016256606 A JP2016256606 A JP 2016256606A JP 2016256606 A JP2016256606 A JP 2016256606A JP 6808484 B2 JP6808484 B2 JP 6808484B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- parallax
- image processing
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 83
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 49
- 238000000034 method Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 15
- 210000003128 head Anatomy 0.000 description 13
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000011295 pitch Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明は、上記した課題を解決すべく、視野角を減少させることなく適切な視差で表示用画像を生成する画像処理を提供することを目的とする。
<実施形態1>
実施形態1では、左目用画像と右目用画像から構成される視差画像をヘッドマウントディスプレイなどのステレオ画像表示用の表示装置に表示する際に、頭が傾いても視野角を狭めることなく適切な視差で画像を表示する画像処理装置について説明する。
まず、本実施形態における画像処理装置を含む画像処理システムの構成例について、図1を用いて説明する。
図1に示されるように、画像処理システム100は、CPU101、RAM102、ROM103、HDDインタフェイス(I/F)104、ハードディスクドライブ(HDD)105、入力I/F106および入力デバイス107を備える。また、画像処理システム100は、出力インタフェイス(I/F)108、出力デバイス109、姿勢検出インタフェイス(I/F)110および姿勢検出装置111を備える。CPU101、RAM102、ROM103、HDD105、入力デバイス107、出力デバイス109および姿勢検出装置111は、バス112および付随するI/F(104、106、108、110)を介して相互に接続されている。本実施形態の画像処理装置113は、画像処理システム100に含まれており、画像処理装置113は、CPU101、RAM102、ROM103、HDDI/F104、入力I/F106、出力I/F108および姿勢検出I/F110を有する。
HDDI/F104は、HDD105を画像処理装置113に接続する。HDDI/F104は、例えばシリアルATA(SATA)等のインタフェイスである。なお、HDD105は画像処理装置113に接続される二次記憶装置の一例であり、HDDに加えて(またはHDDに代えて)光ディスクドライブなどの二次記憶装置が画像処理装置113に接続されてもよい。ATAはAdvanced Technology Attachmentの略である。
CPU101は、HDDI/F104を介して、HDD105からデータを読み出すことができると共に、HDD105へデータを書き込みむことができる。CPU101は、HDD105に格納されたデータをRAM102に展開することができる。CPU101は、RAM102に展開されたデータをHDD105に保存することもできる。CPU101は、RAM102に展開したプログラムを実行することができる。
出力I/F108は、出力デバイス109を画像処理装置113に接続する。出力デバイス109は画像表示面を有する。出力デバイス109は、本実施形態では、ヘッドマウントディスプレイである。ヘッドマウントディスプレイは接眼レンズを備える。出力I/F108は、例えば、DVIやHDMI(登録商標)等の規格に準拠した映像出力インタフェイスである。DVIはDigital Visual Interfaceの略である。HDMIはHigh Definition Multimedia Interfaceの略である。CPU101は、出力I/F108を介して出力デバイス109にデータを送り、出力デバイス109に表示を実行させることができる。
(画像処理装置の機能構成)
図2(A)は、本実施形態における画像処理装置113の機能構成を示すブロック図である。画像処理装置113は、姿勢情報取得部201、画像データ取得部202、視差量取得部203、仮想カメラ姿勢調整部204、表示パラメータ取得部205、表示用画像生成部206および画像データ出力部207を含む。視差量取得部203、仮想カメラ姿勢調整部204および表示用画像生成部206は、画像処理部208を構成する。図2の各機能部の処理・動作は、図3のフローチャートを用いて説明する。仮想カメラは、視差画像に対応する視点に仮想的に配置されるカメラである。
なお、図1のCPU101は、ROM103又はHDD104に格納されたプログラムを読み出して、RAM102をワークエリアとしてプログラムを実行することで、図2に示す各機能ブロックとしての役割を果たす。また、本実施形態で扱う画像は、全天球画像であるとする。
図3は本実施形態の画像処理装置113で行われる処理の流れを示すフローチャートである。
まず、S1において、姿勢情報取得部201(図2)が姿勢検出装置111(図1)または入力デバイス107(図1)から姿勢情報を取得する。姿勢情報はRAM102やHDD105に一旦保存されたものを取得してもよい。姿勢情報はヘッドマウントディスプレイの姿勢を表すデータであり、本実施形態では3×3の回転行列Rとロール、ピッチおよびヨーを使用して説明する。姿勢情報取得部201は、取得した姿勢情報を視差量取得部203へ出力する。
全天球画像の例を図4に示す。全天球画像の画像データは全ての向きの入射光線の色を保存した画像データである。画像データの横軸を方位角θとし、その範囲は[0 2π]とする。また、縦軸を仰角φとし、その範囲は[−π/2 π/2]とする。
S3において、視差量取得部203は、姿勢情報と画像データに基づいて(または画像データに基づいて)、画像データIL、画像データIRの注目領域における視差量を取得する。視差量取得部203は、取得した視差量を仮想カメラ姿勢調整部204へ出力する。
図6にヘッドマウントディスプレイのロールの例を示す。なお、図6〜図9、図12および図13では「ヘッドマウントディスプレイの画像表示面」を「ディスプレイ」と表記している。座標系は正面方向がZ軸正、右方向がX軸正、上方向がY軸正である。図6(A)はロール角αが0°の場合を示している。ロール角αが0°の場合、ディスプレイのY軸は地面に対して垂直になっており、視聴者の両目を結ぶ線分は、Yが一定の平面上にある(つまり、X軸に平行かX軸を含む平面上にある)。図6(B)はロール角αが30°の場合を示している。つまり、図6(B)は、視聴者が頭部を右に傾けたときのディスプレイの状態を示している。仮想カメラは、ディスプレイが傾くと、同じように傾く。
図7はディスプレイに表示する画像の座標系を示している。ディスプレイの右方向をx軸正、上方向をy軸正とする。視差画像は水平方向に視差が生じている画像であり、視差画像をヘッドマウントディスプレイで快適に視聴するためには、その視差がディスプレイのx軸方向にのみ存在している必要がある。しかしながら、単純にディスプレイの姿勢情報に基づいて表示用画像を生成・表示すると、表示した表示用画像では、ディスプレイのx軸方向およびy軸方向に視差ずれが生じてしまう。例えば、視聴者が頭を右に傾けると、図8に示すように(視差は地面に対して水平方向にあるのに対し)、視聴者の眼の位置はディスプレイのx軸に平行になってしまう。これにより、視聴者の眼に対して水平方向(ディスプレイの幅方向)の視差が小さくなり(x軸方向の内向きの2つの矢印)、ディスプレイの垂直方向(y軸方向)に視差が生じる(ディスプレイの高さ方向の矢印)。つまり、ディスプレイの水平方向と垂直方向に視差ずれが生じてしまう。水平方向の視差が小さくなることで距離感が変化し、垂直方向に視差が生じることで、融像が困難になる。
従来の方法では、図8のような表示用画像に対しては、表示用画像を上下左右にシフトするという処理をしている。詳しくは、図9に示すように、表示用画像をディスプレイの上下左右にシフトすることで垂直方向の視差を無くし、水平方向に視差を付ける。しかしながら、このようなシフトを行うと、ディスプレイ(画面表示面)の端ではシフトした分だけ画像を表示できない領域が発生し視野角が狭くなってしまう(図9の黒塗り部分)。また、画像をシフトすることで接眼レンズの中心と歪曲補正の中心位置がずれてしまうため、正しく歪曲補正ができない。
そこで、本実施形態では注目領域において、視聴者の眼に対して水平方向に適切な視差がつき、垂直方向の視差がなくなるように左右の仮想カメラの姿勢を調整することで、視野角を減少することなく適切な視差量の画像を提示する。
例えばディスプレイに対して垂直方向(y軸方向)の視差がついている場合は、仮想カメラの左右方向軸周りに仮想カメラをΔΦ[radian]だけ回転をして調整する。ディスプレイに対して水平方向(x軸方向)の視差を調整する場合は、仮想カメラの上下方向軸周りに仮想カメラをΔθ[radian]だけ回転して視差を調整する。これにより、視野を狭くすることなく(視野角を減少することなく)、歪曲も正しく補正され適切な視差がついた画像を表示できる。以下に、仮想カメラの回転量の算出方法について説明する。
左仮想カメラの回転量
ΔθL = Sign(cosα)×D/2×( 1 − |cosα|)
ΔΦL = −Dsinα/2
右仮想カメラの回転量
ΔθR = −Sign(cosα)×D/2×( 1 − |cosα|)
ΔΦR = Dsinα/2
図10に示すように、調整前の仮想カメラの向きを全天球画像上で表したものが白丸301、303であり、両目で同じ座標を示している。黒丸302、304は調整後の仮想カメラの向きである。このように、本実施形態では、右目用画像の仮想カメラの姿勢と、左目用画像の仮想カメラの姿勢とを異なる方向に調整する。より詳しくは、調整前の仮想カメラの向きを示す白丸301、303に対して、左右の仮想カメラは対称な位置(黒丸302、304の位置)に調整され、その距離は視差量dに等しい。
視差量が小さい場合は、ロールが起きたときの視差ずれも小さいため、仮想カメラの姿勢の調整を行わないようにしてもよい。その場合は、あらかじめ視差量の閾値dthを決めておき、閾値dthより視差量が大きい場合は仮想カメラの姿勢を調整し、閾値dthより視差量が小さい場合は仮想カメラの姿勢を調整しないようにする。
S5において、表示パラメータ取得部205は、視差画像を出力デバイス109に表示するために必要なパラメータである画像表示パラメータを入力デバイス107から取得する。画像表示パラメータは、ヘッドマウントディスプレイの接眼レンズの焦点距離、歪曲パラメータ、ディスプレイ上における接眼レンズの中心位置、ディスプレイ解像度、ディスプレイサイズなどである。表示パラメータ取得部205は、取得した画像表示パラメータを表示用画像生成部206に出力する。なお、表示パラメータ取得部205は、画像表示パラメータを入力デバイス107から取得するのではなく、RAM102やHDD105に保存されている画像表示パラメータをRAM102やHDD105から取得してもよい。
S7の後、S8に進む。S8において、処理を終了すべきかを判定する。S7の判定がYesならば、画像処理装置113は処理を終了する。S7の判定がNoならば、S1に戻る。
ヘッドマウントディスプレイに表示する表示用画像は、視聴者(ヘッドマウントディスプレイ装着者)の頭部の傾いている方向に応じて画素値を視差画像からサンプリングして生成する。画素値を視差画像からサンプリングするために、左右の仮想カメラの姿勢情報を基に、ディスプレイ上の各画素位置にどの向きの光線を表示するか計算する。この光線の向きは上下方向の軸周りの角度を表す方位角θと左右方向の軸周りの角度を表す仰角φとによって表すことができる。以下の説明では、接眼レンズ中心を原点とした座標系における画素の位置を(x,y)として、光線の向き(θ,φ)を計算し、その向きから表示用画像の画素値を求める。
図11のフローチャートを用いて表示用画像生成処理の詳細を説明する。以下の処理は左右の表示用画像の全ての画素に対して行う。
S11において、表示用画像生成部206(図2)が、画素位置(x,y)における接眼レンズによる歪曲率を取得する。歪曲率については図12を用いて説明する。
なお、あらかじめ画素位置ごとに歪曲率を参照できるようにルックアップテーブルを作成しておき、接眼レンズ中心からの距離rの計算を省略できるようにしてもよい。また、接眼レンズ中心からの距離rが遠く、接眼レンズの視聴可能範囲外である場合は、表示用画像の画素値を黒にしてその画素の処理を終了してもよい。
xc = x × c
yc = y × c (1)
歪曲後の位置(xc,yc)は、図12に示されている。
[X Y Z]t = R × [x y f]t (2)
左目用の表示用画像なのか、右目用の表示用画像なのかにより、仮想カメラの姿勢が異なるため、左目用の表示用画像中の画素値を求める場合は、式(2)のRはRLをとし、右目用の表示用画像中の画素値を求める場合は、式(2)のRはRRとする。
φ=asin(Y / L)
θ=asin(Z / L / cosφ) (3)
S15において、表示用画像生成部206は、光線の方向(θ,φ)の画素値を、対応する画像から取得し(サンプリングし)、表示用画像の対応する画素位置に格納する。つまり、S15において、表示用画像生成部206は、光線の方向(θ,φ)の画素値を、対応する画像からサンプリングし、描画配列に格納する。左目用の表示用画像を生成する際は左目用画像から画素値をサンプリングし、右目用の表示用画像を生成する際は右目用画像から画素値をサンプリングする。格納する位置は原点から(x,y)だけ移動した位置である。
S15の後、S16において、左右の表示用画像の全画素を処理したかを判定する。全画素を処理していなければ、S11に戻る。全画素を処理していれば、図3のフローチャートに戻り、S7に進む。
特許文献1では表示用画像を生成した後に表示用画像の表示位置をシフトしているので、図9に示したように、ディスプレイ(画面)の端ではシフトした分だけ表示用画像を表示できない領域が発生し視野角が減少してしまう。また、表示用画像をシフトすることで接眼レンズの中心と歪曲補正の中心位置がずれてしまうため、正しく歪曲補正ができない。これに対し、本実施形態では、表示用画像を生成する前に、仮想カメラの姿勢を調整することにより、視野角を減少させずに視差ずれを抑制している。また、接眼レンズの中心と歪曲補正の中心位置がずれないので、歪曲補正を正しく行うことができる。
本実施形態の画像処理装置113は、仮想カメラの姿勢を調整しているので、全天球画像や魚眼画像からの表示用画像の生成に適用することができ、正しい歪曲補正を実行することができる。
図2に示す機能ブロックの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASICにより実現するようにしてもよい。FPGAは、Field―Programmable Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。
上記の説明においてHDDI/F104は画像処理装置113に含まれるとしたが、HDD105を使用する必要がなければ、画像処理装置113はHDDI/F104を備えなくてもよい。
上記の説明において、姿勢を表現する場合に、ロール、ピッチおよびヨーという表現を用いたが、クォータニオンなどの表現を用いてもよい。
上記の説明において、ヘッドマウントディスプレイを例に挙げたが、その他の表示装置にも本発明を適用することができる。
上記の説明では、姿勢検出装置111は出力デバイス109の画像表示面またはその近傍に取り付けられるとしたが、姿勢検出装置111の設置位置は、ディスプレイの傾きが検出できるならば、上記した位置以外の位置でもよい。
本発明は、上記した実施形態1の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (20)
- 表示装置に表示する表示用の視差画像を、左目用の画像と右目用の画像それぞれから生成する画像処理装置であって、
前記表示装置の姿勢情報を取得する第1の取得手段と、
前記左目用の画像と右目用の画像との視差量を取得する第2の取得手段と、
前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、仮想的に配置される左目用の仮想カメラと右目用の仮想カメラとの少なくとも一方の姿勢を調整する調整手段と、
調整された前記仮想カメラの姿勢に基づいて、前記左目用の画像と右目用の画像から前記表示用の視差画像を生成する生成手段と、
を備えることを特徴とする画像処理装置。 - 前記調整手段は、前記左目用の仮想カメラと前記右目用の仮想カメラとの少なくとも一方の姿勢方向を調整することを特徴とする請求項1に記載の画像処理装置。
- 前記表示装置の姿勢情報は、前記表示装置の画像表示面に垂直な軸周りの、前記画像表示面の回転量であることを特徴とする請求項1または2に記載の画像処理装置。
- 前記調整手段は、前記右目用画像の仮想カメラの姿勢と、前記左目用画像の仮想カメラの姿勢とを異なる方向に調整することを特徴とする請求項1〜3の何れか1項に記載の画像処理装置。
- 前記調整手段は、前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、前記仮想カメラの水平方向における前記仮想カメラの方位角と、前記仮想カメラの垂直方向における仰角とを調整することを特徴とする請求項1〜4の何れか1項に記載の画像処理装置。
- 前記調整手段は、前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、前記表示装置の画像表示面の高さ方向に発生する表示用画像のずれを減ずる方向に前記仰角を調整することを特徴とする請求項5に記載の画像処理装置。
- 前記調整手段は、前記表示装置の画像表示面の幅方向に発生する表示用の視差画像の視差量が前記表示装置が傾いていないときに表示用の視差画像に生じる視差量と等しくなるように前記方位角を調整することを特徴とする請求項5または6に記載の画像処理装置。
- 前記生成手段は、前記左目用の画像と右目用の画像それぞれの画素位置に対応する方位角と仰角のテーブルに基づいて、前記左目用の画像と右目用の画像から画素値をサンプリングして前記表示用の視差画像を生成することを特徴とする請求項5〜7の何れか1項に記載の画像処理装置。
- 前記調整手段は、前記視差量が所定の閾値より小さい場合、前記仮想カメラの姿勢の調整を行わないことを特徴とする請求項1〜8の何れか1項に記載の画像処理装置。
- 前記第2の取得手段は、前記左目用の画像と右目用の画像を前記仮想カメラで見たときの中心領域における視差量を取得することを特徴とする請求項1〜9の何れか1項に記載の画像処理装置。
- 前記第2の取得手段は、前記左目用の画像と右目用の画像の中心領域をマッチング処理することで、前記視差量を取得することを特徴とする請求項10に記載の画像処理装置。
- 前記左目用の画像と右目用の視画像は全天球画像または魚眼カメラで撮影した画像であることを特徴とする請求項1〜11の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記表示装置のレンズの歪曲を補正して前記表示用の視差画像を生成することを特徴とする請求項1〜12の何れか1項に記載の画像処理装置。
- 前記表示装置はヘッドマウントディスプレイであることを特徴とする請求項1〜13の何れか1項に記載の画像処理装置。
- 前記生成手段は、前記表示装置の画像表示パラメータを使用して、前記表示用の視差画像を生成し、前記画像表示パラメータは、前記ヘッドマウントディスプレイの接眼レンズの焦点距離、前記接眼レンズの歪曲パラメータ、前記ヘッドマウントディスプレイの画像表示面における前記接眼レンズの中心位置、前記ヘッドマウントディスプレイの解像度、前記画像表示面のサイズの少なくとも1つを含むことを特徴とする請求項14に記載の画像処理装置。
- 前記表示装置の姿勢情報が水平方向に傾いていることを示す場合、前記調整手段は、前記左目用の仮想カメラと右目用の仮想カメラのうちいずれか一方を下向きに回転させ、他方を上向きに回転させることを特徴とする請求項1〜15の何れか1項に記載の画像処理装置。
- 前記左目用の画像と右目用の画像は、前記表示用の視差画像よりも画角が大きい画像であることを特徴とする請求項1〜16の何れか1項に記載の画像処理装置。
- 請求項1〜17の何れか1項に記載の画像処理装置と、
前記画像処理装置が生成した表示用画像を表示する表示装置と、
を含む画像処理システム。 - 表示装置に表示する表示用の視差画像を、左目用の画像と右目用の画像それぞれから生成する画像処理方法であって、
前記左目用の画像と右目用の画像との視差量を取得するステップと、
前記表示装置の姿勢情報と前記視差画像の視差量とに基づいて、仮想的に配置される左目用の仮想カメラと右目用の仮想カメラとの少なくとも一方の姿勢を調整するステップと、
調整された前記仮想カメラの姿勢に基づいて、前記左目用の画像と右目用の画像から前記表示用の視差画像を生成するステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1〜17の何れか1項に記載の画像処理装置の手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256606A JP6808484B2 (ja) | 2016-12-28 | 2016-12-28 | 画像処理装置および画像処理方法 |
US15/849,478 US20180184077A1 (en) | 2016-12-28 | 2017-12-20 | Image processing apparatus, method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016256606A JP6808484B2 (ja) | 2016-12-28 | 2016-12-28 | 画像処理装置および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018110295A JP2018110295A (ja) | 2018-07-12 |
JP2018110295A5 JP2018110295A5 (ja) | 2020-02-06 |
JP6808484B2 true JP6808484B2 (ja) | 2021-01-06 |
Family
ID=62630732
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016256606A Active JP6808484B2 (ja) | 2016-12-28 | 2016-12-28 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180184077A1 (ja) |
JP (1) | JP6808484B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6335237B2 (ja) * | 2016-09-15 | 2018-05-30 | 株式会社Subaru | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
JP6463319B2 (ja) * | 2016-10-19 | 2019-01-30 | 株式会社Subaru | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
US10600152B1 (en) * | 2017-05-10 | 2020-03-24 | Gopro, Inc. | Systems and methods for parallax compensation |
US20190324283A1 (en) * | 2018-04-19 | 2019-10-24 | Htc Corporation | Display device and display method |
KR102113285B1 (ko) * | 2018-08-01 | 2020-05-20 | 한국원자력연구원 | 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치 |
US11223815B2 (en) | 2018-10-25 | 2022-01-11 | Samsung Electronics Co., Ltd | Method and device for processing video |
CN113412510A (zh) * | 2019-02-15 | 2021-09-17 | Jvc建伍株式会社 | 图像调整系统、图像调整装置以及图像调整方法 |
JP7349808B2 (ja) * | 2019-03-20 | 2023-09-25 | 任天堂株式会社 | 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法 |
CN111259165B (zh) * | 2020-01-14 | 2021-03-30 | 清华大学 | 一种多核心元素的知识图谱边图布局方法及系统 |
WO2022070270A1 (ja) * | 2020-09-29 | 2022-04-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
WO2023068087A1 (ja) * | 2021-10-18 | 2023-04-27 | ソニーグループ株式会社 | ヘッドマウントディスプレイ、情報処理装置および情報処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08191419A (ja) * | 1995-01-10 | 1996-07-23 | Yamaha Corp | 頭部装着型表示システム |
JPH0927971A (ja) * | 1995-07-10 | 1997-01-28 | Shimadzu Corp | 画像表示システム |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP5953916B2 (ja) * | 2012-05-02 | 2016-07-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US20150145977A1 (en) * | 2013-11-22 | 2015-05-28 | Samsung Display Co., Ltd. | Compensation technique for viewer position in autostereoscopic displays |
CN107851334A (zh) * | 2015-08-06 | 2018-03-27 | 索尼互动娱乐股份有限公司 | 信息处理装置 |
-
2016
- 2016-12-28 JP JP2016256606A patent/JP6808484B2/ja active Active
-
2017
- 2017-12-20 US US15/849,478 patent/US20180184077A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2018110295A (ja) | 2018-07-12 |
US20180184077A1 (en) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6808484B2 (ja) | 画像処理装置および画像処理方法 | |
US10176595B2 (en) | Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof | |
US10257501B2 (en) | Efficient canvas view generation from intermediate views | |
US8548269B2 (en) | Seamless left/right views for 360-degree stereoscopic video | |
US20180160045A1 (en) | Method and device of image processing and camera | |
JP5558973B2 (ja) | 画像補正装置、補正画像生成方法、補正テーブル生成装置、補正テーブル生成方法、補正テーブル生成プログラムおよび補正画像生成プログラム | |
EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
CN103839227B (zh) | 鱼眼图像校正方法和装置 | |
EP2061234A1 (en) | Imaging apparatus | |
JP6708444B2 (ja) | 画像処理装置および画像処理方法 | |
WO2017029885A1 (ja) | 画像生成装置、及び画像表示制御装置 | |
US20120154518A1 (en) | System for capturing panoramic stereoscopic video | |
US20120154548A1 (en) | Left/right image generation for 360-degree stereoscopic video | |
US11568555B2 (en) | Dense depth computations aided by sparse feature matching | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10664947B2 (en) | Image processing apparatus and image processing method to represent part of spherical image in planar image using equidistant cylindrical projection | |
US11962946B2 (en) | Image processing apparatus, display system, image processing method, and medium | |
KR20200056721A (ko) | 증강현실 기기의 광학 특성 측정 방법 및 장치 | |
US20120154519A1 (en) | Chassis assembly for 360-degree stereoscopic video capture | |
WO2017024626A1 (zh) | 裸眼3d成像方法及系统 | |
WO2018110264A1 (ja) | 撮像装置、及び撮像方法 | |
JP2019012516A (ja) | 画像処理装置および画像処理方法 | |
EP3229106A1 (en) | Efficient determination of optical flow between images | |
US11941751B2 (en) | Rapid target acquisition using gravity and north vectors | |
CN110786017A (zh) | 分发图像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6808484 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |