WO2018225648A1 - 画像処理装置およびその制御方法 - Google Patents

Abstract

違和感の少ない表示画像を生成可能とする。　画像処理装置は、動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、所与の表示部の垂直方向におけるフレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、画像シフト指示に基づいて同期信号を補正する補正手段と、画像信号と補正した同期信号とを関連付けて出力する出力手段と、を有する。補正手段は、画像シフト指示に含まれる垂直方向の画像シフト量が所定量を超える場合、当該所定量以下の画像シフト量に相当する補正を行う。

Description

画像処理装置およびその制御方法

　本発明は、入力画像を垂直方向または／および水平方向にシフトさせた画像を生成する画像処理技術に関するものである。

　近年、ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）を有するシステムが注目されている。ＨＭＤはＭＲ（Mixed Reality）システムやＶＲ（Virtual Reality）システムの視覚表示装置として使用されている。また、ＭＲ技術の１つに、ビデオシースルー型ＨＭＤを利用し、ＨＭＤ使用者の瞳位置から観察される被写体画像にＣＧ（Computer Graphics）を重畳表示した画像をＨＭＤ使用者が観察できる技術が知られている。一方ＶＲ技術においては、使用者の頭部の移動方位を検出する姿勢センサを備えたＨＭＤを利用し、姿勢センサにより検知した頭部の方位データに基づき、仮想空間の視覚画像を生成・表示する技術が知られている。

　ＭＲシステムでは、理想的には、ＨＭＤ使用者の視点（瞳位置）からの被写体画像撮影とＣＧを重畳した画像の表示を同時に行わなければならない。しかしながら、現実には、撮影したカメラ画像の画像処理やＣＧのレンダリングのための演算処理に時間（総時間をΔｔとする）がかかる。ＶＲシステムにおいても同様に、頭部の方位データ検出から視覚画像の表示までの時間（Δｔ）を要する。このため、使用者が頭を動かした場合に、Δｔだけ時間が経過してから、表示映像が頭の方位変化に追従して動き出すことになり、違和感を感じることになる。

　遅延による違和感を軽減すべく、特許文献１では、現在の頭部の方位データと一定時間前の頭部方位データとの差である方位変位量に応じて、表示部に表示する空中像の位置を水平にシフトする技術が提案されている。また、特許文献２では、画像信号に基づく水平同期信号のタイミングをずらし、画像をシフトする技術が提案されている。

特開２００４－１０９９９４号公報 特開２０１４－７８０２２号公報

　しかしながら、上述の特許文献２に記載の同期信号のタイミングずらしを実施した場合、条件によってはフレーム画像の途中で画像が切れる／ずれるといった画像乱れが生じることになる。そのため、ＨＭＤ使用者は、表示画像に違和感を感じることとなるという問題がある。

　本発明はこのような問題を鑑みてなされたものであり、違和感の少ない表示画像を生成可能とする技術を提供する。

　上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
　動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、
　所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、
　前記画像シフト指示に基づいて前記同期信号を補正する補正手段と、
　前記画像信号と前記補正した同期信号とを関連付けて出力する出力手段と、
を有し、
　前記補正手段は、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う。

　本発明は、違和感の少ない表示画像を生成可能とする技術を提供する。

　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
ＭＲ／ＶＲシステムの概略構成図である。 第１及び第２実施形態における画像シフト処理部の機能ブロック図である。 第１実施形態における同期信号補正部の動作を示す図である。 第１実施形態における画像シフト処理を説明する図である。 第２実施形態における同期信号補正部の動作を示す図である。 第２実施形態における画像シフト処理を説明する図である。 第３実施形態における画像シフト処理部の機能ブロック図である。 第３実施形態における同期信号補正部の動作を示す図である。 第３実施形態における画像シフト処理を説明する図である。 変形例における画像シフト処理を説明する図である。 画像シフト処理部の一連の動作を示すフローチャートである。 画像シフト処理部の一連の動作を示す他のフローチャートである。

　以下に、図面を参照して、この発明の実施の形態の一例を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

　（第１実施形態）
　本発明に係る画像シフト装置の第１実施形態として、ＭＲ／ＶＲシステムを例に挙げて以下に説明する。

　ＭＲシステムは、撮像部と表示部を有するＨＭＤと、ＣＧ（仮想空間画像）を撮像した動画像（現実空間画像）に重畳するＰＣとを含むシステムである。ＨＭＤの撮像部は、装着者の左右それぞれの目の位置における画像を取得し、表示部は、装着者の左右の目に対してステレオ画像を表示する。ＰＣは、ＨＭＤで撮影した撮像画像を受信し、当該撮像画像にＣＧを重畳した合成画像を生成し、当該合成画像をＨＭＤに伝送する。特に、撮像画像に基づき定義された現実空間の三次元座標系に三次元ＣＧ画像を生成し撮像画像に重畳することで、現実空間と仮想空間が融合された環境を装着者に対して提供することができる。

　一方、ＶＲシステムは、表示部を有するＨＭＤと、ＣＧ（仮想空間画像）をレンダリングするＰＣとを含むシステムである。一般的に、使用者の姿勢（視点位置・視線方向など）を検出するための姿勢センサを備えたＨＭＤが使用される。ＨＭＤの姿勢センサにより検知した姿勢データはＰＣに送信され、ＰＣは当該姿勢データに基づきＣＧをレンダリングし、ＨＭＤに伝送する。

　＜装置構成＞
　図１は、ＭＲ／ＶＲシステムの概略構成図である。当該システムは、ＭＲシステムとしてもＶＲシステムとしても動作可能なシステムである。ＭＲ／ＶＲシステムは、ＨＭＤ１０１及びＰＣ１０３を含む。ＨＭＤ１０１は画像撮像部１０２及び所与の表示部としての画像表示部１０５を含み、ＰＣ１０３は表示画像生成部１０４を含む。

　ＭＲシステムとして動作させる場合には、画像撮像部１０２において撮像された画像はＰＣ１０３に伝送され、表示画像生成部１０４において撮像画像にＣＧを重畳し合成画像（ＭＲ画像）を生成する。その後、合成画像はＨＭＤ１０１に伝送され、画像表示部１０５において表示され、ＨＭＤ１０１の装着者に提供される。

　一方、ＶＲシステムとして動作させる場合には、画像撮像部１０２の代わりに姿勢センサ（加速度・角速度センサなど）を配置し、検出した姿勢データをＰＣ１０３に伝送する。そして、表示画像生成部１０４は、姿勢データに基づいてＣＧをレンダリングする。表示画像生成部１０４においてレンダリングされたＣＧはＨＭＤ１０１に伝送され、ＨＭＤ１０１の画像表示部１０５において表示され、ＨＭＤ１０１の装着者に提供される。

　なお、図１においては、ＨＭＤ１０１とそれに接続されたＰＣ１０３を別体のハードウェアとしているが、ＰＣ１０３の持つ機能を全てＨＭＤ１０１内に実装し、一体型の装置とすることも可能である。

　理想的には、ＭＲ／ＶＲシステムにおけるＨＭＤにおいては、画像撮影あるいは姿勢データ取得と、画像撮影あるいは姿勢データ取得に基づき生成されたＭＲ／ＶＲ画像の画像表示と、を同時に行わなければならない。しかし現実的には、撮影した撮像画像の画像処理やＣＧのレンダリングのための演算処理などの処理時間が存在する。そのため、使用者の姿勢が変化した場合（頭を動かした場合など）には、当該姿勢の変化の後、上述の処理時間が経過してから画像表示部１０５に表示される表示映像が追従して動き出すことになる。そのため、ＨＭＤ１０１の装着者（ユーザー）によって違和感のあるものとなってしまう。

　図２は、第１実施形態における画像シフト処理部の機能ブロック図である。当該画像シフト処理部は、表示画像生成部１０４と画像表示部１０５の間に実装される機能である。ただし、画像シフト処理部の具体的な実装場所は、ＰＣ１０３内でもＨＭＤ１０１内でもよく、特に限定されない。また、例えば、画像シフト処理部のうち姿勢検知部２０１、同期信号補正部２０２、同期信号移動制御部２０３の各部をＰＣ１０３及びＨＭＤ１０１に分散配置してもよい。なお、以下の説明では、画像シフト処理部は、表示画像生成部１０４内の後段部分に配置されるものとして説明する。

　姿勢検知部２０１は、ＨＭＤ１０１の装着者の姿勢を検知し画像シフト量を決定する機能部である。すなわち、フレーム画像の表示位置の変更を指示する画像シフト指示を同期信号補正部２０２に出力する。ここでは、ＨＭＤ１０１に内蔵されている姿勢センサ（加速度・角速度センサ）からの信号に基づき、ＨＭＤ１０１の姿勢を検知する。ただし、姿勢検知部２０１は、ＨＭＤ１０１の姿勢を検知可能なものであればよく、例えば、ＨＭＤ１０１の外部に配置される装置による赤外線や画像解析等の手法を用いて姿勢を検知するよう構成してもよい。さらに、姿勢検知部２０１は、検知した姿勢データから、上述の処理遅延による違和感を防ぐための水平及び垂直方向の画像シフト量を算出する。具体的には、ＨＭＤ１０１の装着者（ユーザー）における体感的な遅延量は低減するため、姿勢変化の増大とともに画像シフト量が大きくなるように制御する。

　同期信号補正部２０２は、表示画像生成部１０４によってレンダリングされた画像に基づく水平同期及び垂直同期信号を入力し、前述の画像シフト指示を受け付けて当該画像シフト指示で指定された画像シフトのための補正処理を行う機能部である。そして、補正された同期信号を画像信号と関連付けて画像表示部１０５へ出力する。

　同期信号移動制御部２０３は、画像乱れを防ぐための同期信号の移動制御を行う機能部であるが、詳細な構成は後述する。同期信号補正部２０２は、同期信号移動制御部２０３による制御及び姿勢検知部２０１により計算された画像シフト量に基づき、同期信号を補正する。すなわち、入力同期信号に対して画像シフト量に相当する期間のタイミングをずらした出力同期信号を生成する。

　＜装置の動作＞
　図１１は、画像シフト処理部の一連の動作を示すフローチャートである。上述のように、画像シフト処理部は、表示画像生成部１０４と画像表示部１０５の間の任意の場所に実装される機能であるが、ここでは、表示画像生成部１０４内の後段部分に配置されることを想定する。

　ステップＳ１１０１では、画像シフト処理部は、動画像を構成するフレーム画像を画像信号及び同期信号として入力する。すなわち、ここでは、表示画像生成部１０４の前段で生成されたフレーム画像（画像信号及び同期信号）が入力される。

　ステップＳ１１０２では、画像シフト処理部は、画像表示部１０５の垂直方向（フレーム画像を構成するラインに直交する方向）におけるフレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける。例えば、画像シフト指示として、垂直方向の移動量（ＶＳＨＩＦＴ）及び水平方向の移動量（ＨＳＨＩＦＴ）を受け付ける。詳細については図３を参照して後述する。

　ステップＳ１１０３では、画像シフト処理部は、Ｓ１１０２で受け付けた画像シフト指示に基づいてＳ１１０１で入力された同期信号を補正する。なお、画像シフト指示に含まれる垂直方向の移動量（ＶＳＨＩＦＴ）が所定量を超える場合、当該所定量以下の画像シフト量に相当する補正を行う。詳細については図３を参照して後述する。

　ステップＳ１１０４では、画像シフト処理部は、Ｓ１１０１で入力された画像信号とＳ１１０３で補正した同期信号とを関連付けて出力する。

　図３は、第１実施形態における画像シフト処理部内の同期信号補正部２０２の動作を示す図である。より具体的には、同期信号移動制御部２０３による制御（Ｓ１１０２）に基づく同期信号補正部２０２の動作（Ｓ１１０３）を示すタイミングチャートである。なお、以下の説明においては、水平方向とは、動画像のフレーム画像を構成するラインに沿った方向のことを意味し、垂直方向とは、フレーム画像を構成するラインに直交する方向のことを意味するものとする。

　入力垂直同期信号３０１は、各フレーム画像の有効画像領域の先頭でアサートされる信号であり、入力水平同期信号３０２は、フレーム画像を構成する各画像ラインの有効画像領域の先頭でアサートされる信号である。なお、有効画像領域とは、フレーム画像全域のうち垂直ブランキング期間及び水平ブランキング期間を除く期間に相当する領域である。

　入力データイネーブル３０３は、有効画像領域の期間中にアサートされる信号である。入力画像データ３０４は、フレーム画像を構成する画像ラインのデータである。入力データイネーブル３０３がアサートされる期間中に入力される入力画像データ３０４が有効な画像データとなる。

　同期信号補正部２０２は、画像シフトを実現するために上述の信号を処理し、それぞれ、出力同期信号３０５、出力水平同期信号３０６、出力データイネーブル３０７、出力画像データ３０８として出力する。

　図３では、第１フレームにおいてシフトを行わず、第２フレームにおいては垂直方向にシフトを行う場合の例を示している。具体的には、第１フレームでは、垂直方向の移動量（ＶＳＨＩＦＴ）及び水平方向の移動量（ＨＳＨＩＦＴ）はともに"０"に設定している。一方、後続のフレーム画像である第２フレームでは、垂直方向の移動量（ＶＳＨＩＦＴ）を下方向に垂直ブランキング期間の幅（ＶＢＬＫ）に設定している。

　図４は、第１実施形態における画像シフト処理を説明する図である。

　画像４０１および画像４０２は、ＶＳＨＩＦＴ≦ＶＢＬＫの場合における、第１フレームと第２フレームを例示的に示している。画像４０１は、図３における第１フレームの出力画像を例示的に示しており、画像シフト量は"０"となっている。一方、画像４０２は、図３における第２フレームの出力画像を例示的に示しており、垂直方向にＶＢＬＫだけ画像シフトした画像が出力されている。

　画像４０３および画像４０４は、ＶＳＨＩＦＴ＞ＶＢＬＫの場合における、第１フレームと第２フレームを例示的に示している。図３のタイミングチャートから理解されるように、垂直方向の移動量（ＶＳＨＩＦＴ）を垂直ブランキング期間の幅（ＶＢＬＫ）を超える値（所定量）に設定した場合、画像乱れが生じることになる。具体的には、第１フレームにおいては、画像４０３に例示されるように、有効画像領域の下部が欠落してしまう。また、第２フレームにおいては、画像４０４に例示されるように、画像４０３で欠落した部分の画像が上部に現れることになる。すなわち、先行するフレーム画像の一部が後続のフレーム画像に混入してしまう。

　そこで、第１実施形態における同期信号移動制御部２０３では、上述のフレームを跨ぐ画像乱れを防ぐために、垂直方向の移動量を制御する。具体的には、姿勢検知部２０１により計算された垂直同期信号移動量の連続するフレーム間での変化量（ΔＶ）に応じて、以下のように垂直同期信号の移動量を制御する。

　すなわち、ΔＶ≦ＶＢＬＫの場合には、同期信号補正部２０２は、垂直方向の移動量（ＶＳＨＩＦＴ）をΔＶとする。一方、ΔＶ＞ＶＢＬＫの場合には、同期信号補正部２０２は、垂直方向の移動量（ＶＳＨＩＦＴ）をＶＢＬＫとする。すなわち、垂直方向の移動量（ＶＳＨＩＦＴ）の上限がＶＢＬＫ（所定量以下の値）となるように制御する。

　上述の制御により、ΔＶ＞ＶＢＬＫの場合において、画像４０３および画像４０４に例示されるフレームを跨ぐ画像乱れを防ぐことができる。

　以上説明したとおり第１実施形態によれば、姿勢検知部２０１により計算された垂直同期信号移動量の連続するフレーム間での変化量（ΔＶ）に応じて、画像シフトにおける垂直方向の移動量を制御する。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。

　（第２実施形態）
　第２実施形態では、垂直方向の画像シフト処理と共に水平方向の画像シフト処理を行う形態について説明する。画像シフト処理部の構成及び一連の動作は第１実施形態（図２及び図１１）とほぼ同様であるが、水平方向のシフト処理についても制御を行う点が第１実施形態と異なる。

　＜装置の動作＞
　図５は、第２実施形態における同期信号補正部２０２の動作を示す図である。より具体的には、同期信号移動制御部２０３による制御に基づく同期信号補正部２０２の動作を示すタイミングチャートである。各信号の機能は第１実施形態と同様であるため説明は省略する。

　図５では、第１フレームにおいてシフトを行わず、第２フレームにおいては垂直方向および水平方向にシフトを行う場合の例を示している。具体的には、第１フレームでは、垂直方向の移動量（ＶＳＨＩＦＴ）及び水平方向の移動量（ＨＳＨＩＦＴ）はともに"０"に設定している。一方、後続のフレーム画像である第２フレームでは、垂直方向の移動量（ＶＳＨＩＦＴ）を下方向に１ライン、水平方向の移動量（ＨＳＨＩＦＴ）を左方向に１ピクセルに設定している。

　図６は、第２実施形態における画像シフト処理を説明する図である。

　画像６０１および画像６０２は、水平方向の移動量を、"０"から"１"に変化させるタイミングを第２フレームの有効画像領域の範囲外とした場合における、第１フレームと第２フレームを例示的に示している。一方、画像６０３および画像６０４は、水平方向の移動量を、"０"から"１"に変化させるタイミングを第２フレームの有効画像領域の範囲内とした場合における、第１フレームと第２フレームを例示的に示している。

　すなわち、有効画像領域の範囲内のタイミングで水平方向の移動量を変化させた場合、第２フレームにおいては画像６０４に例示されるように画像の途中でずれが発生し、画像乱れとなってしまう。

　そこで、上述の画像のずれによる画像乱れを防ぐために、同期信号移動制御部２０３は、水平方向の移動量の反映タイミングを制御する。具体的には、水平方向の移動量の反映タイミングを、各フレームの有効画像領域を除いた期間となるようにする。すなわち、各フレームの垂直ブランキング期間内に水平方向の移動量を反映させるよう制御する。

　以上説明したとおり第２実施形態によれば、同期信号移動制御部２０３は、各フレームの有効画像領域の期間で水平方向の移動量が変化しないように、変化の反映タイミングを制御する。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。

　（第３実施形態）
　第３実施形態では、画像シフト処理に伴う画像乱れを画像処理により低減する形態について説明する。具体的には、画像乱れが発生する領域を所定色で構成された固定画像データ（全て黒色で構成される全黒データなど）で修正することにより、違和感の少ない表示画像を生成する。

　＜装置構成＞
　図７は、第３実施形態における画像シフト処理部の機能ブロック図である。上述の第１実施形態に対して、無効領域検知部７０１およびデータ生成部７０２がさらに追加されている。他の構成については第１実施形態と同様であるため説明は省略する。

　無効領域検知部７０１は、同期信号補正部２０２の動作に基づいて、関連する画像の無効領域を検知する機能部である。ここで、「無効領域」とは、画像シフト処理後の画像フレームにおいて、画像シフト処理前の有効領域を除く部分である。言い換えると、無効領域とは、有効画像領域から画像シフト処理による移動分を差し引いた画像領域（シフト後有効領域）以外の領域（期間）を指す。

　データ生成部７０２は、画像乱れを防ぐため、検知された無効領域における画像を修正する機能部である。より具体的には、データ生成部７０２は、無効領域検知部７０１の無効領域の検知結果に基づき、当該無効領域における補間画像信号として固定画像データ（たとえば全黒データ）の画像信号生成を行う。

　＜装置の動作＞
　図１２は、画像シフト処理部の一連の動作を示すフローチャートである。なお、Ｓ１２０１～Ｓ１２０３は、Ｓ１１０１～Ｓ１１０３と同様であるため説明は省略する。

　ステップＳ１２０４では、画像シフト処理部は、Ｓ１２０３で補正した補正した同期信号に基づいて、当該補正した同期信号に関連する画像信号における無効領域を検知する。詳細については図８を参照して後述する。

　ステップＳ１２０５では、画像シフト処理部は、無効領域の期間における補間画像信号を生成する。詳細については図８及び図９を参照して後述する。

　ステップＳ１２０６では、画像シフト処理部は、Ｓ１２０５で生成された補正画像信号とＳ１２０３で補正した同期信号とを関連付けて出力する。

　図８は、第３実施形態における画像シフト処理部内の同期信号補正部２０２の動作を示す図である。より具体的には、無効領域検知部７０１による制御（Ｓ１２０４）に基づくデータ生成部７０２の動作（Ｓ１２０５）、および、同期信号補正部２０２の動作（Ｓ１２０３）を示すタイミングチャートである。

　信号３０１～３０７の機能は第１実施形態と同様であるため、説明は省略する。図８において、第１フレーム、第２フレームはともに、垂直方向の移動量（ＶＳＨＩＦＴ）は"０"（すなわち移動無し）、水平方向の移動量（ＨＳＨＩＦＴ）は"－３"（左方向に３ピクセル）の場合の例を示している。

　信号８０１は、データ生成部７０２における画像処理を行わない場合の出力画像データを例示的に示しており、信号３０８と同様である。一方、信号８０２は、データ生成部７０２における画像処理を行った場合の出力画像データを例示的に示している。信号８０２においては、画像信号の一部（無効領域に対応する部分）が固定画像データ（たとえば全黒データ）で上書きされている。

　図９は、第３実施形態における画像シフト処理を説明する図である。

　画像９０１は、データ生成部７０２における画像処理を行わない場合に表示される第１フレームおよび第２フレームの出力画像を例示的に示している。画像９０１の右端部において、後続のラインのデータが折り返し表示されることによる画像乱れが発生していることがわかる。すなわち、画像シフト処理後の第ｎラインの右端部には、画像シフト処理前の第（ｎ＋１）ラインの左端部の画像が混入している。

　一方、画像９０２は、データ生成部７０２における画像処理を行った場合に表示される第１フレームおよび第２フレームの出力画像を例示的に示している。画像９０２においては、画像右端部は固定画像データ（ここでは全黒データ）が表示されている。すなわち、画像９０１において発生していた画像乱れ（折り返し表示）が好適に低減されていることが分かる。

　以上説明したとおり第３実施形態によれば、画像シフト処理により混入する画像乱れ（折り返し表示）を固定画像データにより塗りつぶす画像修正を行う。これにより、違和感の少ない表示画像を生成可能とすることが可能となる。

　（変形例）
　上述の第３実施形態においては無効領域を固定画像（単色）データで塗りつぶす画像修正を行ったが、当該無効領域を他の画像で修正してもよい。そこで、変形例では、データ生成部７０２において、より自然に見える画像を生成する形態について説明する。

　＜データ生成部＞
　より自然に見える画像補間を実現するため、データ生成部７０２は、画像データを保持する１ライン分のＲＡＭを有する。各画像ラインにおいて、第３実施形態において説明した「シフト後有効領域」を有する場合は、当該シフト後有効領域の左端もしくは右端の画像データを用いて、無効領域を上書きするデータを生成する。すなわち、無効領域に接するシフト後有効領域の画素値に基づく画像信号を生成する。一方、シフト後有効領域をもたない画像ラインの場合は、シフト後有効領域の上端もしくは下端１ライン分の画像データを用いて、無効領域のデータを補完する。

　なお、無効領域に表示する画像の輝度を更に考慮することで、ユーザにとってより自然に知覚される画像を生成することもできる。たとえば、ＨＭＤ１０１における表示部の枠部材が黒色である場合、画像端に近づくに従って輝度を落とす（黒に近づける）処理（グラデーション処理）を加えることで、より自然な画像としてユーザに知覚される。

　図１０は、変形例における画像シフト処理を説明する図である。画像１００１は画像シフト処理前の画像を例示的に示している。画像１００２は、変形例に係るデータ生成部７０２において、画像１００１に対して画像シフト処理を行った場合に表示される出力画像を例示的に示している。画像１００２においては、無効領域において、データ補間および輝度調整が実施されている。なお、無効領域に反映させる補間画像は上述のものに限定されず、ユーザへの違和感が緩和される任意の補間画像を利用することが可能である。

　（その他の実施例）
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

　本願は、２０１７年６月８日提出の日本国特許出願特願２０１７－１１３６３６を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

　１０１　ＨＭＤ；　１０２　画像撮像部；　１０３　ＰＣ；　１０４　表示画像生成部；　１０５　画像表示部；　２０１　姿勢検知部；　２０２　同期信号補正部；　２０３　同期信号移動制御部

Claims (20)

1. 　動画像を構成するフレーム画像を画像信号及び同期信号として入力する入力手段と、
   　所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付手段と、
   　前記画像シフト指示に基づいて前記同期信号を補正する補正手段と、
   　前記画像信号と前記補正した同期信号とを関連付けて出力する出力手段と、
   を有し、
   　前記補正手段は、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う
   ことを特徴とする画像処理装置。
2. 　前記所定量は、前記フレーム画像における垂直ブランキング期間の幅である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記画像シフト指示は、水平方向の画像シフトの指示を含む
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 　前記補正手段は、前記水平方向の画像シフトに関する前記同期信号の補正を、前記フレーム画像における有効画像領域を除いた期間において行う
   ことを特徴とする請求項３に記載の画像処理装置。
5. 　前記補正手段は、前記水平方向の画像シフトに関する前記同期信号の補正を垂直ブランキング期間内において行う
   ことを特徴とする請求項３に記載の画像処理装置。
6. 　前記補正した同期信号に基づいて、該補正した同期信号に関連する画像信号における無効領域を検知する検知手段と、
   　前記無効領域の期間における補間画像信号を生成する画像信号生成手段と、
   を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 　前記画像信号生成手段は、所定色に対応する画像信号を前記補間画像信号として生成する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 　前記所定色は、黒色である
   ことを特徴とする請求項７に記載の画像処理装置。
9. 　前記画像信号生成手段は、前記無効領域に接する画像領域の画素値に基づく画像信号を前記補間画像信号として生成する
   ことを特徴とする請求項６に記載の画像処理装置。
10. 　前記画像信号生成手段は、前記補間画像信号を画像ライン毎に生成する
    ことを特徴とする請求項６に記載の画像処理装置。
11. 　前記画像信号生成手段は、前記画像ラインが有効領域を含む場合、前記無効領域に接する有効領域の画素値に基づく画像信号を前記補間画像信号として生成する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 　前記画像信号生成手段は、前記画像ラインが有効領域を含まない場合、前記有効領域の端部の画素値に基づく画像信号を前記補間画像信号として生成する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 　前記画像信号生成手段は、フレーム画像の端に向かって輝度が変化するグラデーション処理を施した前記補間画像信号を生成する
    ことを特徴とする請求項６に記載の画像処理装置。
14. 　前記表示部の姿勢を検知する姿勢検知手段をさらに有し、
    　前記補正手段は、前記検知した姿勢に基づいて前記同期信号を補正する
    ことを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 　前記補正手段は、前記検知した姿勢の変化量に基づいて前記画像シフト量を算出する算出手段をさらに有する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 　前記算出手段は、前記検知した姿勢の変化量が増大するほど前記画像シフト量を大きくする
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 　前記姿勢検知手段は、前記表示部に設けられた姿勢センサを用いて前記表示部の姿勢を検知する
    ことを特徴とする請求項１４に記載の画像処理装置。
18. 　前記画像処理装置は、前記所与の表示部を有するヘッドマウントディスプレイ（ＨＭＤ）に接続される
    ことを特徴とする請求項１乃至１７の何れか１項に記載の画像処理装置。
19. 　動画像を構成するフレーム画像に対する画像処理を行う画像処理装置の制御方法であって、
    　前記フレーム画像を画像信号及び同期信号として入力する入力工程と、
    　所与の表示部の垂直方向における前記フレーム画像の表示位置の変更を指示する画像シフト指示を受け付ける受付工程と、
    　前記画像シフト指示に基づいて前記同期信号を補正する補正工程と、
    　前記画像信号と前記補正した同期信号とを関連付けて出力する出力工程と、
    を含み、
    　前記補正工程では、前記画像シフト指示に含まれる前記垂直方向の画像シフト量が所定量を超える場合、該所定量以下の画像シフト量に相当する補正を行う
    ことを特徴とする画像処理装置の制御方法。
20. 　コンピュータを、請求項１乃至１８の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images