JP7404271B2

JP7404271B2 - 表示装置および表示制御装置

Info

Publication number: JP7404271B2
Application number: JP2020558169A
Authority: JP
Inventors: 隆行猪山; 裕幸小沢
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2018-11-28
Filing date: 2019-10-18
Publication date: 2023-12-25
Anticipated expiration: 2039-10-18
Also published as: US11837145B2; WO2020110506A1; JPWO2020110506A1; US20220020312A1

Description

本開示は、画像を表示する表示装置、およびそのような表示装置に用いられる表示制御装置に関する。

拡張現実（ＡＲ；Augmented Reality）を実現する表示装置では、実空間上の物体や人などの観察対象に重ねて画像が表示される（例えば、特許文献１）。

特開２０１６－２０８３８０号公報

ところで、このような表示装置では、ユーザが違和感を感じるおそれを低減することが望まれており、違和感を少なくすることが期待されている。

ユーザが違和感を感じるおそれを低減することができる表示装置および表示制御装置を提供することが望ましい。

本開示の一実施の形態における第１の表示装置は、表示部と、表示制御部と、センサと、第１の記憶部とを備えている。表示部は、観察対象に重ねて画像を表示可能であり、オブジェクト画像を表示可能に構成される。表示制御部は、表示部の表示領域におけるオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能に構成される。センサは、自装置の動きを検出可能であり、検出結果に基づいて動き情報を生成可能に構成される。第１の記憶部は、オブジェクト画像を記憶可能に構成される。表示制御部は、表示領域における観察対象とオブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、表示位置を画素ライン単位で調節可能であり、動き情報に基づいてライン画像を表示すべき位置を調節することにより、オブジェクト画像の表示位置を画素ライン単位で調節可能であり、動き情報に基づいて、画素ライン単位で、第１の記憶部からオブジェクト画像に含まれるライン画像を読み出す読出タイミングを調節可能であり、読み出されたライン画像を表示部に供給可能である。
本開示の一実施の形態における第２の表示装置は、表示部と、表示制御部と、センサとを備えている。表示部は、観察対象に重ねて画像を表示可能であり、オブジェクト画像を表示可能に構成される。表示制御部は、表示部の表示領域におけるオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能に構成される。センサは、自装置の動きを検出可能であり、検出結果に基づいて動き情報を生成可能に構成される。表示制御部は、表示領域における観察対象とオブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、表示位置を画素ライン単位で調節可能であり、動き情報に基づいてライン画像を表示すべき位置を調節することにより、オブジェクト画像の表示位置を画素ライン単位で調節可能であり、オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部を有し、動き情報に基づいて、画素ライン単位で、第２の記憶部からライン画像を読み出す読出タイミングを調節可能であり、読み出されたライン画像を表示部に供給可能である。
ここで、「表示装置」とは、表示機能のみを有する表示デバイスに限定されず、そのような表示デバイスを有する電子機器をも含む。

本開示の一実施の形態における第１の表示制御装置は、観察対象に重ねて画像を表示可能な表示部の表示領域に表示されたオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部を備える。表示制御部は、表示領域における観察対象とオブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、表示位置を画素ライン単位で調節可能であり、表示部を備えた表示装置の動きを検出可能なセンサにより生成された動き情報に基づいてライン画像を表示すべき位置を調節することにより、オブジェクト画像の表示位置を画素ライン単位で調節可能であり、動き情報に基づいて、画素ライン単位で、オブジェクト画像を記憶可能な第１の記憶部からオブジェクト画像に含まれるライン画像を読み出す読出タイミングを調節可能であり、読み出されたライン画像を表示部に供給可能である。
本開示の一実施の形態における第２の表示制御装置は、観察対象に重ねて画像を表示可能な表示部の表示領域に表示されたオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部を備える。表示制御部は、表示領域における観察対象とオブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、表示位置を画素ライン単位で調節可能であり、表示部を備えた表示装置の動きを検出可能なセンサにより生成された動き情報に基づいてライン画像を表示すべき位置を調節することにより、オブジェクト画像の表示位置を画素ライン単位で調節可能であり、動き情報に基づいて、画素ライン単位で、オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部からライン画像を読み出す読出タイミングを調節可能であり、読み出されたライン画像を表示部に供給可能である。

本開示の一実施の形態における第１の表示装置、第２の表示装置、第１の表示制御装置、および第２の表示制御装置では、表示部は、観察対象に重ねて画像を表示可能に構成される。この表示部の表示領域におけるオブジェクト画像の水平方向の表示位置は、画素ライン単位で調節される。

本開示の一実施の形態に係る表示装置の一構成例を表すブロック図である。図１に示した表示装置の表示領域において観察される画像の一例を表す説明図である。観察対象と表示装置との間の相対的な位置関係の一例を表す説明図である。図１に示した表示装置の表示領域において観察される画像の他の一例を表す説明図である。図１に示した表示装置の一動作例を表す説明図である。図１に示した表示装置の一動作例を表す他の説明図である。図１に示した表示装置の他の動作例を表す説明図である。図１に示した表示装置の他の動作例を表す他の説明図である。図１に示した表示装置の表示領域において観察される画像の他の一例を表す説明図である。比較例に係る表示装置の表示領域において観察される画像の一例を表す説明図である。変形例に係る表示装置の一構成例を表すブロック図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

＜実施の形態＞
［構成例］
図１は、一実施の形態に係る表示装置（表示装置１）の一構成例を表すものである。表示装置１は、実空間上の物体や人などの観察対象に重ねて画像を表示可能に構成され、例えば、スマートグラスに適用される。なお、これに限定されるものではなく、例えば、自動車などの車両に適用してもよい。例えば、車両に適用する場合には、車両のフロントガラスに透過型の表示デバイス（いわゆるシースルーディスプレイ）を張り付けてもよいし、車両のフロントガラスに画像を投影してもよい。

表示装置１は、この例では、いわゆるシースルーディスプレイを含んで構成される。表示装置１におけるフレームレートは、例えば、６０Ｈｚである。表示装置１は、表示領域Ｄにおいて、シースルーディスプレイの向こう側に実在する観察対象の近くに、その観察対象についての情報を含むオブジェクト画像Ｐobjを表示する。すなわち、実空間の観察対象およびオブジェクト画像Ｐobjは、互いに重畳され、表示装置１のユーザＵにより観察される。

図２は、表示装置１の表示領域ＤにおいてユーザＵにより観察される画像の一例を表すものである。この図２は、観察対象である人物Ａと、オブジェクト画像Ｐobjとを含んでいる。人物Ａは、この例では、表示装置１の向こう側において静止しており、ユーザＵは、この表示装置１を介して、この実空間における人物Ａを観察する。表示装置１は、この人物Ａの位置（位置Ｂ１）に対応する位置に、オブジェクト画像Ｐobjに含まれる複数のライン画像Ｌを上から順に描画し始める。この例では、オブジェクト画像Ｐobjは、左下の点Ｐが人物Ａの顔の近くに位置するように配置される。これにより、ユーザＵは、実空間の観察対象を直接観察するとともに、その観察対象についての情報を把握することができるようになっている。

また、表示装置１は、例えば表示装置１が移動することにより、表示領域Ｄ内における観察対象の位置が変化した場合には、その観察対象の位置の変化に応じて、オブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節するようになっている。

図３は、表示装置１が移動する際のユーザＵと表示装置１との相対的な位置関係の一例を表すものである。図４は、表示装置１の表示領域ＤにおいてユーザＵにより観察される画像の一例を表すものである。この例では、図３に示したように、表示装置１のユーザＵは、表示装置１とともに右方向に移動速度Ｖで移動する。なお、この例では、ユーザＵが移動したが、これに限定されるものではなく、ユーザＵが顔の向きをずらした場合も同様である。この例では、説明の便宜上、移動速度Ｖは、ある一定の（constant）速度である。これにより、ユーザＵにより観察される画像では、図４に示したように、観察対象である人物Ａは、左方向に一定の速度で移動する。表示装置１は、この人物Ａの位置の変化に応じて、オブジェクト画像Ｐobjの表示位置を画素ライン単位で調節する。具体的には、この例では、表示装置１は、人物Ａが位置Ｂ１にいるときに、オブジェクト画像Ｐobjに含まれる複数のライン画像Ｌを上から順に描画し始める。そして、表示装置１は、表示領域Ｄにおける人物Ａの位置Ｂ１から位置Ｂ２への移動に応じて、ライン画像Ｌの描画位置を徐々に左にシフトさせる。その結果、オブジェクト画像Ｐobjは、左下の点Ｐ１は左上の点Ｏ１よりも左に位置するように変形して表示される。この左下の点Ｐ１は、人物Ａの顔の近くに位置する。これにより、表示装置１では、後述するように、ユーザが違和感を感じるおそれを低減することができるようになっている。

表示装置１は、撮像部１１と、画像解析部１２と、オブジェクト生成部１３と、メモリ１４と、描画位置算出部１５と、加速度センサ１６と、表示制御部２０と、表示部１７とを備えている。画像解析部１２、オブジェクト生成部１３、メモリ１４、描画位置算出部１５、および表示制御部２０は、例えば、半導体回路により構成される。表示装置１における処理は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。

撮像部１１は、実空間上の物体や人などを撮像することにより、撮像画像を生成するように構成され、例えば、ＣＭＯＳ（complementary metal oxide semiconductor）イメージセンサを含んで構成される。

画像解析部１２は、撮像部１１により生成された撮像画像に基づいて画像解析処理を行うことにより、撮像画像に含まれる観察対象を特定し、特定された観察対象についての情報を生成するように構成される。画像解析部１２は、例えば、インターネットを介してサーバから供給されたデータに基づいて、特定された観察対象についての情報を生成するようになっている。

オブジェクト生成部１３は、画像解析部１２における処理結果に基づいて、特定された観察対象についての情報を含むオブジェクト画像Ｐobjを生成するように構成される。そして、オブジェクト生成部１３は、生成したオブジェクト画像Ｐobjをメモリ１４に供給するとともに、オブジェクト画像Ｐobjのサイズについての情報（サイズ情報ＩＮＦＳ）を描画位置算出部１５に供給するようになっている。

メモリ１４は、オブジェクト生成部１３が生成したオブジェクト画像Ｐobjを記憶可能に構成される。メモリ１４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）を含んで構成される。メモリ１４に記憶されたオブジェクト画像Ｐobjは、表示制御部２０からの指示に基づいて読みだされるようになっている。

描画位置算出部１５は、画像解析部１２における処理結果、およびオブジェクト生成部１３から供給されたサイズ情報ＩＮＦＳに基づいて、表示部１７の表示領域Ｄにおける、オブジェクト画像Ｐobjの左上の点Ｏの座標についての情報（原点情報ＩＮＦＯ）を生成するように構成される。そして、描画位置算出部１５は、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳを、表示制御部２０に供給するようになっている。

加速度センサ１６は、表示装置１の加速度を検出するように構成される。

表示制御部２０は、メモリ１４からオブジェクト画像Ｐobjを読み出し、読み出したオブジェクト画像Ｐobjを表示部１７に供給するように構成される。表示制御部２０は、オフセット算出部２１と、座標カウンタ２２と、演算部２３と、レジスタ２４と、読出部２５とを有している。

オフセット算出部２１は、加速度センサ１６による検出結果に基づいて、表示装置１の移動速度Ｖを算出し、その移動速度Ｖに基づいて、オフセット値ＯＦＳを算出するように構成される。表示装置１は、このオフセット値ＯＦＳに基づいて、表示領域Ｄにおける複数のライン画像Ｌを水平方向にシフトさせるようになっている。

座標カウンタ２２は、表示部１７の表示領域Ｄにおける座標ｘ，ｙを生成するように構成される。図２に示したように、表示部１７の表示領域Ｄにおける左上の座標は（０，０）であり、右上の座標は（Ｘ，０）であり、左下の座標は（０，Ｙ）であり、右下の座標は（Ｘ，Ｙ）である。座標カウンタ２２は、表示部１７の表示領域Ｄにおける左上から、画素ライン単位で、座標ｘ，ｙを生成する。具体的には、座標カウンタ２２は、まず、表示部１７の表示領域Ｄにおける最も上の画素ラインにおいて、左から順に（０，０），（１，０），（２，０），…，（Ｘ，０）のように座標ｘ，ｙを生成する。次に、座標カウンタ２２は、次の画素ラインにおいて、左から順に（０，１），（１，１），（２，１），…，（Ｘ，１）のように座標ｘ，ｙを生成する。これ以降についても同様である。

演算部２３は、オフセット算出部２１により生成されたオフセット値ＯＦＳ、および座標カウンタ２２により生成された座標ｘ，ｙに基づいて、以下の式を用いて、座標ｘ１を生成するように構成される。
演算部２３は、この式ＥＱ１を用いて、座標ｙが取り得る範囲にわたりオフセット値ＯＦＳを積算することにより、座標ｘ１を生成する。言い換えれば、演算部２３は、座標ｙの取り得る範囲にわたり移動速度Ｖを積算することにより座標ｘ１を生成する。座標ｘ１，ｙは、読出部２５に供給されるようになっている

レジスタ２４は、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳを記憶するように構成される。

読出部２５は、座標ｘ１，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域内の座標である場合に、座標ｘ１，ｙに基づいて、メモリ１４からオブジェクト画像Ｐobjについての画像情報を読み出すように構成される。具体的には、読出部２５は、座標ｘ１，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域Ｓ内である場合に、座標ｘ１，ｙに基づいてアドレスＡＤＲを生成する。メモリ１４は、記憶するオブジェクト画像Ｐobjに含まれる、このアドレスＡＤＲに応じた画像情報を、データＤＡＴＡとして読出部２５に供給する。読出部２５は、アドレスＡＤＲを用いて、画素単位で画像情報を指定してもよいし、サブ画素単位で画像情報を指定してもよいし、複数の画素単位で画像情報を指定してもよい。そして、読出部２５は、読みだした画像情報を、読み出した順に、表示部１７に供給するようになっている。

表示部１７は、透過型の表示デバイス（いわゆるシースルーディスプレイ）であり、読出部２５により読み出されたオブジェクト画像Ｐobjについての画像情報に基づいて、オブジェクト画像Ｐobjを表示するように構成される。

ここで、表示部１７は、本開示における「表示部」の一具体例に対応する。表示制御部２０は、本開示における「表示制御部」の一具体例に対応する。加速度センサ１６は、本開示における「加速度センサ」の一具体例に対応する。メモリ１４は、本開示における「第１の記憶部」の一具体例に対応する。

［動作および作用］
続いて、本実施の形態の表示装置１の動作および作用について説明する。

（全体動作概要）
まず、図１を参照して、表示装置１の全体動作概要を説明する。撮像部１１は、実空間上の物体や人などを撮像することにより撮像画像を生成する。画像解析部１２は、撮像部１１により生成された撮像画像に基づいて画像解析処理を行うことにより、撮像画像に含まれる観察対象を特定し、特定された観察対象についての情報を生成する。オブジェクト生成部１３は、画像解析部１２における処理結果に基づいて、特定された観察対象についての情報を含むオブジェクト画像Ｐobjを生成する。メモリ１４は、オブジェクト生成部１３が生成したオブジェクト画像Ｐobjを記憶する。描画位置算出部１５は、画像解析部１２における処理結果、およびオブジェクト生成部１３から供給されたサイズ情報ＩＮＦＳに基づいて、表示部１７の表示領域Ｄにおける、オブジェクト画像Ｐobjの左上の点Ｏの座標についての情報（原点情報ＩＮＦＯ）を生成する。そして、描画位置算出部１５は、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳを、表示制御部２０に供給する。

加速度センサ１６は、表示装置１の加速度を検出する。表示制御部２０のオフセット算出部２１は、加速度センサ１６による検出結果に基づいて、表示装置１の移動速度Ｖを算出し、その移動速度Ｖに基づいてオフセット値ＯＦＳを算出する。座標カウンタ２２は、表示部１７の表示領域Ｄにおける座標ｘ，ｙを生成する。演算部２３は、オフセット算出部２１により生成されたオフセット値ＯＦＳ、および座標カウンタ２２により生成された座標ｘ，ｙに基づいて、座標ｘ１を生成する。レジスタ２４は、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳを記憶するように構成される。読出部２５は、座標ｘ１，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域Ｓ内である場合に、座標ｘ１，ｙに基づいて、メモリ１４からオブジェクト画像Ｐobjについての画像情報を読み出す。表示部１７は、読出部２５により読み出されたオブジェクト画像Ｐobjについての画像情報に基づいて、オブジェクト画像Ｐobjを表示する。

（詳細動作）
次に、いくつか例をあげて、表示制御部２０の動作について詳細に説明する。

図３に示したように、表示装置１が右方向に一定の速度で移動する場合には、ユーザＵにより観察される画像では、図４に示したように、観察対象である人物Ａは、左方向に一定の速度で移動する。この場合、オフセット値ＯＦＳは、この一定の速度に応じた負の値に設定される。演算部２３は、式ＥＱ１を用いて、座標ｘ，ｙに基づいて、座標ｘ１を生成する。この例では、オフセット値ＯＦＳは負の値であるので、座標ｘ１は、座標ｘよりも大きい値に設定される。

図５，６は、表示制御部２０の一動作例を表すものである。図５において、領域Ｒ１は、座標ｘ，ｙにより表現される座標領域であり、領域Ｒ２は、座標ｘ１，ｙにより表現される座標領域である。すなわち、この例では、座標ｙの値が大きくなるほど、座標ｘ１は座標ｘよりも大きい値になり、領域Ｒ２は右にシフトしていく。

座標ｘ１，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域Ｓの領域内の座標である場合には、読出部２５は、座標ｘ１，ｙに応じたアドレスＡＤＲを生成し、メモリ１４からそのアドレスＡＤＲに応じた画像情報を読み出す。具体的には、例えば、座標ｘ１，ｙが点Ｏの座標である場合には、読出部２５は、メモリ１４からこの点Ｏにおける画像情報を読み出す。このようにして、読出部２５は、メモリ１４から、オブジェクト画像Ｐobjに含まれる複数のライン画像Ｌについての画像情報を順次読み出す。

このように、領域Ｒ１から領域Ｒ２に座標が変換されるので、領域Ｒ２における左端から点Ｏまでの水平方向の距離Ｗ２は、領域Ｒ１における左端から点Ｏまでの水平方向の距離Ｗ１よりも短い。よって、読出部２５は、より早いタイミングで、点Ｏにおける画像情報を読み出す。同様に、領域Ｒ２における左端から領域Ｓの左下の点Ｐまでの水平方向の距離Ｗ４は、領域Ｒ１における左端から点Ｐまでの水平方向の距離Ｗ３よりも短い。よって、読出部２５は、より早いタイミングで、点Ｐにおける画像情報を読み出す。

これにより、図６に示したように、ライン画像Ｌの描画位置は、座標ｙが大きくなるほど、この例では徐々に左にシフトする。具体的には、表示部１７の表示領域Ｄにおいて、オブジェクト画像Ｐobjの左上の点Ｏ１は、左端から距離Ｗ２の位置に配置され、オブジェクト画像Ｐobjの左下の点Ｐ１は、左端から距離Ｗ４の位置に配置される。その結果、この例では、オブジェクト画像Ｐobjの形状は、元の形状である長方形から変化し、この例では平行四辺形になる。このように、表示装置１は、ライン画像Ｌを水平方向にずらすことにより、オブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節する。これにより、図４に示したように、オブジェクト画像Ｐobjは、左下の点Ｐ１が人物Ａの顔の近くに位置するように配置される。

また、例えば、表示装置１が、フレーム期間の途中で右方向に移動を開始した場合には、ユーザＵにより観察される画像では、図４に示したように、観察対象である人物Ａは、表示領域Ｄにおいて、フレーム期間の途中で左方向に移動を開始する。この場合、オフセット値ＯＦＳは、フレーム期間の途中までは“０”（ゼロ）であり、フレーム期間の途中以降において、移動速度に応じた負の値に設定される。演算部２３は、式ＥＱ１を用いて、座標ｘ，ｙに基づいて、座標ｘ１を生成する。

図７，８は、表示制御部２０の一動作例を表すものである。図７に示したように、この例では、フレーム期間の途中で表示装置１が移動を開始しているので、フレーム期間の途中から、座標ｘ１は座標ｘよりも大きい値になり、領域Ｒ２は右にシフトしていく。この例では、領域Ｒ２における左端から領域Ｓの点Ｏまでの水平方向の距離Ｗ６は、領域Ｒ１における左端から領域Ｓの点Ｏまでの水平方向の距離Ｗ５と同じである。一方、領域Ｒ２における左端から領域Ｓの左下の点Ｐまでの水平方向の距離Ｗ８は、領域Ｒ１における左端から点Ｐまでの水平方向の距離Ｗ７よりも短い。よって、読出部２５は、より早いタイミングで、点Ｐにおける画像情報を読み出す。

これにより、図８に示したように、表示部１７の表示領域Ｄにおいて、オブジェクト画像Ｐobjの左上の点Ｏ１は、左端から距離Ｗ６の位置に配置され、オブジェクト画像Ｐobjの左下の点Ｐ１は、左端から距離Ｗ８の位置に配置される。その結果、この例では、オブジェクト画像Ｐobjの形状は、元の形状である長方形から変化する。このように、表示装置１は、ライン画像Ｌを水平方向にずらすことにより、オブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節する。これにより、図９に示したように、オブジェクト画像Ｐobjは、左下の点Ｐ１が人物Ａの顔の近くに位置するように配置される。

このように、表示装置１は、オブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節する。具体的には、表示装置１は、表示領域Ｄにおける、観察対象と、オブジェクト画像Ｐobjに含まれるライン画像Ｌとの間の水平方向における相対的な位置関係を維持するように、そのライン画像Ｌの表示位置を調節する。これにより、表示装置１では、例えばユーザＵが顔の向きをずらした場合に、違和感を感じるおそれを低減することができる。

すなわち、例えば、このようにオブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節しない場合には、表示領域Ｄにおいて観察対象が移動すると、観察対象とオブジェクト画像Ｐobjとの間の相対的な位置関係が変化してしまう。すなわち、この場合には、例えば、図１０に示すように、観察対象である人物Ａの位置Ｂ１に応じた位置でオブジェクト画像Ｐobjの描画が開始された後に、人物Ａが左に移動すると、オブジェクト画像Ｐobjは、図１０に示したように、そのままの位置で描画され続けるので、人物Ａおよびオブジェクト画像Ｐobjは、一旦離れていく。そして、次のフレームにおいて、その時の人物Ａの位置（例えば位置Ｂ２）に応じた位置でオブジェクト画像Ｐobjの描画が開始される。そして、人物Ａが引き続き左に移動すると、オブジェクト画像Ｐobjは、そのままの位置で描画され続けるので、人物Ａおよびオブジェクト画像Ｐobjは、一旦離れていく。そして、次のフレームにおいて、その時の人物Ａの位置に応じた位置でオブジェクト画像Ｐobjの描画が開始される。このように、人物Ａおよびオブジェクト画像Ｐobjは近接と離間を繰り返す。これにより、ユーザＵは違和感を感じるおそれがある。

一方、表示装置１では、オブジェクト画像Ｐobjの表示位置を、画素ライン単位で調節するようにしたので、図４に示したように、人物Ａおよびオブジェクト画像Ｐobjは近接し続けることができる。その結果、表示装置１では、ユーザＵが、違和感を感じるおそれを低減することができる。

［効果］
以上のように本実施の形態では、オブジェクト画像の表示位置を画素ライン単位で調節するようにしたので、ユーザが違和感を感じるおそれを低減することができる。

［変形例１］
上記実施の形態では、演算部２３が座標ｘを座標ｘ１に変換し、読出部２５が座標（ｘ１，ｙ）に基づいてメモリ１４からオブジェクト画像Ｐobjを読み出したが、これに限定されるものではない。以下に、本変形例について詳細に説明する。

図１１は、本変形例に係る表示装置２の一構成例を表すものである。表示装置２は、表示制御部３０を備えている。表示制御部３０は、読出部３５と、演算部３６と、ラインメモリ３７とを有している。

読出部３５は、座標ｘ，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域内の座標である場合に、座標ｘ，ｙに基づいて、メモリ１４からオブジェクト画像Ｐobjについての画像情報を読み出すように構成される。具体的には、読出部３５は、座標ｘ，ｙが、原点情報ＩＮＦＯおよびサイズ情報ＩＮＦＳが示す領域Ｓ内である場合に、座標ｘ，ｙに基づいてアドレスＡＤＲを生成する。メモリ１４は、記憶するオブジェクト画像Ｐobjに含まれる、このアドレスＡＤＲに応じた画像情報を、データＤＡＴＡとして読出部３５に供給する。そして、読出部３５は、読みだした画像情報を、読み出した順に、ラインメモリ３７に供給するようになっている。

演算部３６は、オフセット算出部２１により生成されたオフセット値ＯＦＳ、および座標カウンタ２２により生成された座標ｙに基づいて、以下の式を用いて、座標ｘ２を生成するように構成される。
そして、座標ｘ２は、ラインメモリ３７に供給されるようになっている

ラインメモリ３７は、例えば２ライン分の画像情報を記憶可能に構成される。ラインメモリ３７は、読出部３５から供給された画像情報を一旦記憶するとともに、座標ｘ２に基づいて、記憶された画像情報を読み出し、読みだした画像情報を、読み出した順に、表示部１７に供給するようになっている。

ここで、表示制御部３０は、本開示における「表示制御部」の一具体例に対応する。ラインメモリ３７は、本開示における「第２の記憶部」の一具体例に対応する。

例えば、図３に示したように、表示装置１が右方向に一定の速度で移動する場合には、ユーザＵにより観察される画像では、図４に示したように、観察対象である人物Ａは、左方向に一定の速度で移動する。この場合、オフセット値ＯＦＳは、この一定の速度に応じた負の値に設定される。演算部３６は、式ＥＱ２を用いて、座標ｙに基づいて、座標ｘ２を生成する。この例では、オフセット値ＯＦＳは負の値であるので、座標ｘ２もまた負の値に設定される。座標ｘ２が負になると、ラインメモリ３７は、より早いタイミングで画像情報を読み出し、読み出した画像情報を表示部１７に供給する。これにより、図６に示したように、ライン画像Ｌの描画位置は、左にシフトする。

以上、実施の形態および変形例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。

例えば、上記の各実施の形態では、１つのオブジェクト画像Ｐobjを表示したが、これに限定されるものではなく、複数のオブジェクト画像Ｐobjを表示してもよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術は以下のような構成とすることができる。以下の構成の本技術によれば、ユーザが違和感を感じるおそれを低減することができる。

（１）観察対象に重ねて画像を表示可能であり、オブジェクト画像を表示可能な表示部と、
前記表示部の表示領域における前記オブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部と
を備えた表示装置。
（２）前記表示制御部は、前記表示領域における前記観察対象と前記オブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、前記表示位置を前記画素ライン単位で調節可能である
前記（１）に記載の表示装置。
（３）前記表示装置の動きを検出可能であり、検出結果に基づいて動き情報を生成可能なセンサをさらに備え、
前記表示制御部は、前記動き情報に基づいて前記ライン画像を表示すべき位置を調節することにより、前記オブジェクト画像の前記表示位置を前記画素ライン単位で調節可能である
前記（２）に記載の表示装置。
（４）前記表示制御部は、前記動き情報に基づいて、前記表示領域における前記観察対象の水平方向における速度を求めることが可能であり、前記速度に基づいて前記ライン画像を表示すべき位置を調節可能である
前記（３）に記載の表示装置。
（５）前記表示制御部は、前記画素ライン単位で前記速度を積算することが可能であり、その積算結果に基づいて前記ライン画像を表示すべき位置を調節することが可能である
前記（４）に記載の表示装置。
（６）前記オブジェクト画像を記憶可能な第１の記憶部をさらに備え、
前記表示制御部は、水平方向の座標を指示する第１の座標および垂直方向の座標を指示する第２の座標を生成可能であり、前記動き情報、前記第１の座標、および前記第２の座標に基づいて前記第１の座標を補正可能であり、前記第２の座標および補正された前記第１の座標に基づいて前記第１の記憶部から前記オブジェクト画像を読み出すことが可能であり、読み出された前記オブジェクト画像を前記表示部に供給可能である
前記（３）から（５）のいずれかに記載の表示装置。
（７）前記オブジェクト画像を記憶可能な第１の記憶部をさらに備え、
前記表示制御部は、前記動き情報に基づいて、前記第１の記憶部から前記オブジェクト画像に含まれる前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
前記（３）から（５）のいずれかに記載の表示装置。
（８）前記表示制御部は、前記オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部と、水平方向の座標を指示する第１の座標および垂直方向の座標を指示する第２の座標を生成可能であり、前記動き情報および前記第２の座標に基づいて、前記第２の記憶部から前記ライン画像を読み出すことが可能であり、読み出された前記ライン画像を前記表示部に供給可能である
前記（３）から（５）のいずれか記載の表示装置。
（９）前記表示制御部は、前記オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部を有し、前記動き情報に基づいて、前記第２の記憶部から前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
前記（３）から（５）のいずれかに記載の表示装置。
（１０）観察対象に重ねて画像を表示可能な表示部の表示領域に表示されたオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部を備えた
表示制御装置。

本出願は、日本国特許庁において２０１８年１１月２８日に出願された日本特許出願番号２０１８－２２２３４５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims

観察対象に重ねて画像を表示可能であり、オブジェクト画像を表示可能な表示部と、
前記表示部の表示領域における前記オブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部と、
自装置の動きを検出可能であり、検出結果に基づいて動き情報を生成可能なセンサと、
前記オブジェクト画像を記憶可能な第１の記憶部と
を備え、
前記表示制御部は、
前記表示領域における前記観察対象と前記オブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、前記表示位置を前記画素ライン単位で調節可能であり、
前記動き情報に基づいて前記ライン画像を表示すべき位置を調節することにより、前記オブジェクト画像の前記表示位置を前記画素ライン単位で調節可能であり、
前記動き情報に基づいて、前記画素ライン単位で、前記第１の記憶部から前記オブジェクト画像に含まれる前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
表示装置。
前記表示制御部は、水平方向の座標を指示する第１の座標および垂直方向の座標を指示する第２の座標を生成可能であり、前記動き情報、前記第１の座標、および前記第２の座標に基づいて前記第１の座標を補正可能であり、前記第２の座標および補正された前記第１の座標に基づいて前記第１の記憶部から前記オブジェクト画像を読み出すことが可能であり、読み出された前記オブジェクト画像を前記表示部に供給可能である
請求項１に記載の表示装置。
前記表示制御部は、前記動き情報に基づいて、前記表示領域における前記観察対象の水平方向における速度を求めることが可能であり、前記速度に基づいて前記ライン画像を表示すべき位置を調節可能である
請求項１に記載の表示装置。
前記表示制御部は、前記画素ライン単位で前記速度を積算することが可能であり、その積算結果に基づいて前記ライン画像を表示すべき位置を調節することが可能である
請求項３に記載の表示装置。
観察対象に重ねて画像を表示可能であり、オブジェクト画像を表示可能な表示部と、
前記表示部の表示領域における前記オブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部と、
自装置の動きを検出可能であり、検出結果に基づいて動き情報を生成可能なセンサと
を備え、
前記表示制御部は、
前記表示領域における前記観察対象と前記オブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、前記表示位置を前記画素ライン単位で調節可能であり、
前記動き情報に基づいて前記ライン画像を表示すべき位置を調節することにより、前記オブジェクト画像の前記表示位置を前記画素ライン単位で調節可能であり、
前記オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部を有し、前記動き情報に基づいて、前記画素ライン単位で、前記第２の記憶部から前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
表示装置。
前記表示制御部は、水平方向の座標を指示する第１の座標および垂直方向の座標を指示する第２の座標を生成可能であり、前記動き情報および前記第２の座標に基づいて、前記第２の記憶部から前記ライン画像を読み出すことが可能であり、読み出された前記ライン画像を前記表示部に供給可能である
請求項５に記載の表示装置。
観察対象に重ねて画像を表示可能な表示部の表示領域に表示されたオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部を備え、
前記表示制御部は、
前記表示領域における前記観察対象と前記オブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、前記表示位置を前記画素ライン単位で調節可能であり、
前記表示部を備えた表示装置の動きを検出可能なセンサにより生成された動き情報に基づいて前記ライン画像を表示すべき位置を調節することにより、前記オブジェクト画像の前記表示位置を前記画素ライン単位で調節可能であり、
前記動き情報に基づいて、前記画素ライン単位で、前記オブジェクト画像を記憶可能な第１の記憶部から前記オブジェクト画像に含まれる前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
表示制御装置。
観察対象に重ねて画像を表示可能な表示部の表示領域に表示されたオブジェクト画像の水平方向の表示位置を、画素ライン単位で調節可能な表示制御部を備え、
前記表示制御部は、
前記表示領域における前記観察対象と前記オブジェクト画像に含まれるライン画像との間の水平方向における相対的な位置関係を維持するように、前記表示位置を前記画素ライン単位で調節可能であり、
前記表示部を備えた表示装置の動きを検出可能なセンサにより生成された動き情報に基づいて前記ライン画像を表示すべき位置を調節することにより、前記オブジェクト画像の前記表示位置を前記画素ライン単位で調節可能であり、
前記動き情報に基づいて、前記画素ライン単位で、前記オブジェクト画像に含まれる１または複数のライン画像を記憶可能な第２の記憶部から前記ライン画像を読み出す読出タイミングを調節可能であり、読み出された前記ライン画像を前記表示部に供給可能である
表示制御装置。