JP5123747B2 - 画像表示装置およびその制御方法 - Google Patents

画像表示装置およびその制御方法 Download PDF

Info

Publication number
JP5123747B2
JP5123747B2 JP2008159693A JP2008159693A JP5123747B2 JP 5123747 B2 JP5123747 B2 JP 5123747B2 JP 2008159693 A JP2008159693 A JP 2008159693A JP 2008159693 A JP2008159693 A JP 2008159693A JP 5123747 B2 JP5123747 B2 JP 5123747B2
Authority
JP
Japan
Prior art keywords
image
correction
partial images
unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008159693A
Other languages
English (en)
Other versions
JP2010004176A (ja
JP2010004176A5 (ja
Inventor
弘市 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008159693A priority Critical patent/JP5123747B2/ja
Priority to US12/482,849 priority patent/US8248437B2/en
Publication of JP2010004176A publication Critical patent/JP2010004176A/ja
Publication of JP2010004176A5 publication Critical patent/JP2010004176A5/ja
Application granted granted Critical
Publication of JP5123747B2 publication Critical patent/JP5123747B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)

Description

本発明は、複数の画像表示素子に表示された原画の一部が重なるようにして一つの合成画像に合成して観察者に観察画像を提供する光学系を有する画像表示装置に関し、特にその光学系の歪みを補正する技術に関する。
近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実技術、いわゆるMR(Mixed Reality)技術が知られている。このようなMR技術や仮想現実技術では、HMD(Head Mounted Display)を用いて、復号現実画像や仮想現実画像を提供することが多い。例えば、MR技術の1つに、ビデオシースルーHMDを利用して、復号現実画像を使用者に提示する技術がある。即ち、HMD使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にCG(ComputerGraphics)を重畳した画像をHMDの使用者が観察できる用に表示する。
図20はHMD使用者がHMD900を装着している時の図である。HMD使用者はHMD900を用いることでMR空間を体験することが可能となる。
HMDの観察光学系として、臨場感を高めるために広画角の画像表示が可能なものが求められる。また、頭部に装着した際に疲労感を与えないような軽量かつ小型のものが求められる。軽量・小型であり広画角の画像表示が可能な観察光学系を実現するためには、表示素子が大きい方が望ましい。しかし、従来のHMDの観察光学系の構成で広画角化を実現できるような大型の表示素子は汎用品が少ない。そこで汎用品が多い小型の表示素子を複数用いて、それぞれ異なる視野に対応する画像を原画として表示させて、それら複数の原画を一つの画像に合成して観察させる観察光学系がある。このような観察光学系による画像の表示形態をタイリング表示という。
例えば、複数の面からなるプリズムを用いて、光路を光学素子内で複数回反射して折りたたむことにより、光学系の最小化を目指したものとして5つの曲面からなる光学素子を用いたものが提案されている。3面からなるプリズムを、視軸に関して対称になるように接合したような5面からなる形状をしている。2枚の表示素子からの画像光を、プリズム内の各々のエリアで複数回内部反射させて折りたたみ、画角の半分ずつの画像光を2つのエリアで分担して眼球に導いている。図21は、特許文献1に記載の光学系について説明する図である。901、902はタイリング表示用の分割画像を表示するための第1、および第2の表示パネル、903、904は第1、および第2の表示パネル901、902の各表示画像を観察位置に導くための自由曲面プリズムを示している。
観察光学系が903、904と複数存在するため、観察光学系903と904の個体差や、観察光学系が異なった場合、観察光学系で発生する歪みの補正を表示パネル毎に行う必要がある。表示パネル(または装置)毎の補正を行うために、表示パネル毎に補正回路を設けて補正を行う技術が、特許文献2に記載されている。また特許文献3では、1つの補正回路で、複数の表示パネルの補正を行う技術が記載されている。
特開平11−326820号公報 特開平06−178244号公報 特開2002−072359号公報
しかしながら、特許文献2では、表示パネル毎の補正回路を設ける必要があるため、回路規模を小さくするのが困難であった。
また、特許文献3では、表示パネルの補正を行う前に1枚の画像を全てバッファに保存し、この後、表示パネル毎に画像を分割して、分割した画像毎に一つの補正回路で補正を行っている。そのため、特許文献3の方法では、HMDが画像を受信してから実際に表示されるまでの遅延が大きくなってしまう。特に、MR技術においては、HMDにおける表示までの遅延時間を短くする必要があるため、遅延を極力少なくする必要があり、上記方法はこの点において不利である。
以上のように、特許文献2に記載された技術では、表示パネル毎に補正回路を設けると、回路規模を小さくするのが困難であった。また、特許文献3に記載された技術では、分割前に1度、1枚分の全画像をバッファに保存するため、表示までの遅延を少なくすることが困難であった。
本発明は、上記の課題に鑑みてなされたものであり、分割された複数の画像を共通の補正回路で補正可能にすると共に、表示までの遅延時間を低減した画像表示装置及びその制御方法を提供することを目的とする。
上記目的を達成するための本発明の一態様による画像表示装置は以下の構成を備える。すなわち、
画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置であって、
前記画像に対応する画像信号を受信する受信手段と、
前記受信手段で受信した画像信号を部分画像別にバッファに保持する保持手段と、
前記複数の部分画像の各々に対して対応する表示部の光学系に応じた補正が加わるように前記画像信号を補正する補正手段と、
前記バッファに保持されている画像信号が構成する部分画像毎に、前記補正手段による補正処理の速度を変更する制御手段とを備える。
また、上記目的を達成するための本発明の一態様による画像表示装置は以下の構成を備える。すなわち、
元の画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置であって、
前記元の画像を受信する受信手段と、
前記元の画像から得られる複数の部分画像の全ライン数が、前記元の画像の全ライン数となるように、受信した前記元の画像の解像度を変換する第1変換手段と、
前記第1変換手段により解像度変された画像から得られる複数の部分画像の各々について、対応する表示部の光学系に応じた補正が加わるように補正処理を行う補正手段と、
前記補正手段で補正された複数の部分画像の各々の解像度を、前記補正された複数の部分画像の全ライン数が前記元の画像から得られる複数の部分画像の全ライン数となるように変換する第2変換手段と、
前記第2変換手段により解像度変換された後の複数の部分画像を、前記複数の表示部に表示する表示手段とを備える。
また、上記目的を達成するための本発明の他の態様による画像表示装置の制御方法は以下の工程を有する。すなわち、
画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置の制御方法であって、
前記画像に対応する画像信号を受信する受信工程と、
前記受信工程で受信した画像信号を部分画像別にバッファに保持する保持工程と、
前記複数の部分画像の各々に対して対応する表示部の光学系に応じた補正が加わるように前記画像信号を補正する補正工程と、
前記バッファに保持されている画像信号が構成する部分画像毎に、前記補正工程による補正処理の速度を変更する制御工程とを有する。
また、上記目的を達成するための本発明の他の態様による画像表示装置の制御方法は以下の工程を有する。すなわち、
元の画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置の制御方法であって、
前記元の画像を受信する受信工程と、
前記元の画像から得られる複数の部分画像の全ライン数が、前記元の画像の全ライン数となるように、受信した前記元の画像の解像度を変換する第1変換工程と、
前記第1変換工程で解像度変された画像から得られる複数の部分画像の各々について、対応する表示部の光学系に応じた補正が加わるように補正処理を行う補正工程と、
前記補正工程で補正された複数の部分画像の各々の解像度を、前記補正された複数の部分画像の全ライン数が前記元の画像から得られる複数の部分画像の全ライン数となるように変換する第2変換工程と、
前記第2変換工程で解像度変換された後の複数の部分画像を、前記複数の表示部に表示する表示工程とを有する。
本発明によれば、分割された複数の画像を共通の補正回路で補正可能にすると共に、表示までの遅延時間を低減することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
<第1実施形態>
第1実施形態では、タイリング光学系を有するHMDにおいて、画角を分割してタイリング表示を行う各表示素子に表示する画像の補正方法について説明する。上述したように、タイリング光学系では、隣接する部分画像が重複する領域を有する、複数の部分画像に画像が分割され、複数の部分画像のそれぞれが複数の表示部に表示される。そして、これら複数の表示部に表示された複数の部分画像を観察者に1つの画像として観察させる。第1実施形態では、垂直方向に2つの表示素子で分割してタイリング表示を行う事を前提とする。即ち、部分画像は上下方向に隣接する。
図1は、第1実施形態に係る頭部装着型の画像表示装置(ビデオシースルーHMD)におけるシステム構成を示すブロック図である。第1実施形態のHMD100によれば、タイリング表示を実施しながら、片眼に対して補正部は1つでよく、かつ表示までの遅延を少なくして画像を表示することができる。
HMD100は、HMDに表示する画像を撮像する撮像素子101L、101R、撮像画像とCG画像の合成画像を表示する表示部102L、102R、画像や信号を送受信する送受信I/F106を有する。即ち、送受信I/F106は、表示すべき画像に対応する画像信号を受信する。また、HMD100は、送受信I/F106を介して受信した画像の一部を保存するバッファ部103L、103R、受信した画像を表示するための補正を行う補正部104L、104Rを有する。例えば、補正部104L,104Rは、それぞれ歪み補正、色収差補正の少なくともいずれかを含む補正を行う。更に、HMD100は、上述した各構成を制御する制御部105を備える。表示部102Lは、表示素子1021L、1022Lから構成されており、表示素子1021L、1022LにはそれぞれHMD100の使用者の左眼で観察される画像の上側と下側が表示される。同様に、表示部102Rは、表示素子1021R、1022Rから構成されており、表示素子1021R、1022RにはそれぞれHMD100の使用者の右眼で観察される画像の上側と下側が表示される。
HMD100は、左眼と右眼の各画像に対して個々に処理機能を有する。図1において、左右で同じ機能を有する各部に関しては、左眼用の符号にL,右眼用の符号にRを付けている。以降の説明において、特に左眼と右眼で区別する必要がない場合は、符号L、Rを省略して数字のみで表記する。
表示素子1021、1022で表示した画像は光学系を介して、HMD100の使用者の眼に導かれる。受信した画像をそのまま表示素子で表示すると、HMD100の使用者は光学系の歪みがかかった画像を観察することになる。そのため、補正部104では、光学系を介した画像が歪まずに観察者に観察できるような補正を行う。
画像処理ユニット120は、PCやWSなどで構成される。画像処理ユニット120において、送受信I/F122は、HMD100の撮像系(撮像素子101)からのデジタル画像信号を受信し、HMD100へデジタル画像信号、データ信号を送信する。また、CG描画部121L、121Rは、受信した撮像画像とCG画像を合成し、MR画像を生成する。
HMD100は、撮像素子101L、101Rで撮像した画像を、送受信I/F106を介して画像処理ユニット120に送信する。画像処理ユニット120では受信した撮像画像に対してCG描画部121L、121RでCG画像の合成を行い、合成処理された画像をHMD100へ送信する。HMD100では画像処理ユニット120より受信した画像を、表示部102で表示する。こうして、HMD100の使用者はリアルタイムに撮像した画像へCG画像が重畳された合成画像を見ることが可能となる。
以上の構成により、ビデオシースルーHMDを装着することで、現実世界と仮想世界とがリアルタイムにシームレスに融合した複合現実世界を体験できる。
図3は、本実施形態での各表示素子への画像の表示と、その際のHMD100の使用者が観察できる画像を説明する図である。上部の画像301は垂直方向に562ラインで、上部の表示素子1021に表示される画像であり、下部の画像302は垂直方向に562ラインで、下部の表示素子1022に表示される画像である。画像301、302では同じ画像を表示する場所が100ライン存在する。つまり光学系の補正を行わない場合、この100ラインにはそれぞれの表示素子で同じ画像が表示されることになる。光学系を通すことでHMD100の使用者には、画像303のように垂直方向へ1024ラインの画像として観察される。
なお、本実施形態では、図3のように垂直方向へ均一に分割するような例で説明するが、均一に分割しなくてもよい。均一に分割しない場合、1ライン中に上側の画像と下側の画像が混在することになるが、重なり個所として処理される領域であるため、以下で説明する処理をそのまま適用しても何等問題は無い。
表示素子1021と1022では、別の光学系を通るため、表示素子1021に表示する画像301と1022に表示する画像302には、それぞれ異なった補正を行う必要がある。図2の(a)は、HMD100の補正部104L近辺の詳細ブロック図である。補正部104Lでは補正を行う補正処理部1040L、表示素子1021Lへの表示に必要な補正テーブルA1041L、表示素子1022Lへの表示に必要な補正テーブルB1042Lを有している。なお、本実施形態では、補正テーブルは補正部104Lの中にあるとして説明するが、補正部104Lの外のメモリ内にあってもよい。なお、図20の(a)では、左目用の補正系の構成を示したが、右目用の補正系の構成も同様である。
続いて、本実施形態における画像の補正処理について、図4に示すフローチャートを用いて説明する。本実施形態の説明で使用する上部の画像とは、図3の画像301の上画像と画像301の重なり個所とを含む画像を示す(上画像は上部の画像301から重なり個所を除いた画像である)。また、下部の画像とは、図3の画像302の下画像と画像302の重なり個所とを含む画像を示す(下画像は下部の画像302から重なり個所を除いた画像である)。
図4のフローチャートによって示される処理は、動画像の1フレームの画像を受信した時に開始され、画像信号の一ライン毎に実行される。なお、以下では左目用の表示系について説明するが、右目用の表示系でも同様の処理が行われる。まずステップS100において制御部105は受信した画像データが、上部の画像301の上画像に表示すべきライン内であるかを判定する。上画像である場合は、ステップS103において、制御部105の制御のもとに補正処理部1040Lは、補正テーブルA1041Lのテーブルを元に画像の補正を行う。
ステップS100において、上画像でないと判定した場合、ステップS101において、制御部105は、当該受信した画像のライン信号をバッファ部103に保存する。そして、ステップS102において、受信した画像データが重なり個所の画像であるか判定する。つまり画像301の重なり個所の画像であるかを判定する。ステップS102において重なり個所の画像であると判定された場合、ステップS103において、制御部105の制御のもと、補正処理部1040Lは、補正テーブルA1041Lのテーブルを元に画像に対して補正を行う。ステップS102において重なり個所の画像でないと判定された場合は、処理は、そのままステップS104へ進む。ステップS105以降の処理では、下部の画像302に対する補正処理を行うが、受信した下画像に対応する信号は引き続きバッファ部103Lに格納されていくのものする。
以上の処理によれば、バッファ部103Lには、下部の表示素子1022Lに表示すべき部分画像がバッファ部103に保持される。これは、受信した画像信号を部分画像別にバッファに保持するという概念である。但し、第1実施形態では、送受信I/F106による画像信号の受信の順序において先頭の部分画像(上部の画像)に対しては、受信に同期して補正処理を加えている(ステップS103)。そのため、上部の部分画像に対してはバッファを省略している。即ち、2番目以降の部分画像に対応する画像信号が、部分画像別にバッファに保持されることになり、第1実施形態で下部の画像のみがバッファにほじされることになる。
ステップS104において、制御部105は、画像301(重なり個所を含めた上部の画像)の補正が終了したかを判定する。これは、つまり表示素子1021Lへ表示する画像の補正が終了したかの判定である。上部の画像の補正が終了していないと判定された場合は、ステップS100の処理に戻る。上部の画像の補正が終了した場合は、ステップS105以降の処理を実施する。
ステップS105において、制御部105は、重なり個所を含めた下部の画像補正を当該1フレーム内の画像で初めて行うかを判定する。初めてではない場合はステップS109の処理へ遷移し、初めての場合はステップS106からS108の処理が実行される。ステップS106において、制御部105は、受信する画像のフォーマットと、重なり個所の垂直方向のライン数から、動画像中の1フレーム画像の終了までに補正を終了させるために必要となる処理クロックの周波数(クロックスピード)を計算する。なお、本フローチャートでは動画像の1フレーム毎に計算するようにしているがこれに限られるものではない。例えば、テーブルから読み出すようにしてもよいし、画像処理ユニット120との通信ネゴシエーション時に決定してもよいし、画像処理ユニット120から受信する画像フォーマットが変更した時に決定するようにしてもよい。ステップS107において、制御部105は、現在動作しているクロックスピードとステップS106で計算したクロックスピードとを比較し、クロックスピードを変更する必要があるかを判定する。ここでは、[現在動作しているクロックスピード]<[ステップS106で計算したクロックスピード]の場合にクロックスピードを変更する必要があると判定される。以下、クロックスピードを変更することを単にクロックを変更すると記載する場合もある。クロックを変更する必要があると判定した場合、ステップS108において、制御部105は、バッファ部103Lと表示素子1022Lの間のクロックスピードをステップS106で計算したクロックスピードに変更する。より具体的には、補正部104L、表示素子1022L、補正部104Lと表示素子1022Lの間、補正部104Lとバッファ部103Lの間が変更対象となる。
ここで、重なり個所のライン数による、クロック数を変更する必要性について図5を用いて説明する。図5の(a)は、受信画像と補正する画像のタイミングチャートの図である。5302は受信した1フレームの画像信号を示している。画像受信前にはフロントポーチ5301、画像受信後にはバックポーチ5303といった、画像を受信していない時間が存在する。例えば、SXGA(1280×1024)、60Hzの場合、フロントポーチ5301で1ライン、バックポーチで38ライン分の時間が存在する。重なり個所の画像については、表示素子1021Lに表示するための補正と、表示素子1022Lに表示するための補正と、2つの補正を行う必要がある。また、同じ画像エリアに対して異なる補正を行う個所が存在する。これらのため、図5の(a)の補正(A)、補正(B)のようなタイミングチャートとなり、1フレームの画像を受信する時間よりも補正処理に必要な時間の方が多くなってしまう。また、1フレームの画像の補正処理は次の画像を受信開始するまでに終了する必要がある。そのため、重なり個所のライン数によっては表示素子1022Lに表示するための補正処理を速くする必要がある。このように、制御部105は、バッファに保持されている画像信号が構成する部分画像毎に、補正部104Lによる補正処理の速度を変更することで、補正処理を規定の時間内に完了させる。
図4に戻って続きを説明する。ステップS109において、制御部105の制御のもと、補正部104Lはバッファ部103Lから画像を読み出す。そして、ステップS110において、制御部105の制御のもと、補正処理部1040Lは補正テーブルB1042Lを参照して、バッファ部103Lから読み出した画像を補正する。ステップS111において下部の画像補正が終了していない場合は、処理はステップS100に戻る。下部の画像補正が終了している場合、つまり1フレームの画像補正が終了した場合、処理はステップS112へ進む。ステップS112において、制御部105は、ステップS108で変更したクロックスピードをもとのクロックスピードに戻す。なお、ステップS103とS110において、補正処理部1040Lは補正テーブルを切替えることにより、複数の部分画像の各々に対して対応する表示部の光学系に応じた補正が加わるように画像信号を補正している。
図5の(a)では重なり部分が少ないため、フロントポーチ5301、バックポーチ5303の時間を利用することで、補正処理を切替えた後でもクロックを変更せずに処理を終了できる場合の例が示されている。これに対して、図5の(b)〜(d)では重なり個所が多いため、補正処理を切替えた後、同じクロックではフロントポーチ、バックポーチの時間を利用しても終了しない場合の例が示されている。図5の(b)は、図4のステップS108で処理クロックが変更され、1フレーム画像受信終了とほぼ同時に補正処理が終了する場合の例である。図5の(c)はバックポーチ5303の終了までに補正処理が終了するように処理クロックが変更された場合の例である。図5の(d)は、次フレームのフロントポーチ終了前までに補正処理が終了するように処理クロックが変更した場合の例である。図5の(b)〜(d)では、重なり個所を含めた下部の画像に対して補正を行う際に処理クロックを速くすることで、次のフレームを受信する前までに補正処理が終了している。図4のフローチャートのステップS108では、次フレームのフロントポーチ終了まで(次のフレームの画像を受信するまで)に処理を終了するように処理速度が変更されればよい。従って、図5の(b)、(c)、(d)のいずれのタイミングが採用されてもよい。
このように本実施形態ではバッファ部103Lはライン毎に保存しながら、読み出すためFIFO(First-In-First-Out)のようなラインバッファのようなものになる。また、本実施形態では補正部104Lがバッファ部103Lから画像を読み出すような説明をしているが、図2の(b)の切替え部201Lのようなものを用いてもよい。この場合、切替え部201Lは、補正部104Lが上部の画像301を補正処理している間は補正部104Lをa側に、下部の画像302を補正処理している間はb側に接続する。
以上のように、第1実施形態では、画像を補正する補正部の前にバッファを設け、重なり個所の幅に応じて次フレームの画像受信前に補正処理を終了するようにクロック数を変更する。これによって、片眼に対して補正部は1つでよく、かつ遅延を少なく画像を表示することができる。
<第2実施形態>
第1実施形態では、表示を上下に分割したタイリング光学系を用いた時の補正方法について説明を行った。第2実施形態では、表示を左右に分割したタイリング光学系を用いた時の補正方法について説明する。この場合、部分画像は左右方向に隣接する。
図6は第2実施形態における機能ブロック図である。図1と比べると、バッファ部103に代えて、バッファ部A107、バッファ部B108が設けられている。また、画像を左右に分割して表示を行う表示部102には、表示素子1023,1024が配されているものとする。図7は、HMD100の補正部104Lの前後における詳細構成を示すブロック図である。図2と比べると、補正部104Lは表示素子1023Lへの表示のための補正テーブルC1043L、表示素子1024Lへの表示のための補正テーブルD1044Lを有する。なお、図7では左目用の表示部102Lに関する系を示したが、右目用の表示部102Rに関する系も同様である。
図8は、第2実施形態での各表示素子への画像を表示した時と、その際のHMD100の使用者が観察する画像の例を示す図である。左部の画像401は表示素子1023に表示される画像であり、右部の画像402は表示素子1024に表示される画像である。画像401、402は重なっているライン数が100ラインの場合であり、HMD100の使用者は、これらの画像を水平ラインに1280ラインの画像として観察することになる。図8では水平方向へ均一に分割した時の例であるが、均一でなくてもよい。この場合、左部の画像と右部の画像とが混在する垂直ラインが存在することになるが、重なり個所に属するため、後述の処理に何等影響を与えないからである。
1フレームの左画像に対して全て補正を行った後、右画像を全て補正して表示を行う方法では、表示までの遅延が大きくなるため、第2実施形態ではブロック単位に区切って補正処理を行う。図9は第2実施形態における補正処理の順番を記載した例である。図9の(a)の画像410は表示素子1023に表示する画像であり、画像411は表示素子1024に表示する画像である。図9の(a)では画像を4つのブロック(部分領域)に分割したときの例であり、画像410の上半分が画像412であり、下半分が画像413である。即ち、1つの部分画像が更に2つの部分領域に分割されている。同様に、画像411の上半分が画像415であり、下半分が416である。この場合、第2実施形態では、補正を画像412、画像415、画像413、画像416の順番に実施する。
即ち、第2実施形態では、複数の部分画像の各々を、隣接する部分領域が重複する領域を有する複数の部分領域(ブロック)に分割して得られるそれら部分領域毎に補正処理を行う。ここで、複数の部分領域に対する補正処理の順番を、送受信I/F106によって受信する画像信号の順番に対応させる。
画像412を補正する際、画像413との境界部を補正するためには、画像413の一部が必要になる場合がある。図9の(a)の例では、画像414が該当個所となる。図9の(b)は画像を6つのブロックに分割した時に、画像417を補正するときに必要な画像エリアを示した例である。このように水平方向に表示素子を分割して表示を行う場合、対象エリアを補正する際には対象エリアより大きいエリアが必要となる場合がある。
画像は、1フレーム単位で受信される。そのため、図9の(a)の画像415に対して補正処理を行っている時は、画像414と画像416を受信している。このとき、画像414をバッファ部A107に、画像416をバッファ部B108に保存する。
続いて、本実施形態における画像の補正処理について、図10に示すフローチャートを用いて説明する。説明で使用する左部の画像とは、図8の画像401の左画像と重なり個所とを含む画像である(左画像は左部の画像401から重なり個所を除いた画像である)。また、右部の画像とは、図8の画像402の右画像と重なり個所とを含む画像である(右画像は右部の画像402から重なり個所を除いた画像である)。以下、左目用の表示系の動作について説明するが、右目用の表示系の動作も同様である。
図10のフローチャートは1フレームの画像の受信を開始した時に始まる。まずステップS200において制御部105は、受信した画像が重なり個所を含めた左部の画像かを判定する。左部の画像である場合、制御部105は、ステップS201において、当該画像をバッファ部A107Lに保存する。次にステップS202において、制御部105は、受信した画像が重なり個所を含めた右部の画像かを判定する。右部の画像である場合、制御部105は、ステップS203において当該画像をバッファ部B108Lに保存する。
ステップS204において、制御部105は、ブロック単位での左部の画像の処理が終了したかを判定する。終了していないと判定された場合、ステップS205において、制御部105の制御のもと、補正部104Lはバッファ部A107Lから画像を読み出し、ステップS206において補正処理部1040Lが補正テーブルC1043を参照して補正を行う。なお、ステップS205において、バッファ部A107Lから画像を読み出す際には、補正に必要な画像の全てが読み出される。例えば、補正対象が図9の(a)の画像412であり、上のブロックの画像との境界を補正する際には、画像412の処理対象の画像と画像414を読み出して補正を行う。また、図9の(b)に示される画像417の上側の境界部分が補正処理される場合は、処理対象の画像に加えて、画像418も読み出されることになる。
ステップS204でブロック単位での左部の画像の補正処理が終了していると判定した場合は、ステップS207からステップS210において処理クロックのスピードの変更を行う。なお、ステップS207からステップS210の変更については、第1実施形態の図4のクロック変更処理(ステップS105〜ステップS108)と同様であるため説明を省く。
なお、クロックスピードを決定するための処理対象のブロックへ割り当てられる処理時間は次のようにして決定できる。例えば、左部の画像については、通常のクロックスピードが用いられる場合には、
・1フレームに割り当てられた処理時間から左部の画像のために使用される処理時間を差し引き、
・その残りの処理時間を右部の画像のブロック数で割ることで右部の画像の各ブロックの処理時間を決定する。
ステップS211において、制御部105の制御のもと補正部104Lはバッファ部B108Lから画像を読出し、ステップS212において補正処理部1040Lが補正テーブルD1044Lを用いて補正を行う。バッファ部B108Lから画像を読み出す際も、ステップS205と同様、補正部104Lは、補正に必要な画像データを全て読み出す。ステップS213において、制御部105は、ブロック単位での重なり個所を含めた右部の画像の補正が終了したかを判定する。右部の画像の補正が終了したと判定された場合は、ステップS214において、制御部105はステップS210で変更したクロックを元に戻す。第2実施形態では補正部104Lがバッファ部A107L、バッファ部B108Lから画像を読み出すように説明をしているがこれに限られるものではない。例えば、図2の(b)の切替え部201Lのような構成を用いて、バッファ部A,Bへのアクセスを切り替えるようにしてもよいことは明らかである。
第1実施形態と同様に、クロック変更により、次フレームのフロントポーチ終了までに補正処理が終了すればよい。
図11は第2実施形態のフローに従った場合の、画像受信と補正処理のタイミングを示すタイミングチャートである。図11では、図9の(b)に示すように、垂直方向へ3つのブロックに分割し、かつ右側の補正処理のクロックを早くした場合の例が示されている。図11において502は受信した画像であり、504、506、508は重なり個所を含めた左部の画像の補正処理、505、507、509は重なり個所を含めた右部の画像の補正処理を示している。右側の画像に対する補正処理のクロックが早くなっているため、505、507、509の処理時間は短くなっている。図11の(a)では、クロックの変更により、1フレームの画像受信終了と、ほぼ同時刻に補正処理を終了する例が示されている。図11の(b)では、クロックの変更により、バックポーチ終了前までに補正処理を終了する例が示されている。図11の(c)では、クロックの変更により、次フレームのフロントポーチ終了前までに補正処理を終了する例が示されている。いずれも、次のフレームの画像を受信するまでに複数の部分画像の全ての補正を終えるように、補正処理の速度が変更されている。
以上のように、第2実施形態では、画像を補正する補正部の前にバッファを設け、垂直方向にブロックに分割して処理を行っている。これによって、左右に分割するような光学系を用いた場合でも片眼に対して補正部は1つでよく、かつ遅延を少なく画像を表示することができる。
<第3実施形態>
第1、第2実施形態では、表示を上下または左右へ2つに分割したタイリング光学系を用いた時の補正方法について説明を行った。第3実施形態では、表示を上下3つに分割したタイリング光学系を用いた時の補正方法について説明する。この場合、3つの部分画像が上下方向に隣接することになる。
図12は第3実施形態における機能ブロック図である。表示を上下3つに分割するため、図1と比べると表示素子、バッファ部がそれぞれ一つ追加され、表示素子1025〜1027、バッファ部D109,バッファ部C110が設けられている。図13は、HMD100における補正部104Lの前後の詳細を示すブロック図である。図2と比べると、補正テーブルが一つ追加され、補正テーブルE1045L、補正テーブルF1046L、補正テーブルG1047Lを備えた構成になっている。図13は左目用の系を示すが、右目用の系(補正部104Rの前後の詳細)も同様である。
図14は、第3実施形態での各表示素子への画像を表示した場合と、その際のHMD100の使用者が観察できる画像の例を示す図である。上部の画像600は上部の表示素子1025Lに表示される画像であり、中央部の画像601は中央部の表示素子1026Lに表示される画像であり、下部の画像602は下部の表示素子1027Lに表示される画像である。図14において、画像600及び画像602は垂直方向に362ライン、画像601は垂直方向に500ラインを有する。そして、各表示素子が表示する画像間で重なっているライン数は100ラインであり、HMD100の使用者には垂直ラインが1024ラインの1つの画像として観察される。なお、図14では、表示素子1025L、1027Lに表示する画像600と画像602の垂直方向のライン数が同じ(362ライン)であるが、これの限りではない。
続いて、第3実施形態における画像の補正処理について、図15に示すフローチャートを用いて説明する。なお、説明で使用する上部の画像とは、図14の上画像と画像600の重なり個所を含む画像を示している(上画像は上部の画像600から重なり個所を除いた画像である)。また中央部の画像とは画像601の中画像と重なり個所を含む画像である(中画像は中央部の画像601から2つの重なり個所を除いた画像である)。また、下部の画像とは画像602の下画像と重なり個所を含む画像である(下画像は下部の画像602から重なり個所を除いた画像である)。
図15のフローは1フレームの画像の受信を開始した時に始まり、画像信号の一ライン毎に実行される。まずステップS300において制御部105は受信した画像が、上画像に表示すべきライン内であるかを判定する。受信した画像が上部の画像である場合は、ステップS306において、制御部105の制御のもとに補正処理部1040Lは、補正テーブルE1045のテーブルを元に補正を行う。ステップS300において上画像でなかった場合、ステップS301において制御部105は、受信した画像が中央部の画像601に含まれる画像か否か(重なり個所または中画像であるか否か)を判定する。含まれると判定された場合、中央部の表示素子1026Lに表示する画像であるため、ステップS302においてバッファ部C110Lに当該受信した画像を保存する。次に、ステップS303において、制御部105は、受信した画像が下部の画像602(下部の画像の重なり個所または下画像)に含まれるか否かを判定する。含まれると判定された場合、ステップS304において、制御部105は、画像600(上部の画像の重なり部または上画像)に含まれるか否かを判定する。含まれると判定された場合、上部の表示素子1025Lに表示する画像であるので、ステップS306において補正部104は補正テーブルE1045Lを用いて補正を行う。
以下の場合、受信した画像は下部の表示素子1027Lに表示される画像であるため、ステップS305において、制御部105は、受信した画像をバッファ部D109Lに保存する。即ち、
・ステップS301において、受信した画像が中央部の画像601(重なり個所及び中画像)に含まれないと判定された場合。
・ステップS303において下部の画像602(重なり箇所及び下画像)に含まれると判定された場合。
ステップS307において重なり個所を含めた上部の画像の補正が終了したか判定を行い、終了している場合、ステップS308において制御部105は、処理クロック変更Aの処理を行う。処理クロック変更Aでは、制御部105は、重なり部を含めた中央部の補正処理の処理クロックを変更する必要がるか判定を行い、必要であれば変更を行う。なお、クロックを変更するべきか否か、及びどれだけクロックを変更するかを判断するためには、当該画像の補正処理に割り当て可能な時間を決定する必要があり、例えば、次のようにして割り当てることができる。即ち、1フレームの画像に割り当てられた処理時間のうち上部の画像600の補正処理を終えた時点の残り時間を、中央部の画像601のライン数と下部の画像602のライン数との比で分割して割り当てる。処理時間が与えられたならば、中央部の画像601のライン数等から処理量がわかるので、必要なクロックスピードを得ることができる。ステップS308で処理クロックを変更する個所は、表示素子1026L、補正部104L、表示素子1026Lと補正部104Lの間、補正部104Lとバッファ部C110Lの間となる。
ステップS309において重なり個所を含めた中央部の画像に対する補正が終了しているか判定する。終了していなければ、ステップS310で制御部105の制御のもと補正部104Lはバッファ部C110Lから画像を読出す。そして、ステップS311において、補正処理部1040Lは、バッファ部C110Lから読み出された画像に対して、補正テーブルF1046を用いて補正処理を行う。
ステップS309において中央部の画像に対する補正が終了していると判定された場合、ステップS312において、制御部105は、処理クロック変更Bの処理を行う。制御部105は画像の受信終了までに補正処理が終了するのに必要とする処理クロックを計算し、変更が必要であれば設定する。ステップS312で処理クロックを変更する個所は、表示素子1027L、補正部104L、表示素子1027Lと補正部104Lの間、補正部104Lとバッファ部D109Lの間となる。制御部105の制御のもと、ステップS313において補正部104Lがバッファ部D109Lから画像を読出し、ステップS314において補正処理部1040Lが補正テーブルG1047Lを用いて読み出した画像に対して補正処理を行う。ステップS315において1フレームの画像補正が終了したと判定された場合、ステップS316において制御部105は変更した処理クロックを元に戻す。第3実施形態では補正部104Lがバッファ部C110L、バッファ部D109Lから画像を読み出すような説明をしているが、これに限られるものではない。例えば、図2の(b)の切替え部201のような構成を用いて、I/F106、バッファ部C110L,バッファ部D109Lへのアクセスを適宜切り替えるようにしてもよいことは明らかである。
図16は、第3実施形態の処理に従った場合の画像受信と補正処理のタイミングチャートを示す図である。図16の(a)は重なり個所が少ないため、処理クロックを変更しなくてもよい場合の例である。これに対して、図16の(b)は重なり個所が多いため、処理クロックを変更した場合の例である。なお、図15の処理と、図16の(b)では受信画像終了とほぼ同時に補正処理が終了するように処理クロックを変更しているがこれに限られるものではない。例えば、図16の(c)のようにバックポーチ終了前までに補正処理を終了しても、図16の(d)のように次フレームのフロントポーチが終了するまでに補正処理が終了するように処理クロックを変更してもよい。要は、次のフレームの画像を受信するまでに複数の部分画像の全ての補正を終えるように、補正処理の速度が変更されればよい。
なお、第3実施形態では3つに分割する場合について説明したが、4つ以上に分割した場合でも処理方法は基本的に同一であるため説明を省略する。
以上のように、第3実施形態では、画像を補正する補正部の前にバッファを複数設け、処理を行っている。これによって、3つ以上に分割するような光学系を用いた場合でも片眼に対して補正部は1つでよく、かつ遅延を少なく画像を表示することができる。
<第4実施形態>
第1乃至第3実施形態では重なり個所があり、このエリア分の補正処理を行う方法について説明を行った。例えば、第1実施形態では垂直方向に1024ラインある画像で、重なり個所が上下でそれぞれ100ライン存在した場合、1124ラインについて補正処理が実施される。第4実施形態では、例えば、上下2つに分割する光学系を用いた場合で、垂直方向に1024ラインの画像で、重なり個所が上下でそれぞれ100ライン存在した場合に、1024ラインの補正処理を実施する。
図17は第4実施形態における機能ブロック図である。図1と比べると、解像度変換部A111、解像度変換部B112が左右の目の系に追加されている。また、表示素子1028は上部の画像を表示するための表示素子であり、表示素子1029は下部の画像を表示するための表示素子である。
続いて、第4実施形態における画像の補正処理について、図19に示すフローチャートを用いて説明する。ステップS400において制御部105の制御のもと、解像度変換部A111は受信した画像に対して解像度変換を行う。例えば垂直方向に1024ラインの画像で、重なり個所が100ラインある場合、補正部104へ入力される画像信号が合計で1024ラインとなるように、解像度変換部Aで1024ラインの画像信号の解像度を変換する。
図18は、その際の画像サイズの例を示したものである。図18の(a)は受信画像であり、垂直方向に1024ラインある。画像801が表示素子1028に表示する画像であり、画像802が表示素子1029に表示する画像である。
解像度変換部A111では、図18の(b)のように変換を行う。画像801が画像803のよう、画像802が画像804のように解像度変換される。つまり重なり個所を冗長するような画像にし、かつ垂直方向には1024ラインにする。つまり図18の例では垂直方向に100ライン縮小する必要がある。縮小方法については、中心部は比較的HMD使用者が注視する個所であるため、上画像の上の方や下画像の下の方(画像の上端部及び下端部)のみを縮小するのが好ましいが、垂直方向へ均一に縮小してもよい。また、画像の縮小処理としては、ラインの間引きが挙げられる。このように、解像度変換部A111では、複数の部分画像の全ライン数が画像の全ライン数となるように受信した画像信号の解像度を変換する第1変換の処理を行う。
ステップS401において、制御部105の制御のもと、補正部104は画像803、画像804に対してそれぞれ補正を行う。補正前に垂直方向に縮小したため、ステップS402において、解像度変換部B112は伸張を行う。この伸張は解像度変換部A111で実施した縮小と逆のことを実施すればよい。即ち、解像度変換部B112は、補正された画像信号について、画像のライン数が複数の部分画像の全ライン数となるように解像度を変換する第2変換の処理を行う。
以上のように、第4実施形態では、画像を補正する補正部の前後に解像度変換を設け補正を行っている。これによって受信する画像フォーマットと同じフォーマットを補正する回路を使用できるため、汎用的な補正回路を用いることができる。
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体及び該コンピュータのプログラムを格納したコンピュータ読み取り可能な記憶媒体も含まれる。
第1実施形態に係る頭部装着型の画像表示装置(ビデオシースルーHMD)におけるシステム構成を示すブロック図である。 第1実施形態に係る補正部周辺の構成を示すブロック図である。 第1実施形態に係る表示画像の分割の様子を示す図である。 第1実施形態に係る補正処理を示すフローチャートである。 第1実施形態に係る画像受信、補正処理のタイミングチャートである。 第2実施形態に係る頭部装着型の画像表示装置(ビデオシースルーHMD)におけるシステム構成を示すブロック図である。 第2実施形態に係る補正部周辺の構成を示すブロック図である。 第2実施形態に係る表示画像の分割の様子を示す図である。 第2実施形態に係る補正単位を説明する図である。 第2実施形態に係る補正処理を示すフローチャートである。 第2実施形態に係る画像受信、補正処理のタイミングチャートである。 第3実施形態に係る頭部装着型の画像表示装置(ビデオシースルーHMD)におけるシステム構成を示すブロック図である。 第3実施形態に係る補正部周辺の構成を示すブロック図である。 第3実施形態に係る表示画像の分割の様子を示す図である。 第3実施形態に係る補正処理を示すフローチャートである。 第3実施形態に係る画像受信、補正処理のタイミングチャートである。 第4実施形態に係る頭部装着型の画像表示装置(ビデオシースルーHMD)におけるシステム構成を示すブロック図である。 第4実施形態に係る補正処理の概要を説明する図である。 第4実施形態4に係る補正処理を示すフローチャートである。 HMDを使用者が装着した様子を示す図である。 タイリング光学系を説明する図である。

Claims (13)

  1. 画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置であって、
    前記画像に対応する画像信号を受信する受信手段と、
    前記受信手段で受信した画像信号を部分画像別にバッファに保持する保持手段と、
    前記複数の部分画像の各々に対して対応する表示部の光学系に応じた補正が加わるように前記画像信号を補正する補正手段と、
    前記バッファに保持されている画像信号が構成する部分画像毎に、前記補正手段による補正処理の速度を変更する制御手段とを備えることを特徴とする画像表示装置。
  2. 前記補正手段は、前記受信手段による画像信号の受信の順序において先頭となる部分画像に対しては、前記受信手段による受信に同期して補正処理を加え、
    前記保持手段は、2番目以降の部分画像に対応する画像信号を、部分画像別にバッファに保持することを特徴とする請求項1に記載の画像表示装置。
  3. 前記補正手段は、前記複数の部分画像の各々を、隣接する部分領域が重複する領域を有する複数の部分領域に分割して得られる部分領域毎に補正処理を行い、
    前記制御手段は、前記複数の部分領域の各々の画像信号を処理する際に、前記補正手段による補正処理の速度を変更することを特徴とする請求項1に記載の画像表示装置。
  4. 前記複数の部分領域に対する前記補正手段による補正処理の順番は、前記受信手段による部分領域に対応する画像信号の受信が完了する順番であることを特徴とする請求項3に記載の画像表示装置。
  5. 前記受信手段は複数のフレームの画像からなる動画像を受信し、
    前記制御手段は、次のフレームの画像を受信するまでに、前記複数の部分画像の全ての補正を終えるように、前記補正処理の速度を変更することを特徴とする請求項1乃至4のいずれか1項に記載の画像表示装置。
  6. 前記制御手段は、前記補正手段が動作するためのクロックの周波数を変更することにより補正処理の速度を変更することを特徴とする請求項1乃至5のいずれか1項に記載の画像表示装置。
  7. 前記補正手段による補正処理は、歪み補正及び色収差補正の少なくともいずれかを含むことを特徴とする請求項1乃至6のいずれか1項に記載の画像表示装置。
  8. 元の画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置であって、
    前記元の画像を受信する受信手段と、
    前記元の画像から得られる複数の部分画像の全ライン数が、前記元の画像の全ライン数となるように、受信した前記元の画像の解像度を変換する第1変換手段と、
    前記第1変換手段により解像度変換された画像から得られる複数の部分画像の各々について、対応する表示部の光学系に応じた補正が加わるように補正処理を行う補正手段と、
    前記補正手段で補正された複数の部分画像の各々の解像度を、前記補正された複数の部分画像の全ライン数が前記元の画像から得られる複数の部分画像の全ライン数となるように変換する第2変換手段と、
    前記第2変換手段により解像度変換された後の複数の部分画像を、前記複数の表示部に表示する表示手段とを備えることを特徴とする画像表示装置。
  9. 前記第1変換手段は、前記画像の上端部及び下端部において解像度変換を行うことを特徴とする請求項8に記載の画像表示装置。
  10. 画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置の制御方法であって、
    受信手段が、前記画像に対応する画像信号を受信する受信工程と、
    保持手段が、前記受信工程で受信した画像信号を部分画像別にバッファに保持する保持工程と、
    補正手段が、前記複数の部分画像の各々に対して対応する表示部の光学系に応じた補正が加わるように前記画像信号を補正する補正工程と、
    制御手段が、前記バッファに保持されている画像信号が構成する部分画像毎に、前記補正工程による補正処理の速度を変更する制御工程とを有することを特徴とする画像表示装置の制御方法。
  11. 元の画像を、隣接する部分画像が重複する領域を有する複数の部分画像に分割し、前記複数の部分画像のそれぞれを複数の表示部に表示して、前記複数の表示部で表示された部分画像を1つの画像として観察者に観察させる画像表示装置の制御方法であって、
    受信手段が、前記元の画像を受信する受信工程と、
    第1変換手段が、前記元の画像から得られる複数の部分画像の全ライン数が、前記元の画像の全ライン数となるように、受信した前記元の画像の解像度を変換する第1変換工程と、
    補正手段が、前記第1変換工程で解像度変換された画像から得られる複数の部分画像の各々について、対応する表示部の光学系に応じた補正が加わるように補正処理を行う補正工程と、
    第2変換手段が、前記補正工程で補正された複数の部分画像の各々の解像度を、前記補正された複数の部分画像の全ライン数が前記元の画像から得られる複数の部分画像の全ライン数となるように変換する第2変換工程と、
    表示手段が、前記第2変換工程で解像度変換された後の複数の部分画像を、前記複数の表示部に表示する表示工程とを有することを特徴とする画像表示装置の制御方法。
  12. 請求項10または11に記載の画像表示装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
  13. 請求項10または11に記載の画像表示装置の制御方法の各工程をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
JP2008159693A 2008-06-18 2008-06-18 画像表示装置およびその制御方法 Expired - Fee Related JP5123747B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008159693A JP5123747B2 (ja) 2008-06-18 2008-06-18 画像表示装置およびその制御方法
US12/482,849 US8248437B2 (en) 2008-06-18 2009-06-11 Image display apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008159693A JP5123747B2 (ja) 2008-06-18 2008-06-18 画像表示装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2010004176A JP2010004176A (ja) 2010-01-07
JP2010004176A5 JP2010004176A5 (ja) 2011-08-04
JP5123747B2 true JP5123747B2 (ja) 2013-01-23

Family

ID=41430748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008159693A Expired - Fee Related JP5123747B2 (ja) 2008-06-18 2008-06-18 画像表示装置およびその制御方法

Country Status (2)

Country Link
US (1) US8248437B2 (ja)
JP (1) JP5123747B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100054032A (ko) * 2008-11-13 2010-05-24 삼성전자주식회사 리모콘 및 그 작동방법, 그리고 리모콘에 의해 제어되는 영상디스플레이장치
JP2013066648A (ja) * 2011-09-26 2013-04-18 Olympus Corp 内視鏡用画像処理装置及び内視鏡装置
DE102012205164B4 (de) * 2012-03-29 2021-09-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsdisplay und Verfahren zur Projektion virtueller Bilder
JP6164820B2 (ja) * 2012-10-11 2017-07-19 キヤノン株式会社 プロジェクタ、その制御方法、及び画像投影システム
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
GB2520254B (en) 2013-11-12 2016-08-31 Canon Kk Image processing methods, and image processing devices and system for a scalable multi-projection system
EP3447735B1 (en) * 2016-04-18 2020-04-29 Sony Corporation Information processing device, information processing method, and program
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股(北京)有限公司 虚拟现实图像校准方法及装置
US10360832B2 (en) 2017-08-14 2019-07-23 Microsoft Technology Licensing, Llc Post-rendering image transformation using parallel image transformation pipelines
JP7121523B2 (ja) * 2018-04-10 2022-08-18 キヤノン株式会社 画像表示装置、画像表示方法
US11126001B2 (en) * 2019-03-29 2021-09-21 Sony Interactive Entertainment Inc. Image generating apparatus, head-mounted display, content processing system and image displaying method
JP2022113551A (ja) * 2021-01-25 2022-08-04 株式会社ソニー・インタラクティブエンタテインメント 画像表示システム、表示装置、および画像表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266932B2 (ja) * 1992-05-18 2002-03-18 キヤノン株式会社 再生装置及び方法
JPH06121261A (ja) * 1992-09-30 1994-04-28 Fine Tex:Kk 画像多面分割拡大編集再生処理装置
JPH06178244A (ja) * 1992-12-11 1994-06-24 Matsushita Electric Ind Co Ltd 投写型ディスプレイの画像処理方法およびその装置
JP3735158B2 (ja) * 1996-06-06 2006-01-18 オリンパス株式会社 画像投影システム、画像処理装置
JPH10327373A (ja) * 1997-05-26 1998-12-08 Mitsubishi Electric Corp 接眼映像表示装置
JPH11326820A (ja) * 1998-05-18 1999-11-26 Olympus Optical Co Ltd 観察光学系及びそれを用いた観察装置
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP4187425B2 (ja) * 2000-09-11 2008-11-26 富士フイルム株式会社 画像制御装置およびディジタルカメラ
JP2007096633A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd 映像信号処理装置およびデジタルカメラ

Also Published As

Publication number Publication date
JP2010004176A (ja) 2010-01-07
US20090315887A1 (en) 2009-12-24
US8248437B2 (en) 2012-08-21

Similar Documents

Publication Publication Date Title
JP5123747B2 (ja) 画像表示装置およびその制御方法
JP3802630B2 (ja) 立体画像生成装置および立体画像生成方法
US8456485B2 (en) Image processing apparatus and method, head mounted display, program, and recording medium
JP5156571B2 (ja) 画像処理装置、画像処理方法
JP5113426B2 (ja) 頭部装着型表示装置、及びその制御方法
US6816158B1 (en) Three-dimensional display system
JP4578294B2 (ja) 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム
JP5409107B2 (ja) 表示制御プログラム、情報処理装置、表示制御方法、および情報処理システム
US9106906B2 (en) Image generation system, image generation method, and information storage medium
JP2017204674A (ja) 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP4652947B2 (ja) 画像表示プログラム、画像表示装置および画像表示方法
JP6855313B2 (ja) 画像表示システム、画像表示装置および画像表示方法
US20120306860A1 (en) Image generation system, image generation method, and information storage medium
US20200012107A1 (en) Display system with video see-through
JPH08292394A (ja) 頭部搭載型画像表示装置
JP2011010126A (ja) 画像処理装置、画像処理方法
JP2010153983A (ja) 投影型映像表示装置および該方法
EP3929900A1 (en) Image generation device, head-mounted display, and image generation method
US11003408B2 (en) Image generating apparatus and image generating method
US20130093855A1 (en) Parallel axis stereoscopic camera
JP4270347B2 (ja) 距離演算装置
JP6971590B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3930318A1 (en) Display device and image display method
JP2021039444A (ja) 画像処理装置及びその制御方法及びプログラム
JP2018133746A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5123747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees