JP4072330B2 - 表示装置および情報処理方法 - Google Patents
表示装置および情報処理方法 Download PDFInfo
- Publication number
- JP4072330B2 JP4072330B2 JP2001334707A JP2001334707A JP4072330B2 JP 4072330 B2 JP4072330 B2 JP 4072330B2 JP 2001334707 A JP2001334707 A JP 2001334707A JP 2001334707 A JP2001334707 A JP 2001334707A JP 4072330 B2 JP4072330 B2 JP 4072330B2
- Authority
- JP
- Japan
- Prior art keywords
- computer
- lens
- focus
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims 7
- 238000003672 processing method Methods 0.000 title claims 5
- 238000000034 method Methods 0.000 claims description 33
- 230000003287 optical effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 239000000203 mixture Substances 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、現実画像に生成画像を合成するものに関する。
【0002】
【従来の技術】
展望台等に置かれる望遠鏡は展望台からの景色を捉え、光学装置を用いて拡大などして使用者に提示するものであるが、従来の望遠鏡は景色を単に光学的に拡大して表示するものであるに過ぎないため、現実世界に実際に存在するものしか提示できないという問題があった。たとえば、望遠鏡では現実世界に存在する建物に付属した情報(住所や建物の名前など)を提示することはできず、また、現実世界中に仮想のキャラクタを配置して眺めるといったことも不可能である。こうした問題を解決する発明として以下のような従来例がある。
【0003】
望遠鏡から見る現実の景色に仮想的な文字や画像を重ね合わせる技術が、特許第2833206号「展望用ディスプレイ装置」に開示されている。ここで開示されている装置は、装置前方からの現実世界の光と、仮想的な文字や画像を表示した面からの画像表示光を、ハーフミラー等によって構成されるコンバイナを用いて重ね合わせて装置利用者に提示する。このように現実世界の光にコンピュータで生成したコンピュータ映像をハーフミラー等で重ねて表示する装置は光学シースルー表示方式と呼ばれる。
【0004】
また、従来、カメラを内蔵したHMD(ヘッドマウントディスプレイ)を頭部に装着して頭部の動きに追従させて現実の風景とコンピュータ映像を合成させる装置がある。このように外界をカメラで撮影した映像とコンピュータ等で生成した映像を合成して表示する装置はビデオシースルー表示方式と呼ばれる。
【0005】
【発明が解決しようとする課題】
上述の光学シースルー、ビデオシースルーいずれの表示方式においても、現実世界の光を拡大するためにズームレンズが用いられることがある。このようなズームレンズには多くの場合フォーカスを調整する機構が備えられ、そのフォーカスは使用者が表示装置を見ながらピントが合うように手動によって調整したり、オートフォーカス機構によって自動的にピントが合うように調整されたりする。
【0006】
しかしながらこのような方法では、現実世界中に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタにズームレンズのフォーカスを合わせることは難しかった。特にオートフォーカス機構がある場合には、常に仮想のキャラクタの向こうにある現実世界に対して自動的にフォーカスが合ってしまうため、仮想のキャラクタにフォーカスを合わせることは不可能であり、こうした点に改善が求められていた。
【0007】
本発明は以上の点を鑑みてなされたものであり、現実世界に重ねて仮想的な映像を表示する場合に、仮想的なオブジェクトに自動的にレンズのフォーカスを合わせることで、より臨場感を高めることを目的とする。
【0008】
また、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、使用者が重要度の高いオブジェクト容易に見分けられるようにすることを他の目的としている。
【0009】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有する。
【0010】
本願請求項1に記載の発明は、現実世界の光を捉えるレンズと、前記レンズのフォーカスを含むレンズ状態を制御するレンズ状態制御部と、コンピュータ映像データを保持する保持部と、前記レンズ状態を示すレンズ状態情報に応じて、前記保持部に保持されているコンピュータ映像データを用いてコンピュータ映像を生成するコンピュータ映像生成部と、前記レンズを介して得られた画像に、前記生成したコンピュータ映像を合成して表示する合成表示部と、前記コンピュータ映像にフォーカスを合わせる必要があるか否かを判断する判断手段とを備え、前記レンズ状態制御部は、前記判断手段により、コンピュータ映像にフォーカスを合わせる必要があると判断された場合に、前記コンピュータ映像が表示される位置や大きさに応じて前記レンズのフォーカスを変化させ、合わせる必要がないと判断された場合に前記現実空間に対してフォーカスを合わせるよう前記レンズのフォーカスを変化させることを特徴とする。
【0011】
本願請求項6に記載の発明は、さらに、コンピュータ映像オブジェクトの重要度に応じて前記レンズのフォーカスを変化させることを特徴とする。
【0012】
本願請求項7に記載の発明は、さらに、前記保持部は現実世界のモデルデータおよび各モデルの重要度情報を有し、コンピュータ映像オブジェクト、現実世界のオブジェクトの重要度に合わせて前記レンズのフォーカスを変化させることを特徴とする。
【0013】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【0014】
<第1実施形態>
本実施形態の映像合成装置は展望台等で望遠鏡として、また博物館等で情報表示端末とし使用される。図1は第1実施形態による映像合成装置の概略構成を示すブロック図である。
【0015】
第1実施形態では光学シースルー表示方式の映像合成装置を用いて説明する。1はレンズであり、たとえばズームレンズからなる。レンズ1は現実世界の光を捉え、その光を拡大などして合成表示部2に送る。2は合成表示部であり、レンズ1から送られてきた光とコンピュータ映像生成部4から送られてきたコンピュータ映像をハーフミラー等で重ね合わせて装置利用者に提示する。
【0016】
3はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部3はレンズ1からズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部4からの要求に応じて、又はコンピュータ映像生成部4からの要求なしにコンピュータ映像生成部4に送り出す。
【0017】
ここで、ズーム値・フォーカス値とは、レンズ状態制御部3でエンコーダ等により出力された値であり、たとえばレンズ状態制御部3に8ビットのエンコーダが備えられている場合、出力される値は1〜256の範囲の値となる。一般的に、ズーム値からはレンズ1の焦点距離を、またフォーカス値からはレンズ1のフォーカス距離を算出することが可能である。たとえばフォーカス値からフォーカス距離を算出する方法としては、図7のようにフォーカス距離とフォーカス値を対応させた変換テーブルをあらかじめ用意しておき、テーブルに載っていない値については補間して求める方法がある。
【0018】
このズーム値からの焦点距離の算出、またフォーカス値からのフォーカス距離の算出は主にコンピュータ映像生成部4で行われるが、レンズ状態制御部3にたとえばマイクロコンピュータなどを備え、フォーカス値やズーム値などのレンズ状態情報からレンズ1の焦点距離やフォーカス距離を計算し、計算した値をレンズ状態情報として出力してもよい。
【0019】
また、レンズ状態制御部3は図示しない操作部や制御信号によりレンズ1の状態を操作することができ、たとえばコンピュータ映像生成部4からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。レンズ状態制御部3は、例えば機械式のエンコーダやステッピングモータからなる。
【0020】
4はコンピュータ映像生成部であり、レンズ状態制御部3からレンズ状態情報を取り出してレンズ1の画角等を推定する。レンズ1の画角はレンズ1の焦点距離から求められ、またその画角がわかればその視野もわかるため、コンピュータ映像生成部4はデータ部5からレンズ1の視野に入る部分のデータを取り出し、レンズ1の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は合成表示部2に送られる。
【0021】
また、コンピュータ映像生成部4はレンズ1の視野に含まれるデータから描画されるCGにレンズのフォーカスを合わせる必要があるかどうかを判断し、CGにフォーカスを合わせる必要がある場合にはCGにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部3に送る。
【0022】
5はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部4に引き渡すデータを所持する。データ部5に格納されるデータとして、たとえば三次元CG(コンピュータグラフィックス)データ等が考えられる。データ部5はコンピュータ映像生成部4からの要求に応じて適切なデータをコンピュータ映像生成部4に送出する。たとえばコンピュータ映像生成部4がレンズ1の視野に合成する三次元CGデータを要求してきた時に、データ部5は格納されている三次元CGデータの中からレンズ1の視野に含まれる三次元CGデータを取り出して送出する。データ部5に格納されるデータとしてはたとえば仮想の建物やキャラクタのデータなどが考えられる。
【0023】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図2は本施形態の映像合成装置における処理の手順を説明するフローチャートである。
【0024】
ステップS0ではデータ準備を行う。ステップS0ではデータ部5に格納するデータを用意する。用意するデータとしてたとえば三次元CGデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元CGならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元CGがCGのキャラクタなど移動するものである場合は、そのCGキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【0025】
データ準備後、ステップS1でシステムが起動される。ステップS2でレンズ状態制御部3がレンズ1からズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部4に送られる。ステップS3ではコンピュータ映像生成部4が、レンズ状態制御部3から送出されたレンズ状態情報からレンズ1の視野を推定し、データ部5からレンズ1の視野に含まれる範囲のデータを取得する。
【0026】
ステップS4ではコンピュータ映像生成部4がデータ部5から取得したデータとレンズ状態制御部3から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。コンピュータ映像を生成する際には、レンズ状態情報からレンズ1の視野を判断し、その視野に納まる範囲のコンピュータ映像を生成し、生成した映像は合成表示部2に送られる。
【0027】
このコンピュータ映像を生成する際、レンズ状態情報中のフォーカス値を参照し、そのフォーカス値に応じて生成するコンピュータ映像中の各CGオブジェクトをぼかして描画することも可能であり、その方法を以下に記す。まずレンズ1の光学中心から各CGオブジェクトまでの仮想的な距離を算出する。ここで、レンズ1の光学中心からフォーカスを合わせる対象となるCGまでの仮想的な距離の算出方法には様々なものがあるが、その最も簡単な方法について図6を用いて説明する。
【0028】
図6において、データ部5にレンズ1の光学中心の位置がL (xl,yl,zl)として格納されており、CGオブジェクトAの位置がA(xa,ya,za)として格納されているものとすると、レンズ1の光学中心からCGオブジェクトAまでの仮想的な距離Lは以下の式で求まる。
【0029】
【外1】
【0030】
以上のようにしてレンズ1の光学中心からCGオブジェクトまでの仮想的な距離を算出することが可能であるが、この算出方法はレンズ1の光学中心からCGオブジェクトまでの仮想的な距離を算出することができる方法であればどのような方法でもよく、たとえばレンズ1の光学中心からCGオブジェクトの表面までの距離を算出してもよい。
【0031】
以上のようにしてレンズ1の光学中心からCGオブジェクトまでの距離を算出したら、その距離をステップS2で取得されたレンズ状態情報から計算したレンズ1のフォーカス距離と比較する。レンズ1の光学中心からCGオブジェクトまでの仮想的な距離がレンズ1のフォーカス距離と一致する場合にはCGオブジェクトをぼかさずに描画し、レンズ1の光学中心からCGオブジェクトまでの仮想的な距離とレンズ1のフォーカス距離の差が大きければ大きいほどCGオブジェクトをぼかして描画する。これにより、コンピュータ映像中の各CGオブジェクトをレンズ1のフォーカス値に応じて描画することが可能となり、コンピュータ映像の臨場感をより高めることが可能である。
【0032】
ステップS5では、合成表示部2においてレンズ1を通過した光と、コンピュータ映像生成部4から送出されたコンピュータ映像がハーフミラー等で重ね合わせられて装置利用者に提示される。
【0033】
ステップS6ではコンピュータ映像生成部4が、レンズ1の視野に含まれるデータから描画されるCGにレンズのフォーカスを合わせる必要があるかどうかを判断し、CGにフォーカスを合わせる必要がある場合にはCGにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部3に送信する。
【0034】
ステップS6において、CGにレンズのフォーカスを合わせる必要があるかどうかの判断基準には様々なものがあるが、ここでは視野の中心付近の領域の多くの部分をCGが占める場合にはそのCGにフォーカスを合わせる、という判断基準を用いるものと仮定し、その方法について図5で説明を行う。
【0035】
図5において、矩形で表されるコンピュータ映像IはステップS4でコンピュータ映像生成部4が生成したコンピュータ映像であり、そのコンピュータ映像にはCGオブジェクトAとCGオブジェクトBが描画されている。ここで、xとyを適当に定め、コンピュータ映像Iの画像中心Oを中心とした高さ2y、幅2xの長方形を領域Sとする。ここで領域Sの面積をSS、オブジェクトAが領域Sの中に占める面積をSA、オブジェクトBが領域Sの中に占める面積をSBとし、領域Sの中でCGが存在しない領域の面積をS2とすると
S2 = SS−SA−SB
となる。このように算出したS2とSAとSBの面積を比べ、最も面積の大きい領域にフォーカスを合わせるものと判断する。すなわち、S2が最も大きい場合にはCGオブジェクトにフォーカスを合わせる必要はなく、SAが最も大きい場合にはCGオブジェクトAにフォーカスを合わせるものと判断し、SBが最も大きい場合にはCGオブジェクトBにフォーカスを合わせるものと判断する。このように判断することで、本発明の本表示装置の使用者の注目度が比較的高い、画面の中央付近にあるCGオブジェクトにフォーカスを合わせることが可能になる。
【0036】
ここでは視野の中心付近の領域の多くの部分をCGが占める場合にはそのCGにフォーカスを合わせる、という判断基準について説明したが、この判断基準は他にも様々なものが考えられ、たとえば視野の中心、すなわち画像中心O上にCGがある場合にはそのCGにフォーカスを合わせることとしてもよい。このように判断することで、CGオブジェクトにフォーカスを合わせるべきかどうかを簡単に判断することが可能である。
【0037】
ステップS6でCGにフォーカスを合わせるものと判定された場合には、ステップS6でコンピュータ映像生成部4がレンズ1の光学中心からフォーカスを合わせる対象となるCGまでの仮想的な距離を算出し、図7のテーブルなどを用いてその仮想的な距離に適合する適合フォーカス値を算出する。算出された適合フォーカス値はレンズ状態制御部3に送出される。
【0038】
ステップS7ではレンズ状態制御部3が送出されてきた適合フォーカス値になるようにレンズ1のフォーカスをコントロールする。
【0039】
その後ステップS8でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップS2に戻り、上述の処理を繰り返す。
【0040】
以上のように、第一の実施形態によれば、光学シースルー表示方式の映像合成装置において、たとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタにレンズ1のフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。データ部5にあらかじめ仮想のキャラクタの三次元CGデータを格納しそれを利用することで前記の事項は達成される。すなわち、あらかじめ現実世界のビルの間の部分に仮想の三次元CGのキャラクタの位置を定めておき、適切な位置、すなわちビルの間の部分に仮想のキャラクタの映像を生成し、レンズ1を通過した光に重ね合わせればよい。
【0041】
<第2実施形態>
第2実施形態ではビデオシースルー表示方式の映像合成装置を用いて説明する。図3は第2実施形態による映像合成装置の概略構成を示すブロック図であり、その概要は次のとおりである。
【0042】
10は撮像部であり、たとえばカメラからなる。撮像部10は屋外や屋内に設置され、屋外の風景や屋内の展示物といった現実世界を撮影し、撮影映像を映像信号として撮影映像取込部11に出力する。11は撮影映像取込部であり、撮像部10から出た映像信号を映像合成部12に適した形式に変換して映像合成部12に送り出す。12は映像合成部であり、撮影映像取込部11からの撮影映像とコンピュータ映像生成部4からのコンピュータ映像を合成して表示部13に送出する。
【0043】
3はレンズ状態制御部であり、例えば機械式のエンコーダやステッピングモータから構成される。レンズ状態制御部3は撮像部10で利用するレンズのズーム値やフォーカス値といったレンズ状態情報をコンピュータ映像生成部4からの要求に応じて、又はコンピュータ映像生成部4からの要求なしにコンピュータ映像生成部4に送り出す。レンズ状態制御部3は図示しない操作部や制御信号によりレンズの状態を操作することができ、たとえばコンピュータ映像生成部4からフォーカス値を受け取り、そのフォーカス値にレンズを設定することができる。
【0044】
4はコンピュータ映像生成部であり、レンズ状態制御部3からレンズ状態情報を取り出して撮像部10の画角等を推定する。撮像部10の向いている方向と画角が推定できれば撮像部10の視野が求まるため、コンピュータ映像生成部4はデータ部5から撮像部10の視野に入る部分のデータを取り出し、撮像部10の視野に重なるコンピュータ映像を生成する。生成されたコンピュータ映像は映像合成部12に送られる。
【0045】
また、コンピュータ映像生成部4は撮像部10の視野に含まれるデータから描画されるCGにレンズのフォーカスを合わせる必要があるかどうかを判断し、CGにフォーカスを合わせる必要がある場合にはCGにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部3に送る。
【0046】
5はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部4に引き渡すデータを所持する。データ部5に格納されるデータとして、たとえば三次元CG(コンピュータグラフィックス)データ等が考えられる。データ部5はコンピュータ映像生成部4からの要求に応じて適切なデータをコンピュータ映像生成部4に送出する。たとえばコンピュータ映像生成部4が撮像部10の視野に合成する三次元CGデータを要求してきた時に、データ部5は格納されている三次元CGデータの中から撮像部10の視野に含まれる三次元CGデータを取り出して送出する。
【0047】
13は表示部であり、映像合成部12から送出された合成映像信号を表示する。この際、表示部13は撮像部10に連動して動くものとするのが望ましいが、必ずしもその必要はなく、たとえば撮像部10が可動で表示部13が固定されるという構成でもよい。また、この表示部13は複数備えられてもよく、その場合は合成映像を多数の人が見ることが可能になる。
【0048】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図4は本発明の本実施形態の映像合成装置における処理の手順を説明するフローチャートである。
【0049】
ステップS0ではデータ準備を行う。ステップS0ではデータ部5に格納するデータを用意する。用意するデータとしてたとえば三次元CGデータなどがある。このデータはあらかじめ現実世界との位置の対応をとっておく必要があり、三次元CGならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、その三次元CGがCGのキャラクタなど移動するものである場合は、そのCGキャラクタが現実世界のどの位置を移動するかをあらかじめ指定しておかねばならない。
【0050】
データ準備後、ステップS1でシステムが起動される。ステップS10で撮像部10から映像が取得され、取得された撮影映像は撮影映像取込部11で適切なフォーマットに変換され、映像合成部12に送られる。ステップS2でレンズ状態制御部3が撮像部10で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報はコンピュータ映像生成部4に送られる。ステップS3ではコンピュータ映像生成部4が、レンズ状態制御部3から送出されたレンズ状態情報から撮像部10の視野を推定し、データ部5から撮像部10の視野に含まれる範囲のデータを取得する。
【0051】
ステップS4ではコンピュータ映像生成部4がデータ部5から取得したデータとレンズ状態情報制御部から取り出したレンズ状態情報を用いてコンピュータ映像を生成する。生成した映像は映像合成部12に送られる。
【0052】
ステップS11では、映像合成部12において撮影映像取込部11から送出された撮影映像と、コンピュータ映像生成部4から送出されたコンピュータ映像が合成される。合成された合成映像は表示部13に送られる。ステップS12では映像合成部12から送出されてきた映像情報を表示部13が表示する。
【0053】
ステップS6ではコンピュータ映像生成部4が、撮像部10の視野に含まれるデータから描画されるCGにレンズのフォーカスを合わせる必要があるかどうかを判断し、CGにフォーカスを合わせる必要がある場合にはCGにフォーカスが合う適合フォーカス値を算出し、算出した適合フォーカス値をレンズ状態制御部3に送信する。
【0054】
ステップS7ではレンズ状態制御部3が送出されてきた適合フォーカス値になるようにレンズ1のフォーカスをコントロールする。
【0055】
その後ステップS9でシステムを終了するかどうかがチェックされ、システムを終了させない場合にはステップS10に戻り、上述の処理を繰り返す。
【0056】
以上のように、第2実施形態によれば、ビデオシースルー表示方式においてたとえば実際の風景のビルに重ねて仮想のキャラクタを見ることができ、なおかつその仮想のキャラクタに撮像部10のレンズのフォーカス値を合わせることで、現実世界の撮影映像と仮想のキャラクタの映像を違和感なく合成することが可能である。
【0057】
<その他の実施形態>
上記の実施形態においては、ステップS6においてコンピュータ映像生成部4が生成するCGにレンズのフォーカスを合わせる必要があるかどうかを、表示するコンピュータ映像オブジェクトの位置や表示面積から判断していた。ここでは、他の判断基準を用いた実施形態について記す。
【0058】
一つの実施形態として、あらかじめデータ部5に格納するデータにそのデータの重要度を示すパラメータを与えておき、CGにフォーカスを合わせる必要があるかどうかを判断する際、その重要度を利用して判断するという形態がある。たとえば、画面に表示されているCGオブジェクトの中で最も重要度の高いCGオブジェクトにフォーカスを合わせる、と判断することで上記の形態は実現できるが、重要度を用いてフォーカスを合わせる対象を判断できる方法であればこれに限らずどのような判断方法でもよい。このような方法を取ることで、重要度の高いCGオブジェクトに自動的にフォーカスを合わせることが可能になり、従って本発明の映像合成装置の使用者が重要度の高いCGオブジェクトを容易に見分けることが可能になる。
【0059】
また、データ部5に現実世界のモデルを格納し、現実世界のモデルにも重要度を示すパラメータを与えることで、ステップS6でレンズのフォーカスを合わせる対象を判断する際、CGオブジェクトをその対象とするだけでなく、現実世界にある建物などのオブジェクトをフォーカスを合わせる対象として判断することができる。たとえばデータ部5に現実世界の三次元CGデータを格納し、仮想の三次元CGデータと同じように取り扱うことで上記の方法は達成される。このような方法を取ることで、本発明の映像合成装置の使用者が重要度の高いCGオブジェクトや現実世界のオブジェクトを容易に見分けることが可能になる。
【0060】
また、データ部5に現実世界の実写映像を格納する実施形態もある。この実施形態では、データ部5にあらかじめ撮影した現実世界の実写映像を格納し、ステップS4でコンピュータ映像生成部4がレンズ状態制御部3から取り出したレンズ状態情報を用いてコンピュータ映像を生成する際、実写映像の全部あるいは一部を切り出してコンピュータ映像を生成する。このような実施形態をとることで、本発明の映像合成装置の使用者にあらかじめ撮影した実写映像を提示することができ、たとえば展望台等で本発明の映像合成装置を使用する際、曇天時にあらかじめ撮影しておいた実写映像を提示することができるという利点がある。
【0061】
データ部5に現実世界の実写映像を格納する場合、同時にその実写映像に奥行データを与える実施形態もある。この場合、ステップS6においてレンズのフォーカスを合わせる対象を判断し、またその合わせる対象までの距離を算出し、その距離に合わせてレンズのフォーカスをコントロールし、コンピュータ映像生成の際にそのコントロールしたフォーカス値に合わせて実写映像の各部分をぼかしたりすることが可能である。これは、実写映像をいくつかの領域に切り分けて、その領域ごとに奥行データを与え、コンピュータ映像生成の際にその各領域の奥行データとレンズのフォーカス距離を比較し、その差が大きければ大きいほどその領域の映像をぼかして描画を行うことで可能になる。ここでは実写映像に奥行データを与える方法として各領域に奥行データを与える方法について記したが、実写映像に奥行データを与えられる方法であればどのような方法でもよく、たとえば実写映像の各画素に奥行データを与える方法でもよい。
【0062】
以上のような実施形態によれば、ビデオシースルー表示方式や光学シースルー表示方式の映像合成装置において、より重要度の高いCGオブジェクトや現実世界のオブジェクトに自動的にレンズのフォーカスを合わせることが可能になる。また、実写映像からコンピュータ映像を生成し、レンズのフォーカスに合わせて生成する映像を変化させることが可能になる。
【0063】
本発明の映像合成装置は、展望台等で望遠鏡として使用することができるだけでなく、たとえば博物館等に設置して、現実世界の展示物に重ねて仮想的な映像を見せるような情報表示端末としても用いることが可能である。
【0064】
また、前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【0065】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【0066】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【0067】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【0068】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【0069】
【発明の効果】
以上説明したように、本発明によれば、仮想的な映像を現実の光景を背景として表示し、なおかつその仮想的な映像にフォーカスを合わせることができる。そのため、現実の光景に重ねて仮想のキャラクタなどを表示する場合に、仮想のキャラクタに自動的にフォーカスを合わせ、臨場感をより高めることが可能になる。
【0070】
また、本発明によれば、仮想的なオブジェクト、あるいは現実世界のオブジェクトのうち、重要度の高いオブジェクトに自動的にレンズのフォーカスを合わせることで、本発明の映像合成装置の使用者が重要度の高いオブジェクト容易に見分けることができる。
【図面の簡単な説明】
【図1】第1実施形態による表示装置の概略構成を示すブロック図である。
【図2】第1実施形態における表示装置の処理手順を説明するフローチャートである。
【図3】第2実施形態による表示装置の概略構成を示すブロック図である。
【図4】第2実施形態における、表示装置の処理手順を説明するフローチャートである。
【図5】フォーカスを合わせるCGオブジェクトの判断方法を説明する図である。
【図6】レンズの光学中心からフォーカスを合わせる対象となるCGオブジェクトまでの仮想的な距離の算出方法を説明する図である。
【図7】フォーカス距離とフォーカス値の対応について説明する図である。
Claims (11)
- 現実世界の光を捉えるレンズと、
前記レンズのフォーカスを含むレンズ状態を制御するレンズ状態制御部と、
コンピュータ映像データを保持する保持部と、
前記レンズ状態を示すレンズ状態情報に応じて、前記保持部に保持されているコンピュータ映像データを用いてコンピュータ映像を生成するコンピュータ映像生成部と、
前記レンズを介して得られた画像に、前記生成したコンピュータ映像を合成して表示する合成表示部と、
前記コンピュータ映像にフォーカスを合わせる必要があるか否かを判断する判断手段とを備え、
前記レンズ状態制御部は、前記判断手段により、コンピュータ映像にフォーカスを合わせる必要があると判断された場合に、
前記コンピュータ映像が表示される位置や大きさに応じて前記レンズのフォーカスを変化させ、合わせる必要がないと判断された場合に前記現実空間に対してフォーカスを合わせるよう前記レンズのフォーカスを変化させることを特徴とする表示装置。 - 前記コンピュータ映像生成部は、レンズの光学中心から前記生成するコンピュータ映像までの仮想的な距離に応じて、該生成するコンピュータ映像に対するぼかし処理を行うことを特徴とする請求項1記載の表示装置。
- 前記コンピュータ映像データには、三次元コンピュータグラフィックスデータが含まれること特徴とする請求項1乃至2のいずれかに記載の表示装置。
- 前記コンピュータ映像データには、実写映像と奥行データが含まれることを特徴とする請求項1乃至3のいずれかに記載の表示装置。
- 最も表示面積の大きいコンピュータ映像オブジェクトに合わせて、あるいは表示画像の中心にあるコンピュータ映像に合わせて前記レンズのフォーカスを変化させることを特徴とする請求項1乃至請求項4のいずれかに記載の表示装置。
- コンピュータ映像オブジェクトの重要度に応じて前記レンズのフォーカスを変化させることを特徴とする請求項1乃至請求項4のいずれかに記載の表示装置。
- 前記保持部は現実世界のモデルデータおよび各モデルの重要度情報を有し、
コンピュータ映像オブジェクト、現実世界のオブジェクトの重要度に合わせて前記レンズのフォーカスを変化させることを特徴とする請求項1乃至請求項4のいずれかに記載の表示装置。 - 前記判断手段は、視野の中心付近の領域の多くの部分を前記コンピュータ映像が占める場合に、コンピュータ映像にフォーカスを合わせる必要があると判断することを特徴とする請求項1記載の情報処理装置。
- 前記判断手段は、視野の中心に前記コンピュータ映像がある場合に、コンピュータ映像にフォーカスを合わせる必要があると判断することを特徴とする請求項1記載の情報処理装置。
- レンズを介して入力された実写にコンピュータ映像を合成して表示するための情報処理方法であって、
位置情報と対応させてコンピュータグラフィックスデータを保持し、
前記実写の位置情報に対応するコンピュータグラフィックスデータからコンピュータグラフィックスオブジェクトを生成し、
前記実写に前記生成されたコンピュータグラフィックスオブジェクトを合成する情報処理方法であり、
前記コンピュータグラフィックスオブジェクトにフォーカスを合わせる必要があるか否かを判断する判断工程と、
前記判断工程で、コンピュータグラフィックスオブジェクトにフォーカスを合わせる必要があると判断された場合に、前記コンピュータグラフィックスオブジェクト領域の大きさに応じて、前記レンズのフォーカス値を制御し、合わせる必要がないと判断された場合 に前記実写に応じて前記レンズのフォーカス値を変化させることを特徴とする情報処理方法。 - 請求項10に記載の情報処理方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001334707A JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
US10/266,683 US6970166B2 (en) | 2001-10-31 | 2002-10-09 | Display apparatus and information processing method |
US11/126,355 US7411588B2 (en) | 2001-10-31 | 2005-05-11 | Display apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001334707A JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003141522A JP2003141522A (ja) | 2003-05-16 |
JP4072330B2 true JP4072330B2 (ja) | 2008-04-09 |
Family
ID=19149798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001334707A Expired - Fee Related JP4072330B2 (ja) | 2001-10-31 | 2001-10-31 | 表示装置および情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US6970166B2 (ja) |
JP (1) | JP4072330B2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
US7411594B2 (en) * | 2002-01-15 | 2008-08-12 | Canon Kabushiki Kaisha | Information processing apparatus and method |
JP3962676B2 (ja) * | 2002-11-29 | 2007-08-22 | キヤノン株式会社 | 画像処理方法及び装置 |
JP4136859B2 (ja) * | 2003-01-10 | 2008-08-20 | キヤノン株式会社 | 位置姿勢計測方法 |
JP2004234455A (ja) * | 2003-01-31 | 2004-08-19 | Canon Inc | 情報処理方法および画像再生装置 |
JP2005137807A (ja) * | 2003-11-10 | 2005-06-02 | Aruze Corp | ゲーム装置 |
JP2005149409A (ja) * | 2003-11-19 | 2005-06-09 | Canon Inc | 画像再生方法及び装置 |
US7909241B2 (en) * | 2004-03-09 | 2011-03-22 | Lowe's Companies, Inc. | Systems, methods and computer program products for implementing processes relating to retail sales |
JP4522129B2 (ja) * | 2004-03-31 | 2010-08-11 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
JP4659388B2 (ja) * | 2004-05-13 | 2011-03-30 | キヤノン株式会社 | 画像処理装置 |
EP1686554A3 (en) * | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
US7868904B2 (en) * | 2005-04-01 | 2011-01-11 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP4914123B2 (ja) * | 2005-07-15 | 2012-04-11 | キヤノン株式会社 | 画像処理装置及び方法 |
JP4847203B2 (ja) * | 2006-04-27 | 2011-12-28 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
US20090153550A1 (en) * | 2007-12-18 | 2009-06-18 | Disney Enterprises, Inc. | Virtual object rendering system and method |
US8392853B2 (en) * | 2009-07-17 | 2013-03-05 | Wxanalyst, Ltd. | Transparent interface used to independently manipulate and interrogate N-dimensional focus objects in virtual and real visualization systems |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
JP5786460B2 (ja) * | 2011-05-31 | 2015-09-30 | 株式会社ニコン | 領域抽出装置、撮像装置、及び領域抽出プログラム |
KR101874895B1 (ko) * | 2012-01-12 | 2018-07-06 | 삼성전자 주식회사 | 증강 현실 제공 방법 및 이를 지원하는 단말기 |
JP2014178503A (ja) * | 2013-03-15 | 2014-09-25 | Casio Comput Co Ltd | シナリオデータ、投影装置及び投影方法 |
US9672747B2 (en) | 2015-06-15 | 2017-06-06 | WxOps, Inc. | Common operating environment for aircraft operations |
WO2019130827A1 (ja) | 2017-12-25 | 2019-07-04 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP7058585B2 (ja) | 2017-12-25 | 2022-04-22 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2833206B2 (ja) | 1990-11-29 | 1998-12-09 | 株式会社島津製作所 | 展望用ディスプレイ装置 |
US5786852A (en) * | 1994-06-20 | 1998-07-28 | Canon Kabushiki Kaisha | Image pick-up apparatus having an image sensing device including a photoelectric conversion part and a vertical transfer part |
US6014259A (en) * | 1995-06-07 | 2000-01-11 | Wohlstadter; Jacob N. | Three dimensional imaging system |
US7193633B1 (en) * | 2000-04-27 | 2007-03-20 | Adobe Systems Incorporated | Method and apparatus for image assisted modeling of three-dimensional scenes |
US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
JP4072330B2 (ja) * | 2001-10-31 | 2008-04-09 | キヤノン株式会社 | 表示装置および情報処理方法 |
US6795650B2 (en) * | 2002-12-12 | 2004-09-21 | Eastman Kodak Company | Camera having shared optics for optical viewfinding and for electronic capture and display |
-
2001
- 2001-10-31 JP JP2001334707A patent/JP4072330B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-09 US US10/266,683 patent/US6970166B2/en not_active Expired - Fee Related
-
2005
- 2005-05-11 US US11/126,355 patent/US7411588B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7411588B2 (en) | 2008-08-12 |
US6970166B2 (en) | 2005-11-29 |
US20050212801A1 (en) | 2005-09-29 |
JP2003141522A (ja) | 2003-05-16 |
US20030080975A1 (en) | 2003-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4072330B2 (ja) | 表示装置および情報処理方法 | |
US9858643B2 (en) | Image generating device, image generating method, and program | |
JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
JP2014238731A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
JP5230013B2 (ja) | 撮像装置 | |
JP2002251634A (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
JP3749227B2 (ja) | 立体画像処理方法および装置 | |
JP2001008232A (ja) | 全方位映像出力方法と装置 | |
JP3857988B2 (ja) | 立体画像処理方法および装置 | |
JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
JP2017208676A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JP6700935B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP4118146B2 (ja) | 立体画像処理装置 | |
JP2003143477A (ja) | 映像合成装置および方法 | |
JP5889022B2 (ja) | 撮像装置、画像処理装置、画像処理方法及びプログラム | |
JP2019101563A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2017208808A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
JP2021018575A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
JP4124995B2 (ja) | 映像合成装置および情報処理方法 | |
US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
WO2020262391A1 (ja) | 表示制御装置、表示制御方法、及びプログラム | |
JPWO2020066008A1 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
JP7336346B2 (ja) | フレーミング情報生成装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040903 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4072330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |