JP5377537B2

JP5377537B2 - オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Info

Publication number: JP5377537B2
Application number: JP2011027631A
Authority: JP
Inventors: 学太田; 康夫森永
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2013-12-25
Anticipated expiration: 2031-02-10
Also published as: EP2674920A4; WO2012108219A1; US20130278636A1; JP2012168642A; CN103348387A; CN103348387B; EP2674920A1

Description

本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。

近年において、ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、オブジェクトを現実空間の画像に重畳する際の、オブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。

特開２０１０−１７０３１６号公報

しかしながら、通常のＡＲ技術では、撮影した現実空間の画像にオブジェクトの画像を単に重畳させるのみであったので、両画像の画質等の相違に起因して合成された画像に違和感が生じる場合があった。

そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。

上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、当該オブジェクト表示装置の所在位置を取得する位置測定手段と、位置測定手段により取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得手段と、オブジェクト情報取得手段により取得されたオブジェクトの位置情報に基づき、当該オブジェクト表示装置の所在位置からオブジェクトまでの距離を算出するオブジェクト距離算出手段と、オブジェクト距離算出手段により算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像においてオブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定手段と、設定値決定手段により決定された設定値を用いて、現実空間の画像を取得する画像取得手段と、画像取得手段により取得された現実空間の画像に、オブジェクト情報取得手段により取得されたオブジェクトを重畳した画像を生成する画像合成手段と、画像合成手段により生成された画像を表示する表示手段とを備えることを特徴とする。

また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、当該オブジェクト表示装置の所在位置を取得する位置測定ステップと、位置測定ステップにおいて取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得ステップと、オブジェクト情報取得ステップにおいて取得されたオブジェクトの位置情報に基づき、当該オブジェクト表示装置の所在位置からオブジェクトまでの距離を算出するオブジェクト距離算出ステップと、オブジェクト距離算出ステップにおいて算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像においてオブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定ステップと、設定値決定ステップにおいて決定された設定値を用いて、現実空間の画像を取得する画像取得ステップと、画像取得ステップにおいて取得された現実空間の画像に、オブジェクト情報取得ステップにおいて取得されたオブジェクトを重畳した画像を生成する画像合成ステップと、画像合成ステップにおいて生成された画像を表示する表示ステップとを有することを特徴とする。

また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、コンピュータを、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、当該オブジェクト表示装置の所在位置を取得する位置測定機能と、位置測定機能により取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得機能と、オブジェクト情報取得機能により取得されたオブジェクトの位置情報に基づき、オブジェクトまでの距離を算出するオブジェクト距離算出機能と、オブジェクト距離算出機能により算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像においてオブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定機能と、設定値決定機能により決定された設定値を用いて、現実空間の画像を取得する画像取得機能と、画像取得機能により取得された現実空間の画像に、オブジェクト情報取得機能により取得されたオブジェクトを重畳した画像を生成する画像合成機能と、画像合成機能により生成された画像を表示する表示機能とを実現させることを特徴とする。

本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、オブジェクトまでの距離に基づき、現実空間の画像を取得するための焦点距離を含む設定値が算出され、算出された焦点距離により現実空間の画像が取得されるので、オブジェクトの重畳位置に焦点が合わされると共に、オブジェクトが重畳された位置から遠ざかるに従ってピントがずれていく画像が取得される。これにより、ピントが合わされた現実空間の画像にオブジェクトが重畳されることとなるので、現実空間の画像の画質とオブジェクトの画質との相違が小さくなり、合成された画像における違和感が軽減される。また、オブジェクトが重畳された位置から遠ざかるにつれて、現実空間の画像のピントがずれていくので、ユーザにとっての注目の対象であるオブジェクトが強調される。

また、本発明のオブジェクト表示装置では、設定値決定手段は、オブジェクト情報取得手段により複数のオブジェクト情報が取得された場合に、取得された複数のオブジェクト情報から１以上のオブジェクト情報を選択し、選択されたオブジェクト情報に基づき算出された当該オブジェクトまでの距離に基づき設定値を決定することを特徴とする。

この場合には、複数のオブジェクトまでの距離に基づき、焦点距離を含む設定値が決定されるので、重畳画像において当該複数のオブジェクトが強調されると共に、重畳画像全体における違和感が軽減される。

また、本発明のオブジェクト表示装置は、設定値決定手段により決定された焦点距離と、オブジェクト距離算出手段により算出されたオブジェクトまでの距離との差に応じて、当該オブジェクトの画像に対して、撮影対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をするオブジェクト加工手段を更に備え、画像合成手段は、オブジェクト加工手段により加工されたオブジェクトを現実空間の画像に重畳することを特徴とする。

この場合には、決定された焦点距離によりピントが合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対してぼかし加工が施される。これにより、現実空間における焦点が合っていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。

また、本発明のオブジェクト表示装置では、設定値決定手段は、焦点距離及び被写界深度を設定値として決定することを特徴とする。

上記構成によれば、焦点距離に加えて被写界深度が設定値として決定されるので、ユーザにとっての注目の対象であるオブジェクトがより好適に強調されると共に、重畳画像における違和感がより軽減される。

ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を軽減することが可能となる。

オブジェクト表示装置の機能的構成を示すブロック図である。オブジェクト表示装置のハードブロック図である。仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。オブジェクト表示方法の処理内容を示すフローチャートである。現実空間の画像に複数の仮想オブジェクトが重畳された画像の例を示す図である。現実空間の画像に複数の仮想オブジェクトが重畳された画像の例を示す図である。複数の仮想オブジェクトが重畳される場合におけるオブジェクト表示方法の処理内容を示すフローチャートである。オブジェクト表示プログラムの構成を示す図である。

本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像の所定位置にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。

移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。また、同様のサービスとしては、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１は、後者のサービスの提供を受けるものに相当するが、これには限定されない。

図１に示すように、オブジェクト表示装置１は、機能的には、位置測定部１０、方位測位部１１、仮想オブジェクト格納部１２、仮想オブジェクト抽出部１３（オブジェクト情報取得手段）、仮想オブジェクト距離算出部１４（オブジェクト距離算出手段）、カメラ設定値決定部１５（設定値決定手段）、撮像部１６（画像取得手段）、仮想オブジェクト加工部１７（仮想オブジェクト加工手段）、画像合成部１８（画像合成手段）及び表示部１９（表示手段）を備える。

図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。

位置測定部１０は、オブジェクト表示装置１の所在位置を測位し、測位した所在位置に関する情報を位置情報として取得する部分である。オブジェクト表示装置１の所在位置は、例えば、ＧＰＳ装置といった測位手段により測位される。位置測定部１０は、位置情報を仮想オブジェクト抽出部１３に送出する。

方位測位部１１は、撮像部１６の撮像方位を測位する部分であって、例えば地磁気センサといった装置により構成される。方位測位部１１は、測位した方位情報を仮想オブジェクト抽出部１３に送出する。なお、方位測位部１１は、本発明における必須の構成ではない。

仮想オブジェクト格納部１２は、仮想オブジェクトに関する情報である仮想オブジェクト情報を記憶している記憶手段である。図３は、仮想オブジェクト格納部１２の構成及び記憶されているデータの例を示す図である。図３に示すように、仮想オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、位置情報といったデータを含む。

オブジェクトデータは、例えば、オブジェクトの画像データである。また、オブジェクトデータは、当該オブジェクトを表すための３Ｄオブジェクトのデータであってもよい。位置情報は、現実空間における当該オブジェクトの配置位置を示す情報であって、例えば、３次元の座標値により表される。

仮想オブジェクト格納部１２は、仮想オブジェクト情報を予め記憶していることとしてもよい。また、仮想オブジェクト格納部１２は、位置測定部１０により取得された位置情報に基づき、仮想オブジェクト情報を記憶、管理しているサーバ（図示せず）から所定の通信手段（図示せず）を介して取得されたオブジェクト情報を蓄積することとしてもよい。この場合には、仮想オブジェクト情報を記憶、管理しているサーバは、オブジェクト表示装置１の周辺に配置された仮想オブジェクトの仮想オブジェクト情報を提供する。

仮想オブジェクト抽出部１３は、オブジェクト表示装置１の所在位置に基づき、仮想オブジェクト格納部１２からオブジェクト情報を取得する部分である。具体的には、仮想オブジェクト抽出部１３は、位置測定部１０により測定された位置情報及び方位測位部１１により測位された方位情報に基づき、表示部１９に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトを抽出する。表示部に表示される現実空間の範囲に複数の仮想オブジェクトの配置位置が含まれる場合には、仮想オブジェクト抽出部１３は、当該複数の仮想オブジェクトを抽出する。

なお、仮想オブジェクト抽出部１３は、方位情報を用いないで仮想オブジェクトの抽出を実施することとしてもよい。仮想オブジェクト抽出部１３は、抽出した仮想オブジェクト情報を仮想オブジェクト距離算出部１４、カメラ設定値決定部１５及び仮想オブジェクト加工部１７に送出する。

仮想オブジェクト距離算出部１４は、仮想オブジェクト抽出部１３により取得された仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する部分である。具体的には、仮想オブジェクト距離算出部１４は、位置測定部１０により測定された位置情報及び仮想オブジェクト情報に含まれる仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する。また、仮想オブジェクト抽出部１３により複数の仮想オブジェクトが抽出された場合には、仮想オブジェクト距離算出部１４は、オブジェクト表示装置１から各々の仮想オブジェクトまでの距離を算出する。

カメラ設定値決定部１５は、仮想オブジェクト距離算出部１４により算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含む設定値を決定する部分である。カメラ設定値決定部１５は、決定した設定値を撮像部１６に送出する。なお、設定値には、焦点距離の他に、被写界深度が含まれることとしてもよい。

仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが１つの場合には、カメラ設定値決定部１５は、仮想オブジェクト距離算出部１４により算出された当該仮想オブジェクトまでの距離を焦点距離に設定することができる。

仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが複数の場合には、カメラ設定値決定部１５は、複数の仮想オブジェクトから強調すべき仮想オブジェクトを１以上選択し、選択した仮想オブジェクトに基づき設定値を決定する。

カメラ設定値決定部１５は、種々の方法により強調すべき仮想オブジェクトを選択できる。例えば、カメラ設定値決定部１５は、ユーザによる選定を受け付けることにより強調すべき仮想オブジェクトを選択できる。具体的には、カメラ設定値決定部１５は、タッチパネルを含んで構成される表示部１９において選択操作された仮想オブジェクトを強調すべき仮想オブジェクトとして設定したり、表示部１９における中央部を含む所定範囲に含まれる仮想オブジェクトを強調すべき仮想オブジェクトとして設定したりすることができる。

また、仮想オブジェクト情報に、その仮想オブジェクトに対するユーザの趣味嗜好の程度を判断可能な属性情報が含まれている場合には、カメラ設定値決定部１５は、オブジェクト表示装置１内に予め保持されたユーザの属性情報（図示せず）と、仮想オブジェクトの属性情報とを照合し、その合致の程度が高い仮想オブジェクトを、強調すべき仮想オブジェクトとして設定することができる。

また、仮想オブジェクト情報に、その仮想オブジェクトの表示に関する優先の程度を示す数値情報が含まれている場合には、カメラ設定値決定部１５は、仮想オブジェクト情報の当該数値情報を参照して、数値情報が所定値以上の仮想オブジェクトを、強調すべき仮想オブジェクトとして設定することができる。

強調すべき仮想オブジェクトが１つ選択された場合には、カメラ設定値決定部１５は、仮想オブジェクト距離算出部１４により算出された当該仮想オブジェクトまでの距離を焦点距離に設定することができる。この場合における被写界深度は、予め設定された所定値であってもよいし、ユーザにより入力されることとしてもよい。

強調すべき仮想オブジェクトが複数選択された場合には、カメラ設定値決定部１５は、当該複数の仮想オブジェクトの配置位置の全てが焦点が合う領域に含まれるように、焦点距離及び被写界深度を決定する。具体的には、例えば、カメラ設定値決定部１５は、選択された複数の仮想オブジェクトの配置位置の全てを含む領域を設定し、その領域の重心位置までの距離を焦点距離として設定し、その領域の大きさを被写界深度として設定することができる。

撮像部１６は、カメラ設定値決定部１５により決定された設定値を用いて、現実空間の画像を取得する部分であって、例えばカメラにより構成される。具体的には、撮像部１６は、カメラ設定値決定部１５により決定された焦点距離及び被写界深度を用いて現実空間の画像を取得し、取得した画像のデータを画像合成部１８に送出する。なお、被写界深度は予め設定された所定値であってもよい。

仮想オブジェクト加工部１７は、カメラ設定値決定部１５により決定された焦点距離と、仮想オブジェクト距離算出部により算出された仮想オブジェクトまでの距離との差に応じて、当該オブジェクトの画像に対して、撮影対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をする部分である。

仮想オブジェクト加工部１７は、例えば、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトのうち、カメラ設定値決定部１５により強調する仮想オブジェクトに選択されなかった仮想オブジェクトに対してぼかし加工を実施する。仮想オブジェクト加工部１７は、周知の画像処理技術を用いてぼかし加工を実施することができる。以下のその一例を説明する。

仮想オブジェクト加工部１７は、ボケの大きさＢを以下の式（１）により算出できる。
Ｂ＝（ｍＤ／Ｗ）（Ｔ／（Ｌ＋Ｔ））・・・（１）
Ｂ：ボケの大きさ
Ｄ：有効口径＝焦点距離／Ｆ値
Ｗ：撮影範囲の対角線長
Ｌ：カメラから被写体までの距離
Ｔ：被写体から背景までの距離
ｍ：許容錯乱円径とイメージセンサの対角線長さの比
仮想オブジェクト加工部１７は、ボケの大きさＢに基づき、ぼかし加工のぼかし量を決定し、仮想オブジェクトのぼかし加工を実施する。このぼかし加工については、図６及び図７を参照して後述する。なお、仮想オブジェクト加工部１７は、本発明における必須の構成ではない。

画像合成部１８は、撮像部１６により取得された現実空間の画像に、仮想オブジェクト抽出部１３により取得された仮想オブジェクトを重畳した画像を生成する部分である。具体的には、画像合成部１８は、仮想オブジェクトの配置位置を示す位置情報に基づき、現実空間の画像における当該配置位置に仮想オブジェクトを重畳した重畳画像を生成する。また、画像合成部１８は、仮想オブジェクト加工部１７により加工されたオブジェクトも同様に現実空間の画像に重畳する。

表示部１９は、画像合成部１８により生成された画像を表示する部分であって、例えばディスプレイといった装置により構成される。なお、表示部１９は、タッチパネルをさらに備えることとしてもよい。

次に、図４及び図５を参照して、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが１つの場合における仮想オブジェクトの表示処理を説明する。図４は、抽出された仮想オブジェクトが１つの場合における、現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図であって、仮想オブジェクト抽出部１３により仮想オブジェクトＶ_１が抽出された場合の例を示している。この場合には、仮想オブジェクト距離算出部１４により、オブジェクト表示装置１から仮想オブジェクトＶ_１までの距離が算出され、カメラ設定値決定部１５により、算出された距離に基づき焦点距離が決定される。続いて、決定された焦点距離の情報に基づき、撮像部１６が現実空間の画像を取得する。ここで取得された現実空間の画像では、仮想オブジェクトＶ_１の配置位置までの距離が焦点距離に設定されているので、現実空間の画像における仮想オブジェクトＶ_１の配置位置を含む領域Ｒ_２に焦点が合わされることとなる。一方、オブジェクト表示装置１からの距離が領域Ｒ_２より近い領域Ｒ_１、及び領域Ｒ_２より遠い領域Ｒ_３には焦点が合わされないこととなるので、領域Ｒ_１及び領域Ｒ_３の画像は、いわゆるピントがぼけた状態となる。画像合成部１８は、領域Ｒ_２に焦点が合わされた現実空間の画像に、仮想オブジェクトＶ_１を重畳した重畳画像を生成する。そして、表示部１９は、図４に示されるような重畳画像を表示する。

図５は、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが１つの場合における仮想オブジェクトの表示処理を示すフローチャートである。

まず、仮想オブジェクト抽出部１３は、オブジェクト表示装置１の所在位置に基づき、仮想オブジェクト格納部１２からオブジェクト情報を抽出する（Ｓ１、オブジェクト情報取得ステップ）。即ち、仮想オブジェクト抽出部１３は、表示部１９に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトを抽出する。ここで、表示させるべき仮想オブジェクトがない場合には処理を終了する（Ｓ２）。一方、表示させるべき仮想オブジェクトが有る場合には、処理手順はステップＳ３に進む（Ｓ２）。

次に、仮想オブジェクト距離算出部１４は、仮想オブジェクト抽出部１３により取得された仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する（Ｓ３、オブジェクト距離算出ステップ）。続いて、カメラ設定値決定部１５は、仮想オブジェクト距離算出部１４により算出された距離に基づき、撮像部１６のための焦点距離及び被写界深度を決定する（Ｓ４、設定値決定ステップ）。

次に、撮像部１６は、ステップＳ４において決定された焦点距離及び被写界深度を用いて現実空間の画像を取得する（Ｓ５、画像取得ステップ）。続いて、画像合成部１８は、撮像部１６により取得された現実空間の画像に、仮想オブジェクト抽出部１３により取得された仮想オブジェクトを重畳した重畳画像を生成する（Ｓ６、画像合成ステップ）。そして、表示部１９は、ステップＳ６において生成された重畳画像を表示する（Ｓ７、表示ステップ）。

なお、図５のフローチャートに示される処理では、仮想オブジェクト加工部１７の機能は用いられない。即ち、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトのデータは、仮想オブジェクト加工部１７において加工されることなく、画像合成部１８に送出される。

次に、図６〜８を参照して、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが複数の場合における仮想オブジェクトの表示処理を説明する。図６は、抽出された仮想オブジェクトが２つの場合における、現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図であって、仮想オブジェクト抽出部１３により仮想オブジェクトＶ_２及びＶ_３が抽出されると共に、仮想オブジェクトＶ_２及びＶ_３のうち仮想オブジェクトＶ_２が強調すべき仮想オブジェクトとして選択された場合の例を示している。

この場合には、仮想オブジェクト距離算出部１４により、オブジェクト表示装置１から仮想オブジェクトＶ_２までの距離が算出され、カメラ設定値決定部１５により、算出された距離に基づき焦点距離が決定される。続いて、決定された焦点距離の情報に基づき、撮像部１６が現実空間の画像を取得する。ここで取得された現実空間の画像では、仮想オブジェクトＶ_２の配置位置までの距離が焦点距離に設定されているので、現実空間の画像における仮想オブジェクトＶ_２の配置位置を含む領域Ｒ_５に焦点が合わされることとなる。一方、オブジェクト表示装置１からの距離が領域Ｒ_５より近い領域Ｒ_４、及び領域Ｒ_５より遠い領域Ｒ_６には焦点が合わされないこととなるので、領域Ｒ_４及び領域Ｒ_６の画像は、いわゆるピントがぼけた状態となる。

さらに、仮想オブジェクトＶ_３は、焦点が合わされない領域Ｒ_６に配置される仮想オブジェクトであるので、仮想オブジェクト加工部１７は、仮想オブジェクトＶ_２の配置位置に基づき決定された焦点距離と、仮想オブジェクト距離算出部１４により算出された仮想オブジェクトＶ_３までの距離との差に応じて、仮想オブジェクトＶ_３の画像に対してぼかし加工を実施する。これにより、仮想オブジェクトＶ_３の画像は、領域Ｒ_６における現実空間の画像と同程度にピントがぼけた画像となる。

画像合成部１８は、領域Ｒ_５に焦点が合わされた現実空間の画像に、仮想オブジェクトＶ_２及びＶ_３を重畳した重畳画像を生成する。そして、表示部１９は、図６に示されるような重畳画像を表示する。

図６に示される例では、決定された焦点距離によりピントが合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対してぼかし加工が施される。これにより、現実空間における焦点が合わされていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。

図７は、抽出された仮想オブジェクトが４つの場合における、現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図であって、仮想オブジェクト抽出部１３により仮想オブジェクトＶ_４〜Ｖ_７が抽出されると共に、仮想オブジェクトＶ_４〜Ｖ_７のうち仮想オブジェクトＶ_４〜Ｖ_６が強調すべき仮想オブジェクトとして選択された場合の例を示している。

この場合には、カメラ設定値決定部１５は、仮想オブジェクトＶ_４〜Ｖ_６の配置位置の全てが焦点が合う領域に含まれるように、焦点距離及び被写界深度を決定する。具体的には、カメラ設定値決定部１５は、選択された複数の仮想オブジェクトの配置位置の全てを含む領域Ｒ_９を設定し、領域Ｒ_９の重心位置までの距離を焦点距離として設定し、領域Ｒ_９の大きさを被写界深度として設定する。

続いて、決定された焦点距離及び被写界深度の情報に基づき、撮像部１６が現実空間の画像を取得する。ここで取得された現実空間の画像では、領域Ｒ_９までの距離が焦点距離に設定されているので、現実空間の画像における領域Ｒ_９の位置を含む領域Ｒ_７に焦点が合わされることとなる。一方、オブジェクト表示装置１からの距離が領域Ｒ_７より遠い領域Ｒ_８には焦点が合わされないこととなるので、領域Ｒ_８の画像は、いわゆるピントがぼけた状態となる。

さらに、仮想オブジェクトＶ_７は、強調すべき仮想オブジェクトとして選択されず、焦点が合わされない領域Ｒ_８に配置される仮想オブジェクトであるので、仮想オブジェクト加工部１７は、領域Ｒ_９の位置に基づき決定された焦点距離と、仮想オブジェクト距離算出部１４により算出された仮想オブジェクトＶ_７までの距離との差に応じて、仮想オブジェクトＶ_７の画像に対してぼかし加工を実施する。これにより、仮想オブジェクトＶ_７の画像は、領域Ｒ_８における現実空間の画像と同程度にピントがぼけた画像となる。

画像合成部１８は、領域Ｒ_７に焦点が合わされた現実空間の画像に、仮想オブジェクトＶ_４〜Ｖ_７を重畳した重畳画像を生成する。そして、表示部１９は、図７に示されるような重畳画像を表示する。

図８は、仮想オブジェクト抽出部１３により抽出された仮想オブジェクトが１つまたは複数の場合における仮想オブジェクトの表示処理を示すフローチャートである。

ステップＳ１０〜Ｓ１１における処理は、図５に示したフローチャートのステップＳ１〜Ｓ２と同様である。続くステップＳ１２において、仮想オブジェクト抽出部１３は、抽出された仮想オブジェクトが複数であるか否かを判定する（Ｓ１２）。抽出された仮想オブジェクトが複数であると判定された場合には、処理手順はステップＳ１６に進められる。一方、抽出された仮想オブジェクトが複数であると判定されなかった場合には、処理手順はステップＳ１３に進められる。

ステップＳ１３〜Ｓ１５における処理は、図５に示したフローチャートのステップＳ３〜Ｓ５と同様である。一方、ステップＳ１６において、カメラ設定値決定部１５は、抽出された複数の仮想オブジェクトから、強調すべき仮想オブジェクトを選択する（Ｓ１６）。続いて、カメラ設定値決定部１５は、選択された複数の仮想オブジェクトの配置位置の全てを含む領域を設定する（Ｓ１７）。そして、カメラ設定値決定部１５は、ステップＳ１７において設定した領域に基づき、焦点距離及び被写界深度を決定する（Ｓ１８）。さらに、仮想オブジェクト加工部１７は、焦点が合わされない領域に配置される仮想オブジェクトに対して、ステップＳ１８において決定された焦点距離及び被写界深度に基づき、ぼかし加工を実施する（Ｓ１９）。

続くステップＳ２０〜Ｓ２１における処理は、図５に示したフローチャートのステップＳ６〜Ｓ７と同様である。

次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図９は、オブジェクト表示プログラム１ｍの構成を示す図である。

オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１００ｍ、位置測定モジュール１０ｍ、方位測位モジュール１１ｍ、仮想オブジェクト格納モジュール１２ｍ、仮想オブジェクト抽出モジュール１３ｍ、仮想オブジェクト距離算出モジュール１４ｍ、カメラ設定値決定モジュール１５ｍ、撮像モジュール１６ｍ、仮想オブジェクト加工モジュール１７ｍ、画像合成モジュール１８ｍ及び表示モジュール１９ｍを備えて構成される。そして、各モジュール１０ｍ〜１９ｍにより、オブジェクト表示装置１における各機能部１０〜１９のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図９に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。

以上説明した本実施形態のオブジェクト表示装置１、オブジェクト表示方法及びオブジェクト表示プログラムでは、仮想オブジェクト距離算出部１４により算出された仮想オブジェクトまでの距離に基づき、カメラ設定値決定部１５により現実空間の画像を取得するための焦点距離を含む設定値が算出され、算出された焦点距離を用いて撮像部１６により現実空間の画像が取得されるので、仮想オブジェクトの重畳位置に焦点が合わされると共に、仮想オブジェクトが重畳された位置から遠ざかるに従ってピントがずれていく画像が取得される。このように取得された現実空間の画像に仮想オブジェクトが重畳されるので、ユーザにとっての注目の対象である仮想オブジェクトが強調されると共に、重畳画像における違和感が軽減される。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…オブジェクト表示装置、１０…位置測定部、１１…方位測位部、１２…仮想オブジェクト格納部、１３…仮想オブジェクト抽出部、１４…仮想オブジェクト距離算出部、１５…カメラ設定値決定部、１６…撮像部、１７…仮想オブジェクト加工部、１８…画像合成部、１９…表示部、１ｍ…オブジェクト表示プログラム、１０ｍ…位置測定モジュール、１１ｍ…方位測位モジュール、１２ｍ…仮想オブジェクト格納モジュール、１３ｍ…仮想オブジェクト抽出モジュール、１４ｍ…仮想オブジェクト距離算出モジュール、１５ｍ…カメラ設定値決定モジュール、１６ｍ…撮像モジュール、１７ｍ…仮想オブジェクト加工モジュール、１８ｍ…画像合成モジュール、１９ｍ…表示モジュール、１００ｍ…メインモジュール、Ｖ_１〜Ｖ_７…仮想オブジェクト。

Claims

現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、
当該オブジェクト表示装置の所在位置を取得する位置測定手段と、
前記位置測定手段により取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得手段と、
前記オブジェクト情報取得手段により取得されたオブジェクトの位置情報に基づき、当該オブジェクト表示装置の所在位置から前記オブジェクトまでの距離を算出するオブジェクト距離算出手段と、
前記オブジェクト距離算出手段により算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像において前記オブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定手段と、
前記設定値決定手段により決定された設定値を用いて、現実空間の画像を取得する画像取得手段と、
前記画像取得手段により取得された現実空間の画像に、前記オブジェクト情報取得手段により取得されたオブジェクトを重畳した画像を生成する画像合成手段と、
前記画像合成手段により生成された画像を表示する表示手段と
を備えることを特徴とするオブジェクト表示装置。
前記設定値決定手段は、前記オブジェクト情報取得手段により複数のオブジェクト情報が取得された場合に、取得された複数のオブジェクト情報から１以上のオブジェクト情報を選択し、選択されたオブジェクト情報に基づき算出された当該オブジェクトまでの距離に基づき設定値を決定する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
前記設定値決定手段により決定された焦点距離と、前記オブジェクト距離算出手段により算出されたオブジェクトまでの距離との差に応じて、当該オブジェクトの画像に対して、撮影対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をするオブジェクト加工手段を更に備え、
前記画像合成手段は、前記オブジェクト加工手段により加工されたオブジェクトを前記現実空間の画像に重畳する
ことを特徴とする請求項２に記載のオブジェクト表示装置。
前記設定値決定手段は、焦点距離及び被写界深度を設定値として決定することを特徴とする請求項１〜３のいずれか１項に記載のオブジェクト表示装置。
現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
当該オブジェクト表示装置の所在位置を取得する位置測定ステップと、
前記位置測定ステップにおいて取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得ステップと、
前記オブジェクト情報取得ステップにおいて取得されたオブジェクトの位置情報に基づき、当該オブジェクト表示装置の所在位置から前記オブジェクトまでの距離を算出するオブジェクト距離算出ステップと、
前記オブジェクト距離算出ステップにおいて算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像において前記オブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定ステップと、
前記設定値決定ステップにおいて決定された設定値を用いて、現実空間の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて取得された現実空間の画像に、前記オブジェクト情報取得ステップにおいて取得されたオブジェクトを重畳した画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成された画像を表示する表示ステップと
を有することを特徴とするオブジェクト表示方法。
コンピュータを、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
前記コンピュータに、
当該オブジェクト表示装置の所在位置を取得する位置測定機能と、
前記位置測定機能により取得された当該オブジェクト表示装置の所在位置に基づき、オブジェクトの現実空間における配置位置に関する位置情報を含むオブジェクト情報を取得するオブジェクト情報取得機能と、
前記オブジェクト情報取得機能により取得されたオブジェクトの位置情報に基づき、前記オブジェクトまでの距離を算出するオブジェクト距離算出機能と、
前記オブジェクト距離算出機能により算出された距離に基づき、現実空間の画像の取得のための、少なくとも焦点距離を含み、取得される現実空間の画像において前記オブジェクトが重畳される位置に焦点が合うような設定値を決定する設定値決定機能と、
前記設定値決定機能により決定された設定値を用いて、現実空間の画像を取得する画像取得機能と、
前記画像取得機能により取得された現実空間の画像に、前記オブジェクト情報取得機能により取得されたオブジェクトを重畳した画像を生成する画像合成機能と、
前記画像合成機能により生成された画像を表示する表示機能と
を実現させることを特徴とするオブジェクト表示プログラム。