JPH08212323A - 撮影画像の表示方法及び装置 - Google Patents

Abstract

(57)【要約】 【目的】撮影画像を実在感を持って利用者に呈示するこ
とを可能とし、例えば電子ショピングに利用した場合に
おいて、利用者が商品の実物に近い感覚で商品を把握す
ることを可能にすることを目的とする。 【構成】同一の被写体について異なる方向から撮影する
ことによって得られた複数の撮影画像を記憶部に格納し
ておき、前記複数の撮影画像の中から選択された画像、
又は前記複数の撮影画像から補間によって生成された画
像を、画面に表示するとともに、前記画面の前方に存在
する利用者の姿勢を検出し、検出された利用者の姿勢に
応じて前記画面に表示する画像を変化させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮影画像の表示方法及
び装置に関し、電子ショピング、電子観光案内、コンピ
ュータのグラフィカル・ユーザインタフェース（ＧＵ
Ｉ）などに利用される。

【０００２】電子ショピングなどのように、ディスプレ
イ画面に画像を表示して利用者とやりとり（コミュニケ
ーション）を行うシステムが種々存在する。そのような
システムにおいて、画面に表示された物体があたかもそ
こにあるような実在感を利用者に与えることができれ
ば、システムの操作性は大きく改善されると考えられ
る。

【０００３】

【従来の技術】従来より、画面上の表示に実在感を持た
せる方法として２つの方法が用いられている。第１の方
法は、特別なハードウェアを用いて３次元的な立体感の
ある表示を行う方法である。これは、特殊な眼鏡などを
用いて左右の目に写角の異なる２つの画像が見えるよう
にし、２つの画像による両眼の視差を利用して立体感を
得るものである。

【０００４】第２の方法は、画面上にコンピュータグラ
フィックス（ＣＧ）による画像を表示するとともに、そ
の画面を見る観客（利用者）の姿勢を検出し、姿勢に応
じて画面上に表示される内容を変化させる方法である。
第２の方法において、ＣＧによる画像はコンピュータの
内部にモデルを持って作成されたものであるので、その
表示内容を変化させることは容易である。

【０００５】一方、例えば電子ショピングにおいては、
対象となる商品の写真を予め撮影しておき、その写真を
画面上に表示する。画面上には種々の商品についての静
止画像が順次表示される。画面を見ている利用者は、そ
の中に購入を希望するものがある場合に、購入を指定す
るための入力を行う。

【０００６】

【発明が解決しようとする課題】従来の電子ショピング
においては、画面上に表示されるのは商品の平面的な静
止画像であるので、表示に実在感を持たせることができ
ず、商品の形態や使用時の勝手などを十分に把握できな
いことがある。そのため、商品を購入するかどうかの決
断に必要な情報が不足し、電子ショピングとして十分に
機能しないことがあるという問題があった。

【０００７】この問題を解決するために、例えば上述し
た第１の方法によって商品の立体写真を表示した場合に
は、商品が立体的に見えるため商品の形態をよりよく把
握することができるが、商品を種々の角度から見ること
はできないので、商品の形態を十分に把握することはで
きない。

【０００８】また、上述した第２の方法によって商品の
画像をＣＧによって作成し、それを画面上に表示した場
合には、商品の形態をよく把握することはできるが、商
品の実際の質感を十分に把握することができず、やはり
実在感が不足するとともに、ＣＧを作成するための手間
を要するという問題が生じる。

【０００９】本発明は、上述の問題に鑑みてなされたも
ので、撮影画像を実在感を持って利用者に呈示すること
を可能とし、例えば電子ショピングに利用した場合にお
いて、利用者が商品の実物に近い感覚で商品を把握する
ことのできる、撮影画像の表示方法及び装置を提供する
ことを目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明に係る方
法は、同一の被写体について異なる方向から撮影するこ
とによって得られた複数の撮影画像を記憶部に格納して
おき、前記複数の撮影画像の中から選択された画像、又
は前記複数の撮影画像から補間によって生成された画像
を、画面に表示するとともに、前記画面の前方に存在す
る利用者の姿勢を検出し、検出された利用者の姿勢に応
じて前記画面に表示する画像を変化させる方法である。

【００１１】請求項２の発明に係る方法は、同一の被写
体について異なる方向から撮影することによって得られ
た複数の撮影画像、及び前記撮影画像に基づいて補間に
よって生成された複数の補間画像を、記憶部に格納して
おき、前記複数の撮影画像又は前記複数の補間画像の中
から選択された画像を画面に表示するとともに、前記画
面の前方に存在する利用者の姿勢を検出し、検出された
利用者の姿勢に応じて前記画面に表示する画像を変化さ
せる方法である。

【００１２】請求項３の発明に係る方法は、前記撮影画
像及び／又は前記補間画像のそれぞれに、被写体に対す
る撮影姿勢に関する情報を付属させておき、前記利用者
の姿勢と最も近い撮影姿勢の前記撮影画像又は前記補間
画像を選択して前記画面に表示させることによって、前
記画面に表示する画像を変化させる方法である。

【００１３】請求項４の発明に係る装置は、画像を表示
するための画面を有したディスプレイ装置と、同一の被
写体について異なる方向から撮影することによって得ら
れた複数の撮影画像を、各撮影画像の被写体に対する撮
影姿勢に関する情報とともに格納する記憶部と、前記複
数の撮影画像の撮影姿勢の中間の撮影姿勢についての画
像を補間画像として補間により生成する補間画像生成手
段と、前記画面の前方に存在する利用者の姿勢を検出す
る検出手段と、前記複数の撮影画像又は前記複数の補間
画像の中から、前記利用者の姿勢と最も近い撮影姿勢の
撮影画像又は補間画像を選択する画像選択手段と、選択
された画像を前記画面に表示する表示制御手段と、を有
して構成される。

【００１４】請求項５の発明に係る装置は、前記補間画
像生成手段は、前記複数の撮影画像の中から、補間のた
めの複数の撮影画像を選択する画像選択手段と、選択さ
れた撮影画像に対して、撮影画像間において互いに対応
する特徴点を設定する特徴点設定手段と、前記特徴点に
基づいて、生成すべき補間画像の撮影姿勢に対応する補
間特徴点を合成して求める特徴点合成手段と、前記特徴
点と各補間特徴点との間の変換を定める変換手段と、を
有して構成される。

【００１５】

【作用】画面に表示すべき物体、商品、風景などの被写
体は、カメラなどによって予め撮影され、ハードディス
ク又は光磁気ディスクなどの記憶部に格納される。その
とき、１つの被写体について、複数の異なる方向から撮
影される。

【００１６】複数の撮影画像に基づいて、撮影姿勢の中
間の画像が補間によって生成される。そのための補間処
理は、表示に先立って予め行われるか、又は表示を行う
際にリアルタイムで行われる。

【００１７】画面の前方に存在する利用者の姿勢が、カ
メラなどによって検出され、利用者の姿勢に応じて、撮
影画像又は補間画像の中から１つの画像が選択され又は
生成され、画面に表示される。したがって、利用者が姿
勢を変更することによって、それに応じて画面に表示さ
れた被写体の表示箇所が変化し、あたかも被写体がそこ
にあるように感じられる。

【００１８】

【実施例】図１は本発明に係る表示装置１を示すブロッ
ク図、図２は表示装置１のカメラ１５とディスプレイ１
９の配置の例を示す図、図３は表示装置１の補間画像生
成部１４の機能の例を示すブロック図、図４は撮影画像
データＤＦの構成の例を示す図である。

【００１９】図１及び図２において、表示装置１は、カ
メラ１１、画像入力部１２、メモリ１３、補間画像生成
部１４、カメラ１５、姿勢検出部１６、画像選択部１
７、表示制御部１８、及びディスプレイ１９などから構
成されている。

【００２０】カメラ１１は、商品、物体、景色など、種
々の被写体についての画像を撮影するためのものであ
る。１つの被写体について、種々の異なる角度からの撮
影が行われ、複数の静止画像が撮影される。それぞれの
静止画像である撮影画像信号Ｓ１には、撮影姿勢に関す
る情報が付属している。カメラ１１から出力される撮影
画像信号Ｓ１は、画像入力部１２に入力される。カメラ
１１として例えばＣＣＤカメラなどが用いられる。

【００２１】画像入力部１２は、カメラ１１から出力さ
れる撮影画像信号Ｓ１を処理し、撮影画像データＤＦを
出力する。図４に示すように、撮影画像データＤＦに
は、被写体に対する撮影姿勢に関する情報である商品の
名称ＮＭ及び撮影位置ＰＰが付属している。

【００２２】メモリ１３は、画像入力部１２から入力さ
れる撮影画像データＤＦ、及び補間画像生成部１４によ
って生成された補間画像データＤＣを格納する。メモリ
１３として、例えば磁気ディスク、光磁気ディスク、Ｃ
Ｄ（コンパクトディスク）などの大容量の記憶装置が用
いられる。メモリ１３に格納された撮影画像データＤＦ
又は補間画像データＤＣは、画像選択部１７からの指令
によって取り出され、表示制御部１８に送られる。撮影
画像データＤＦ及び／又は補間画像データＤＣを、「画
像データＤ」ということがある。

【００２３】補間画像生成部１４は、複数の撮影画像デ
ータＤＦに基づいて、それらの中間の撮影姿勢の画像に
ついての画像データを、補間画像データＤＣとして補間
により生成する。補間画像データＤＣにも、被写体に対
する撮影姿勢に関する情報である商品の名称ＮＭ及び撮
影位置ＰＰが付属している。

【００２４】カメラ１５は、ディスプレイ１９の画面Ｈ
Ｇの前方に存在する利用者ＵＳを撮影する。利用者ＵＳ
が表示装置１を利用している間において、カメラ１５は
常に利用者ＵＳをとらえ、画像信号Ｓ２を出力する。画
像信号Ｓ２は姿勢検出部１６に入力される。

【００２５】姿勢検出部１６は、カメラ１５から入力さ
れた画像信号Ｓ２に基づいて、利用者ＵＳの姿勢を検出
し、姿勢データＤＰを出力する。画像選択部１７は、メ
モリ１３に格納された撮影画像データＤＦ又は補間画像
データＤＣの中から、姿勢検出部１６から出力される姿
勢データＤＰに対応する画像データを選択し、その画像
データをメモリ１３から読み出す。

【００２６】表示制御部１８は、姿勢データＤＰに対応
してメモリ１３から読み出された画像データを、ディス
プレイ１９の画面ＨＧに表示させるための制御を行う。
ディスプレイ１９は、表示制御部１８からの画像データ
を、利用者ＵＳが見れるように画面ＨＧに表示する。

【００２７】図３において、補間画像生成部１４は、複
数の撮影画像データＤＦの中から補間のための複数の撮
影画像データＤＦを選択する画像選択部３１、選択され
た撮影画像データＤＦに対して撮影画像間において互い
に対応する特徴点を設定する特徴点設定部３２、設定さ
れた特徴点に基づいて生成すべき補間画像の撮影姿勢に
対応する補間特徴点を合成して求める特徴点合成部３
３、特徴点と各補間特徴点との間の変換を定める変換部
３４とから構成される。画像選択部３１においては、通
常、２〜４個の撮影画像データＤＦが選択される。

【００２８】上述した表示装置１は、いわゆるワークス
テーション又はパーソナルコンピュータなどを利用して
構成されており、例えば上述の補間画像生成部１４、姿
勢検出部１６、画像選択部１７などは、ＲＯＭに格納さ
れたプログラムが演算装置によって実行されることによ
って実現される。しかし、プログラムの実行によって実
現されるそれらの機能の全部又は一部を、処理の高速化
のためにハードウエア化することもできる。

【００２９】次に、表示装置１を電子ショピングに利用
した場合の動作及び作用を説明する。まず、種々の商品
について、撮影画像データＤＦを予め作成する。撮影画
像データＤＦの作成に当たっては、１つの商品を撮影位
置に配置した状態で、その周囲の種々の角度位置からカ
メラ１１で撮影する。つまり、商品が地球儀の中心に配
置されていると仮定した場合に、その地球儀の表面上に
カメラ１１を配置し、カメラ１１を適当な経度毎及び緯
度毎に移動させて撮影する。商品とカメラ１１との距離
は、商品を明瞭に撮影できる距離であればよい。画像の
拡大縮小の技術を利用することができるので、距離を変
えて撮影する必要性は少ない。

【００３０】例えば、緯度を０度とし、経度を、０度、
３０度、６０度、９０度、１２０度、…３３０度という
ように、３０度づつ移動させて１周することによって、
１２回の撮影を行う。次に、緯度を３０度として経度を
同様に３０度づつ移動させて１周することによって１２
回の撮影を行い、さらに緯度を６０度として経度を６０
度づつ移動させて１周することによって６回の撮影を行
い、さらに緯度を９０度として１回の撮影を行う。そし
て、同様に、緯度を−３０度、−６０度、−９０度とし
て撮影を行う。この場合に、商品を上下逆さまに配置
し、緯度を３０度、６０度、９０度として撮影を行って
もよい。これによって、１つの商品をあらゆる方向から
撮影した多数の撮影画像データＤＦが得られる。撮影画
像データＤＦには、商品の名称ＮＭ、及び撮影位置（緯
度及び経度）ＰＰに関する情報が付属しており、これら
はメモリ１３に格納される。このようにして、多数の商
品についての撮影画像データＤＦがメモリ１３に格納さ
れる。

【００３１】メモリ１３に格納された撮影画像データＤ
Ｆに基づいて、補間画像生成部１４によって補間画像デ
ータＤＣが作成される。例えば、上述の撮影画像データ
ＤＦに対して、緯度が０度のときに経度が１５度刻みと
なるように、１５度、４５度、７５度…の撮影位置ＰＰ
の補間画像データＤＣが補間によって作成される。その
とき、作成される補間画像データＤＣに対して、最も近
い２つ又は３つ以上の撮影画像データＤＦが使用され
る。補間によって補間画像データＤＣを作成する手法と
して、アフィン変換又は射影変換などが利用される。

【００３２】利用者ＵＳの指示によって、指定された商
品の正面の画像が画面ＨＧに表示される。利用者ＵＳ
は、ディスプレイ１９の画面ＨＧの前方に位置してお
り、画面ＨＧを見ながら所定の範囲で自由に移動し、姿
勢を変えることができる。カメラ１５は、利用者ＵＳの
姿をとらえており、利用者ＵＳがディスプレイ１９の画
面ＨＧに対して例えば上下左右方向にそれぞれ３０度ま
での範囲で移動するのを撮影することができる。カメラ
１５から出力される画像信号Ｓ２に基づいて、姿勢検出
部１６によって利用者ＵＳの姿勢が検出され、姿勢デー
タＤＰが出力される。姿勢データＤＰは、利用者ＵＳの
画面ＨＧに対する角度位置をそのままデータとしてもよ
く、又は、利用者ＵＳの画面ＨＧに対する角度位置を２
倍又は３倍してもよい。このような倍率はキーボードの
操作によって指定することができる。姿勢データＤＰ
は、例えば、０．１〜０．５秒毎に１回出力される。な
お、姿勢は、利用者ＵＳの顔の向き及び位置、体の向き
及び位置などに応じて、公知の技術を用いて検出され
る。

【００３３】姿勢データＤＰに基づいて、画像選択部１
７によって、メモリ１３に格納された画像データＤの中
から１つの画像データＤが選択され、それが読み出され
てディスプレイ１９の画面ＨＧに表示される。画像デー
タＤの選択に当たっては、姿勢データＤＰによる利用者
ＵＳの姿勢と、画像データＤの撮影位置ＰＰとの距離が
最も近い画像データＤが選択される。その結果、利用者
ＵＳが姿勢を変えると、それに応じて、画面ＨＧに表示
される商品の向きが変わる。例えば、利用者ＵＳが右方
向に１５度移動すると、商品は左方向に１５度回転し、
その結果、利用者ＵＳは商品の右側に１５度回り込んで
見たのと同じ状態となる。つまり、画面ＨＧに表示され
た商品があたかもそこに実在するかのように、利用者Ｕ
Ｓはその商品を見ることができる。

【００３４】その場合に、姿勢データＤＰとして、利用
者ＵＳの画面ＨＧに対する角度位置を２倍、３倍として
おいた場合には、利用者ＵＳが１５度移動すると、商品
は３０度又は４５度回転する。また、利用者ＵＳがキー
ボードを操作することにより、画面ＨＧに表示される商
品の正面位置を切り替えることができる。例えば、商品
を右方向に９０度回転させた状態、１８０度回転させた
状態、２７０度回転させた状態、又は商品を経線方向に
９０度、１８０度回転させた状態など、種々の状態を正
面とすることができる。そのような正面状態の切り替え
と、利用者ＵＳの姿勢の変化によって、商品の裏側や底
面などであっても、商品の見たい部分を自在に見ること
ができる。

【００３５】次に、上述の表示装置１の処理の流れをフ
ローチャートに基づいて説明する。図５は表示装置１に
おける画像表示処理の概要を示すフローチャートであ
る。撮影画像データＤＦ及び補間画像データＤＣは既に
メモリ１３に格納されているとする。

【００３６】まず、カメラ１５からの画像信号Ｓ２を入
力する（＃１１）。姿勢検出部１６において姿勢を検出
し姿勢データＤＰを出力する（＃１２）。画像選択部１
７により、メモリ１３の中から姿勢に対応する画像デー
タＤを選択する（＃１３）。選択されて読み出された画
像データＤを画面ＨＧに表示する（＃１４）。以上の処
理が一定の周期で繰り返される。

【００３７】上述の実施例においては、カメラ１１で撮
影して得た撮影画像データＤＦに基づいて補間画像デー
タＤＣを作成するので、補間画像データＤＣを用いるこ
となく全部を撮影画像データＤＦによった場合と比較し
て、商品の撮影の手間を大幅に低減することができる。
また、補間画像データＤＣを予め作成してメモリ１３に
格納しておくので、姿勢データＤＰに対応する画像デー
タＤを高速で選択してメモリ１３から読み出し、画面Ｈ
Ｇに表示することができる。したがって表示の応答性が
良好である。

【００３８】上述の実施例においては、撮影画像データ
ＤＦ及び補間画像データＤＣのデータ量が膨大となるの
で、大容量のメモリ１３が必要である。これ に対し
て、メモリ１３には撮影画像データＤＦのみを格納して
おき、補間画像データＤＣは姿勢データＤＰに基づいて
表示する際に作成するようにすることによって、メモリ
１３の容量を軽減することができる。但し、補間画像デ
ータＤＣを作成するための時間を要するので、表示速度
が低下し、表示の応答性は低下する。応答性を向上させ
るためには、補間画像データＤＣの作成を専用のハード
ウエアで実行すればよい。

【００３９】図６は画像を表示する際に補間画像データ
ＤＣを生成するようにした場合のフローチャートであ
る。撮影画像データＤＦは既にメモリ１３に格納されて
いるとする。

【００４０】まず、カメラ１５からの画像信号Ｓ２を入
力する（＃２１）。姿勢検出部１６において姿勢を検出
し姿勢データＤＰを出力する（＃２２）。姿勢データＤ
Ｐに対応して、メモリ１３に格納された撮影画像データ
ＤＦの中の該当する複数の撮影画像データＤＦに基づい
て、補間画像データＤＣを作成する（＃２３）。作成さ
れた補間画像データＤＣに基づく画像を画面ＨＧに表示
する（＃２４）。但し、ステップ＃２３で、姿勢データ
ＤＰに直接的に対応する撮影画像データＤＦがある場合
には、補間画像データＤＣを作成することなくその撮影
画像データＤＦを表示する。以上の処理が一定の周期で
繰り返される。

【００４１】次に、利用者ＵＳの姿勢を検出する手法の
例について説明する。カメラ１５で利用者ＵＳを撮影し
た結果は、ピクセル（画素）単位に離散化されて１つの
３次元配列Ｉに格納されているとする。この配列のこと
を、ここでは画像データＩと呼ぶ。画像データＩでは、
１番目の添え字がＲＧＢ３色中の１色を指定し、２番目
及び３番目の添え字がピクセルを指定するものとする。
その指定の順番は、Ｉ

〔０〕

〔０〕

〔０〕が画面の左端
且つ上端のＲ（レッド）の輝度を示すものとする。そし
て、例えば、Ｉ

〔０〕

〔０〕〔１〕、Ｉ

〔０〕

〔０〕
〔２〕、Ｉ

〔０〕〔１〕

〔０〕、Ｉ

〔０〕〔２〕

〔０〕
は、それぞれＩ

〔０〕

〔０〕

〔０〕よりも１つ右側、２
つ右側、１つ下側、２つ下側のピクセルのＲの輝度を示
すものとする。

【００４２】例えば、次に示す表１の画像データの場合
では、Ｉ

〔０〕

〔０〕〔２〕＝１、Ｉ

〔０〕〔２〕
〔１〕＝５となる。モノクロ画像の場合には、ＲＧＢの
対応するピクセルに同じ値が入るものと約束する。

【００４３】

【表１】

【００４４】（１）顔の向きを検出する場合 まず顔を領域として分離した後、顔の向きを検出する。
顔を領域として分離するとは、次のようなモノクロ画像
データＦを生成（この操作を２値化という）することで
ある。

【００４５】Ｆ

〔０〕〔ｘ〕〔ｙ〕＝１ （ｘ，ｙ）
が顔の中にある場合 Ｆ

〔０〕〔ｘ〕〔ｙ〕＝０ （ｘ，ｙ）が顔の中にな
い場合 ２値化の方法の一例を次の〜に示す。説明を簡単に
するため、背景は十分輝度値が小さくε未満とする。 初期化 ｘ＝ｙ＝０とする。 輝度値の比較 Ｉ

〔０〕〔ｘ〕〔ｙ〕、Ｉ〔１〕〔ｘ〕〔ｙ〕、Ｉ
〔２〕〔ｘ〕〔ｙ〕のいずれか１つがε以上の値なら
ば、Ｆ

〔０〕〔ｘ〕〔ｙ〕＝１とする。そうでないとき
はＦ

〔０〕〔ｘ〕〔ｙ〕＝０とする。 反復 ｘに１を加える。ｘが画面の右端の値よりも大きくなっ
たら、ｙに１を加えｘに０を入れる。ｙが画面の下端の
値よりも大きくなったら終了する。それ以外の場合は輝
度値の比較以降を繰り返す。

【００４６】次に顔の向きを検出する。ここでは２次モ
ーメントを用いた方法を示す。 初期化 ｘ＝ｙ＝０、ｃ００＝ｃ１０＝ｃ０１＝ｃ２０＝ｃ１１
＝ｃ０２＝０とする。 モーメントの加算 現在の（ｘ，ｙ）に対して、もしＦ

〔０〕〔ｘ〕〔ｙ〕
が１ならば次の計算を行う。そうでないときはそのまま
次に進む。

【００４７】ｃ００＝ｃ００＋１ ｃ１０＝ｃ１０＋ｘ ｃ０１＝ｃ０１＋ｙ ｃ２０＝ｃ２０＋ｘ² ｃ１１＝ｃ１１＋ｘｙ ｃ０２＝ｃ０２＋ｙ² 反復 ｘに１を加える。ｘが画面の右端の値よりも大きくなっ
たら、ｙに１を加えｘに０を入れる。ｙが画面の下端の
値よりも大きくなったら次へ進む。それ以外の場合はモ
ーメントの加算以降を繰り返す。 向きの計算 ｃ２０’＝ｃ２０−ｃ１０² ／ｃ００、ｃ１１’＝ｃ１
１−ｃ１０＊ｃ０１／ｃ００、ｃ０２’＝ｃ０２−ｃ０
１² ／ｃ００に対して、θ＝（１／２）ｔａｎ^-1〔２ｃ
１１’／（ｃ２０’−ｃ０２’）〕を計算する。得られ
たθが顔の向きである。 （２）身体の位置を検出する場合 身体を領域として分離した後、身体の位置を検出する。
身体を領域として分離するには、上述の（１）で述べた
方法を用いる。身体の位置の検出も上述の（１）で述べ
たモーメントを用いて行うことができる。身体の位置と
して、例えば重心位置（ｃ１０／ｃ００，ｃ０１／ｃ０
０）を出力する。

【００４８】次に、画面ＨＧに表示された画像を変化さ
せる手法の例について説明する。利用者ＵＳの姿勢に応
じて画像を変化させる手法には次の２通りがある。 （１）予め多数の画像を用意しておき、利用者ＵＳの姿
勢に応じてその中の１つを選択して画面ＨＧに表示す
る。 （２）少数の画像を用意しておき、利用者ＵＳの姿勢に
応じてそれらを補間（変換）して画面ＨＧに表示する。

【００４９】以下、それぞれの手法について説明する。 （１）多数の画像から選択して表示する手法 まず、１つの商品、物体、景色などを種々の方向又は位
置から撮影した多数の画像データ（撮影画像データＤ
Ｆ）を用意する。各画像データには１〜Ｊの通し番号が
付されているものとし、各画像データを、Ｌ〔ｊ〕（ｊ
＝１，２，３，…Ｊ）で示す。また、各画像が撮影され
た方向又は位置をいくつかの実数値からなるベクトルｐ
〔ｊ〕で表す。画像を選択する手順は以下の通りであ
る。 初期化 ｊ＝１とし変数ｄｉｓｔに十分大きい数を入れておく。 距離の計算 現在のｊに対して、ｐ〔ｊ〕と検出された利用者ＵＳの
姿勢ｑとの間の距離ｄ（ｐ〔ｊ〕，ｑ）を計算する。そ
れが変数ｄｉｓｔの値よりも小さくなったら、今のｊを
変数ｍｉｎｊに入れ、変数ｄｉｓｔにｄを入れる。 反復 ｊに１を加える。ｊがＪよりも大きくなったら終了す
る。それ以外の場合は距離の計算を繰り返す。 選択結果の表示 ｍｉｎｊ番目の画像データＬ〔ｍｉｎｊ〕を選択結果と
して表示する。

【００５０】例えば、利用者ＵＳの姿勢として身体の重
心位置を用いる場合には、利用者ＵＳの姿勢ｑは、ｑ＝
（ｘ，ｙ）という重心位置を表す２つの数ｘ，ｙの組と
して表される。この場合において、各画像の撮影された
位置ｐ〔ｊ〕も（ｘｊ，ｙｊ）として記憶しておけばよ
い。

【００５１】距離ｄとしては、次式に示すユークリッド
距離などが利用できる。

【００５２】

【数１】

【００５３】（２）小数の画像を補間して表示する手法 補間を行うためには、各画像内に写っている商品、物
体、又は景色の対応を取る必要がある。画像間の対応
は、オペレータが各画像内に特徴点ｒ〔ｊ〕〔ｋ〕を打
つことによって指定することができる。特徴点ｒ〔ｊ〕
〔ｋ〕は、ｊ番目の画像のｋ番目の特徴点の座標値を示
す。ここで、ｋ＝１，２，３，…Ｋとする。特徴点ｒ
〔ｊ〕〔ｋ〕による対応づけの概念を図７に示す。

【００５４】上述の（１）と同様に、各画像データを、
Ｌ〔Ｊ〕（Ｊ＝１，２，３，…Ｊ）で示し、各画像が撮
影された方向及び位置をいくつかの実数値からなるベク
トルｐ〔ｊ〕で表す。ｐ’という方向からみた画像（補
間画像データＤＣ）を補間生成するものとする。

【００５５】まず、以下の手順でｐ’という方向から見
た特徴点ｓ〔ｋ〕を生成する。 初期化 ｊ＝１、ｕ＝０、ｓ〔１〕＝ｓ〔２〕＝……＝ｓ〔Ｋ〕
＝ｏとする。 距離の計算 現在のｊに対して、その画像の撮影された方向ｐ〔ｊ〕
と補間すべき方向ｐ’との間の距離ｄ（ｐ〔ｊ〕，
ｐ’）を計算する。その距離に応じて重みｗ（ｄ）を定
める。重みｗ（ｄ）の値は適当でよいが、距離が近い程
大きい値を取るようにすればよい。ｕ＝ｕ＋ｗ（ｄ）を
計算する。 特徴点座標の加算 各特徴点に対して、ｓ〔ｋ〕＝ｓ〔ｋ〕＋ｗ（ｄ）＊ｒ
〔ｊ〕〔ｋ〕を計算する。ｋ＝１，２，３，…Ｋに対し
て順次行う。 反復 ｊに１を加える。ｊがＪよりも大きくなったら終了す
る。それ以外の場合は距離の計算以降を繰り返す。 特徴点座標の平均 各特徴点に対して、ｓ〔ｋ〕＝ｓ〔ｋ〕／ｕを計算す
る。ｋ＝１，２，３，…Ｋに対して順次行う。

【００５６】次に、以下の手順で補間画像（補間画像デ
ータＤＣ）を生成する。ここでは、補間結果を格納する
画像データをＭとする。 画像初期化 すべてのｃｏｌ，ｘ，ｙ，に対して、Ｍ〔ｃｏｌ〕
〔ｘ〕〔ｙ〕＝０とする。 変数の初期化１ ｘ＝ｙ＝０とする。 最も近い特徴点の探索 今のｘ，ｙと各特徴点ｓ〔ｋ〕との間の距離を計算し、
近い順に特徴点を並べる。その番号をｋ₁ ，ｋ₂ ，
ｋ₃ ，…とする。 変数の初期化２ ｊ＝１とする。 各画像と補間画像との対応の決定 現在のｊに対して、ｒ〔ｊ〕〔ｋ₁ 〕とｓ〔ｋ₁ 〕、ｒ
〔ｊ〕〔ｋ₂ 〕とｓ〔ｋ₂ 〕などの関係から、両者を結
ぶ変換Ｇ〔ｊ〕を決定する。（ｘ’，ｙ’）＝Ｇ〔ｊ〕
（ｘ，ｙ）は、（ｘ，ｙ）のｊ番目の画像上での対応す
る位置（ｘ’，ｙ’）を表す。 輝度値の加算 Ｍ〔ｃｏｌ〕〔ｘ〕〔ｙ〕＝Ｍ〔ｃｏｌ〕〔ｘ〕〔ｙ〕
＋Ｌ〔ｊ〕〔ｘ’〕〔ｙ’〕を計算する。ｃｏｌ＝０，
１，２に対して順次行う。 反復１ ｊに１を加える。ｊがＪよりも大きくなったら次へ進
む。それ以外の場合は、各画像と補間画像との対応の決
定を繰り返す。 輝度値の平均 Ｍ〔ｃｏｌ〕〔ｘ〕〔ｙ〕＝Ｍ〔ｃｏｌ〕〔ｘ〕〔ｙ〕
／Ｊを計算する。ｃｏｌ＝０，１，２に対して順次行
う。 反復２ ｘに１を加える。ｘが画面の右端の値よりも大きくなっ
たら、ｙに１を加えｘに０を入れる。ｙが画面の下端の
値よりも大きくなったら終了する。それ以外の場合は、
最も近い特徴点の探索を繰り返す。

【００５７】ところで、ｒ〔ｊ〕〔ｋ₁ 〕とｓ
〔ｋ₁ 〕、ｒ〔ｊ〕〔ｋ₂ 〕とｓ〔ｋ₂ 〕などの関係か
ら、両者を結ぶ変換Ｇ〔ｊ〕を決定する部分は、どのよ
うな変換を用いるかによって種々の方法がある。最も簡
単な場合は、変換として平行移動を用いる場合であり、
その場合には、 Ｇ〔ｊ〕（ｘ，ｙ）＝ｒ〔ｊ〕〔ｋ₁ 〕−ｓ〔ｋ₁ 〕＋
（ｘ，ｙ） となる。平行移動の場合には１点の対応関係しか用いて
いないが、２つ又はそれ以上の対応関係を用いることに
よって精度がより向上すると考えられる。代表的な変換
を以下に示す。（ｘ’，ｙ’）＝Ｇ〔ｊ〕（ｘ，ｙ）と
する。

【００５８】アフィン変換： ｘ’＝ａ₁₁ｘ＋ａ₁₂ｙ＋ａ₁₃ ｙ’＝ａ₂₁ｘ＋ａ₂₂ｙ＋ａ₂₃ 射影変換： ｘ’＝（ａ₁₁ｘ＋ａ₁₂ｙ＋ａ₁₃）／（ａ₃₁ｘ＋ａ₃₂ｙ＋
ａ₃₃） ｙ’＝（ａ₂₁ｘ＋ａ₂₂ｙ＋ａ₂₃）／（ａ₃₁ｘ＋ａ₃₂ｙ＋
ａ₃₃） 但し、変換の係数ａ₁₁，ａ₁₂，…は、（ｘ，ｙ）のとこ
ろにｓ〔ｋ₁ 〕を入れると（ｘ’，ｙ’）がｒ〔ｊ〕
〔ｋ₁ 〕になり、（ｘ，ｙ）のところにｓ〔ｋ₂〕を入
れると（ｘ’，ｙ’）がｒ〔ｊ〕〔ｋ₂ 〕になる（以下
同様）という方程式を解いて定めるものとする。方程式
は１次式になるので簡単に解くことができる。方程式の
解き方については、例えば、「情報処理ハンドブック」
（情報処理学会編）が参考となる。

【００５９】上述の実施例によると、撮影画像を実在感
を持って利用者に呈示することができ、電子ショピング
に利用した場合において、利用者が商品の実物に近い感
覚で商品を把握することができる。例えば、商品の裏側
を見たい場合や商品を傾けて見たい場合にも、利用者Ｕ
Ｓが見たいと思う姿勢をとることによって、画面ＨＧに
表示された商品の画像がそのように変化するので、商品
があたかもそこに実在するように感じられる。したがっ
て、商品の形態、質感などをよりよく認識することがで
きる。商品の画像の大きさ（拡大縮小率）をキーボード
から指定するようにしてもよい。

【００６０】上述の実施例において、商品の名称ＮＭに
代えてコード番号でもよい。商品の撮影位置ＰＰは、ハ
ードウエアの仕様、特に処理速度に応じて他の種々の角
度に設定することができる。商品とカメラ１１との距離
を変えて撮影しておいてもよい。利用者ＵＳの姿勢を検
出する方法として、利用者ＵＳの身体の各部の動き、関
節の曲がり具合などを検出してもよい。ディスプレイ１
９の画面ＨＧは垂直面に沿って配置したが、水平面に沿
って配置してもよい。画面ＨＧの前方とは、その画面Ｈ
Ｇを利用者ＵＳが見ることができる位置をいう。表示装
置１の各部又は全体の構成、処理内容、処理順序、動作
タイミングなどは、本発明の主旨に沿って適宜変更する
ことができる。本発明は、電子ショピング以外に、種々
のコンピュータのグラフィカル・ユーザインタフェース
などに利用することができる。

【００６１】

【発明の効果】請求項１乃至請求項５の発明によれば、
撮影画像を実在感を持って利用者に呈示することが可能
となり、例えば電子ショピングに利用した場合におい
て、利用者が商品の実物に近い感覚で商品を把握するこ
とができる。

【００６２】しかも、従来の立体画像を表示する場合の
ように、表示のための特別なハードウェアを必要としな
い。また、ＣＧを表示する場合のように商品の実際の質
感が欠けたりＣＧの作成の手間を要することがない。

【００６３】請求項２の発明によると、補間画像を用い
ることなく全部を撮影画像によった場合と比較して、商
品などの撮影の手間を大幅に低減することができる。ま
た、補間画像を予め作成して記憶部に格納しておくの
で、姿勢に対応する画像を高速で選択して読み出すこと
ができ、表示の応答性が良好である。

【００６４】請求項４及び請求項５の発明によると、補
間画像を用いることなく全部を撮影画像によった場合と
比較して、商品などの撮影の手間を大幅に低減すること
ができる。

【図面の簡単な説明】

【図１】本発明に係る表示装置を示すブロック図であ
る。

【図２】表示装置のカメラとディスプレイの配置の例を
示す図である。

【図３】表示装置の補間画像生成部の機能の例を示すブ
ロック図である。

【図４】撮影画像データの構成を示す図である。

【図５】表示装置における画像表示処理の概要を示すフ
ローチャートである。

【図６】表示装置における他の実施例の画像表示処理の
概要を示すフローチャートである。

【図７】補間のための画像の特徴点による対応づけの概
念を示す図である。

【符号の説明】

１ 表示装置 １３ メモリ（記憶部） １４ 補間画像生成部（補間画像生成手段） １６ 姿勢検出部（検出手段） １７ 画像選択部（画像選択手段） １８ 表示制御部（表示制御手段） １９ ディスプレイ（ディスプレイ装置） ３１ 画像選択部（画像選択手段） ３２ 特徴点設定部（特徴点設定手段） ３３ 特徴点合成部（特徴点合成手段） ３４ 変換部（変換手段）

Claims (5)

【特許請求の範囲】
1. 【請求項１】同一の被写体について異なる方向から撮影
   することによって得られた複数の撮影画像を記憶部に格
   納しておき、 前記複数の撮影画像の中から選択された画像、又は前記
   複数の撮影画像から補間によって生成された画像を、画
   面に表示するとともに、 前記画面の前方に存在する利用者の姿勢を検出し、検出
   された利用者の姿勢に応じて前記画面に表示する画像を
   変化させる、 ことを特徴とする撮影画像の表示方法。
2. 【請求項２】同一の被写体について異なる方向から撮影
   することによって得られた複数の撮影画像、及び前記撮
   影画像に基づいて補間によって生成された複数の補間画
   像を、記憶部に格納しておき、 前記複数の撮影画像又は前記複数の補間画像の中から選
   択された画像を画面に表示するとともに、 前記画面の前方に存在する利用者の姿勢を検出し、検出
   された利用者の姿勢に応じて前記画面に表示する画像を
   変化させる、 ことを特徴とする撮影画像の表示方法。
3. 【請求項３】前記撮影画像及び／又は前記補間画像のそ
   れぞれに、被写体に対する撮影姿勢に関する情報を付属
   させておき、 前記利用者の姿勢と最も近い撮影姿勢の前記撮影画像又
   は前記補間画像を選択して前記画面に表示させることに
   よって、前記画面に表示する画像を変化させる、 請求項１又は請求項２記載の撮影画像の表示方法。
4. 【請求項４】画像を表示するための画面を有したディス
   プレイ装置と、 同一の被写体について異なる方向から撮影することによ
   って得られた複数の撮影画像を、各撮影画像の被写体に
   対する撮影姿勢に関する情報とともに格納する記憶部
   と、 前記複数の撮影画像の撮影姿勢の中間の撮影姿勢につい
   ての画像を補間画像として補間により生成する補間画像
   生成手段と、 前記画面の前方に存在する利用者の姿勢を検出する検出
   手段と、 前記複数の撮影画像又は前記複数の補間画像の中から、
   前記利用者の姿勢と最も近い撮影姿勢の撮影画像又は補
   間画像を選択する画像選択手段と、 選択された画像を前記画面に表示する表示制御手段と、 を有してなることを特徴とする撮影画像の表示装置。
5. 【請求項５】前記補間画像生成手段は、 前記複数の撮影画像の中から、補間のための複数の撮影
   画像を選択する画像選択手段と、 選択された撮影画像に対して、撮影画像間において互い
   に対応する特徴点を設定する特徴点設定手段と、 前記特徴点に基づいて、生成すべき補間画像の撮影姿勢
   に対応する補間特徴点を合成して求める特徴点合成手段
   と、 前記特徴点と各補間特徴点との間の変換を定める変換手
   段と、 を有してなる請求項４記載の撮影画像の表示装置。