JPWO2005041167A1 - 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム - Google Patents

Abstract

画像表示装置（１１０）は、センサ部（１０１）からの出力信号から観察者までの距離を検出する距離検出部（１０２）と、センサ部（１０１）からの出力信号から観察者を基準とした手持ち位置の角度を検出する角度検出部（１０３）と、観察者が画像表示装置（１１０）にどのように接近しつつあるか状態を検出する接近状態検出部（１０４）と、接近状態検出部（１０４）の検出結果に基づいて画像を取得して画像表示部（１０９）に表示する表示切替制御部（１０５）と、画像上で接近位置をユーザに表示するためのマーカ画像を生成するマーカ生成部（１０８）と、拡大画像データベース（１０６）または傾き変化接写画像データベース（１０７）と必要な画像データの送受信を行う送受信部（１１１）とを備える。

Description

本発明は、画像表示、画像再現技術に関し、被写体の画像を観察者に質感豊かにディスプレイに表示する画像表示装置および画像表示方法に関するものである。

近年、非対称ディジタル加入者線（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＡＤＳＬ）や光ファイバーなどのブロードバンド高速回線の普及によって、コンピュータを使うインターネットによるオンラインショッピング（Ｅｌｅｃｔｒｉｃ Ｃｏｍｍｅｒｃｅ：ＥＣ）が非常に身近になってきている。また、地上波ディジタル放送の普及が進むと、デジタルテレビにおいても、通常放送、例えば、ドラマ映像等と、通販とが融合した形のＥＣなども実現するであろうと想像され、近未来のキラーアプリケーションとして大きな地位を確立することが期待される。このようなオンラインショッピングの利便性は、自宅にいながらにして、商品の注文から受け取りまでが可能であることである。
しかしながら、オンラインショッピングでは、顧客が実物の商品を実際に目で確認することができない。このため、多くの販売サイトでは、「写真は、実物と異なる場合がある」旨の注意書きを載せているが、顧客からの苦情や返品は少なくない。つまり、出来るだけ質感高い商品画像を、ユーザのディスプレイ上に表示することが望まれている。
さて、上記のようなオンラインショッピングにおいて、顧客が利用するディスプレイは、コンピュータやデジタルテレビを用いる場合では１７インチ程度又はそれ以上であるが、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）や携帯電話などのモバイル情報処理機器の場合には、２〜４インチ程度の携帯型ディスプレイとなる。そして今後は、携帯型ディスプレイの利用率は、非常に多くなるものと想像される。
従って、このような小型の携帯型ディスプレイ上で、オンラインショッピングにおける商品提示を、如何に、高品質に行うかが大きな課題となり、このための様々な工夫がおこなわれている。
例えば、従来の画像表示装置には、観察者が携帯型のディスプレイを手で持って、３次元的に移動すると、ディスプレイ機器側は、その移動を、加速度センサなどを用いて検知して、表示する画像を能動的に変化させ、大きなサイズの画像全体を把握することができるものがある。
図１は、従来の画像表示装置の使用状況を示す図であり、画像表示装置１７０１は、携帯型ディスプレイと、位置検出センサを含む構成である。使用者が、画像表示装置１７０１を持って、空間を移動させた場合に、位置検出センサにより、２軸方向又は３軸方向の加速度を検出する。図１では、建築物の一部を、画像表示装置１７０１に表示した場合を示しており、使用者が画像表示装置１７０１を移動させることで、建築物の他の部分を、画像表示装置１７０１に表示することが可能となる。
ここで、従来の画像表示装置では、２軸方向の位置検出センサを用いて、画像表示装置１７０１の加速度の縦方向と横方向との成分を検出して時間積分を行い、速度成分と変位成分とを計算する。そして、移動方向を２次元的に行うことで、例えば、新聞や地図のような大きな画像の一部を切り取って観察することができ、移動方向を３次元、すなわち深さ方向に行うことで、例えば、建物用途では、建物の各階の構造を把握することができ、医療用では、脳の断面観察などを直感的に行うことが可能となる（例えば、特開２００２−７０２７号公報（第４頁、第２図）参照。）。
また、大容量の画像を、安価、かつ、使い勝手良く観察するため、ディスプレイの奥行き方向の移動に対して、表示画像の切り替えを行い、また、奥及び手前への移動に応じて、表示画像を拡大または縮小し、これにより、あたかも３次元空間を移動しながら画像表示部の画面を窓として観察できる効果が得られるものがある（例えば、特開２０００−６６８０２号公報（第３頁、第１図）参照。）。
また、照明により静止被写体の反射状態が異なる複数の画像を得て、この複数のフレーム画像を順番にディスプレイ上に切り替えて画像表示する画像表示方法がある。この例では、観察者モニタリング用カメラをディスプレイに設け、ディスプレイを見るモニタ観察者の視点の動きに応じて、選択されたフレーム画像に切り替えられながらディスプレイに画像表示してもよい。また読取画像の替わりに、照明により静止被写体の鏡面反射状態が異なる複数の原画像を、ＣＧを用いて作成して得てもよいと記載されている（例えば、特開２００３−１３２３５０号公報（第１６頁、第６図）参照。）。
また、携帯ディスプレイに小型カメラを搭載し、ユーザの視点を検出して奥行き距離を計算し大面積の提示、ウインドウの操作、メニュー選択、などを行う例もある（例えば、成田智也、渋谷雄、辻野嘉宏「ユーザの視点による視野コントロールが可能な提示システム」、ヒューマンインタフェース学会研究会報告集 Ｖｏｌ．３ ＮＯ．３ ｐｐ．１１−１４参照。）。
しかしながら従来の画像表示装置では、ユーザが携帯ディスプレイを用いてオンラインショッピングを行う場合、ディスプレイに対して様々な動作で働きかけても、そのフィードバック動作としては、画面より大きな画像を提示する、あるいは、拡大縮小をするなど簡単な画像処理を行うものでしかなく、オンラインショッピングなどで求められる事項である実物を手に取って眺めるような、リアリティを実現できるものではない。
例えば、顧客が商品画像として、ニットのセータを観察する場合には、毛糸の手触りなどの触感までを提示するようなディスプレイが求められている。
また、照明によって変化する表面反射特性や、繊維の織りの質感を擬似的に表示する方法も考慮されてはいるが、被写体の寸法やユーザの観察距離という概念は欠落している。このため被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与えるという重要な観点が考慮されず、例えば、遠距離の観察では対象全体像を把握し、接近した観察では被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することはできない。
このように、手で把持して観察するという行為を行うためには、従来の据え置き型の表示装置では難しく、携帯型の画像表示装置が望ましいのは明らかである。しかし従来、携帯型ディスプレイを備えた画像表示装置では、狭い画面領域へ多くの情報を表示することは難しい。

本発明は、上記の従来の課題を解決するためのもので、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーションであっても、観察者に被写体の商品を手でもって観察しているような最大のリアリティをもって効果的に商品を表示することができる画像表示装置および画像表示方法を提供することを目的とする。
上記目的を達成するために、本発明に係る画像表示装置は、被写体の画像を表示する画像表示装置であって、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御手段とを備えることを特徴とする。
これによって、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、それを引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。
ここで、前記画像表示装置は、さらに、前記観察距離に基づいて前記画像の表示倍率を算出する接近状態検出手段を備えることが好ましい。
また、前記接近状態検出手段は、前記観察距離が所定の距離以下である場合に、前記被写体が前記所定の距離に存在するものとして前記表示倍率を１倍と算出し、前記観察距離が所定の距離より大きい場合に、前記被写体が前記所定の距離より遠くに存在するものとして前記表示倍率を１倍未満と算出し、前記表示切替制御手段は、前記接近状態検出手段により算出された表示倍率が１倍未満である場合に、前記第１表示モードで前記被写体の画像を表示し、前記表示倍率が１倍である場合に、前記第２表示モードで前記被写体の画像を表示してもよい。
これによって、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーショシにおいて、ユーザに被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与え、例えば、遠距離の観察では、対象全体像を把握し、接近した観察では、被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することができる。
また、前記表示切替制御手段は、前記第１表示モードにおいて、前記表示倍率および前記観察方向に基づいて、前記被写体の一部分の画像を選択して表示してもよい。
これによって、例えば携帯用ディスプレイ等で画像表示領域のサイズが小さい場合であっても、被写体の一部を容易に選択することができる。
また、前記被写体の一部分は予め定められた領域であり、前記表示切替制御手段は、前記第１表示モードにおいて、前記観察方向および前記表示倍率に基づいて、複数の前記領域の中から１つの前記領域の画像を選択して表示してもよい。
これによって、被写体の一部分の画像を蓄積するデータベースの容量を削減することができる。
また、前記画像表示装置は、さらに、前記第１表示モードにおいて、前記予め定められた領域を示す第１のマーカを表示するとともに、前記観察方向および前記表示倍率に基づいて第２のマーカを表示するマーカ生成手段を備え、前記表示切替制御手段は、前記第１のマーカおよび前記第２のマーカの位置関係に応じて複数の前記領域の中から１つの前記領域を選択してもよい。
これによって、観察者は、拡大可能な領域を容易に確認することができ、第２のマーカを移動することができる。
また、前記表示切替制御手段は、前記第２表示モードにおいて、前記被写体表面の光の反射、散乱、透過のいずれかを記述する光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示してもよい。
これによって、観察者が被写体を観察する場合に、手にとった感覚でリアリティ豊かに観察できる。
また、本発明に係る画像表示システムは、サーバ装置に蓄積された被写体の画像を画像表示装置で表示する画像表示システムであって、前記画像表示装置は、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードに対応する前記被写体の画像を要求し、前記要求に応じて受け取った前記被写体の画像を表示する表示切替制御手段と、ネットワークを介して前記要求に基づく画像要求信号をサーバ装置へ送信し、前記画像要求信号に応じた画像を受信する送受信手段とを備え、前記サーバ装置は、前記ネットワークに接続されるとともに、前記被写体の全体画像を蓄積し、前記画像要求信号に応じて画像を送信する被写体データベースと、表示倍率に応じた被写体の一部分の画像を蓄積し、前記画像要求信号に応じて画像を送信する拡大画像データベースと、前記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾き変化接写画像を蓄積し、前記画像要求信号に応じて画像を送信する傾き変化接写画像データベースとを備えることを特徴とする。
さらに、本発明は、このような画像表示装置として実現することができるだけでなく、このような画像表示装置が含む特徴的な手段をステップとして含む画像表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
本発明に係る画像表示装置によれば、被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、ディスプレイと観察者の距離、すなわち観察距離をセンサで取得し、観察距離に応じて、被写体の実写画像から表面微細構造までを連続的に観察できるようにするものである。
ここで提示される画像は、観察距離が遠い場合から近い場合に応じて、その生成方法が異なる。観察距離が遠い範囲では、実写画像の縮小の状態であるが、観察距離が近い範囲では、予め実サンプルで測定しておいた被写体の詳細なテクスチャ画像、あるいは、それを任意面にレンダリングしたコンピュータグラフィックス画像に切り替わる。この効果は、観察距離が遠い場合には、被写体をディスプレイの枠を窓として遠景を見ている状態であり、距離が近い場合には、被写体表面がディスプレイ表面自体とみなすことになる。
すなわち、狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、次にそれを引き寄せて、今度は手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。

図１は、従来の画像表示装置を示す図である。
図２は、第１の実施の形態による画像表示装置の構成を示すブロック図である。
図３は、（ａ）第１の実施の形態による接近過程状態の観察距離と仮想被写体位置との関係を示す図、（ｂ）第１の実施の形態による最大接近状態の観察距離と仮想被写体位置との関係を示す図である。
図４は、第１の実施の形態による接近過程状態での接近マーカの表示を示す図である。
図５は、（ａ）第１の実施の形態による目標マーカの表示を示す図、（ｂ）第１の実施の形態による目標マーカ及び接近マーカの表示を示す図、（ｃ）第１の実施の形態による目標マーカ及び接近マーカ反応領域の表示を示す図、（ｄ）第１の実施の形態による拡大画像の表示を示す図、（ｅ）第１の実施の形態による拡大画像の表示を示す図である。
図６は、第１の実施の形態による最大接近状態における表示を示す図である。
図７は、第１の実施の形態による画像表示方法の手順を示すフローチャートである。
図８は、第１の実施の形態による撮影装置の構成を示す図である。
図９は、第１の実施の形態による傾き画像データベースを示す図である。
図１０は、観察距離と表示倍率の関係を示す図である。
図１１は、第２の実施の形態による画像表示装置の構成を示すブロック図である。
図１２は、（ａ）第２の実施の形態による最大接近状態での照明検出を示す図、（ｂ）、（ｃ）第２の実施の形態による最大接近画像の生成過程を示す図である。
図１３は、第２の実施の形態による撮影装置の構成を示す図である。
図１４は、第２の実施の形態による画像表示方法の手順を示すフローチャートである。
図１５は、第３の実施の形態による画像表示装置の構成を示すブロック図である。
図１６は、第３の実施の形態による最大接近状態における距離検出の状態を示す図である。
図１７は、第３の実施の形態による撮影装置の構成を示す図である。
図１８は、第３の実施の形態による画像表示方法の手順を示すフローチャートである。

以下本発明の実施の形態について、図面を参照して詳細に説明する。
（実施の形態１）
図２は本発明の実施の形態１の画像表示装置の構成を示すブロック図であり、携帯表示端末を用いてオンラインショッピングをする場合に、観察者が商品画像をリアリティ高く観察できることを目的としている。ここで本発明におけるリアリティの高い観察とは、全体の商品だけでなく、実際の商品を手で触りながら吟味する状態、部分的な局所領域の精密な観察までを連続的に無意識的に行うことを意味している。
画像表示装置１１０は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図２に示すようにセンサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、および送受信部１１１を備えている。また、画像表示装置１１０は、ネットワーク１１２を介して被写体データベース１１３、拡大画像データベース１０６、および傾き変化接写画像データベース１０７と接続される。
ここで、画像表示部１０９は、画像を表示する例えば液晶表示パネル等の装置である。センサ部１０１は、ユーザによる画像表示装置１１０の使用状況を検出するためのカメラなどの光学撮像系、超音波センサ、加速度センサ又はそれら組み合わせから構成された複合センサ系である。距離検出部１０２は、センサ部１０１からの出力信号から、観察者までの距離を検出する。角度検出部１０３は、センサ部１０１からの出力信号から、観察者を基準とした手持ち位置の角度を検出する。
また、接近状態検出部１０４は、観察者が、画像表示部１０９に、どのように接近しつつあるか状態を検出する。表示切替制御部１０５は、接近状態検出部１０４の結果に基づき画像を適宜処理し、画像表示部１０９に表示する。マーカ生成部１０８は、画像上で接近位置をユーザに表示するためのマーカ画像を生成する。
また、被写体データベース１１３は、予め商品の全体画像データを蓄積している。拡大画像データベース１０６は、商品画像の特定部位への連続的な拡大画像（商品の一部分の画像）を生成するために、予め画像データを蓄積している。傾き変化接写画像データベース１０７は、接近した詳細画像に傾きを与えて観察する画像を生成するために、予め画像データを蓄積している。送受信部１１１は、拡大画像データベース１０６、又は、傾き変化接写画像データベース１０７と、必要な画像データの送受信を行う。ネットワーク１１２は、画像表示装置１１０と、拡大画像データベース１０６と、傾き変化接写画像データベース１０７とを接続する。
ここで、センサ部１０１からの信号出力は、距離検出部１０２、角度検出部１０３において処理されて、画像表示装置１１０から観察者までの距離と、観察者を基準とした画像表示装置１１０の手持ち位置の角度を検出する。なお、カメラなどの光学撮像系を用いて距離及び角度を検出する手段については、上記の文献「ユーザの視点による視野コントロールが可能な提示システム」に詳しいので、ここでの説明は省略する。
表示切替制御部１０５は、切り替える商品画像とその処理内容としては、後述するように商品の全体画像から詳細部分までを画像として表示できるように離散的な画像があらかじめ蓄積されているため、それを実時間で連続的に補間して画像を生成する。
マーカ画像は、携帯型ディスプレイを構成する画像表示部１０９に適宜合成されて表示される。接近状態検出部１０４の動作について説明する。図３において、仮想被写体２０１は、仮想的な遠距離におかれた被写体であり、画像表示装置１１０は、被写体を表示するものである。
また、仮想被写体２０１と観察者との被写体距離をＤ１、Ｄ２とし、観察者と画像表示装置１１０の間の距離を観察距離Ｚ１、Ｚｔとし、仮想被写体２０１の縦方向の実サイズをＨとし、観察距離Ｚ１における表示サイズをＨ１とし、観察距離Ｚｔにおける表示サイズをＨ２とする。
図３（ａ）は、被写体距離Ｄ１が観察距離Ｚ１より遠い場合を示し、図３（ｂ）は、被写体距離Ｄ２が観察距離Ｚｔと一致する場合を示す。図３（ａ）に示すように、被写体距離Ｄ１が観察距離Ｚ１より、比較的大きい状態を接近過程状態と称して商品の全体画像から詳細部分までを画像として概観する行為に対応させる。これは画像表示装置１１０を窓として遠距離の被写体を見ている状態に相当し、画像表示装置１１０の狭い画面でも商品全景が観察できる。
ここで、図３（ｂ）は、観察距離Ｚ１が次第に近づくにつれ、仮想被写体２０１が、画像表示装置１１０にまで、引き寄せられるような状態を示す。なお、被写体距離Ｄの変化量は、観察距離Ｚの変化量に任意に定められた定数を乗算することで、画像表示装置１１０に、被写体全体から被写体の一部までを表示することが可能となる。なお、観察距離Ｚの変化量に乗算される定数は、仮想被写体の縦方向の実サイズＨを用いて算出することができる。
この過程では仮想被写体２０１の画像は次第に拡大され表示倍率が増加する。そして観察距離がＺｔとなった時、仮想被写体２０１も最も近づいた位置となり最大接近状態と称する。このときの被写体距離をＤ２とする。そしてＺｔとＤ２が等しいとすると、商品の表面がディスプレイ表面と同じ位置になり、商品の実サイズが倍率１：１で表示される。このとき携帯ディスプレイの画面上には、もはや被写体の一部しか表示できないが、商品を手で把持して詳細に観察するような光沢感、材質感、粒状感などを提示する状態に近い状態を作り出すことができる。表示倍率ｍは、観察距離と被写体距離の比であり、（式１）となる。（表１）は、接近過程状態と最大接近状態における表示倍率、観察距離、画面上表示サイズの関係を示すものである。

仮にＨ＝１（ｍ）の被写体、Ｄ１＝１０（ｍ）、Ｚ１＝４０（ｃｍ）、Ｚｔ＝２０（ｃｍ）とすると、仮想的な被写体に対して、画像表示装置１１０を観察距離４０（ｃｍ）から２０（ｃｍ）まで近づけることによって、被写体距離Ｄ１から被写体距離Ｄ２に、すなわち１０（ｍ）から２０（ｃｍ）まで引き寄せられることとなり、この場合に表示倍率は４（％）から１００（％）まで拡大され、画面表示装置１１０上の表示サイズは、縦サイズに近い４（ｃｍ）から画面表示装置１１０から大きくはみ出す１（ｍ）の実寸まで変化する。結局、被写体距離Ｄ２では、画面表示装置１１０に被写体の縦１（ｍ）のうちの４（ｃｍ）、すなわち４（％）という一部分しか表示できない。
接近状態検出部１０４の動作は、表示倍率ｍについて、ｍ＜１の場合には接近過程状態、ｍ＝１の場合には最大接近状態と判定するものである。これは観察距離Ｚ、仮想的な被写体距離Ｄ、画像上サイズを用いても（表１）の関係から判定可能である。ここで、Ｚｔの具体的数値については、上記では２０（ｃｍ）としたが、これは画像表示装置１１０をあまり近くから観察することは人間の眼の調節機能上不便であるだけでなく、画像表示装置１１０のディスプレイ画素構造までが観察されてしまうため、通常ディスプレイを見る明視距離の程度とすることが好ましいため仮に決めたものである。
また、本実施形態では、Ｄ２＝Ｚｔとして、最大接近状態では、被写体は観察距離と同位置にあるとしているが、この両者の関係はヒューマンインタフェースの観点からは主観評価実験などで経験的に決めればよく基本的には任意である。従って、接近過程状態と最大接近状態の判定には、必ずしも（表１）にとらわれることなく、表示倍率、画面上サイズ、観察距離のいずれを用いてもよく、その閾値もまた任意である。
本実施の形態においては、以上述べた接近過程状態（第１表示モード）と最大接近状態（第２表示モード）との２つの状態によってセンサからの出力である距離検出と角度検出結果の利用の仕方、表示画像への制御の方法が異なる。
まず、接近過程状態の場合の画像表示装置１１０の動作について図４を用いて説明する。図４は、観察者が、商品画像であるセータを表示画面に表示させて、これを観察している状態である。この図で用いる座標軸ＸＹＺは観察者の頭部３０１を原点として固定されている。
はじめに、観察者は商品の全体画像を観察するが、セータ表面の詳細を観察したくなった場合には、商品画像の一部を目標にして画像表示装置１１０を手で持って接近させる。このとき、角度検出部１０３はこの動きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。このとき、角度が微小であれば以下の関係式が成立するため角度からΔＸ、ΔＹが算出できる。これ以外にも、Ｙ軸方向の変位ΔＹ、Ｘ軸方向の変位ΔＸを直接検出してもよい。以下、接近過程状態での画像表示装置１１０の移動量表記は、ΔＸ、ΔＹを用いる。

（式２）のようにΔＸ、ΔＹ検出の結果、表示切替制御部１０５において、画像上で観察者の希望する接近位置を示す接近マーカ３０４が、上下左右に移動して商品画像上に合成して表示される。接近マーカ３０４の移動方向と、ΔＸ及びΔＹの方向との関係は規定しないが、本実施例ではΔＸ及びΔＹに対して逆向きに移動して表示されることとしている。例えば、画像表示装置１１０を手で向かって左に移動させる場合では、接近位置を商品画像の中心よりやや右側に偏移させている意味で接近マーカ３０４が、移動前の画像上の位置よりも右に偏移する。
観察者は、上記のように画像表示装置１１０をもちながら、商品画像上の接近位置を、接近マーカ３０４を見ながら調整しつつ、同時にＺ軸に沿って移動し、距離検出部１０２によって移動の変位ΔＺが検出される。
そして表示切替制御部１０５、Ｚ軸方向のΔＺの距離移動に従って、商品画像の上記の接近領域を中心に画像の拡大表示が行われる。このときの表示倍率は、（表１）にあるようにＺ１とＤ１の比として設定できる。
以上のように本実施の形態では、観察者の視線を検出し、上記の角度を検出している訳ではない。実際には携帯型の画像表示装置１１０では、画面が狭いため観察者は画面内で視線を自由に移動できず、視線は常に観察者の目と携帯型の画像表示装置１１０を結ぶ直線に固定されている。しかし、図４に示すように、商品画像中心に対して上下左右にずれた場所に向かって接近していく場合に、視線検出の代替として観察者を原点とした携帯型の画像表示装置１１０の位置検出を行う。
従って、本実施の形態における接近過程状態では、観察者がＺ値を変化させずに画像表示装置１１０を手で持ってＸＹ平面内で移動した場合は、表示されている画像自体が変化することは無く、接近マーカ３０４の位置が変化するだけである。
次に、図５を用いて、図４で説明した接近過程状態で表示される画像を説明する。画面が狭い携帯型の画像表示装置１１０においては、正確な接近部位の指定が非常に困難であると想像される。そこで本実施形態では、予め接近可能な領域を設定し、更に、画像表示装置１１０をＸＹ軸方向に移動した場合に、接近可能領域を目標マーカ４０１として表示し、接近マーカ３０４を合致させるように、画像表示装置１１０を移動させることで、目標マーカ４０１の選択を行うものである。ここで、図５（ａ）は、目標マーカ４０１を示した画像表示装置１１０であり、図５（ｂ）は、接近マーカ３０４により任意の目標マーカ４０１が選択された画像表示装置１１０であり、図５（ｃ）は、目標マーカ４０１の一定範囲内に接近マーカ３０４を移動させることで、目標マーカ４０１を選択する画像表示装置１１０であり、図５（ｄ）は、接近マーカ３０４により選択された接近可能領域の拡大画像を示す画像表示装置１１０であり、図５（ｅ）は、選択された接近可能領域を更に拡大した画像表示装置１１０を示している。
まず図５（ａ）において、接近可能領域として、（Ａ）（Ｂ）（Ｃ）の３種類を用意し、商品画像の全体像上で接近可能な位置を示す目標マーカ４０１を表示する。
次に、観察者は、画像表示装置１１０を手で持って、ＸＹ軸方向に移動させることにより、図５（ｂ）に示すように、接近マーカ３０４を移動表示させて、商品画像の接近対象である任意の目標マーカ４０１を特定する。接近する目標である局所領域の設定の方法としては様々な実現様式が存在し、特に表示画面が比較的大画面の場合には比較的大きな面積にて商品画像が提示されるため自由に設定したほうがよい。
この部分のユーザインタフェースは様々な形態が考えられる。例えば、目標マーカ４０１は商品画像にはじめから表示されておらず、観察者の手で持って移動という行為で接近マーカ３０４が発生した時に、接近マーカ３０４に一番近い目標マーカ４０１がはじめて表示されるようにしてもよい。
また、図５（ｃ）に示すように、目標マーカ４０１から一定距離内の接近マーカ反応領域４０２に接近マーカ３０４が入った場合には自動的に、該当する目標マーカ４０１への接近と判定されるようにしてもよい。また、一旦接近する場所が確定した後は画像観察を邪魔しないために既に接近マーカ３０４あるいは目標マーカ４０１の表示を消すことも考えられる。
次に、接近過程状態では、静止画に対して、接近する領域を選択しつつ、該当部位へ観察距離を接近させると、拡大画像データベース１０６に蓄積された拡大画像が図５（ｄ）に示すごとく表示され、更に、観察者が、画像表示装置１１０をＺ軸方向に移動することで、図５（ｅ）に示すように、商品画像の特定部位を中心に連続的に次第に接近しているような感覚を得るようにＺ軸方向に拡大された拡大画像が逐次表示される。
この拡大画像データベース１０６は、接近可能領域（Ａ）、（Ｂ）、（Ｃ）毎に、連続的な拡大画像を予め蓄積しておく、あるいは高精細画像を画像処理して連続的な拡大を実現するなどの方法で実現する。いずれにせよ高精細画像が必要な面積は接近可能な領域のみに限定されるため、画像蓄積量は被写体全体の高精細画像の蓄積に比較して少ないという利点がある。また、この過程での画像の取得には後述する装置を用いることで実現できる。
次に、最大接近状態について、図６を用いて説明する。
商品画像としてセータを例にとると、実際の商品を見る場合にセータの表面模様や織り、繊維の質、手触りなどを検討するために特定部位に充分接近して確認することに相当する。この場合には、表示切替制御部１０５は、接近過程状態とは異なる動作で画像を表示する。
まず、最大接近状態では、画面表示部１０９全体に商品画像の特定領域が表示され、この例ではセータの毛糸の編目が表示されている。ここで以前と同様に画像表示装置１１０を手で把持して傾けると、角度検出部１０３は、画像表示装置１１０の傾きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。
ただし、最大接近状態では、Ｚ軸方向の距離ΔＺは、被写体距離Ｄが観察距離Ｚｔより大きくなった場合に、再び接近過程状態に戻る用途以外には利用されず、専らΔθ、Δψの２つの角度を検出し、一定照明、一定の視角の観察者に対して被写体の表面の傾きが変化した状態の画像を表示し、表面のリアルな材質感、粒状感などをリアリティ高く提示できる。
さて、以上のような最大接近状態での画像表示の方法について、図７のフローチャートを用いて説明する。まず、Ｓ６０１にて、距離検出部１０２が、観察距離Ｚを測定する。次に、Ｓ６０２にて、角度検出部１０３が、（Δψ、Δθ）を測定する。
次に、Ｓ６０３にて、接近状態検出部が、表示倍率を求め、観察状態判定を行う。なお、この検出には、必ずしも表示倍率の数値に限らず、観察距離によってもよいことは（表１）から明らかである。ここで、接近過程状態と検出された場合は、Ｓ６０６に移行し、最大接近状態と検出された場合は、Ｓ６０４に移行する。
まず、接近過程状態の場合には、Ｓ６０６にて、マーカ生成部１０８が、画像上に接近マーカ３０４、目標マーカ４０１を表示する。次に、Ｓ６０７にて、表示切替制御部１０５が、（Δψ、Δθ）から（ΔＸ、ΔＹ）という接近領域の選択を実施する。
次に、Ｓ６０８にて、表示切替制御部１０５が、拡大画像データベース１０６の検索を行い、該当する拡大画像を、目標とする接近領域への画像として連続的に画像表示部１０９へ出力する。次に、Ｓ６０９にて、画像表示部１０９が、商品画像に拡大画像を重ね合わせて表示する。
次に、最大接近状態の場合には、Ｓ６０４にて、表示切替制御部１０５が、角度（Δψ、Δθ）から傾き変化を算定して傾き変化接写画像データベース１０７の検索を行って、接写画像の傾き変化を再現する。
次に、Ｓ６０５にて、画像表示部１０９が、検索された接写画像を画像表示部１０９に表示する。ここでは、観察距離Ｚの変化は接写画像に対して何らの変化も及ぼさず、観察距離Ｚが大きくなると再度接近過程状態に戻っていく。このように観察距離Ｚに依存して状態が変化する系では、センサ系のノイズによって状態が激しく変動する現象も発生する可能性もあり、系に一種のヒステリシス特性を与えたリスムージング特性を与えたりする手段が有効である。
以上で実施の形態１における画像表示方法、画像表示装置１１０の説明を終了する。
次に、利用した画像データベースの取得方法について説明する。図８は、被写体７０１であるニットセータの任意の特定領域のみを、一定照明及び一定カメラアングルで、被写体７０１を様々な角度に傾けながら撮影する撮影装置を示している。
傾き台７０２は、被写体７０１であるセータを載せる台であり、傾きが可変である。自動架台装置７０３は、傾き台７０２の面法線方向を、ΔψとΔθの２自由度で傾かせる機構と、ＸＹ軸方向に傾き台７０２を平行移動させる機構とを備える。照明ランプ７０４は、平行光を作りだすレンズ７０５を通して被写体７０１を入射角約２２度で照明する。
カメラ７０６は、ＸＹ軸平面に垂直方向なＺ軸方向で遠距離から近距離までの位置に設定され、被写体７０１を撮影する。
図８では、カメラ７０６をＺ軸方向の移動により、被写体７０１の拡大画像を作成しているが、カメラ７０６のレンズのズーミング機構で簡便に代用することも可能である。
まず、被写体７０１の拡大画像を画像データベース化する手順を説明する。
ここで、接近過程状態においては、静止画に対して、接近する領域を選択しつつ、該当部位へ連続的に次第に接近している感覚が得られるような拡大画像の生成が必要とされる。
まず、接近可能領域（Ａ）、（Ｂ）、（Ｃ）に相当する被写体７０１上の特定領域７１１を決定し、自動架台装置７０３を平行移動して、カメラ７０６が接近可能領域の真上に一致するように設定する。
次に、カメラ７０８を、Ｚ軸方向に移動させながら接近する状況の画像を連続的に撮影し、撮影画像を拡大画像データベース１０６に蓄積する。
以上により、接近過程状態における接近可能領域の拡大画像を作成することができる。
次に、被写体７０１の傾き変化接写画像を画像データベース化する手順を説明する。
最大接近状態では、図６に示すように、画像表示装置１１０を、Ｘ軸周りとＹ軸周りとの回転角に応じた画像が必要となる。このため、傾き台７０２を、ΔψとΔθの２変数度で傾きを与え、再度逐次撮影を行い、図９に示すように、２次元の画像データベースとして、傾き変化接写画像データベース１０７に蓄積する。なお、図９では上記の傾き角度範囲を±３０度としているが数値は他でも構わない。
また、上記の２種の画像データベースから実際の表示画像を生成するのは、表示切替制御部１０５の機能であり、観察距離Ｄに応じて、接近過程状態では、拡大画像データベース１０６を検索し、必要であれば、適宜、拡大画像を補間しながら表示し、最大接近状態では、傾き変化接写画像データベース１０７を、Δθ、Δψから検索し、適宜、傾き変化接写画像を補間する必要があれば実施して表示する。
なお、接近過程状態における観察距離と表示倍率の関係は、例えば図１０に示す直線８０１のように観察距離（ＺｍａｘからＺｔ）に応じて表示倍率を均一に増加させてもよいし、曲線８０２および曲線８０３のように偏りを持たせて観察距離に応じて表示倍率を増加させてもよい。この図１０において観察距離ＺｔからＺｍｉｎまでは最大接近状態である。
また、観察距離Ｚｍａｘ、観察距離Ｚｍｉｎ、最大接近状態となる観察距離Ｚｔは、あらかじめ設定された値を用いるだけでなく、観察者が初期設定として設定することも可能である。例えば、観察者が画像表示装置１１０を手に持って最大に手を伸ばした状態で観察距離Ｚｍａｘを設定し、観察者が画像を確認できる範囲で画像表示装置１１０を最も近づけた状態で観察距離Ｚｍｉｎを設定し、観察者が希望する位置で最大接近状態となる観察距離Ｚｔを設定すればよい。
（実施の形態２）
実施の形態１では、被写体表面の面法線の傾きの２自由度の変化に対応し、撮影に使用する一定の照明下の画像を最大接近画像として用いた画像表示装置１１０について説明したが、実施の形態２では、観察者が屋外や屋内で本画像表示装置を使う場合、最大接近画像の観察においては、現在の照明下にて観察されるであろう最大接近画像を合成して表示する構成について説明する。
一般的な照明下で任意の観察下での表面の特性を記述する方法として、近年のコンピュータグラフィックス分野では、双方向性反射分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＲＤＦ）、ＢＲＤＦを２次元画像に拡張した双方向性テクスチャ関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｔｅｘｔｕｒｅ ｆｕｎｃｔｉｏｎ：ＢＴＦ）という概念をよく用いる。ＢＲＤＦは、表面上の１点のみに対して照明の入射角を球座標で表現した（α、β）と観察する視角を、同じく球座標で表現した（θｅ、φｅ）の４変数の関数であり、（式３）のように放射輝度Ｌを入射する照度Ｅにて正規化したものとして定義されている。

またＢＴＦは、ＢＲＤＦを一定の面積をもつ画像領域に拡張したもので、（α、β、θｅ、φｅ）と（Ｘ、Ｙ）の合計６変数の関数で、従来のテクスチャに対して３次元テクスチャと称されることもある。この一定面積内での照度が一定とすればＢＴＦは、（式４）のように視角方向からの輝度画像をある角度からの照明による照度にて正規化して得られる。

そこで実施の形態２では、このＢＴＦを用いることにより、さらにリアリティ豊かな表示を行うことを目的とする。図１１は実施の形態２の画像表示装置の構成を示すブロック図であり、図２と異なる部分は、照明方向検出部９０１、照度検出部９０２、ＢＴＦデータベース９０３、レンダリング部９０４の存在である。なお、図２と同じ番号の構成要素の動作は、実施の形態１と同様なため、ここでの説明は、省略する。
画像表示装置９０５は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図１１に示すように照明方向検出部９０１、照度検出部９０２、レンダリング部９０４、センサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、及び送受信部１１１を備えている。また、画像表示装置９０５は、ネットワーク１１２を介して、被写体データベース１１３、ＢＴＦデータベース９０３、拡大画像データベース１０６及び傾き変化接写画像データベース１０７と接続される。
図１２（ａ）は、照明方向検出と表示されるレンダリング後の画像を示している。照明方向検出部９０１は、図１２のように観察者が画像表示装置９０５を屋外や屋内で利用する際の環境照明の方向（α、β）、照度Ｅを検出するものである。照度検出部９０２は、画像表示装置９０５を、屋外や屋内で利用する場合の環境照明による表示面照度を検出するものである。これら照明光の検出には、実施の形態１におけるセンサ部１０１からの信号を処理して利用することも可能であるが、付加的な照度センサなどを用いて行うことも可能である。ＢＴＦデータベース９０３には、予め被写体の特定領域を測定して得られたＢＴＦが蓄積されている。レンダリング部は観察照明下で観察されるであろう被写体の最大接近画像の輝度を（式５）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

実測されたＢＴＦを用いたイメージベースのコンピュータグラフィックスのレンダリングでは被写体の３次元モデル、あるいは表面法線が必要であり、別途レーザスキャンなど特殊な装置を用いて計測する必要がある。しかし本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な最大接近画像にＢＴＦを適用しているため、被写体の表面形状の取得は必要ない。
ここで、本実施の形態では、図１２（ｂ）、（ｃ）に示すように、表示される最大接近画像１００１は、任意の仮想的な平面及び曲面である仮想曲面１００２を仮定し、それにＢＴＦ１００３を３次元テクスチャとして適用することで生成し、画像表示装置９０５に表示する。なお、図１２（ｂ）は仮想曲面１００２が凸形状の場合を示し、図１２（ｃ）は仮想曲面１００２が凹形状の場合を示している。また、仮想曲面１００２が凸形状であるか凹形状であるかを画像表示部１０９に表示する構成とすることも可能である。このように任意の平面、特に曲面に対してＢＴＦを適用すると照明の変化に対する表面のテクスチャが明瞭に判別でき、まさに手にとって吟味するような感覚が得られるという効果がある。この目的のためには、レンダリングに使用する仮想曲面１００２は、ユーザが手にとった様子に合わせて自由に指定、変更できるようにしてもよい。
図１３は、被写体のＢＴＦを測定するための撮影装置１１０３を示しており、図８の撮影装置７１２と同じ部分には同じ番号を付けているので、図８と差異は、照明角度αに関する照明角度移動機構１１０１、自動架台装置７０３に角度βに関する被写体回転機構１１０２が付加されている点である。
撮影装置１１０３の使用方法につき説明する。接近過程状態は、図８の動作と同じであるから省略する。次に、最大接近状態について説明する。ＢＴＦ測定の場合には、カメラ７０６で観測された画素値をそのまま輝度値として使用するので、予めカメラ７０６のＯＥＴＦ（光電変換関数）を輝度に対してリニアになるようにキャリブレーションしておく。カメラ７０６の位置で最大接近状態である場合に、まず、照明角度αを、カメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対して、β＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０２を、ΔψとΔθの２変数で傾きを与えて再度逐次撮影を行なう。更に、照明位置をカメラ視角に対して４５°の位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、これを２２．５°毎の１５７．５°まで実施する。
次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了し、この結果をＢＴＦデータベース９０３として保存する。
なお図１３の撮影装置１１０３では、カメラ７０６を固定して照明角度αを変化させたが、照明ランプ７０４を固定してカメラ角度を移動させることも可能である。なお、ここで、ＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意の値を用いても構わない。実際の計算には、これら測定値を適宜補間した値を使うことが多い。
次に、実施の形態２における画像表示方法のフローチャートを図１４に示す。図７のフローチャートと異なる部分は、Ｓ１２０１からＳ１２０４になる。ここでは、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９の説明は省略する。
まず、Ｓ１２０１にて、照明方向検出部９０１が観察照明の角度の測定を行い、照度検出部９０２が観察照明の照度の測定を行う。
次に、Ｓ１２０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＢＴＦを検索するＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＢＴＦ要求信号をＢＴＦデータベース９０３に送信し、ＢＴＦデータベース９０３において、ＢＴＦ要求信号に該当するＢＴＦを画像表示装置９０５に送信する。
次に、Ｓ１２０３にて、レンダリング部９０４が、受信したＢＴＦをマッピングする表面を生成し、照明方向と表面の法線を考慮してＢＴＦがマッピングされ、更に、レンダリングを施した画像を最大接近画像として生成する。
次に、Ｓ１２０４では、画像表示部１０９が、生成された最大接近画像を表示する。
また、レンダリングに使用する関数は、ここではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られ、内部散乱が支配的な紙面のような表面では双方向サーフェススキャタリング分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＳＳＲＤＦ）を用いてもよい。
（実施の形態３）
実施の形態２までは、最大接近状態において、ΔψとΔθの変化に対する画像の見え方の変化を表示するだけの画像表示装置９０５であったのに対して、実施の形態３においては、ＢＴＦを拡張して距離の概念を考慮したデータベースを用いることで、観察距離の変化に対する微妙な接写画像の距離による変化を反映させ、被写体の詳細な画像である拡大画像の提示を可能とする画像表示装置を提供する。
図１５は、本実施の形態の画像表示装置１３０２の構成を示すブロック図であり、図１１の画像表示装置１３０２において、ＢＴＦデータベース９０３を、距離可変ＢＴＦデータベース１３０１に置き換えた構成となる。ここで、距離可変ＢＴＦを本発明においてはＤＴＢＦと称する。なお、他の構成要素において、図１１と同一の番号の構成要素の動作は、実施の形態１及び２と同様なため、ここでの説明は省略する。
次に、図１６は、本実施の形態での画像表示方法を示す図であり、最大接近状態において、（Δψ、Δθ）の角度の他に、更に、観察距離Ｚの変動ΔＺによって表示画像が、より観察距離が接近したため、表面構造１４０１が詳細に観察できる画像に変化する最大接近状態を示す。この状態では、観察距離がＺ＜Ｚｔであり、被写体であるセータの毛糸の織りの構造までが詳細に観察できるレベルとなる。
ＤＢＴＦは、従来のＢＴＦ（α、β、θｅ、φｅ、Ｘ，Ｙ）を距離方向Ｚに拡張した７変数テクスチャ関数として（式６）のように観察距離Ｚの位置における視角方向からの輝度画像を照明の照度にて正規化した量で定義できる。

ＤＢＴＦデータベース１３０１には、予め被写体の特定領域を特殊な装置にて測定して得られたＤＢＴＦが蓄積されている。レンダリング部９０４は、観察照明下で観察されるであろう被写体の詳細画像の輝度を、（式７）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な詳細画像である場合に、ＤＢＴＦを適用していることにより、被写体形状の取得は必須ではなく、仮想的な平面又は曲面を仮定して仮想曲面１００２とし、仮想曲面１００２にＤＢＴＦを適用することで容易にレンダリングされた詳細画像が生成でき、これを画像表示装置１３０２に表示することができる。
図１７は、被写体のＤＢＴＦを測定するための撮影装置１５０２を示しており、図１３の撮影装置と同じ部分には同じ番号を付けてあり、同様の動作をするため、ここでの説明は省略する。実施の形態２の図１３に示した撮影装置に対して、カメラ１５０１がＺ軸方向に移動することができる構成としたものである。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向へ移動することにより、被写体距離を可変としているが、カメラ１５０１のレンズのズーミング機構で簡便に代用することも可能である。
撮影装置１５０２の使用方法につき説明する。接近過程状態の場合は、図１３の動作と同じであるから、ここでの説明は省略する。
次に、実施の形態３の最大接近状態の場合について、ＤＢＴＦ測定を説明する。まず、カメラ１５０１で観測された画素値をそのまま輝度値として使用するので、予めカメラ１５０１のＯＥＴＦ（光電変換関数）を輝度リニアになるようにキャリブレーションしておく。
次に、カメラ１５０１を最大接近状態の位置に移動し、照明角度αをカメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対してβ＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０３をΔψとΔθの２変数で傾きを与えて再度逐次撮影を行う。
次に、照明角度αをカメラ視角に対して４５°になる位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、順次、照明角度αを２２．５°毎に、１５７．５°まで実施する。次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了する。
次に、カメラ１５０１を実施の形態２による最大接近状態の位置より、更に、被写体に接近させ、再度測定を繰り返す。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向への移動は距離を可変にすることで実現しているがレンズのズーミング機構で簡便に代用することも可能である。
以上の結果をＤＢＴＦデータベース１３０１として保存するものとする。なお、図１７の撮影装置１５０２ではカメラ１５０１を固定して照明角度を移動したが、照明を固定してカメラ角度を移動させることも可能である。なお、ここでＤＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意に設定することが可能である。また、実際の計算には、測定値を適宜補間した値を使用することも可能である。
図１８に、実施の形態３における画像表示方法のフローチャートを示す。実施の形態２における図１４のフローチャートと異なる部分は、Ｓ１６０１からＳ１６０２になる。なお、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９、Ｓ１２０１、Ｓ１２０３、Ｓ１２０４の説明については省略する。
まず、Ｓ１６０１にて、接近状態検出部１０４が、表示倍率を再度検証し、表示倍率が、ｍ＞１である場合は、Ｓ１６０２に移行し、表示倍率が、ｍ＝１である場合は、Ｓ１２０２に移行する。なお、最大接近状態の条件をｍ＝１としたが、実際の使用においては、ｍ＝１よりも、最大接近状態の条件を０．９＜ｍ＜１．１とするなど、使用者の利便性を考慮した設定とすることもできる。
次に、Ｓ１６０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＤＢＴＦを検索するＤＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＤＢＴＦ要求信号をＤＢＴＦデータベース１３０１に送信し、ＤＢＴＦデータベース１３０１において、ＤＢＴＦ要求信号に該当するＤＢＴＦを画像表示装置１３０２に送信する。
以降は図１４と同様に、Ｓ１２０３にて、表示切替制御部１０５が、ＤＢＴＦをマッピングし、更に、レンダリングを行った画像である詳細画像を生成する。
また、レンダリングに使用する関数は、本実施の形態ではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られる。また、内部散乱が支配的な紙面のような表面では、ＢＳＳＲＤＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ）を用いてもよい。
なお、上記各実施の形態では、各データベースからすべての画像を取得して表示する場合について説明したが、これに限られるものではない。例えば、最初は観察者が店舗において商品の画像を撮影し、後でこの商品の画像を表示させる際に、全体画像は実際に撮影した商品の画像を表示し、それ以外の接近画像では各データベースから該当する商品の画像を取得して表示することも可能である。

本発明に係る画像表示装置および画像表示方法は、オンラインショッピングなどのアプリケーションで被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、表示面積の狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、画像表示装置を引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができ有用である。また本画像表示装置および画像表示方法は、実写とコンピュータグラフィックスの併用が有効な医療用途やデジタルアーカイブなどの博物館用途にも利用できる。

本発明は、画像表示、画像再現技術に関し、被写体の画像を観察者に質感豊かにディスプレイに表示する画像表示装置および画像表示方法に関するものである。

近年、非対称ディジタル加入者線（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＡＤＳＬ）や光ファイバーなどのブロードバンド高速回線の普及によって、コンピュータを使うインターネットによるオンラインショッピング（Ｅｌｅｃｔｒｉｃ Ｃｏｍｍｅｒｃｅ：ＥＣ）が非常に身近になってきている。また、地上波ディジタル放送の普及が進むと、デジタルテレビにおいても、通常放送、例えば、ドラマ映像等と、通販とが融合した形のＥＣなども実現するであろうと想像され、近未来のキラーアプリケーションとして大きな地位を確立することが期待される。このようなオンラインショッピングの利便性は、自宅にいながらにして、商品の注文から受け取りまでが可能であることである。

しかしながら、オンラインショッピングでは、顧客が実物の商品を実際に目で確認することができない。このため、多くの販売サイトでは、「写真は、実物と異なる場合がある」旨の注意書きを載せているが、顧客からの苦情や返品は少なくない。つまり、出来るだけ質感高い商品画像を、ユーザのディスプレイ上に表示することが望まれている。

さて、上記のようなオンラインショッピングにおいて、顧客が利用するディスプレイは、コンピュータやデジタルテレビを用いる場合では１７インチ程度又はそれ以上であるが、ＰＤＡ（Personal Digital Assistance）や携帯電話などのモバイル情報処理機器の場合には、２〜４インチ程度の携帯型ディスプレイとなる。そして今後は、携帯型ディスプレイの利用率は、非常に多くなるものと想像される。

従って、このような小型の携帯型ディスプレイ上で、オンラインショッピングにおける商品提示を、如何に、高品質に行うかが大きな課題となり、このための様々な工夫がおこなわれている。

例えば、従来の画像表示装置には、観察者が携帯型のディスプレイを手で持って、３次元的に移動すると、ディスプレイ機器側は、その移動を、加速度センサなどを用いて検知して、表示する画像を能動的に変化させ、大きなサイズの画像全体を把握することができるものがある。

図１は、従来の画像表示装置の使用状況を示す図であり、画像表示装置１７０１は、携帯型ディスプレイと、位置検出センサを含む構成である。使用者が、画像表示装置１７０１を持って、空間を移動させた場合に、位置検出センサにより、２軸方向又は３軸方向の加速度を検出する。図１では、建築物の一部を、画像表示装置１７０１に表示した場合を示しており、使用者が画像表示装置１７０１を移動させることで、建築物の他の部分を、画像表示装置１７０１に表示することが可能となる。

ここで、従来の画像表示装置では、２軸方向の位置検出センサを用いて、画像表示装置１７０１の加速度の縦方向と横方向との成分を検出して時間積分を行い、速度成分と変位成分とを計算する。そして、移動方向を２次元的に行うことで、例えば、新聞や地図のような大きな画像の一部を切り取って観察することができ、移動方向を３次元、すなわち深さ方向に行うことで、例えば、建物用途では、建物の各階の構造を把握することができ、医療用では、脳の断面観察などを直感的に行うことが可能となる（例えば、特開２００２−７０２７号公報（第４頁、第２図）参照。）。

また、大容量の画像を、安価、かつ、使い勝手良く観察するため、ディスプレイの奥行き方向の移動に対して、表示画像の切り替えを行い、また、奥及び手前への移動に応じて、表示画像を拡大または縮小し、これにより、あたかも３次元空間を移動しながら画像表示部の画面を窓として観察できる効果が得られるものがある（例えば、特開２０００−６６８０２号公報（第３頁、第１図）参照。）。

また、照明により静止被写体の反射状態が異なる複数の画像を得て、この複数のフレーム画像を順番にディスプレイ上に切り替えて画像表示する画像表示方法がある。この例では、観察者モニタリング用カメラをディスプレイに設け、ディスプレイを見るモニタ観察者の視点の動きに応じて、選択されたフレーム画像に切り替えられながらディスプレイに画像表示してもよい。また読取画像の替わりに、照明により静止被写体の鏡面反射状態が異なる複数の原画像を、ＣＧを用いて作成して得てもよいと記載されている（例えば、特開２００３−１３２３５０号公報（第１６頁、第６図）参照。）。

また、携帯ディスプレイに小型カメラを搭載し、ユーザの視点を検出して奥行き距離を計算し大面積の提示、ウインドウの操作、メニュー選択、などを行う例もある（例えば、成田智也、渋谷雄、辻野嘉宏「ユーザの視点による視野コントロールが可能な提示システム」、ヒューマンインタフェース学会研究会報告集 Ｖｏｌ．３ ＮＯ．３ ｐｐ．１１−１４参照。）。

しかしながら従来の画像表示装置では、ユーザが携帯ディスプレイを用いてオンラインショッピングを行う場合、ディスプレイに対して様々な動作で働きかけても、そのフィードバック動作としては、画面より大きな画像を提示する、あるいは、拡大縮小をするなど簡単な画像処理を行うものでしかなく、オンラインショッピングなどで求められる事項である実物を手に取って眺めるような、リアリティを実現できるものではない。

例えば、顧客が商品画像として、ニットのセータを観察する場合には、毛糸の手触りなどの触感までを提示するようなディスプレイが求められている。

また、照明によって変化する表面反射特性や、繊維の織りの質感を擬似的に表示する方法も考慮されてはいるが、被写体の寸法やユーザの観察距離という概念は欠落している。このため被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与えるという重要な観点が考慮されず、例えば、遠距離の観察では対象全体像を把握し、接近した観察では被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することはできない。

このように、手で把持して観察するという行為を行うためには、従来の据え置き型の表示装置では難しく、携帯型の画像表示装置が望ましいのは明らかである。しかし従来、携帯型ディスプレイを備えた画像表示装置では、狭い画面領域へ多くの情報を表示することは難しい。

本発明は、上記の従来の課題を解決するためのもので、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーションであっても、観察者に被写体の商品を手でもって観察しているような最大のリアリティをもって効果的に商品を表示することができる画像表示装置および画像表示方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像表示装置は、被写体の画像を表示する画像表示装置であって、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御手段とを備えることを特徴とする。

これによって、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、それを引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。

ここで、前記画像表示装置は、さらに、前記観察距離に基づいて前記画像の表示倍率を算出する接近状態検出手段を備えることが好ましい。

また、前記接近状態検出手段は、前記観察距離が所定の距離以下である場合に、前記被写体が前記所定の距離に存在するものとして前記表示倍率を１倍と算出し、前記観察距離が所定の距離より大きい場合に、前記被写体が前記所定の距離より遠くに存在するものとして前記表示倍率を１倍未満と算出し、前記表示切替制御手段は、前記接近状態検出手段により算出された表示倍率が１倍未満である場合に、前記第１表示モードで前記被写体の画像を表示し、前記表示倍率が１倍である場合に、前記第２表示モードで前記被写体の画像を表示してもよい。

これによって、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーションにおいて、ユーザに被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与え、例えば、遠距離の観察では、対象全体像を把握し、接近した観察では、被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することができる。

また、前記表示切替制御手段は、前記第１表示モードにおいて、前記表示倍率および前記観察方向に基づいて、前記被写体の一部分の画像を選択して表示してもよい。

これによって、例えば携帯用ディスプレイ等で画像表示領域のサイズが小さい場合であっても、被写体の一部を容易に選択することができる。

また、前記被写体の一部分は予め定められた領域であり、前記表示切替制御手段は、前記第１表示モードにおいて、前記観察方向および前記表示倍率に基づいて、複数の前記領域の中から１つの前記領域の画像を選択して表示してもよい。

これによって、被写体の一部分の画像を蓄積するデータベースの容量を削減することができる。

また、前記画像表示装置は、さらに、前記第１表示モードにおいて、前記予め定められた領域を示す第１のマーカを表示するとともに、前記観察方向および前記表示倍率に基づいて第２のマーカを表示するマーカ生成手段を備え、前記表示切替制御手段は、前記第１のマーカおよび前記第２のマーカの位置関係に応じて複数の前記領域の中から１つの前記領域を選択してもよい。

これによって、観察者は、拡大可能な領域を容易に確認することができ、第２のマーカを移動することができる。

また、前記表示切替制御手段は、前記第２表示モードにおいて、前記被写体表面の光の反射、散乱、透過のいずれかを記述する光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示してもよい。

これによって、観察者が被写体を観察する場合に、手にとった感覚でリアリティ豊かに観察できる。

また、本発明に係る画像表示システムは、サーバ装置に蓄積された被写体の画像を画像表示装置で表示する画像表示システムであって、前記画像表示装置は、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードに対応する前記被写体の画像を要求し、前記要求に応じて受け取った前記被写体の画像を表示する表示切替制御手段と、ネットワークを介して前記要求に基づく画像要求信号をサーバ装置へ送信し、前記画像要求信号に応じた画像を受信する送受信手段とを備え、前記サーバ装置は、前記ネットワークに接続されるとともに、前記被写体の全体画像を蓄積し、前記画像要求信号に応じて画像を送信する被写体データベースと、表示倍率に応じた被写体の一部分の画像を蓄積し、前記画像要求信号に応じて画像を送信する拡大画像データベースと、前記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾き変化接写画像を蓄積し、前記画像要求信号に応じて画像を送信する傾き変化接写画像データベースとを備えることを特徴とする。

さらに、本発明は、このような画像表示装置として実現することができるだけでなく、このような画像表示装置が含む特徴的な手段をステップとして含む画像表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る画像表示装置によれば、被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、ディスプレイと観察者の距離、すなわち観察距離をセンサで取得し、観察距離に応じて、被写体の実写画像から表面微細構造までを連続的に観察できるようにするものである。

ここで提示される画像は、観察距離が遠い場合から近い場合に応じて、その生成方法が異なる。観察距離が遠い範囲では、実写画像の縮小の状態であるが、観察距離が近い範囲では、予め実サンプルで測定しておいた被写体の詳細なテクスチャ画像、あるいは、それを任意面にレンダリングしたコンピュータグラフィックス画像に切り替わる。この効果は、観察距離が遠い場合には、被写体をディスプレイの枠を窓として遠景を見ている状態であり、距離が近い場合には、被写体表面がディスプレイ表面自体とみなすことになる。

すなわち、狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、次にそれを引き寄せて、今度は手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。

以下本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図２は本発明の実施の形態１の画像表示装置の構成を示すブロック図であり、携帯表示端末を用いてオンラインショッピングをする場合に、観察者が商品画像をリアリティ高く観察できることを目的としている。ここで本発明におけるリアリティの高い観察とは、全体の商品だけでなく、実際の商品を手で触りながら吟味する状態、部分的な局所領域の精密な観察までを連続的に無意識的に行うことを意味している。

画像表示装置１１０は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図２に示すようにセンサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、および送受信部１１１を備えている。また、画像表示装置１１０は、ネットワーク１１２を介して被写体データベース１１３、拡大画像データベース１０６、および傾き変化接写画像データベース１０７と接続される。

ここで、画像表示部１０９は、画像を表示する例えば液晶表示パネル等の装置である。センサ部１０１は、ユーザによる画像表示装置１１０の使用状況を検出するためのカメラなどの光学撮像系、超音波センサ、加速度センサ又はそれら組み合わせから構成された複合センサ系である。距離検出部１０２は、センサ部１０１からの出力信号から、観察者までの距離を検出する。角度検出部１０３は、センサ部１０１からの出力信号から、観察者を基準とした手持ち位置の角度を検出する。

また、接近状態検出部１０４は、観察者が、画像表示部１０９に、どのように接近しつつあるか状態を検出する。表示切替制御部１０５は、接近状態検出部１０４の結果に基づき画像を適宜処理し、画像表示部１０９に表示する。マーカ生成部１０８は、画像上で接近位置をユーザに表示するためのマーカ画像を生成する。

また、被写体データベース１１３は、予め商品の全体画像データを蓄積している。拡大画像データベース１０６は、商品画像の特定部位への連続的な拡大画像（商品の一部分の画像）を生成するために、予め画像データを蓄積している。傾き変化接写画像データベース１０７は、接近した詳細画像に傾きを与えて観察する画像を生成するために、予め画像データを蓄積している。送受信部１１１は、拡大画像データベース１０６、又は、傾き変化接写画像データベース１０７と、必要な画像データの送受信を行う。ネットワーク１１２は、画像表示装置１１０と、拡大画像データベース１０６と、傾き変化接写画像データベース１０７とを接続する。

ここで、センサ部１０１からの信号出力は、距離検出部１０２、角度検出部１０３において処理されて、画像表示装置１１０から観察者までの距離と、観察者を基準とした画像表示装置１１０の手持ち位置の角度を検出する。なお、カメラなどの光学撮像系を用いて距離及び角度を検出する手段については、上記の文献「ユーザの視点による視野コントロールが可能な提示システム」に詳しいので、ここでの説明は省略する。

表示切替制御部１０５は、切り替える商品画像とその処理内容としては、後述するように商品の全体画像から詳細部分までを画像として表示できるように離散的な画像があらかじめ蓄積されているため、それを実時間で連続的に補間して画像を生成する。

マーカ画像は、携帯型ディスプレイを構成する画像表示部１０９に適宜合成されて表示される。接近状態検出部１０４の動作について説明する。図３において、仮想被写体２０１は、仮想的な遠距離におかれた被写体であり、画像表示装置１１０は、被写体を表示するものである。

また、仮想被写体２０１と観察者との被写体距離をＤ１、Ｄ２とし、観察者と画像表示装置１１０の間の距離を観察距離Ｚ１、Ｚｔとし、仮想被写体２０１の縦方向の実サイズをＨとし、観察距離Ｚ１における表示サイズをＨ１とし、観察距離Ｚｔにおける表示サイズをＨ２とする。

図３（ａ）は、被写体距離Ｄ１が観察距離Ｚ１より遠い場合を示し、図３（ｂ）は、被写体距離Ｄ２が観察距離Ｚｔと一致する場合を示す。図３（ａ）に示すように、被写体距離Ｄ１が観察距離Ｚ１より、比較的大きい状態を接近過程状態と称して商品の全体画像から詳細部分までを画像として概観する行為に対応させる。これは画像表示装置１１０を窓として遠距離の被写体を見ている状態に相当し、画像表示装置１１０の狭い画面でも商品全景が観察できる。

ここで、図３（ｂ）は、観察距離Ｚ１が次第に近づくにつれ、仮想被写体２０１が、画像表示装置１１０にまで、引き寄せられるような状態を示す。なお、被写体距離Ｄの変化量は、観察距離Ｚの変化量に任意に定められた定数を乗算することで、画像表示装置１１０に、被写体全体から被写体の一部までを表示することが可能となる。なお、観察距離Ｚの変化量に乗算される定数は、仮想被写体の縦方向の実サイズＨを用いて算出することができる。

この過程では仮想被写体２０１の画像は次第に拡大され表示倍率が増加する。そして観察距離がＺｔとなった時、仮想被写体２０１も最も近づいた位置となり最大接近状態と称する。このときの被写体距離をＤ２とする。そしてＺｔとＤ２が等しいとすると、商品の表面がディスプレイ表面と同じ位置になり、商品の実サイズが倍率１：１で表示される。このとき携帯ディスプレイの画面上には、もはや被写体の一部しか表示できないが、商品を手で把持して詳細に観察するような光沢感、材質感、粒状感などを提示する状態に近い状態を作り出すことができる。表示倍率ｍは、観察距離と被写体距離の比であり、（式１）となる。（表１）は、接近過程状態と最大接近状態における表示倍率、観察距離、画面上表示サイズの関係を示すものである。

仮にＨ＝１（ｍ）の被写体、Ｄ１＝１０（ｍ）、Ｚ１＝４０（ｃｍ）、Ｚｔ＝２０（ｃｍ）とすると、仮想的な被写体に対して、画像表示装置１１０を観察距離４０（ｃｍ）から２０（ｃｍ）まで近づけることによって、被写体距離Ｄ１から被写体距離Ｄ２に、すなわち１０（ｍ）から２０（ｃｍ）まで引き寄せられることとなり、この場合に表示倍率は４（％）から１００（％）まで拡大され、画面表示装置１１０上の表示サイズは、縦サイズに近い４（ｃｍ）から画面表示装置１１０から大きくはみ出す１（ｍ）の実寸まで変化する。結局、被写体距離Ｄ２では、画面表示装置１１０に被写体の縦１（ｍ）のうちの４（ｃｍ）、すなわち４（％）という一部分しか表示できない。

接近状態検出部１０４の動作は、表示倍率ｍについて、ｍ＜１の場合には接近過程状態、ｍ＝１の場合には最大接近状態と判定するものである。これは観察距離Ｚ、仮想的な被写体距離Ｄ、画像上サイズを用いても（表１）の関係から判定可能である。ここで、Ｚｔの具体的数値については、上記では２０（ｃｍ）としたが、これは画像表示装置１１０をあまり近くから観察することは人間の眼の調節機能上不便であるだけでなく、画像表示装置１１０のディスプレイ画素構造までが観察されてしまうため、通常ディスプレイを見る明視距離の程度とすることが好ましいため仮に決めたものである。

また、本実施形態では、Ｄ２＝Ｚｔとして、最大接近状態では、被写体は観察距離と同位置にあるとしているが、この両者の関係はヒューマンインタフェースの観点からは主観評価実験などで経験的に決めればよく基本的には任意である。従って、接近過程状態と最大接近状態の判定には、必ずしも（表１）にとらわれることなく、表示倍率、画面上サイズ、観察距離のいずれを用いてもよく、その閾値もまた任意である。

本実施の形態においては、以上述べた接近過程状態（第１表示モード）と最大接近状態（第２表示モード）との２つの状態によってセンサからの出力である距離検出と角度検出結果の利用の仕方、表示画像への制御の方法が異なる。

まず、接近過程状態の場合の画像表示装置１１０の動作について図４を用いて説明する。図４は、観察者が、商品画像であるセータを表示画面に表示させて、これを観察している状態である。この図で用いる座標軸ＸＹＺは観察者の頭部３０１を原点として固定されている。

はじめに、観察者は商品の全体画像を観察するが、セータ表面の詳細を観察したくなった場合には、商品画像の一部を目標にして画像表示装置１１０を手で持って接近させる。このとき、角度検出部１０３はこの動きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。このとき、角度が微小であれば以下の関係式が成立するため角度からΔＸ、ΔＹが算出できる。これ以外にも、Ｙ軸方向の変位ΔＹ、Ｘ軸方向の変位ΔＸを直接検出してもよい。以下、接近過程状態での画像表示装置１１０の移動量表記は、ΔＸ、ΔＹを用いる。

（式２）のようにΔＸ、ΔＹ検出の結果、表示切替制御部１０５において、画像上で観察者の希望する接近位置を示す接近マーカ３０４が、上下左右に移動して商品画像上に合成して表示される。接近マーカ３０４の移動方向と、ΔＸ及びΔＹの方向との関係は規定しないが、本実施例ではΔＸ及びΔＹに対して逆向きに移動して表示されることとしている。例えば、画像表示装置１１０を手で向かって左に移動させる場合では、接近位置を商品画像の中心よりやや右側に偏移させている意味で接近マーカ３０４が、移動前の画像上の位置よりも右に偏移する。

観察者は、上記のように画像表示装置１１０をもちながら、商品画像上の接近位置を、接近マーカ３０４を見ながら調整しつつ、同時にＺ軸に沿って移動し、距離検出部１０２によって移動の変位ΔＺが検出される。

そして表示切替制御部１０５、Ｚ軸方向のΔＺの距離移動に従って、商品画像の上記の接近領域を中心に画像の拡大表示が行われる。このときの表示倍率は、（表１）にあるようにＺ１とＤ１の比として設定できる。

以上のように本実施の形態では、観察者の視線を検出し、上記の角度を検出している訳ではない。実際には携帯型の画像表示装置１１０では、画面が狭いため観察者は画面内で視線を自由に移動できず、視線は常に観察者の目と携帯型の画像表示装置１１０を結ぶ直線に固定されている。しかし、図４に示すように、商品画像中心に対して上下左右にずれた場所に向かって接近していく場合に、視線検出の代替として観察者を原点とした携帯型の画像表示装置１１０の位置検出を行う。

従って、本実施の形態における接近過程状態では、観察者がＺ値を変化させずに画像表示装置１１０を手で持ってＸＹ平面内で移動した場合は、表示されている画像自体が変化することは無く、接近マーカ３０４の位置が変化するだけである。

次に、図５を用いて、図４で説明した接近過程状態で表示される画像を説明する。画面が狭い携帯型の画像表示装置１１０においては、正確な接近部位の指定が非常に困難であると想像される。そこで本実施形態では、予め接近可能な領域を設定し、更に、画像表示装置１１０をＸＹ軸方向に移動した場合に、接近可能領域を目標マーカ４０１として表示し、接近マーカ３０４を合致させるように、画像表示装置１１０を移動させることで、目標マーカ４０１の選択を行うものである。ここで、図５（ａ）は、目標マーカ４０１を示した画像表示装置１１０であり、図５（ｂ）は、接近マーカ３０４により任意の目標マーカ４０１が選択された画像表示装置１１０であり、図５（ｃ）は、目標マーカ４０１の一定範囲内に接近マーカ３０４を移動させることで、目標マーカ４０１を選択する画像表示装置１１０であり、図５（ｄ）は、接近マーカ３０４により選択された接近可能領域の拡大画像を示す画像表示装置１１０であり、図５（ｅ）は、選択された接近可能領域を更に拡大した画像表示装置１１０を示している。

まず図５（ａ）において、接近可能領域として、（Ａ）（Ｂ）（Ｃ）の３種類を用意し、商品画像の全体像上で接近可能な位置を示す目標マーカ４０１を表示する。

次に、観察者は、画像表示装置１１０を手で持って、ＸＹ軸方向に移動させることにより、図５（ｂ）に示すように、接近マーカ３０４を移動表示させて、商品画像の接近対象である任意の目標マーカ４０１を特定する。接近する目標である局所領域の設定の方法としては様々な実現様式が存在し、特に表示画面が比較的大画面の場合には比較的大きな面積にて商品画像が提示されるため自由に設定したほうがよい。

この部分のユーザインタフェースは様々な形態が考えられる。例えば、目標マーカ４０１は商品画像にはじめから表示されておらず、観察者の手で持って移動という行為で接近マーカ３０４が発生した時に、接近マーカ３０４に一番近い目標マーカ４０１がはじめて表示されるようにしてもよい。

また、図５（ｃ）に示すように、目標マーカ４０１から一定距離内の接近マーカ反応領域４０２に接近マーカ３０４が入った場合には自動的に、該当する目標マーカ４０１への接近と判定されるようにしてもよい。また、一旦接近する場所が確定した後は画像観察を邪魔しないために既に接近マーカ３０４あるいは目標マーカ４０１の表示を消すことも考えられる。

次に、接近過程状態では、静止画に対して、接近する領域を選択しつつ、該当部位へ観察距離を接近させると、拡大画像データベース１０６に蓄積された拡大画像が図５（ｄ）に示すごとく表示され、更に、観察者が、画像表示装置１１０をＺ軸方向に移動することで、図５（ｅ）に示すように、商品画像の特定部位を中心に連続的に次第に接近しているような感覚を得るようにＺ軸方向に拡大された拡大画像が逐次表示される。

この拡大画像データベース１０６は、接近可能領域（Ａ）、（Ｂ）、（Ｃ）毎に、連続的な拡大画像を予め蓄積しておく、あるいは高精細画像を画像処理して連続的な拡大を実現するなどの方法で実現する。いずれにせよ高精細画像が必要な面積は接近可能な領域のみに限定されるため、画像蓄積量は被写体全体の高精細画像の蓄積に比較して少ないという利点がある。また、この過程での画像の取得には後述する装置を用いることで実現できる。

次に、最大接近状態について、図６を用いて説明する。
商品画像としてセータを例にとると、実際の商品を見る場合にセータの表面模様や織り、繊維の質、手触りなどを検討するために特定部位に充分接近して確認することに相当する。この場合には、表示切替制御部１０５は、接近過程状態とは異なる動作で画像を表示する。

まず、最大接近状態では、画面表示部１０９全体に商品画像の特定領域が表示され、この例ではセータの毛糸の編目が表示されている。ここで以前と同様に画像表示装置１１０を手で把持して傾けると、角度検出部１０３は、画像表示装置１１０の傾きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。

ただし、最大接近状態では、Ｚ軸方向の距離ΔＺは、被写体距離Ｄが観察距離Ｚｔより大きくなった場合に、再び接近過程状態に戻る用途以外には利用されず、専らΔθ、Δψの２つの角度を検出し、一定照明、一定の視角の観察者に対して被写体の表面の傾きが変化した状態の画像を表示し、表面のリアルな材質感、粒状感などをリアリティ高く提示できる。

さて、以上のような最大接近状態での画像表示の方法について、図７のフローチャートを用いて説明する。まず、Ｓ６０１にて、距離検出部１０２が、観察距離Ｚを測定する。次に、Ｓ６０２にて、角度検出部１０３が、（Δψ、Δθ）を測定する。

次に、Ｓ６０３にて、接近状態検出部が、表示倍率を求め、観察状態判定を行う。なお、この検出には、必ずしも表示倍率の数値に限らず、観察距離によってもよいことは（表１）から明らかである。ここで、接近過程状態と検出された場合は、Ｓ６０６に移行し、最大接近状態と検出された場合は、Ｓ６０４に移行する。

まず、接近過程状態の場合には、Ｓ６０６にて、マーカ生成部１０８が、画像上に接近マーカ３０４、目標マーカ４０１を表示する。次に、Ｓ６０７にて、表示切替制御部１０５が、（Δψ、Δθ）から（ΔＸ、ΔＹ）という接近領域の選択を実施する。

次に、Ｓ６０８にて、表示切替制御部１０５が、拡大画像データベース１０６の検索を行い、該当する拡大画像を、目標とする接近領域への画像として連続的に画像表示部１０９へ出力する。次に、Ｓ６０９にて、画像表示部１０９が、商品画像に拡大画像を重ね合わせて表示する。

次に、最大接近状態の場合には、Ｓ６０４にて、表示切替制御部１０５が、角度（Δψ、Δθ）から傾き変化を算定して傾き変化接写画像データベース１０７の検索を行って、接写画像の傾き変化を再現する。

次に、Ｓ６０５にて、画像表示部１０９が、検索された接写画像を画像表示部１０９に表示する。ここでは、観察距離Ｚの変化は接写画像に対して何らの変化も及ぼさず、観察距離Ｚが大きくなると再度接近過程状態に戻っていく。このように観察距離Ｚに依存して状態が変化する系では、センサ系のノイズによって状態が激しく変動する現象も発生する可能性もあり、系に一種のヒステリシス特性を与えたりスムージング特性を与えたりする手段が有効である。

以上で実施の形態１における画像表示方法、画像表示装置１１０の説明を終了する。
次に、利用した画像データベースの取得方法について説明する。図８は、被写体７０１であるニットセータの任意の特定領域のみを、一定照明及び一定カメラアングルで、被写体７０１を様々な角度に傾けながら撮影する撮影装置を示している。

傾き台７０２は、被写体７０１であるセータを載せる台であり、傾きが可変である。自動架台装置７０３は、傾き台７０２の面法線方向を、ΔψとΔθの２自由度で傾かせる機構と、ＸＹ軸方向に傾き台７０２を平行移動させる機構とを備える。照明ランプ７０４は、平行光を作りだすレンズ７０５を通して被写体７０１を入射角約２２度で照明する。

カメラ７０６は、ＸＹ軸平面に垂直方向なＺ軸方向で遠距離から近距離までの位置に設定され、被写体７０１を撮影する。

図８では、カメラ７０６をＺ軸方向の移動により、被写体７０１の拡大画像を作成しているが、カメラ７０６のレンズのズーミング機構で簡便に代用することも可能である。

まず、被写体７０１の拡大画像を画像データベース化する手順を説明する。
ここで、接近過程状態においては、静止画に対して、接近する領域を選択しつつ、該当部位へ連続的に次第に接近している感覚が得られるような拡大画像の生成が必要とされる。

まず、接近可能領域（Ａ）、（Ｂ）、（Ｃ）に相当する被写体７０１上の特定領域７１１を決定し、自動架台装置７０３を平行移動して、カメラ７０６が接近可能領域の真上に一致するように設定する。

次に、カメラ７０８を、Ｚ軸方向に移動させながら接近する状況の画像を連続的に撮影し、撮影画像を拡大画像データベース１０６に蓄積する。

以上により、接近過程状態における接近可能領域の拡大画像を作成することができる。
次に、被写体７０１の傾き変化接写画像を画像データベース化する手順を説明する。

最大接近状態では、図６に示すように、画像表示装置１１０を、Ｘ軸周りとＹ軸周りとの回転角に応じた画像が必要となる。このため、傾き台７０２を、ΔψとΔθの２変数度で傾きを与え、再度逐次撮影を行い、図９に示すように、２次元の画像データベースとして、傾き変化接写画像データベース１０７に蓄積する。なお、図９では上記の傾き角度範囲を±３０度としているが数値は他でも構わない。

また、上記の２種の画像データベースから実際の表示画像を生成するのは、表示切替制御部１０５の機能であり、観察距離Ｄに応じて、接近過程状態では、拡大画像データベース１０６を検索し、必要であれば、適宜、拡大画像を補間しながら表示し、最大接近状態では、傾き変化接写画像データベース１０７を、Δθ、Δψから検索し、適宜、傾き変化接写画像を補間する必要があれば実施して表示する。

なお、接近過程状態における観察距離と表示倍率の関係は、例えば図１０に示す直線８０１のように観察距離（ＺｍａｘからＺｔ）に応じて表示倍率を均一に増加させてもよいし、曲線８０２および曲線８０３のように偏りを持たせて観察距離に応じて表示倍率を増加させてもよい。この図１０において観察距離ＺｔからＺｍｉｎまでは最大接近状態である。

また、観察距離Ｚｍａｘ、観察距離Ｚｍｉｎ、最大接近状態となる観察距離Ｚｔは、あらかじめ設定された値を用いるだけでなく、観察者が初期設定として設定することも可能である。例えば、観察者が画像表示装置１１０を手に持って最大に手を伸ばした状態で観察距離Ｚｍａｘを設定し、観察者が画像を確認できる範囲で画像表示装置１１０を最も近づけた状態で観察距離Ｚｍｉｎを設定し、観察者が希望する位置で最大接近状態となる観察距離Ｚｔを設定すればよい。

（実施の形態２）
実施の形態１では、被写体表面の面法線の傾きの２自由度の変化に対応し、撮影に使用する一定の照明下の画像を最大接近画像として用いた画像表示装置１１０について説明したが、実施の形態２では、観察者が屋外や屋内で本画像表示装置を使う場合、最大接近画像の観察においては、現在の照明下にて観察されるであろう最大接近画像を合成して表示する構成について説明する。

一般的な照明下で任意の観察下での表面の特性を記述する方法として、近年のコンピュータグラフィックス分野では、双方向性反射分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＲＤＦ）、ＢＲＤＦを２次元画像に拡張した双方向性テクスチャ関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｔｅｘｔｕｒｅ ｆｕｎｃｔｉｏｎ：ＢＴＦ）という概念をよく用いる。ＢＲＤＦは、表面上の１点のみに対して照明の入射角を球座標で表現した（α、β）と観察する視角を、同じく球座標で表現した（θｅ、φｅ）の４変数の関数であり、（式３）のように放射輝度Ｌを入射する照度Ｅにて正規化したものとして定義されている。

またＢＴＦは、ＢＲＤＦを一定の面積をもつ画像領域に拡張したもので、（α、β、θｅ、φｅ）と（Ｘ、Ｙ）の合計６変数の関数で、従来のテクスチャに対して３次元テクスチャと称されることもある。この一定面積内での照度が一定とすればＢＴＦは、（式４）のように視角方向からの輝度画像をある角度からの照明による照度にて正規化して得られる。

そこで実施の形態２では、このＢＴＦを用いることにより、さらにリアリティ豊かな表示を行うことを目的とする。図１１は実施の形態２の画像表示装置の構成を示すブロック図であり、図２と異なる部分は、照明方向検出部９０１、照度検出部９０２、ＢＴＦデータベース９０３、レンダリング部９０４の存在である。なお、図２と同じ番号の構成要素の動作は、実施の形態１と同様なため、ここでの説明は、省略する。

画像表示装置９０５は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図１１に示すように照明方向検出部９０１、照度検出部９０２、レンダリング部９０４、センサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、及び送受信部１１１を備えている。また、画像表示装置９０５は、ネットワーク１１２を介して、被写体データベース１１３、ＢＴＦデータベース９０３、拡大画像データベース１０６及び傾き変化接写画像データベース１０７と接続される。

図１２（ａ）は、照明方向検出と表示されるレンダリング後の画像を示している。照明方向検出部９０１は、図１２のように観察者が画像表示装置９０５を屋外や屋内で利用する際の環境照明の方向（α、β）、照度Ｅを検出するものである。照度検出部９０２は、画像表示装置９０５を、屋外や屋内で利用する場合の環境照明による表示面照度を検出するものである。これら照明光の検出には、実施の形態１におけるセンサ部１０１からの信号を処理して利用することも可能であるが、付加的な照度センサなどを用いて行うことも可能である。ＢＴＦデータベース９０３には、予め被写体の特定領域を測定して得られたＢＴＦが蓄積されている。レンダリング部は観察照明下で観察されるであろう被写体の最大接近画像の輝度を（式５）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

実測されたＢＴＦを用いたイメージベースのコンピュータグラフィックスのレンダリングでは被写体の３次元モデル、あるいは表面法線が必要であり、別途レーザスキャンなど特殊な装置を用いて計測する必要がある。しかし本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な最大接近画像にＢＴＦを適用しているため、被写体の表面形状の取得は必要ない。

ここで、本実施の形態では、図１２（ｂ）、（ｃ）に示すように、表示される最大接近画像１００１は、任意の仮想的な平面及び曲面である仮想曲面１００２を仮定し、それにＢＴＦ１００３を３次元テクスチャとして適用することで生成し、画像表示装置９０５に表示する。なお、図１２（ｂ）は仮想曲面１００２が凸形状の場合を示し、図１２（ｃ）は仮想曲面１００２が凹形状の場合を示している。また、仮想曲面１００２が凸形状であるか凹形状であるかを画像表示部１０９に表示する構成とすることも可能である。このように任意の平面、特に曲面に対してＢＴＦを適用すると照明の変化に対する表面のテクスチャが明瞭に判別でき、まさに手にとって吟味するような感覚が得られるという効果がある。この目的のためには、レンダリングに使用する仮想曲面１００２は、ユーザが手にとった様子に合わせて自由に指定、変更できるようにしてもよい。

図１３は、被写体のＢＴＦを測定するための撮影装置１１０３を示しており、図８の撮影装置７１２と同じ部分には同じ番号を付けているので、図８と差異は、照明角度αに関する照明角度移動機構１１０１、自動架台装置７０３に角度βに関する被写体回転機構１１０２が付加されている点である。

撮影装置１１０３の使用方法につき説明する。接近過程状態は、図８の動作と同じであるから省略する。次に、最大接近状態について説明する。ＢＴＦ測定の場合には、カメラ７０６で観測された画素値をそのまま輝度値として使用するので、予めカメラ７０６のＯＥＴＦ（光電変換関数）を輝度に対してリニアになるようにキャリブレーションしておく。カメラ７０６の位置で最大接近状態である場合に、まず、照明角度αを、カメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対して、β＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０２を、ΔψとΔθの２変数で傾きを与えて再度逐次撮影を行なう。更に、照明位置をカメラ視角に対して４５°の位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、これを２２．５°毎の１５７．５°まで実施する。

次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了し、この結果をＢＴＦデータベース９０３として保存する。

なお図１３の撮影装置１１０３では、カメラ７０６を固定して照明角度αを変化させたが、照明ランプ７０４を固定してカメラ角度を移動させることも可能である。なお、ここで、ＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意の値を用いても構わない。実際の計算には、これら測定値を適宜補間した値を使うことが多い。

次に、実施の形態２における画像表示方法のフローチャートを図１４に示す。図７のフローチャートと異なる部分は、Ｓ１２０１からＳ１２０４になる。ここでは、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９の説明は省略する。

まず、Ｓ１２０１にて、照明方向検出部９０１が観察照明の角度の測定を行い、照度検出部９０２が観察照明の照度の測定を行う。

次に、Ｓ１２０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＢＴＦを検索するＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＢＴＦ要求信号をＢＴＦデータベース９０３に送信し、ＢＴＦデータベース９０３において、ＢＴＦ要求信号に該当するＢＴＦを画像表示装置９０５に送信する。

次に、Ｓ１２０３にて、レンダリング部９０４が、受信したＢＴＦをマッピングする表面を生成し、照明方向と表面の法線を考慮してＢＴＦがマッピングされ、更に、レンダリングを施した画像を最大接近画像として生成する。

次に、Ｓ１２０４では、画像表示部１０９が、生成された最大接近画像を表示する。
また、レンダリングに使用する関数は、ここではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られ、内部散乱が支配的な紙面のような表面では双方向サーフェススキャタリング分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＳＳＲＤＦ）を用いてもよい。

（実施の形態３）
実施の形態２までは、最大接近状態において、ΔψとΔθの変化に対する画像の見え方の変化を表示するだけの画像表示装置９０５であったのに対して、実施の形態３においては、ＢＴＦを拡張して距離の概念を考慮したデータベースを用いることで、観察距離の変化に対する微妙な接写画像の距離による変化を反映させ、被写体の詳細な画像である拡大画像の提示を可能とする画像表示装置を提供する。

図１５は、本実施の形態の画像表示装置１３０２の構成を示すブロック図であり、図１１の画像表示装置１３０２において、ＢＴＦデータベース９０３を、距離可変ＢＴＦデータベース１３０１に置き換えた構成となる。ここで、距離可変ＢＴＦを本発明においてはＤＴＢＦと称する。なお、他の構成要素において、図１１と同一の番号の構成要素の動作は、実施の形態１及び２と同様なため、ここでの説明は省略する。

次に、図１６は、本実施の形態での画像表示方法を示す図であり、最大接近状態において、（Δψ、Δθ）の角度の他に、更に、観察距離Ｚの変動ΔＺによって表示画像が、より観察距離が接近したため、表面構造１４０１が詳細に観察できる画像に変化する最大接近状態を示す。この状態では、観察距離がＺ＜Ｚｔであり、被写体であるセータの毛糸の織りの構造までが詳細に観察できるレベルとなる。

ＤＢＴＦは、従来のＢＴＦ（α、β、θｅ、φｅ、Ｘ，Ｙ）を距離方向Ｚに拡張した７変数テクスチャ関数として（式６）のように観察距離Ｚの位置における視角方向からの輝度画像を照明の照度にて正規化した量で定義できる。

ＤＢＴＦデータベース１３０１には、予め被写体の特定領域を特殊な装置にて測定して得られたＤＢＴＦが蓄積されている。レンダリング部９０４は、観察照明下で観察されるであろう被写体の詳細画像の輝度を、（式７）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な詳細画像である場合に、ＤＢＴＦを適用していることにより、被写体形状の取得は必須ではなく、仮想的な平面又は曲面を仮定して仮想曲面１００２とし、仮想曲面１００２にＤＢＴＦを適用することで容易にレンダリングされた詳細画像が生成でき、これを画像表示装置１３０２に表示することができる。

図１７は、被写体のＤＢＴＦを測定するための撮影装置１５０２を示しており、図１３の撮影装置と同じ部分には同じ番号を付けてあり、同様の動作をするため、ここでの説明は省略する。実施の形態２の図１３に示した撮影装置に対して、カメラ１５０１がＺ軸方向に移動することができる構成としたものである。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向へ移動することにより、被写体距離を可変としているが、カメラ１５０１のレンズのズーミング機構で簡便に代用することも可能である。

撮影装置１５０２の使用方法につき説明する。接近過程状態の場合は、図１３の動作と同じであるから、ここでの説明は省略する。

次に、実施の形態３の最大接近状態の場合について、ＤＢＴＦ測定を説明する。まず、カメラ１５０１で観測された画素値をそのまま輝度値として使用するので、予めカメラ１５０１のＯＥＴＦ（光電変換関数）を輝度リニアになるようにキャリブレーションしておく。

次に、カメラ１５０１を最大接近状態の位置に移動し、照明角度αをカメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対してβ＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０３をΔψとΔθの２変数で傾きを与えて再度逐次撮影を行う。

次に、照明角度αをカメラ視角に対して４５°になる位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、順次、照明角度αを２２．５°毎に、１５７．５°まで実施する。次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了する。

次に、カメラ１５０１を実施の形態２による最大接近状態の位置より、更に、被写体に接近させ、再度測定を繰り返す。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向への移動は距離を可変にすることで実現しているがレンズのズーミング機構で簡便に代用することも可能である。

以上の結果をＤＢＴＦデータベース１３０１として保存するものとする。なお、図１７の撮影装置１５０２ではカメラ１５０１を固定して照明角度を移動したが、照明を固定してカメラ角度を移動させることも可能である。なお、ここでＤＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意に設定することが可能である。また、実際の計算には、測定値を適宜補間した値を使用することも可能である。

図１８に、実施の形態３における画像表示方法のフローチャートを示す。実施の形態２における図１４のフローチャートと異なる部分は、Ｓ１６０１からＳ１６０２になる。なお、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９、Ｓ１２０１、Ｓ１２０３、Ｓ１２０４の説明については省略する。

まず、Ｓ１６０１にて、接近状態検出部１０４が、表示倍率を再度検証し、表示倍率が、ｍ＞１である場合は、Ｓ１６０２に移行し、表示倍率が、ｍ＝１である場合は、Ｓ１２０２に移行する。なお、最大接近状態の条件をｍ＝１としたが、実際の使用においては、ｍ＝１よりも、最大接近状態の条件を０．９＜ｍ＜１．１とするなど、使用者の利便性を考慮した設定とすることもできる。

次に、Ｓ１６０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＤＢＴＦを検索するＤＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＤＢＴＦ要求信号をＤＢＴＦデータベース１３０１に送信し、ＤＢＴＦデータベース１３０１において、ＤＢＴＦ要求信号に該当するＤＢＴＦを画像表示装置１３０２に送信する。

以降は図１４と同様に、Ｓ１２０３にて、表示切替制御部１０５が、ＤＢＴＦをマッピングし、更に、レンダリングを行った画像である詳細画像を生成する。

また、レンダリングに使用する関数は、本実施の形態ではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られる。また、内部散乱が支配的な紙面のような表面では、ＢＳＳＲＤＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ）を用いてもよい。

なお、上記各実施の形態では、各データベースからすべての画像を取得して表示する場合について説明したが、これに限られるものではない。例えば、最初は観察者が店舗において商品の画像を撮影し、後でこの商品の画像を表示させる際に、全体画像は実際に撮影した商品の画像を表示し、それ以外の接近画像では各データベースから該当する商品の画像を取得して表示することも可能である。

本発明に係る画像表示装置および画像表示方法は、オンラインショッピングなどのアプリケーションで被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、表示面積の狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、画像表示装置を引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができ有用である。また本画像表示装置および画像表示方法は、実写とコンピュータグラフィックスの併用が有効な医療用途やデジタルアーカイブなどの博物館用途にも利用できる。

図１は、従来の画像表示装置を示す図である。 図２は、第１の実施の形態による画像表示装置の構成を示すブロック図である。 図３は、（ａ）第１の実施の形態による接近過程状態の観察距離と仮想被写体位置との関係を示す図、（ｂ）第１の実施の形態による最大接近状態の観察距離と仮想被写体位置との関係を示す図である。 図４は、第１の実施の形態による接近過程状態での接近マーカの表示を示す図である。 図５は、（ａ）第１の実施の形態による目標マーカの表示を示す図、（ｂ）第１の実施の形態による目標マーカ及び接近マーカの表示を示す図、（ｃ）第１の実施の形態による目標マーカ及び接近マーカ反応領域の表示を示す図、（ｄ）第１の実施の形態による拡大画像の表示を示す図、（ｅ）第１の実施の形態による拡大画像の表示を示す図である。 図６は、第１の実施の形態による最大接近状態における表示を示す図である。 図７は、第１の実施の形態による画像表示方法の手順を示すフローチャートである。 図８は、第１の実施の形態による撮影装置の構成を示す図である。 図９は、第１の実施の形態による傾き画像データベースを示す図である。 図１０は、観察距離と表示倍率の関係を示す図である。 図１１は、第２の実施の形態による画像表示装置の構成を示すブロック図である。 図１２は、（ａ）第２の実施の形態による最大接近状態での照明検出を示す図、（ｂ）、（ｃ）第２の実施の形態による最大接近画像の生成過程を示す図である。 図１３は、第２の実施の形態による撮影装置の構成を示す図である。 図１４は、第２の実施の形態による画像表示方法の手順を示すフローチャートである。 図１５は、第３の実施の形態による画像表示装置の構成を示すブロック図である。 図１６は、第３の実施の形態による最大接近状態における距離検出の状態を示す図である。 図１７は、第３の実施の形態による撮影装置の構成を示す図である。 図１８は、第３の実施の形態による画像表示方法の手順を示すフローチャートである。

本発明は、画像表示、画像再現技術に関し、被写体の画像を観察者に質感豊かにディスプレイに表示する画像表示装置および画像表示方法に関するものである。

近年、非対称ディジタル加入者線（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ：ＡＤＳＬ）や光ファイバーなどのブロードバンド高速回線の普及によって、コンピュータを使うインターネットによるオンラインショッピング（Ｅｌｅｃｔｒｉｃ Ｃｏｍｍｅｒｃｅ：ＥＣ）が非常に身近になってきている。また、地上波ディジタル放送の普及が進むと、デジタルテレビにおいても、通常放送、例えば、ドラマ映像等と、通販とが融合した形のＥＣなども実現するであろうと想像され、近未来のキラーアプリケーションとして大きな地位を確立することが期待される。このようなオンラインショッピングの利便性は、自宅にいながらにして、商品の注文から受け取りまでが可能であることである。

しかしながら、オンラインショッピングでは、顧客が実物の商品を実際に目で確認することができない。このため、多くの販売サイトでは、「写真は、実物と異なる場合がある」旨の注意書きを載せているが、顧客からの苦情や返品は少なくない。つまり、出来るだけ質感高い商品画像を、ユーザのディスプレイ上に表示することが望まれている。

さて、上記のようなオンラインショッピングにおいて、顧客が利用するディスプレイは、コンピュータやデジタルテレビを用いる場合では１７インチ程度又はそれ以上であるが、ＰＤＡ（Personal Digital Assistance）や携帯電話などのモバイル情報処理機器の場
合には、２〜４インチ程度の携帯型ディスプレイとなる。そして今後は、携帯型ディスプレイの利用率は、非常に多くなるものと想像される。

従って、このような小型の携帯型ディスプレイ上で、オンラインショッピングにおける
商品提示を、如何に、高品質に行うかが大きな課題となり、このための様々な工夫がおこなわれている。

例えば、従来の画像表示装置には、観察者が携帯型のディスプレイを手で持って、３次元的に移動すると、ディスプレイ機器側は、その移動を、加速度センサなどを用いて検知して、表示する画像を能動的に変化させ、大きなサイズの画像全体を把握することができるものがある。

図１は、従来の画像表示装置の使用状況を示す図であり、画像表示装置１７０１は、携帯型ディスプレイと、位置検出センサを含む構成である。使用者が、画像表示装置１７０１を持って、空間を移動させた場合に、位置検出センサにより、２軸方向又は３軸方向の加速度を検出する。図１では、建築物の一部を、画像表示装置１７０１に表示した場合を示しており、使用者が画像表示装置１７０１を移動させることで、建築物の他の部分を、画像表示装置１７０１に表示することが可能となる。

ここで、従来の画像表示装置では、２軸方向の位置検出センサを用いて、画像表示装置１７０１の加速度の縦方向と横方向との成分を検出して時間積分を行い、速度成分と変位成分とを計算する。そして、移動方向を２次元的に行うことで、例えば、新聞や地図のような大きな画像の一部を切り取って観察することができ、移動方向を３次元、すなわち深さ方向に行うことで、例えば、建物用途では、建物の各階の構造を把握することができ、医療用では、脳の断面観察などを直感的に行うことが可能となる（例えば、特開２００２−７０２７号公報（第４頁、第２図）参照。）。

また、大容量の画像を、安価、かつ、使い勝手良く観察するため、ディスプレイの奥行き方向の移動に対して、表示画像の切り替えを行い、また、奥及び手前への移動に応じて、表示画像を拡大または縮小し、これにより、あたかも３次元空間を移動しながら画像表示部の画面を窓として観察できる効果が得られるものがある（例えば、特開２０００−６６８０２号公報（第３頁、第１図）参照。）。

また、照明により静止被写体の反射状態が異なる複数の画像を得て、この複数のフレーム画像を順番にディスプレイ上に切り替えて画像表示する画像表示方法がある。この例では、観察者モニタリング用カメラをディスプレイに設け、ディスプレイを見るモニタ観察者の視点の動きに応じて、選択されたフレーム画像に切り替えられながらディスプレイに画像表示してもよい。また読取画像の替わりに、照明により静止被写体の鏡面反射状態が異なる複数の原画像を、ＣＧを用いて作成して得てもよいと記載されている（例えば、特開２００３−１３２３５０号公報（第１６頁、第６図）参照。）。

また、携帯ディスプレイに小型カメラを搭載し、ユーザの視点を検出して奥行き距離を計算し大面積の提示、ウインドウの操作、メニュー選択、などを行う例もある（例えば、成田智也、渋谷雄、辻野嘉宏「ユーザの視点による視野コントロールが可能な提示システム」、ヒューマンインタフェース学会研究会報告集 Ｖｏｌ．３ ＮＯ．３ ｐｐ．１１−１４参照。）。

しかしながら従来の画像表示装置では、ユーザが携帯ディスプレイを用いてオンラインショッピングを行う場合、ディスプレイに対して様々な動作で働きかけても、そのフィードバック動作としては、画面より大きな画像を提示する、あるいは、拡大縮小をするなど簡単な画像処理を行うものでしかなく、オンラインショッピングなどで求められる事項である実物を手に取って眺めるような、リアリティを実現できるものではない。

例えば、顧客が商品画像として、ニットのセータを観察する場合には、毛糸の手触りな
どの触感までを提示するようなディスプレイが求められている。

また、照明によって変化する表面反射特性や、繊維の織りの質感を擬似的に表示する方法も考慮されてはいるが、被写体の寸法やユーザの観察距離という概念は欠落している。このため被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与えるという重要な観点が考慮されず、例えば、遠距離の観察では対象全体像を把握し、接近した観察では被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することはできない。

このように、手で把持して観察するという行為を行うためには、従来の据え置き型の表示装置では難しく、携帯型の画像表示装置が望ましいのは明らかである。しかし従来、携帯型ディスプレイを備えた画像表示装置では、狭い画面領域へ多くの情報を表示することは難しい。

本発明は、上記の従来の課題を解決するためのもので、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーションであっても、観察者に被写体の商品を手でもって観察しているような最大のリアリティをもって効果的に商品を表示することができる画像表示装置および画像表示方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像表示装置は、被写体の画像を表示する画像表示装置であって、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御手段とを備えることを特徴とする。

これによって、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、それを引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。

ここで、前記画像表示装置は、さらに、前記観察距離に基づいて前記画像の表示倍率を算出する接近状態検出手段を備えることが好ましい。

また、前記接近状態検出手段は、前記観察距離が所定の距離以下である場合に、前記被写体が前記所定の距離に存在するものとして前記表示倍率を１倍と算出し、前記観察距離が所定の距離より大きい場合に、前記被写体が前記所定の距離より遠くに存在するものとして前記表示倍率を１倍未満と算出し、前記表示切替制御手段は、前記接近状態検出手段により算出された表示倍率が１倍未満である場合に、前記第１表示モードで前記被写体の画像を表示し、前記表示倍率が１倍である場合に、前記第２表示モードで前記被写体の画像を表示してもよい。

これによって、画面の狭い携帯ディスプレイを用いたオンラインショッピング等のアプリケーションにおいて、ユーザに被写体の実際の大きさ感や、被写体を引き寄せて観察した場合の材質感を与え、例えば、遠距離の観察では、対象全体像を把握し、接近した観察では、被写体表面をディスプレイの表示画面と同一視し、表面材質をあたかも手で持って観察するといった相反する性格の表示を実現することができる。

また、前記表示切替制御手段は、前記第１表示モードにおいて、前記表示倍率および前記観察方向に基づいて、前記被写体の一部分の画像を選択して表示してもよい。

これによって、例えば携帯用ディスプレイ等で画像表示領域のサイズが小さい場合であっても、被写体の一部を容易に選択することができる。

また、前記被写体の一部分は予め定められた領域であり、前記表示切替制御手段は、前記第１表示モードにおいて、前記観察方向および前記表示倍率に基づいて、複数の前記領域の中から１つの前記領域の画像を選択して表示してもよい。

これによって、被写体の一部分の画像を蓄積するデータベースの容量を削減することができる。

また、前記画像表示装置は、さらに、前記第１表示モードにおいて、前記予め定められた領域を示す第１のマーカを表示するとともに、前記観察方向および前記表示倍率に基づいて第２のマーカを表示するマーカ生成手段を備え、前記表示切替制御手段は、前記第１のマーカおよび前記第２のマーカの位置関係に応じて複数の前記領域の中から１つの前記領域を選択してもよい。

これによって、観察者は、拡大可能な領域を容易に確認することができ、第２のマーカを移動することができる。

また、前記表示切替制御手段は、前記第２表示モードにおいて、前記被写体表面の光の反射、散乱、透過のいずれかを記述する光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示してもよい。

これによって、観察者が被写体を観察する場合に、手にとった感覚でリアリティ豊かに観察できる。

また、本発明に係る画像表示システムは、サーバ装置に蓄積された被写体の画像を画像表示装置で表示する画像表示システムであって、前記画像表示装置は、観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードに対応する前記被写体の画像を要求し、前記要求に応じて受け取った前記被写体の画像を表示する表示切替制御手段と、ネットワークを介して前記要求に基づく画像要求信号をサーバ装置へ送信し、前記画像要求信号に応じた画像を受信する送受信手段とを備え、前記サーバ装置は、前記ネットワークに接続されるとともに、前記被写体の全体画像を蓄積し、前記画像要求信号に応じて画像を送信する被写体データベースと、表示倍率に応じた被写体の一部分の画像を蓄積し、前記画像要求信号に応じて画像を送信する拡大画像データベースと、前記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾き変化接写画像を蓄積し、前記画像要求信号に応じて画像を送信する傾き変化接写画像データベースとを備えることを特徴とする。

さらに、本発明は、このような画像表示装置として実現することができるだけでなく、このような画像表示装置が含む特徴的な手段をステップとして含む画像表示方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりす
ることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明に係る画像表示装置によれば、被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、ディスプレイと観察者の距離、すなわち観察距離をセンサで取得し、観察距離に応じて、被写体の実写画像から表面微細構造までを連続的に観察できるようにするものである。

ここで提示される画像は、観察距離が遠い場合から近い場合に応じて、その生成方法が異なる。観察距離が遠い範囲では、実写画像の縮小の状態であるが、観察距離が近い範囲では、予め実サンプルで測定しておいた被写体の詳細なテクスチャ画像、あるいは、それを任意面にレンダリングしたコンピュータグラフィックス画像に切り替わる。この効果は、観察距離が遠い場合には、被写体をディスプレイの枠を窓として遠景を見ている状態であり、距離が近い場合には、被写体表面がディスプレイ表面自体とみなすことになる。

すなわち、狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、次にそれを引き寄せて、今度は手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上することができる。

以下本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図２は本発明の実施の形態１の画像表示装置の構成を示すブロック図であり、携帯表示端末を用いてオンラインショッピングをする場合に、観察者が商品画像をリアリティ高く観察できることを目的としている。ここで本発明におけるリアリティの高い観察とは、全体の商品だけでなく、実際の商品を手で触りながら吟味する状態、部分的な局所領域の精密な観察までを連続的に無意識的に行うことを意味している。

画像表示装置１１０は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図２に示すようにセンサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、および送受信部１１１を備えている。また、画像表示装置１１０は、ネットワーク１１２を介して被写体データベース１１３、拡大画像データベース１０６、および傾き変化接写画像データベース１０７と接続される。

ここで、画像表示部１０９は、画像を表示する例えば液晶表示パネル等の装置である。センサ部１０１は、ユーザによる画像表示装置１１０の使用状況を検出するためのカメラなどの光学撮像系、超音波センサ、加速度センサ又はそれら組み合わせから構成された複合センサ系である。距離検出部１０２は、センサ部１０１からの出力信号から、観察者までの距離を検出する。角度検出部１０３は、センサ部１０１からの出力信号から、観察者を基準とした手持ち位置の角度を検出する。

また、接近状態検出部１０４は、観察者が、画像表示部１０９に、どのように接近しつつあるか状態を検出する。表示切替制御部１０５は、接近状態検出部１０４の結果に基づき画像を適宜処理し、画像表示部１０９に表示する。マーカ生成部１０８は、画像上で接近位置をユーザに表示するためのマーカ画像を生成する。

また、被写体データベース１１３は、予め商品の全体画像データを蓄積している。拡大画像データベース１０６は、商品画像の特定部位への連続的な拡大画像（商品の一部分の
画像）を生成するために、予め画像データを蓄積している。傾き変化接写画像データベース１０７は、接近した詳細画像に傾きを与えて観察する画像を生成するために、予め画像データを蓄積している。送受信部１１１は、拡大画像データベース１０６、又は、傾き変化接写画像データベース１０７と、必要な画像データの送受信を行う。ネットワーク１１２は、画像表示装置１１０と、拡大画像データベース１０６と、傾き変化接写画像データベース１０７とを接続する。

ここで、センサ部１０１からの信号出力は、距離検出部１０２、角度検出部１０３において処理されて、画像表示装置１１０から観察者までの距離と、観察者を基準とした画像表示装置１１０の手持ち位置の角度を検出する。なお、カメラなどの光学撮像系を用いて距離及び角度を検出する手段については、上記の文献「ユーザの視点による視野コントロールが可能な提示システム」に詳しいので、ここでの説明は省略する。

表示切替制御部１０５は、切り替える商品画像とその処理内容としては、後述するように商品の全体画像から詳細部分までを画像として表示できるように離散的な画像があらかじめ蓄積されているため、それを実時間で連続的に補間して画像を生成する。

マーカ画像は、携帯型ディスプレイを構成する画像表示部１０９に適宜合成されて表示される。接近状態検出部１０４の動作について説明する。図３において、仮想被写体２０１は、仮想的な遠距離におかれた被写体であり、画像表示装置１１０は、被写体を表示するものである。

また、仮想被写体２０１と観察者との被写体距離をＤ１、Ｄ２とし、観察者と画像表示装置１１０の間の距離を観察距離Ｚ１、Ｚｔとし、仮想被写体２０１の縦方向の実サイズをＨとし、観察距離Ｚ１における表示サイズをＨ１とし、観察距離Ｚｔにおける表示サイズをＨ２とする。

図３（ａ）は、被写体距離Ｄ１が観察距離Ｚ１より遠い場合を示し、図３（ｂ）は、被写体距離Ｄ２が観察距離Ｚｔと一致する場合を示す。図３（ａ）に示すように、被写体距離Ｄ１が観察距離Ｚ１より、比較的大きい状態を接近過程状態と称して商品の全体画像から詳細部分までを画像として概観する行為に対応させる。これは画像表示装置１１０を窓として遠距離の被写体を見ている状態に相当し、画像表示装置１１０の狭い画面でも商品全景が観察できる。

ここで、図３（ｂ）は、観察距離Ｚ１が次第に近づくにつれ、仮想被写体２０１が、画像表示装置１１０にまで、引き寄せられるような状態を示す。なお、被写体距離Ｄの変化量は、観察距離Ｚの変化量に任意に定められた定数を乗算することで、画像表示装置１１０に、被写体全体から被写体の一部までを表示することが可能となる。なお、観察距離Ｚの変化量に乗算される定数は、仮想被写体の縦方向の実サイズＨを用いて算出することができる。

この過程では仮想被写体２０１の画像は次第に拡大され表示倍率が増加する。そして観察距離がＺｔとなった時、仮想被写体２０１も最も近づいた位置となり最大接近状態と称する。このときの被写体距離をＤ２とする。そしてＺｔとＤ２が等しいとすると、商品の表面がディスプレイ表面と同じ位置になり、商品の実サイズが倍率１：１で表示される。このとき携帯ディスプレイの画面上には、もはや被写体の一部しか表示できないが、商品を手で把持して詳細に観察するような光沢感、材質感、粒状感などを提示する状態に近い状態を作り出すことができる。表示倍率ｍは、観察距離と被写体距離の比であり、（式１）となる。（表１）は、接近過程状態と最大接近状態における表示倍率、観察距離、画面上表示サイズの関係を示すものである。

仮にＨ＝１（ｍ）の被写体、Ｄ１＝１０（ｍ）、Ｚ１＝４０（ｃｍ）、Ｚｔ＝２０（ｃｍ）とすると、仮想的な被写体に対して、画像表示装置１１０を観察距離４０（ｃｍ）から２０（ｃｍ）まで近づけることによって、被写体距離Ｄ１から被写体距離Ｄ２に、すなわち１０（ｍ）から２０（ｃｍ）まで引き寄せられることとなり、この場合に表示倍率は４（％）から１００（％）まで拡大され、画面表示装置１１０上の表示サイズは、縦サイズに近い４（ｃｍ）から画面表示装置１１０から大きくはみ出す１（ｍ）の実寸まで変化する。結局、被写体距離Ｄ２では、画面表示装置１１０に被写体の縦１（ｍ）のうちの４（ｃｍ）、すなわち４（％）という一部分しか表示できない。

接近状態検出部１０４の動作は、表示倍率ｍについて、ｍ＜１の場合には接近過程状態、ｍ＝１の場合には最大接近状態と判定するものである。これは観察距離Ｚ、仮想的な被写体距離Ｄ、画像上サイズを用いても（表１）の関係から判定可能である。ここで、Ｚｔの具体的数値については、上記では２０（ｃｍ）としたが、これは画像表示装置１１０をあまり近くから観察することは人間の眼の調節機能上不便であるだけでなく、画像表示装置１１０のディスプレイ画素構造までが観察されてしまうため、通常ディスプレイを見る明視距離の程度とすることが好ましいため仮に決めたものである。

また、本実施形態では、Ｄ２＝Ｚｔとして、最大接近状態では、被写体は観察距離と同位置にあるとしているが、この両者の関係はヒューマンインタフェースの観点からは主観評価実験などで経験的に決めればよく基本的には任意である。従って、接近過程状態と最大接近状態の判定には、必ずしも（表１）にとらわれることなく、表示倍率、画面上サイズ、観察距離のいずれを用いてもよく、その閾値もまた任意である。

本実施の形態においては、以上述べた接近過程状態（第１表示モード）と最大接近状態（第２表示モード）との２つの状態によってセンサからの出力である距離検出と角度検出結果の利用の仕方、表示画像への制御の方法が異なる。

まず、接近過程状態の場合の画像表示装置１１０の動作について図４を用いて説明する。図４は、観察者が、商品画像であるセータを表示画面に表示させて、これを観察している状態である。この図で用いる座標軸ＸＹＺは観察者の頭部３０１を原点として固定されている。

はじめに、観察者は商品の全体画像を観察するが、セータ表面の詳細を観察したくなっ
た場合には、商品画像の一部を目標にして画像表示装置１１０を手で持って接近させる。このとき、角度検出部１０３はこの動きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。このとき、角度が微小であれば以下の関係式が成立するため角度からΔＸ、ΔＹが算出できる。これ以外にも、Ｙ軸方向の変位ΔＹ、Ｘ軸方向の変位ΔＸを直接検出してもよい。以下、接近過程状態での画像表示装置１１０の移動量表記は、ΔＸ、ΔＹを用いる。

（式２）のようにΔＸ、ΔＹ検出の結果、表示切替制御部１０５において、画像上で観察者の希望する接近位置を示す接近マーカ３０４が、上下左右に移動して商品画像上に合成して表示される。接近マーカ３０４の移動方向と、ΔＸ及びΔＹの方向との関係は規定しないが、本実施例ではΔＸ及びΔＹに対して逆向きに移動して表示されることとしている。例えば、画像表示装置１１０を手で向かって左に移動させる場合では、接近位置を商品画像の中心よりやや右側に偏移させている意味で接近マーカ３０４が、移動前の画像上の位置よりも右に偏移する。

観察者は、上記のように画像表示装置１１０をもちながら、商品画像上の接近位置を、接近マーカ３０４を見ながら調整しつつ、同時にＺ軸に沿って移動し、距離検出部１０２によって移動の変位ΔＺが検出される。

そして表示切替制御部１０５、Ｚ軸方向のΔＺの距離移動に従って、商品画像の上記の接近領域を中心に画像の拡大表示が行われる。このときの表示倍率は、（表１）にあるようにＺ１とＤ１の比として設定できる。

以上のように本実施の形態では、観察者の視線を検出し、上記の角度を検出している訳ではない。実際には携帯型の画像表示装置１１０では、画面が狭いため観察者は画面内で視線を自由に移動できず、視線は常に観察者の目と携帯型の画像表示装置１１０を結ぶ直線に固定されている。しかし、図４に示すように、商品画像中心に対して上下左右にずれた場所に向かって接近していく場合に、視線検出の代替として観察者を原点とした携帯型の画像表示装置１１０の位置検出を行う。

従って、本実施の形態における接近過程状態では、観察者がＺ値を変化させずに画像表示装置１１０を手で持ってＸＹ平面内で移動した場合は、表示されている画像自体が変化することは無く、接近マーカ３０４の位置が変化するだけである。

次に、図５を用いて、図４で説明した接近過程状態で表示される画像を説明する。画面が狭い携帯型の画像表示装置１１０においては、正確な接近部位の指定が非常に困難であると想像される。そこで本実施形態では、予め接近可能な領域を設定し、更に、画像表示装置１１０をＸＹ軸方向に移動した場合に、接近可能領域を目標マーカ４０１として表示し、接近マーカ３０４を合致させるように、画像表示装置１１０を移動させることで、目標マーカ４０１の選択を行うものである。ここで、図５（ａ）は、目標マーカ４０１を示した画像表示装置１１０であり、図５（ｂ）は、接近マーカ３０４により任意の目標マーカ４０１が選択された画像表示装置１１０であり、図５（ｃ）は、目標マーカ４０１の一定範囲内に接近マーカ３０４を移動させることで、目標マーカ４０１を選択する画像表示
装置１１０であり、図５（ｄ）は、接近マーカ３０４により選択された接近可能領域の拡大画像を示す画像表示装置１１０であり、図５（ｅ）は、選択された接近可能領域を更に拡大した画像表示装置１１０を示している。

まず図５（ａ）において、接近可能領域として、（Ａ）（Ｂ）（Ｃ）の３種類を用意し、商品画像の全体像上で接近可能な位置を示す目標マーカ４０１を表示する。

次に、観察者は、画像表示装置１１０を手で持って、ＸＹ軸方向に移動させることにより、図５（ｂ）に示すように、接近マーカ３０４を移動表示させて、商品画像の接近対象である任意の目標マーカ４０１を特定する。接近する目標である局所領域の設定の方法としては様々な実現様式が存在し、特に表示画面が比較的大画面の場合には比較的大きな面積にて商品画像が提示されるため自由に設定したほうがよい。

この部分のユーザインタフェースは様々な形態が考えられる。例えば、目標マーカ４０１は商品画像にはじめから表示されておらず、観察者の手で持って移動という行為で接近マーカ３０４が発生した時に、接近マーカ３０４に一番近い目標マーカ４０１がはじめて表示されるようにしてもよい。

また、図５（ｃ）に示すように、目標マーカ４０１から一定距離内の接近マーカ反応領域４０２に接近マーカ３０４が入った場合には自動的に、該当する目標マーカ４０１への接近と判定されるようにしてもよい。また、一旦接近する場所が確定した後は画像観察を邪魔しないために既に接近マーカ３０４あるいは目標マーカ４０１の表示を消すことも考えられる。

次に、接近過程状態では、静止画に対して、接近する領域を選択しつつ、該当部位へ観察距離を接近させると、拡大画像データベース１０６に蓄積された拡大画像が図５（ｄ）に示すごとく表示され、更に、観察者が、画像表示装置１１０をＺ軸方向に移動することで、図５（ｅ）に示すように、商品画像の特定部位を中心に連続的に次第に接近しているような感覚を得るようにＺ軸方向に拡大された拡大画像が逐次表示される。

この拡大画像データベース１０６は、接近可能領域（Ａ）、（Ｂ）、（Ｃ）毎に、連続的な拡大画像を予め蓄積しておく、あるいは高精細画像を画像処理して連続的な拡大を実現するなどの方法で実現する。いずれにせよ高精細画像が必要な面積は接近可能な領域のみに限定されるため、画像蓄積量は被写体全体の高精細画像の蓄積に比較して少ないという利点がある。また、この過程での画像の取得には後述する装置を用いることで実現できる。

次に、最大接近状態について、図６を用いて説明する。
商品画像としてセータを例にとると、実際の商品を見る場合にセータの表面模様や織り、繊維の質、手触りなどを検討するために特定部位に充分接近して確認することに相当する。この場合には、表示切替制御部１０５は、接近過程状態とは異なる動作で画像を表示する。

まず、最大接近状態では、画面表示部１０９全体に商品画像の特定領域が表示され、この例ではセータの毛糸の編目が表示されている。ここで以前と同様に画像表示装置１１０を手で把持して傾けると、角度検出部１０３は、画像表示装置１１０の傾きを、Ｚ軸上の距離ΔＺ、Ｘ軸周りの回転角ピッチΔθ、Ｙ軸周りの回転角ヨーΔψとして検出する。

ただし、最大接近状態では、Ｚ軸方向の距離ΔＺは、被写体距離Ｄが観察距離Ｚｔより大きくなった場合に、再び接近過程状態に戻る用途以外には利用されず、専らΔθ、Δψ
の２つの角度を検出し、一定照明、一定の視角の観察者に対して被写体の表面の傾きが変化した状態の画像を表示し、表面のリアルな材質感、粒状感などをリアリティ高く提示できる。

さて、以上のような最大接近状態での画像表示の方法について、図７のフローチャートを用いて説明する。まず、Ｓ６０１にて、距離検出部１０２が、観察距離Ｚを測定する。次に、Ｓ６０２にて、角度検出部１０３が、（Δψ、Δθ）を測定する。

次に、Ｓ６０３にて、接近状態検出部が、表示倍率を求め、観察状態判定を行う。なお、この検出には、必ずしも表示倍率の数値に限らず、観察距離によってもよいことは（表１）から明らかである。ここで、接近過程状態と検出された場合は、Ｓ６０６に移行し、最大接近状態と検出された場合は、Ｓ６０４に移行する。

まず、接近過程状態の場合には、Ｓ６０６にて、マーカ生成部１０８が、画像上に接近マーカ３０４、目標マーカ４０１を表示する。次に、Ｓ６０７にて、表示切替制御部１０５が、（Δψ、Δθ）から（ΔＸ、ΔＹ）という接近領域の選択を実施する。

次に、Ｓ６０８にて、表示切替制御部１０５が、拡大画像データベース１０６の検索を行い、該当する拡大画像を、目標とする接近領域への画像として連続的に画像表示部１０９へ出力する。次に、Ｓ６０９にて、画像表示部１０９が、商品画像に拡大画像を重ね合わせて表示する。

次に、最大接近状態の場合には、Ｓ６０４にて、表示切替制御部１０５が、角度（Δψ、Δθ）から傾き変化を算定して傾き変化接写画像データベース１０７の検索を行って、接写画像の傾き変化を再現する。

次に、Ｓ６０５にて、画像表示部１０９が、検索された接写画像を画像表示部１０９に表示する。ここでは、観察距離Ｚの変化は接写画像に対して何らの変化も及ぼさず、観察距離Ｚが大きくなると再度接近過程状態に戻っていく。このように観察距離Ｚに依存して状態が変化する系では、センサ系のノイズによって状態が激しく変動する現象も発生する可能性もあり、系に一種のヒステリシス特性を与えたりスムージング特性を与えたりする手段が有効である。

以上で実施の形態１における画像表示方法、画像表示装置１１０の説明を終了する。
次に、利用した画像データベースの取得方法について説明する。図８は、被写体７０１であるニットセータの任意の特定領域のみを、一定照明及び一定カメラアングルで、被写体７０１を様々な角度に傾けながら撮影する撮影装置を示している。

傾き台７０２は、被写体７０１であるセータを載せる台であり、傾きが可変である。自動架台装置７０３は、傾き台７０２の面法線方向を、ΔψとΔθの２自由度で傾かせる機構と、ＸＹ軸方向に傾き台７０２を平行移動させる機構とを備える。照明ランプ７０４は、平行光を作りだすレンズ７０５を通して被写体７０１を入射角約２２度で照明する。

カメラ７０６は、ＸＹ軸平面に垂直方向なＺ軸方向で遠距離から近距離までの位置に設定され、被写体７０１を撮影する。

図８では、カメラ７０６をＺ軸方向の移動により、被写体７０１の拡大画像を作成しているが、カメラ７０６のレンズのズーミング機構で簡便に代用することも可能である。

まず、被写体７０１の拡大画像を画像データベース化する手順を説明する。
ここで、接近過程状態においては、静止画に対して、接近する領域を選択しつつ、該当部位へ連続的に次第に接近している感覚が得られるような拡大画像の生成が必要とされる。

まず、接近可能領域（Ａ）、（Ｂ）、（Ｃ）に相当する被写体７０１上の特定領域７１１を決定し、自動架台装置７０３を平行移動して、カメラ７０６が接近可能領域の真上に一致するように設定する。

次に、カメラ７０８を、Ｚ軸方向に移動させながら接近する状況の画像を連続的に撮影し、撮影画像を拡大画像データベース１０６に蓄積する。

以上により、接近過程状態における接近可能領域の拡大画像を作成することができる。
次に、被写体７０１の傾き変化接写画像を画像データベース化する手順を説明する。

最大接近状態では、図６に示すように、画像表示装置１１０を、Ｘ軸周りとＹ軸周りとの回転角に応じた画像が必要となる。このため、傾き台７０２を、ΔψとΔθの２変数度で傾きを与え、再度逐次撮影を行い、図９に示すように、２次元の画像データベースとして、傾き変化接写画像データベース１０７に蓄積する。なお、図９では上記の傾き角度範囲を±３０度としているが数値は他でも構わない。

また、上記の２種の画像データベースから実際の表示画像を生成するのは、表示切替制御部１０５の機能であり、観察距離Ｄに応じて、接近過程状態では、拡大画像データベース１０６を検索し、必要であれば、適宜、拡大画像を補間しながら表示し、最大接近状態では、傾き変化接写画像データベース１０７を、Δθ、Δψから検索し、適宜、傾き変化接写画像を補間する必要があれば実施して表示する。

なお、接近過程状態における観察距離と表示倍率の関係は、例えば図１０に示す直線８０１のように観察距離（ＺｍａｘからＺｔ）に応じて表示倍率を均一に増加させてもよいし、曲線８０２および曲線８０３のように偏りを持たせて観察距離に応じて表示倍率を増加させてもよい。この図１０において観察距離ＺｔからＺｍｉｎまでは最大接近状態である。

また、観察距離Ｚｍａｘ、観察距離Ｚｍｉｎ、最大接近状態となる観察距離Ｚｔは、あらかじめ設定された値を用いるだけでなく、観察者が初期設定として設定することも可能である。例えば、観察者が画像表示装置１１０を手に持って最大に手を伸ばした状態で観察距離Ｚｍａｘを設定し、観察者が画像を確認できる範囲で画像表示装置１１０を最も近づけた状態で観察距離Ｚｍｉｎを設定し、観察者が希望する位置で最大接近状態となる観察距離Ｚｔを設定すればよい。

（実施の形態２）
実施の形態１では、被写体表面の面法線の傾きの２自由度の変化に対応し、撮影に使用する一定の照明下の画像を最大接近画像として用いた画像表示装置１１０について説明したが、実施の形態２では、観察者が屋外や屋内で本画像表示装置を使う場合、最大接近画像の観察においては、現在の照明下にて観察されるであろう最大接近画像を合成して表示する構成について説明する。

一般的な照明下で任意の観察下での表面の特性を記述する方法として、近年のコンピュータグラフィックス分野では、双方向性反射分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＲＤＦ）、ＢＲＤＦを２次元画像に拡張した双方向性テクスチャ関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ
ｔｅｘｔｕｒｅ ｆｕｎｃｔｉｏｎ：ＢＴＦ）という概念をよく用いる。ＢＲＤＦは、表面上の１点のみに対して照明の入射角を球座標で表現した（α、β）と観察する視角を、同じく球座標で表現した（θｅ、φｅ）の４変数の関数であり、（式３）のように放射輝度Ｌを入射する照度Ｅにて正規化したものとして定義されている。

またＢＴＦは、ＢＲＤＦを一定の面積をもつ画像領域に拡張したもので、（α、β、θｅ、φｅ）と（Ｘ、Ｙ）の合計６変数の関数で、従来のテクスチャに対して３次元テクスチャと称されることもある。この一定面積内での照度が一定とすればＢＴＦは、（式４）のように視角方向からの輝度画像をある角度からの照明による照度にて正規化して得られる。

そこで実施の形態２では、このＢＴＦを用いることにより、さらにリアリティ豊かな表示を行うことを目的とする。図１１は実施の形態２の画像表示装置の構成を示すブロック図であり、図２と異なる部分は、照明方向検出部９０１、照度検出部９０２、ＢＴＦデータベース９０３、レンダリング部９０４の存在である。なお、図２と同じ番号の構成要素の動作は、実施の形態１と同様なため、ここでの説明は、省略する。

画像表示装置９０５は、観察者の手により把持されて自由に移動できる例えば携帯表示端末等の装置であり、図１１に示すように照明方向検出部９０１、照度検出部９０２、レンダリング部９０４、センサ部１０１、距離検出部１０２、角度検出部１０３、接近状態検出部１０４、表示切替制御部１０５、マーカ生成部１０８、画像表示部１０９、及び送受信部１１１を備えている。また、画像表示装置９０５は、ネットワーク１１２を介して、被写体データベース１１３、ＢＴＦデータベース９０３、拡大画像データベース１０６及び傾き変化接写画像データベース１０７と接続される。

図１２（ａ）は、照明方向検出と表示されるレンダリング後の画像を示している。照明方向検出部９０１は、図１２のように観察者が画像表示装置９０５を屋外や屋内で利用する際の環境照明の方向（α、β）、照度Ｅを検出するものである。照度検出部９０２は、画像表示装置９０５を、屋外や屋内で利用する場合の環境照明による表示面照度を検出するものである。これら照明光の検出には、実施の形態１におけるセンサ部１０１からの信号を処理して利用することも可能であるが、付加的な照度センサなどを用いて行うことも可能である。ＢＴＦデータベース９０３には、予め被写体の特定領域を測定して得られたＢＴＦが蓄積されている。レンダリング部は観察照明下で観察されるであろう被写体の最大接近画像の輝度を（式５）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

実測されたＢＴＦを用いたイメージベースのコンピュータグラフィックスのレンダリングでは被写体の３次元モデル、あるいは表面法線が必要であり、別途レーザスキャンなど特殊な装置を用いて計測する必要がある。しかし本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な最大接近画像にＢＴＦを適用しているため、被写体の表面形状の取得は必要ない。

ここで、本実施の形態では、図１２（ｂ）、（ｃ）に示すように、表示される最大接近画像１００１は、任意の仮想的な平面及び曲面である仮想曲面１００２を仮定し、それにＢＴＦ１００３を３次元テクスチャとして適用することで生成し、画像表示装置９０５に表示する。なお、図１２（ｂ）は仮想曲面１００２が凸形状の場合を示し、図１２（ｃ）は仮想曲面１００２が凹形状の場合を示している。また、仮想曲面１００２が凸形状であるか凹形状であるかを画像表示部１０９に表示する構成とすることも可能である。このように任意の平面、特に曲面に対してＢＴＦを適用すると照明の変化に対する表面のテクスチャが明瞭に判別でき、まさに手にとって吟味するような感覚が得られるという効果がある。この目的のためには、レンダリングに使用する仮想曲面１００２は、ユーザが手にとった様子に合わせて自由に指定、変更できるようにしてもよい。

図１３は、被写体のＢＴＦを測定するための撮影装置１１０３を示しており、図８の撮影装置７１２と同じ部分には同じ番号を付けているので、図８と差異は、照明角度αに関する照明角度移動機構１１０１、自動架台装置７０３に角度βに関する被写体回転機構１１０２が付加されている点である。

撮影装置１１０３の使用方法につき説明する。接近過程状態は、図８の動作と同じであるから省略する。次に、最大接近状態について説明する。ＢＴＦ測定の場合には、カメラ７０６で観測された画素値をそのまま輝度値として使用するので、予めカメラ７０６のＯＥＴＦ（光電変換関数）を輝度に対してリニアになるようにキャリブレーションしておく。カメラ７０６の位置で最大接近状態である場合に、まず、照明角度αを、カメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対して、β＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０２を、ΔψとΔθの２変数で傾きを与えて再度逐次撮影を行なう。更に、照明位置をカメラ視角に対して４５°の位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、これを２２．５°毎の１５７．５°まで実施する。

次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了し、この結果をＢＴＦデータベース９０３として保存する。

なお図１３の撮影装置１１０３では、カメラ７０６を固定して照明角度αを変化させたが、照明ランプ７０４を固定してカメラ角度を移動させることも可能である。なお、ここで、ＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意の値を用いても構わない。実際の計算には、これら測定値を適宜補間した値を使うことが多い。

次に、実施の形態２における画像表示方法のフローチャートを図１４に示す。図７のフローチャートと異なる部分は、Ｓ１２０１からＳ１２０４になる。ここでは、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９の説明は省略する。

まず、Ｓ１２０１にて、照明方向検出部９０１が観察照明の角度の測定を行い、照度検出部９０２が観察照明の照度の測定を行う。

次に、Ｓ１２０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＢＴＦを検索するＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＢＴＦ要求信号をＢＴＦデータベース９０３に送信し、ＢＴＦデータベース９０３において、ＢＴＦ要求信号に該当するＢＴＦを画像表示装置９０５に送信する。

次に、Ｓ１２０３にて、レンダリング部９０４が、受信したＢＴＦをマッピングする表面を生成し、照明方向と表面の法線を考慮してＢＴＦがマッピングされ、更に、レンダリングを施した画像を最大接近画像として生成する。

次に、Ｓ１２０４では、画像表示部１０９が、生成された最大接近画像を表示する。
また、レンダリングに使用する関数は、ここではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られ、内部散乱が支配的な紙面のような表面では双方向サーフェススキャタリング分布関数（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ：ＢＳＳＲＤＦ）を用いてもよい。

（実施の形態３）
実施の形態２までは、最大接近状態において、ΔψとΔθの変化に対する画像の見え方の変化を表示するだけの画像表示装置９０５であったのに対して、実施の形態３においては、ＢＴＦを拡張して距離の概念を考慮したデータベースを用いることで、観察距離の変化に対する微妙な接写画像の距離による変化を反映させ、被写体の詳細な画像である拡大画像の提示を可能とする画像表示装置を提供する。

図１５は、本実施の形態の画像表示装置１３０２の構成を示すブロック図であり、図１１の画像表示装置１３０２において、ＢＴＦデータベース９０３を、距離可変ＢＴＦデータベース１３０１に置き換えた構成となる。ここで、距離可変ＢＴＦを本発明においてはＤＴＢＦと称する。なお、他の構成要素において、図１１と同一の番号の構成要素の動作は、実施の形態１及び２と同様なため、ここでの説明は省略する。

次に、図１６は、本実施の形態での画像表示方法を示す図であり、最大接近状態において、（Δψ、Δθ）の角度の他に、更に、観察距離Ｚの変動ΔＺによって表示画像が、より観察距離が接近したため、表面構造１４０１が詳細に観察できる画像に変化する最大接近状態を示す。この状態では、観察距離がＺ＜Ｚｔであり、被写体であるセータの毛糸の織りの構造までが詳細に観察できるレベルとなる。

ＤＢＴＦは、従来のＢＴＦ（α、β、θｅ、φｅ、Ｘ，Ｙ）を距離方向Ｚに拡張した７変数テクスチャ関数として（式６）のように観察距離Ｚの位置における視角方向からの輝度画像を照明の照度にて正規化した量で定義できる。

ＤＢＴＦデータベース１３０１には、予め被写体の特定領域を特殊な装置にて測定して得られたＤＢＴＦが蓄積されている。レンダリング部９０４は、観察照明下で観察されるであろう被写体の詳細画像の輝度を、（式７）のようにＢＴＦと照明の照度の積で表現される輝度として生成する。

本実施の形態においては、被写体がセータのような形状可変の物体であり、比較的局所的な詳細画像である場合に、ＤＢＴＦを適用していることにより、被写体形状の取得は必須ではなく、仮想的な平面又は曲面を仮定して仮想曲面１００２とし、仮想曲面１００２にＤＢＴＦを適用することで容易にレンダリングされた詳細画像が生成でき、これを画像表示装置１３０２に表示することができる。

図１７は、被写体のＤＢＴＦを測定するための撮影装置１５０２を示しており、図１３の撮影装置と同じ部分には同じ番号を付けてあり、同様の動作をするため、ここでの説明は省略する。実施の形態２の図１３に示した撮影装置に対して、カメラ１５０１がＺ軸方向に移動することができる構成としたものである。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向へ移動することにより、被写体距離を可変としているが、カメラ１５０１のレンズのズーミング機構で簡便に代用することも可能である。

撮影装置１５０２の使用方法につき説明する。接近過程状態の場合は、図１３の動作と同じであるから、ここでの説明は省略する。

次に、実施の形態３の最大接近状態の場合について、ＤＢＴＦ測定を説明する。まず、カメラ１５０１で観測された画素値をそのまま輝度値として使用するので、予めカメラ１５０１のＯＥＴＦ（光電変換関数）を輝度リニアになるようにキャリブレーションしておく。

次に、カメラ１５０１を最大接近状態の位置に移動し、照明角度αをカメラ視角に対して２２．５°の初期位置に固定し、被写体回転機構１１０２をＸＹ座標系に対してβ＝０°になる初期位置に固定する。以上の設定状態にて、傾き台７０３をΔψとΔθの２変数で傾きを与えて再度逐次撮影を行う。

次に、照明角度αをカメラ視角に対して４５°になる位置に移動し、再度、ΔψとΔθの２変数で傾きを与えながら撮影し、順次、照明角度αを２２．５°毎に、１５７．５°まで実施する。次に、被写体回転機構１１０２において、角度βを一定角度毎に回転させ、再度、照明角度αを２２．５°から１５７．５°まで回転させ、同様の測定を繰り返す。以上で照明の角度２自由度（α、β）を含む測定が終了する。

次に、カメラ１５０１を実施の形態２による最大接近状態の位置より、更に、被写体に接近させ、再度測定を繰り返す。なお、撮影装置１５０２では、カメラ１５０１のＺ軸方向への移動は距離を可変にすることで実現しているがレンズのズーミング機構で簡便に代用することも可能である。

以上の結果をＤＢＴＦデータベース１３０１として保存するものとする。なお、図１７の撮影装置１５０２ではカメラ１５０１を固定して照明角度を移動したが、照明を固定してカメラ角度を移動させることも可能である。なお、ここでＤＢＴＦを測定するための角度刻み幅２２．５°などの数値は１つの例にすぎず、任意に設定することが可能である。また、実際の計算には、測定値を適宜補間した値を使用することも可能である。

図１８に、実施の形態３における画像表示方法のフローチャートを示す。実施の形態２における図１４のフローチャートと異なる部分は、Ｓ１６０１からＳ１６０２になる。なお、Ｓ６０１からＳ６０３、Ｓ６０６からＳ６０９、Ｓ１２０１、Ｓ１２０３、Ｓ１２０４の説明については省略する。

まず、Ｓ１６０１にて、接近状態検出部１０４が、表示倍率を再度検証し、表示倍率が、ｍ＞１である場合は、Ｓ１６０２に移行し、表示倍率が、ｍ＝１である場合は、Ｓ１２０２に移行する。なお、最大接近状態の条件をｍ＝１としたが、実際の使用においては、ｍ＝１よりも、最大接近状態の条件を０．９＜ｍ＜１．１とするなど、使用者の利便性を考慮した設定とすることもできる。

次に、Ｓ１６０２にて、表示切替制御部１０５が、照明角度及び照度に該当するＤＢＴＦを検索するＤＢＴＦ要求信号を送受信部１１１に出力し、送受信部１１１は、ネットワークを介して、ＤＢＴＦ要求信号をＤＢＴＦデータベース１３０１に送信し、ＤＢＴＦデータベース１３０１において、ＤＢＴＦ要求信号に該当するＤＢＴＦを画像表示装置１３０２に送信する。

以降は図１４と同様に、Ｓ１２０３にて、表示切替制御部１０５が、ＤＢＴＦをマッピングし、更に、レンダリングを行った画像である詳細画像を生成する。

また、レンダリングに使用する関数は、本実施の形態ではセータ表面のようなテクスチャが支配的な表面を例にしたためＢＴＦを使用したが、平滑表面であればＢＲＤＦでも同様の効果が得られる。また、内部散乱が支配的な紙面のような表面では、ＢＳＳＲＤＦ（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｓｃａｔｔｅｒｉｎｇ ｓｕｒｆａｃｅ ｒｅｆｌｅｃｔａｎｃｅ ｄｉｓｔｒｉｂｕｔｉｏｎ ｆｕｎｃｔｉｏｎ）を用いてもよい。

なお、上記各実施の形態では、各データベースからすべての画像を取得して表示する場合について説明したが、これに限られるものではない。例えば、最初は観察者が店舗において商品の画像を撮影し、後でこの商品の画像を表示させる際に、全体画像は実際に撮影した商品の画像を表示し、それ以外の接近画像では各データベースから該当する商品の画像を取得して表示することも可能である。

本発明に係る画像表示装置および画像表示方法は、オンラインショッピングなどのアプリケーションで被写体商品の入力画像を携帯型ディスプレイなど小型ディスプレイに表示する場合、表示面積の狭い携帯型ディスプレイであっても、ユーザはディスプレイを窓として観察しつつ被写体全体を把握でき、更に、画像表示装置を引き寄せることで、手にとった感覚でリアリティ豊かに観察でき、オンラインショッピングの実用性を大幅に向上す
ることができ有用である。また本画像表示装置および画像表示方法は、実写とコンピュータグラフィックスの併用が有効な医療用途やデジタルアーカイブなどの博物館用途にも利用できる。

図１は、従来の画像表示装置を示す図である。 図２は、第１の実施の形態による画像表示装置の構成を示すブロック図である。 図３は、（ａ）第１の実施の形態による接近過程状態の観察距離と仮想被写体位置との関係を示す図、（ｂ）第１の実施の形態による最大接近状態の観察距離と仮想被写体位置との関係を示す図である。 図４は、第１の実施の形態による接近過程状態での接近マーカの表示を示す図である。 図５は、（ａ）第１の実施の形態による目標マーカの表示を示す図、（ｂ）第１の実施の形態による目標マーカ及び接近マーカの表示を示す図、（ｃ）第１の実施の形態による目標マーカ及び接近マーカ反応領域の表示を示す図、（ｄ）第１の実施の形態による拡大画像の表示を示す図、（ｅ）第１の実施の形態による拡大画像の表示を示す図である。 図６は、第１の実施の形態による最大接近状態における表示を示す図である。 図７は、第１の実施の形態による画像表示方法の手順を示すフローチャートである。 図８は、第１の実施の形態による撮影装置の構成を示す図である。 図９は、第１の実施の形態による傾き画像データベースを示す図である。 図１０は、観察距離と表示倍率の関係を示す図である。 図１１は、第２の実施の形態による画像表示装置の構成を示すブロック図である。 図１２は、（ａ）第２の実施の形態による最大接近状態での照明検出を示す図、（ｂ）、（ｃ）第２の実施の形態による最大接近画像の生成過程を示す図である。 図１３は、第２の実施の形態による撮影装置の構成を示す図である。 図１４は、第２の実施の形態による画像表示方法の手順を示すフローチャートである。 図１５は、第３の実施の形態による画像表示装置の構成を示すブロック図である。 図１６は、第３の実施の形態による最大接近状態における距離検出の状態を示す図である。 図１７は、第３の実施の形態による撮影装置の構成を示す図である。 図１８は、第３の実施の形態による画像表示方法の手順を示すフローチャートである。

Claims (21)

1. 被写体の画像を表示する画像表示装置であって、
   観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、
   前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、
   前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御手段と
   を備えることを特徴とする画像表示装置。
2. 前記画像表示装置は、さらに、
   前記観察距離に基づいて前記画像の表示倍率を算出する接近状態検出手段を備える
   ことを特徴とする請求の範囲１記載の画像表示装置。
3. 前記接近状態検出手段は、前記観察距離が所定の距離以下である場合に、前記被写体が前記所定の距離に存在するものとして前記表示倍率を１倍と算出し、前記観察距離が所定の距離より大きい場合に、前記被写体が前記所定の距離より遠くに存在するものとして前記表示倍率を１倍未満と算出し、
   前記表示切替制御手段は、前記接近状態検出手段により算出された表示倍率が１倍未満である場合に、前記第１表示モードで前記被写体の画像を表示し、前記表示倍率が１倍である場合に、前記第２表示モードで前記被写体の画像を表示する
   ことを特徴とする請求の範囲２記載の画像表示装置。
4. 前記表示切替制御手段は、前記第１表示モードにおいて、前記表示倍率および前記観察方向に基づいて、前記被写体の一部分の画像を選択して表示する
   ことを特徴とする請求の範囲１記載の画像表示装置。
5. 前記被写体の一部分は予め定められた領域であり、
   前記表示切替制御手段は、前記第１表示モードにおいて、前記観察方向および前記表示倍率に基づいて、複数の前記領域の中から１つの前記領域の画像を選択して表示する
   ことを特徴とする請求の範囲４記載の画像表示装置。
6. 前記画像表示装置は、さらに、
   前記第１表示モードにおいて、前記予め定められた領域を示す第１のマーカを表示するとともに、前記観察方向および前記表示倍率に基づいて第２のマーカを表示するマーカ生成手段を備え、
   前記表示切替制御手段は、前記第１のマーカおよび前記第２のマーカの位置関係に応じて複数の前記領域の中から１つの前記領域を選択する
   ことを特徴とする請求の範囲１記載の画像表示装置。
7. 前記マーカ生成手段は、前記第１のマーカを予め前記被写体の全体画像に重ね合わせて表示する
   ことを特徴とする請求の範囲６記載の画像表示装置。
8. 前記マーカ生成手段は、前記第１のマーカが示す領域に前記第２のマーカが接近した場合に、前記第１のマーカを前記被写体の全体画像に重ね合わせて表示する
   ことを特徴とする請求の範囲６記載の画像表示装置。
9. 前記表示切替制御手段は、前記第２表示モードにおいて、前記観察方向および照明条件に応じて前記被写体表面の法線方向が相違する画像を表示する
   ことを特徴とする請求の範囲１記載の画像表示装置。
10. 前記表示切替制御手段は、前記第２表示モードにおいて、一定の照明下で前記被写体表面の法線方向を２つの自由度により傾けた画像を表示する
    ことを特徴とする請求の範囲１記載の画像表示装置。
11. 前記表示切替制御手段は、前記第２表示モードにおいて、前記被写体表面の光の反射、散乱、透過のいずれかを記述する光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示する
    ことを特徴とする請求の範囲１記載の画像表示装置。
12. 前記光学的モデルは、被写体表面の双方向性反射分布関数、被写体表面の双方向サーフェススキャタリング分布関数、または被写体表面の双方向性テクスチャ関数のいずれか１つを用いて算出されるモデルであり、
    前記表示切替制御手段は、前記第２表示モードにおいて、前記光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示する
    ことを特徴とする請求の範囲１１記載の画像表示装置。
13. 前記光学的モデルは、観察距離をパラメータとした被写体表面の双方向性反射分布関数、観察距離をパラメータとした被写体表面の双方向サーフェススキャタリング分布関数、または観察距離をパラメータとした被写体表面の双方向性テクスチャ関数のいずれか１つを用いて算出されるモデルであり、
    前記表示切替制御手段は、前記第２表示モードにおいて、前記光学的モデルを、任意平面または曲面の表面に対して一定の照明下でレンダリングしたコンピュータグラフィックス画像を表示する
    ことを特徴とする請求の範囲１１記載の画像表示装置。
14. 前記表示切替制御手段は、前記第２表示モードにおいて、前記観察距離に応じて前記被写体の拡大画像を表示する
    ことを特徴とする請求の範囲１記載の画像表示装置。
15. サーバ装置に蓄積された被写体の画像を画像表示装置で表示する画像表示システムであって、
    前記画像表示装置は、
    観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出手段と、
    前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出手段と、
    前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードに対応する前記被写体の画像を要求し、前記要求に応じて受け取った前記被写体の画像を表示する表示切替制御手段と、
    ネットワークを介して前記要求に基づく画像要求信号をサーバ装置へ送信し、前記画像要求信号に応じた画像を受信する送受信手段とを備え、
    前記サーバ装置は、前記ネットワークに接続されるとともに、
    前記被写体の全体画像を蓄積し、前記画像要求信号に応じて画像を送信する被写体データベースと、
    表示倍率に応じた被写体の一部分の画像を蓄積し、前記画像要求信号に応じて画像を送信する拡大画像データベースと、
    前記被写体の一部分の画像に前記法線方向に傾きを与えて生成した傾き変化接写画像を蓄積し、前記画像要求信号に応じて画像を送信する傾き変化接写画像データベースとを備える
    ことを特徴とする画像表示システム。
16. 前記サーバ装置は、さらに、
    前記被写体の一部分の画像の双方向性テクスチャ関数を蓄積したＢＴＦデータベースを備える
    ことを特徴とする請求の範囲１５記載の画像表示システム。
17. 前記サーバ装置は、さらに、
    前記観察距離の変化をパラメータとした前記被写体の一部分の画像の双方向性テクスチャ関数を蓄積した距離可変ＢＴＦデータベースを備える
    ことを特徴とする請求の範囲１５記載の画像表示システム。
18. 前記サーバ装置は、さらに、
    前記観察距離の変化をパラメータとした前記被写体の一部分の画像の双方向性テクスチャ関数は、前記被写体の一部分の画像の被写体上での位置、前記観察距離、照明角度、および前記観察方向をパラメータとした関数である
    ことを特徴とする請求の範囲１７記載の画像表示システム。
19. 請求の範囲１記載の画像表示装置のための撮影装置であって、
    前記被写体に対して２自由度の角度にて傾斜し、１自由度の角度で回転する台機構と、
    １自由度の角度で変化する照明手段と、
    １自由度の距離で変化するカメラ手段とを備え、
    前記観察距離の変化をパラメータとした前記被写体の一部分の画像の双方向性テクスチャ関数を測定する
    ことを特徴とする撮影装置。
20. 被写体の画像を表示する画像表示方法であって、
    観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出ステップと、
    前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出ステップと、
    前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御ステップと
    を含むことを特徴とする画像表示方法。
21. 被写体の画像を表示するためのプログラムであって、
    観察者と当該画像表示装置との間の距離を観察距離として検出する距離検出ステップと、
    前記観察者に対する当該画像表示装置の角度、または前記観察者に対する当該画像表示装置の移動方向を、観察方向として検出する角度検出ステップと、
    前記観察距離に応じて表示倍率を変えて、前記被写体の画像を表示する第１表示モードと、前記観察方向に応じて前記被写体表面の法線方向が相違する画像を表示する第２表示モードとを、前記観察距離に応じて切り替え、前記第１表示モードまたは前記第２表示モードで前記被写体の画像を表示する表示切替制御ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images