JP4710016B2 - ディスプレイ上での光沢表現方法 - Google Patents
ディスプレイ上での光沢表現方法 Download PDFInfo
- Publication number
- JP4710016B2 JP4710016B2 JP2006054814A JP2006054814A JP4710016B2 JP 4710016 B2 JP4710016 B2 JP 4710016B2 JP 2006054814 A JP2006054814 A JP 2006054814A JP 2006054814 A JP2006054814 A JP 2006054814A JP 4710016 B2 JP4710016 B2 JP 4710016B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- gloss
- camera
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本発明は、カメラを用いたコンピュータや携帯端末等のディスプレイ上での光沢表現方法に関する技術である。
近年コンピュータが急速に社会に浸透し、その性能だけでなくデザインに対する要求が高まってきている。身の回りの高級品などにみられる光沢はその質感をあらわす要素のひとつであり、豪華さや安らぎをかもし出す上で重要となるが、コンピュータや携帯端末などのディスプレイ上の画面中に表示されるものについては十分に光沢を表現することはできていない。
また、一方で、安価なコンピュータも、デザイン性を重視したコンピュータも、性能スペックが高いコンピュータも、オペレーティングシステム(OS)が同じである限り表示される画面に大差はない。そして、それらのインタフェース(例えば、メニューバー,ウィンドウフレーム等)は使いやすくはあるものの、シンプルで味気ないものである。デザインを重視したコンピュータでこういったメニューなどは特に不自然に感じられる。中には見た目にこだわったもの、例えば、一風変わった色や形状のインタフェースを持つアプリケーションや、更に変更もしくは作成(スキンカスタマイズ)できるものも存在する。
しかしそれらは、あらかじめ用意された画像を決められた位置に表示するだけという点では、前述のインタフェースと本質的には変わらない。このような背景からコンピュータや携帯端末などのディスプレイ上の画面全体の装飾性の向上を図ることができる方法やシステムが要望されている。
装飾性が必要とされるもっとも重要な場面として、高級なものや豪華なものであることを示す付加価値というものがある。一般に高級なものや豪華なものとしての装飾には、きれいに磨かれた金属や反射性の高い素材を用いられることが多い。光沢をリアリティに再現することができれば、装飾性の高いディスプレイ上の画面環境を構築できるはずである。実際、ディスプレイ画面上で装飾としてこれらの材質を表現しようとするものも多い。
しかしながら、実際にディスプレイ上の画面上に色情報の集合として反射を再現するのは非常に困難である。すなわち、反射によってできる光沢は、いわば鏡と同じであり、ディスプレイ上に光沢を忠実に再現するならば、ディスプレイ表面に自分の顔や背後の風景が映っていなければならないが、従来のコンピュータや携帯端末では、それら自分の顔や背後の風景の情報を得ることができないのである。
しかしながら、実際にディスプレイ上の画面上に色情報の集合として反射を再現するのは非常に困難である。すなわち、反射によってできる光沢は、いわば鏡と同じであり、ディスプレイ上に光沢を忠実に再現するならば、ディスプレイ表面に自分の顔や背後の風景が映っていなければならないが、従来のコンピュータや携帯端末では、それら自分の顔や背後の風景の情報を得ることができないのである。
従来から、コンピュータのディスプレイ画面上の表現の幅を広げる研究,開発は盛んに行われている。例えば、コンピュータのデスクトップ環境を金色で統一することで、デスクトップ環境を豪華に装飾することができるものがある。しかしながら、このような金属素材をモチーフにしたものは表示の際に、リアルな反射を表現できないという問題がある。これは、金属色を正しく表現するためには周囲の風景を写しこむ必要があるからである。このため通常の色の描画ではリアルな描画には限界があるのである。現実での物体でも強弱の差はあるものの周囲の風景や光源の影響を受けている。ディスプレイ上に表示されるものにリアリティを欠いているのは、この風景や光源の影響を再現できないためである。
また、コンピュータのディスプレイ上で、質感や光沢感まで完全に伝えることができる色再現装置が知られている(例えば、特許文献1参照。)。これは、撮影場所と再現場所が照明器具の形状が異なった場合、対象物における鏡面反射の映り込み状態が変化することに鑑み、対象物を含む画像を取り込むカメラで構成される画像入力装置と、取り込まれた画像をコンピュータに入力し、その画像を再現したモニタ表示画面内で、任意に照明環境を設定して、様々な照明環境下で対象物を3次元的に移動・回転させて所望する方向から観察できるように対象物の画像を変更するものである。
しかし、上記の色再現装置の場合、計算処理が膨大であり、高速・高性能の画像解析コンピュータで処理を行う必要があるといった問題があった。
しかし、上記の色再現装置の場合、計算処理が膨大であり、高速・高性能の画像解析コンピュータで処理を行う必要があるといった問題があった。
本発明は、上記の問題点に鑑み、コンピュータや携帯端末などのディスプレイ上のアイコンやウィンドウ、メニューバーなどの物体(オブジェクト)にあたかも金・銀などの光沢があるかのように見せる方法を提供することを目的とする。
また、光沢があるかのように見せる方法を擬似的かつ低コストに実現できることを目的とする。
また、光沢があるかのように見せる方法を擬似的かつ低コストに実現できることを目的とする。
光沢の本質は、光の映りこみと光の変化である。光沢があるものには、それを観察するユーザや背景が映りこむことがある。映りこみが極端になると鏡面となる。
また、ユーザが動くと光沢の映りこみも変化する。物体が動いても光沢の映りこみが変化する。光源のゆらぎによって、ユーザも物体も静止していたとしても、光沢の映りこみも変化する場合があるかもしれない。
本発明者は、このような光沢の本質を追求し検討する中で、光の映りこみと光の変化という2つの現象を実現することができれば、光沢を擬似的に表現できるのではないかと考え、試行錯誤の上、本発明を完成したものである。
また、ユーザが動くと光沢の映りこみも変化する。物体が動いても光沢の映りこみが変化する。光源のゆらぎによって、ユーザも物体も静止していたとしても、光沢の映りこみも変化する場合があるかもしれない。
本発明者は、このような光沢の本質を追求し検討する中で、光の映りこみと光の変化という2つの現象を実現することができれば、光沢を擬似的に表現できるのではないかと考え、試行錯誤の上、本発明を完成したものである。
上記目的を達成するため、本発明の第1の観点に係るディスプレイ上での光沢表現方法は、
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記頭部位置推定ステップから推定されたユーザの頭部位置から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記頭部位置推定ステップから推定されたユーザの頭部位置から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
また、本発明の第2の観点に係るディスプレイ上での光沢表現方法は、
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
3)前記光源環境推定ステップから推定された光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
3)前記光源環境推定ステップから推定された光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
また、本発明の第3の観点に係るディスプレイ上での光沢表現方法は、
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
4)前記頭部位置推定ステップおよび前記光源環境推定ステップから推定されたユーザの頭部位置と光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
5)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
4)前記頭部位置推定ステップおよび前記光源環境推定ステップから推定されたユーザの頭部位置と光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
5)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させるものである。
ここで、上記の抽出ステップにおいて、表示オブジェクトの光沢面が、表示オブジェクトの周囲の輪郭部位であることが好ましい。ディスプレイは2次元平面であるが、表示しようとするオブジェクトは本来3次元の形状を有するものである。この3次元の形状の場合は、周囲の輪郭部分が光の影響が最も顕著であり、光の映りこみや光の変化が現れる。
したがって、光沢面を表示オブジェクトの周囲の輪郭部位にとることにしたものである。
したがって、光沢面を表示オブジェクトの周囲の輪郭部位にとることにしたものである。
また、上記の光沢表示ステップにおいて、抽出画像そのもの自体を反転処理、色変換処理、若しくは変形処理の中から選択されたいずれかの処理、又は複数の処理を施して光沢面に貼り付け、光沢表現部分の一部に利用することが好ましい。
この変形処理としては、縦や横への引き伸ばし、ボカシ、エッジの強調などの画像の変形方法が挙げられる。
この変形処理としては、縦や横への引き伸ばし、ボカシ、エッジの強調などの画像の変形方法が挙げられる。
また、本発明に係るディスプレイ上での光沢表現方法では、ディスプレイ上の複数の物体(オブジェクト)、あるいはディスプレイ上の物体(オブジェクト)の複数の部位にて光沢表現を利用する場合において、前記光沢表示ステップは個々のプログラムで処理を行い、それ以外のステップは共通して一つのプログラムで処理を行うことを特徴とする。
上述した本発明に係るディスプレイ上での光沢表現方法を実行することを特徴とするプログラムは、様々なアプリケーションのシステムに活用できる。
このディスプレイ上での光沢表現方法を実行することを特徴とするプログラムを搭載した携帯電話の場合、以下のような組み合わせが考えられる。
1)カメラ撮像手段として電話の蓋につけられたカメラを用い、表示ディスプレイとしてサブディスプレイを使用するもの
2)カメラ撮像手段として電話の内側につけられたカメラを用い、表示ディスプレイとしてメインディスプレイを使用するもの
また、コンピュータのディスプレイに取り付けるのカメラ撮像手段としては、USB(Universal Serial Bus)対応のカメラや、IEEE1394対応のカメラや、LAN対応のものも使用できる。
このディスプレイ上での光沢表現方法を実行することを特徴とするプログラムを搭載した携帯電話の場合、以下のような組み合わせが考えられる。
1)カメラ撮像手段として電話の蓋につけられたカメラを用い、表示ディスプレイとしてサブディスプレイを使用するもの
2)カメラ撮像手段として電話の内側につけられたカメラを用い、表示ディスプレイとしてメインディスプレイを使用するもの
また、コンピュータのディスプレイに取り付けるのカメラ撮像手段としては、USB(Universal Serial Bus)対応のカメラや、IEEE1394対応のカメラや、LAN対応のものも使用できる。
本発明に係るディスプレイ上での光沢表現方法によれば、リアルな光沢を表現することができ、光沢表現を、メニュー、ウィンドウのフレーム、アイコン、ポインタなどに利用できるといった効果がある。また、アプリケーションのタイトルバー,メニューバーへの光沢オブジェクトの描画だけでなく、インターネットエクスプローラなど通常のアプリケーションのタイトルバーやメニューバーの表示の代わりに光沢面の描画できるといった効果がある。
また、大規模な装置を使う必要がなく、USBカメラを取り付けたディスプレイやカメラ付携帯電話等のハードウェア構成で、リアルな光沢を表現することができるといった効果がある。
また、大規模な装置を使う必要がなく、USBカメラを取り付けたディスプレイやカメラ付携帯電話等のハードウェア構成で、リアルな光沢を表現することができるといった効果がある。
以下、図面を参照しつつ、本発明に係るディスプレイ上での光沢表現方法の実施例を説明する。
本実施例1ではUSBカメラを用い、ディスプレイ画面上に周囲の風景が映りこむデスクトップ環境を形成するためのシステムを構築した。図1に、本実施例1のシステムの使用時のシステム概略構成図を示す。
カメラ画像をコンピュータ周囲の風景とし、デスクトップ上の物体がその風景からの影響を受けることが出来るようにすることで、物体にリアリティを与えている。この物体を自由に扱えるようにすることでコンピュータデスクトップ上の装飾性の向上を図ることが可能となる。
カメラ画像をコンピュータ周囲の風景とし、デスクトップ上の物体がその風景からの影響を受けることが出来るようにすることで、物体にリアリティを与えている。この物体を自由に扱えるようにすることでコンピュータデスクトップ上の装飾性の向上を図ることが可能となる。
また、この光沢を持った物体は自在に形を変化させることができ、これを使ってアプリケーションのフレーム部などを形成することできるようにしている。また複数のプロセスから1つのカメラへ間接的なアクセスを可能にするため共有メモリ空間を使ったサーバ・クライアント型の構造としている。このシステムではサーバとなるアプリケーションは常に一つだけが稼動し、ただ一つのカメラに接続することとしている。クライアントは、仮想的な光沢を表示するためのもので、光沢を持つ物体一つにつき一つ存在することになる。図2に、本実施例1のシステムのサーバ・クライアント型の構造図を示す。
(サーバ機能)
サーバは、1つしかないカメラに接続し、そのカメラ画像を共有することを基本的な機能としている。それに加えて、システム全体で共通の処理を一括で行うことで、システム全体の処理時間を短縮している。ここで、共通の処理とは、カメラ画像からのシステム使用者の頭部位置の検索処理、後の処理の軽量化のためのカメラ画像のリサイズ処理などである。
システム使用者の顔などの頭部の位置は、クライアントが光沢を表現するとき、有用な情報である。サーバは、画像のデータ,頭部の位置情報などをクライアント間で共有される共有メモリに書き込むことでデータのやり取りを行うのである。
以上の動作を一定間隔(例えば、1秒間隔)で繰り返し行うことで、クライアント側に常に最新のデータを提供することとしている。
サーバは、1つしかないカメラに接続し、そのカメラ画像を共有することを基本的な機能としている。それに加えて、システム全体で共通の処理を一括で行うことで、システム全体の処理時間を短縮している。ここで、共通の処理とは、カメラ画像からのシステム使用者の頭部位置の検索処理、後の処理の軽量化のためのカメラ画像のリサイズ処理などである。
システム使用者の顔などの頭部の位置は、クライアントが光沢を表現するとき、有用な情報である。サーバは、画像のデータ,頭部の位置情報などをクライアント間で共有される共有メモリに書き込むことでデータのやり取りを行うのである。
以上の動作を一定間隔(例えば、1秒間隔)で繰り返し行うことで、クライアント側に常に最新のデータを提供することとしている。
(クライアント機能)
クライアントは、画面に実際に描画を行う部分(プログラム)である。クライアントは1つにつき一つの光沢部を表示する。クライアントは複数同時に動作可能で、更に一つのアプリケーションの中でも複数のクライアントを動作させることもできる。
それぞれのクライアントは、サーバから与えられた情報を元に、まったく別の動作を行うことが可能である。これにより一つのアプリケーション内で、フレーム部分やいくつかのボタンなどをそれぞれ別の特性(形,色など)を持った光沢の表示を行うことができることとなる。
クライアントは、画面に実際に描画を行う部分(プログラム)である。クライアントは1つにつき一つの光沢部を表示する。クライアントは複数同時に動作可能で、更に一つのアプリケーションの中でも複数のクライアントを動作させることもできる。
それぞれのクライアントは、サーバから与えられた情報を元に、まったく別の動作を行うことが可能である。これにより一つのアプリケーション内で、フレーム部分やいくつかのボタンなどをそれぞれ別の特性(形,色など)を持った光沢の表示を行うことができることとなる。
[サーバ処理]
次に、サーバの処理フローについて順をおって説明する。図3に、サーバの処理フロー図を示す。
次に、サーバの処理フローについて順をおって説明する。図3に、サーバの処理フロー図を示す。
(サーバの初期化処理)
コンピュータのOSなどから起動されたサーバは、先ずカメラとの接続処理を行う。カメラからのキャプチャやそれに伴う画像処理は、オープンソースのライブラリを用いて作成している。かかる処理の詳細説明は割愛する。
コンピュータのOSなどから起動されたサーバは、先ずカメラとの接続処理を行う。カメラからのキャプチャやそれに伴う画像処理は、オープンソースのライブラリを用いて作成している。かかる処理の詳細説明は割愛する。
(使用者の頭部の位置の検索処理)
システム使用者の顔などの頭部の位置を検索する方法としては、既に多くの方法が知られており、今回は汎用のライブラリから提供されている関数を用いることとした。これは目的の画像内から特定のパターンを持つ領域を高速に検出する関数で、パターンとして人の顔を用いることで顔の検出を行うことができるものである。
システム使用者の顔などの頭部の位置を検索する方法としては、既に多くの方法が知られており、今回は汎用のライブラリから提供されている関数を用いることとした。これは目的の画像内から特定のパターンを持つ領域を高速に検出する関数で、パターンとして人の顔を用いることで顔の検出を行うことができるものである。
本実施例1のシステムでは、さらに高速な顔検出を行うため、この関数に与えるパラメータの最適化を行っている。この関数は画像上で小さなパターンから大きなパターンへと照合を行っている。本実施例1のシステムでは、使用者の顔の位置は常にカメラのある程度近くに存在することが分かっているので、照合を開始する大きさをある程度大きくすることで小さな部分の検索を省略でき、更に高速な検索を行うことに成功した。
この処理を行うことでカメラから見た顔の位置への向きが測定でき、また、通常カメラの位置と顔自体の大きさは変化しないので、検出された顔の大きさからカメラからの距離が測定できることとなる。
この処理を行うことでカメラから見た顔の位置への向きが測定でき、また、通常カメラの位置と顔自体の大きさは変化しないので、検出された顔の大きさからカメラからの距離が測定できることとなる。
この顔の位置への方向と距離から、カメラからみた顔の位置を大まかに特定することができる。しかしながら、ディスプレイ,カメラ,使用者の顔,それぞれの位置関係は一定ではないという問題がある。すなわち、USBカメラをディスプレイの横に置いた場合と、上に乗せた場合では、顔の位置が同じでも、カメラに映し出される顔の位置は変わるのである。この誤差を解消する為、顔の位置のカメラから見たローカルな座標を、ディスプレイ基準のローカル座標に変換する必要があった。この変換のためには、カメラとディスプレイそれぞれの位置と向きを知る必要があるため、これらの情報はユーザが直接入力を行うこととした。
具体的には、図4に示されるように、点をドラッグすることで位置を調節できるウィンドウを用意し、顔の位置のカメラから見たローカルな座標をディスプレイ基準のローカル座標に変換するために必要な情報(カメラとディスプレイそれぞれの位置と向き)を得ることにしたのである。
具体的には、図4に示されるように、点をドラッグすることで位置を調節できるウィンドウを用意し、顔の位置のカメラから見たローカルな座標をディスプレイ基準のローカル座標に変換するために必要な情報(カメラとディスプレイそれぞれの位置と向き)を得ることにしたのである。
(リサイズ処理)
キャプチャした画像は、そのままクライアントに渡すと画像サイズが大きすぎることが多い。全体での処理をできるだけ少なくするためにクライアントに送る画像はあらかじめ縮小したものを用意した。縮小のための関数は汎用ライブラリを利用した。
キャプチャした画像は、そのままクライアントに渡すと画像サイズが大きすぎることが多い。全体での処理をできるだけ少なくするためにクライアントに送る画像はあらかじめ縮小したものを用意した。縮小のための関数は汎用ライブラリを利用した。
(共有メモリ)
サーバは、共有メモリを通じてクライアントが動作するために必要な全ての情報を共有する(キャプチャ画像,顔の位置など)。
実施例1のシステムでは、クライアントに渡す全データを二つの共有メモリに分けて格納することにしている。
一つは画像データを格納する共有メモリである。画像の実データは1バイトで、要素の数が画像の幅×高さ×チャンネル数の配列として記録されている。
もう一つはその他の必要な情報をひとつの構造体にまとめたもので、共有する画像サイズ,画像の幅,画像の高さ,画像のチャンネル数(RGBの場合は3),カメラの位置,カメラの向き,カメラの視野角(縦方向),カメラの視野角(横方向),ディスプレイの位置,ディスプレイの向き,使用者の顔の位置,使用者の顔の向きの情報が記録されている。
サーバは、共有メモリを通じてクライアントが動作するために必要な全ての情報を共有する(キャプチャ画像,顔の位置など)。
実施例1のシステムでは、クライアントに渡す全データを二つの共有メモリに分けて格納することにしている。
一つは画像データを格納する共有メモリである。画像の実データは1バイトで、要素の数が画像の幅×高さ×チャンネル数の配列として記録されている。
もう一つはその他の必要な情報をひとつの構造体にまとめたもので、共有する画像サイズ,画像の幅,画像の高さ,画像のチャンネル数(RGBの場合は3),カメラの位置,カメラの向き,カメラの視野角(縦方向),カメラの視野角(横方向),ディスプレイの位置,ディスプレイの向き,使用者の顔の位置,使用者の顔の向きの情報が記録されている。
[クライアント処理]
クライアントは基本的には描画を行うだけである。また描画方法もWindows(登録商標)を使った描画を行っても、それ以外の方法で描画しても表示可能であり、また他のクライアントやサーバに影響を与えることもない。クライアントとして最低限必要な規則は、共有したキャプチャ画像の使用法だけである。クライアントは、まず共有メモリに格納されている情報から画像の幅,画像のチャンネル数,画像サイズを取得する必要がある。
クライアント側が画像を表示する準備として共有している画像の画像の幅,画像のチャンネル数,画像サイズがないと正しく表示することができない。
クライアントは基本的には描画を行うだけである。また描画方法もWindows(登録商標)を使った描画を行っても、それ以外の方法で描画しても表示可能であり、また他のクライアントやサーバに影響を与えることもない。クライアントとして最低限必要な規則は、共有したキャプチャ画像の使用法だけである。クライアントは、まず共有メモリに格納されている情報から画像の幅,画像のチャンネル数,画像サイズを取得する必要がある。
クライアント側が画像を表示する準備として共有している画像の画像の幅,画像のチャンネル数,画像サイズがないと正しく表示することができない。
また、共有メモリに格納されている画像データを取り出す際のサイズ(画像サイズ)が分からないとそもそも共有メモリから画像のデータを正しく取り出すことが出来ない。先ほどクライアントは画像を表示するだけと述べたが、実際にはそれだけでさまざまな状況での光沢を描画することは難しい。ディスプレイは平面だがほとんどの場合、3次元的な物体を投影したものを表示しているため内部的な計算も3次元で行う必要がある。これを実現するために3次元のグラフィックスライブラリを利用する。この3次元のグラフィックスライブラリを用いてクライアントを拡張することでより多彩な表現を行うことができることとなる。以下では、クライアントの例を説明する。
(クライアントの初期化処理)
クライアントはまず雛形となる画像を読み込む。この画像は8bit(256段階)のグレースケール画像で、明るさ=高さ(明るいほど高い)となる。x,yは画像上の座標に準拠することで、3次元座標の集合として捉え、この頂点群を繋ぎ合わせることで3次元的なオブジェクトを生成することができる。
また、明るさ(高さ)が0の部分は切り抜かれて、背景が透過して表示される。例えば、図5に示されるようなベースとなるビットマップファイル画像を読み込んだ場合、図6のような色に応じた高さを持つ3次元オブジェクトが作成されるのである。
このようにして作成したポリゴンベースのオブジェクトを表示に使用する。
クライアントはまず雛形となる画像を読み込む。この画像は8bit(256段階)のグレースケール画像で、明るさ=高さ(明るいほど高い)となる。x,yは画像上の座標に準拠することで、3次元座標の集合として捉え、この頂点群を繋ぎ合わせることで3次元的なオブジェクトを生成することができる。
また、明るさ(高さ)が0の部分は切り抜かれて、背景が透過して表示される。例えば、図5に示されるようなベースとなるビットマップファイル画像を読み込んだ場合、図6のような色に応じた高さを持つ3次元オブジェクトが作成されるのである。
このようにして作成したポリゴンベースのオブジェクトを表示に使用する。
(法線の向き)
一般に、光源に対して垂直な面ほど明るく表示されるが、頂点を決定しただけでは面の向き(法線)は未定義なので面の明暗を識別できない。従って、個々の面における法線を計算により求める。
図7は、法線を未定義のまま表示したオブジェクトの描画を示す。
一般に、光源に対して垂直な面ほど明るく表示されるが、頂点を決定しただけでは面の向き(法線)は未定義なので面の明暗を識別できない。従って、個々の面における法線を計算により求める。
図7は、法線を未定義のまま表示したオブジェクトの描画を示す。
(環境マッピング処理)
次に、上記の処理で作成したオブジェクトの表面に周囲の風景を写し込むために、カメラで撮影した風景をテクスチャとして張り付けることとしている。
本実施例1のシステムでは、オブジェクトの法線の向きによって風景のどの部分を映し込むか決定する環境マッピング処理(スフィアマッピング)をという手法を用いている。
本来スフィアマッピングに用いるテクスチャは球面鏡で反射した画像をテクスチャとして使用するが、視線に対して垂直に近いディスプレイ面では通常の画像でもある程度の近似ができるのでテクスチャとして使用している。図8に、本来のスフィアマッピングの表示を、また、図9に本実施例1に用いている近似的なモデルを示す。
次に、上記の処理で作成したオブジェクトの表面に周囲の風景を写し込むために、カメラで撮影した風景をテクスチャとして張り付けることとしている。
本実施例1のシステムでは、オブジェクトの法線の向きによって風景のどの部分を映し込むか決定する環境マッピング処理(スフィアマッピング)をという手法を用いている。
本来スフィアマッピングに用いるテクスチャは球面鏡で反射した画像をテクスチャとして使用するが、視線に対して垂直に近いディスプレイ面では通常の画像でもある程度の近似ができるのでテクスチャとして使用している。図8に、本来のスフィアマッピングの表示を、また、図9に本実施例1に用いている近似的なモデルを示す。
上述の処理を行うと図10のような金属光沢部を有するオブジェクトに描画される。
金属光沢部が表示画像にうまく表現されているのが理解できよう。
図11−1,図11−2に、上述したクライアントの処理フロー図を示す。
また図12に、ディスプレイ上での光沢表現方法を実行することを特徴とするプログラムを搭載した携帯電話のメインディスプレイの表示例を示す。この場合は、携帯電話の内側につけられたカメラから、操作者の頭部や風景を撮影し、それを本発明の光沢表現方法を用いて、携帯電話のメインディスプレイに表示させたものである。
以上、本発明の好ましい実施形態を図示して説明してきたが、本発明の技術的範囲を逸脱することなく種々の変更が可能であることは理解されるであろう。
金属光沢部が表示画像にうまく表現されているのが理解できよう。
図11−1,図11−2に、上述したクライアントの処理フロー図を示す。
また図12に、ディスプレイ上での光沢表現方法を実行することを特徴とするプログラムを搭載した携帯電話のメインディスプレイの表示例を示す。この場合は、携帯電話の内側につけられたカメラから、操作者の頭部や風景を撮影し、それを本発明の光沢表現方法を用いて、携帯電話のメインディスプレイに表示させたものである。
以上、本発明の好ましい実施形態を図示して説明してきたが、本発明の技術的範囲を逸脱することなく種々の変更が可能であることは理解されるであろう。
(性能評価)
本実施例1のシステム使用によるコンピュータへの負荷を調べるため、サーバプログラムの負荷を調べた。経験的に,タイマ関数の待機時間によってCPUへの負荷が大幅に変わることが分かっているので、いくつかの待機時間のパターンでCPU使用率を測定した。測定には、Pentium(登録商標)41.80GHz,メモリ1.50GBのマシンを使用した。
測定ではほぼ400ms周期でサーバの動作を行うと、CPU使用率が100%なり処理の限界を迎える。これ以降は周期を短くしても処理速度の改善は見られなかった。
また当然のことであるが待機時間を長くすることで、サーバのCPU使用率はかなり下げることができる。更新周期750ms以上ではCPU使用率も50%を上回ることもなく実用上ほとんど問題なく使用可能であることが理解できる。
本実施例1のシステム使用によるコンピュータへの負荷を調べるため、サーバプログラムの負荷を調べた。経験的に,タイマ関数の待機時間によってCPUへの負荷が大幅に変わることが分かっているので、いくつかの待機時間のパターンでCPU使用率を測定した。測定には、Pentium(登録商標)41.80GHz,メモリ1.50GBのマシンを使用した。
測定ではほぼ400ms周期でサーバの動作を行うと、CPU使用率が100%なり処理の限界を迎える。これ以降は周期を短くしても処理速度の改善は見られなかった。
また当然のことであるが待機時間を長くすることで、サーバのCPU使用率はかなり下げることができる。更新周期750ms以上ではCPU使用率も50%を上回ることもなく実用上ほとんど問題なく使用可能であることが理解できる。
本発明に係るディスプレイ上での光沢表現方法は、高級カーナビ、高級インテリアとしてのコンピュータのディスプレイ、来客向け案内システム、デザインツール(お絵かきソフト)などの用途において利用することができる。
また、光沢表現を、メニュー、ウィンドウのフレーム、アイコン、ポインタなどに利用できる。
さらに、金属や液体表面に生じる微妙な反射も表現することができる、更にリアリティを持ったスクリーンセーバや携帯電話の待ち受け画面としても利用することができる。
また、光沢表現を、メニュー、ウィンドウのフレーム、アイコン、ポインタなどに利用できる。
さらに、金属や液体表面に生じる微妙な反射も表現することができる、更にリアリティを持ったスクリーンセーバや携帯電話の待ち受け画面としても利用することができる。
1 ディスプレイ上での光沢表現方法を実行するプログラムを搭載した携帯電話
Claims (8)
- コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記頭部位置推定ステップから推定されたユーザの頭部位置から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させることを特徴とするディスプレイ上での光沢表現方法。 - コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
3)前記光源環境推定ステップから推定された光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
4)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させることを特徴とするディスプレイ上での光沢表現方法。 - コンピュータや携帯端末のディスプレイ上の物体(オブジェクト)の表示方法において、
1)ディスプレイ上に設けられたカメラ撮像手段を用いて、ユーザの頭部を含む風景のカメラ映像を取得する映像取得ステップと、
2)前記映像取得ステップから得られたカメラ映像からユーザの頭部位置(カメラからの向きと距離)を推定する頭部位置推定ステップと、
3)前記映像取得ステップから得られたカメラ映像から光源の方向および量を推定する光源環境推定ステップと、
4)前記頭部位置推定ステップおよび前記光源環境推定ステップから推定されたユーザの頭部位置と光源の方向および量から風景画像の中から光沢として映りこむ部分を抽出する抽出ステップと、
5)ディスプレイ画面上において、表示オブジェクトの光沢面に、前記抽出ステップから得られた抽出画像を貼り付けて表示させる光沢表示ステップと、
を備えることにより、ユーザに対して光沢があるかのように表示オブジェクトを擬似的に表示させることを特徴とするディスプレイ上での光沢表現方法。 - 前記抽出ステップにおいて、前記表示オブジェクトの光沢面が、表示オブジェクトの周囲の輪郭部位であることを特徴とする請求項1乃至3のいずれか1項に記載のディスプレイ上での光沢表現方法。
- 前記光沢表示ステップにおいて、前記抽出画像そのもの自体を反転処理、色変換処理、若しくは変形処理の中から選択されたいずれかの処理、又は複数の処理を施して光沢面に貼り付け、光沢表現部分の一部に利用することを特徴とする請求項1乃至3のいずれか1項に記載のディスプレイ上での光沢表現方法。
- ディスプレイ上の複数の物体(オブジェクト)、あるいはディスプレイ上の物体(オブジェクト)の複数の部位にて光沢表現を利用する場合において、前記光沢表示ステップは個々のプログラムで処理を行い、それ以外のステップは共通して一つのプログラムで処理を行うことを特徴とする請求項1乃至5のいずれか1項に記載のディスプレイ上での光沢表現方法。
- 前記請求項1乃至6のいずれか1項に記載のディスプレイ上での光沢表現方法を実行することを特徴とするプログラム。
- 前記請求項1乃至6のいずれか1項に記載のディスプレイ上での光沢表現方法を実行することを特徴とするプログラムを搭載した携帯電話。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006054814A JP4710016B2 (ja) | 2006-03-01 | 2006-03-01 | ディスプレイ上での光沢表現方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006054814A JP4710016B2 (ja) | 2006-03-01 | 2006-03-01 | ディスプレイ上での光沢表現方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007233701A JP2007233701A (ja) | 2007-09-13 |
JP4710016B2 true JP4710016B2 (ja) | 2011-06-29 |
Family
ID=38554235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006054814A Active JP4710016B2 (ja) | 2006-03-01 | 2006-03-01 | ディスプレイ上での光沢表現方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4710016B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5092738B2 (ja) * | 2007-12-26 | 2012-12-05 | ソニー株式会社 | 画像処理装置及び方法、並びにプログラム |
JP5762015B2 (ja) | 2011-01-27 | 2015-08-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US8780108B2 (en) * | 2011-11-02 | 2014-07-15 | X-Rite Switzerland GmbH | Apparatus, systems and methods for simulating a material |
JP2015011380A (ja) * | 2013-06-26 | 2015-01-19 | 株式会社デンソー | 画像生成装置 |
JP5966124B2 (ja) * | 2014-05-26 | 2016-08-10 | 株式会社ユピテル | 車載用電子機器 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007018173A (ja) * | 2005-07-06 | 2007-01-25 | Canon Inc | 画像処理方法、画像処理装置 |
-
2006
- 2006-03-01 JP JP2006054814A patent/JP4710016B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007018173A (ja) * | 2005-07-06 | 2007-01-25 | Canon Inc | 画像処理方法、画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007233701A (ja) | 2007-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10274735B2 (en) | Systems and methods for processing a 2D video | |
EP2147412B1 (en) | 3d object scanning using video camera and tv monitor | |
US8766997B1 (en) | Side-by-side and synchronized displays for three-dimensional (3D) object data models | |
US11645818B2 (en) | Virtual item placement system | |
EP2879097A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
US11783556B2 (en) | Augmented reality content generators including 3D data in a messaging system | |
US11790621B2 (en) | Procedurally generating augmented reality content generators | |
US20230085468A1 (en) | Advanced Automatic Rig Creation Processes | |
US20190026935A1 (en) | Method and system for providing virtual reality experience based on ultrasound data | |
JP4710016B2 (ja) | ディスプレイ上での光沢表現方法 | |
US11132842B2 (en) | Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device | |
WO2021042134A1 (en) | Generating 3d data in a messaging system | |
US11748966B2 (en) | Virtual paper | |
CN115022614A (zh) | 用于照明插入内容的方法、系统和介质 | |
EP3312803A1 (en) | Image processing system, method and program | |
JP2010211732A (ja) | 物体認識装置および方法 | |
US20190066366A1 (en) | Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting | |
JP2017016166A (ja) | 画像処理装置及び画像処理方法 | |
Darling et al. | Tangible display systems: direct interfaces for computer-based studies of surface appearance | |
US20240135555A1 (en) | 3d space carving using hands for object capture | |
JP7463697B2 (ja) | 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム | |
JP2003067775A (ja) | テクスチャマッピング方法、テクスチャマッピング処理プログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体 | |
Eilertsen et al. | A versatile material reflectance measurement system for use in production | |
WO2024050460A1 (en) | 3d space carving using hands for object capture | |
WO2024072550A1 (en) | 3d garment generation from 2d scribble images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |