JP5279078B2 - 画像撮影・表示方法、画像撮影・表示装置、およびプログラム - Google Patents
画像撮影・表示方法、画像撮影・表示装置、およびプログラム Download PDFInfo
- Publication number
- JP5279078B2 JP5279078B2 JP2009058702A JP2009058702A JP5279078B2 JP 5279078 B2 JP5279078 B2 JP 5279078B2 JP 2009058702 A JP2009058702 A JP 2009058702A JP 2009058702 A JP2009058702 A JP 2009058702A JP 5279078 B2 JP5279078 B2 JP 5279078B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- photographing
- color
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、画像撮影・表示方法、画像撮影・表示装置、プログラムおよび記録媒体に係わり、特に、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示する技術に関する。
ネットショッピングやカタログ、遠隔会議においては、商品サンプルや試作品など、実物体のイメージを高いクオリティで記録・再生したり、遠隔地間で共有をすることが求められている。
その際、多くの既存装置は撮影手段と表示手段が別々の構成になっており、利用者にとって手軽な構成ではなかった。また、被写体を際だたせ、クオリティの高い画像を撮影・表示するには、単一色の背景の前に被写体を配置し、撮影する必要があるため、手間がかかっていた。
また、立体的に物体を表示し、多人数での協調作業を可能にする装置もあるが（下記、非特許文献１参照）、被写体のＣＧモデルをあらかじめ作っておく必要があった。このように、手軽に実物体の高品位な立体映像を撮影し、表示する方法・装置がなかった。
その際、多くの既存装置は撮影手段と表示手段が別々の構成になっており、利用者にとって手軽な構成ではなかった。また、被写体を際だたせ、クオリティの高い画像を撮影・表示するには、単一色の背景の前に被写体を配置し、撮影する必要があるため、手間がかかっていた。
また、立体的に物体を表示し、多人数での協調作業を可能にする装置もあるが（下記、非特許文献１参照）、被写体のＣＧモデルをあらかじめ作っておく必要があった。このように、手軽に実物体の高品位な立体映像を撮影し、表示する方法・装置がなかった。
Kitamura, Y. et al.,"Interactive stereoscopic display for three or more users",Proc. of SIGGRAPH, pp.231-239, 2001.
ネットショッピングやカタログ、遠隔会議においては、商品サンプルや試作品など、実物体のイメージを高いクオリティで記録・再生したり、遠隔地間で共有をすることが求められているが、前述したように、従来の装置では、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示することが困難であった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示することができる画像撮影・表示方法、並びに画像撮影・表示装置を提供することにある。
また、本発明の他の目的は、前述の画像撮影・表示方法をコンピュータに実行させるプログラムと、当該プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示することができる画像撮影・表示方法、並びに画像撮影・表示装置を提供することにある。
また、本発明の他の目的は、前述の画像撮影・表示方法をコンピュータに実行させるプログラムと、当該プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）画像表示手段と、撮影手段とを有する画像撮影・表示装置における画像撮影・表示方法であって、前記画像表示手段の手前に配置された被写体を撮影するステップ１と、前記ステップ１で撮影した画像の色の分布に応じて、前記画像表示手段に表示する背景画像を決定するステップ２と、前記ステップ２で決定した背景画像を前記画像表示手段に表示するステップ３と、前記画像表示手段に前記背景画像を表示した状態において、前記画像表示手段の手前に配置された被写体を撮影するステップ４と、前記ステップ４で撮影された画像から前記被写体が映っている被写体領域を判別するステップ５と、前記ステップ５での判別結果に基づき、前記撮影手段で撮影された画像から前記被写体の画像を抽出し、前記画像表示手段に表示する合成画像を生成するステップ６と、前記ステップ６で生成した合成画像を前記画像表示手段に表示するステップ７とを有し、前記ステップ２は、前記ステップ１で撮影した画像全体をいくつかの小領域に区切り、小領域を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選択するステップ２１と、小領域の代表的な位置を制御点として、当該制御点の色を前記代表色に決定するステップ２２と、前記制御点以外の色を制御点の線形補完により決定し、模様のある画像を生成するステップ２３と、前記ステップ２３で生成した模様のある画像を、前記背景画像として決定するステップ２４とを有する。
（１）画像表示手段と、撮影手段とを有する画像撮影・表示装置における画像撮影・表示方法であって、前記画像表示手段の手前に配置された被写体を撮影するステップ１と、前記ステップ１で撮影した画像の色の分布に応じて、前記画像表示手段に表示する背景画像を決定するステップ２と、前記ステップ２で決定した背景画像を前記画像表示手段に表示するステップ３と、前記画像表示手段に前記背景画像を表示した状態において、前記画像表示手段の手前に配置された被写体を撮影するステップ４と、前記ステップ４で撮影された画像から前記被写体が映っている被写体領域を判別するステップ５と、前記ステップ５での判別結果に基づき、前記撮影手段で撮影された画像から前記被写体の画像を抽出し、前記画像表示手段に表示する合成画像を生成するステップ６と、前記ステップ６で生成した合成画像を前記画像表示手段に表示するステップ７とを有し、前記ステップ２は、前記ステップ１で撮影した画像全体をいくつかの小領域に区切り、小領域を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選択するステップ２１と、小領域の代表的な位置を制御点として、当該制御点の色を前記代表色に決定するステップ２２と、前記制御点以外の色を制御点の線形補完により決定し、模様のある画像を生成するステップ２３と、前記ステップ２３で生成した模様のある画像を、前記背景画像として決定するステップ２４とを有する。
（２）画像表示手段と、撮影手段とを有する画像撮影・表示装置であって、前記画像表示手段の手前に配置された被写体を、前記撮影手段で撮影した画像１の色の分布に応じて、前記画像表示手段に表示する背景画像を生成する背景画像生成手段と、前記画像表示手段に、前記背景画像生成手段で生成された前記背景画像を表示した状態において、前記画像表示手段の手前に配置された被写体を、前記撮影手段で撮影した画像２から前記被写体が映っている被写体領域を判別する被写体判別手段と、前記被写体判別手段での判別結果に基づき、前記画像２から前記被写体の画像を抽出し、前記画像表示手段に表示する合成画像を生成する画像合成手段とを有し、前記背景画像生成手段は、前記画像１の全体をいくつかの小領域に区切り、小領域を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選択する手段１と、小領域の代表的な位置を制御点として、当該制御点の色を前記代表色に決定する手段２と、前記制御点以外の色を制御点の線形補完により決定し、模様のある画像を生成する手段３と、前記手段３で生成した模様のある画像を、前記背景画像として決定する手段４とを有する。
（３）前述の（１）に記載の画像撮影・表示方法を、コンピュータに実行させるためのプログラムである。
（３）前述の（１）に記載の画像撮影・表示方法を、コンピュータに実行させるためのプログラムである。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示することが可能となる。
本発明によれば、簡易な装置構成により、クオリティの高い実物体の画像を撮影・表示することが可能となる。
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［実施例１］
図１、図２は、本発明の実施例１の画像撮影・表示装置を説明するための図である。図１、図２において、１０は被写体、１００は利用者、４００は処理装置、４０１は撮影手段（カメラやスキャナ）、４０５は画像表示手段（ディスプレイ）である。
本実施例の画像撮影・表示装置は、撮影手段４０１と画像表示手段４０５とを有する撮影・表示一体型の装置である。
本実施例では、図１に示すように、画像表示手段４０５に背景画像を表示した状態で、被写体１０を画像表示手段４０５の手前に配置し、撮影手段４０１で被写体１０を撮影する。そして、被写体１０と既知の背景画像とを判別することで被写体１０の写っている領域のみを抽出する。また、図２に示すように、画像合成処理を施した画像（以下、合成画像）を、画像表示手段４０５に表示する。
なお、図１では、画像表示手段４０５に表示する背景画像は、単一色（ブルーバック等）の画像であり、また、図２では、画像表示手段４０５に表示する合成画像は、被写体１０の画像と、予め用意しておいた別の背景画像とを合成した画像である。
このように、本実施例の画像撮影・表示装置は、撮影と表示が一体となった装置であるため、画像表示手段４０５を利用者１００への映像表示に用いることができるとともに、撮影時の背景として用いることが出来る。
さらに、本実施例の画像撮影・表示装置を、２つ以上使用し、ネットワークを介して接続することにより、撮影と表示が可能な双方向の画像通信機器として用いることができる。これにより、被写体１０の画像をそれぞれの画像撮影・表示装置で表示することが可能となる。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［実施例１］
図１、図２は、本発明の実施例１の画像撮影・表示装置を説明するための図である。図１、図２において、１０は被写体、１００は利用者、４００は処理装置、４０１は撮影手段（カメラやスキャナ）、４０５は画像表示手段（ディスプレイ）である。
本実施例の画像撮影・表示装置は、撮影手段４０１と画像表示手段４０５とを有する撮影・表示一体型の装置である。
本実施例では、図１に示すように、画像表示手段４０５に背景画像を表示した状態で、被写体１０を画像表示手段４０５の手前に配置し、撮影手段４０１で被写体１０を撮影する。そして、被写体１０と既知の背景画像とを判別することで被写体１０の写っている領域のみを抽出する。また、図２に示すように、画像合成処理を施した画像（以下、合成画像）を、画像表示手段４０５に表示する。
なお、図１では、画像表示手段４０５に表示する背景画像は、単一色（ブルーバック等）の画像であり、また、図２では、画像表示手段４０５に表示する合成画像は、被写体１０の画像と、予め用意しておいた別の背景画像とを合成した画像である。
このように、本実施例の画像撮影・表示装置は、撮影と表示が一体となった装置であるため、画像表示手段４０５を利用者１００への映像表示に用いることができるとともに、撮影時の背景として用いることが出来る。
さらに、本実施例の画像撮影・表示装置を、２つ以上使用し、ネットワークを介して接続することにより、撮影と表示が可能な双方向の画像通信機器として用いることができる。これにより、被写体１０の画像をそれぞれの画像撮影・表示装置で表示することが可能となる。
図３は、本発明の実施例１の画像撮影・表示方法の処理手順を示すフローチャートである。以下、図３を用いて、本実施例の画像撮影・表示方法の処理手順について説明する。
初めに、ステップ３０２において、背景画像を生成する。背景画像としては、前述したように、単一色（ブルーバック等）の画像や、グラデーションパターンの画像などがある。背景画像は、利用者１００により被写体に応じて選択・生成することができる。
次に、ステップ３０３において、画像表示手段４０５に背景画像を表示する。
次に、ステップ３０４において、画像表示手段４０５に背景画像を表示した状態で、撮影手段４０１で被写体１０を撮影する。ここで、撮影する被写体１０の画像は、静止画像であっても、動画像であってもよい。
次に、ステップ３０５において、撮影した画像の中で被写体１０が写っている領域を判別する。判別の方法としては、既知の背景画像にない特徴を被写体とすることができる。例えば、青色の成分しかないブルーバックを背景画像として用いた場合、青色成分以外の画素が被写体と判別できる。また、被写体を配置する前の背景画像を撮影しておき、被写体を配置後の撮影画像との差分をとることで被写体の領域を判別することもできる。
次に、ステップ３０６において、表示する合成画像を生成する。この合成画像としては、ステップ３０５で撮影した画像の中から、被写体１０の画像だけを抽出し、あらかじめ用意した別画像に合成する方法などがある。あらかじめ用意する別画像は、実写画像であってもよいし、ＣＧで作成したものでもよい。あらかじめ用意する別画像としては、風景やフォトフレーム等が考えられる。
このように、本実施例では、撮影した画像中の被写体１０の領域のみを抽出することができるため、画像処理を施して高品位な画像を表示することが可能となる。
最後に、ステップ３０７において、画像表示手段４０５に合成画像を表示し、利用者１００に表示する。
初めに、ステップ３０２において、背景画像を生成する。背景画像としては、前述したように、単一色（ブルーバック等）の画像や、グラデーションパターンの画像などがある。背景画像は、利用者１００により被写体に応じて選択・生成することができる。
次に、ステップ３０３において、画像表示手段４０５に背景画像を表示する。
次に、ステップ３０４において、画像表示手段４０５に背景画像を表示した状態で、撮影手段４０１で被写体１０を撮影する。ここで、撮影する被写体１０の画像は、静止画像であっても、動画像であってもよい。
次に、ステップ３０５において、撮影した画像の中で被写体１０が写っている領域を判別する。判別の方法としては、既知の背景画像にない特徴を被写体とすることができる。例えば、青色の成分しかないブルーバックを背景画像として用いた場合、青色成分以外の画素が被写体と判別できる。また、被写体を配置する前の背景画像を撮影しておき、被写体を配置後の撮影画像との差分をとることで被写体の領域を判別することもできる。
次に、ステップ３０６において、表示する合成画像を生成する。この合成画像としては、ステップ３０５で撮影した画像の中から、被写体１０の画像だけを抽出し、あらかじめ用意した別画像に合成する方法などがある。あらかじめ用意する別画像は、実写画像であってもよいし、ＣＧで作成したものでもよい。あらかじめ用意する別画像としては、風景やフォトフレーム等が考えられる。
このように、本実施例では、撮影した画像中の被写体１０の領域のみを抽出することができるため、画像処理を施して高品位な画像を表示することが可能となる。
最後に、ステップ３０７において、画像表示手段４０５に合成画像を表示し、利用者１００に表示する。
図４は、本実施例の画像撮影・表示装置の概略構成を示すブロック図である。
図４において、４０１は撮影手段、４０２は被写体判別手段、４０３は画像合成手段、４０４は背景画像生成手段、４０５は画像表示手段である。図４に示す被写体判別手段４０２、画像合成手段４０３、および背景画像生成手段４０４は、図１、図２に示す処理装置４００内に配置される。
背景画像生成手段４０４は、背景画像４１４を生成する。背景画像４１４としては、前述したように、単一色（ブルーバック等）の画像や、グラデーションパターンの画像などである。
撮影手段４０１は、カメラあるいはスキャナなどであり、画像表示手段４０５に背景画像４１４を表示した状態で、被写体１０を画像表示手段４０５の手前に配置して、被写体１０を撮影する。そして、撮影画像４１０を被写体判別手段４０２に入力する。
被写体判別手段４０２は、撮影画像４１０の中で被写体１０が写っている領域を判別し、被写体領域情報４１３を、画像合成手段４０３に出力する。
画像合成手段４０３は、表示する合成画像４１５を生成する。例えば、画像合成手段４０３は、被写体領域情報４１３に基づき、撮影画像４１０の中から被写体１０の画像だけを抽出し、予め用意した別画像と合成する。
図４において、４０１は撮影手段、４０２は被写体判別手段、４０３は画像合成手段、４０４は背景画像生成手段、４０５は画像表示手段である。図４に示す被写体判別手段４０２、画像合成手段４０３、および背景画像生成手段４０４は、図１、図２に示す処理装置４００内に配置される。
背景画像生成手段４０４は、背景画像４１４を生成する。背景画像４１４としては、前述したように、単一色（ブルーバック等）の画像や、グラデーションパターンの画像などである。
撮影手段４０１は、カメラあるいはスキャナなどであり、画像表示手段４０５に背景画像４１４を表示した状態で、被写体１０を画像表示手段４０５の手前に配置して、被写体１０を撮影する。そして、撮影画像４１０を被写体判別手段４０２に入力する。
被写体判別手段４０２は、撮影画像４１０の中で被写体１０が写っている領域を判別し、被写体領域情報４１３を、画像合成手段４０３に出力する。
画像合成手段４０３は、表示する合成画像４１５を生成する。例えば、画像合成手段４０３は、被写体領域情報４１３に基づき、撮影画像４１０の中から被写体１０の画像だけを抽出し、予め用意した別画像と合成する。
図５は、本実施例の画像撮影・表示装置の変形例を示す図である。図５に示す変形例では、画像表示手段４０５は、表示面が水平に配置されたテーブル型の装置である。
図５に示す変形例では、画像表示手段４０５の表示面の上部に、被写体１０が設置可能であり、利用者１００が上方から観察可能である。ここで、被写体１０を、画像表示手段４０５の表示面の上に直接、配置しても良いし、画像表示手段４０５の表示面と被写体１０との間に透明な台が配置されていても良いし、撮影手段４０１では撮影できないように工夫された被写体を支える機構（例えば、ピアノ線、網、細い棒）があっても良い。
なお、図５に示すテーブル型の画像表示手段４０５は、表示面が水平に配置されているが、図５に示すテーブル型の画像表示手段４０５において、表示面は、斜面、あるいは、図６に示すように、下側に湾曲していてもよい。
図５に示す変形例では、画像表示手段４０５の表示面の上部に、被写体１０が設置可能であり、利用者１００が上方から観察可能である。ここで、被写体１０を、画像表示手段４０５の表示面の上に直接、配置しても良いし、画像表示手段４０５の表示面と被写体１０との間に透明な台が配置されていても良いし、撮影手段４０１では撮影できないように工夫された被写体を支える機構（例えば、ピアノ線、網、細い棒）があっても良い。
なお、図５に示すテーブル型の画像表示手段４０５は、表示面が水平に配置されているが、図５に示すテーブル型の画像表示手段４０５において、表示面は、斜面、あるいは、図６に示すように、下側に湾曲していてもよい。
［実施例２］
前述の実施例において、背景画像が、単一色（ブルーバック等）の画像である場合に、被写体１０に背景画像の色を含む場合、被写体１０を抽出することが困難である。
本実施例は、前述の問題点を解決するために、撮影手段４０１により撮影された被写体１０の画像の色・模様に応じて、背景画像の色・模様を適応的に決定するようにしたものである。具体的には、背景画像として、被写体１０に使用されていない色を使う、あるいは、被写体１０の補色を使用する。または、位置によって色相が変化する模様のある画像を生成し、局所的に被写体１０の色にかぶらないようにしたものである。
図８は、本発明の実施例２の画像撮影・表示方法の処理手順を示すフローチャートである。以下、図８を用いて、本実施例の画像撮影・表示方法の処理手順について説明する。
図８に示すフローチャートは、ステップ３０１が追加されている点で、図３のフローチャートと相違する。
本実施例では、初めに、ステップ３０１において、被写体１０を撮影する。そして、撮影した被写体１０の画像の色の分布に応じて、ステップ３０２において、背景画像を生成する。以下のステップは、前述の図３の各ステップと同じであるので、再度の説明は省略する。
ステップ３０２における、背景画像の色・模様の決定方法として、例えば、以下の方法がある。まず、ステップ３０１において、画像表示手段４０５に、黒一色の背景画像を表示した状態で、一度被写体１０を撮影する。
次に、一度撮影した画像を構成するすべての画素において、その色相を求める。そして、どの画素の色相からも遠い色相の色（補色）を選び、背景画像として用いる。なお、すべての画素の色相を求める代わりに、一度撮影した画像をいったん縮小し、色相を求めることで高速化を図っても良い。
前述の実施例において、背景画像が、単一色（ブルーバック等）の画像である場合に、被写体１０に背景画像の色を含む場合、被写体１０を抽出することが困難である。
本実施例は、前述の問題点を解決するために、撮影手段４０１により撮影された被写体１０の画像の色・模様に応じて、背景画像の色・模様を適応的に決定するようにしたものである。具体的には、背景画像として、被写体１０に使用されていない色を使う、あるいは、被写体１０の補色を使用する。または、位置によって色相が変化する模様のある画像を生成し、局所的に被写体１０の色にかぶらないようにしたものである。
図８は、本発明の実施例２の画像撮影・表示方法の処理手順を示すフローチャートである。以下、図８を用いて、本実施例の画像撮影・表示方法の処理手順について説明する。
図８に示すフローチャートは、ステップ３０１が追加されている点で、図３のフローチャートと相違する。
本実施例では、初めに、ステップ３０１において、被写体１０を撮影する。そして、撮影した被写体１０の画像の色の分布に応じて、ステップ３０２において、背景画像を生成する。以下のステップは、前述の図３の各ステップと同じであるので、再度の説明は省略する。
ステップ３０２における、背景画像の色・模様の決定方法として、例えば、以下の方法がある。まず、ステップ３０１において、画像表示手段４０５に、黒一色の背景画像を表示した状態で、一度被写体１０を撮影する。
次に、一度撮影した画像を構成するすべての画素において、その色相を求める。そして、どの画素の色相からも遠い色相の色（補色）を選び、背景画像として用いる。なお、すべての画素の色相を求める代わりに、一度撮影した画像をいったん縮小し、色相を求めることで高速化を図っても良い。
なお、被写体１０の色相がまんべんなく分布している場合、背景画像が単一色では、背景画像と被写体１０の映っている領域を色相で区別することは難しい。そこで、例えば、以下のように、被写体と区別できるような模様のある背景画像を作成する。
まず、ステップ３０１において、画像表示手段４０５に、例えば、黒一色の背景画像を表示した状態で、一度被写体１０を撮影する。なお、ステップ３０１において、画像表示手段４０５に表示する背景画像は黒一色である必要はなく、任意の画像、あるいは特に表示を行わなくてもよい。
次に、図７に示すように、一度撮影した画像全体をいくつかの小領域２０に区切り、小領域２０を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選ぶ。
次に、小領域２０の代表的な位置を制御点２１として、そこの色を代表色に決定する。制御点以外の色は、制御点２１の線形補完などを用いて決定し、背景画像全体の模様を決定する。
ここで、小領域２０としては、正方形や長方形の矩形領域でも良いし、クラスタリングと言われる方法で、似た色をもつ隣接画素を区分けしたものであってもよい。また、制御点２１の決定方法としては、簡単なものとして構成画素の重心位置とすることができる。
まず、ステップ３０１において、画像表示手段４０５に、例えば、黒一色の背景画像を表示した状態で、一度被写体１０を撮影する。なお、ステップ３０１において、画像表示手段４０５に表示する背景画像は黒一色である必要はなく、任意の画像、あるいは特に表示を行わなくてもよい。
次に、図７に示すように、一度撮影した画像全体をいくつかの小領域２０に区切り、小領域２０を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選ぶ。
次に、小領域２０の代表的な位置を制御点２１として、そこの色を代表色に決定する。制御点以外の色は、制御点２１の線形補完などを用いて決定し、背景画像全体の模様を決定する。
ここで、小領域２０としては、正方形や長方形の矩形領域でも良いし、クラスタリングと言われる方法で、似た色をもつ隣接画素を区分けしたものであってもよい。また、制御点２１の決定方法としては、簡単なものとして構成画素の重心位置とすることができる。
図９は、本発明の実施例２の画像撮影・表示装置の概略構成を示すブロック図である。
本実施例の画像撮影・表示装置における各構成要件は、図４に示す前述の画像撮影・表示装置と同じである。
但し、本実施例では、背景画像生成手段４０４が、黒一色の背景画像を生成する。また、撮影手段４０１は、画像表示手段４０５に、黒一色の背景画像を表示した状態で、被写体１０を画像表示手段４０５の手前に配置し、一度被写体１０を撮影し、撮影画像４１１を背景画像生成手段４０４に入力する。
背景画像生成手段４０４は、撮影画像４１１から、前述した方法により、背景画像４１４を生成する。その他の構成は、前述の実施例と同じであるので、再度の説明は省略する。
本実施例の画像撮影・表示装置における各構成要件は、図４に示す前述の画像撮影・表示装置と同じである。
但し、本実施例では、背景画像生成手段４０４が、黒一色の背景画像を生成する。また、撮影手段４０１は、画像表示手段４０５に、黒一色の背景画像を表示した状態で、被写体１０を画像表示手段４０５の手前に配置し、一度被写体１０を撮影し、撮影画像４１１を背景画像生成手段４０４に入力する。
背景画像生成手段４０４は、撮影画像４１１から、前述した方法により、背景画像４１４を生成する。その他の構成は、前述の実施例と同じであるので、再度の説明は省略する。
［実施例３］
本発明の実施例３の画像撮影・表示装置では、被写体１０を複数の異なる位置・方向から撮影する手段を設け、その撮影画像を元にして、被写体１０を複数の異なる位置・方向から視た画像を、画像表示手段４０５に表示するようにしたものである。
例えば、図１、図２の構成において、撮影手段（カメラ）４０１を被写体１０の回りに複数個配置する。そして、被写体１０の移動機構を設け、被写体１０を少しずつ位置・方向をずらしながら、１つ以上の撮影手段（カメラ）４０１で被写体１０を撮影する。
画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、撮影した画像から被写体１０の画像を抽出した後、被写体１０を複数の異なる位置・方向から視た画像を生成する。
ここで、画像合成手段４０３における画像生成方法として、撮影画像の切り替えと射影変換を用いる、または、Shape from Silhoette、あるいは、信頼度マッピング法を使用する。
利用者１００が、被写体１０を見る位置・方向の操作手段としては、マウスやリモコンなどで行うことができる。
本発明の実施例３の画像撮影・表示装置では、被写体１０を複数の異なる位置・方向から撮影する手段を設け、その撮影画像を元にして、被写体１０を複数の異なる位置・方向から視た画像を、画像表示手段４０５に表示するようにしたものである。
例えば、図１、図２の構成において、撮影手段（カメラ）４０１を被写体１０の回りに複数個配置する。そして、被写体１０の移動機構を設け、被写体１０を少しずつ位置・方向をずらしながら、１つ以上の撮影手段（カメラ）４０１で被写体１０を撮影する。
画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、撮影した画像から被写体１０の画像を抽出した後、被写体１０を複数の異なる位置・方向から視た画像を生成する。
ここで、画像合成手段４０３における画像生成方法として、撮影画像の切り替えと射影変換を用いる、または、Shape from Silhoette、あるいは、信頼度マッピング法を使用する。
利用者１００が、被写体１０を見る位置・方向の操作手段としては、マウスやリモコンなどで行うことができる。
図１１は、信頼度マッピング法の処理手順を示すフローチャートである。
ステップ１においては、複数の視点位置から被写体を撮影した画像（元画像）｛Ｉｉ（ｍ）｜ｉ∈Ｎ｝を得る。
ステップ２ａにおいて、元画像中で被写体が映っている２次元領域または位置を検出する。画像中の被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形や色や濃淡パターンに仮定をおき（モデルを仮定し）、画像中で合致する領域を被写体がある領域として判別する方法、などが考えられる。いわゆる、パターンマッチングもこれに相当する。
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を検出することができる。
このようにして検出した元画像Ｉｉ（ｍ）中の被写体が存在する領域をΓｉ（ｍ）にて表し、Γｉ（ｍ）＝１なる画像座標では被写体が存在し、Γｉ（ｍ）＝０なる画像座標では被写体が存在しないものとする。
ステップ１においては、複数の視点位置から被写体を撮影した画像（元画像）｛Ｉｉ（ｍ）｜ｉ∈Ｎ｝を得る。
ステップ２ａにおいて、元画像中で被写体が映っている２次元領域または位置を検出する。画像中の被写体の検出方法としては、例えば、背景差分を用いる方法、既知の背景色との色の違いを用いる方法、被写体の形や色や濃淡パターンに仮定をおき（モデルを仮定し）、画像中で合致する領域を被写体がある領域として判別する方法、などが考えられる。いわゆる、パターンマッチングもこれに相当する。
また、元画像を撮影するカメラとは別に、例えば、赤外線イメージを撮影可能な装置を用いて、画像中で熱を持つ領域を検出することができる。
このようにして検出した元画像Ｉｉ（ｍ）中の被写体が存在する領域をΓｉ（ｍ）にて表し、Γｉ（ｍ）＝１なる画像座標では被写体が存在し、Γｉ（ｍ）＝０なる画像座標では被写体が存在しないものとする。
＜複数の候補点から被写体の位置を絞り込む方法＞
２次元画像上の被写体は、誤検出の可能性があり、必ずしも検出された被写体の像の位置を結ぶ光線が、被写体付近で交点を持つわけではない。
また、複数の被写体が撮影されている場合、それぞれのカメラで１つ以上の像が検出される。それぞれの像が、どの被写体による像かということは不明であり、どの光線とどの光線が交わりを持つかは分からない。
以下では、そのような場合でも、適切に被写体位置の候補点を求める方法を説明する。
図１４は、信頼度マッピング法の画像生成方法において、交点候補を算出する処理手順を示すフローチャートである。
すべてのカメラで検出された被写体の像の代表点の集合をＱとする。この中には、異なる被写体による像による代表点が混在し、また、実際には被写体が存在しない点が誤って検出されて含まれている。
また、計算の過程で推定される３次元空間中の被写体の候補点の集合をＦ、その要素ｆの十分近傍で近似的に交差する光線の集合をＲ（ｆ）とする。また、計算の過程において、その時点でＦのどの要素とも交差しない光線の集合をＥとする。
２次元画像上の被写体は、誤検出の可能性があり、必ずしも検出された被写体の像の位置を結ぶ光線が、被写体付近で交点を持つわけではない。
また、複数の被写体が撮影されている場合、それぞれのカメラで１つ以上の像が検出される。それぞれの像が、どの被写体による像かということは不明であり、どの光線とどの光線が交わりを持つかは分からない。
以下では、そのような場合でも、適切に被写体位置の候補点を求める方法を説明する。
図１４は、信頼度マッピング法の画像生成方法において、交点候補を算出する処理手順を示すフローチャートである。
すべてのカメラで検出された被写体の像の代表点の集合をＱとする。この中には、異なる被写体による像による代表点が混在し、また、実際には被写体が存在しない点が誤って検出されて含まれている。
また、計算の過程で推定される３次元空間中の被写体の候補点の集合をＦ、その要素ｆの十分近傍で近似的に交差する光線の集合をＲ（ｆ）とする。また、計算の過程において、その時点でＦのどの要素とも交差しない光線の集合をＥとする。
Ｅ、Ｆ、Ｒ（ｆ）は初期状態で空集合としておく。（ステップ１０１）
まず、Ｑのすべての要素ｑについて、対応する光線ｒ（ｑ）を算出する。光線の算出は式（６）を用いる。（ステップ１０２，１０３）
Ｆのすべての要素ｆについて、ｒ（ｑ）がｆに十分近いとき、光線ｒ（ｑ）をｆ近辺で交差する光線の集合Ｒ（ｆ）に加え、ｆを更新する。（ステップ１０４、１０５、１０６、１０７、１０８）
すなわち、検出済みの交点の候補に対して、着目する光線が近い点を通るときには、その光線もその位置付近で交点を持つと判断し、かつ、当該光線を加えて新たに交点の位置を計算し直す。この判断にあたり、検出済みの交点の候補と光線との距離は、前述の（８）式を用いる。
また、新たな交点の位置の計算には、（１６）式を用いる。
ただし、（１６）式は、下記（１７）式と書き直せるため、既存の光線の集合における左辺および右辺の行列をメモリ上に保持しておけば、新たに光線を加える際にはその分の項を加えるだけでよく、計算量を低減することができる。
まず、Ｑのすべての要素ｑについて、対応する光線ｒ（ｑ）を算出する。光線の算出は式（６）を用いる。（ステップ１０２，１０３）
Ｆのすべての要素ｆについて、ｒ（ｑ）がｆに十分近いとき、光線ｒ（ｑ）をｆ近辺で交差する光線の集合Ｒ（ｆ）に加え、ｆを更新する。（ステップ１０４、１０５、１０６、１０７、１０８）
すなわち、検出済みの交点の候補に対して、着目する光線が近い点を通るときには、その光線もその位置付近で交点を持つと判断し、かつ、当該光線を加えて新たに交点の位置を計算し直す。この判断にあたり、検出済みの交点の候補と光線との距離は、前述の（８）式を用いる。
また、新たな交点の位置の計算には、（１６）式を用いる。
ただし、（１６）式は、下記（１７）式と書き直せるため、既存の光線の集合における左辺および右辺の行列をメモリ上に保持しておけば、新たに光線を加える際にはその分の項を加えるだけでよく、計算量を低減することができる。
着目する光線ｒ（ｑ）が検出済みの交点の候補Ｆと交差しないと判断されたときは、同様に検出済みの交点の候補と交差しないと判断された他の光線と交差するかを判断する。（ステップ１０４、１０５、１０６、１０９、１１０、１１１）
すなわち、検出済みの交点の候補と交差しないと判断された光線の集合Ｅのすべての要素ｅについて、以下の手順を行う。
まず、ｅとｒ（ｑ）が同一のカメラの光線の時は、２つの光線はカメラの視点位置で交点を持ち、被写体側では交点を持たない。よって以下の処理をスキップして、Ｑに関するループを進める。
それ以外の時は、（１６）式により、ｅとｒ（ｑ）を用いて、近似交点を計算する。（ステップ１１２）
近似交点の半径が十分に小さいとき（εより小さい）は、新たな近似交点が見つかったことになる。これをＦに加え、また、ｅは近似交点を持つため、Ｅから除外する。（ステップ１１３、１１４、１１５、１１６）
これをすべての要素ｅについて行い、十分に近い近似交点が見つからなかったら、ｒ（ｑ）をＥに加えて、Ｑに関するループを進める。（ステップ１１３、１１７、１１８）
すなわち、検出済みの交点の候補と交差しないと判断された光線の集合Ｅのすべての要素ｅについて、以下の手順を行う。
まず、ｅとｒ（ｑ）が同一のカメラの光線の時は、２つの光線はカメラの視点位置で交点を持ち、被写体側では交点を持たない。よって以下の処理をスキップして、Ｑに関するループを進める。
それ以外の時は、（１６）式により、ｅとｒ（ｑ）を用いて、近似交点を計算する。（ステップ１１２）
近似交点の半径が十分に小さいとき（εより小さい）は、新たな近似交点が見つかったことになる。これをＦに加え、また、ｅは近似交点を持つため、Ｅから除外する。（ステップ１１３、１１４、１１５、１１６）
これをすべての要素ｅについて行い、十分に近い近似交点が見つからなかったら、ｒ（ｑ）をＥに加えて、Ｑに関するループを進める。（ステップ１１３、１１７、１１８）
すべてのｑについて処理が終了したら、最後に、既存の候補点Ｆの各要素ｆにおいて、その位置で近似交点を持つ光線の集合Ｒ（ｆ）の要素の数により、ｆが信頼できる被写体の位置かを判断する。（ステップ１１９）
例えば、カメラの総数がＮのとき、過半数のカメラで撮影されていることを基準とすれば、Ｒ（ｆ）の要素数＞Ｎ／２がひとつの判断基準となる。
なお、εのオーダーは、被写体の大きさが目安となる。例えば、被写体のおよその半径がρと分かっているとき、その１０分の１程度までの交点のぶれを許容するなら、ε＝ρ／１０などと設定できる。
例えば、図１５に示すように、２つの被写体（図１５においては顔）があり、複数のカメラでパターンマッチングによりその矩形領域が検出されている。また、顔以外の領域も、誤って検出されている。
このような場合に上記の処理を経ると、３次元の顔位置として、Ｆ＝｛ｆ１，ｆ２｝が検出され、それぞれの顔位置に対応する光線の集合として、Ｒ（ｆ１）＝｛ｌ１ １，ｌ１ ２，ｌ１ ３｝、Ｒ（ｆ２）＝｛ｌ２ １，ｌ２ ２，ｌ２ ３｝が検出される。また、どの顔とも交点を持たない光線の集合として、Ｅ＝｛ｌ３，ｌ４｝が検出される。
例えば、カメラの総数がＮのとき、過半数のカメラで撮影されていることを基準とすれば、Ｒ（ｆ）の要素数＞Ｎ／２がひとつの判断基準となる。
なお、εのオーダーは、被写体の大きさが目安となる。例えば、被写体のおよその半径がρと分かっているとき、その１０分の１程度までの交点のぶれを許容するなら、ε＝ρ／１０などと設定できる。
例えば、図１５に示すように、２つの被写体（図１５においては顔）があり、複数のカメラでパターンマッチングによりその矩形領域が検出されている。また、顔以外の領域も、誤って検出されている。
このような場合に上記の処理を経ると、３次元の顔位置として、Ｆ＝｛ｆ１，ｆ２｝が検出され、それぞれの顔位置に対応する光線の集合として、Ｒ（ｆ１）＝｛ｌ１ １，ｌ１ ２，ｌ１ ３｝、Ｒ（ｆ２）＝｛ｌ２ １，ｌ２ ２，ｌ２ ３｝が検出される。また、どの顔とも交点を持たない光線の集合として、Ｅ＝｛ｌ３，ｌ４｝が検出される。
［実施例４］
本発明の実施例４の画像撮影・表示装置は、画像表示手段４０５として、立体表示装置を使用する。
例えば、本実施例では、立体画像が表示可能な画像表示手段４０５として、偏光メガネ、液晶シャッタメガネを使用する立体表示装置、あるいは、パララクスバリア式のディスプレイを使用する。これらの立体表示装置は、両眼視差に基づく立体表示装置であり、そのため、右眼用の画像と左眼用の画像とが必要である。
そこで、本実施例では、撮影手段（カメラ）４０１で、右眼用の画像と左眼用の画像を撮影した後、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、右眼用の被写体の画像と左眼用の被写体の画像を抽出し、右眼用の合成画像と左眼用の合成画像を生成する。その他の構成は、前述の実施例１，２と同じである。
本発明の実施例４の画像撮影・表示装置は、画像表示手段４０５として、立体表示装置を使用する。
例えば、本実施例では、立体画像が表示可能な画像表示手段４０５として、偏光メガネ、液晶シャッタメガネを使用する立体表示装置、あるいは、パララクスバリア式のディスプレイを使用する。これらの立体表示装置は、両眼視差に基づく立体表示装置であり、そのため、右眼用の画像と左眼用の画像とが必要である。
そこで、本実施例では、撮影手段（カメラ）４０１で、右眼用の画像と左眼用の画像を撮影した後、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、右眼用の被写体の画像と左眼用の被写体の画像を抽出し、右眼用の合成画像と左眼用の合成画像を生成する。その他の構成は、前述の実施例１，２と同じである。
［実施例５］
本発明の実施例５の画像撮影・表示装置は、画像表示手段４０５として、利用者の観察位置に応じた表示が可能なものを使用する。
例えば、本実施例では、画像表示手段４０５として、指向性ディスプレイを使用する。指向性ディスプレイでは、様々な位置・方向に異なる画像を表示することができる。即ち、指向性ディスプレイは、角度に依存して幾つかの異なる画像を表示できるが、カバーする視域角毎に代表的な視点を設定し、その視点毎に、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、代表視点毎の合成画像を生成する。
例えば、指向性ディスプレイが、観察距離１ｍ、視域角が１０°〜５０°、５０°〜９０°、９０°〜１３０°、１３０°〜１７０°の場合、観察距離１ｍ、角度３０°、７０°、１１０°、１５０°の位置に視点を設定する。
そして、利用者１００の頭部位置を計測し、当該頭部位置に応じた画像を表示する。
その他の構成は、前述の実施例と同じである。
本発明の実施例５の画像撮影・表示装置は、画像表示手段４０５として、利用者の観察位置に応じた表示が可能なものを使用する。
例えば、本実施例では、画像表示手段４０５として、指向性ディスプレイを使用する。指向性ディスプレイでは、様々な位置・方向に異なる画像を表示することができる。即ち、指向性ディスプレイは、角度に依存して幾つかの異なる画像を表示できるが、カバーする視域角毎に代表的な視点を設定し、その視点毎に、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、代表視点毎の合成画像を生成する。
例えば、指向性ディスプレイが、観察距離１ｍ、視域角が１０°〜５０°、５０°〜９０°、９０°〜１３０°、１３０°〜１７０°の場合、観察距離１ｍ、角度３０°、７０°、１１０°、１５０°の位置に視点を設定する。
そして、利用者１００の頭部位置を計測し、当該頭部位置に応じた画像を表示する。
その他の構成は、前述の実施例と同じである。
［実施例６］
本発明の実施例６の画像撮影・表示装置は、画像表示手段４０５として、異なる位置から観察する複数の利用者に対し、位置に応じた表示が可能なものを使用する。
例えば、本実施例では、画像表示手段４０５として、指向性ディスプレイ、超多眼ディスプレイを使用する。この場合には、利用者１００の頭部位置を計測し、時分割や偏光を用いて、当該頭部位置に応じた画像を各利用者１００に表示する。
また、本実施例では、画像表示手段４０５として、ＩｌｌｕｓｉｏｎＨｏｌｅを用いることも可能である。このＩｌｌｕｓｉｏｎＨｏｌｅは、テーブル型ディスプレイの上面にマスクをし、その中央に穴を設け、複数の利用者で空間的な遮蔽を行うものである。
なお、本実施例において、画像表示手段４０５に表示する画像の生成方法は、前述の実施例５と同様、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、代表視点毎の合成画像を生成する。
本発明の実施例６の画像撮影・表示装置は、画像表示手段４０５として、異なる位置から観察する複数の利用者に対し、位置に応じた表示が可能なものを使用する。
例えば、本実施例では、画像表示手段４０５として、指向性ディスプレイ、超多眼ディスプレイを使用する。この場合には、利用者１００の頭部位置を計測し、時分割や偏光を用いて、当該頭部位置に応じた画像を各利用者１００に表示する。
また、本実施例では、画像表示手段４０５として、ＩｌｌｕｓｉｏｎＨｏｌｅを用いることも可能である。このＩｌｌｕｓｉｏｎＨｏｌｅは、テーブル型ディスプレイの上面にマスクをし、その中央に穴を設け、複数の利用者で空間的な遮蔽を行うものである。
なお、本実施例において、画像表示手段４０５に表示する画像の生成方法は、前述の実施例５と同様、画像合成手段４０３において、前述の図３、図８のステップ３０６を実行することにより、代表視点毎の合成画像を生成する。
以上説明したように、本実施例によれば以下の作用、効果を得ることが可能である。
（１）被写体１０と既知の背景を判別することで、被写体１０の写っている領域のみを抽出して画像処理することで、被写体１０を際だたせ、クオリティの高い画像を手軽に撮影・表示することができる。
（２）被写体１０を設置しやすく、また、複数の利用者１００が取り囲んで、様々な方向から観察しやすい。
（３）従来の単色ブルーバック等では、被写体１０に背景色を含む場合で失敗していたのに対し、被写体１０の色に制限がなくなる。
（４）利用者１００の望む位置・角度から被写体１０の観察が可能となり、リアリティを向上させることが可能である。それにより、物体の形状を把握しやすくなる。
（５）１人もしくは多人数に対して実物体の立体表示ができ、利用者間で臨場感の高いイメージを共有でき、リアリティを向上させることが可能となる。
（６）インタラクティブに観察することができるので、リアリティを向上させることが可能となる。
（７）ローカルもしくは遠隔地の他の利用者と、実物を取り囲んで議論しているかのようなリアリティを提供することができるばかりか、指さしが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
（１）被写体１０と既知の背景を判別することで、被写体１０の写っている領域のみを抽出して画像処理することで、被写体１０を際だたせ、クオリティの高い画像を手軽に撮影・表示することができる。
（２）被写体１０を設置しやすく、また、複数の利用者１００が取り囲んで、様々な方向から観察しやすい。
（３）従来の単色ブルーバック等では、被写体１０に背景色を含む場合で失敗していたのに対し、被写体１０の色に制限がなくなる。
（４）利用者１００の望む位置・角度から被写体１０の観察が可能となり、リアリティを向上させることが可能である。それにより、物体の形状を把握しやすくなる。
（５）１人もしくは多人数に対して実物体の立体表示ができ、利用者間で臨場感の高いイメージを共有でき、リアリティを向上させることが可能となる。
（６）インタラクティブに観察することができるので、リアリティを向上させることが可能となる。
（７）ローカルもしくは遠隔地の他の利用者と、実物を取り囲んで議論しているかのようなリアリティを提供することができるばかりか、指さしが可能となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
１０ 被写体
２１ 小領域
２２ 制御点
１００ 利用者
４００ 処理装置
４０１ 撮影手段
４０２ 被写体判別手段
４０３ 画像合成手段
４０４ 背景画像生成手段
４０５ 画像表示手段
２１ 小領域
２２ 制御点
１００ 利用者
４００ 処理装置
４０１ 撮影手段
４０２ 被写体判別手段
４０３ 画像合成手段
４０４ 背景画像生成手段
４０５ 画像表示手段
Claims (3)
- 画像表示手段と、撮影手段とを有する画像撮影・表示装置における画像撮影・表示方法であって、
前記画像表示手段の手前に配置された被写体を撮影するステップ１と、
前記ステップ１で撮影した画像の色の分布に応じて、前記画像表示手段に表示する背景画像を決定するステップ２と、
前記ステップ２で決定した背景画像を前記画像表示手段に表示するステップ３と、
前記画像表示手段に前記背景画像を表示した状態において、前記画像表示手段の手前に配置された被写体を撮影するステップ４と、
前記ステップ４で撮影された画像から前記被写体が映っている被写体領域を判別するステップ５と、
前記ステップ５での判別結果に基づき、前記撮影手段で撮影された画像から前記被写体の画像を抽出し、前記画像表示手段に表示する合成画像を生成するステップ６と、
前記ステップ６で生成した合成画像を前記画像表示手段に表示するステップ７とを有し、
前記ステップ２は、前記ステップ１で撮影した画像全体をいくつかの小領域に区切り、小領域を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選択するステップ２１と、
小領域の代表的な位置を制御点として、当該制御点の色を前記代表色に決定するステップ２２と、
前記制御点以外の色を制御点の線形補完により決定し、模様のある画像を生成するステップ２３と、
前記ステップ２３で生成した模様のある画像を、前記背景画像として決定するステップ２４とを有することを特徴とする画像撮影・表示方法。 - 画像表示手段と、撮影手段とを有する画像撮影・表示装置であって、
前記画像表示手段の手前に配置された被写体を、前記撮影手段で撮影した画像１の色の分布に応じて、前記画像表示手段に表示する背景画像を生成する背景画像生成手段と、
前記画像表示手段に、前記背景画像生成手段で生成された前記背景画像を表示した状態において、前記画像表示手段の手前に配置された被写体を、前記撮影手段で撮影した画像２から前記被写体が映っている被写体領域を判別する被写体判別手段と、
前記被写体判別手段での判別結果に基づき、前記画像２から前記被写体の画像を抽出し、前記画像表示手段に表示する合成画像を生成する画像合成手段とを有し、
前記背景画像生成手段は、前記画像１の全体をいくつかの小領域に区切り、小領域を構成する画素について、どの画素からも遠い色相の色を小領域の背景の代表色として選択する手段１と、
小領域の代表的な位置を制御点として、当該制御点の色を前記代表色に決定する手段２と、
前記制御点以外の色を制御点の線形補完により決定し、模様のある画像を生成する手段３と、
前記手段３で生成した模様のある画像を、前記背景画像として決定する手段４とを有することを特徴とする画像撮影・表示装置。 - 請求項１に記載の画像撮影・表示方法を、コンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009058702A JP5279078B2 (ja) | 2009-03-11 | 2009-03-11 | 画像撮影・表示方法、画像撮影・表示装置、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009058702A JP5279078B2 (ja) | 2009-03-11 | 2009-03-11 | 画像撮影・表示方法、画像撮影・表示装置、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010213124A JP2010213124A (ja) | 2010-09-24 |
| JP5279078B2 true JP5279078B2 (ja) | 2013-09-04 |
Family
ID=42972820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009058702A Expired - Fee Related JP5279078B2 (ja) | 2009-03-11 | 2009-03-11 | 画像撮影・表示方法、画像撮影・表示装置、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5279078B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3742335A1 (en) * | 2019-05-21 | 2020-11-25 | Toshiba TEC Kabushiki Kaisha | Commodity recognition device and commodity recognition method |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019167277A1 (ja) * | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 画像収集装置、画像収集システム、画像収集方法、画像生成装置、画像生成システム、画像生成方法、およびプログラム |
| JP7272165B2 (ja) * | 2019-08-07 | 2023-05-12 | 大日本印刷株式会社 | 印画物作製装置及び印画物作製方法 |
| WO2023223759A1 (ja) * | 2022-05-20 | 2023-11-23 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、撮影システム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001186402A (ja) * | 1999-12-27 | 2001-07-06 | Nikon Corp | 画像入出力装置および資料提示装置 |
| JP2002118859A (ja) * | 2000-10-05 | 2002-04-19 | Sony Corp | 撮影装置及び撮影方法 |
| JP4039610B2 (ja) * | 2002-04-04 | 2008-01-30 | 日本放送協会 | 画像合成装置およびその方法ならびに画像表示装置およびその方法 |
| JP2005020079A (ja) * | 2003-06-23 | 2005-01-20 | Sharp Corp | 撮像装置 |
| JP2008097191A (ja) * | 2006-10-10 | 2008-04-24 | Fujifilm Corp | 画像合成システム |
-
2009
- 2009-03-11 JP JP2009058702A patent/JP5279078B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3742335A1 (en) * | 2019-05-21 | 2020-11-25 | Toshiba TEC Kabushiki Kaisha | Commodity recognition device and commodity recognition method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010213124A (ja) | 2010-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5966256B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| CN104052938B (zh) | 用于利用三维叠加的多光谱成像的设备和方法 | |
| JP5456020B2 (ja) | 情報処理装置および方法 | |
| JP4764305B2 (ja) | 立体画像生成装置、方法およびプログラム | |
| CN105704479B (zh) | 3d显示系统用的测量人眼瞳距的方法及系统和显示设备 | |
| US20110216160A1 (en) | System and method for creating pseudo holographic displays on viewer position aware devices | |
| AU2005331138A1 (en) | 3D image generation and display system | |
| CN109314752A (zh) | 图像之间的光流的有效确定 | |
| RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
| JP7196421B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
| JP2003187261A (ja) | ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 | |
| JP3857988B2 (ja) | 立体画像処理方法および装置 | |
| Schroers et al. | An omnistereoscopic video pipeline for capture and display of real-world VR | |
| WO2013108285A1 (ja) | 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法 | |
| CN109661816A (zh) | 基于渲染引擎生成和显示全景图像的方法和显示装置 | |
| JP5267708B2 (ja) | 画像処理装置、撮像装置、画像生成方法、及びプログラム | |
| JP2014203462A (ja) | 光フィールド映像を生成する方法及び装置 | |
| KR20150105069A (ko) | 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 | |
| JP5279078B2 (ja) | 画像撮影・表示方法、画像撮影・表示装置、およびプログラム | |
| KR20080034419A (ko) | 3ｄ 영상 생성 및 디스플레이 시스템 | |
| Smith et al. | Cultural heritage omni-stereo panoramas for immersive cultural analytics—from the Nile to the Hijaz | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| JP4118146B2 (ja) | 立体画像処理装置 | |
| JP5252703B2 (ja) | 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム | |
| CN104584075B (zh) | 用于描述对象空间的对象点以及用于其执行的连接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130422 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130517 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |