JP5245156B2 - カメラシステム、そのための画像情報再生手段、画像情報再生手段 - Google Patents
カメラシステム、そのための画像情報再生手段、画像情報再生手段 Download PDFInfo
- Publication number
- JP5245156B2 JP5245156B2 JP2008142408A JP2008142408A JP5245156B2 JP 5245156 B2 JP5245156 B2 JP 5245156B2 JP 2008142408 A JP2008142408 A JP 2008142408A JP 2008142408 A JP2008142408 A JP 2008142408A JP 5245156 B2 JP5245156 B2 JP 5245156B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- pix
- value
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、２種類以上のデジタル写真の拡大率を調整し、並べたり重ねたりして同時に表示することにより、写真の被写体の大きさを画像として比較することができるカメラシステム、そのための画像情報再生手段、画像情報再生手段に関する。
１枚の写真に写っている複数の被写体であれば、大きさを比較することは簡単にできるが、別々の写真の被写体の大きさは、一般に比較することはできない。比較する必要がある場合には、タバコやマッチ棒、物差しなど、大きさの分かっている被写体をそれぞれの写真に写しこむことにより、間接的に各被写体の大きさを比較することになる。特許文献１には、画像領域の外周位置に物差しを配置したものが開示されている。特許文献２には、ピクセルサイズと実サイズとの対応関係を示すサイズ情報を画像データから取得する処理によって、利用者の指定した画面上の任意の２点間の実距離が表示されるものが開示されている。
このように直接、画像として大きさが比較できない事は、ネットショッピングなどにおいて、商品を選ぶ場合に問題になる。現在のネットショッピングでは、たとえば、「花瓶の高さ１７ｃｍだから、我が家のテーブルに置くと、このくらいの大きさになる」というように、商品の大きさに関する情報から、実際の大きさを想像し、既存の家具などと比較することを経て、購入するか否か判断することになる。実際の大きさのイメージがわかない場合、小売店に出向いて現物を見て購入し、ネットショップでの購入をあきらめるというケースも多くある。
特開２００１−２８５６２７号公報
特開２００６−８１８５４号公報
特開２００４−２９４４２０号公報
河北 真宏他、実時間距離検出３次元テレビカメラ（Ａｘｉ−Ｖｉｓｉｏｎカメラ）（画像・映像処理）、電子情報通信学会論文誌．Ｄ−ＩＩ，Ｖｏｌ．Ｊ８７ＤＩＩ，Ｎｏ．６（２００４０６０１）ｐｐ．１２６７−１２７８
このように直接、画像として大きさが比較できない事は、ネットショッピングなどにおいて、商品を選ぶ場合に問題になる。現在のネットショッピングでは、たとえば、「花瓶の高さ１７ｃｍだから、我が家のテーブルに置くと、このくらいの大きさになる」というように、商品の大きさに関する情報から、実際の大きさを想像し、既存の家具などと比較することを経て、購入するか否か判断することになる。実際の大きさのイメージがわかない場合、小売店に出向いて現物を見て購入し、ネットショップでの購入をあきらめるというケースも多くある。
特に、子供の成長の写真などでは、背景にたまたま写った家具、家の柱、玄関のドアなどを手がかりに成長を実感することがあるが、小学校入学前と卒業時の写真を並べて見比べても、カメラの構図やプリントの大きさが異なるため、直接大きさを比較することは困難である。特許文献１では物差しを写し込むことにより、特許文献２ではピクセルサイズと実サイズとの対応関係を示すサイズ情報を画像データから取得する処理によって、大きさを数値で表示することにより、被写体の実サイズを利用者に伝え、比較を可能にしている。しかしこれらは、たとえば「Ａは物差しの目盛り７つ分で、Ｂは８つ分だからＢの方が大きい」「Ａは１６ｃｍで、Ｂは１８ｃｍだからＢの方が大きい」といったような、間接的な比較しかできず、実空間で両者を並べて大小を比較するといったような直接的・直感的な比較は困難である。
このように、撮影条件やプリント条件の異なる複数の写真において、被写体の大きさの比較が困難になる問題の根本的な解決手段が無かった。
このように、撮影条件やプリント条件の異なる複数の写真において、被写体の大きさの比較が困難になる問題の根本的な解決手段が無かった。
本発明の目的は、上記問題点に鑑み、写っている被写体の大きさの比較が容易にできるカメラシステム、そのための画像情報再生手段、画像情報再生手段を提供することにある。
本発明は、上記目的を達成するために以下の解決手段を採用する。
（１）本発明のカメラシステムは、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムであって、
前記画像情報記録手段は、カメラの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段と、記憶手段からなり、撮像画像情報に少なくともその撮像画像に係るｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を作成し記憶し、
前記画像情報再生手段は、記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に適宜修正処理を施し、前記修正処理を施した画像を任意数合成処理し表示するようにする。
（２）カメラシステムの、前記記録手段は、前記カメラのレンズ系及びピント調節系のセンサを介して取得した撮像画像を構成するデジタル画像情報と、前記カメラから被写体までの距離の関数を表すセンサの測定情報と、デジタル画像情報に基づきｐｉｘ／ｍ演算手段において求めたｐｉｘ／ｍの値に関する情報を組み合わせて１枚の画像毎の組み合わせ画像情報を構成する。
（３）カメラシステムの、前記画像情報修正手段は、背景画像内の位置に応じた画像情報の修正手段、倍率変更手段、ｐｉｘ／ｍ値変更手段からなり、前記記憶手段から入力手段により選択した選択画像の画像情報を読み出し、倍率変更処理、ｐｉｘ／ｍ値変更処理、背景画像内の位置に応じた画像情報の修正処理を行い修正画像情報を出力する。
（４）カメラシステムの、前記画像合成手段は、入力手段により選択した複数の修正画像を合成して合成画像信号を作成し出力する。
（５）画像情報記録手段は、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムに用いるための、撮像からｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報の記録までの処理を行う画像情報記録手段であって、
カメラシステムの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段からなり、撮像画像情報にはその撮像画像に係るｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を作成し記憶する。
（６）画像情報再生手段は、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムに用いるための、記録されているｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を読み出す画像情報再生手段を有する画像情報再生手段であって、
記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に適宜修正処理を施し、前記修正処理を施した画像を任意数合成処理し表示する。
（１）本発明のカメラシステムは、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムであって、
前記画像情報記録手段は、カメラの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段と、記憶手段からなり、撮像画像情報に少なくともその撮像画像に係るｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を作成し記憶し、
前記画像情報再生手段は、記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に適宜修正処理を施し、前記修正処理を施した画像を任意数合成処理し表示するようにする。
（２）カメラシステムの、前記記録手段は、前記カメラのレンズ系及びピント調節系のセンサを介して取得した撮像画像を構成するデジタル画像情報と、前記カメラから被写体までの距離の関数を表すセンサの測定情報と、デジタル画像情報に基づきｐｉｘ／ｍ演算手段において求めたｐｉｘ／ｍの値に関する情報を組み合わせて１枚の画像毎の組み合わせ画像情報を構成する。
（３）カメラシステムの、前記画像情報修正手段は、背景画像内の位置に応じた画像情報の修正手段、倍率変更手段、ｐｉｘ／ｍ値変更手段からなり、前記記憶手段から入力手段により選択した選択画像の画像情報を読み出し、倍率変更処理、ｐｉｘ／ｍ値変更処理、背景画像内の位置に応じた画像情報の修正処理を行い修正画像情報を出力する。
（４）カメラシステムの、前記画像合成手段は、入力手段により選択した複数の修正画像を合成して合成画像信号を作成し出力する。
（５）画像情報記録手段は、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムに用いるための、撮像からｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報の記録までの処理を行う画像情報記録手段であって、
カメラシステムの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段からなり、撮像画像情報にはその撮像画像に係るｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を作成し記憶する。
（６）画像情報再生手段は、撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情報を読み出す画像情報再生手段を有するカメラシステムに用いるための、記録されているｐｉｘ／ｍの値の情報を組み合わせた組み合わせ画像情報を読み出す画像情報再生手段を有する画像情報再生手段であって、
記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に適宜修正処理を施し、前記修正処理を施した画像を任意数合成処理し表示する。
上記の解決手段を以下詳細に説明する
本発明は、デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示す単位ｐｉｘ／ｍの値をデータとしてデジタル写真に持たせ、比べるべきデジタル写真のｐｉｘ／ｍの値を表示装置が読み取り、それぞれのデジタル写真を拡大・縮小して同じｐｉｘ／ｍの画像に変換してから表示することにより、比べるべきデジタル写真の中の被写体を同じ縮尺で表示する。
本発明は、デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示す単位ｐｉｘ／ｍの値をデータとしてデジタル写真に持たせ、比べるべきデジタル写真のｐｉｘ／ｍの値を表示装置が読み取り、それぞれのデジタル写真を拡大・縮小して同じｐｉｘ／ｍの画像に変換してから表示することにより、比べるべきデジタル写真の中の被写体を同じ縮尺で表示する。
ｐｉｘ／ｍ の値、地面や床との接地点の画像位置、無限遠点の位置の情報を持った背景となるデジタル写真あるいは、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、カメラからの撮影距離、無限遠点の位置の情報を持った背景となるデジタル写真の上に、別のデジタル写真を乗せる場合、乗せる位置に相応しいｐｉｘ／ｍの値を計算し、乗せるデジタル写真を拡大・縮小して計算したｐｉｘ／ｍの画像に変換してから、その場所に上書きすることで、背景となるデジタル写真の被写体と等縮尺にして背景上に乗せたデジタル写真の被写体を表示する。
なお本発明で提案したｐｉｘ／ｍと同じ単位が、画像ファイル形式のＪＰＥＧやＢＭＰにも定義されているが、それらは印刷時の１ｍがデジタル写真の何ピクセルに相当するのかを示す単位（画像解像度）であり、本発明の値とは無関係である。
デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示す単位ｐｉｘ／ｍの値の情報を書き込めるカメラシステムは、例えば以下の手法で実現可能である。
デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示す単位ｐｉｘ／ｍの値の情報を書き込めるカメラシステムは、例えば以下の手法で実現可能である。
カメラとピントの合った被写体までの距離は、レンズ系の状態から求めることができる。さらに、カメラの画角は、ズームレンズの状態から求めることができる。従って被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍをカメラシステム自体で求めることができ、デジタル写真にその値を書き込むことができる。
デジタル写真に写っている被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の画像位置の情報を書き込めるカメラシステムは、例えば以下の手法で実現可能である。
（１）ピントの合っている部分から被写体の画像位置を決める。
（２）次に、例えば非特許文献１の「実時間距離検出３次元テレビカメラ（Ａｘｉ−Ｖｉｓｉｏｎカメラ）」や特許文献３の「距離画像センサ」を用いることにより、被写体との距離が一定の領域を検出する。
（３）さらに距離の勾配から地面や床の領域を検出し、それらの交わり部分の中の任意の１点を接地点とする。カメラに水準器を持たせ、左右の傾きと、撮影軸と水平線との角度θを計測することで、撮影時の上下方向の画角φから、画面上での水平線を求める。水平線の任意の１点、例えば画角の中央を選んで無限遠点とし、その位置情報を記録する。
（２）次に、例えば非特許文献１の「実時間距離検出３次元テレビカメラ（Ａｘｉ−Ｖｉｓｉｏｎカメラ）」や特許文献３の「距離画像センサ」を用いることにより、被写体との距離が一定の領域を検出する。
（３）さらに距離の勾配から地面や床の領域を検出し、それらの交わり部分の中の任意の１点を接地点とする。カメラに水準器を持たせ、左右の傾きと、撮影軸と水平線との角度θを計測することで、撮影時の上下方向の画角φから、画面上での水平線を求める。水平線の任意の１点、例えば画角の中央を選んで無限遠点とし、その位置情報を記録する。
一般に写真の被写体の大きさは、撮影条件やプリント条件の影響をうけるため、複数の写真の被写体の大きさを比較することは困難である。
本発明では、デジタル写真１枚１枚に、被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を画像データに付加して持たせることにより、表示・印刷するときに同じ大きさの被写体が同じ大きさに表示・印刷するように調整することで、画像として被写体の大きさを比較できるようになる。
たとえば、親子の同年齢の時の身長の差や、遠く離れた建築物同士の大きさの比較のように、時間的・空間的に直接並べて比較できない被写体どうしであっても、それぞれを写真に写して並べて表示することで画像として大きさを比較できるようになる。比較対象の一方を利用者の身近な画像にすることで、他方の対象写真の被写体の大きさが直感的に理解できる。
本発明では、デジタル写真１枚１枚に、被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を画像データに付加して持たせることにより、表示・印刷するときに同じ大きさの被写体が同じ大きさに表示・印刷するように調整することで、画像として被写体の大きさを比較できるようになる。
たとえば、親子の同年齢の時の身長の差や、遠く離れた建築物同士の大きさの比較のように、時間的・空間的に直接並べて比較できない被写体どうしであっても、それぞれを写真に写して並べて表示することで画像として大きさを比較できるようになる。比較対象の一方を利用者の身近な画像にすることで、他方の対象写真の被写体の大きさが直感的に理解できる。
さらに、背景となるデジタル写真の上に別のデジタル写真を重ねて表示することにより、１枚の写真を見るようにして異なる写真に写っている被写体の大きさを比較できる。さらに重ねた写真の表示位置を変化させると、表示位置に適した大きさに被写体が拡大・縮小されて表示されるため、あたかも、重ねた写真の被写体が背景となるデジタル写真の被写体の空間に存在するような画像が得られる。そのため例えば、家族全員のそれぞれの写真と、いろいろな高さの家具の写真を用意しておき、背景となる自宅の部屋の写真の上に家具と家族の写真を重ねることで、適切な高さの家具を選ぶことに有効利用できる。
一般の３次元ＣＧによる画像合成表示でも同様な効果を得ることは可能であるが、そのためには、各オブジェクトをモデリングし、それらを３次元空間に配置し、レンダリングする必要がある。これに対し、本発明では、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置、あるいはｐｉｘ／ｍの値、地面や床との接地点の画像位置、カメラからの撮影距離、無限遠点の位置の情報を用意するだけでよく、モデリング作業は不要である。表示時も、表示位置に適した ｐｉｘ／ｍの値を求め、拡大・縮小して表示するだけの処理で済むため、一般の３次元ＣＧの表示のように、多量のデータ、大量の計算処理を必要としない。
本発明の実施の形態を図に基づいて詳細に説明する。
本発明のカメラシステムは以下の構成および処理手順を備える。詳細は以下に順次説明する。
以下、本発明の処理手順はマイクロコンピュータのプログラムに従って処理される。プログラムの手順によっては入力操作が必要になる場合もある。
図１は、本発明の被写体のｐｉｘ／ｍの値の検出原理を説明する図である。
以下、本発明の処理手順はマイクロコンピュータのプログラムに従って処理される。プログラムの手順によっては入力操作が必要になる場合もある。
図１は、本発明の被写体のｐｉｘ／ｍの値の検出原理を説明する図である。
図１に、本発明の「デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値の情報を書き込めるカメラシステム」が、被写体に係るｐｉｘ／ｍの値を検出する方法の一例を示す。
カメラから被写体までの距離Ｌ（ｍ）を、カメラが被写体にピントが合った状態におけるカメラのレンズ系の状態から求める。距離Ｌにおける上下の撮影範囲Ｈ（ｍ）を、例えば、ズームレンズの状態から求める。被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を、カメラ設計時に求めたカメラの上下方向の画素数ｈ（ピクセル）を撮影範囲Ｈで割り算することで求める。
カメラから被写体までの距離Ｌ（ｍ）を、カメラが被写体にピントが合った状態におけるカメラのレンズ系の状態から求める。距離Ｌにおける上下の撮影範囲Ｈ（ｍ）を、例えば、ズームレンズの状態から求める。被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を、カメラ設計時に求めたカメラの上下方向の画素数ｈ（ピクセル）を撮影範囲Ｈで割り算することで求める。
このｐｉｘ／ｍの値を求める手順を、図２のフローチャートに基づいて説明する。
スタート
（１）ピント調整（ステップＳ１：以下、ステップをＳと略記する）
カメラのピントを被写体に合わせる。
（２）レンズ位置情報を検出（Ｓ２）
基準位置からのピントが合ったレンズの位置情報をカメラ内蔵のセンサにより検出する。
（３）距離Ｌを算出（Ｓ３）
検出したレンズの位置情報に基づき、カメラ又はカメラシステムに内蔵するマイクロコンピュータによりカメラから被写体までの距離Ｌを演算する。
（４）ズームレンズの有無のチェック（Ｓ４）
ズームレンズがない場合にはＳ７に進む。
（５）ズームレンズ位置（Ｓ５）
ズームレンズの位置情報をカメラ内蔵のセンサにより検出する。
（６）撮影画角の算出（Ｓ６）
検出したズームレンズの位置情報に基づき、カメラ又はカメラシステムに内蔵するマイクロコンピュータにより撮影画角を演算する。Ｓ８に進む。
（７）ズームレンズがない場合には、カメラ設計時の撮影画角の値を読み出す（Ｓ７）。
（８）被写体の面における上下の撮影範囲Ｈの算出（Ｓ８）
距離Ｌと撮影画角からカメラ又はカメラシステムに内蔵するマイクロコンピュータにより撮影範囲Ｈを演算する。
（９）カメラによって撮影された画像の上下方向の画素数の読み出し（Ｓ９）
カメラ設計時に求めた、カメラの撮像範囲における上下方向の画素数を予めメモリに記憶しておき、このステップで読み出す。
（１０）ｐｉｘ／ｍの値の算出（Ｓ１０）
カメラ又はカメラシステムに内蔵するマイクロコンピュータにより、カメラの上下方向の画素数ｈを撮影範囲Ｈで割り算することで、被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を求め、メモリに記憶すると共に、撮像画像の画像データに追記する。
ストップ
スタート
（１）ピント調整（ステップＳ１：以下、ステップをＳと略記する）
カメラのピントを被写体に合わせる。
（２）レンズ位置情報を検出（Ｓ２）
基準位置からのピントが合ったレンズの位置情報をカメラ内蔵のセンサにより検出する。
（３）距離Ｌを算出（Ｓ３）
検出したレンズの位置情報に基づき、カメラ又はカメラシステムに内蔵するマイクロコンピュータによりカメラから被写体までの距離Ｌを演算する。
（４）ズームレンズの有無のチェック（Ｓ４）
ズームレンズがない場合にはＳ７に進む。
（５）ズームレンズ位置（Ｓ５）
ズームレンズの位置情報をカメラ内蔵のセンサにより検出する。
（６）撮影画角の算出（Ｓ６）
検出したズームレンズの位置情報に基づき、カメラ又はカメラシステムに内蔵するマイクロコンピュータにより撮影画角を演算する。Ｓ８に進む。
（７）ズームレンズがない場合には、カメラ設計時の撮影画角の値を読み出す（Ｓ７）。
（８）被写体の面における上下の撮影範囲Ｈの算出（Ｓ８）
距離Ｌと撮影画角からカメラ又はカメラシステムに内蔵するマイクロコンピュータにより撮影範囲Ｈを演算する。
（９）カメラによって撮影された画像の上下方向の画素数の読み出し（Ｓ９）
カメラ設計時に求めた、カメラの撮像範囲における上下方向の画素数を予めメモリに記憶しておき、このステップで読み出す。
（１０）ｐｉｘ／ｍの値の算出（Ｓ１０）
カメラ又はカメラシステムに内蔵するマイクロコンピュータにより、カメラの上下方向の画素数ｈを撮影範囲Ｈで割り算することで、被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値を求め、メモリに記憶すると共に、撮像画像の画像データに追記する。
ストップ
図３は被写体の地面や床との接地点の画像位置、無限遠点の画像位置の検出方法を説明する説明図である。
図３は、デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の画像位置の情報を書き込めるカメラシステムが、被写体の地面や床との接地点の画像位置、無限遠点の画像位置を検出する方法の一例を示している。以下の説明はカメラ又はカメラシステム内のマイクロコンピュータによる処理となる。処理に用いる各種パラメータはカメラに付属する各種センサからの情報として取り込む。
図３は、デジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の画像位置の情報を書き込めるカメラシステムが、被写体の地面や床との接地点の画像位置、無限遠点の画像位置を検出する方法の一例を示している。以下の説明はカメラ又はカメラシステム内のマイクロコンピュータによる処理となる。処理に用いる各種パラメータはカメラに付属する各種センサからの情報として取り込む。
まず、カメラのピントの合っている画像部分から被写体の画像位置を決める。図３では被写体となる人物にピントが合っているものとする。このとき、例えば非特許引用文献１に示される「実時間距離検出３次元テレビカメラ（Ａｘｉ−Ｖｉｓｉｏｎカメラ）や特許引用文献３の「距離画像ＣＭＯＳセンサ」等に記載されている当業者によく知られた画像位置を求める技術を用いることにより、被写体との距離が一定の領域を検出する。
さらに距離の勾配から地面や床の領域を検出し、それらの交わり部分の中の任意の１点を接地点Ｐとする。カメラに水準器を持たせ、左右の傾きと、撮影軸と水平線との角度θを計測することで、撮影時の上下方向の画角φから、画面上での水平線を求める。水平線の任意の１点、例えば画角の中点を選んで無限遠点Ｒとし、その位置情報を記録する。
さらに距離の勾配から地面や床の領域を検出し、それらの交わり部分の中の任意の１点を接地点Ｐとする。カメラに水準器を持たせ、左右の傾きと、撮影軸と水平線との角度θを計測することで、撮影時の上下方向の画角φから、画面上での水平線を求める。水平線の任意の１点、例えば画角の中点を選んで無限遠点Ｒとし、その位置情報を記録する。
図４はｐｉｘ／ｍのデータが記録されているデジタル写真を例示する。
例えば、デジタル写真Ａ（１ａ）は、４００ｐｉｘ／ｍのデータが記録された画像データを有し、デジタル写真Ｂ（１ｂ）は、２５０ｐｉｘ／ｍのデータが記録された画像データを有するとする。
例えば、デジタル写真Ａ（１ａ）は、４００ｐｉｘ／ｍのデータが記録された画像データを有し、デジタル写真Ｂ（１ｂ）は、２５０ｐｉｘ／ｍのデータが記録された画像データを有するとする。
図５はデジタル写真Ａの表示状態を示す図である。
図５に示すように、利用者が、カメラシステムの表示部を見ながら入力手段を操作してカメラシステムのメモリに記録されているデジタル写真Ａ（１ａ）を選び、カメラシステムの表示部３に表示する。
図６はデジタル写真Ａを任意の位置に任意の大きさに表示している様子を示す図である。
利用者が、カメラシステムの表示部を操作してカメラシステムのメモリに記録されているデジタル写真Ａ（１ａ）の画像データを任意の位置に任意の大きさに表示するように処理し、カメラシステムの表示部３に表示する。
図５に示すように、利用者が、カメラシステムの表示部を見ながら入力手段を操作してカメラシステムのメモリに記録されているデジタル写真Ａ（１ａ）を選び、カメラシステムの表示部３に表示する。
図６はデジタル写真Ａを任意の位置に任意の大きさに表示している様子を示す図である。
利用者が、カメラシステムの表示部を操作してカメラシステムのメモリに記録されているデジタル写真Ａ（１ａ）の画像データを任意の位置に任意の大きさに表示するように処理し、カメラシステムの表示部３に表示する。
図７は、２枚のデジタル写真Ａ、Ｂが画面上で同じｐｉｘ／ｍの値で表示する処理手順を示す説明図を示している。
図７に示すように、カメラシステムの表示部の処理部を構成するマイクロコンピュータによる、ｐｉｘ／ｍの値を同じにして表示する一般的な処理手順は以下のようになる。
利用者が、カメラシステムの表示部を見ながら入力手段を操作してデジタル写真Ａ（１ａ）を拡大・縮小して表示部の任意の位置に表示する。
図７に示すように、カメラシステムの表示部の処理部を構成するマイクロコンピュータによる、ｐｉｘ／ｍの値を同じにして表示する一般的な処理手順は以下のようになる。
利用者が、カメラシステムの表示部を見ながら入力手段を操作してデジタル写真Ａ（１ａ）を拡大・縮小して表示部の任意の位置に表示する。
次に、利用者が表示部を見ながら入力手段を操作してデジタル写真Ｂ（１ｂ）を選び、表示部３上の表示位置としてデジタル写真Ａの左を指示すると、表示部は、デジタル写真Ａの画面上でのｐｉｘ／ｍの値（即ち、４００ｐｉｘ／ｍ）と等しくなるようにデジタル写真Ｂを拡大・縮小処理してから、利用者が指定した位置に表示する。
カメラシステムの表示部の画像信号処理部を構成するマイクロコンピュータの処理は、画像を合成する観点で表した処理と、後記する合成するための細部の処理、即ち、イメージの追加処理および画像の大きさを変更する処理からなり、以下に説明するようになる。
カメラシステムの表示部の画像信号処理部を構成するマイクロコンピュータの処理は、画像を合成する観点で表した処理と、後記する合成するための細部の処理、即ち、イメージの追加処理および画像の大きさを変更する処理からなり、以下に説明するようになる。
（画像を合成する観点で表した処理）
画像を合成する観点で表した処理は以下の（１）（２）の手順からなる。
（１）利用者の入力操作に応じて指定された例えば４００ｐｉｘ／ｍのデジタル写真Ａの画像データをメモリから読み出し、利用者の入力操作に応じて指定された例えば５０％の値に縮尺処理して表示する。デジタル写真Ａは表示画面上で４００ｐｉｘ／ｍの５０％である２００ｐｉｘ／ｍで表示される。
（２）利用者の入力操作に応じて指定された例えば２５０ｐｉｘ／ｍのデジタル写真Ｂの画像データをメモリから読み出し、デジタル写真Ｂのｐｉｘ／ｍの値、即ち、２５０ｐｉｘ／ｍを、デジタル写真Ａの画面上でのｐｉｘ／ｍの値、即ち、２００ｐｉｘ／ｍと比較し、縮尺率（８０％）を求め、求めた縮尺率（８０％）でデジタル写真Ｂの画像データを縮尺処理し、画面上でのｐｉｘ／ｍの値と同じ２００ｐｉｘ／ｍの画像として画面に表示する。
この結果、利用者は、表示画面上で画像としてデジタル写真ＡとＢに写る２つの被写体の大きさを直接比較することができるようになる。
画像を合成する観点で表した処理は以下の（１）（２）の手順からなる。
（１）利用者の入力操作に応じて指定された例えば４００ｐｉｘ／ｍのデジタル写真Ａの画像データをメモリから読み出し、利用者の入力操作に応じて指定された例えば５０％の値に縮尺処理して表示する。デジタル写真Ａは表示画面上で４００ｐｉｘ／ｍの５０％である２００ｐｉｘ／ｍで表示される。
（２）利用者の入力操作に応じて指定された例えば２５０ｐｉｘ／ｍのデジタル写真Ｂの画像データをメモリから読み出し、デジタル写真Ｂのｐｉｘ／ｍの値、即ち、２５０ｐｉｘ／ｍを、デジタル写真Ａの画面上でのｐｉｘ／ｍの値、即ち、２００ｐｉｘ／ｍと比較し、縮尺率（８０％）を求め、求めた縮尺率（８０％）でデジタル写真Ｂの画像データを縮尺処理し、画面上でのｐｉｘ／ｍの値と同じ２００ｐｉｘ／ｍの画像として画面に表示する。
この結果、利用者は、表示画面上で画像としてデジタル写真ＡとＢに写る２つの被写体の大きさを直接比較することができるようになる。
カメラシステムの表示部の処理部を構成するマイクロコンピュータによる、ｐｉｘ／ｍの値を同じにして表示するより詳細な処理手順は以下の図７〜図１２で説明する手順のようになる。
図８は表示部の表示画面上に表示された選択可能に配列された各種画像データを有するデジタル写真の画像と、選択画像を表示するための表示枠を示す図である。
図８のデジタル写真は、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報を持った背景となるデジタル写真あるいは、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、カメラからの撮影距離、無限遠点の位置の情報を持った背景となるデジタル写真１ｃと、ｐｉｘ／ｍのデータが記録されているデジタル写真１ｃで構成する。
図８は表示部の表示画面上に表示された選択可能に配列された各種画像データを有するデジタル写真の画像と、選択画像を表示するための表示枠を示す図である。
図８のデジタル写真は、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報を持った背景となるデジタル写真あるいは、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、カメラからの撮影距離、無限遠点の位置の情報を持った背景となるデジタル写真１ｃと、ｐｉｘ／ｍのデータが記録されているデジタル写真１ｃで構成する。
利用者はカメラシステムの表示部を見ながら入力手段を操作してまず図８に示す画面を表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された画像枠３ａを表示した入力画面の画像データをメモリから読み出し、表示部に表示する処理を行う。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された画像枠３ａを表示した入力画面の画像データをメモリから読み出し、表示部に表示する処理を行う。
図９は図８の表示枠に背景となるデジタル写真を一つ選んで表示した表示画面を示す図である。
図９に示すように、利用者は、背景となるデジタル写真を一つ選び（１ｄ）、表示部３aの表示画面の任意の位置に任意の大きさに表示させる。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された例えば４００ｐｉｘ／ｍのデジタル写真Ａの画像データをメモリから読み出し、利用者の入力操作に応じて指定された例えば５０％の値に縮尺処理して表示する。
図９に示すように、利用者は、背景となるデジタル写真を一つ選び（１ｄ）、表示部３aの表示画面の任意の位置に任意の大きさに表示させる。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された例えば４００ｐｉｘ／ｍのデジタル写真Ａの画像データをメモリから読み出し、利用者の入力操作に応じて指定された例えば５０％の値に縮尺処理して表示する。
図１０は図９の背景画像上に選択画像を重ねて表示した合成画像を示す図である。
図１０に示すように、利用者は任意のデジタル写真１ｅを選び、背景となるデジタル写真１ｄの上に重ねる。
マイクロコンピュータは、重ねた位置にふさわしい縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるように利用者が指定したデジタル写真１ｅを拡大・縮小して、利用者が指定した位置に表示する。
図１０に示すように、利用者は任意のデジタル写真１ｅを選び、背景となるデジタル写真１ｄの上に重ねる。
マイクロコンピュータは、重ねた位置にふさわしい縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるように利用者が指定したデジタル写真１ｅを拡大・縮小して、利用者が指定した位置に表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定されたデジタル写真１ｅの画像データをメモリから読み出し、このデジタル写真１ｅの画像データを利用者の入力操作に応じて指定された背景画像の重ねた位置に合致した縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるようにデジタル写真１ｅの画像データを拡大・縮小処理して、利用者が指定した位置に表示する。
この結果、表示部には、背景となるデジタル写真１ｄの中に、選択したデジタル写真１ｅの被写体が在る画像が表示される。利用者はあたかも１枚の写真を見るように、合成した２枚のデジタル写真の被写体の大きさを比較することができる。
この結果、表示部には、背景となるデジタル写真１ｄの中に、選択したデジタル写真１ｅの被写体が在る画像が表示される。利用者はあたかも１枚の写真を見るように、合成した２枚のデジタル写真の被写体の大きさを比較することができる。
図１１は図１０の合成画像にさらに他の画像を表示した合成画像を示す図である。
利用者は、さらに別の任意のデジタル写真１ｆを選び、背景となるデジタル写真１ｄの上に重ねることができる。
表示部は、別の任意のデジタル写真１ｆを重ねた位置にふさわしい縮尺率になるように拡大・縮小して、利用者が指定した位置に表示する。
利用者は、さらに別の任意のデジタル写真１ｆを選び、背景となるデジタル写真１ｄの上に重ねることができる。
表示部は、別の任意のデジタル写真１ｆを重ねた位置にふさわしい縮尺率になるように拡大・縮小して、利用者が指定した位置に表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された他のデジタル写真１ｆの画像データをメモリから読み出し、このデジタル写真１ｆの画像データを利用者の入力操作に応じて指定された背景画像上の重ねた位置に合致した縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるようにデジタル写真１ｆの画像データを拡大・縮小処理して、利用者が入力した背景画像上の指定した位置に表示する。
この結果、表示部には、背景となるデジタル写真１ｄの中に、選択した２枚のデジタル写真１ｅと１ｆの被写体が在る画像が表示される。利用者はあたかも１枚の写真を見るように、合成した３枚のデジタル写真の被写体の大きさを比較することができる。
この結果、表示部には、背景となるデジタル写真１ｄの中に、選択した２枚のデジタル写真１ｅと１ｆの被写体が在る画像が表示される。利用者はあたかも１枚の写真を見るように、合成した３枚のデジタル写真の被写体の大きさを比較することができる。
図１２は図１１の合成画像中の１画像の表示位置を変更した合成画像を示す図である。
図１２では、利用者は、表示されているデジタル写真の任意の１枚（１ｅ）の表示位置を変更する。
表示部は、変更後の位置にふさわしい縮尺率になるように選択されたデジタル写真を拡大・縮小して表示する。
図１２では、利用者は、表示されているデジタル写真の任意の１枚（１ｅ）の表示位置を変更する。
表示部は、変更後の位置にふさわしい縮尺率になるように選択されたデジタル写真を拡大・縮小して表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定されたデジタル写真１ｅの画像データをメモリから読み出し、このデジタル写真１ｅの画像データを利用者の入力操作に応じて指定された背景画像上の重ねた位置に合致した縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるようにデジタル写真１ｅの画像データを拡大・縮小処理して、利用者が入力した背景画像上の指定した位置に表示する。
図１３は図１２の合成画像中の他の画像の表示位置を変更した合成画像を示す図である。
図１３は図１２の合成画像中の他の画像の表示位置を変更した合成画像を示す図である。
図１３では、利用者は、表示されているデジタル写真の別の任意の１枚（１ｆ）の表示位置を変更する。
表示部は、変更後の位置にふさわしい縮尺率になるように、選択されたデジタル写真１ｆを拡大・縮小して表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された他のデジタル写真１ｆの画像データをメモリから読み出し、このデジタル写真１ｆの画像データを利用者の入力操作に応じて指定された背景画像上の重ねた位置に合致した縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるようにデジタル写真１ｆの画像データを拡大・縮小処理して、利用者が入力した背景画像上の指定した位置に表示する。
表示部は、変更後の位置にふさわしい縮尺率になるように、選択されたデジタル写真１ｆを拡大・縮小して表示する。
このとき、マイクロコンピュータは、利用者の入力操作に応じて指定された他のデジタル写真１ｆの画像データをメモリから読み出し、このデジタル写真１ｆの画像データを利用者の入力操作に応じて指定された背景画像上の重ねた位置に合致した縮尺率、すなわち、背景となるデジタル写真の重ねた位置におけるｐｉｘ／ｍを後述する方法により求め、求めたｐｉｘ／ｍと等しくなるようにデジタル写真１ｆの画像データを拡大・縮小処理して、利用者が入力した背景画像上の指定した位置に表示する。
この結果、背景となるデジタル写真の中に、選択した２枚のデジタル写真の被写体が自由に移動できるような表示が得られ、利用者は常に１枚の写真を見るように、３枚のデジタル写真の被写体の大きさを比較することができる。
この結果、表示部には、背景となるデジタル写真の中に、選択した２枚のデジタル写真の被写体が自由に移動できた画像が表示される。利用者はあたかも１枚の写真を見るように、合成した３枚のデジタル写真の被写体の大きさを比較することができる。
４枚以上の複数のデジタル写真を選択した場合も同様な操作および処理が可能であり、利用者は１枚の写真を見るように複数の被写体の大きさを比較することができる。
この結果、表示部には、背景となるデジタル写真の中に、選択した２枚のデジタル写真の被写体が自由に移動できた画像が表示される。利用者はあたかも１枚の写真を見るように、合成した３枚のデジタル写真の被写体の大きさを比較することができる。
４枚以上の複数のデジタル写真を選択した場合も同様な操作および処理が可能であり、利用者は１枚の写真を見るように複数の被写体の大きさを比較することができる。
次に、上で述べた画像合成処理全体の一部分の画像の追加処理および画像の大きさを変更する処理をフローチャートに基づいて説明する。ステップ（手順）はＳと略記する。
図１５は画像の追加処理のフローチャートを示し、図１６は画像の大きさを変更する処理のフローチャートを示す。
（画像の追加処理）
スタート
（１１）画像を読み込む（Ｓ１１）
（１２）画像は一枚目か？（Ｓ１２）
読み込んだ画像が１枚目か否かを判断する。１枚目の場合（Ｙｅｓ）、Ｓ１３へ進み、１枚目でない場合（Ｎｏ）、Ｓ１５へ進む。
（１３）デフォルトの拡大率（Ｋ０）を読み出す（Ｓ１３）
（１４）読み込んだ画像データをＫ０倍に拡大して画面に表示する（Ｓ１４）
ストップ
（１５）他の任意の画像を選択（Ｓ１５）
他の任意の画像を選択する。
（１６）選択画像の拡大率（Ｋ１）を読み出す（Ｓ１６）
（１７）選択画像のオリジナルのpix／ｍの値Ｎを読み出す（Ｓ１７）
（１８）Ｎ＊Ｋ１＝Ｎ１を演算する（Ｓ１８）
Ｎ＊Ｋ１＝Ｎ１を演算し、Ｎ１を求める。
（１９）Ｎ１／Ｎ＝Ｋ２を演算する（Ｓ１９）
Ｎ１／Ｎ＝Ｋ２を演算し、Ｋ２を求める。
（２０）読み込んだ画像をＫ２倍に拡大して画面に表示する（Ｓ２０）
ストップ
図１５は画像の追加処理のフローチャートを示し、図１６は画像の大きさを変更する処理のフローチャートを示す。
（画像の追加処理）
スタート
（１１）画像を読み込む（Ｓ１１）
（１２）画像は一枚目か？（Ｓ１２）
読み込んだ画像が１枚目か否かを判断する。１枚目の場合（Ｙｅｓ）、Ｓ１３へ進み、１枚目でない場合（Ｎｏ）、Ｓ１５へ進む。
（１３）デフォルトの拡大率（Ｋ０）を読み出す（Ｓ１３）
（１４）読み込んだ画像データをＫ０倍に拡大して画面に表示する（Ｓ１４）
ストップ
（１５）他の任意の画像を選択（Ｓ１５）
他の任意の画像を選択する。
（１６）選択画像の拡大率（Ｋ１）を読み出す（Ｓ１６）
（１７）選択画像のオリジナルのpix／ｍの値Ｎを読み出す（Ｓ１７）
（１８）Ｎ＊Ｋ１＝Ｎ１を演算する（Ｓ１８）
Ｎ＊Ｋ１＝Ｎ１を演算し、Ｎ１を求める。
（１９）Ｎ１／Ｎ＝Ｋ２を演算する（Ｓ１９）
Ｎ１／Ｎ＝Ｋ２を演算し、Ｋ２を求める。
（２０）読み込んだ画像をＫ２倍に拡大して画面に表示する（Ｓ２０）
ストップ
（画像の大きさを変更する処理）
スタート
（２１）修正された画像以外に画像があるか？（Ｓ２１）
修正された画像以外に画像があるか否か判断し、無い場合（Ｎｏ）には終了（ストップ）し、ある場合（Ｙｅｓ）にはＳ２２へ進む。
（２２）画像の大きさを拡大率Ｋ３に修正する（Ｓ２２）
（２３）大きさの修正された画像のオリジナルpix／ｍの値Ｎ２を読み出す（Ｓ２３）
（２４）Ｎ２＊Ｋ３＝Ｎ３を演算する（Ｓ２４）
Ｎ２＊Ｋ３＝Ｎ３を演算し、Ｎ３を求める。
（２５）大きさを修正していない画像があるか？（Ｓ２５）
大きさを修正していない画像があるか否か判断し、無い場合（Ｎｏ）には終了（ストップ）し、ある場合（Ｙｅｓ）にはＳ２６へ進む。
（２６）未修整の画像の任意の１つを選ぶ（Ｓ２６）
（２７）選んだ画像のオリジナルpix／ｍの値Ｎ４を読み出す（Ｓ２７）
（２８）Ｎ３／Ｎ４＝Ｋ４を演算する（Ｓ２８）
Ｎ３／Ｎ４＝Ｋ４を演算し、Ｋ４を求める。
（２９）選んだ画像をＫ４倍に拡大して画面に表示する（Ｓ２９）
Ｓ２５ヘ進む
スタート
（２１）修正された画像以外に画像があるか？（Ｓ２１）
修正された画像以外に画像があるか否か判断し、無い場合（Ｎｏ）には終了（ストップ）し、ある場合（Ｙｅｓ）にはＳ２２へ進む。
（２２）画像の大きさを拡大率Ｋ３に修正する（Ｓ２２）
（２３）大きさの修正された画像のオリジナルpix／ｍの値Ｎ２を読み出す（Ｓ２３）
（２４）Ｎ２＊Ｋ３＝Ｎ３を演算する（Ｓ２４）
Ｎ２＊Ｋ３＝Ｎ３を演算し、Ｎ３を求める。
（２５）大きさを修正していない画像があるか？（Ｓ２５）
大きさを修正していない画像があるか否か判断し、無い場合（Ｎｏ）には終了（ストップ）し、ある場合（Ｙｅｓ）にはＳ２６へ進む。
（２６）未修整の画像の任意の１つを選ぶ（Ｓ２６）
（２７）選んだ画像のオリジナルpix／ｍの値Ｎ４を読み出す（Ｓ２７）
（２８）Ｎ３／Ｎ４＝Ｋ４を演算する（Ｓ２８）
Ｎ３／Ｎ４＝Ｋ４を演算し、Ｋ４を求める。
（２９）選んだ画像をＫ４倍に拡大して画面に表示する（Ｓ２９）
Ｓ２５ヘ進む
（画像上の表示位置におけるｐｉｘ／ｍの値を計算する方法）
図１４は画像上の表示位置におけるｐｉｘ／ｍの値を計算するための説明図である。
図１４により、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報を持った背景となるデジタル写真の表示位置から、その表示位置におけるｐｉｘ／ｍの値を計算する計算方法を説明する。
図２、図３で示したとおりの手段により、地面や床との接地点Ｐ、接地点Ｐにおけるｐｉｘ／ｍの値、無限遠点Ｒを求め、点Ｐから垂直に被写体に単位長（１ｍ）に相当する線分、すなわち２００ｐｉｘ／ｍであれば、２００ピクセルの線分を引く。図１４では、矢印でこれをあらわしている。
図１４は画像上の表示位置におけるｐｉｘ／ｍの値を計算するための説明図である。
図１４により、ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報を持った背景となるデジタル写真の表示位置から、その表示位置におけるｐｉｘ／ｍの値を計算する計算方法を説明する。
図２、図３で示したとおりの手段により、地面や床との接地点Ｐ、接地点Ｐにおけるｐｉｘ／ｍの値、無限遠点Ｒを求め、点Ｐから垂直に被写体に単位長（１ｍ）に相当する線分、すなわち２００ｐｉｘ／ｍであれば、２００ピクセルの線分を引く。図１４では、矢印でこれをあらわしている。
このとき、利用者が指定した描画位置Ｑにおけるｐｉｘ／ｍの値は、以下の手順で求められる。
被写体の表示される大きさはカメラからの距離（撮影距離）に反比例する性質を利用し、撮影距離が点Ｑと等しい点Ｓを直線ＰＲ上に求める。すなわち、点Ｓに対応する被写体の撮影距離は、点Ｑに対応する被写体の撮影距離と等しく、かつ点Ｓは画面上の直線ＰＲ上の点であるような点Ｓを求める。曲線ＳＱは、カメラを中心とした球面と地面との交わりによってできる円弧を撮影した曲線になる。撮影距離が十分に大きいとして、この円弧を直線で近似すると、曲線ＳＱは、点Ｑを通る水平線で近似でき、点Ｓは、点Ｑを通る水平線と直線ＰＲとの交点として求められる。点Ｓにおけるｐｉｘ／ｍの値はデジタル写真の上での三角形の相似の原理により、点Ｐにおけるｐｉｘ／ｍの値のＳＲ／ＰＲ倍であることがわかる。また点Ｓと点Ｑはカメラから等距離であることから、等縮尺である。従って、点Ｑにおけるｐｉｘ／ｍの値は点Ｓのｐｉｘ／ｍの値と同じく、点Ｐにおけるｐｉｘ／ｍの値のＳＲ／ＰＲ倍の値となる。
被写体の表示される大きさはカメラからの距離（撮影距離）に反比例する性質を利用し、撮影距離が点Ｑと等しい点Ｓを直線ＰＲ上に求める。すなわち、点Ｓに対応する被写体の撮影距離は、点Ｑに対応する被写体の撮影距離と等しく、かつ点Ｓは画面上の直線ＰＲ上の点であるような点Ｓを求める。曲線ＳＱは、カメラを中心とした球面と地面との交わりによってできる円弧を撮影した曲線になる。撮影距離が十分に大きいとして、この円弧を直線で近似すると、曲線ＳＱは、点Ｑを通る水平線で近似でき、点Ｓは、点Ｑを通る水平線と直線ＰＲとの交点として求められる。点Ｓにおけるｐｉｘ／ｍの値はデジタル写真の上での三角形の相似の原理により、点Ｐにおけるｐｉｘ／ｍの値のＳＲ／ＰＲ倍であることがわかる。また点Ｓと点Ｑはカメラから等距離であることから、等縮尺である。従って、点Ｑにおけるｐｉｘ／ｍの値は点Ｓのｐｉｘ／ｍの値と同じく、点Ｐにおけるｐｉｘ／ｍの値のＳＲ／ＰＲ倍の値となる。
また、点Ｓを求める代わりに、点Ｐに対応する被写体の対応点Ｐｒ(以降添え字のｒは被写体の点を表すことにする）の撮影距離ｄを用いて、点Ｑに対応する被写体の点Ｑｒを後述の手法で求め、求めた対応点Ｑｒの撮影距離を求め、Ｐｒ、Ｑｒの撮影距離の比の逆数を点Ｐにおけるｐｉｘ／ｍに乗じて点Ｑにおけるｐｉｘ／ｍの値を求める方式もある。
点Ｑに対応する被写体の対応点Ｑｒは以下の手法で求められる。
一般に透視中心を（０，０，−ｚ０）、投影面がｘ−ｙ平面（ｚ＝０）のとき、点（ｘ，ｙ，ｚ）が点（ｘｔ，ｙｔ，０）に投影されるとすると下記の式
を満たし、無限遠点（０，０，∞）は、（０，０，０）に投影される。
点Ｑに対応する被写体の対応点Ｑｒは以下の手法で求められる。
一般に透視中心を（０，０，−ｚ０）、投影面がｘ−ｙ平面（ｚ＝０）のとき、点（ｘ，ｙ，ｚ）が点（ｘｔ，ｙｔ，０）に投影されるとすると下記の式
デジタル写真を被写体の空間におけるｘ−ｙ平面（ｚ＝０）、カメラの位置を透視中心（０，０，−ｚ０）、被写体の点Ｐｒは撮影により投影面上の点（ｘ０，ｙ０，０）に対応し、デジタル写真上の点Ｐのピクセル位置を（ｕ０，ｖ０），無限遠点Ｒのピクセル位置を（ｕ１，ｖ１）とする。ｘ−ｙ平面の点（ｘ，ｙ，０）が、デジタル画面上でのピクセル位置（ｕ，ｖ）に対応するとき、下記の式
を満たす。そうであるとすると、下記の式
が得られ、被写体の点Ｐｒの撮影距離ｄから下記の式
が求められる。すなわち、ｘ０，ｙ０，ｚ０の値は、デジタル写真上の点Ｐの位置、対応する被写体の点Ｐｒの撮影距離ｄ、無限遠点Ｒの位置から求められる。
一般に、デジタル画面上のピクセル位置Ｑ（ｕ，ｖ）に対応する被写体の位置Ｑｒ（ｘ，ｙ，ｚ）は、ｘ−ｙ平面上の対応点（ｕ−ｕ１，ｖ−ｖ１，０）と透視中心（０，０，−ｚ０）とを結ぶ直線上の任意の点であるが、たとえば点Ｑｒは「点Ｐｒと同じ水平面上にある」、「点Ｐｒと同じ垂直面上にある」といった背景となるデジタル写真の制約条件を付加することで求めることができる。本発明の図１４の例では、点Ｐｒと同じ水平面上に点Ｑｒがあるという制約条件を選択することで、点Ｑｒの座標は（ｘ，ｙ０，ｚ）、すなわち（ｘ，ｖ０−ｖ１，ｚ）と表され、数１の式から、ｘおよびｚを求めることができる。
一般にＣＧの世界では、３次元空間を自由に動かせるオブジェクトを含んだ世界の描画を行う場合、各オブジェクトをモデリングし、それらを３次元空間に配置し、レンダリングすることにより、１枚の画像を得る。そのために、デジタル写真の画像を用いて本発明と同様の効果を得るには、動かすオブジェクトのモデリング作業が必要となる。モデリング作業には専門的知識が要求され、一般の利用者が簡便に手持ちの写真のオブジェクトをモデリングすることは困難である。さらに、合成画像の表示時にはそれらモデリングされたオブジェクトを３次元空間に配置し、それをレンダリングして１枚の画像を得るために、多量のデータ、大量の計算処理を必要とする。
これに対し、本発明では、オリジナルのデジタル写真の被写体の１ｍの長さがデジタル写真の何ピクセルとして記録されているのかを示すｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報を用意するだけで、同様の効果が得られる。ｐｉｘ／ｍの値、地面や床との接地点の画像位置、無限遠点の位置の情報は、専用のカメラで撮影するだけでなく、既に撮影されたデジタル写真を見ながら利用者が簡単に作りだし、デジタル写真に書き込むこともできる。さらに、１枚の合成画像を得るために必要な計算も非常に少なくて済むという特徴がある。
図１７は本発明のカメラシステムのブロック構成図である。
本発明のカメラシステム１０は、マイクロコンピュータ１１に撮像部１５および表示部１６と入力手段１７を接続して構成され、マイクロコンピュータ１１のメモリ１２に読み込まれたプログラムにより、上記の処理手順を実行する。マイクロコンピュータ１１は、一般的なＣＰＵ（中央演算装置）１３とメモリ１２とＩ／Ｏ（入出力）インターフェース１４から構成される。入力手段１７は、ＵＳＢ端子等の外部端子、キーボード等から構成される。上で述べた処理手順は記録媒体又はメモリにプログラムとして記録する。
本発明のカメラシステム１０は、マイクロコンピュータ１１に撮像部１５および表示部１６と入力手段１７を接続して構成され、マイクロコンピュータ１１のメモリ１２に読み込まれたプログラムにより、上記の処理手順を実行する。マイクロコンピュータ１１は、一般的なＣＰＵ（中央演算装置）１３とメモリ１２とＩ／Ｏ（入出力）インターフェース１４から構成される。入力手段１７は、ＵＳＢ端子等の外部端子、キーボード等から構成される。上で述べた処理手順は記録媒体又はメモリにプログラムとして記録する。
図１８は本発明のカメラシステムの構成をブロック表示した構成図である。
本発明のカメラシステムは上で説明したすべての機能を実行することが出来るようにプログラムおよび部品が構成されている。
カメラシステムは、撮像から画像情報の記録までの処理を行う画像情報記録手段３３と、記録されている画像情報を読み出す画像情報再生手段３４を有する。
画像情報記録手段３３は、カメラシステムの撮像系と、ｐｉｘ／ｍ演算手段２４と、記録手段２５と、記憶手段２６からなる。
本発明のカメラシステムは上で説明したすべての機能を実行することが出来るようにプログラムおよび部品が構成されている。
カメラシステムは、撮像から画像情報の記録までの処理を行う画像情報記録手段３３と、記録されている画像情報を読み出す画像情報再生手段３４を有する。
画像情報記録手段３３は、カメラシステムの撮像系と、ｐｉｘ／ｍ演算手段２４と、記録手段２５と、記憶手段２６からなる。
記録手段２５は、カメラシステムのレンズ系２１及びピント調節系等のセンサ２２を介して取得した撮像画像２３を構成するデジタル画像情報ｂと、カメラシステムのレンズ系から被写体までの距離等の関数を表すセンサ２２の測定情報ａと、デジタル画像情報ｂに基づきｐｉｘ／ｍ演算手段２４において上で述べたようにして求めたｐｉｘ／ｍの値に関する情報ｃを組み合わせて１枚の画像毎の組み合わせ画像情報ｄを構成する。組み合わせ画像情報ｄはメモリ等の記憶手段２６へ記憶する。
画像情報再生手段３４は、記憶手段２６と、画像情報修正手段３０と、画像合成手段３１と、表示手段３２からなる。
画像情報修正手段３０は、背景画像内の位置に応じた画像情報の修正手段２７、倍率変更手段２８、ｐｉｘ／ｍ値変更手段２９からなり、記憶手段２６から入力手段により選択した選択画像の画像情報ｅを読み出し、適宜、倍率変更処理、ｐｉｘ／ｍ値変更処理、背景画像内の位置に応じた画像情報の修正処理を行い修正画像情報ｆを出力する。画像合成手段３１は、入力手段により選択した複数の修正画像を合成して合成画像信号ｇを作成し出力する。表示手段３２は合成画像信号ｇにより画像表示する。
画像情報修正手段３０は、背景画像内の位置に応じた画像情報の修正手段２７、倍率変更手段２８、ｐｉｘ／ｍ値変更手段２９からなり、記憶手段２６から入力手段により選択した選択画像の画像情報ｅを読み出し、適宜、倍率変更処理、ｐｉｘ／ｍ値変更処理、背景画像内の位置に応じた画像情報の修正処理を行い修正画像情報ｆを出力する。画像合成手段３１は、入力手段により選択した複数の修正画像を合成して合成画像信号ｇを作成し出力する。表示手段３２は合成画像信号ｇにより画像表示する。
他の実施態様として、記憶手段を例えばＵＳＢメモリ等の携帯可能なメモリとし、画像情報記録手段３３と、画像情報再生手段３４を別体に構成することもできる。
画像情報記録手段３３と、画像情報再生手段３４を別体に構成するときには、画像情報記録手段３３で作成したｐｉｘ／ｍ値を含む画像情報はメモリ、好ましくはフラッシュメモリ、ＵＳＢメモリ等の携帯型のメモリに記憶させて、必要に応じて保管・管理する。必要に応じてメモリから読み出して画像情報再生手段３４により再生し、表示し、編集し、記憶する。また、メモリ内のｐｉｘ／ｍ値を含む画像情報は、インターネット等の伝送媒体を介して送受信することもできる。
画像情報記録手段３３と、画像情報再生手段３４を別体に構成するときには、画像情報記録手段３３で作成したｐｉｘ／ｍ値を含む画像情報はメモリ、好ましくはフラッシュメモリ、ＵＳＢメモリ等の携帯型のメモリに記憶させて、必要に応じて保管・管理する。必要に応じてメモリから読み出して画像情報再生手段３４により再生し、表示し、編集し、記憶する。また、メモリ内のｐｉｘ／ｍ値を含む画像情報は、インターネット等の伝送媒体を介して送受信することもできる。
１、１ａ〜１ｆ 画像
３、３ａ 表示枠
１０ カメラシステム
１１ マイクロコンピュータ
１２ メモリ
１３ ＣＰＵ
１４ Ｉ／Ｏインターフェース
１５ 撮像部
１６ 表示部
１７ 入力手段
２１ レンズ系
２２ センサ
２３ 撮像画像
２４ ｐｉｘ／ｍ演算手段
２５ 記録手段
２６ 記憶手段
２７ 背景画像内の位置に応じた画像情報の修正手段
２８ 倍率変更手段
２９ ｐｉｘ／ｍ値変更手段
３０ 画像情報修正手段
３１ 画像合成手段
３２ 表示手段
３３ 画像情報記録手段
３４ 画像情報再生手段
３、３ａ 表示枠
１０ カメラシステム
１１ マイクロコンピュータ
１２ メモリ
１３ ＣＰＵ
１４ Ｉ／Ｏインターフェース
１５ 撮像部
１６ 表示部
１７ 入力手段
２１ レンズ系
２２ センサ
２３ 撮像画像
２４ ｐｉｘ／ｍ演算手段
２５ 記録手段
２６ 記憶手段
２７ 背景画像内の位置に応じた画像情報の修正手段
２８ 倍率変更手段
２９ ｐｉｘ／ｍ値変更手段
３０ 画像情報修正手段
３１ 画像合成手段
３２ 表示手段
３３ 画像情報記録手段
３４ 画像情報再生手段
Claims (6)
- 撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情
報を読み出す画像情報再生手段を有するカメラシステムであって、
前記画像情報記録手段は、カメラの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段と、記憶手段からなり、撮像画像情報に少なくともその撮像画像に係るｐｉｘ／ｍの値、あるいはｐｉｘ／ｍの値、接地点、および無限遠点の情報を組み合わせた組み合わせ画像情報を作成し記憶し、前記画像情報再生手段は、記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に前記ｐｉｘ／ｍの値、接地点、および無限遠点の情報に基づいて適宜修正処理を施し、前記修正処理を施した画像の接地点を背景となる画像の利用者の指示する位置において等しいｐｉｘ／ｍの値で接地するように重ね合わせて任意数合成処理し表示するようにしたことを特徴とするカメラシステム。 - 前記記録手段は、前記カメラのレンズ系及びピント調節系のセンサを介して取得した撮
像画像を構成するデジタル画像情報と、前記カメラから被写体までの距離の関数を表すセ
ンサの測定情報と、デジタル画像情報に基づきｐｉｘ／ｍ演算手段において求めたｐｉｘ／ｍの値、あるいはｐｉｘ／ｍの値、接地点、および無限遠点に関する情報を組み合わせて１枚の画像毎の組み合わせ画像情報を構成することを特徴とする請求項１記載のカメラシステム。 - 前記画像情報修正手段は、背景画像内の位置に応じた画像情報の修正手段、倍率変更手段、ｐｉｘ／ｍ値変更手段からなり、前記記憶手段から入力手段により選択した選択画像の画像情報を読み出し、倍率変更処理、背景画像のｐｉｘ／ｍの値、接地点、および無限遠点の情報に基づいた重畳する画像のｐｉｘ／ｍ値変更処理、前記背景画像内の位置に応じた前記重畳する画像の画像情報の修正処理を行い修正画像情報を出力することを特徴とする請求項１又は２記載のカメラシステム。
- 前記画像合成手段は、入力手段により選択した複数の修正画像を合成して合成画像信号を作成し出力することを特徴とする請求項１乃至３のいずれか１項記載のカメラシステム。
- 撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情
報を読み出す画像情報再生手段を有するカメラシステムに用いるための、
撮像からｐｉｘ／ｍの値、あるいはｐｉｘ／ｍの値、接地点、および無限遠点の情報を組み合わせた組み合わせ画像情報の記録までの処理を行う画像情報記録手段であって、
カメラシステムの撮像系と、ｐｉｘ／ｍ演算手段と、記録手段からなり、撮像画像情報にはその撮像画像に係るｐｉｘ／ｍの値、あるいはｐｉｘ／ｍの値、接地点、および無限遠点の情報を組み合わせた組み合わせ画像情報を作成し記憶することを特徴とする画像情報記録手段。 - 撮像から画像情報の記録までの処理を行う画像情報記録手段と、記録されている画像情
報を読み出す画像情報再生手段を有するカメラシステムに用いるための、
記録されているｐｉｘ／ｍの値、あるいはｐｉｘ／ｍの値、接地点、および無限遠点の情報を組み合わせた組み合わせ画像情報を読み出す画像情報再生手段であって、
記憶手段と、画像情報修正手段と、画像合成手段と、表示手段からなり、前記組み合わせ画像情報を読み出し、この組み合わせ画像情報に前記ｐｉｘ／ｍの値、接地点、および無限遠点の情報に基づいて適宜修正処理を施し、前記修正処理を施した画像の接地点を背景となる画像の利用者の指示する位置において等しいｐｉｘ／ｍの値で接地するように重ね合わせて任意数合成処理し表示することを特徴とする画像情報再生手段。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008142408A JP5245156B2 (ja) | 2008-05-30 | 2008-05-30 | カメラシステム、そのための画像情報再生手段、画像情報再生手段 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008142408A JP5245156B2 (ja) | 2008-05-30 | 2008-05-30 | カメラシステム、そのための画像情報再生手段、画像情報再生手段 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009290664A JP2009290664A (ja) | 2009-12-10 |
| JP5245156B2 true JP5245156B2 (ja) | 2013-07-24 |
Family
ID=41459392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008142408A Expired - Fee Related JP5245156B2 (ja) | 2008-05-30 | 2008-05-30 | カメラシステム、そのための画像情報再生手段、画像情報再生手段 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5245156B2 (ja) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09159413A (ja) * | 1995-12-12 | 1997-06-20 | Olympus Optical Co Ltd | 画像処理装置及びモデル作成装置 |
| JP2001024920A (ja) * | 1999-07-02 | 2001-01-26 | Ricoh Co Ltd | デジタルカメラ |
| JP2002199358A (ja) * | 2000-12-27 | 2002-07-12 | Sony Corp | 画像情報送信装置及び方法、画素情報受信装置及び方法、並びに画像送受信システム |
| JP2006244329A (ja) * | 2005-03-07 | 2006-09-14 | Hitachi Ltd | 携帯端末および情報処理装置、システム |
| JP2008103850A (ja) * | 2006-10-17 | 2008-05-01 | Olympus Imaging Corp | カメラ及び画像検索システム並びに画像検索方法 |
| JP4860431B2 (ja) * | 2006-10-26 | 2012-01-25 | 三菱電機株式会社 | 画像生成装置 |
-
2008
- 2008-05-30 JP JP2008142408A patent/JP5245156B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009290664A (ja) | 2009-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4262014B2 (ja) | 画像撮影装置および画像処理方法 | |
| JP3847753B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
| JP5517746B2 (ja) | 画像処理装置およびその方法 | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| US20100238325A1 (en) | Image processor and recording medium | |
| KR20130103527A (ko) | 핸드헬드 기기 상에서 입체적인 (3디) 파노라마 생성 | |
| WO2012146127A1 (en) | Obtaining distance between different points on an imaged object | |
| US20210065331A1 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
| JP6544996B2 (ja) | 制御装置及び制御方法 | |
| JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
| JP4581512B2 (ja) | ３次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
| JP4689548B2 (ja) | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス | |
| JP5805013B2 (ja) | 撮像画像表示装置、撮像画像表示方法、プログラム | |
| KR101082545B1 (ko) | 영상 변환 기능을 구비한 이동통신 단말기 | |
| JP6257260B2 (ja) | 撮像装置及びその制御方法 | |
| JP4266736B2 (ja) | 画像処理方法および装置 | |
| JP3241243B2 (ja) | パノラマ画像合成システム及びパノラマ画像合成方法 | |
| JP5245156B2 (ja) | カメラシステム、そのための画像情報再生手段、画像情報再生手段 | |
| JP4262013B2 (ja) | 画像処理方法および画像生成装置 | |
| JP6320165B2 (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
| JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
| JP4266737B2 (ja) | 画像処理方法および装置 | |
| Jachimski | Video Stereo Digitizer-a small digital Stereophotogrammetric Working Station for the needs of SIT and other application | |
| JPH05242204A (ja) | 建造物及びその周辺の仮想完成画像の作成表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100224 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5245156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |