JP4864295B2 - 画像表示システム、画像表示装置およびプログラム - Google Patents

Description

本発明は、画像表示システム、画像表示装置およびプログラムに関する。特に、本発明は、利用者に携帯される表示部を有する画像表示システム、画像表示装置およびプログラムに関する。

画像表示装置は、利用者に情報を提供するために画像を表示する装置であり、利用者の利用頻度が最も高い情報提供手段の一つである。しかし、多くの画像が連続して表示されると、利用者は、表示された画像から有益な情報を抽出することができなくなる。このため、表示させるべき表示画像は適切に選択される必要がある。従来の表示画像の選択方法としては、例えば、携帯通信端末の位置に基づいて、その位置の周辺の店舗情報などを配信する方法がある（例えば非特許文献１参照）。
"ＫＤＤＩ、ＧＰＳでマクドナルドの店舗情報を配信する「位置情報広告」"、[online]、２００２年１月２１日、ケータイＷａｔｃｈ、[平成１５年４月７日検索]、インターネットURL:http://k-tai.impress.co.jp/cda/article/news_toppage/7836.html＞

利用者が画像表示装置を携帯している場合、画像表示装置の方向によって表示している画像を切り換えると、利用者は、画像の内容を、方向に結びつけて理解することができる。従って、表示装置の方向によって表示画像を切り換えることができるようにするのが好ましい。

上記課題を解決するために、本発明の第１の形態においては、表示画像を表示する画像表示システムであって、表示画像を保持する画像保持部と、利用者に携帯され、表示画像を表示する表示部と、表示部と一体に携帯され、外部を撮像画像として撮像する撮像部と、撮像部が異なるタイミングで撮像した複数の撮像画像を解析して表示部が動いた移動量を算出する移動量算出部と、撮像画像とは異なる表示画像を、移動量算出部が算出した移動量に基づいて変更し、表示部に表示させる表示制御部とを備える。

上記画像表示システムにおいて、画像保持部は、表示画像を変更する変更情報と表示部の移動量とを対応付けて格納し、表示制御部は、画像保持部を参照することにより、移動量算出部が算出した移動量に対応付けられた表示画像の変更情報に基づいて、変更後の表示画像を表示部に表示させてもよい。

上記画像表示システムにおいて、画像保持部は、一の表示画像を基準にした、他の複数の表示画像の相対的な方向を、他の複数の表示画像のそれぞれに対応付けて格納しており、表示制御部は、相対的な方向を用いて、表示部に表示すべき表示画像を選択してもよい。

上記画像表示システムにおいて、撮像部は、表示部の背面に固定されており、移動量算出部は、表示部の方向の変化を算出し、表示制御部は、現在表示している表示画像に対応付けられている方向から、表示部の方向の変化ほど異なる方向に対応付けられている表示画像を新たに画像保持部から選択し、表示部に表示している表示画像を、新たに選択した表示画像に更新してもよい。

上記画像表示システムにおいて、画像保持部は、表示画像より広域である原画像、および、原画像内の位置を変更情報として保持しており、表示制御部は、画像保持部を参照することにより、表示部の方向の変化に基づいて原画像内の位置を特定し、原画像から表示すべき表示画像を切り出し、表示部に表示させてもよい。

上記画像表示システムにおいて、撮像部が撮像した複数の撮像画像を合成して原画像を生成し、生成した原画像を画像保持部に保持させる原画像生成部を更に備えてもよい。

上記画像表示システムにおいて、原画像生成部は、複数の撮像画像を撮像した間に撮像部が移動した移動量を算出し、算出された移動量と画像内の位置とを対応付けてもよい。

上記画像表示システムにおいて、原画像生成部は、対応付けた移動量と画像内の位置とを原画像に対応付けて、画像保持部に格納してもよい。

上記画像表示システムにおいて、原画像生成部は、複数の撮像画像のいずれかを基準位置画像に設定し、設定した基準位置画像に対する他の複数の撮像画像に基づいて、撮像部が移動した移動量を算出してもよい。

上記画像表示システムにおいて、原画像生成部は、複数の撮像画像を撮像した間に表示部が動いた移動量を算出し、算出した移動量と原画像内の位置とを対応付け、画像保持部に保持させてもよい。

上記画像表示システムにおいて、表示部側に配され、利用者を撮像する利用者撮像部を更に備え、原画像生成部は、利用者撮像部が撮像した利用者画像に基づいて、複数の撮像画像を撮像した間における表示部の移動量を算出してもよい。

上記画像表示システムにおいて、撮像部は魚眼レンズを有し、魚眼レンズで撮像された撮像画像の歪を補正して原画像を生成し、生成した原画像を画像保持部に保持させる原画像生成部を更に備えてもよい。

上記画像表示システムにおいて、利用者を撮像する利用者撮像部と、利用者撮像部の撮像画像に基づいて、利用者撮像部と利用者の距離の変化を算出する利用者距離算出部とを更に備え、表示制御部は、利用者と利用者撮像部との距離が近づくにつれて、表示部における表示画像を拡大してもよい。

上記画像表示システムにおいて、表示画像を撮像して画像保持部に格納させる表示画像撮像部を更に備え、表示制御部は、利用者と利用者撮像部との距離が近づくにつれて表示画像撮像部の撮像倍率を大きくしてもよい。

上記画像表示システムにおいて、表示画像撮像部は、表示部及び表示制御部とは異なる場所に配置されており、表示制御部から、無線で撮像倍率の指示を受信し、受信した指示に基づいて表示画像の撮像倍率を変更し、かつ撮像した表示画像を無線で表示制御部に送信してもよい。

上記画像表示システムにおいて、表示制御部は、表示部上に、表示画像のいずれかの箇所を指し示すポインタを表示し、移動量算出部が算出した移動量に基づいて、表示画像の変更として、ポインタが指し示す箇所を変更してもよい。

上記画像表示システムにおいて、利用者からポインタの位置を変更する指示を受け取る指示入力部を更に備え、移動量算出部は、指示入力部がポインタの位置を変更する指示を受け取った場合に、通常時の撮像画像より解像度の低い撮像画像に基づいて、移動量を算出してもよい。

上記画像表示システムにおいて、撮像部は、撮像画像の複数の画素に対応して設けられた複数の撮像素子を有し、指示入力部がポインタの位置を変更する指示を受け取った場合に、複数の撮像素子のうちの少なくとも一部を除いた撮像素子が出力する画素信号に基づいて、撮像画像を生成し、移動量算出部に供給してもよい。

上記画像表示システムにおいて、撮像部は、複数の撮像素子と被写体との間に設けられた光学レンズと、光学レンズのフォーカス位置を、被写体の位置に制御する自動フォーカス部とを更に有し、自動フォーカス部は、指示入力部がポインタの位置を変更する指示を受け取った場合に、光学レンズのフォーカス位置を被写体の位置とは異なる位置に制御して撮像画像を撮像させてもよい。

上記画像表示システムにおいて、撮像部は予め定められたフレームレートで動画像を撮像し、移動量算出部は、指示入力部がポインタの位置を変更する指示を受け取った場合に、撮像部が動画像を撮像するフレームレートを上昇させてもよい。

上記画像表示システムにおいて、移動量算出部は、指示入力部がポインタの位置を変更する指示を受け取った場合に、撮像画像のコントラストを上昇させる画像処理を行い、コントラストを上昇させた撮像画像に基づいて、移動量を算出してもよい。

上記画像表示システムにおいて、撮像部は、撮像画像における被写体までの距離を測定する測距部を更に有し、移動量算出部は、測距部が測定した被写体までの距離及び撮像画像における被写体の位置の変化に基づいて、移動量を算出し、表示制御部は、移動量算出部が算出した移動量に基づいて、ポインタの位置の変化量を算出してもよい。

上記画像表示システムにおいて、測距部は、撮像画像に複数の被写体が撮像されている場合、それぞれの被写体までの距離を測定し、移動量算出部は、測距部が測定した距離が最も小さい被写体を検出し、検出した被写体までの距離、及び当該被写体の位置の変化に基づいて、移動量を算出してもよい。

上記画像表示システムにおいて、移動量算出部は、距離が最も小さい被写体及び当該被写体と距離が異なる他の被写体の位置の変化量の比に更に基づいて、移動量を算出してもよい。

上記画像表示システムにおいて、移動量算出部は、表示部の速度または加速度の少なくとも一方を移動量として算出し、表示制御部は、移動量算出部により算出された移動量に比例した距離分だけ、表示画面上のポイントを移動してもよい。

本発明の第２の形態においては、利用者に携帯され、表示画像を表示する画像表示装置であって、表示画像を表示する表示部と、表示部と一体に携帯され、外部を撮像画像として撮像する撮像部と、撮像部が異なるタイミングで撮像した複数の撮像画像を解析して表示部が動いた移動量を算出する移動量算出部と、撮像画像とは異なる表示画像を、移動量算出部が算出した移動量に基づいて変更し、表示部に表示させる表示制御部とを備える。

本発明の第３の形態においては、利用者に携帯され、表示画像を表示する画像表示装置、を制御するプログラムであって、画像表示装置に、表示画像を表示部に表示する表示機能、表示部と一体に携帯される撮像部を用いて、外部を撮像画像として撮像する撮像機能、撮像機能が異なるタイミングで撮像した複数の撮像画像を解析して表示部が動いた移動量を算出する移動量算出機能、および、撮像画像とは異なる表示画像を、移動量算出機能が算出した移動量に基づいて変更し、表示機能により表示部に表示させる表示制御機能を実現させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

上記説明から明らかなように、本発明によれば表示装置の方向によって表示画像を切り換えることができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の第１の実施形態である画像表示システムの使用例を示す図である。画像表示システムは、携帯電話機１００及び表示制御装置２００を備える。携帯電話機１００は表面に表示部を有すると共に、背面に撮像部１１０を有する。携帯電話機１００は、撮像部１１０に動画を撮像させ、撮像した動画を解析し、携帯電話機１００の方向の変化すなわち表示部の方向の変化を一定時間ごと、例えば５秒ごとに算出する。携帯電話機１００は算出した表示部の方向の変化を表示制御装置２００に無線で送信する。表示制御装置２００は、表示部１３０が表示すべき表示画像を予め方向に対応付けて保持している。そして、受信した表示部の方向の変化に基づいて、表示すべき表示画像を選択し、携帯電話機１００に送信する。携帯電話機１００は、表示部が表示する画像を、受信した表示画像に更新する。ここで、携帯電話機１００は、本発明における画像表示装置の一例である。

このように、本実施形態にかかる画像表示システムは、表示部との相対位置が予め固定されている撮像部１１０が撮像した画像を解析し、表示部の方向の変化を算出する。そして算出した方向の変化に基づいて、表示すべき表示画像を選択して更新させる。従って、携帯電話機１００の利用者は、画像の内容を、表示部が向いている方向、または方向の変化と結びつけて理解することができる。

図２は、携帯電話機１００及び表示制御装置２００の構成を示すブロック図である。携帯電話機１００は、撮像部１１０の他に、移動量算出部１２０及び表示部１３０を有する。撮像部１１０は例えばＣＣＤであり、携帯電話機１００の背面が向いている方向を動画で撮像する。移動量算出部１２０は、撮像部１１０が撮像した動画を解析して、撮像部１１０の方向の変化量を移動量として算出する。ここで、撮像部１１０は表示部１３０に対して固定されているので、この算出した撮像部１１０の方向の変化を表示部１３０の方向の変化としてよい。よって、移動量算出部１２０は、算出した撮像部１１０の方向の変化を表示部１３０の方向の変化として、表示制御装置２００に送信する。表示部１３０は、表示制御装置２００から表示画像を随時受信し、表示している画像を表示制御装置２００から受信した最新の表示画像に更新する。

表示制御装置２００は、画像保持部２１０及び表示制御部２２０を有する。画像保持部２１０は、複数の表示画像を、表示画像のそれぞれの方向に対応付けて保持している。例えば、画像保持部２１０は、表示画像としてＪＰＥＧ形式などのイメージデータを保持している。表示制御部２２０は、表示部１３０の方向の変化、及び画像保持部２１０が保持している複数の表示画像の方向に基づいて、表示部１３０が表示すべき表示画像を選択し、携帯電話機１００の表示部１３０に送信する。表示制御部２２０は、例えば表示部１３０が向いている方向を算出し、算出した方向に対応して画像保持部２１０に保持されている表示画像を、画像保持部２１０から選択する。他の形態として、表示制御部２２０は、表示部１３０の方向の変化を受信し、現在表示部１３０に表示されている表示画像から、受信した変化ほど異なる方向に対応付いている表示画像を画像保持部２１０から選択する。

このように画像保持部２１０を表示制御装置２００に保持させた場合、携帯電話機１００は、複数の表示画像を保持しておく必要はない。このため携帯電話機１００のメモリを小さくすることができる。従って携帯電話機１００は小型化し、利用者に携帯されやすくなる。一方、他の形態として、表示制御装置２００の画像保持部２１０は複数の表示画像をその名称に対応づけて格納しており、表示画像の名称と方向とを対応付けて格納した対応格納部および表示制御部２２０が携帯電話機１００側に設けられてもよい。この場合に、表示制御部２２０が対応格納部を参照して表示画像の名称を特定し、この名称を有する表示画像を表示制御装置２００の画像保持部２１０から取得して、表示部１３０に表示する。さらに、他の実施形態として、携帯電話機１００の内部に画像保持部２１０および表示制御部２２０を設け、携帯電話機１００と別体の表示制御装置２００を用いなくてもよい。この場合には、携帯電話機１００は携帯電話機１００の移動に伴って表示画像を変更する場合に外部と通信する必要がないので、早くかつ通信状態に左右されずに表示画像を変更することができる。
また、携帯電話機１００が動画を解析して表示部１３０の方向の変化を算出しているため、表示制御装置２００に撮像部１１０が撮像した動画を送信しなくてよい。従って、携帯電話機１００と表示制御装置２００の間の通信量は少なくなる。

図３は、画像保持部２１０のデータ構成の一例を示すテーブルである。本例において画像保持部２１０は、複数の表示画像のそれぞれを、その表示画像が表示されるときの表示部１３０の方向に対応付けて保持している。例えば、画像保持部２１０は、ある表示画像を基準位置画像に設定し、その基準位置画像を基準としたときの方向（例えば角度）を、他の複数の表示画像のそれぞれに対応付けて保持している。このようにすると、移動量算出部１２０が表示部１３０の絶対的な方向すなわち東西南北を算出できない場合でも、表示制御部２２０は、以下のように動作することで、表示部１３０が表示する表示画像を、表示部１３０の方向の変化に基づいて更新することができる。すなわち、基準位置画像を最初に表示部１３０に表示させる。そして表示部１３０の方向の変化量を検出した場合に、表示部１３０が表示する表示画像を、表示部１３０の方向の変化量ほど異なる方向に対応付けられている表示画像に更新する。

図４は、本実施形態の画像表示システムの動作の一例を示すフローチャートである。携帯電話機１００の撮像部１１０は動画を撮像する（Ｓ１０）。移動量算出部１２０は、撮像部１１０が撮像した動画を解析し、携帯電話機１００の方向の変化すなわち表示部１３０の方向の変化を算出する（Ｓ２０）。そして移動量算出部１２０は、算出した表示部１３０の変化を表示制御装置２００に送信する（Ｓ３０）。

表示制御装置２００の表示制御部２２０は、現在表示部１３０に表示されている表示画像から、移動量算出部１２０から受信した変化ほど異なる方向に対応付いている表示画像を画像保持部２１０から選択する（Ｓ４０）。そして表示制御部２２０は選択した表示画像を、表示部１３０の表示画像を更新するために、表示部１３０に送信する（Ｓ５０）。
表示部１３０は、表示する画像を、新たに受信した表示画像に更新する（Ｓ６０）。

画像表示システムは、携帯電話機１００の動作がすむまで（Ｓ８０）、Ｓ１０〜Ｓ６０の動作を、予め定められた時間ごと、例えば５秒〜１０秒ごとに繰り返す（Ｓ７０）。
従って、画像表示システムによれば、携帯電話機１００の表示部１３０の方向が変化しても、変化した後の方向に対応した表示画像を表示部１３０に表示させることができる。従って、携帯電話機１００の利用者は、表示部１３０に表示されている表示画像を、表示部１３０の方向に関連付けて理解することができる。

図５は、図４のＳ２０の詳細を示すフローチャートである。移動量算出部１２０は、あるフレーム画像における被写体の位置と、特定の時間前に撮像されたフレーム画像における被写体の位置との差分を算出する（Ｓ１１０）。そして、画像内における被写体の位置の差分を用いて、携帯電話機１００の方向の変化を算出する（Ｓ１２０）。被写体の位置の差分は、携帯電話機１００が静止している場合は携帯電話機１００の方向の変化に比例する。このため、移動量算出部１２０は、画像内における被写体の位置の差分を用いて、携帯電話機１００の方向の変化を算出することができる。

図６は、画像保持部２１０の他のデータ構成を示すテーブルである。本例において画像保持部２１０は、表示部１３０が表示する表示画像より広域の画像である複数の原画像を、各々の原画像の方向の範囲を示す情報に対応付けて保持している。この場合、表示制御部２２０は、表示部１３０の方向の変化、原画像の方向の範囲を示す情報、及び表示画像の方向の範囲を示す情報に基づいて、原画像から表示画像を切り出し、表示部１３０に表示させる。このようにすると、画像表示システムは、表示部１３０の表示画像を連続して変化させることができる。
ここで原画像の方向の範囲は、好ましくは各々の原画像の方向の範囲を足し合わせると３６０°となるようにする。または一部を重複させて３６０°を越えるようにする。

図７は、画像保持部２１０が図６のデータ構成を取る場合の、図６のＳ４０の詳細を示すフローチャートである。
表示制御部２２０は、表示部１３０が表示する表示画像の方向の範囲を示す情報を予め取得しておく。そして、表示制御部２２０は表示部１３０が表示すべき表示画像の中心の方向を、移動量算出部１２０が算出した方向の変化量ほどずらして新たに定める（Ｓ４２）。そして、新たに定めた中心の方向と、表示部１３０の表示範囲の角度の範囲を示す情報を用いて、原画像から切り出すべき画像の範囲を定め、定めた範囲の画像を切り出して表示画像とする（Ｓ４４）。画像を切り出すべき範囲が複数の原画像に跨る場合、それぞれの原画像から必要な範囲の画像を切り出し、切り出した画像を合成して表示画像を生成する。
このようにすると、表示制御部２２０は、原画像から、表示部１３０の方向の変化に対応した表示画像を切り出すことができる。

図８は、画像表示システムの変形例を示すブロック図である。本変形例は、図２に示した画像表示システムの構成に、利用者撮像部１４０、利用者撮像部１４２、利用者距離算出部１５０、及び表示画像撮像部３００を加えたものである。

利用者撮像部１４０及び利用者撮像部１４２は、携帯電話機１００の表面に互いに離間して設けられ、携帯電話機１００の利用者を撮像して動画を生成する。利用者距離算出部１５０は、利用者撮像部１４０及び利用者撮像部１４２が撮像した動画のフレーム画像を三角測量の原理に基づいて解析し、携帯電話機１００と利用者の距離の変化を算出し、表示制御装置２００の表示制御部２２０に送信する。

表示画像撮像部３００は、携帯電話機１００及び表示制御装置２００とは異なる場所に設置されている。表示画像撮像部３００は、表示制御装置２００の表示制御部２２０からの指示を無線で受信し、この指示に基づいて表示画像を撮像する。そして撮像した表示画像を無線で表示制御部２２０に送信する。表示制御部２２０からの指示は、例えば撮像倍率の指示である。表示制御部２２０は表示画像撮像部３００から受信した表示画像を画像保持部２１０に格納する。

ここで表示制御部２２０は、利用者距離算出部１５０から受け取った、携帯電話機１００と利用者の距離の変化を用いて表示画像撮像部３００を制御する。例えば表示制御部２２０は、携帯電話機１００と利用者の距離が近づくにつれて、表示画像撮像部３００の撮像倍率を大きくする。このようにすると、表示部１３０に顔を近づけると表示画像が拡大する。従って利用者は、顔を表示部１３０に近づけるという自然な動作をおこなうことで、表示画像を詳細に確認することができるようになる。

なお、表示制御部２２０は、画像処理によって表示部１３０の表示画像の倍率を変化させてもよい。例えば携帯電話機１００と利用者の距離が近づくにつれて表示画像のデジタルズームの倍率を上げてもよい。また表示制御部２２０は、表示画像撮像部３００が撮像した表示画像を直接表示部１３０に送信して表示させてもよい。
また利用者距離算出部１５０は、利用者撮像部１４０及び利用者撮像部１４２のいずれか一方が撮像した動画における、フレーム画像全体に対する利用者像が占める割合の変化に基づいて、利用者の距離の変化を判断してもよい。具体的には、利用者距離算出部１５０は、利用者の像が占める割合が大きくなると、携帯電話機１００と利用者の距離が短くなったと判断し、利用者の像が占める割合が小さくなると、携帯電話機１００と利用者の距離が遠くなったと判断する。

図９は、画像表示システムの他の変形例を示すブロック図である。本変形例において、携帯電話機１００は、撮像部１１０、移動量算出部１２０、表示部１３０に加え、画像保持部１６０及び表示制御部１７０を有する。画像保持部１６０の構成は、上述した画像保持部２１０の構成と同じであり、表示制御部１７０の動作は上述した表示制御部２２０の動作と同じである。また撮像部１１０は、利用者からに指示に基づいて、撮像した画像を画像保持部１６０に格納する。
このようにすると、例えば利用者が撮像部１１０を利用して自分の顔を複数の方向から撮像して画像保持部１６０に格納させた場合、自分の顔の画像を、その場で、撮像された方向に対応付けつつ確認することができる。すなわち携帯電話機１００を鏡の代わりとして使用することができる。

さらに画像表示システムの他の変形例として、画像保持部２１０は、複数の表示画像のそれぞれを、絶対的な方向に対応付けて保持してもよい。この場合、移動量算出部１２０は、異なる絶対的な方向に対応付けられている複数のテンプレート画像を予め保持しておき、これらのテンプレート画像と撮像部１１０が撮像した画像を照合することで、携帯電話機１００の絶対的な方向を算出する。

図１０は、画像表示システムのさらに他の変形例を示すブロック図である。本変形例において、携帯電話機１００は、撮像部１１０、移動量算出部１２０、表示部１３０、画像保持部１６０、表示制御部１７０に加え、原画像生成部１８０を有する。図１０に示す移動量算出部１２０、表示部１３０、画像保持部１６０および表示制御部１７０の構成および動作は、図９に示した同参照番号の構成および動作と同一であるため、説明を省略する。

図１０に示す携帯電話機１００は、複数の表示画像からパノラマの原画像を生成して保持し、この原画像を再生して表示する。そのため、携帯電話機１００の撮像部１１０が複数の撮像画像を撮像し、原画像生成部１８０がこれら複数の撮像画像を合成して原画像を生成し、生成した原画像を画像保持部１６０に保持させる。さらに、原画像生成部１８０は、複数の撮像画像を撮像した間に撮像部１１０が移動した移動量を算出し、算出された移動量と原画像内の前記位置とを対応付け、画像保持部１６０に保持させる。

図１１は、パノラマの原画像を生成する動作を説明するための説明図である。まず、パノラマの原画像を生成すべく、撮像部１１０が複数の撮像画像を撮像する。図１１に示す例において、撮像部１１０は水平方向に３枚の撮像画像１１１、１１２、１１３を撮像する。これらの複数の撮像画像において重複する部分を重ね合わせて、原画像生成部１８０は、撮像部１１０により一度に撮像される領域よりも広い領域を有する原画像を生成する。さらに、原画像生成部１８０は、生成した原画像を画像保持部１６０に格納する。以下、撮像部１１０が一度に撮像する領域と表示部１３０が一度に表示する領域とが同一であるとして説明するが、本発明はこれに限られない。

さらに、原画像生成部１８０は、複数の撮像画像を撮像した間に撮像部１１０が移動した移動量を算出する。図１１に示す例において、原画像生成部１８０は、移動量を算出するに先立って、複数の撮像画像１１１、１１２、１１３のいずれかを基準位置画像に設定する。例えば、原画像生成部１８０は、複数枚の撮像画像１１１、１１２、１１３の中から他と重複する領域が多い撮像画像１１１を基準位置画像に設定する。次に、原画像生成部１８０は、設定した基準位置画像に対する他の撮像画像に基づいて、撮像部１１０が移動した移動量を算出する。パノラマの撮影においては、撮像部１１０が利用者を中心として回転されることが多いので、一例として、原画像生成部１８０は撮像部１１０の移動量として撮像部１１０の回転量を算出する。ここで、撮像部１１０が一度に撮像することができる水平方向の角度範囲が既知であれば、基準位置画像１１１との重複する領域の量に基づいて、基準位置画像１１１に隣接する他の撮像画像１１２、１１３の撮像部１１０の回転量を原画像生成部１８０が算出することができる。図１１において、原画像生成部１８０が撮像画像１１２における撮像部１１０の回転量を−３０°と算出し、撮像画像１１３における撮像部１１０の回転量を３０°と算出した例が示されている。なお、原画像生成部１８０が基準位置画像を設定する方法は上記に限られない。他の例として、撮像部１１０の撮影時において利用者から撮像画像が指定されることにより、指定された撮像画像を原画像生成部１８０が基準位置画像として設定してもよい。

図１２は、原画像のための撮像時における撮像部１１０の移動量θ、原画像内の水平方向のピクセル位置Ｐｘ、および、再生のための撮像時における撮像部１１０の移動量ψを対応付けて格納した画像保持部１６０のテーブルを示す。原画像生成部１８０は、撮影時の撮像部１１０の移動量と原画像内の位置とを対応付けたテーブルを作成し、画像保持部１６０に格納する。図１１および図１２に示す例において、原画像生成部１８０は、原画像内における撮像画像１１１、１１２、１１３の左端のピクセル位置Ｐｘ（１５００、１、３００）を特定する。さらに、原画像生成部１８０は、基準位置画像１１１の左端のピクセル位置Ｐｘに対応する移動量θをゼロとして、他の撮像画像１１２、１１３の左端のピクセル位置Ｐｘを上記算出した移動量θに対応付ける。これに基づき、原画像生成部１８０は、原画像のピクセル位置Ｐｘと撮像部１１０の撮像時の移動量θとをさらに細かく対応付ける。図１２に示す例において、原画像のピクセル位置Ｐｘは、撮像時の移動量θに比例するように等間隔に対応付けられている。

原画像生成部１８０はさらに、原画像内の水平方向のピクセル位置Ｐｘと、原画像の再生時における撮像部１１０の移動量ψを対応付ける。この場合に、原画像生成部１８０は、すでに原画像内の水平方向のピクセル位置Ｐｘに対応付けられた撮像部１１０の移動量θを再生時の移動量ψとしてもよい。これにより、再生時に撮像部１１０が移動した移動量と同一の移動量分だけ原画像が移動するので、利用者は実際に撮像するときの感覚で画像を移動させることができる。なお、これに変えて、原画像生成部１８０は、原画像内の水平方向のピクセル位置Ｐｘに対し、再生時の移動量ψを、原画像の撮像時の移動量θとは異なる値に対応付けてもよい。図１２に示す例において、原画像生成部１８０は、原画像のピクセル位置Ｐｘを再生時の移動量ψの−９０°から９０°まで対応付ける。原画像のピクセル位置Ｐｘが撮影時の移動量θよりも大きい再生時の移動量ψに対応付けられることにより、利用者は、表示部１３０上で原画像を容易に少しずつ移動して表示画像を視認することができる。

以上、図１０から図１２に示した実施形態によれば、携帯電話機１００で撮影したパノラマの原画像を、携帯電話機１００を移動することにより表示部１３０で表示される範囲を切り出し、表示画像として表示部１３０に順次、表示することができる。また、原画像の生成時に携帯電話機１００内の原画像生成部１８０により、原画像のための撮像時における撮像部１１０の移動量θと、原画像内の水平方向のピクセル位置Ｐｘとが対応付けられるので、他の装置と通信をすることなく、早くかつ確実に対応付けをすることができ、この対応付けを再生時に利用することができる。また、複数の撮像画像のうちのいずれかを基準位置画像に設定するので、他の撮像画像について撮像部１１０の移動量を相対的に算出することができ、これを再生時に利用することができる。

なお、図１０から図１２に示した実施形態において、原画像、並びに、移動量θ、ピクセル位置Ｐｘおよび移動量ψを対応付けたテーブルの両方が携帯電話機１００内の画像保持部１６０に格納されている。しかしながら、これらが格納される形態はこれに限られない。他の形態として、画像保持部１６０はテーブルを保存しており、原画像は外部のサーバ、例えば図１の実施形態における表示制御装置２００に格納されていてもよい。さらに他の形態として、原画像生成部１８０が対応付けしたテーブルおよび原画像の両方が外部のサーバに格納されていてもよい。このように外部のサーバを用いることにより、携帯電話機１００のメモリを小さくすることができる。従って携帯電話機１００は小型化し、利用者に携帯されやすくなる。

なお、図１０から図１２に示した実施形態において、原画像生成部１８０は、原画像の撮影時における撮像部１１０の移動量θを算出し、原画像のピクセル位置Ｐｘに対応付けた。しかし、対応付けはこれに限られない。例えば、利用者が卓上の静物や野外の建物などの被写体の正面から側面にかけて複数の撮像画像を撮像し、連続的つなげてパノラマの原画像にする場合がある。この場合には、被写体を中心として被写体を回り込むように撮像部１１０が移動され、複数の撮像画像が撮像される。よって、利用者を中心にして携帯電話機１００が移動された場合に比較して、撮像画像上における被写体自体の移動が小さいので、撮像部１１０が移動した角度を算出するのが難しい場合がある。この場合に、原画像生成部１８０は、表示部１３０側の移動量も算出することが好ましい。例えば、図８に示した携帯電話機１００と同様に、利用者撮像部１４０を設け、この利用者撮像部１４０が利用者を撮像して、原画像生成部１８０が利用者撮像部１４０の移動量を表示部１３０の移動量としてもよい。これにより、被写体を中心として撮像部１１０が移動されると、利用者撮像部１４０が撮像した利用者の撮像画像上に位置は大きく移動する。よって、原画像生成部１８０は、利用者撮像部１４０の移動量を容易に算出することができる。この場合に、原画像生成部１８０は、算出した利用者撮像部１４０の移動量に対応付けて原画像のピクセル位置を対応付ける。これにより、被写体を中心として撮像部１１０が移動されて原画像が生成された場合であっても、表示部１３０の移動量と原画像のピクセル位置とを対応付け、再生時に利用することができる。

なお、魚眼レンズを用いて撮像部１１０が外部を撮像した場合、図１０から図１２に示した実施形態と同様の動作により、撮像画像を表示部１３０上に再生することができる。この場合に、原画像生成部１８０は、魚眼レンズに起因する歪みを補正するためのデータを予め保持しておき、このデータを用いて撮像画像の歪みを補正して、原画像を生成する。ここで、魚眼レンズは広角で撮像することができるので、原画像生成部１８０は、撮像部１１０により一度に撮像できる領域よりも広く原画像を展開する。さらに、原画像生成部１８０は、原画像のピクセル位置Ｐｘを再生時の撮像部１１０の移動量に対応付ける。この場合に例えば、原画像生成部１８０は、原画像の中央における撮像部１１０により一度に撮像できる領域を基準位置画像とし、魚眼レンズにおいて撮像できる角度と魚眼レンズを用いない場合に撮像できる角度との比に基づいて、原画像のピクセル位置Ｐｘを再生時の撮像部１１０の移動量に対応付ける。これにより、魚眼レンズを用いて撮像部１１０が撮像した撮像画像から原画像を生成した場合に、携帯電話機１００を移動することにより、表示部１３０で表示される範囲を切り出し、表示画像として表示部１３０上に順次、再生することができる。

図１３は、携帯電話機１００の他の一例を示す図である。図１３（ａ）は、携帯電話機１００の表面図を示し、図１３（ｂ）は、携帯電話機１００の裏面図を示す。携帯電話機１００は、表面に表示部４１０及び指示入力部４２０を備え、裏面に撮像部４３０を備える。また、携帯電話機１００は、側面にアンテナ４５２を備える。

表示部４１０は、例えば液晶パネル等の表示装置であり、利用者に選択させるべき複数のメニューを表示する。例えば、携帯電話機１００は、通信を行う機能、画像の撮像を行う機能等を有し、利用者が選択したメニューに応じて、これらの機能を実行する。また、携帯電話機１００が画像の撮像を行う場合、表示部４１０は、撮像部４３０が撮像する撮像画像を表示する。

指示入力部４２０は、利用者が操作するべき複数のキーを有しており、利用者の操作に応じて携帯電話機１００を機能させる。また、撮像部４３０は、例えば撮像素子としてＣＣＤを有し、ＣＣＤが検出する光に基づいて、撮像画像を生成する。

また、アンテナ４５２は、携帯電話機１００の基地局からの電波を受信し、また携帯電話機１００から基地局に電波を発信する。

図１４は、携帯電話機１００の構成の一例を示す図である。携帯電話機１００は、表示部４１０、指示入力部４２０、撮像部４３０、表示制御部４４０、移動量算出部４４２及び通信装置４５０を備える。撮像部４３０は、外部の画像を撮像する。

撮像部４３０は、光学レンズ４３２、複数の撮像素子４３４、及び自動フォーカス部４３６を有する。複数の撮像素子４３４は、例えば複数のＣＣＤであって、撮像部４３０が撮像する撮像画像の複数の画素に対応して設けられ、それぞれ対応する画素の画素信号を出力する。

光学レンズ４３２は、複数の撮像素子４３４と被写体との間に設けられ、撮像素子４３４が撮像する画像のフォーカスを調整する。自動フォーカス部４３６は、光学レンズ４３２のフォーカス位置を、被写体の位置に自動で制御する。例えば、自動フォーカス部４３６は、フォーカス位置を順次変更し、変更したそれぞれのフォーカス位置で撮像された撮像画像に基づいて、最も適したフォーカス位置を選択して制御する。また、自動フォーカス部４３６は、被写体までの距離を測定する測距部を有しており、測距部が測定した距離に応じて、光学レンズ４３２のフォーカス位置を制御してもよい。

表示部４１０は及び指示入力部４２０は、図１３において説明した表示部４１０及び指示入力部４２０と同一の構成及び機能を有する。表示部４１０は、利用者に対する表示情報、及び表示情報のうちのいずれかの箇所を指し示すポインタを表示する。また、指示入力部４２０は、利用者からポインタの位置を変更する指示を受け取る。通信装置４５０は、携帯電話機１００の基地局と信号の授受を行う。通信装置４５０は、信号を送受信するためのアンテナ４５２を有してよい。

表示制御部４４０は、指示入力部４２０からの利用者からの指示に応じて、撮像部４３０、表示部４１０、被写体４２２及び通信装置４５０を制御する。また、指示入力部４２０が、利用者からポインタの位置を変更する指示を受け取った場合、移動量算出部４４２は、異なるタイミングで撮像部４３０が撮像した複数の撮像画像に基づいて、撮像部４３０の動きに基づく移動量を算出する。ここで、撮像部４３０および表示部４１０は携帯電話機１００に対して固定されているので、移動量算出部４４２は、上記算出した撮像部４３０の移動量を表示部４１０の移動量として表示制御部４４０に受け渡す。この移動量に基づいて、表示制御部４４０が表示部４１０上に表示するポインタの位置を制御する。

図１５は、表示部４１０の表示例を示す図である。図１５（ａ）は、表示部４１０が複数のメニューを表示する例を示す。図１５（ａ）に示すように、表示部４１０は、複数のメニュー（４１２−１〜４１２−３、以下４１２と総称する）及びポインタ４１４を表示する。複数のメニュー４１２は、例えば携帯電話機１００が有する複数の機能を示し、利用者は、ポインタ４１４を操作していずれかのメニュー４１２を選択することにより、携帯電話機１００の機能を使用する。

本例において、利用者は、携帯電話機１００を動かすことにより、ポインタ４１４を操作する。例えば、指示入力部４２０が、利用者からポインタ４１４の位置を変更する指示を受け取った場合に、移動量算出部４４２が撮像部４３０の位置の変化から撮像部４３０の移動量を算出し、この移動量に応じて表示制御部４４０がポインタ４１４の表示位置を制御する。

指示入力部４２０は、例えばポインタ４１４の位置を変更する場合に利用者が押下するキーを有しており、移動量算出部４４２は、当該キーが押下されている間に、撮像部４３０が順次撮像する撮像画像に基づいて、携帯電話機１００の位置の変化を検出する。このような制御を行うことにより、利用者がポインタ４１４を自在に操作することができ、携帯電話機１００の操作性を向上させることができる。

図１５（ｂ）は、表示部４１０が撮像画像を表示する例を示す。携帯電話機１００は、撮像部４３０が撮像した撮像画像を格納するメモリを有しており、表示部４１０は、当該メモリが撮像した撮像画像を表示する。このとき、表示部４１０は、撮像画像と共に、ポインタ４１４を表示する。例えば、利用者は、ポインタ４１４を操作して、撮像画像のいずれかの箇所を選択することにより、選択した箇所を拡大して表示させることができる。例えば、撮像画像に複数の被写体（４１６−１〜４１６−３、以下４１６と総称する）が撮像されており、利用者がポインタ４１４を操作していずれかの被写体４１６を選択した場合に、表示部４１０は、選択された被写体４１６を拡大して表示する。

このように、本例における携帯電話機１００によれば、利用者が表示部４１０に表示されたポインタ４１４を所望の位置に容易に操作することができ、携帯電話機１００の操作性を向上させることができる。

図１６は、携帯電話の動きを検出するための複数の撮像画像の例を示す図である。撮像部４３０は、予め定められたフレームレートで外部の動画を撮像しており、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、移動量算出部４４２は、撮像部４３０が撮像している動画を取り込み、連続するフレームにおける撮像画像の変化に基づいて、携帯電話機１００の動きを検出する。本例において、図１６（ａ）は所定のフレームにおける撮像画像を示し、図１６（ｂ）は、次のフレームにおける撮像画像を示す。

移動量算出部４４２は、図１６に示す複数の撮像画像を比較し、比較結果に基づいて、携帯電話機１００の移動量を表示部４１０の移動量として算出する。例えば、利用者が携帯電話機１００を左方向に平行移動させた場合、撮像部４３０が撮像する複数の撮像画像における被写体（４１８、４２２、４２４、４２６）は、撮像画像上において右方向に移動する。移動量算出部４４２は、撮像画像における被写体の位置の変化に基づいて、携帯電話機１００の移動量を算出する。表示制御部４４０は、移動量算出部４４２により算出された移動量に応じて、ポインタ４１４の位置を制御する。

また、撮像部４３０は、撮像画像における被写体（４１８、４２２、４２４、４２６）までの距離を測定する測距部を更に有してよい。例えば、自動フォーカス部４３６が測距部として機能してよい。この場合、自動フォーカス部４３６は、被写体（４１８、４２２、４２４、４２６）の位置に応じて制御したフォーカス位置に基づいて、被写体（４１８、４２２、４２４、４２６）までの距離を算出してよい。表示制御部４４０は、測距部が測定した被写体（４１８、４２２、４２４、４２６）までの距離、及び撮像画像における被写体（４１８、４２２、４２４、４２６）の位置の変化に基づいて、携帯電話機１００の動きの量を算出し、算出した動きの量に基づいて、ポインタ４１４の位置の変化量を算出してよい。

また、撮像画像に複数の被写体（４１８、４２２、４２４、４２６）が撮像されている場合、それぞれの被写体（４１８、４２２、４２４、４２６）の位置の変化量は、撮像部４３０からそれぞれの被写体（４１８、４２２、４２４、４２６）までの距離に応じて異なる。例えば、撮像部４３０の撮像方向を変化させずに、携帯電話機１００を平行移動させた場合、それぞれの撮像画像に撮像される被写体（４１８、４２２、４２４、４２６）の位置の変化量は、それぞれの被写体（４１８、４２２、４２４、４２６）までの距離に反比例する。

このような場合、撮像部４３０からの距離が大きい被写体４２４の位置は、携帯電話機１００を平行移動させてもほとんど変化しない。このため、測距部は、撮像画像に複数の被写体（４１８、４２２、４２４、４２６）が撮像されている場合、それぞれの被写体（４１８、４２２、４２４、４２６）までの距離を測定し、移動量算出部４４２は、測距部が測定した距離が最も小さい被写体４２６を検出し、検出した被写体４２６までの距離、及び当該被写体４２６の位置の変化に基づいて、携帯電話機１００の移動量を算出することが好ましい。

また、表示制御部４４０は、測距部が測定した距離が予め定められた距離より近い一又は複数の被写体を検出し、これらの被写体の位置の変化に基づいて、携帯電話機１００の動き、及び動きの量を検出してもよい。

また、携帯電話機１００の動きのモードとして、撮像部４３０の撮像方向が変化しない平行移動のモードと、撮像部４３０の撮像方向が変化する回転のモードとがある。これらの異なるモードでは、撮像画像における被写体（４１８、４２２、４２４、４２６）の位置の変化の態様が異なるため、移動量算出部４４２は、携帯電話機１００がいずれのモードで動かされているかを検出することが好ましい。

図１７は、携帯電話機１００の動きのモードを示す図である。図１７（ａ）は、撮像部４３０の撮像方向が変化しない平行移動の動きを示し、図１７（ｂ）は、撮像部４３０の撮像方向が変化する回転の動きを示す。

図１７（ａ）に示すように、携帯電話機１００が平行移動した場合、図１６に示すように、撮像部４３０までの距離が大きい被写体４２４の撮像画像における位置はほとんど変化しない。これに対し、図１７（ｂ）に示すように、携帯電話機１００が回転した場合、撮像部４３０までの距離が大きい被写体４２４であっても、撮像画像における位置は大きく変化する。

表示制御部４４０は、携帯電話機１００の平行移動の方向及び量を移動量として、ポインタ４１４の位置を制御してよく、携帯電話機１００の回転の方向及び量を移動量として、ポインタ４１４の位置を制御してもよい。これらの場合、移動量算出部４４２は、携帯電話機１００が平行移動しているか、または回転しているかを検出し、検出したそれぞれのモードにおける携帯電話機１００の移動量を算出し、算出した移動量に応じて表示制御部４４０がポインタ４１４の位置を制御する。

例えば、移動量算出部４４２は、撮像部４３０までの距離が最も小さい被写体４２６及び当該被写体４２６と撮像部４３０までの距離が異なる他の被写体（４１８、４２２、又は４２４）の位置の変化量の比に基づいて、携帯電話機１００の動きのモードを検出する。本例においては、移動量算出部４４２は、撮像部４３０までの距離が最も小さい被写体４２６、及び撮像部４３０までの距離が最も大きい被写体４２４の、それぞれの位置の変化量の比に基づいて、携帯電話機１００の動きのモードを検出する。例えば、移動量算出部４４２は、被写体４２４及び被写体４２６の、撮像部４３０までの距離の差分に応じた閾値テーブルを有しており、被写体４２６の位置の変化量に対する、被写体４２４の位置の変化量の割合が、当該距離の差分に応じた閾値より大きい場合に、携帯電話機１００が回転していると判定してよい。

また、表示制御部４４０が、携帯電話機１００の平行移動の方向及び量に応じて、ポインタ４１４の位置を制御する場合において、携帯電話機１００が平行移動しながら回転する場合に、移動量算出部４４２は、複数の撮像画像におけるそれぞれの被写体（４１８、４２２、４２４、４２６）の位置の変化量から、携帯電話機１００の回転によって生じる位置の変化量を減じて、携帯電話機１００の移動量を算出してもよい。例えば、移動量算出部４４２は、撮像部４３０までの距離が予め定められた距離より大きい被写体を検出し、当該被写体の位置の変化の方向、変化量、及び撮像部４３０までの距離に基づいて、携帯電話機１００の回転の方向及び回転量を算出する。そして、表示制御部４４０は、撮像部４３０までの距離が最も小さい被写体の位置の変化量から、当該被写体の撮像部４３０までの距離、携帯電話機１００の回転の方向、及び回転量に応じた量を増減する補正を行う。補正を行った当該変化量に基づいて、表示制御部４４０がポインタ４１４の位置を制御する。

このような制御により、利用者は、携帯電話機１００を例えば平行方向に厳密に動かす必要がなく、容易にポインタ４１４を所定の位置に動かすことができる。

また、移動量算出部４４２は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、撮像画像のコントラストを上昇させる画像処理を行い、コントラストを上昇させた撮像画像に基づいて、携帯電話機１００の動きを検出することが好ましい。例えば、移動量算出部４４２は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、通常時に行うガンマ補正とは異なるガンマ補正を撮像画像に行い、当該撮像画像のコントラストを上昇させる。

図１８は、撮像画像のガンマ補正のためのガンマカーブの例を示す。通常時、移動量算出部４４２は実線４６２で示されるガンマカーブにより撮像画像のガンマ補正を行う。そして、被写体４２２がポインタ４１４の位置を変更する指示を受け取った場合に、移動量算出部４４２は、破線４６４で示されるガンマカーブにより撮像画像のガンマ補正を行い、撮像画像のコントラストを上昇させる。つまり移動量算出部４４２は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、補正前の強度が予め定められた強度以下の画素の強度を、略零とし、補正前の強度が予め定められた強度より大きい画素の強度を、零より十分大きい強度に補正する。このような制御により、撮像画像における被写体を容易に且つ精度よく検出することができ、より精度よくポインタ４１４の位置を制御することができる。

また、移動量算出部４４２は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、通常時の撮像画像より解像度の低い撮像画像に基づいて、携帯電話機１００の動きを検出することが好ましい、例えば、撮像部４３０は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、複数の撮像素子４３４のうちの少なくとも一部を除いた撮像素子４３４が出力する画素信号に基づいて、撮像画像を生成してよい。つまり、撮像部４３０は、複数の撮像素子４３４を所定の間隔で間引いて画素信号を出力し、移動量算出部４４２に供給してよい。このような制御により、より効率よく被写体の位置の変化を検出することができる。

また、移動量算出部４４２が、解像度の低い撮像画像に基づいて、携帯電話機１００の動きを検出する場合、撮像部４３０は、ピントをずらして当該撮像画像を撮像することが好ましい。例えば、自動フォーカス部４３６は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、光学レンズ４３２のフォーカス位置を被写体の位置とは異なる位置に制御して撮像画像を撮像させてよい。

また、移動量算出部４４２は、指示入力部４２０がポインタ４１４の位置を変更する指示を受け取った場合に、撮像部４３０が動画像を撮像するフレームレートを上昇させてもよい。このような制御により、より精度よく携帯電話機１００の動きを検出することができる。

なお、図１５に示す例において、表示制御部４４０は、表示画像のいずれかの箇所を指し示すポインタとして、表示画像に重畳した矢印を表示する。しかしながら、本発明におけるポインタはこれに限られない。ポインタの他の例として、表示制御部４４０は、携帯電話機１００の移動量に応じて、スクロールバー、ジョグダイヤルおよびジョグスティックの代わりに、表示画面をスクロールさせてもよいし、表示画面上の選択領域を切り替えてもよいし、立ち上がっている複数のビューワを切り替えてもよい。例えば、表示部４１０上に複数のサムネイル画像が表示されており、そのうちのいずれかが選択された状態である場合に、表示制御部４４０は、携帯電話機１００の移動量に応じた距離だけ離れているサムネイル画像に変更しなおす。

図１９は、携帯電話機１００の表示制御部４４０および移動量算出部４４２として機能するコンピュータ５００の構成の一例を示す図である。本例において、コンピュータ５００は、携帯電話機１００を図１から図１８に関連して説明した画像撮像装置１００として機能させるプログラムを格納する。

コンピュータ５００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２、ＲＡＭ７０４、ハードディスクドライブ７１０、フレキシブルディスク７２０、及び／又はＣＤ−ＲＯＭ７２２に格納されたプログラムに基づいて動作する。

例えば、携帯電話機１００を機能させるプログラムは、コンピュータ５００を、図１３から図１８に関連して説明した表示制御部４４０および移動量算出部４４２として機能させ、表示部４１０、指示入力部４２０、撮像部４３０、及び通信装置４５０を図１３から図１８に説明したように機能させる。

通信インターフェース７０６は、例えば表示部４１０、指示入力部４２０、撮像部４３０、及び通信装置４５０と通信し、それぞれの状態等に関する情報を受信し、またそれぞれを制御する制御信号を送信する。格納装置の一例としてのハードディスクドライブ７１０、ＲＯＭ７０２、又はＲＡＭ７０４は、設定情報、及びＣＰＵ７００を動作させるためのプログラム等を格納する。また、当該プログラムは、フレキシブルディスク７２０、ＣＤ−ＲＯＭ７２２等の記録媒体に格納されていてもよい。

フレキシブルディスクドライブ７１２は、フレキシブルディスク７２０がプログラムを格納している場合、フレキシブルディスク７２０からプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１４は、ＣＤ−ＲＯＭ７２２がプログラムを格納している場合、ＣＤ−ＲＯＭ７２２からプログラムを読み取りＣＰＵ７００に提供する。

また、プログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブ７１０にインストールされた後にＲＡＭ７０４に読み出されて実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるプログラムは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば、プログラムは、機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。

プログラムを格納する記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリ等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用してもよい。

上記いずれの実施形態においても、画像表示装置の一例として携帯電話機を説明したが、本発明の画像表示装置はこれに限られず、例えば、ＰＤＡ（個人用携帯情報端末）であってもよい。また、上記いずれの実施形態においても、撮像部が表示部に固定されているが、本発明はこれに限られない。本発明における画像表示装置は、表示部および撮像部が一体的に携帯されるものであればよい。ここで「一体的」とは、撮像部が表示部に固定されている場合、および、撮像部が表示部に対する位置を可変に取り付けられている場合を含む。撮像部が表示部に対する位置を可変に取り付けられている場合の例は、撮像部が表示部に対して回動可能または摺動可能に取り付けられている場合など、空間移動における六自由度のうち少なくとも一つが固定されている場合である。

撮像部が表示部に対して可変である画像表示装置は、撮像部が表示部に対して相対的に移動されたか否かを検知する相対移動検知部を更に備えてもよい。相対移動検出部が相対的な移動を検知した場合に、それに伴って、表示部が移動したときと同様に表示部の表示画面を変更してもよいし、表示部が移動しないので表示画像を変更しなくてもよい。

また、上記いずれの実施形態においても、移動量算出部１２０、４４２は、表示部１３０、４１０の移動距離または回転角を移動量として算出する。しかしながら、移動量はこれらに限られない。他の例として、移動量算出部１２０、４４２は、表示部１３０、４１０の移動速度または加速度の少なくとも一方を移動量として算出してもよい。この場合に、表示制御部１７０、２２０、４４０は、算出された移動量（速度または加速度）の大きさに比例した距離分だけ、表示部１３０、４１０上の表示画像を変更する。例えば、図１４に示す携帯電話機１００において、携帯電話機１００が同じ距離移動したときであっても、移動速度が速い場合には、表示部４１０に表示されるポインタの矢印をより大きい距離で移動したり、表示部４１０に表示された複数のサムネイル画像のうちで選択する画像を多数分移動する。これにより、狭い空間であっても、携帯電話機１００を動かす速度を変えることにより、所望の距離分だけ表示画像を変更することができる。

また、上記いずれの実施形態においも、画像保持部２１０が表示画像としてイメージデータを保持している例を説明した。しかしながら、画像保持部２１０が保持する表示画像はこれに限られない。他の例として、画像保持部２１０はテキストデータなどの文書データを保持していてもよい。この場合に、画像保持部２１０は、表示部１３０、４１０において一画面に表示可能な文字数と表示部１３０、４１０の移動量との関係を変更情報として保存する。この変更情報に基づいて、表示制御部１７０、２２０、４４０は、表示部１３０、４１０の移動量に応じて、表示部１３０、４１０に表示される表示画像をスクロールして、文書データのなかで表示部１３０、４１０に表示される部分を変更する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の第１の実施形態である画像表示システムの使用例を示す図である。 携帯電話機１００及び表示制御装置２００の構成を示すブロック図である。 画像保持部２１０のデータ構成の一例を示すテーブルである。 本実施形態の画像表示システムの動作の一例を示すフローチャートである。 図４のＳ２０の詳細を示すフローチャートである。 画像保持部２１０の他のデータ構成を示すテーブルである。 画像保持部２１０が図６のデータ構成を取る場合の、図６のＳ４０の詳細を示すフローチャートである。 画像表示システムの変形例を示すブロック図である。 画像表示システムの他の変形例を示すブロック図である。 画像表示システムのさらに他の変形例を示すブロック図である。 パノラマの原画像を生成する動作を説明するための説明図である。 対応付を格納した画像保持部１６０のテーブルを示す。 携帯電話機１００の他の一例を示す図である。図１３（ａ）は、携帯電話機１００の表面図を示し、図１３（ｂ）は、携帯電話機１００の裏面図を示す。 携帯電話機１００の構成の一例を示す図である。 表示部４１０の表示例を示す図である。図１５（ａ）は、表示部４１０が複数のメニューを表示する例を示し、図１５（ｂ）は、表示部４１０が撮像画像を表示する例を示す。 携帯電話の動きを検出するための複数の撮像画像の例を示す図である。図１６（ａ）は所定のフレームにおける撮像画像を示し、図１６（ｂ）は、次のフレームにおける撮像画像を示す。 携帯電話機１００の動きのモードを示す図である。図１７（ａ）は、撮像部４３０の撮像方向が変化しない平行移動の動きを示し、図１７（ｂ）は、撮像部４３０の撮像方向が変化する回転の動きを示す。 撮像画像のガンマ補正のためのガンマカーブの例を示す。 携帯電話機１００の表示制御部４４０として機能するコンピュータ５００の構成の一例を示す図である。

符号の説明

１００ 携帯電話機
１１０ 撮像部
１２０ 移動量算出部
１３０ 表示部
１４０ 利用者撮像部
１４２ 利用者撮像部
１５０ 利用者距離算出部
１６０ 画像保持部
１７０ 表示制御部
１８０ 原画像生成部
２００ 表示制御装置
２１０ 画像保持部
２２０ 表示制御部
３００ 表示画像撮像部
４１０ 表示部
４１２ メニュー
４１４ ポインタ
４１６ 被写体
４１８ 被写体
４２０ 指示入力部
４２２ 被写体
４２４ 被写体
４２６ 被写体
４３０ 撮像部
４３２ 光学レンズ
４３４ 撮像素子
４３６ 自動フォーカス部
４４０ 表示制御部
４４２ 移動量算出部
４５０ 通信装置
４５２ アンテナ
５００ コンピュータ
７００ ＣＰＵ
７０２ ＲＯＭ
７０４ ＲＡＭ
７０６ 通信Ｉ／Ｆ
７１０ ハードディスクドライブ
７１２ ＦＤドライブ
７１４ ＣＤ−ＲＯＭドライブ
７２０ フレキシブルディスク
７２２ ＣＤ−ＲＯＭ

Claims (24)

1. 表示画像を表示する画像表示システムであって、
   利用者に携帯され、前記表示画像を表示する表示部と、
   前記表示部と一体に携帯され、外部を撮像画像として撮像する撮像部と、
   前記撮像部が異なるタイミングで撮像した複数の前記撮像画像を解析して前記撮像部が動いた移動量を算出する移動量算出部と、
   前記表示画像より広域である原画像を保持し、かつ、前記原画像内の位置、前記原画像を取得した撮像時における撮像部の移動量、及び、前記原画像を再生するときの前記撮像部の移動量を対応付けて保持する画像保持部と、
   前記画像保持部を参照して、前記移動量算出部から取得した再生時の前記撮像部の移動量に対応した前記撮像時の移動量ずらして新たに定められた中心の方向、及び、前記表示部の表示範囲の角度の範囲を示す情報に基づいて前記原画像から表示すべき前記表示画像を切り出し、前記表示部に表示させる表示制御部と
   を備える画像表示システム。
2. 前記撮像部は、前記表示部の背面に固定されている請求項１に記載の画像表示システム。
3. 前記撮像部が撮像した複数の前記撮像画像を合成して前記原画像を生成し、生成した前記原画像を前記画像保持部に保持させる原画像生成部を更に備える請求項１又は請求項２に記載の画像表示システム。
4. 前記原画像生成部は、前記複数の撮像画像を撮像した間に前記撮像部が移動した移動量を算出し、算出された前記移動量と前記画像内の前記位置とを対応付ける請求項３に記載の画像表示システム。
5. 前記原画像生成部は、対応付けた前記移動量と前記画像内の前記位置とを原画像に対応付けて、前記画像保持部に格納する請求項４に記載の画像表示システム。
6. 前記原画像生成部は、前記複数の撮像画像のいずれかを基準位置画像に設定し、設定した前記基準位置画像に対する他の前記複数の撮像画像に基づいて、前記撮像部が移動した移動量を算出する請求項４に記載の画像表示システム。
7. 前記原画像生成部は、前記複数の撮像画像を撮像した間に前記表示部が動いた移動量を算出し、算出した前記移動量と前記原画像内の前記位置とを対応付け、前記画像保持部に保持させる請求項３に記載の画像表示システム。
8. 前記表示部側に配され、前記利用者を撮像する利用者撮像部を更に備え、
   前記原画像生成部は、前記利用者撮像部が撮像した利用者画像に基づいて、前記複数の撮像画像を撮像した間における前記表示部の前記移動量を算出する
   請求項７に記載の画像表示システム。
9. 前記撮像部は魚眼レンズを有し、
   前記魚眼レンズで撮像された前記撮像画像の歪を補正して前記原画像を生成し、生成した前記原画像を前記画像保持部に保持させる原画像生成部を更に備える
   請求項１から８のいずれか１項に記載の画像表示システム。
10. 前記利用者を撮像する利用者撮像部と、
    前記利用者撮像部の撮像画像に基づいて、前記利用者撮像部と前記利用者の距離の変化を算出する利用者距離算出部と
    を更に備え、
    前記表示制御部は、前記利用者と前記利用者撮像部との距離が近づくにつれて、前記表示部における前記表示画像を拡大する
    請求項１から９のいずれか１項に記載の画像表示システム。
11. 前記表示画像を撮像して前記画像保持部に格納させる表示画像撮像部を更に備え、
    前記表示制御部は、前記利用者と前記利用者撮像部との距離が近づくにつれて前記表示画像撮像部の撮像倍率を大きくする
    請求項１０に記載の画像表示システム。
12. 前記表示画像撮像部は、前記表示部及び表示制御部とは異なる場所に配置されており、前記表示制御部から、無線で撮像倍率の指示を受信し、受信した指示に基づいて前記表示画像の撮像倍率を変更し、かつ撮像した前記表示画像を無線で前記表示制御部に送信する、請求項１１に記載の画像表示システム。
13. 前記表示制御部は、前記表示部上に、前記表示画像のいずれかの箇所を指し示すポインタを表示し、前記移動量算出部が算出した前記移動量に基づいて、前記ポインタが指し示す箇所を変更する
    請求項１に記載の画像表示システム。
14. 前記利用者から前記ポインタの位置を変更する指示を受け取る指示入力部を更に備え、
    前記移動量算出部は、前記指示入力部が前記ポインタの位置を変更する指示を受け取った場合に、通常時の前記撮像画像より解像度の低い前記撮像画像に基づいて、前記移動量を算出する
    請求項１３に記載の画像表示システム。
15. 前記撮像部は、前記撮像画像の複数の画素に対応して設けられた複数の撮像素子を有し、前記指示入力部が前記ポインタの位置を変更する指示を受け取った場合に、前記複数の撮像素子のうちの少なくとも一部を除いた撮像素子が出力する画素信号に基づいて、前記撮像画像を生成し、前記移動量算出部に供給する
    請求項１４に記載の画像表示システム。
16. 前記撮像部は、
    前記複数の撮像素子と被写体との間に設けられた光学レンズと、
    前記光学レンズのフォーカス位置を、前記被写体の位置に制御する自動フォーカス部と
    を更に有し、
    前記自動フォーカス部は、前記指示入力部が前記ポインタの位置を変更する指示を受け取った場合に、前記光学レンズの前記フォーカス位置を前記被写体の位置とは異なる位置に制御して前記撮像画像を撮像させる
    請求項１５に記載の画像表示システム。
17. 前記撮像部は予め定められたフレームレートで動画像を撮像し、
    前記移動量算出部は、前記指示入力部が前記ポインタの位置を変更する指示を受け取った場合に、前記撮像部が前記動画像を撮像する前記フレームレートを上昇させる
    請求項１４に記載の画像表示システム。
18. 前記移動量算出部は、前記指示入力部が前記ポインタの位置を変更する指示を受け取った場合に、前記撮像画像のコントラストを上昇させる画像処理を行い、コントラストを上昇させた前記撮像画像に基づいて、前記移動量を算出する
    請求項１４に記載の画像表示システム。
19. 前記撮像部は、前記撮像画像における被写体までの距離を測定する測距部を更に有し、
    前記移動量算出部は、前記測距部が測定した前記被写体までの距離及び前記撮像画像における前記被写体の位置の変化に基づいて、前記移動量を算出し、
    前記表示制御部は、前記移動量算出部が算出した前記移動量に基づいて、前記ポインタの位置の変化量を算出する
    請求項１３に記載の画像表示システム。
20. 前記測距部は、前記撮像画像に複数の前記被写体が撮像されている場合、それぞれの前記被写体までの距離を測定し、
    前記移動量算出部は、前記測距部が測定した前記距離が最も小さい前記被写体を検出し、検出した前記被写体までの距離、及び当該被写体の位置の変化に基づいて、前記移動量を算出する
    請求項１９に記載の画像表示システム。
21. 前記移動量算出部は、前記距離が最も小さい前記被写体及び当該被写体と前記距離が異なる他の被写体の位置の変化量の比に更に基づいて、前記移動量を算出する
    請求項２０に記載の画像表示システム。
22. 前記移動量算出部は、前記表示部の速度または加速度の少なくとも一方を前記移動量として算出し、
    前記表示制御部は、前記移動量算出部により算出された前記移動量に比例した距離分だけ、前記表示部に表示されたポイントを移動する
    請求項１３に記載の画像表示システム。
23. 利用者に携帯され、表示画像を表示する画像表示装置であって、
    前記表示画像を表示する表示部と、
    前記表示部と一体に携帯され、外部を撮像画像として撮像する撮像部と、
    前記撮像部が異なるタイミングで撮像した複数の前記撮像画像を解析して前記撮像部が動いた移動量を算出する移動量算出部と、
    前記表示画像より広域である原画像を保持し、かつ、前記原画像内の位置、前記原画像を取得した撮像時における撮像部の移動量、及び、前記原画像を再生するときの前記撮像部の移動量を対応付けて保持する画像保持部と、
    前記画像保持部を参照して、前記移動量算出部から取得した再生時の前記撮像部の移動量に対応した前記撮像時の移動量ずらして新たに定められた中心の方向、及び、前記表示部の表示範囲の角度の範囲を示す情報に基づいて前記原画像から表示すべき前記表示画像を切り出し、前記表示部に表示させる表示制御部と
    を備える画像表示装置。
24. 利用者に携帯され、表示画像を表示する画像表示装置、を制御するプログラムであって、前記画像表示装置に、
    前記表示画像を表示部に表示する表示機能、
    前記表示部と一体に携帯される撮像部を用いて、外部を撮像画像として撮像する撮像機能、
    前記撮像機能が異なるタイミングで撮像した複数の前記撮像画像を解析して前記撮像部が動いた移動量を算出する移動量算出機能、
    前記表示画像より広域である原画像を保持し、かつ、前記原画像内の位置、前記原画像を取得した撮像時における撮像部の移動量、及び、前記原画像を再生するときの前記撮像部の移動量を対応付けて保持する画像保持機能と、
    前記画像保持機能を参照して、前記移動量算出機能から取得した再生時の前記撮像部の移動量に対応した前記撮像時の移動量ずらして新たに定められた中心の方向、及び、前記表示部の表示範囲の角度の範囲を示す情報に基づいて前記原画像から表示すべき前記表示画像を切り出し、前記表示機能により前記表示部に表示させる表示制御機能と
    を実現させるプログラム。

Images