以下、添付図面に従って本発明に係る計測支援装置及び計測支援方法の好ましい実施の形態について説明する。
計測支援装置及び計測支援方法での対象物としては、様々なものを採用することができる。特に対象物として線幅が小さい線状のものであると、本発明の効果が好適に奏される。線幅が小さい線状のものとは、例えば構造物のひび割れ、血管等が挙げられる。以下の説明では、対象物がひび割れの場合について説明を行うが、本発明が適用される対象物はひび割れに限定されるものではない。
図1は、本発明に係る計測支援装置及び計測支援方法における計測対象物(対象物)であるひび割れが存在する構造物の例である橋梁1(構造物、コンクリート構造物)の構造を示す斜視図である。図1に示す橋梁1は主桁3を有し、主桁3は接合部3Aで接合されている。主桁3は橋台及び/または橋脚の間に渡され、床版2上の車輌等の荷重を支える部材である。また主桁3の上部には、車輌等が走行するための床版2が打設されている。床版2は鉄筋コンクリート製のものとする。なお橋梁1は、床版2及び主桁3の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。
橋梁1の損傷を検査する場合、検査員(ユーザ)はカメラ11(図2参照)を用いて橋梁1を下方から撮影し(図1のD3方向)、検査範囲について画像を取得する。撮影は、橋梁1の延伸方向(図1のD1方向)及びその直交方向(図1のD2方向)に適宜移動しながら行う。なお橋梁1の周辺状況により検査員の移動が困難な場合は、橋梁1に沿って移動可能な移動体にカメラ11を設けて撮影してもよい。このような移動体には、カメラ11の昇降機構及び/またはパン・チルト機構を設けてもよい。なお移動体の例としては車輌、ロボット、及び飛翔体を挙げることができるが、これらに限定されるものではない。また撮影は検査員によるカメラ11への指示入力(例えばレリーズボタンの押し下げ操作)に応じて行われる。
図2は、カメラ11と本発明の実施形態に係る計測支援装置13とから構成される計測支援システム10を概念的に示す図である。計測支援システム10ではカメラ11で撮影された対象物の撮影画像は、無線又は有線を使用して計測支援装置に送信される。図2では、カメラ11により床版2の対象物であるひび割れAが撮影され、その撮影画像が計測支援装置13であるコンピュータに無線通信により送信されている。カメラ11は、ひび割れAが撮影可能なデジタルカメラが使用され、ステレオ画像が取得可能なデジタルカメラ、TOF(Time of Flight)カメラが用いられてもよい。
次に本願における空間分解能に関して説明をする。
本願における空間分解能とは、カメラ11に搭載される撮像素子(CCD(charge coupled device))を構成する画素(ピクセル)の1つが画像上で表す大きさが実際の被写体ではどれくらいの大きさに対応するかの指標である。以下に詳細に空間分解能に関して説明する。
図3は、空間分解能に関して説明を行うための図である。なお図3におけるX軸方向はカメラ11の鉛直方向であり、Y軸方向は鉛直方向に垂直に交わる水平方向を示している。
図3は、カメラ11により床版2を正対して撮影する場合の床版2の撮影範囲等を示す図である。
ここで、カメラ11に搭載されるレンズ17は、焦点距離fが3cmであり、搭載されている撮像素子19は、水平方向及び垂直方向の寸法がそれぞれ2cm及び1.5cm(不図示)で、水平方向及び垂直方向の画素数が4000×3000画素(画素ピッチp=5μm)で構成されているものとする。
図3に示すように、このカメラ11によりカメラ11(レンズ17)からの距離(被写体距離)が6mの床版2を正対して撮影すると、床版2の撮影範囲は4m×3mとなる。
また、この場合の空間分解能は、1mm/画素である。また例えば、被写体距離が6mから3mに変わった場合には、空間分解は0.5mm/画素である。
図4及び図5は、ひび割れの幅と輝度分布との関係を説明するための図であり、図4は空間分解能が1mm/画素の条件で、ひび割れの幅が0.5mmのひび割れを撮影した場合の輝度分布を示し、図5は空間分解能が1mm/画素の条件で、ひび割れの幅が0.3mmのひび割れを撮影した場合の輝度分布を示している。
図4において符号21は、0.5mmの幅を有するひび割れを撮影した場合の、理想的なひび割れ画像の輝度分布を示す。ひび割れの幅0.5mmに比べて空間分解能が十分に高い場合、理想的な輝度分布又は理想的な輝度分布に近い輝度分布が得られ、ひび割れの幅を精度よく測定することができるが、この場合、特殊なカメラ(超高解像度カメラ)や床版2の撮影範囲を狭くして撮影する(ズーム倍率を高くする、又は被写体距離を短くする)必要があり、現実的でない。
空間分解能が0.5mm/画素の条件で、0.5mmの幅を有するひび割れを撮影した場合、実際には、図4の符号23に示すように、0.5mmよりも幅が広く、かつ濃度差の低い輝度分布を有するひび割れ画像として撮影される。
図5では、ひび割れの幅が0.3mmである場合について示されている。図4における符号21に示したものと同様に符号25は、理想的なひび割れ画像の輝度分布を示す。
また、符号27は、空間分解能が0.5mm/画素の条件で、0.3mmの幅を有するひび割れを撮影した場合の、ひび割れ画像の輝度分布を示している。ただし、0.3mmのひび割れと0.5mmのひび割れとでは、撮影時の空間分解能が同一であるため、輝度分布の幅は変わらないが、0.3mmのひび割れ画像の輝度分布のピークは、0.5mmのひび割れ画像の輝度分布のピークよりも低くなる。
図6は、ひび割れ画像の輝度分布と線画の濃淡表示の対応関係の例を示す図である。
図6の符号29で示される輝度分布は、2m先の床版に発生している0.1mmのひび割れを、空間分解能が0.1mm/画素以下の条件で撮影した場合に得られるひび割れ画像の輝度分布である。そして、図6で示される線画31は、幅0.1mmのひび割れを測定するための線画であり、符号29で示された輝度分布に対応する濃淡表示を有する。すなわち線画31は、符号29で示された輝度分布を表現できる数式モデルと撮影条件とに基づいて濃淡表示され、幅0.1mmのひび割れを撮影した場合に得られるひび割れ画像の輝度分布と同等の輝度分布を有するように表示される。なお、線画31は濃淡表示の説明のために拡大表示されている。また、符号29で示される輝度分布は、幅が既知のひび割れを撮影して取得してもよいし、幅が既知のひび割れのモデルを撮影することにより取得してもよい。
図7及び図8は、線画の濃淡表示における階調値の例を付して説明する図である。図7の線画33は0.2mmの幅を示す線画であり、図8の線画35は0.1mmの幅を示す線画であり、各線画の横には濃淡表示に対応する階調値が示されている。図7の線画33は、中心では0の階調値を示すが線画の幅方向の中心から外に向かって階調値が段々と変化して64、128と変化する。また図8の線画35は、中心では階調値64を示すが線画の幅方向の中心から外に向かって階調値が段々と変化して96、128と変化する。線画の濃淡表示は、例えばこのように階調値を変えることにより行われる。
このように、スケール画像の線画において幅方向に輝度分布を持たせて濃淡表示を行うことによって、同等の幅を有するひび割れも撮影画像において同じように濃淡表示されているので、ユーザは撮影画像におけるひび割れとスケール画像との比較を正確に且つ迅速に行うことができる。
次に、計測支援装置13の各機能に関して説明する。図9は、計測支援装置13の機能ブロック図である。
計測支援装置13は、画像取得部121、対象物検出部123、表示部125、スケール画像生成部127、重畳表示制御部129、操作部131、及び記憶部133から構成される。
画像取得部121は、対象物が撮影された撮影画像を取得する。撮影画像は例えばカメラ11により取得され、撮影画像には幅計測の計測対象である線状の物の像が含まれている。
対象物検出部123は、取得された撮影画像に基づいて、対象物の撮影画像内の位置及び方向を検出する。すなわち、対象物検出部123は、撮影画像を画像処理することにより対象物を検出する。なお、対象物検出部123が行う撮影画像の画像処理は公知の技術が適用される。対象物検出部123の検出結果は、重畳表示制御部129に送られてスケール画像を撮影画像に重畳表示させるときに利用される。すなわち、撮影画像とスケール画像との重畳表示が重畳表示制御部129により自動で行われる場合には、重畳表示制御部129は、対象物検出部123の検出結果である対象物の位置及び方向に基づいて、撮影画像中の対象物に線画を重ねて又は平行にさせてスケール画像を表示させる。一方、スケール画像を撮影画像に手動で重畳表示させる場合には、重畳表示制御部129は、操作部131からの指示に基づいて、スケール画像を移動させて撮影画像に重畳表示させる。例えば、操作部131からスケール画像を平行移動及び回転移動させる指示が発せられた場合には、重畳表示制御部129は、スケール画像を平行移動及び回転移動させて、スケール画像と撮影画像中の対象物とを重畳表示させる。
このように重畳表示制御部129は、撮影画像が表示された表示部125に、生成したスケール画像を重畳して表示させる。また重畳表示制御部129は、撮影画像内の対象物にスケール画像を沿わせて表示させる。ここで、撮影画像内の対象物にスケール画像を沿わせて表示させるとは、撮影画像の対象物の近傍にスケール画像を表示させること、及び対象物に重畳してスケール画像を表示させることを含む。
表示部125は、取得した撮影画像及び生成されたスケール画像を表示する。また撮影画像に重畳表示されたスケール画像も表示する。
スケール画像生成部127は、線画が示す幅方向の輝度分布を表現できる数式モデルと対象物を撮影したときの撮影条件とに基づいて、スケール画像を生成する。例えばスケール画像生成部127は、ガウス関数を表す数式モデルに基づいてスケール画像を生成する。なおスケール画像生成部127が行う数式モデルと撮影条件とに基づいてスケール画像の生成に関する詳しい説明は後述する。
図10は、スケール画像生成部127が生成するスケール画像の例を示す概念図である。スケール画像100は、複数の直線形状の線画103が平行に配列され、線画103が示す幅の数値と線画103から構成されるスケール101が示されている。具体的にはスケール画像100は、0.1mm、0.2mm、0.3mm、0.4mm、及び0.5mmの幅を計測するための線画103を有し、各線画103は線画103が示す幅の数値とともに示されている。また各線画103は、各線画が示す幅を有する対象物が撮影画像上において示す輝度分布と同様な輝度分布及び幅を有するように生成される。
線画の濃淡表示は、撮影画像における同じ幅有する対象物と同等の濃淡表示を有するように、スケール画像生成部127により生成されている。例えば線画の濃淡表示及び幅は、線画が示す幅を有する線状のモデルを、対象物を撮影する場合と同じ撮影条件によりカメラ11で撮影をし、その撮影により取得した撮影画像におけるモデル画像の輝度分布及びモデル画像の幅と同じにする。すなわちスケール画像生成部127は、上述したモデル画像の輝度分布を表現できる数式モデルとモデルを撮影したときの撮影条件に基づいて、線画を生成する。
記憶部133は、計測支援装置13で行われる演算及び処理に必要な情報を記憶する。例えば記憶部133は、線画103の輝度分布(濃淡表示)に使用される数式モデルを記憶する。なお数式モデルについては後で詳述する。また例えば記憶部133は、線状のモデルをカメラ11により撮影し、その線状のモデルが撮影画像上で示す幅及び輝度分布に関する情報を記憶する。
次に、計測支援装置13が行うスケール画像生成において使用するモデル画像の幅、幅方向の輝度分布、及び輝度分布を表現する数式モデルの取得に関して説明する。ここでは、幅が既知のモデルを基準被写体としてモデル画像を取得して線画を生成する場合について説明する。なお、基準被写体とは別の方法により幅が測定された、あるいは人為的に作成された等により幅が既知である被写体であるものとする。ここで基準被写体について「幅が既知」とは、測定精度への要求に応じて幅に不確定性がある場合をも含むものとする。
また以下の説明では、上述した計測支援装置13を備えるコンピュータ(スケール画像生成部127)により、輝度分布及び数式モデルを取得する場合について説明する。なお輝度分布は以下に説明するように取得する場合に限定されない。
図11は線画生成の処理手順を示すフローチャートである。まずカメラ11は、検査員の指示入力(例えばレリーズボタンの押し下げ操作)に応じて橋梁1(床版2)に生じているひび割れ(線状の被写体の一例)を撮影して画像を取得する(ステップS102:撮影工程)。画像の取得は、画像取得部121の制御により自動的に行ってもよい。図12は、撮影画像の例を示す図であり、ひび割れC1−1〜C1−4からなるひび割れ群C1が被写体として撮影された画像i1を示している。それぞれのひび割れC1−1〜C1−4は、他の測定方法により幅が知られているものとし、ひび割れC1−1〜C1−4は線状のモデルである。
画像取得部121には、撮影して得られた画像(ここでは画像i1)が入力される(ステップS104:画像入力工程)。なお、入力された画像に対し、必要に応じアオリ補正等の処理を行ってもよい。また、入力された画像は1つでも複数でもよく、複数の画像が入力された場合には画像を合成して(つなぎ合わせて)1つの画像を生成してもよい。
スケール画像生成部127は、ひび割れが正面画像の上下方向に配置されるように、ステップS104で入力した画像を回転する(ステップS106工程:画像回転工程)。ここでは、ひび割れC1−2が上下方向に配置されるように画像i1を回転する。回転して得られた画像(画像i1R)を図13に示す。なおステップS106では、ひび割れC1−2をベクトル化して、ベクトルの方向が上下方向を向くように画像i1を回転することができる。このように画像を回転することで、複数の輝度分布を容易に取得することができる。なお正面画像とは、被写体の正面から撮影した画像(撮影方向が撮影面と垂直である画像)を意味する。
スケール画像生成部127は、回転後の画像i1Rについて、ひび割れC1−2の幅方向の濃度分布(輝度分布)を、幅方向と直交する方向に沿って複数取得する(ステップS108:濃度分布取得工程)。濃度分布の取得の様子を図14に示す。図14では、ひび割れC1−2の幅方向の濃度分布を、幅方向と直交する方向(矢印D4の方向)に沿って複数取得している。
図14中の点線は、濃度分布(輝度分布)の取得位置である。このように、複数の位置において濃度分布を取得することが、濃淡表示を正解なものとする観点より好ましい。
図15はひび割れC1−2のA−A線付近における拡大図であり、各ピクセル位置での濃度を模擬的に示したものである。図15では、図14のA−A線の部分での濃度を取得するものとする。
図15のようにして取得した濃度分布の例を図16に示す。図16の横軸はピクセル位置(整数値)、縦軸は濃度を示す。図16の黒丸は各ピクセル位置での濃度であり、図16の上方向に向かうほど明るく(階調値が大きく)、下方向に向かうほど暗い(階調値が小さい)状態を示す。
図16のような濃度分布に対し、スケール画像生成部127は、図16のように濃度分布を曲線近似して、中心になるピクセル位置を実数値で推定する(ステップS110:中心推定工程)。近似は、濃度分布の複数の点を通る曲線(2次曲線、3次曲線等)を求めることにより行うことができる。また、中心位置を求めるための曲線近似は、濃度分布の一部の点について行ってよい。図17では点P1〜P4について2次曲線CVで近似した例を示している。この2次曲線CVを微分することでピーク位置を求めることができ、図16の例ではピクセル位置0.4(実数値)で濃度がピークになる(最も暗くなる)ものとする。
ステップS110で濃度分布の中心が推定されたら、スケール画像生成部127はピクセル位置ゼロで濃度がピークになるように、濃度分布全体を幅方向にシフトする(ステップS112:整列工程)。図17の例では、濃度分布を−0.4ピクセル分シフトする。シフトした結果の例を図18に示す。
スケール画像生成部127は、ステップS108(濃度分布取得工程)で取得した全ての濃度分布についてステップS110(中心推定工程)及びステップS112(整列工程)の処理を繰り返し(ステップS114でNoの間)、全ての濃度分布についてこれらの処理が終了したら(ステップS114でYes)ステップS116へ進む。全ての濃度分布についてステップS110及びステップS112の処理を行うことにより、中心が揃った複数の濃度分布を得ることができ、以下に示す確率分布関数を正確に求めることができる。なお、これに対し従来の手法では、図19のように各ピクセル位置での濃度を単純な直線で結んで濃度分布としているので、正確な指標を求めることができない。
ステップS116では、中心が揃った複数の濃度分布に対応する確率分布関数を算出する(関数算出工程)。具体的には、下記の式(1)のような関数F(x)をひび割れのモデルとして濃度データを非線形回帰分析し、パラメータα,λ,及びcを求める。パラメータα,λはガウス関数の形状を示すパラメータであり、パラメータcはひび割れ周囲の明るさを示すパラメータである。
パラメータが算出できたら、スケール画像生成部127は、上述の式(1)に基づいてひび割れC1−2の幅を示す線画S1を生成する(ステップS118:指標生成工程)。
ステップS118に続いて、スケール画像生成部127はひび割れ周囲の明るさ、ひび割れまでの距離、及びひび割れ周囲の色に応じて、生成した線画を補正する(ステップS120:補正工程)。例えば、上述した線画S1の輝度分布に対し以下の式(2)のようにひび割れ周囲の明るさ、ひび割れまでの距離、及びひび割れ周囲の色の関数である補正係数Cf(=f(c,d,g))を乗じて得られた値を、補正後の線画S2の輝度分布とする。式(2)中、cは上述したひび割れ周囲の明るさを示すパラメータcであり、dはひび割れまでの距離、gはひび割れ周囲の色を示す。
(S2の輝度分布)=(S1の輝度分布)×Cf …(2)
このようにして、ひび割れC1−2の幅と線画S2の値との関係を知ることができる。そして上述したステップS102からステップS120までの処理を幅が既知の他のひび割れ(例えば図12のひび割れC1−1,C1−3,C1−4)について繰り返すことで、ひび割れ幅と線画との関係を把握することができる。
本実施形態では、このように中心を揃えた複数の濃度分布に対応する数式モデルに基づいて線画を生成し、生成した線画をひび割れ周囲の明るさ等に基づいて補正するので、測定環境やノイズの影響を低減して正確かつ安定的に線画を生成することができる。そして、幅が既知の被写体(上述の例では、ひび割れC1−2)について線画を生成することで、被写体の幅と線画との関係を把握することができる。
次に、計測支援装置13の動作に関して説明する。
図20は計測支援装置13の動作フローを示す図である。
先ず、計測支援装置13の画像取得部121は撮影画像を取得する(画像取得ステップ:ステップS201)。撮影画像は、例えばカメラ11により対象物が撮影された撮影画像である。その後、計測支援装置13のスケール画像生成部127はスケール画像100を生成する(スケール画像生成ステップ:ステップS202)。スケール画像生成部127は、例えば記憶部133に記憶されている数式モデル及びカメラ11の対象物の撮影条件に関する情報に基づいてスケール画像100を生成する。その後、重畳表示制御部129は、撮影画像とスケール画像100とを重畳表示する(表示ステップ及び重畳表示制御ステップ:ステップS203)。
上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
<応用例1>
次に、本発明の応用例1に関して説明をする。本例ではスケール画像100の線画の表示がスクロール回転する。これにより、線画と対象物との幅の比較を行うときにスケール画像100全体を移動させずに線画をスクロール回転させることにより複数の線画と対象物との比較を行うことができる。
図21は、本例の計測支援装置13の機能ブロック図を示している。本例の計測支援装置13は、画像取得部121、対象物検出部123、表示部125、重畳表示制御部129、スケール画像生成部127、記憶部133、操作部131(第2の操作部)、及びスケール操作部135(第1の操作部)から構成される。なお図9で既に説明を行った事項に関しては、同じ符号を付し説明は省略する。
スケール画像生成部127は、スケール操作部135(第1の操作部)からの指示に基づいてスケールを複数の線画が配列された方向に移動させるスケール画像100を生成する。すなわち、スケール画像生成部127が生成するスケール画像100において、スケールはスケール操作部135の指令に基づいて移動される。
スケール操作部135(第1の操作部)は線画の移動を指示する。例えばスケール操作部135は表示部125におけるタッチパネルで構成され、ユーザからのスケールの移動の指示を受け付ける。
図22及び図23は、スケール101のスクロール回転に関して説明する図である。スケール画像生成部127は、スケール101の一端と他端とを連結させ、スケール操作部135からの指示に基づいてスケール101をスクロールさせるスケール画像100を生成する。すなわちスケール画像生成部127は、ユーザからのスケール操作部135を介してのスケール101のスクロールの指示に基づいて、スケール101がスクロールする画像を生成する。例えばスケール画像生成部127は、図22及び図23に記載されているようにスケール101がスクロール回転(ドラム回転)するスケール画像100を生成する。ここでスケール101のスクロール回転とは、図22に記載されているようにスケール101の0.1〜0.5mmの線画が表示されていたスケール画像100が、図23に記載されているにスケール101の0.2〜0.6mmに遷移するこという。
またスケール画像生成部127は、互いに対向する一対のスケールを有するスケール画像100を生成する(図22及び図23)。このように対向する一対のスケールを有するスケール画像100は、撮影画像における対象物を対向するスケールとスケールとの間に表示させることによって、撮影画像とスケールとの比較を正確に且つ迅速に行うことができる。なお、スケール画像100は、線画と線画が示す幅の値以外の領域は、撮影画像が表示されていることが好ましい。すなわち、スケール画像100透明であり、スケール画像100が撮影画像に重畳表示されて、計測の対象物(例えばひび割れ画像)に重ねられる。これによりユーザは、対象物と線画との比較をより正確に行うことができる。
<応用例2>
次に、本発明の応用例2に関して説明をする。本例ではスケール画像100の線画が曲線形状となる。
図24は、本例の計測支援装置13の機能ブロック図である。なお、図21で既に説明を行った箇所は、同じ符号を付し説明を省略する。
本例の計測支援装置13は、図21で示された計測支援装置13と比較して、推測部141、形状認識部143、及び拡大表示制御部145が追加されている。
推測部141は、撮影画像における対象物の幅を画像処理によって推測する。すなわち、推測部141は、公知の画像処理技術を撮影画像に適用し、対象物の幅を推測する。そして重畳表示制御部129は、推測部で推測された対象物の幅に最も近い線画を対象物に重畳表示させる。
形状認識部143は、撮影画像における対象物の形状を認識する。すなわち、形状認識部143は、公知の画像処理技術を撮影画像に適用し、対象物の形状を認識する。そしてスケール画像生成部127は、線画が形状認識部143で認識された対象物の形状であるスケール画像100を生成する。例えば形状認識部143は撮影画像におけるひび割れの形状を画像処理により認識し、スケール画像生成部127は形状認識部143の認識結果に基づいて線画を生成する。
拡大表示制御部145は、重畳表示制御部129により、撮影画像内の対象物に線画を沿わせた箇所を拡大表示させる。すなわち拡大表示制御部145は、重畳表示制御部129が線画を撮影画像のひび割れ画像に沿わせた場合に、その沿わせた箇所を拡大する。
図25は、本例の計測支援装置13の表示部125の表示例に関して説明する図である。図25では、推測部141で撮影画像におけるひび割れAの幅が推測され、その推測された幅に最も近い0.4mmの線画が撮影画像におけるひび割れAに重畳表示されている。具体的には、推測部141により撮影画像におけるひび割れAが0.4mmと推測され、その推測結果に基づいて重畳表示制御部129は0.4mmに最も近い線画(図25の場合は0.4mmの線画)を撮影画像のひび割れAに重畳表示させる。
またスケール画像生成部127は、形状認識部143で認識された撮影画像のひび割れAの形状に応じた線画を生成する。すなわち、形状認識部143はひび割れAの形状を曲線形状と認識し、スケール画像生成部127はその認識結果に基づいて線画を曲線形状で生成する。
また拡大表示制御部145により、線画がひび割れAに沿っている箇所が拡大表示されている。このように拡大表示されることによって、検査員は撮影画像のひび割れAの幅を正確に計測することができる。
[スマートフォンの構成例]
次に計測支援装置13を構成するコンピュータの具体例に関して説明する。
図26は、計測支援装置13の一例であるコンピュータを搭載するスマートフォン300の外観を示すものである。図26に示すスマートフォン300は、平板状の筐体302を有し、筐体302の一方の面に表示部としての表示パネル321(表示部125)と、入力部(操作部131、スケール操作部135)としての操作パネル322とが一体となった表示入力部320を備えている。また、係る筐体302は、スピーカ331と、マイクロホン332、操作部340と、カメラ部341とを備えている。なお、筐体302の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図27は、図26に示すスマートフォン300の構成を示すブロック図である。図27に示すように、スマートフォンの主たる構成要素として、無線通信部310と、表示入力部320と、通話部330と、操作部340と、カメラ部341と、記憶部350と、外部入出力部360と、GPS(global positioning system)受信部370と、モーションセンサ部380と、電源部390と、主制御部301とを備える。また、スマートフォン300の主たる機能として、基地局装置BSと移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部310は、主制御部301の指示にしたがって、移動通信網に収容された基地局装置BSに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部320は、主制御部301の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル321と、操作パネル322とを備える。
表示パネル321は、LCD(liquid crystal display)、OELD(organic electro-luminescence display)などを表示デバイスとして用いたものである。操作パネル322は、表示パネル321の表示面上に表示される画像を視認可能に載置され、ユーザの指やペン型入力装置によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指やペン型入力装置によって操作すると、操作に起因して発生する検出信号を主制御部301に出力する。次いで、主制御部301は、受信した検出信号に基づいて、表示パネル321上の操作位置(座標)を検出する。
図26に示すように、スマートフォン300の表示パネル321と操作パネル322とは一体となって表示入力部320を構成しているが、操作パネル322が表示パネル321を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル322は、表示パネル321外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル322は、表示パネル321に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル321に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル321の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル322が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体302の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル322で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部330は、スピーカ331やマイクロホン332を備え、マイクロホン332を通じて入力されたユーザの音声を主制御部301にて処理可能な音声データに変換して主制御部301に出力したり、無線通信部310あるいは外部入出力部360により受信された音声データを復号してスピーカ331から出力するものである。また、図26に示すように、例えば、スピーカ331を表示入力部320が設けられた面と同じ面に搭載し、マイクロホン332を筐体302の側面に搭載することができる。
操作部340は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図26に示すように、操作部340は、スマートフォン300の筐体302の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部350は、主制御部301の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部350は、スマートフォン内蔵の内部記憶部351と着脱自在な外部メモリスロットを有する外部記憶部352により構成される。なお、記憶部350を構成するそれぞれの内部記憶部351と外部記憶部352は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディア
カードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(random access memory)、ROM(read only memory)などの格納媒体を用いて実現される。
外部入出力部360は、スマートフォン300に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)など)又はネットワーク(例えば、インターネット、無線LAN(local area network)、ブルートゥース(bluetooth)(登録商標)、RFID(radio frequency identification)、赤外線通信(infrared data association:IrDA)(登録商標)、UWB(ultra wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン300に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(memory card)やSIM(subscriber identity module card)/UIM(user identity module card)カード、オーディオ・ビデオI/O(input/output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA(personal digital assistant)、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン300の内部の各構成要素に伝達することや、スマートフォン300の内部のデータが外部機器に伝送されるようにする。
GPS受信部370は、主制御部301の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン300の緯度、経度、高度を含む位置を検出する。GPS受信部370は、無線通信部310や外部入出力部360(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部380は、例えば、3軸の加速度センサなどを備え、主制御部301の指示にしたがって、スマートフォン300の物理的な動きを検出する。スマートフォン300の物理的な動きを検出することにより、スマートフォン300の動く方向や加速度が検出される。係る検出結果は、主制御部301に出力されるものである。
電源部390は、主制御部301の指示にしたがって、スマートフォン300の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部301は、マイクロプロセッサを備え、記憶部350が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン300の各部を統括して制御するものである。また、主制御部301は、無線通信部310を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部350が記憶するアプリケーションソフトウェアにしたがって主制御部301が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部360を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部301は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部320に表示する等の画像処理機能を備える。画像処理機能とは、主制御部301が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部320に表示する機能のことをいう。
更に、主制御部301は、表示パネル321に対する表示制御と、操作部340、操作パネル322を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部301は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル321の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部301は、操作部340を通じたユーザ操作を検出したり、操作パネル322を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部301は、操作パネル322に対する操作位置が、表示パネル321に重なる重畳部分(表示領域)か、それ以外の表示パネル321に重ならない外縁部分(非表示領域)かを判定し、操作パネル322の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部301は、操作パネル322に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部341は、CMOS(complementary metal oxide semiconductor)撮像センサやCCD(charge coupled device)撮像センサなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部341は、主制御部301の制御により、撮像によって得た画像データを例えばJPEG(joint photographic coding experts group)などの圧縮した画像データに変換し、記憶部350に記録したり、外部入出力部360や無線通信部310を通じて出力することができる。図26に示すスマートフォン300において、カメラ部341は表示入力部320と同じ面に搭載されているが、カメラ部341の搭載位置はこれに限らず、表示入力部320の背面に搭載されてもよいし、あるいは、複数のカメラ部341が搭載されてもよい。なお、複数のカメラ部341が搭載されている場合には、撮影に供するカメラ部341を切り替えて単独にて撮影したり、あるいは、複数のカメラ部341を同時に使用して撮影することもできる。
また、カメラ部341はスマートフォン300の各種機能に利用することができる。例えば、表示パネル321にカメラ部341で取得した画像を表示することや、操作パネル322の操作入力のひとつとして、カメラ部341の画像を利用することができる。また、GPS受信部370が位置を検出する際に、カメラ部341からの画像を参照して位置を検出することもできる。更には、カメラ部341からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン300のカメラ部341の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部341からの画像をアプリケーションソフトウェア内で利用することもできる。なお、カメラ部341は、対象物を撮影するカメラ11としても使用することができる。
なお、上述した計測支援装置13の機能は主に主制御部301で実現される。
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。