以下、図示の実施の形態によって本発明を説明する。以下の説明に用いる各図面は模式的に示すものであり、各構成要素を図面上で認識可能な程度の大きさで示すために、各部材の寸法関係や縮尺等を各構成要素毎に異ならせて示している場合がある。したがって、本発明は、これら各図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率,各構成要素の相対的な位置関係等に関し、図示の形態のみに限定されるものではない。
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記憶媒体に記憶し、また記憶媒体に記憶されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成される撮像装置(以下、カメラという)を例示するものである。
なお、本発明を適用し得る撮像装置としてのカメラの形態は、特に限定された形態のものである必要はなく、一般に実用化されている種々のタイプのカメラに対して広く適用し得る。例えば、装置本体に対して撮像光学系を備えたレンズ鏡筒が一体に構成される形態のいわゆるレンズ一体型カメラや、装置本体に対してレンズ鏡筒が着脱自在に配設される形態のいわゆるレンズ交換式カメラ等、既存の形態のカメラに対して本発明は適用し得る。
さらに、撮像機能及び画像記録機能を実現するための最低限の機能と外部機器との通信機能とを備えた撮像機器(レンズ鏡筒一体式でも交換式でもいずれの形態でも構わない)と、外部機器との通信機能を備えると共に各種の信号処理や制御処理を実行し得る機能を備えた制御機器、例えば一般に流通しているタブレット型コンピュータもしくはスマートフォンタイプの携帯電話等とを組み合わせて構築される撮像システムであって、上記制御機器に導入したアプリケーションプログラムの作用によって、上記制御機器と上記撮像機器との間で相互通信を行なって、上記制御機器により上記撮像機器を制御して撮像動作を実行させ、これにより取得された画像データを通信を介して上記撮像機器から上記制御機器へと伝送し、上記制御機器において各種の信号処理を行ったり、これらの信号処理の結果得られた画像データ等を記録し得るように構成される撮像システムにおいても全く同様に適用し得る。
まず、本発明の詳細を説明する前に、本発明が適用される撮像装置(カメラ)の概略構成について、主に図1を用いて以下に説明する。
図1は、本発明の一実施形態の撮像装置(カメラ)の主な構成を示すブロック構成図である。図1においては、カメラ1の形態は、特に限定せずに図示している。
本実施形態の撮像装置であるカメラ1は、撮像光学系により結像された対象物の光学像を受けて、これを光電変換して画像データを取得し、取得した画像データを記録し、又は画像として表示し得る構成を備えた画像再生記録装置である。そのために、カメラ1は、図1に示すように、画像処理制御部11と、撮像部12と、通信部13と、記録部14と、見取り図データベース15と、操作判定部16と、姿勢センサ17aと、GPS17bと、方位センサ17cと、表示部18と、タッチパネル19等を有して構成されている。
画像処理制御部11は、中央処理装置(以下、CPUという)等を含んで構成される電子回路部であって、例えば、撮像部12からの画像信号に対して所定の信号処理、例えば色信号生成処理やマトリックス変換処理等の各種のデジタル画像信号処理のほか、画像信号や音声信号等を記録するのに際して符号化処理を施したり、記録部14から記録済みの画像データ,音声データを読み出して復号化処理を施す等の各種の信号処理を行う電子回路部(画像信号処理部)と、当該カメラ1の全体的な動作制御を行う電子回路部(制御部)とを有して構成されている。この画像処理制御部11において実行されるソフトウエアプログラムは、記録部14若しくは別途設けられる不図示のROM(Read Only Memory)等に予め記憶されているものが用いられる。
画像処理制御部11は、さらに表示制御部11aと、予定画像推測部11bと、ガイド表示制御部11cと、比較部11dとを含んで構成されている。これら表示制御部11a,予定画像推測部11b,ガイド表示制御部11c,比較部11d等は、本カメラ1において特に用意されるハードウエア回路によって構成してもよいし、または、上記画像処理制御部11によって実行されるソフトウエアプログラムであってもよく、その形態は問わない。
表示制御部11aは、撮像部12によって取得された画像信号に基いて、上記画像処理制御部11によって表示用に生成された画像信号を受けて、これを画像として表示するために表示部18を制御する電子回路部である。
予定画像推測部11bは、特定の撮像対象物に対してカメラ1の向いている方向情報(姿勢センサ17a,方位センサ17c等によって検出された方向情報)と見取り図データに含まれる対応する撮像対象物の位置情報や全体形状情報とから、撮像が行われた場合の撮像対象物の形状を推測する電子回路部である。
ガイド表示制御部11cは、所定のタイミングで表示部18の表示画面上に使用者(ユーザ)に対する使用上のアドバイスや警告,告知,報知等のガイド表示を行うための電子回路部である。
比較部11dは、見取り図データ等に含まれる撮像対象物の参照用画像データ(後述する方向別画像情報等)と、実際に撮像部12によって取得された画像データとを比較する電子回路部である。
撮像部12は、光学レンズ等の撮像光学系等を含むレンズ鏡筒部(不図示)と、CCD(Charge Coupled Device;電荷結合素子)イメージセンサーやCMOS(Complementary Metal Oxide Semiconductor;相補性金属酸化膜半導体)型イメージセンサー等の光電変換素子(撮像素子)等を含む電子回路部等によって構成される構成ユニットである。撮像部12は、レンズ鏡筒部の撮像光学系(不図示)により撮像面に結像される光学像を受けて光電変換処理を行うことにより被写体像を含む静止画像又は動画像の画像信号を取得して、この画像信号を上記画像処理制御部11へと出力するように構成されている。撮像部12は、上記画像処理制御部11によって駆動制御される。つまり、画像処理制御部11は、撮像部12へと駆動信号を出力する一方、上記撮像部12によって取得された画像信号を取り込み、この画像信号に対して上記各種の信号処理を施して、所定の形態の画像データ、例えば静止画像又は動画像を表わすデジタル画像データを生成する。
このようにして生成される画像データには、撮像光学系の画角情報や、撮像時の各種情報(被写体距離情報や露出情報等)等が関連付けられている。これら画像データに関連付けられた各種情報は、その詳細は後述するが画像データファイルに含めて記録される形態のほか、画像データに関連づけられた別データファイルとして記録するような形態であってもよい。
通信部13は、例えば無線通信機能によって外部機器(不図示)との間でデータ伝送を行ったり、外部機器(不図示)からの制御信号を受信したり、インターネット等の外部通信回線(不図示)に接続しこれを介して各種の外部データベース(不図示)等との間でデータ通信を行って、後述する見取り図データ等を取得する等のために設けられる電子回路部である。
記録部14は、所定の形態、例えば半導体メモリカード等の記録媒体(不図示)と、その駆動回路等を含んで構成され、画像処理制御部11の扱う画像データ,音声データ等を記録媒体に記録したり、画像処理制御部11が記録媒体に記録済みの同画像データ,音声データ等を読み出しを行なうための電子回路部である。なお、記録部14としては、カメラ1に対して着脱自在に構成される半導体メモリカード等の記憶媒体(不図示)に対応する形態のもののほか、カメラ1の内部電子基板上に固定される半導体メモリ等を記憶媒体として利用する形態のものとしてもよい。
見取り図データベース15は、当該カメラ1において構造物撮像モードに設定して撮像動作を行なう際に利用するデータの一つである見取り図データ等を記憶しておくデータベース部である。上記見取り図データとは、
撮像対象とする構造物や建築物等に関する各種の情報である。この見取り図データには、例えば構造物等の全体を俯瞰して表す形態の情報(いわゆる見取り図)や撮像すべきものと予定されている複数の撮像対象物に関する各種の詳細情報等が含まれている。なお、上記見取り図データの詳細内容については後述する(図11参照)。
上記見取り図データ等は、例えば小型コンピュータ等の外部機器のCADシステム(不図示)等を利用して対応構造物の設計時等に作成される図面データ(線図)若しくは画像データ(画像)と、これに含まれる個々の撮像対象物(個々の構造物)に関する各種の関連情報等を含むデータである。この見取り図データ等は、例えば外部機器等の記憶部(不図示)に記憶されているものであるが、これをカメラ1の見取り図データベース15に対して外部機器から取り込む手段としては種々の手段がある。例えば、メモリカード等の記憶媒体(不図示)を介して記録部14から読み込むことができる。また、通信部13を介して無線通信機能によるデータ伝送、例えば情報通信網(ネット)からダウンロードを行って読み込むようにしてもよい。
なお、本実施形態においては見取り図データベース15は、別途構成した例を示しているがこの例に限ることはない。見取り図データベース15は、例えば記録部14と兼用して構成するようにしてもよい。
操作判定部16は、当該カメラ1における各種の操作部材(不図示)に連動した各種スイッチ類、例えばレリーズスイッチ,電源オンオフスイッチ,操作方向選択指示スイッチ,メニュースイッチ,動作モード切り換えスイッチ等のほか、タッチパネル19等から発生した各種の操作指示信号を受信して、使用者(ユーザ)が操作した指示内容を判定する電子回路部である。操作判定部16は、使用者(ユーザ)による各種操作部材等の操作に応じた指示信号を発生させて、画像処理制御部11へと出力する。これを受けて画像処理制御部11は、入力された指示信号に対応する各種の制御処理を実行する。
姿勢センサ17aは、例えば加速度センサ等を含んで構成される電子回路部である。この姿勢センサ17aは、例えばカメラ1の姿勢状況(撮像画面が縦位置にあるか横位置にあるか等)や、カメラ1(の撮像光学系の光軸)の仰角状況等のほか、カメラ1自体のブレ状況等を判定するために設けられている。
GPS17bは、全地球測位システム(Global Positioning System;GPS)におけるGPS衛星からの信号を受信して当該カメラ1の位置情報,時刻情報,方位情報等、各種の所定の情報を取得するための電子回路部である。
方位センサ17cは、例えば地磁気を検出して当該カメラ1の向き、具体的には撮像光学系の光学レンズ(撮像素子の撮像面)が向いている方向を検出するための電子回路部であって、いわゆる電子コンパス等が適用される。
表示部18は、当該カメラ1によって生成された画像データ若しくは記録部14に記録済みの画像データに基づく画像を表示したり、当該カメラ1における各種の設定画面(メニュー表示等)を表示するための表示パネル、例えば液晶表示ディスプレイ(Liquid Crystal Display;LCD)や有機エレクトロルミネッセンス(有機EL;Organic Electro-Luminescence:OEL)ディスプレイ等の表示用デバイスと、その駆動回路等を含んで構成される構成ユニットである。
タッチパネル19は、表示部18の表示画面の表面に配置された操作入力パネル等を含んで構成される表示ユニットである。これに対応させて、画像処理制御部11の表示制御部11aは、表示部18の表示画面上に操作用表示等を表示させる制御を行なう。そして、上記タッチパネル19から生じる操作指示信号を受けて画像処理制御部11は、各種の制御を実行する。即ち、上記タッチパネル19は、表示画面中の任意の所望の位置を指定し得る指定操作部として機能する。
このように構成された本実施形態のカメラ1においては、画像処理制御部11,記録部14,表示部18は、撮像部12から出力される画像信号についての各種の処理を行なって、静止画像若しくは動画像についての画像処理を行なう。即ち、画像処理制御部11は、撮像部12からの画像信号に対し所定の信号処理を施して画像信号を順次生成すると同時に、この画像信号を表示制御部11aを介して表示部18へと順次出力する。これを受けて表示部18は、対応する画像を順次表示させることにより、リアルタイムの動画像表示、即ちライブビュー表示が行われる。
また、画像処理制御部11は、撮像部12から受けて処理済みの画像信号について、例えば圧縮処理を施して記録部14へと出力する。これを受けて、記録部14は、不図示の記録媒体に記録する。また、画像処理制御部11は、記録部14の記録媒体に記録済みの画像データを読み出して復号化処理を施した後、表示制御部11aを介して表示部18へと出力する。これを受けて、表示部18は、対応する画像を表示する。
なお、カメラ1の構成においては、上述した以外にも、図1に図示されていない構成部等が多々ある。しかしながら、それらの構成部等については、従来一般に実用化されておりまた広く普及している撮像装置(カメラ)と略同様の構成を有しているものとして、その説明は省略する。
次に、上述のように構成された本実施形態のカメラ1を用いて本発明の要旨となる構造物撮像モードでの撮像動作の作用を、図2〜図16を用いて説明する。
即ち、本実施形態のカメラ1においては、複数の撮像動作モードの一つとして、例えば土木構造物や建築物等の工事過程を記録するのに適した構造物撮像モードを有している。以下の説明においては、本実施形態のカメラ1の撮像動作モードを構造物撮像モードに設定して撮像動作を実行する際の操作方法や操作手順及びカメラ1の表示部18における表示例等について図面を用いて示す。
例えば、図2は、本実施形態の撮像装置(カメラ)を所定の撮像対象物に向けて構造物撮像モードによる撮像動作を実行している状況を示す概念図である。
図3〜図5は、図2に示す撮像状況下において構造物撮像モードに設定された本実施形態の撮像装置(カメラ)の表示部の表示画面の表示例を示す図である。このうち、図3は、表示部に表示される見取り図データに基づいた一表示例であって、撮像対象物の第1選択画面の例示である。図4は、図3と同様に見取り図データに基づいた別の一表示例であって撮像対象物の第2選択画面の例示である。図5は、図3,図4と同様に見取り図データに基づいた他の一表示例であって撮像対象物の第3選択画面の例示である。
図6〜図10は、本実施形態の撮像装置(カメラ)の作用を説明するフローチャートである。このうち、図6,図7は、撮像装置(カメラ)のメイン制御処理のフローチャートを分割して示す図である。図6は、メイン制御処理のフローチャートの前半部である。図7は、同メイン制御処理のフローチャートの後半部である。図8は、図6のメイン制御処理中における第1画像比較判定処理(ステップS124の処理)のサブルーチンのフローチャートである。図9は、図6のメイン制御処理中における第2画像比較判定処理(ステップS133,S143の各処理)のサブルーチンのフローチャートである。図10は、図6のメイン制御処理中における予定画像推測処理(ステップS132,S142の各処理)のサブルーチンのフローチャートである。
図11は、本実施形態の撮像装置(カメラ)において利用される見取り図データのファイル構造(見取り図情報ファイル)を示す概念図である。図12は、本実施形態の撮像装置(カメラ)によって生成される撮像画像データを含む撮像画像ファイルのファイル構造を示す概念図である。
図13〜図16は、図2に示す撮像状況下において構造物撮像モードに設定された本実施形態の撮像装置(カメラ)の表示部の表示画面の別の表示例を示す図である。このうち、図13は、見取り図データに基づいた表示の一例であって、方向別画像情報を含む表示例である。図14は、見取り図データに基づいた表示の一例であって、方位情報を含む表示例である。図15は、見取り図データに基づいた表示の一例であって、撮像対象物の種別情報及び形状情報を含む場合の表示例である。図16は、見取り図データに基づいた表示の一例であって、撮像装置の方向から撮像対象物の予定画像を推測する場合の表示例である。
まず、図2に示す状況について具体的に説明する。例えば建築物等の工事現場において、その建築物の内部における所定の場所(建物の階層,位置等)の所定の撮像対象物としての「柱」(図2の符号200)に使用者(ユーザ)100が手に持ったカメラ1を向けて撮像しようとしている状況を示している。
本実施形態のカメラ1においては、実際の撮像動作を実行する前に、撮像対象物に関する情報としての見取り図データ等をカメラ1内の見取り図データベース15に取り込んでおくものとする。
上記見取り図データとは、上述したように、複数の撮像対象物を含めた構造物等(図2の例示では建築物全体)の全体を俯瞰して表す形態の図面情報(いわゆる見取り図)の画像データである。この見取り図データには、全体俯瞰画像のほかにも、複数の撮像対象物のそれぞれについての各種の詳細情報を含んで構成されている。ここでは、上述したように、複数の撮像対象物を含む構造物として、ある所定の建築物を例示している。
見取り図データには、例えば特定構造物の全体的な情報と、この特定構造物に含まれる個々のパーツ、即ち複数の個別構造物毎の各種の関連情報が含まれている。この個別構造物毎の情報は、個々の個別構造物を撮像対象物とした場合に、それぞれを正しく形態でかつ確実に撮像するために役立つ各種の情報である。
上記見取り図データのファイル構造としては、例えば図11に示すような形態が考えられる。なお、上記見取り図データのファイル構造は、図11に示すように「見取り図情報ファイル」と呼ぶものとしている。
上記見取り図情報ファイルの一形態の具体例としては、例えば図11に示すように、特定構造物の全体に係わる全体情報と、当該特定構造物に含まれる複数の構造物に関する個別情報としての構造物個別情報とを有する。
特定構造物の全体情報としては、例えば「留意情報」,「見取り図データ」,「方位情報」等がある。
上記「留意情報」(有・無)は、レリーズ機能に付随する関連情報であって、タッチレリーズ時に留意すべき条件、例えば撮像対象物に対してカメラの向きについての指定条件等である。ここで指定条件等とは、例えば撮像対象物の正しい画像を取得するために、撮像対象物に対する角度,形状等を考慮して決められる(撮像対象物に対するカメラ1の)撮像方向(方位)に関する情報等について指定されている。ここで正しい画像とは、撮像対象物の特徴が二次元画像において的確に確認し得る画像をいうものとしている。
ここで、上記「留意情報」が「無」である場合には、図面上の撮像対象物をタッチ操作するのみで無条件にレリーズ機能が実行される。一方、上記「留意情報」が「有」の場合には、指定条件(撮像方向,形状等)に合致したレリーズ操作を行った場合にのみレリーズ機能が実行される。
上記「見取り図データ」は、ここでは、例えばCADシステム等を用いて作成される図面データ(線図)若しくは画像データ(画像)そのものが該当する。この見取り図データは、例えば使用者(ユーザ)が予め小型コンピュータ等の外部機器を用いて、例えば対応構造物を設計する際に作成されたものを流用するものとする。したがって、カメラ1に特化した専用データを用意する場合と比べて、データ作成にかかる手間や負担を削減することができる。
「方位情報」は、「見取り図データ」内における方位情報である。図11に示す具体例では、例えば「見取り図データ」に基づく画像を表示部18の表示画面に表示させた時、画面の「上辺方向を北」とする旨の情報等といった方位に関する情報である。これにより、表示画面内に表示される構造物の方位についての位置関係が表示される。なお、「方位情報」は、例えば図14に示す符号18h等のような形態で表示される。
構造物個別情報は、個々の構造物(A,B,……)毎に以下の項目のような各種の詳細情報が含まれる。例えば、
個別構造物についての名称若しくは種別情報等を含む「構造物名」と、
個別構造物についての撮像済み枚数情報等の「撮像済枚数」と、
個別構造物についての見取り図データに基づく画像上の座標データ(x,y)等の「位置情報」と、
個別構造物について所定の方向から撮像した場合に予想される形状等を表す予定画像(複数)等を含む「撮像方向別画像情報」等である。
ここで、図11の例示は、構造物個別情報の「構造物種別名情報」として、「柱(Pillar)」である旨の情報を示している。なお、「構造物種別名情報」は、例えば図15に示す符号18k等のような形態で表示される。この場合において、符号18kに示す種別名「P」は「柱(Pillar)」の「P」を表している。
また、「撮像方向別画像情報」として、「北東方向から撮像した場合の参照画像は画像NEである旨の情報や「北西方向から撮像した場合の参照画像は画像NWである旨の情報等を例示している。なお、「撮像方向別画像情報」に含まれる方向を表す撮像方向表示マークの表示例の形態としては、例えば図13に示す符号18g等のような表示がある。また、「撮像方向別画像情報」に含まれる形状についての情報は、例えば図13〜図16等の符号18m等の形態で表示される。図示の例では、撮像対象物の形状情報として四角柱形状の柱であることを示している。さらに、「撮像方向別画像情報」に含まれる予定画像の形態としては、図13に示す符号18fのような表示がある。
さらに、構造物個別情報には、図示を省略しているが、上述した以外にも、例えば工事過程における複数時点の形状変位データ(画像情報若しくはCAD情報等による),撮像を行うべき方向を表す方向指示情報,撮像操作の手順を示す撮像操作補助情報,撮像すべきものと予定されている撮像対象物の位置情報に付加されるレリーズ信号発生情報等の詳細情報を含めてもよい。ここで、レリーズ信号発生情報とは、これが付随する位置情報に対応する見取り図上の所望の位置を、例えばタッチ操作すると撮像操作が開始するといった指示信号である。
次に、本実施形態のカメラ1において、主に構造物撮像モード時の作用を、図6〜図10のフローチャートを用いて詳述する。
まず、本実施形態のカメラ1が有する複数の操作部材のうち電源状態をオンオフする電源ボタンが使用者(ユーザ)によりオン操作されることによって、当該カメラ1の電源状態がオン状態となって、当該カメラ1は起動した状態にあるものとする。
この状態において、カメラ1の画像処理制御部11は、ステップS101において、カメラ1の動作モードの設定状態を確認する。即ち、カメラ1の動作モードが撮像モードのうちの構造物撮像モードに設定されているか否かを確認する。ここで、構造物撮像モードに設定されていない場合には、図7のステップS151の処理に進む(図6,図7の符号C参照)。一方、構造物撮像モードに設定されている場合には、ステップS102の処理に進む。
ステップS102において、画像処理制御部11は、各種センサ(姿勢センサ17a,GPS17b,方位センサ17c等)を起動させる制御を行なう。その後、ステップS103の処理に進む。
ステップS103において、画像処理制御部11は、見取り図データベース15(若しくは記録部14)等を確認して、見取り図データの選択操作が既になされているか否かの確認を行なう。ここで、見取り図データの選択が行われていない場合には、ステップS104の処理に進む。また、見取り図データが選択済みである場合には、ステップS111の処理に進む。
上述のステップS103の処理にて、見取り図データの選択が行われていないことが確認されて、ステップS104の処理に進むと、このステップS104において、画像処理制御部11は、撮像部12の駆動制御を休止させて、撮像動作及びライブビュー動作をオフ状態とする。その後、ステップS105の処理に進む。
ステップS105において、画像処理制御部11は、見取り図選択処理を実行する。ここで、見取り図選択処理の詳細は図示を省略しているが、以下のような処理である。即ち、まず、画像処理制御部11は、表示制御部11aを介して表示部18を駆動制御すると共に、見取り図データベース15(若しくは記録部14)を確認して、記憶済みの見取り図データの一覧データを取得し、これを表示部18に表示させる。使用者(ユーザ)は、この一覧表示を見て、タッチパネル19等を含む所定の操作部材(不図示)を操作して所望の見取り図データの選択操作を行なう。画像処理制御部11は、選択操作指示信号を受けて、選択された見取り図データの読み込み処理等、所定の制御処理を実行する。その後、ステップS103の処理に戻る。
上述のステップS103の処理にて、見取り図データが選択済みであることが確認されてステップS111の処理に進むと、このステップS111において、画像処理制御部11は、表示制御部11aを介して表示部18を駆動制御して、既に選択されて読み込み済みの見取り図データに対応する見取り図及び構造物等の画像を表示させる。その後、ステップS112の処理に進む。
ステップS112において、画像処理制御部11は、撮像部12の駆動制御を開始する。これにより、撮像動作及びライブビュー動作がオン状態となる。その後、ステップS113の処理に進む。
この時点における表示部18の表示画面の表示例を図3〜図5に示す。上述のステップS111の処理において、まず、見取り図データに基づいた画像が表示される。見取り図データは、上述したように(図11参照)各種の情報を含んでいる。そこでまず、図3に示すような表示が行われる。この図3の表示は、撮像対象物を選択するためのメニュー表示である。ここで、メニュー表示を複数階層構造になっているものとし、図3の表示例を例えば第1選択画面というものとする。
図3の第1選択画面においては、選択された見取り図データに対応する特定構造物の概要が表示される。例えば、図3の例示では、選択された特定構造物(建築物)は「A社社屋」であることを示している。また、図3の表示例では、「4階」(4F)の「B室」「C室」「D室」が一覧表示されている。使用者(ユーザ)は、このような一覧表示から、タッチパネル19若しくは所定の操作部材(不図示)を用いて撮像を所望する撮像対象物のある位置を特定するための選択操作を行なう。ここで、選択操作指示を行うと、例えば、選択した項目の近傍に所定形態の選択完了マーク18aが出現する。図3の例示では、選択完了マーク18aの具体例として符号「▲」を使用している。そして、図3においては、「4階」「D室」を選択した状態を示している。なお、図3の表示画面中、例えば右下隅部分に表示される矢印アイコン18bは、上層階のメニュー表示に戻るための戻る操作アイコンである。
図3の表示において、選択指示をするとさらに一階層下のメニュー表示である第2選択画面に切り換わる。例えば、図4に示す表示が第2選択画面の例示である。図4に示す例では、「A社社屋」「4階」「D室」が選択されている状態を示している。そして、表示部18の表示画面には、当該「D室」内の見取り図の線図若しくは画像が表示される。図4の例では、「D室」フロア内に四角柱形状の「柱」が六本存在する状況を示している。ここで、各「柱」には位置を特定するためのナンバリング(#1〜#6)が振られている。このような表示画面に対して使用者(ユーザ)はタッチパネル19若しくは所定の操作部材(不図示)を用いて撮像を所望する撮像対象物を特定する選択操作を行なう。その選択操作が、後述するステップS113の処理である。なお、図4の表示例では、選択操作後の状況を表示しているものとし、「#3」の「柱」が選択された特定撮像対象物としている。
上述のように撮像対象物の選択操作を行った後には、図5に示すような第3選択画面、即ち、さらに下層のメニュー表示を設けるようにしてもよい。図5に示す表示例は、図4のメニュー表示において選択した撮像対象物について、さらに詳しい撮像情報を選択入力する表示画面である。即ち、図5において、表示部18の表示画面の右半部の表示領域18cには、選択した撮像対象物(図5の例示では、「#3」)の拡大画像(選択部)が表示され、これを取り巻くように撮像を行うべき方向を指示する方向指示マーク18dが複数表示される。ここで、複数の方向指示マーク18dのうち選択済みのマーク18daを黒塗り等の区別を設けることによって、その旨の表示を明確化している。この場合においては、この選択操作が、後述するステップS113の処理となる。
なお、非選択マークは、白抜き等により区別されて符号18dbで示している。さらに、図5の表示例では、非選択マークであって内部に数字「2」を附したマーク(符号18dc)が表示されている。このマーク内の数字は、例えば撮像済み枚数情報を表している。
また、表示部18の表示画面の左半部の表示領域18eには、撮像部12によって連続的に順次取得されている画像データを連続的に表示するライブビュー画像(LV18e)が表示されている。図5に示す例では、上記図2の撮像状況に対応するライブビュー画像の表示例を示している。即ち、LV18eで示される領域には、撮像部12によって取得される画像データに基づくライブビュー画像が表示される。図5に示す例におけるLV18eには、図2に示す「柱」に対して図5の選択済みマーク18daの方向からの画像が表示されている。
また、表示部18の表示画面の別の表示例として、図13〜図16に示す。図13〜図16に示す表示例は、表示部18の表示画面の右半部の表示領域18cに見取り図データに基づく画像(見取り図画像という)を表示させ、左半部の表示領域18eにライブビュー画像LV18eを表示させるようにした形態である。
そして、図13においては、右半部の表示領域18cに表示する見取り画像に、見取り図データに含まれる「撮像方向別画像情報」として、例えば撮像すべき方向を表す撮像方向表示マーク18g,形状についての情報として形状表示マーク18m,予定画像の形態として符号18f等のような形態の表示がなされる。なお、図13の表示例では、予定画像表示領域18fは、見取り図内において選択された撮像対象物の近傍に表示される例を示している。
図14においては、右半部の表示領域18cに表示する見取り画像に、見取り図データに含まれる「方位情報」として、見取り図の方位を表す方位マーク18h等のような形態の表示がなされる。
図15においては、右半部の表示領域18cに表示する見取り画像に、見取り図データに含まれる「構造物種別名情報」として符号18k等のような形態の構造物種別名マークの表示がなされる。また、図15においては、使用者(ユーザ)が手指101等を用いてスライド操作を行っている様子を合わせて示している。この場合において、矢印Sは、使用者(ユーザ)が行っているスライド操作の操作方向を図示するものであり、表示の例を示しているものではない。ここで、使用者(ユーザ)は、撮像対象物を撮像しようとする方向に合わせてスライド操作を行なう。すると、当該カメラ1は、そのスライド操作の操作方向に対応した予定画像と、撮像部12によって取得された撮像結果(画像)とを比較して、取得した画像が正しい画像であるか否かの判断を行なう(詳細後述)。
図16においては、見取り図データに含まれる「撮像方向別画像情報」のうちの予定画像表示領域18fの別の表示形態を示している。この図16の表示例では、予定画像表示領域18fは、表示部18の表示画面の左半部の表示領域の一部を用いて表示されている。
この場合において、「撮像方向別画像情報」に含まれる予定画像は複数存在する。そこで、上記表示領域(符号18f)に表示されるべき予定画像は、例えばカメラ1が向いている方向を検出し、その検出された方向に対応する予定画像を表示する。図16の表示例では、予定画像表示領域18f内に方向に関する情報(北向き方向を表す情報)も合わせて重畳表示している。
図6に戻って、ステップS113において、画像処理制御部11は、タッチパネル19若しくは所定の操作部材(不図示)からの指示信号を監視する。そして、例えば見取り図上の構造物に対するタッチ操作、即ち撮像対象物の選択操作が行われたか否かの確認を行なう。ここで、撮像対象物の選択操作が確認できない場合には、上述のステップS101の処理に戻り以降の処理を繰り返す。一方、撮像対象物の選択操作が確認された場合には、上述のステップS114の処理に進む。
ステップS114において、画像処理制御部11は、選択されている見取り図データにおいて「留意情報」の有無を確認する。ここで、「留意情報」が無ければ図7のステップS115の処理に進む。一方、「留意情報」が確認された場合には次のステップS121の処理に進む。
ステップS121において、画像処理制御部11は、選択されている見取り図データにおいて「方向別画像情報」の有無を確認する。ここで、「方向別画像情報」が有る場合には、次のステップS122の処理に進む。また、「方向別画像情報」が無い場合には、ステップS131の処理に進む。
ステップS122において、画像処理制御部11は、選択されている見取り図データにおいて方向別画像情報に基づいて、方向指示マーク18d(図5参照)を表示させる。その後、ステップS133の処理に進む。
ステップS123において、画像処理制御部11は、タッチパネル19若しくは所定の操作部材(不図示)からの指示信号を監視し、上記方向指示マーク18dからの操作指示信号が発生したか否かの確認を行なう。ここで、方向指示マーク18dからの操作指示信号が確認されない場合には、上述のステップS101の処理に戻り以降の処理を繰り返す。一方、方向指示マーク18dからの操作指示信号を確認した場合には、次のステップS124の処理に進む。
ステップS124において、画像処理制御部11は、第1画像比較判定処理を実行する。この第1画像比較判定処理は、図8のサブルーチンによって詳述する。その後、図7のステップS115の処理に進む。
ここで、図8のフローチャートによって上記第1画像比較判定処理(図6のステップS124の処理)の詳細を説明する。
ステップS201において、画像処理制御部11は、上述のステップS123の処理にて確認された方向指示マーク18dからの操作指示信号に対応する方向別画像情報を読み出す。
続いて、ステップS202において、画像処理制御部11は、上述のステップS201の処理にて読み出した方向別画像情報に基づく画像データ(参照データ)と、撮像部12によって取得された実際の撮像画像とを、比較部11dによって比較し、両者が類似しているか否かの確認を行なう。ここで、類似であることが確認された場合には、ステップS203の処理に進む。また、類似ではない場合には、ステップS204の処理に進む。
ここで、類似判断としては、例えば撮像光学系の画角や焦点距離等のほか、撮像時のカメラ1の姿勢(例えば撮像光学系の仰角方向等),被写体までの距離等の情報をも考慮して行なわれる。具体的には、例えば、取得画像の画角が、比較画像に対して広い場合には、対応する画角に近似する程度に撮像画像のトリミング処理を行った上で比較処理をする等の措置を施してもよい。
ステップS203において、画像処理制御部11は、画像が類似であることからOK判定処理を行なった後、元の処理に戻る(リターン)。
一方、ステップS204において、画像処理制御部11は、NG判定処理を実行する。ここで、NG判定処理は、例えば、撮像結果(撮像画像)が正しい画像ではない旨の警告表示やアドバイス表示等のガイド表示を、表示部18の表示画面上に告知若しくは報知するための制御処理である。このNG判定処理は、ガイド表示制御部11cによってなされる制御処理である。その後、元の処理に戻って(リターン)、図7のステップS115の処理に進む。
一方、上述のステップS121において、「方向別画像情報」が無い場合にステップS131の処理に進むと、このステップS131において、画像処理制御部11は、選択されている見取り図データにおいて「方向情報」の有無を確認する。ここで、「方向情報」が有る場合には、ステップS132の処理に進む。また、「方向情報」が無い場合には、ステップS141の処理に進む。
ステップS132において、画像処理制御部11は、予定画像推測処理を実行する。ここで行われる予定画像推測処理は、図10のサブルーチンによって詳述する。その後、ステップS133の処理に進む。
上記予定画像推測処理とは、方向別画像情報に含まれる予定画像が存在しないときに、各種センサ(姿勢センサ17a,GPS17b,方位センサ17c等)によって検出されるカメラ1の撮像方向(即ち、カメラ1の撮像光学系の光軸の向いている方向)と、見取り図データに含まれる撮像対象物の位置情報及び形状情報と、に基づいて予定画像を推測する処理である。
ここで、図10のフローチャートによって上記予定画像推測処理(図6のステップS132の処理)の詳細を説明する。
ステップS301において、画像処理制御部11は、撮像対象物の形状情報が円柱であるか否かの確認を行なう。ここで、撮像対象物が円柱である場合にはステップS305の処理に進む。また、撮像対象物が円柱ではない場合にはステップS302の処理に進む。
ステップS302において、画像処理制御部11は、撮像対象物の形状情報が直方体であるか否かの確認を行なう。ここで、撮像対象物が直方体である場合にはステップS303の処理に進む。また、撮像対象物が直方体ではない場合にはステップS306の処理に進む。
ステップS303において、画像処理制御部11は、カメラ1の向いている方向が、直方体の撮像対象物の一面に正対して撮像しているか否か(面に向かっているか否か)の確認を行なう。ここで、面に正対しての撮像であることが確認されたら、ステップS305の処理に進む。また、面に正対しての撮像ではないことが確認されたら、ステップS304の処理に進む。
ステップS304において、画像処理制御部11は、推測される予定画像は画面の垂直方向に輪郭線が3本あるものと推定する。その後、元の処理に戻る(リターン)。
ステップS305において、画像処理制御部11は、推測される予定画像は画面の垂直方向に輪郭線が2本あるものと推定する。その後、元の処理に戻る(リターン)。
なお、撮像対象物が円柱,直方体のいずれでもない場合(その他の形状の場合)には、ステップS306において、画像処理制御部11は、通信部13等を介して例えばインターネット検索,データベース検索等を行って、撮像対象物に応じた画像を取得する。その後、図6の元の処理に戻る(リターン)。
図6に戻って、ステップS133において、画像処理制御部11は、第2画像比較判定処理を実行する。この第2画像比較判定処理は図9のサブルーチンによって詳述する。
ここで、図9のフローチャートによって上記第2画像比較判定処理(図6のステップS133,S143の処理)の詳細を説明する。
ステップS212において、画像処理制御部11は、上述のステップS132(S142(後述))の予定画像推測処理によって推測される予定画像と、撮像部12によって取得された実際の撮像画像(記録前のライブビュー画像)とを比較部11dによって比較し、両者が類似であるか否かを確認する。ここで、類似であることが確認された場合には、ステップS213の処理に進む。また、類似ではない場合には、ステップS214の処理に進む。
ステップS213において、画像処理制御部11は、画像が類似であることからOK判定処理を行なった後、元の処理に戻る(リターン)。
一方、ステップS214において、画像処理制御部11は、NG判定処理を実行する。ここで、NG判定処理は、上述の図8の第1画像比較判定処理におけるステップS204の処理と同様である。その後、図6の元の処理に戻る(リターン)。
図6に戻って、ステップS134において、画像処理制御部11は、上述のステップS133の第2画像比較判定処理(図8)の結果、画像が合致したか否かの確認を行なう。ここで、画像合致が確認されなかった場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。一方、画像合致を確認した場合には、図7のステップS115の処理に進む。
一方、上述のステップS131において、「方向情報」が無い場合にステップS141の処理に進むと、このステップS141において、画像処理制御部11は、使用者(ユーザ)によるタッチパネル19へのスライド操作方向を検出し、その検出結果による方向を撮像方向として指定する。その後、ステップS142の処理に進む。
ステップS142において、画像処理制御部11は、上述のステップS142の処理にて指定されたカメラ1の撮像方向と、撮像対象物の形状情報と、から予定画像を推測する。その後、ステップS143の処理に進む。
ステップS143において、画像処理制御部11は、第2画像比較判定処理を実行する。この第2画像比較判定処理は、上述したように、図9のサブルーチンによって詳述済みである。その後、ステップS115の処理に進む。
上述のステップS114,S124,S134,S143の各処理から所定の分岐条件によってステップS115の処理に進むと、このステップS115において、画像処理制御部11は、撮像部12を駆動制御して撮影動作処理を実行する。その後、ステップS116の処理に進む。
ステップS116において、画像処理制御部11は、上述のステップS115の撮像動作処理によって取得され生成された画像データの記録処理と同時に、構造物個別情報に含まれる情報も合わせて撮像画像ファイルに関連付けられる付随情報として、画像データと一体に若しくは別体で記録する。ここで、生成される撮像画像データの内容としては、例えば図12に示すような形態のものとなる。即ち、撮像画像データを含む撮像画像ファイルは、対応する見取り図情報(そのものではなく関連付け情報)や日付情報(作成日付,更新日付等),構造物個別情報(撮像済み枚数情報等)等の各種の付随情報が画像データに関連づけられて記録される。その後、ステップS117の処理に進む。
ステップS117において、画像処理制御部11は、撮像結果に問題が無いか否か(OKかどうか)の確認を行なう。ここで、撮像結果に問題が無い(OKである)旨の判断がなされると、次のステップS118の処理に進む。また、撮像結果に問題がある場合には、上述のステップS101の処理に戻り、以降の処理を繰り返す。
ステップS118において、画像処理制御部11は、表示部18の表示画面に表示中の見取り図上の対応位置、即ち撮像対象物としていた個別構造物の表示に対し、今回の撮像動作によって加わった情報の変更等に対応する表示更新を行なう。
続いて、ステップS119において、画像処理制御部11は、見取り図データの更新を行なう。即ち、選択されてカメラ1の見取り図データベース15に読み込まれている現在取扱中の見取り図データ自体に対して上記変更情報を反映させるべき追記更新処理等を行なう。例えば、対応構造物についての撮像済み枚数情報等の情報についての見取り図データに対する追記若しくは更新を行なう。その後、ステップS101の処理に戻り、以降の処理を繰り返す。
ところで、上述の図6のステップS101の処理において、カメラ1の動作モードが撮像モードのうちの構造物撮像モードに設定されていない場合に、図7のステップS151の処理に進んだ場合には(図6,図7の符号C参照)、以下の処理が実行される。
即ち、ステップS151において、画像処理制御部11は、カメラ1の動作モードが撮像モードのうちの通常撮像モードに設定されているか否かを確認する。ここで、通常撮像モードに設定されていることが確認された場合には、通常撮像モードにおける所定の処理に従って作動する。一方、通常撮像モードに設定されていない場合には、次のステップS152の処理に進む。
ステップS152において、画像処理制御部11は、カメラ1の動作モードが再生モードに設定されているか否かを確認する。ここで、再生モードに設定されていることが確認された場合には、再生モードにおける所定の処理に従って作動する。一方、再生モードに設定されていない場合には、次のステップS153の処理に進む。
ステップS153において、画像処理制御部11は、カメラ1の動作モードが見取り図再生モードに設定されているか否かを確認する。ここで、再生モードに設定されていることが確認された場合には、再生モードにおける所定の処理に従って作動する。一方、再生モードに設定されていない場合には、次のステップS153の処理に進む。
なお、通常撮像モード時及び再生モード時のそれぞれの場合の詳細な作用(処理シーケンス)は、本発明の要旨に直接関連しない部分であるので、従来の撮像装置において適用されている処理と略同様の処理がなされるものとして、その説明は省略する。
また、本実施形態においては、撮像モードとして、構造物撮像モードと通常撮像モードとを例示しているが、これら以外の撮像モードにおける動作モードとしては、例えば動画撮像モード等、その他の動作モードもある。しかしながら、その他の撮像モードにおける処理は、本発明の要旨に直接関連しない部分であるので、その説明は省略する。
同様に、本実施形態においては、撮像モード,再生モード以外の動作モードとして、見取り図取得処理モードを例示している。この見取り図取得処理モードは、本発明の要旨部分であるが、それ以外の動作モードとして、例えば通信モード,遠隔操作モード等各種の動作モードを有する場合もある。しかしながら、それらの動作モードにおける処理も、本発明の要旨に直接関連しない部分であるので、その説明は省略し、最終的にステップS101の処理に戻るようにしている。
以上説明したように上記一実施形態によれば、撮像すべきものと予定されている複数の撮像対象物の画像の取り逃しを防止し得ると共に、簡単な操作で容易に正しい撮像結果を得ることができる。
上述の一実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。即ち、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがソフトウエアプログラムにより設定可能であることが多くあり、そのソフトウエアプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのソフトウエアプログラムは、コンピュータプログラム製品として、予め製品製造過程において上記記憶媒体や記憶部等、具体的には例えばフレキシブルディスク,CD−ROM等,不揮発性メモリ等の可搬媒体や、ハードディスク,揮発性メモリ等の記憶媒体に、その全体あるいは一部を記憶又は記憶されている電子データである。また、これとは別に、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供が可能なものである。利用者は、製品出荷後であっても、自ら通信ネットワーク,インターネット等を介して、それらのソフトウエアプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記憶媒体からコンピュータにインストールすることで、動作可能にすることができ、これによって容易に本実施形態の撮像装置を実現することができる。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。