JP7012485B2 - 画像情報処理装置および画像情報処理方法 - Google Patents

Description

この発明は、例えば、カメラによって被写体を撮影することによって形成された画像データなどを容易に利用できるようにする装置、方法に関する。

デジタルカメラなどの撮像装置によって被写体を撮像して得られた画像データに対して、当該撮像装置に搭載されたＧＰＳ（Global Positioning System）機能によって撮像時に取得した現在位置（撮像位置）を付加しておき、これを利用することが行われている。例えば、後に記す特許文献１には、撮影された写真が、その撮影位置に応じて配置された地図を容易に表示することが可能な情報処理装置等に関する発明が開示されている。

特開２０１３－１２２６４７号公報

上述した特許文献１に記載の発明は、地図と写真とを当該写真の撮像位置である緯度・経度を用いて関連付けて利用する場合には有効である。しかしながら、撮影して得た写真をユーザが指定した座標位置と関連付けて利用することができない。

以上のことに鑑み、この発明は、適切な写真などの画像データをユーザが指定した座標位置に迅速に関連付けて利用できるようにすることを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像情報処理装置は、
指示体により指示された座標位置を検出するセンサ部から、前記座標位置を示す第１の座標データを取得する第１の取得手段と、
前記指示体から取得した前記指示体の識別子を含む第１の画像データを取得する第２の取得手段と、
前記第１の取得手段を通じて取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得手段を通じて取得した前記指示体の識別子を含む第１の画像データとを関連付ける第１の関連付け手段と、
前記センサ部から取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を示す前記位置データであり前記指示体の識別子を含む前記第１の画像データと関連付けられた位置データに基づいて、前記指示体の識別子を含む前記第１の画像データに対応する画像を表示するように制御する制御手段と、
を備えることを特徴とする。

この発明によれば、指示体により指示された位置に関連付けられる画像データを取得して表示可能にできる。これにより、ユーザが指定した座標位置に画像を迅速に取得して利用できるようにすることができる。

実施の形態のタブレット型情報端末及び電子ペンの外観の一例を示す図である。 実施の形態のタブレット型情報端末の構成例を説明するためのブロック図である。 図面等ＤＢ（Data Base）に格納される格納データの例を説明するための図である。 写真フォルダに格納される格納データの例を説明するための図である。 実施の形態の電子ペンの構成例を説明するためのブロック図である。 実施の形態のタブレット型情報端末と電子ペンとの接続関係を説明するための図である。 タブレット型情報端末１の情報処理装置部１００で実行される処理を説明するためのフローチャートである。 図７に続くフローチャートである。 図８に続くフローチャートである。 図９に続くフローチャートである。 点検処理時の表示画面の表示例について説明するための図である。 点検処理時の表示画面の表示例について説明するための図である。 点検処理時の表示画面の表示例について説明するための図である。 点検処理時の表示画面の表示例について説明するための図である。 表示画面上の指示位置を表示図面上の位置に変換する処理を説明するための図である。 第２関連付け部が形成する関連付けデータの例を説明するための図である。 実施の形態の電子ペンの他の構成例を説明するためのブロック図である。 実施の形態のタブレット型情報端末と図１７に示した電子ペンとの接続関係を説明するための図である。 電子ペンの他の例を説明するための図である。 電子ペンのサイドスイッチの利用方法の例を説明するための図である。 ホバリング操作による写真の関連付け位置を確認について説明するための図である。 写真データ及び付加情報の取得先及び取得経路について説明するための図である。 実施の形態のタブレット型情報端末が備える点検部位サーチ機能を説明するための図である。 自動的に目盛りを付した撮影画像と、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像を説明するための図である。 第２の実施の形態において、図面等ＤＢの所定の格納エリアに格納される３Ｄオブジェクトデータファイルの例を説明するための図である。 写真フォルダに格納されている写真ファイルの具体例を説明するための図である。 ３Ｄオブジェクトデータと写真データとの関連付けについて説明するための図である。 図面等ＤＢに格納される３Ｄ空間画像データファイルの例を説明するための図である。 ３Ｄカメラユニットを備える電子ペンの外観を説明するための図である。 写真フォルダに格納されている被写体の３Ｄオブジェクトデータファイルの具体例を説明するための図である。 ３Ｄ空間画像データと被写体の３Ｄオブジェクトデータとの関連付けについて説明するための図である。

以下、図を参照しながら、この発明の装置、方法の実施の形態について説明する。以下おいては、情報処理装置部と表示装置部と入力装置部とが一体に構成されたタブレット型情報端末にこの発明を適用した場合を例にして説明する。

［第１の実施の形態］
以下に説明する第１の実施の形態のタブレット型情報端末は、ユーザの指や電子ペンによって指示され、入力装置部が検出した指示位置に対応する表示装置部の表示画面（例えば、アプリケーションのウィンドウ画面等）上の座標位置に、画像を関連付けるようにする。この場合、関連付け対象の画像は、関連付け対象の画像であることを示す情報として所定の付加情報（関連付け画像特定情報）が付加されている画像データを取得し、この取得した画像データに応じた画像を関連付けする。

これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これを電子ペンにより指示された表示画面上の座標位置に関連付けして利用することができるものである。すなわち、以下に説明する第１の実施の形態のタブレット型情報端末は、関連付け用の特別な画像のみを取得し、この画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができるものである。

さらに、電子ペンから入力装置部などへ送信される信号にも認証用の第１の付加情報を付加しておく。この第１の付加情報と、写真などの画像データに付加される所定の付加情報（関連付け画像特定情報）である第２の付加情報とに基づいて、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得するようにすることもできる。そして、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。

以下においては、電子ペンから入力装置部などへ送信される信号に付加される第１の付加情報と、関連付け対象となる写真などの画像データに付加される所定の付加情報（関連付け画像特定情報）である第２の付加情報との両方を用いる場合を中心に説明する。すなわち、関連付け対象の画像データであって、電子ペンに関連付けられる画像データとして認証が取れた画像データを取得し、この取得した画像と電子ペンによる指示位置に応じた座標データとを関連付けて利用する場合を中心に説明する。

図１は、第１の実施の形態のタブレット型情報端末１及び電子ペン２の外観の一例を示す図である。タブレット型情報端末１は、その前面から、表示装置部２００の例えばＬＣＤ（Liquid Crystal Display）などの比較的に大きな表示画面２２０が露呈する構成を有する。表示画面２２０の表面又は裏面には、表示画面２２０の全面に対応するように設けられたセンサ部（座標センサ）３２０を有する入力装置部３００が搭載されている。

このため、入力装置部３００は、表示装置部２００の表示画面２２０上のどの位置を位置指示器である電子ペン２によって指し示した場合にも、その指示位置が検出できる。そして、検出したセンサ部３２０上の指示位置は、表示画面２２０上の位置に対応付けられるようになっている。また、タブレット型情報端末１の筐体内部には、表示装置部２００や入力装置部３００が接続され、種々の情報処理を行う情報処理装置部１００が搭載されている。

このように、タブレット型情報端末１においては、入力装置部３００が入力デバイスとなり、表示装置部２００が表示デバイス（出力デバイス）となっている。また、タブレット型情報端末１に対しては、電源ボタン１１８Ａを操作することにより、電源のオン／オフをすることができるようになっている。

そして、タブレット型情報端末１において、表示画面２２０上で、電子ペン２により位置指示操作がされたとする。この場合、電子ペン２から位置指示信号が、入力装置部３００のセンサ部３２０に対して送信される。そして、表示画面２２０の全面に対応して設けられたセンサ部３２０からの検出出力に基づいて、入力装置部３００が備えるＣＰＵ（Central Processing Unit）などのコントローラが、センサ部３２０上の指示位置であって、表示画面２２０上での指示位置を特定する。

また、後述もするが、この実施の形態において、電子ペン２は、自機の識別ＩＤ（ペンＩＤ）などの付加情報（第１の付加情報）を含む位置指示信号をセンサ部３２０に送信する。入力装置部３００が備えるコントローラは、センサ部３２０を通じて受信する電子ペン２からの位置指示信号から第１の付加情報を抽出することができる。入力装置部３００のコントローラは、特定した指示位置を示す座標データや抽出した第１の付加情報を、情報処理装置部１００に供給する。情報処理装置部１００は、入力装置部３００からの座標データや第１の付加情報を用いて処理を行うことができる。

なお、第１の付加情報は、電子ペン２から入力装置部３００に送信される位置指示信号に含めるのではなく、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格などの近距離無線通信によって、情報処理装置部１００に送信することもできる。この場合には、電子ペン２側に近距離無線通信のための送信部を設け、情報処理装置部１００側に近距離無線通信のための受信部を設ける必要がある。

情報処理装置部１００は、入力装置部３００を通じて受け付けたユーザからの指示入力に応じて種々の処理を行う。情報処理装置部１００は、例えば、ユーザからの指示に応じて、表示画面２２０に設計図などのドキュメントを表示する。そして、情報処理装置部１００は、写真などの画像データを取得して、表示した当該ドキュメント上のユーザにより指示された位置に、取得した写真などの画像データに応じた画像を貼りつけるようにして表示するなどのことができるようにされる。

電子ペン２は、入力装置部３００のセンサ部３２０上の位置を指示する信号であって、自機の識別ＩＤであるペンＩＤを含む位置指示信号を送信し、当該センサ部３２０上の座標位置を指示する。当該位置指示信号には、ペンＩＤが含まれているので、これを入力装置部３００において抽出し、情報処理装置部１００に通知し、これを情報処理装置部１００において利用できるようにしている。この実施の形態においては、電子ペン２から送信される位置指示信号に含まれるペンＩＤが第１の付加情報として用いられる。

また、この実施の形態の電子ペン２は、カメラユニット２２を備えると共に、ケーブル２４を通じてタブレット型情報端末１に対して有線接続されている。電子ペン２は、自機に搭載されたカメラユニット２２を通じて被写体を撮像することにより得た画像データを、ケーブル２４を通じてタブレット型情報端末１に送信できる。この場合、電子ペン２は、画像データだけでなく、画像データに対して自機の識別情報であるペンＩＤを付加して、タブレット型情報端末１に送信する。なお、電子ペン２からの画像データに付加されたペンＩＤが所定の付加情報（関連付け画像特定情報）である第２の付加情報として用いられる。

これにより、タブレット型情報端末１において、電子ペン２からの位置指示信号に含まれるペンＩＤ（第１の付加情報）と、電子ペン２で撮像された画像データに付加されているペンＩＤ（第２の付加情報）とに基づいて、両者が関連付けられる。この例の場合、第１の付加情報と第２の付加情報とは共に電子ペン２のペンＩＤである。このため、電子ペン２のペンＩＤが付加された画像データは、関連付け対象の画像データであって、電子ペン２と関連付けられる認証が取れた画像データということになる。

図２は、この実施の形態のタブレット型情報端末１の構成例を説明するためのブロック図である。タブレット型情報端末１は、情報処理装置部１００に対して、Ｉ／Ｏ（input/output）ポート１３０を介して表示装置部２００が接続され、Ｉ／Ｏポート１４０を介して入力装置部３００が接続されて構成されている。

情報処理装置部１００は、タブレット型情報端末１の全体を制御するものであり、以下に説明するように、種々の機能部を備える。送受信アンテナ１０１Ａと無線通信部１０１とは、ネットワークへの接続機能を実現する。ネットワークは、主にインターネットであるが、情報処理装置部１００からインターネットまでを接続する携帯電話網や公衆電話網などの種々のネットワークを含む。

制御部１０２は、図示しないが、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。制御部１０２は、種々のプログラムを実行し、情報処理装置部１００の各部と情報処理装置部１００に対して接続された表示装置部２００及び入力装置部３００を制御する。

メモリ部１０３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメメモリなどの不揮発性メモリを備える。このメモリ部１０３には、例えば、設定データやアプリケーションプログラムなどのタブレット型情報端末１の電源が落とされても保持しておく必要のある情報が記憶保持される。

写真フォルダ１０４は、主に電子ペン２のカメラユニット２２を通じて被写体を撮像することにより得られた画像データであって、ペンＩＤが付加された画像データを記憶保持する。なお、以下においては、カメラユニット２２を通じて被写体を撮像することにより得られた画像データを写真データと記載する。この写真データが、第１の画像データであり、当該写真データに付加されたペンＩＤなどの付加情報が第２の付加情報である。

また、図面等ＤＢ（Data Base）１０５は、タブレット型情報端末１で利用する種々の図面の画像データを記憶保持する。なお、以下においては、タブレット型情報端末１で利用する図面の画像データを図面データと記載する。この図面データが、後述もするように、写真データに応じた写真の関連付け対象となる第２の画像データである。

図３は、図面等ＤＢ１０５に格納される格納データである図面ファイルの例を説明するための図である。また、図４は、写真フォルダ１０４に格納される格納データである写真ファイルの例を説明するための図である。まず、図３を用いて、図面等ＤＢ１０５の格納データについて説明する。この実施の形態のタブレット型情報端末１の図面等ＤＢ１０５には、当該タブレット型情報端末１を用いて点検を行う施設の設計図面を形成する図面データが記憶保持される。設計図面は、後述もするが、点検を行う施設の点検箇所を特定する場合に用いることができる施設の全体図（図３（Ａ））と、それぞれの点検箇所の複数のエリア設計図（図３（Ｂ））とからなる。

図面等ＤＢ１０５の格納データである図面ファイルは、図３（Ａ）、（Ｂ）に示すように、設計図面を形成する図面データに対して、施設ＩＤ及び施設名称、種別、フロアー、エリアＩＤ、枝番といったメタデータが付加されたものである。なお、図３（Ｂ）に示すエリア設計図には、詳しくは後述するが基地局ＩＤが付されている。

この実施の形態において、施設ＩＤは、３桁の数字である。施設名称は、施設の具体的な名称であり、図３（Ａ）、（Ｂ）において施設名称は、「□□化学プラント」となっている。種別は、当該設計図面がどのような図面なのかを示すものであり、例えば、全体図、エリア設計図の別が示される。

フロアー（階）は、その設計図面が対応する場所が何階なのかを示す情報である。エリアＩＤは、その設計図面が対応する場所（エリア）を一意に特定可能な情報である。基地局ＩＤは、各点検対象エリアに設置されている基地局からのビーコン信号を受信し、このビーコン信号に含まれる基地局ＩＤに基づいて、点検対象エリアを自動的に特定すると共に、対応するエリア設計図を特定する場合に用いられる情報である。

枝番は、エリアＩＤによって特定される場所（エリア）に対応する設計図面が複数ある場合にそれらを区別するための番号である。例えば、エリアＩＤが「Ａ０１」により示される場所（エリア）に、複数枚のエリア設計図面などが存在する場合に。枝番は、「０１」、「０２」、「０３」、…のように示される。したがって、「エリアＩＤ」と「枝番」によって、各エリアのエリア設計図が一意に特定できる。

なお、この実施の形態では、各点検対象エリアに設置されている基地局からのビーコン信号を受信して、点検対象エリアとエリア設計図とを特定するために基地局ＩＤを利用するものとして説明する。しかし、これに限るものではない。例えば、点検対象エリアの入口付近に掲示されているＱＲコード（登録商標）やバーコードなどを、タブレット型情報端末１の図示しない撮像部を通じて読み取って、点検対象エリアを特定してもよい。この場合には、図３（Ｂ）に示した基地局ＩＤが、ＱＲコード（登録商標）やバーコードに対応する情報となる。

この他にも、赤外線信号の送信器を点検対象エリアごとに設置し、タブレット型情報端末１に赤外線通信機能を設けておく。これにより、赤外通信により点検対象エリアを特定する情報を送受するようにして、点検対象エリアとエリア設計図とを特定するように構成することもできる。また、屋内であっても、ＧＰＳ機能により現在位置が正確に測位可能な場合には、当該ＧＰＳ機能により測位される現在位置と全体図とに基づいて、点検対象エリアを特定し、その点検対象エリアのエリア設計図を特定するように構成することもできる。

そして、図面等ＤＢ１０５に格納される図面ファイルのうちの全体図の図面ファイルは、図３（Ａ）に示すように、施設ＩＤ及び名称が「００１：□□化学プラント」で、種別が「０１：全体図」というメタデータが付されたものである。全体図の図面ファイルについてのその他の情報であるフロアー、エリアＩＤ、枝番は、空欄になっている。

また、図面等ＤＢ１０５に格納される図面ファイルのうちの全体図以外のエリア設計図などの図面データは、図３（Ｂ）に示すように、施設ＩＤ及び名称は、全体図の場合と同様である。そして、種別は例えば「０２：エリア設計図」で、基地局ＩＤは「ａａａ…」で、フロアーは例えば「０１：１階」で、エリアＩＤが例えば「Ａ０１：コントロールルーム」で、枝番が例えば「０１：正面」のように、各図面に対応した情報が付加される。

このように、図面等ＤＢ１０５には、点検する施設についての種々の図面毎に、各図面を形成する図面データに対してメタデータが付加されることにより、図面ファイルとして記憶保持されている。なお、図面等ＤＢ１０５には、点検対象の施設のすべての図面についての図面ファイルを格納しておくようにしてもよいし、インターネット上のサーバ装置に点検対象の施設のすべての図面についての図面ファイルを格納しておき、必要となる図面の図面ファイルだけをダウンロードして保持しておくようにすることもできる。

次に、図４を用いて、写真フォルダ１０４の格納データである写真ファイルについて説明する。この実施の形態のタブレット型情報端末１の写真フォルダ１０４には、例えば、外部の撮像装置を通じて被写体を撮像することにより得られ写真データを有する写真ファイルが記憶保持される。したがって、タブレット型情報端末１に有線接続された電子ペン２のカメラユニット２２を通じて被写体を撮像することにより得られた写真データを有する写真ファイルなどが、写真フォルダ１０４に格納される。写真フォルダ１０４に格納される写真ファイルは、図４に示すように、写真データに対して、写真ＩＤ、付加情報、手書きメモデータなどが付加されて構成される。

写真ＩＤは、当該写真データを一意に特定するための識別情報であり、この実施の形態では、タブレット型情報端末１が当該写真データを取得したときに、タブレット型情報端末１において付与される情報である。付加情報は、撮影時に撮像装置において付加された情報であり、例えば、撮像日時、撮影場所、ペンＩＤなどの装置ＩＤ、その他の情報などからなる。

撮像日時は、撮像時において撮像装置の時計回路から取得される年月日及び時刻を示す情報である。撮像場所は、撮像時において撮像装置のＧＰＳ部から取得される緯度・経度である。ペンＩＤは、電子ペン２のカメラユニット２２により撮像された画像データの場合に、付加されている情報であり、電子ペン２を一意に特定可能な電子ペンの識別情報である。なお、電子ペン２のカメラユニット２２により撮像された画像データに付加される付加情報は、この実施の形態では、説明を簡単にするためペンＩＤのみが付加されるものとして説明する。

すなわち、撮像日時、撮像場所、ペンＩＤなどのすべての情報が必ず写真データに対して付加されるものではなく、デジタルカメラで撮像された写真データにはペンＩＤではなく、カメラＩＤといった機器ＩＤが付加されえる。また、時計回路やＧＰＳ機能を備えない撮像装置の場合には、これらの情報は付加されない。もちろん、撮像日時、撮影場所、ペンＩＤなどの装置ＩＤの他にも、例えば、Ｅｘｉｆ（Exchangeable image file format）規格に準拠した種々の付加情報を付加することもできる。

また、写真データに対しては、タブレット型情報端末１のユーザによって入力された手書きメモ（筆跡データ）も付加することができるようになっている。このように、写真フォルダ１０４に記憶保持される写真ファイルは、写真データに対して、写真ＩＤと付加情報からなるメタデータが付加されて構成されたものであり、必要に応じて手書きメモデータを付加することもできるようになっている。

そして、上述もしたが、写真フォルダ１０４に記憶保持されている写真ファイルの写真データが、第１の画像データであり、図面等ＤＢ１０５に記憶保持されている図面ファイルの図面データが第２の画像データである。また、後述もするが、電子ペン２からの位置指示信号に含まれるペンＩＤが第１の付加情報であり、写真フォルダ１０４に記憶保持されている写真ファイルの写真データに付加されている付加情報が第２の付加情報であり、特にペンＩＤが第２の付加情報として重要である。

次に、情報処理装置部１００の各処理部について説明する。写真取得部１０６は、後述する入力装置部３００のセンサ部３２０に対して位置指示を行った電子ペン２と関連付けられる写真データを写真フォルダ１０４から取得する処理を行う。第１関連付け部１０７は、電子ペン２によって位置指示された入力装置部３００のセンサ部３２０上の座標位置に対応する表示装置部２００の表示画面２２０上の座標位置（座標データ）と、写真取得部１０６によって取得された写真データとを関連付ける処理を行う。

上述したように、入力装置部３００のセンサ部３２０と表示装置部２００の表示画面２２０とは、重畳配置されており、センサ部３２０の検出エリアと表示画面２２０の表示エリアとは一致している。このため、センサ部３２０上の指示位置は、一意に表示画面２２０上の位置に対応しており、センサ部３２０上の指示位置に対応する表示画面２２０上の位置は、一意に特定することができるようになっている。

写真関連付け部１０８は、第１関連付け部１０７によって関連付けられた座標位置と写真データとを用い、当該座標位置に対する表示装置部２００の表示画面２２０上の位置に、当該写真データに応じた画像を関連付けて（貼り付けて）表示する処理を行う。撮像制御部１０９は、有線接続された電子ペン２のカメラユニット２２を制御する処理を行う。

ファインダ制御部１１０は、有線接続された電子ペン２のカメラユニットを通じて被写体を撮像する場合に、電子ペン２のカメラユニット２２が捉えている被写体の映像（動画像）を、表示装置部２００の表示画面に表示エリアを設けて表示する処理を行う。電子ペン２は、一般的な万年筆やボールペンとほぼ同じ大きさ、形状のものであり、電子ペン２には、いわゆるファインダとして機能する表示部を設けることができないためである。

図面取得部１１１は、タブレット型情報端末１のユーザからの指示に応じて、あるいは、タブレット型情報端末１の所在位置に応じて、点検すべき施設の全体図や点検場所のエリア設計図などを形成する図面データを、図面等ＤＢ１０５から取得する処理を行う。図面表示処理部１１２は、図面取得部１１１によって取得した図面データに応じた図面を表示装置部２００の表示画面２２０に表示したり、ユーザからの指示に応じて、表示した図面を、拡大／縮小したり、表示部分をずらしたり（移動したり）するなどの処理を行う。

座標変換部１１３は、電子ペン２によって位置指示された入力装置部３００のセンサ部３２０上の座標位置を、表示装置部２００の表示画面に表示された図面上の座標位置に変換する処理を行う。第２関連付け部１１４は、第２の画像データである図面データと、座標変換部１１３により変換された当該図面上の座標位置と、第１の画像データである写真データとを関連付ける処理を行う。

ここで、図面データは、図面表示処理部１１２によって表示装置部２００の表示画面に表示された設計図面を形成するものである。図面上の座標位置は、座標変換部１１３によって変換された電子ペン２の指示位置に対応する表示画面に表示された図面上の座標位置である。第１の画像データである写真データは、写真取得部１０６によって取得されたものである。これにより、目的とする図面上の目的とする座標位置に、写真データに応じた画像を関連付ける（貼り付ける）ことができるようにされる。

写真表示処理部１１５は、写真取得部１０６によって取得された写真データに応じた画像（写真）を表示装置部２００の表示画面２２０に表示する処理を行う。そして、編集処理部１１６は、写真表示処理部１１５により表示装置部２００の表示画面２２０に表示された画像の拡大／縮小、移動などの編集処理を行う。モード切替部１１７は、電子ペン２による入力装置部３００のセンサ部３２０への指示操作が、撮影した写真などの関連付け位置を指示する操作になる写真関連付けモード、写真の編集モード、通常の処理モードなど、各処理モードの切り替え制御を行う。

操作部１１８は、電源ボタン１１８Ａや幾つかのファンクションキーを備えた部分である。外部Ｉ／Ｆ（Ｉ／ＦはInterfaceの略称）１１９は、外部機器の接続を受け付け、当該外部機器との間でデータの送受信を可能にする。近距離無線通信部１２０及び近距離無線通信アンテナ１２０Ａは、例えば、Ｗｉ－Ｆｉ（登録商標）規格の無線ＬＡＮ（Local Area Network）により近距離通信を可能にする部分である。

Ｉ／Ｏポート１３０、１４０は、Ｉ２Ｃ（Inter-Integrated Circuit）やＵＳＢ（Universal Serial Bus）などの所定の通信方式に合致した入出力ポートである。Ｉ／Ｏポート１３０は、情報処理装置部１００と表示装置部２００との間のデータの送受を可能にし、Ｉ／Ｏポート１４０は、情報処理装置部１００と入力装置部３００との間のデータの送受を可能にする。

表示装置部２００は、コントローラ２１０と、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどの薄型の表示画面（表示素子）とからなる。コントローラ２１０は、ＣＰＵ、不揮発性メモリを備えたマイクロプロセッサである。

入力装置部３００は、コントローラ３１０とセンサ部３２０とからなる。コントローラ３１０は、ＣＰＵ、不揮発性メモリを備えたマイクロプロセッサである。センサ部３２０は、Ｘ軸方向（横方向）に配置された導電線群と、Ｙ軸方向（縦方向）に配置された導電線群とが積層されて構成された部分である。入力装置部３００は、電子ペン２からの位置指示信号をセンサ部３２０で受信し、センサ部３２０上のどの位置において位置指示信号を受信したかを、コントローラ３１０を用いて検出する。また、コントローラ３１０は、センサ部３２０を通じて受信した電子ペン２からの位置指示信号に含まれるペンＩＤなどの付加情報や筆圧を示す情報などを抽出する。

そして、入力装置部３００のコントローラ３１０は、検出した指示位置に対応する座標データや抽出した付加情報や筆圧情報を情報処理装置部１００に供給する。また、入力装置部３００の構成としては、電磁誘導方式や静電容量方式などが存在し、電子ペン２も入力装置部３００が採用する方式に対応するものとなる。

図５は、この実施の形態の電子ペン２の構成例を説明するためのブロック図である。図５に示すように、電子ペン２は、電子ペン機能部２１と、カメラユニット２２と、Ｉ／Ｆ（Interface）２３とからなる。電子ペン機能部２１は、ペンＩＤを記憶したメモリ２１Ｍを備え、ペン先がタブレット型情報端末１のセンサ部上に接触するようにされると、筆圧を検出し、当該筆圧とペンＩＤを含む位置指示信号を形成して送信する。

電子ペン２のカメラユニット２２は、ＣＣＤやＣＭＯＳイメージセンサなどの撮像素子、フレームメモリ、対物レンズ、コントローラなどを備える。そして、カメラユニット２２は、被写体の画像を取り込むようにし、これを動画像データとしてタブレット型情報端末１に供給したり、タブレット型情報端末１からの制御に応じて、被写体の画像を静止画像データとして取り込んで、これをタブレット型情報端末１に供給したりする。なお、被写体を撮像することにより得た静止画像データ（写真データ）には、メモリ２１Ｍに記憶保持されているペンＩＤが付加される。

Ｉ／Ｆ２３は、タブレット型情報端末１との間でのデータの送受信を可能にする。Ｉ／Ｆ２３は、カメラユニット２２からの写真データをタブレット型情報端末１に送信するだけでなく、タブレット型情報端末１からの制御信号を受信してカメラユニット２２のコントローラに供給し、タブレット型情報端末１を通じてカメラユニット２２を制御することができるようにしている。

図６は、この実施の形態のタブレット型情報端末１と電子ペン２との接続関係を説明するための図である。図６に示すように、情報処理装置部１００に対しては、Ｉ／Ｏポート１４０を通じて入力装置部３００が接続されている。このため、入力装置部３００のセンサ部３２０上に電子ペン２を接触させるようにすると、電子ペン２から位置指示信号がセンサ部３２０で受信され、コントローラ３１０を通じて指示位置を示す座標データ（Ｘ，Ｙ）が検出されると共に、筆圧ＰＳ、ペンＩＤが抽出され、これらが情報処理装置部１００に供給されるようになっている。

また、電子ペン２のＩ／Ｆ２３と情報処理装置部１００の外部Ｉ／Ｆ１１９とがケーブル２４によって接続されている。このため、電子ペン２のカメラユニット２２を通じて撮影された画像の写真データや付加情報としてのペンＩＤなどが、ケーブル２４を通じて情報処理装置部１００に供給される。また、情報処理装置部１００から電子ペン２に対する撮像を指示する制御信号などが、ケーブル２４を通じてカメラユニット２２に供給されるようになっている。

このように、タブレット型情報端末１と電子ペン２とは、入力装置部３００を通じて座標の指示入力が行われる座標指示系統によって接続される。また、タブレット型情報端末１と電子ペン２とは、外部Ｉ／Ｆ１１９とＩ／Ｆ２３とをケーブル２４を通じて接続した系統であって、主に写真データの入力が行われる写真入力系統によって接続される。タブレット型情報端末１と電子ペン２とは、これら２系統によって接続可能にされ、それぞれの系統で異なる情報の送受ができるようになっている。

図１～図６を用いて説明したこの実施の形態のタブレット型情報端末１と電子ペン２とを用いることにより、所定の施設の点検作業を適切に行うことができるようにされる。点検作業にあたっては、タブレット型情報端末１において、点検処理（点検作業用アプリケーション）を実行する。以下においては、この実施の形態のタブレット型情報端末１において行われる点検処理について、具体的に説明する。

図７～図１０は、タブレット型情報端末１の情報処理装置部１００で実行される処理を説明するためのフローチャートである。また、図１１～図１４は、点検処理が実行された場合に、情報処理装置部１００により表示装置部２００の表示画面に表示される画像の表示例について説明するための図である。

タブレット型情報端末１の操作部１１８の電源ボタン１１８Ａが操作されて、タブレット型情報端末１に電源が投入されると、図７～図１０に示す処理が、情報処理装置部１００の制御部１０２において実行される。まず、制御部１０２は、自機において実行可能な処理（アプリケーション）に対応した複数のアイコンが表示された初期画面を表示装置部２００の表示画面に表示する処理を行う（ステップＳ１０１）。次に、制御部１０２は、入力装置部３００や操作部１１８を通じて、アイコンの選択入力などの操作入力を受け付ける（ステップＳ１０２）。

そして、制御部１０２は、ステップＳ１０２において、処理の終了を指示する操作入力を受け付けたか否かを判別する（ステップＳ１０３）。制御部１０２は、ステップＳ１０３の判別処理において、例えば、電源ボタン１１８Ａを操作するなどの所定の終了操作が行われたと判別した時には、タブレット型情報端末１の電源を落とすようにする所定の終了処理を実行し（ステップＳ１０４）、この図７～図１０に示す処理を終了する。

ステップＳ１０３の判別処理において、所定の終了操作は行われていないと判別した時には、点検処理を実行するためのアイコンが選択されたか否かを判別する（ステップＳ１０５）。ステップＳ１０５の判別処理において、点検処理を実行するためのアイコンは選択されていないと判別したときには、ユーザによって選択されたアイコンに対応する処理を実行し（ステップＳ１０６）、当該処理が終了したら、ステップＳ１０１からの処理を繰り返すようにする。

そして、ステップＳ１０５の判別処理において、点検処理を実行するためのアイコンが選択されたと判別したとする。この場合、まず、制御部１０２は、メモリ部１０３に予め登録されている、当該タブレット型情報端末１を用いて点検作業が行える施設の一覧リストである点検施設選択画面を表示装置部２００の表示画面に表示する（ステップＳ１０７）。

図１１（Ａ）は、ステップＳ１０７で表示される点検施設選択画面の例を説明するための図である。図１１（Ａ）に示した点検施設選択画面では、タブレット型情報端末１を用いて点検作業が行える施設の施設ＩＤと施設名称の一覧が表示される。当該一覧の表示では、選択カーソルＣＳが、最上位の施設ＩＤと名称の表示欄に位置付けられ、点検を行う施設の選択が可能にされる。

すなわち、目的とする施設の施設ＩＤと施設名称の表示欄に電子ペン２のペン先を接触させるようにすることにより、当該指示位置に応じた座標データが入力装置部３００から情報処理装置部１００に供給される。これにより、制御部１０２は、入力装置部３００から座標データに基づいて、選択カーソルＣＳを、電子ペン２により指示された位置の施設ＩＤと施設名称の表示欄に位置付けることができる。このように、ユーザは、選択カーソルＣＳを、目的とする施設ＩＤと施設名称の表示欄に位置付けることができる。

そして、点検施設選択画面の下端側には「戻る」ボタンＢ１と「ＯＫ」ボタンＢ２とが表示され、そのそれぞれに対して電子ペン２により操作入力を行うことができる。制御部１０２は、入力装置部３００を通じて、選択カーソルＣＳの移動操作や「戻る」ボタンＢ１や「ＯＫ」ボタンＢ２に対する操作入力を受け付ける。ステップＳ１０８では、「戻る」ボタンＢ１か「ＯＫ」ボタンＢ２が操作されるまで操作入力が求められる。

そして、制御部１０２は、ステップＳ１０８において、「戻る」ボタンが操作されたか否かを判別する（ステップＳ１０９）。ステップＳ１０９の判別処理において、「戻る」ボタンＢ１が操作されたと判別した時には、制御部１０２は、ステップＳ１０１からの処理を繰り返すようにする。これにより、ユーザは、再度、目的とする処理を選択して、実行するように操作を行うことができるようにされる。

ステップＳ１０９の判別処理において、「戻る」ボタンＢ１は操作されていないと判別された時には、「ＯＫ」ボタンＢ２が操作されたと判別し、制御部１０２は、選択カーソルＣＳが位置付けられている施設ＩＤと施設名称によって特定される施設を、点検対象の施設として特定する。この実施の形態においては、図１１（Ａ）に示したように、最上段の施設ＩＤが「００１」で、施設名称が「□□化学プラント」の表示欄に選択カーソルＣＳが位置付けられて、「ＯＫ」ボタンＢ２が操作されて選択されたとする。

この場合、制御部１０２は、施設ＩＤが「００１」の「□□化学プラント」の全体図を、表示装置部２００の表示画面２２０に表示する処理を行う（ステップＳ１１０）。ステップＳ１１０において制御部１０２は、まず、図面取得部１１１を制御し、選択された施設ＩＤが「００１」の「□□化学プラント」の全体図の図面データを、図面等ＤＢ１０５から取得する。次に、制御部１０２は、図面表示処理部１１２を制御し、図面取得部１１１が取得した図面データに応じた全体図を、表示装置部２００の表示画面２２０に表示する。

図１１（Ｂ）は、ステップＳ１１０で表示される、点検する施設（点検対象施設）として選択された施設ＩＤが「００１」で、名称が「□□化学プラント」である施設の全体図の表示例を説明するための図である。図１１（Ｂ）に示した施設の全体図は、各階の見取り図として示した場合の例である。

図１１（Ｂ）に示すように、施設ＩＤが「００１」で、名称が「□□化学プラント」である施設は、３階建ての建物であり、１階は６つのエリアが、２階は７つのエリアが、３階は６つのエリアがあることが示されている。制御部１０２は、表示装置部２００の表示画面２２０に表示された全体図や操作ボタンの表示及び入力装置部３００を通じて、点検対象エリアの選択入力などの操作入力を受け付けるようにする（ステップＳ１１１）。

この実施の形態のタブレット型情報端末１においては、点検対象エリアの選択は、２つの方法のいずれかを用いて行うことができるようにされている。第１の方法は、図１１（Ｂ）に示した点検対象施設の全体図において、点検しようとするエリアの表示位置に電子ペン２のペン先を接触させるようにして、点検対象エリアを選択する方法である。第２の方法は、点検対象となるエリアに予め設置されている送信機（基地局）から送信される所定のビーコン信号を受信し、このビーコン信号に含まれる基地局ＩＤに基づいて、点検対象エリアを選択する方法である。

第２の方法を実行する場合には、図１１（Ｂ）に示した「サーチ」ボタンＢ３を電子ペン２で選択する操作を行うことになる。また、図１１（Ｂ）に示した点検対象施設の全体図の表示画面においても、「戻る」ボタンＢ１と「ＯＫ」ボタンＢ２とが表示され、電子ペン２を通じて操作可能になっている。ステップＳ１１１の操作入力受付処理では、「戻る」ボタンＢ１が操作されるか、「サーチ」ボタンＢ３が操作されるか、電子ペン２を用いて点検対象エリアを選択した後に「ＯＫ」ボタンＢ２が操作されるまで、操作入力が求められる。

ステップＳ１１１において、例えば、電子ペン２を用いて、エリアＩＤが「Ａ０１」である１階のエリアを点検対象エリアとして指定したとする。この場合、図１１（Ｂ）において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末１のユーザに通知される。この場合、他のエリアを選択し直せば、新たに選択されたエリアが反転され、エリアＩＤが「Ａ０１」のエリアの表示は通常の表示に戻される。そして、「ＯＫ」ボタンが電子ペン２により選択された場合に、電子ペン２により選択されたエリアが、点検対象エリアとして特定される。

また、ステップＳ１１１において、「サーチ」ボタンＢ３が操作された場合には、後述するように、ビーコンを用いた点検エリアの検出処理が行われることになる。また、ステップＳ１１１においては、「戻る」ボタンＢ１の操作も可能である。このため、ステップＳ１１１の操作入力受付処理の後において、制御部１０２は、図８の処理に進み、入力装置部３００からの座標データに基づいて、ステップＳ１１１で受け付けた操作入力は、「サーチ」ボタンＢ３に対する操作入力か否かを判別する（ステップＳ１１２）。

ステップＳ１１２の判別処理において、「サーチ」ボタンＢ３に対する操作入力を受け付けたと判別したときには、制御部１０２は、近距離無線通信部１２０を制御して、ビーコン信号を用いた点検対象エリアの検出処理を実行する（ステップＳ１１３）。点検の対象となる各エリアには、そのエリア内においては所定値以上の受信強度で受信が可能なようにビーコン信号を送信する基地局が予め設置されている。このため、ステップＳ１１３において、制御部１０２は、近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０を通じて、点検の対象となるエリアに予め設置されている基地局からのビーコン信号を受信するようにする。

制御部１０２は、受信強度が一定値以上のビーコン信号が受信できた場合に、そのビーコン信号に含まれる基地局ＩＤを抽出する。この抽出した基地局ＩＤに基づいて、制御部１０２は、自機のメモリ部１０３に予め格納されている基地局ＩＤと点検対象エリアとの対応付け表を参照し、点検対象エリアを特定する。例えば、エリアＩＤが「Ａ０１」である１階のエリアが点検対象エリアとして特定された場合には、図１１（Ｂ）において斜線を付して示したように、当該エリアが例えば反転表示されてタブレット型情報端末１のユーザに通知される。

なお、この実施の形態では、第２の方法として、基地局からのビーコン信号を用いて点検対象エリアを特定する場合を説明したが、これに限るものではない。ステップＳ１１３の処理においては、上述もしたように、ＱＲコード（登録商標）やバーコードなどを用いたり、赤外線通信を用いたり、ＧＰＳ機能を利用するなど、種々の方法により点検対象エリアを特定することが可能である。

また、ステップＳ１１２の判別処理において、「サーチ」ボタンＢ３に対する操作入力は受け付けていないと判別したときには、制御部１０２は、「戻る」ボタンＢ１が操作されたか否かを判別する（ステップＳ１１４）。ステップＳ１１４の判別処理において、「戻る」ボタンが操作されたと判別したときは、制御部１０２は、図７のステップＳ１０７からの処理を繰り返すようにする。これにより、タブレット型情報端末１のユーザは、点検対象とする施設の選択からもう一度やり直すことができるようにされる。

ステップＳ１１４の判別処理において、「戻る」ボタンＢ１は操作されていないと判別したときには、電子ペン２により点検対象エリアが選択され、「ＯＫ」」ボタンＢ３が操作されて確定された場合である。また、ステップＳ１１３の処理の後においては、上述もしたように、ビーコン信号を利用して点検対象エリアが特定されている。このため、ステップＳ１１４において、「戻る」ボタンは操作されていないと判別した場合と、ステップＳ１１３の処理の後においては、制御部１０２は、モード切替部１１７を制御して、自機を写真関連付けモードに遷移させる（ステップＳ１１５）。これにより、操作ボタンなどへの指示操作以外の電子ペン２による指示操作は、写真の関連付け位置の指示であると判別することができる。

そして、制御部１０２は、図面取得部１１１と図面表示処理部１１２とを制御し、図面選択処理を実行する（ステップＳ１１６）。ステップＳ１１６において、制御部１０２は、まず、図面取得部１１１を制御し、図面等ＤＢ１０５から、点検対象エリアとされたエリアのエリア設計図等の図面データを取得する。この実施の形態では、図１１（Ｂ）に示したように、１階の下側の角のエリアＩＤが「Ａ０１」のエリアが点検対象エリアとして選択されたものとして説明する。

次に、制御部１０２は、図面表示処理部１１２を制御して、図面取得部１１１を通じて取得した図面データに応じた図面を、表示装置部２００の表示画面２２０に表示する。図１２（Ａ）は、ステップＳ１１６で表示装置部２００の表示画面２２０に表示される図面表示画面の例を説明するための図である。図１２（Ａ）に示した図面表示画面では、中央部分に取得された図面データに応じた図面が表示され、上端部に、「Ａ０１」という点検対象エリアを示すエリア区分と、「配管図」という図面種別が表示されている。

この例において、表示画面２２０に表示された図面は、点検対象エリア「Ａ０１」の配管図である。当該配管図は、三角形が二つ合わされた形状のゲート弁、カタカナの「ト」が横になった形状のストレーナ、平行な２本の線で表されたフランジ、丸型に斜線が付された圧力計などが接続されて構成されていることが示されている。そして、表示図面の右上端部にある圧力計やゲート弁などが点検の対象になっているものとする。

さらに、当該素面表示画面において、図面種別の表示の右側には「２／１０」との頁番号の表示がされている。当該頁番号の表示は、当該点検対象エリアには、関係するエリア設計図等が１０図（１０頁）あり、そのうちの２図目（２頁目）の図面が現在表示されていることを示している。

なお、「２／１０」などの頁番号の表示において、分子部分の数字は、図３に示した図面データの枝番に対応する。そして、図１２（Ａ）に示したように、左上端部には左改頁ボタンＬＰが、右上端部には右改頁ボタンＲＰが表示されている。このため、ステップＳ１１６において、左改頁ボタンＬＰ、右改頁ボタンＲＰに対して電子ペン２で操作を行うことによって、表示する図面を変更することができる。改頁ボタンＬＰ、ＲＰが操作され、図面が変更されると、頁番号の表示も変更される。

さらに、図１２（Ａ）に示すように、図面表示画面の右下端部には、ファインダ領域２２１が設けられると共に、シャッターボタン２２２が表示される。ファインダ領域２２１には、電子ペン２のカメラユニット２２を通じて捉えられた被写体の画像が表示されることになる。また、シャッターボタン２２２が操作された場合には、タブレット型情報端末１から電子ペン２のカメラユニット２２を制御して、被写体の静止画像を撮影することができるようにされる。また、当該図面表示画面の左下端部には、「戻る」ボタンＢ１が設けられている。

ステップＳ１１６の図面選択処理により、取得した図面データにより形成される図面を表示装置部２００の表示画面２２０に表示した後、制御部１０２は、入力装置部３００を通じて、ユーザからの操作入力を受け付ける（ステップＳ１１７）。そして、制御部１０２は、ステップＳ１１７において受け付けた操作入力は、「戻る」ボタンＢ１か否かを願別する（ステップＳ１１８）。

ステップＳ１１８の判別処理において、「戻る」ボタンが操作されたと判別した時には、制御部１０２は、モード切替部１１７を制御し、写真関連付けモードから通常の処理モードに遷移させ（ステップＳ１１９）、図７のステップＳ１１０の処理から繰り返すようにする。これにより、タブレット型情報端末１のユーザは、再度、点検対象エリアの選択処理から行うことができるようにされる。なお、通常の処理モードは、電子ペン２による入力装置部３００に対する操作入力が、特別な意味を持たず、ボタンやアイコンの選択、筆跡の入力などを行うことができるモードである。

また、ステップＳ１１８の判別処理において、「戻る」ボタンＢ１は操作されていないと判別されたとする。この場合、制御部１０２は、入力装置部３００からの座標データに基づいて、表示画面２２０に表示されたシャッターボタン２２２が操作されたか否かを判別する（ステップＳ１２０）。ステップＳ１２０の判別処理において、シャッターボタン２２２は操作されていないと判別した時には、制御部１０２は、ステップＳ１１６からの処理を繰り返す。これにより、タブレット型情報端末１のユーザは、再度、表示画面２２０に表示する図面の選択からの処理を行うことができるようにされる。

ステップＳ１２０の判別処理において、シャッターボタン２２２が操作されたと判別したときには、電子ペン２のカメラユニット２２を通じた写真の撮影と、写真データと付加情報の記録処理を行う（ステップＳ１２１）。具体的に、ステップＳ１２１において、制御部１０２は、ファインダ制御部１１０と外部Ｉ／Ｆ１１９とを制御して、電子ペン２のカメラユニット２２を通じて撮像するようにしている被写体の動画像を、表示画面２２０に設けたファインダ領域２２１に表示する。

図１２（Ｂ）は、表示画面２２０に表示した図面の右上端部に存在している圧力計に対応し、点検対象エリア（Ａ０１）に実際に設置されている圧力計のカメラユニット２２が捉えている画像がファインダ領域２２１に表示されている場合の表示例である。図１２（Ｂ）に示すように、表示装置部２００の表示画面に設けられたファインダ領域２２１に電子ペン２のカメラユニット２２を通じて取り込んでいる動画像を表示することにより、当該ファインダ領域２２１に表示された動画像を確認しながら、目的とする点検対象の静止画像を撮影することができる。

そして、この実施の形態にタブレット型情報端末１では、シャッターボタン２２２が操作されてから所定時間後に、制御部１０２は、撮像制御部１０９を制御し、外部Ｉ／Ｆ１１９を通じて電子ペン２のカメラユニット２２に対して撮像指示を送信する。撮像指示を受信したカメラユニット２２は、その時に対物レンズを通じて取り込むようにしている被写体の画像を撮像してフレームメモリに記録することにより、被写体を撮像して写真データを得る。そして、カメラユニット２２は、撮影することにより得た写真データに、付加情報としてペンＩＤを付加して、これをＩ／Ｆ２３とケーブル２４を通じてタブレット型情報端末１に供給する。

このように、ここの実施の形態のタブレット型情報端末１は、ソフトウェアキーとしてのシャッターボタン２２２が操作された場合に、電子ペン２のカメラユニット２２が捉えている被写体の動画像を、ファインダ領域２２１に表示して観視可能にする。そして、シャッターボタン２２２を操作してから所定時間後に電子ペン２のカメラユニット２２が捉えている被写体の静止画像を撮影できるようにしている。

この場合、制御部１０２の制御の下、撮像制御部１０９は、外部Ｉ／Ｆ１１９を通じて、電子ペン２のカメラユニット２２からの写真データと付加情報としてのペンＩＤを取得する。そして、撮像制御部１０９は、取得した写真データ及びペンＩＤとからなる図４に示した写真ファイルを形成し、これを写真フォルダ１０４に記録する。なお、この段階では、手書きメモデータは空欄のままとされる。

なお、この例では、シャッターボタン２２２が操作されたらファインダ領域２２１の動画像の表示を行い、シャッターボタン２２２の操作から所定時間後に被写体を撮像して写真データを得るものとして説明した。しかし、これに限るものではない。例えば、ステップＳ１１５の写真関連付けモードへの遷移後に、電子ペン２のカメラユニット２２を通じて捉えている被写体の動画像をファインダ領域２２１に表示するようにする。そして、シャッターボタン２２２が操作されたら被写体を撮像して写真データを得るようにしてもよい。また、最初にシャッターボタン２２２が操作されたらファインダ領域２２１の動画像の表示を行い、次にシャッターボタン２２２が操作されたら被写体を撮像して写真データを得るようにすることもできる。

ステップＳ１２１の処理の後、制御部１０２は、ユーザからの操作入力を受け付けるようにする（ステップＳ１２２）。そして、制御部１０２は、入力装置部３００からの座標データに基づいて、「戻る」ボタンＢ１が操作されたか否かを判別する（ステップＳ１２３）。ステップＳ１２３の判別処理において、「戻る」ボタンが操作されたと判別したときには、制御部１０２はステップＳ１１６からの処理を繰り返すようにする。これにより、ユーザは、再度、表示画面に表示する図面の選択処理から行うことができるようにされる。

ステップＳ１２３の判別処理において、「戻る」ボタンは操作されていないと判別した時には、制御部１０２は、図９の処理に進み、表示図面の調整操作がされたか否かを判別する（ステップＳ１２４）。このステップＳ１２４の処理は、入力装置部３００からの座標データに基づいて、図１２（Ｂ）に示した、縮小ボタンＣ１、拡大ボタンＣ２、上移動ボタンＣＵ、右移動ボタンＣＲ、下移動ボタンＣＤ、左移動ボタンＣＬが操作されたか否かを判別するものである。

すなわち、図１２（Ｂ）に示した表示例においては、左下端部に「戻る」ボタンが表示されると共に、表示図面の編集用ボタンとして、縮小ボタンＣ１、拡大ボタンＣ２、上移動ボタンＣＵ、右移動ボタンＣＲ、下移動ボタンＣＤ、左移動ボタンＣＬが表示される。そして、これらに対する操作も可能にされる。

ステップＳ１２４の判別処理において、表示図面の調整操作がされたと判別したときには、制御部１０２は、図面表示処理部１１２を制御して、ユーザからの操作入力に応じて、表示図面の調整処理を実行する（ステップＳ１２５）。具体的には、表示図面の縮小／拡大、表示図面の移動などの処理が行われる。このように、表示図面の調整を行うことにより、当該表示図面の目的とする位置に撮影した写真を関連付けしやすくすることができる。

ステップＳ１２５の処理の後においては、図８のステップＳ１２２からの処理が繰り返される。これにより、「戻る」ボタンＢ１を選択したり、表示画像の調整処理を継続して行ったりすることができる。

ステップＳ１２４の判別処理において、表示図面の調整操作はされていないと判別したときには、制御部１０２は、写真を関連付ける（貼り付ける）ための座標指示を受け付けたか否かを判別する（ステップＳ１２６）。この実施の形態のタブレット型情報端末１においては、図８に示した処理のステップＳ１１５において、写真関連付けモードに遷移するようされている。このため、制御部１０２は、電子ペン２による表示された操作ボタンに対する指示操作以外の指示操作は、写真の関連付け位置を指示する座標指示と判別する。

ステップＳ１２６の判別処理において、写真の関連付け位置を指示する座標指示は受け付けていないと判別したときには、有効な操作入力は受け付けていないので、図８のステップＳ１２２からの処理が繰り返される。これにより、「戻る」ボタンＢ１を選択したり、表示画像の調整処理を継続して行ったりすることができる。

図１３（Ａ）は、電子ペン２に関連付けられる写真データに応じた写真の関連付け位置を特定する処理について説明するための図であり、ステップＳ１２７以降の処理を具体的に説明するための図である。ステップＳ１２２～ステップＳ１２５の処理が繰り返されることにより、例えば、図１３（Ａ）に示すように、拡大されて、表示範囲が移動されることにより、表示画面２２０に表示される範囲が変更された図面が表示されている状態にあるとする。

すなわち、表示画面２２０に表示された図面（配管図）の右上にある圧力計の近傍に、実際の圧力計の写真を関連付けするために、図１３（Ａ）に示すように、当該図面を拡大し、圧力計部分を中心に表示画面２２０に表示したとする。この時に、図１３（Ａ）に示すように、表示画面２２０上の目的とする位置Ｐに、電子ペン２のペン先を接触させる操作が行われたとする。

この場合、ステップＳ１２６の判別処理においては、写真の関連付け位置を指示する座標指示を受け付けたと判別される。この場合、制御部１０２は、入力装置部３００から提供された座標データと付加情報としてのペンＩＤを取得する（ステップＳ１２７）。このように、電子ペン２から入力装置部３００を通じて座標データと共に取得されたペンＩＤが第１の付加情報として機能することになる。

そして、制御部１０２は、写真取得部１０６を制御して、電子ペン２に関連付けられる写真データを写真フォルダ１０４から取得する（ステップＳ１２８）。ステップＳ１２８において、写真取得部１０６は、ステップＳ１２７で取得したペンＩＤ（第１の付加情報）と、写真フォルダに格納されている写真データに付加されているペンＩＤ（第２の付加情報）に基づいて、電子ペン２に関連付けられる写真データを取得する。すなわち、電子ペン２から取得したペンＩＤと同じペンＩＤが付付加されている写真データを取得する。

これにより、写真フォルダ１０４に、例えばデジタルカメラにより撮影することにより得られた写真データなどが格納されていたとしても、電子ペン２のカメラユニット２２を通じて撮像して得た写真データだけを取得することができる。すなわち、電子ペン２に関連しない写真データが取得されることがない。

この後、制御部１０２は、第１関連付け部１０７を制御して、ステップＳ１２７で取得した電子ペン２により指示された座標位置を示す座標データと、ステップＳ１２８で取得した写真データとを関連付ける（ステップＳ１２９）。これにより、当該座標データが示す表示画面２２０上の位置に、当該写真データに応じた画像を表示するようにできる。

このため、制御部１０２は、写真関連付け部１０８を制御し、ステップＳ１２９において、関連付けられた座標データが示す表示画面２２０上の位置に、ステップＳ１２９において関連付けられた写真データに応じたサムネイル画像を表示する（ステップＳ１３０）。これより、図１３（Ａ）に示すように、電子ペン２によい指示された表示画面２２０上の位置Ｐに、ステップＳ１２８で取得した写真データに応じたサムネイル画像Ｓｎを関連付ける（貼り付ける）ことができる。

なお、電子ペン２のカメラユニット２２を通じて撮像され、付加情報として電子ペン２のペンＩＤが付加された複数の写真の写真データが写真フォルダ１０４に格納されている場合もある。このような場合には、ステップＳ１２８において、電子ペン２に対して関連付けられる複数の写真の写真データが取得される。この場合には、ステップＳ１２９、ステップＳ１３０の処理が、若干異なる。

図１３（Ｂ）は、電子ペン２に関連付けられる写真データが複数存在する場合の処理を説明するための図である。ステップＳ１２８において、電子ペン２に関連付けられる複数の写真の写真データが取得されたとする。この場合、制御部１０２の制御の下、第１関連付け部１０７は、電子ペン２による指示位置Ｐに対応する座標データと、取得された複数の画像データのそれぞれとを関連付ける（ステップＳ１２９）。

そして、制御部１０２の制御の下、写真関連付け部１０８が、取得された複数の写真データに応じた写真のサムネイル画像を表示画面２２０に表示する処理を行う（ステップＳ１３０）。具体的に、ステップＳ１３０において、写真関連付け部１０８は、図１３（Ｂ）に示すように、ユーザによる電子ペン２の指示位置Ｐを基準位置とする。そして、写真関連付け部１０８は、当該指示位置Ｐに対応する座標データに対応付けられた複数の写真データのそれぞれに応じた写真のサムネイル画像Ｓｎ１、Ｓｎ２、Ｓｎ３、…を表示する（ステップＳ１２９）。図１３（Ｂ）においては、複数の写真のサムネイル画像が少しずつずらされながら重なり合う部分を有するようにして表示された場合を示している。

そして、制御部１０２の制御の下、写真関連付け部１０８が機能し、表示された複数のサムネイル画像を利用して、関連付けるべき写真データを選択する処理が行われる（ステップＳ１３１）。ステップＳ１３１においては、目的とするサムネイル画像の表示エリア上に電子ペン２の先端を接触させるようにする操作が受け付けられる。この場合、写真関連付け部１０８は、その指示された位置を表示エリアとするサムネイル画像を、その全体が観視可能となるように、全てのサムネイル画像の一番手前側に表示するように処理する。

これにより、ユーザは、サムネイル画像の全体を見て、目的とする写真か否かを判別できる。目的とする写真でなかった場合には、別のサムネイル画像の表示エリア上に電子ペン２の先端を接触させるようにして、そのサムネイル画像の全体を表示させる。このような処理を繰り返すことにより、ユーザは、各サムネイルの全体を確認して目的とする写真を探すことができる。

目的とする写真が見つかったら、例えば、ユーザはそのサムネイル画像の表示エリア上を、電子ペン２を用いてダブルタップ操作をする。当該ダブルタップ操作を受け付けた場合、写真関連付け部１０８は、ダブルタップされたサムネイル画像に対応する写真データを、関連付けに用いる写真データとして選択する。そして、写真関連付け部１０８は、図１３（Ａ）に示した態様で、当該写真データに応じた一枚の写真のサムネイル画像を、電子ペン２による最初の指示位置Ｐを基準にした位置に表示する。

このような、写真データを選択する一連の処理が、ステップＳ１３１において実行される。なお、ステップＳ１２８において取得された写真データが１つしかない場合には、ステップＳ１３１においては、その写真データが、関連付けられる写真データとして選択される。

ステップＳ１３１の処理の後においては、制御部１０２の制御の下、モード切替部１１７が機能し、写真編集モードに遷移する（ステップＳ１３２）。これにより、電子ペン２による入力装置部３００のセンサ部３２０に対する操作入力は、写真に対する編集操作や手書きメモの入力操作とみなされる。そして、制御部１０２は、写真表示処理部１１５を制御して、ステップＳ１３１で選択された写真データに応じた写真を表示画面２２０に表示させ、当該写真に対する編集操作や手書きメモの入力操作を受け付けるようにされる（ステップＳ１３３）。

なお、説明を簡単にするため、図９には示していないが、図１３（Ａ）に示したように、電子ペン２により指示した位置を変更したい場合もある。このような場合には、図１３（Ａ）の表示画面２２０の左下端部に設けられている「取消」ボタンＢ４を操作することにより、指示位置Ｐの指示を取り消して、再度、指示位置を指示し、「ＯＫ」ボタンＢ５を操作することにより指示位置を確定する。といった指示位置Ｐの変更操作もできるようにされる。

図１４（Ａ）は、ステップＳ１３３において、表示画面２２０に表示される写真の編集画面の例を説明するための図である。表示画面２２０の中央部分に、ステップＳ１３１で選択された写真データに応じた写真Ｇ１が表示されると共に、「閉じる」ボタンＢ６が表示される。そして、この例の場合には、電子ペン２を用いてセンサ部３２０に対してホバリング操作を行うことにより、編集処理部１１６が機能し、写真Ｇ１の縮小／拡大を行うことができる。

具体的には、写真Ｇ１が表示されている表示画面２２０上のエリアに対応する入力装置部３００のセンサ部３２０の検出エリア上で、電子ペン２のペン先を近づけたり、遠ざけたりする、いわゆるホバリング操作を行う。これにより、編集処理部１１６が機能し、表示画面２２０に表示された写真Ｇ１の縮小／拡大を行うことができる。すなわち、入力装置部３００は、センサ部３２０に対する電子ペン２の距離を検出し、これを制御部１０２に通知する。制御部１０２は当該距離に基づいて、編集処理部１１６を制御し、写真Ｇ１の縮小／拡大を行うことができる。例えば、センサ部３２０に対して電子ペン２を近づければ写真Ｇ１は縮小され、遠ざければ写真Ｇ１は拡大される。

また、制御部１０２の制御の下、編集処理部１１６は、入力装置部３００のセンサ部３２０上の手書きメモの付加エリアＡｒに対する電子ペン２による筆記操作を受け付けて、手書きメモを入力することができるようにされる。これにより、例えば、図１４（Ａ）に示したように、手書きメモの付加エリアＡｒに「圧力正常値。調整不要」などのように、必要に応じた手書きメモを入力することができるようになっている。

そして、図１０の処理に進み、「閉じる」ボタンが操作されたか否かを判別し（ステップＳ１３４）、「閉じる」ボタンは操作されていないと判別したときには、図９のステップＳ１３３からの処理が繰り替えされる。これにより、写真編集処理と手書きメモ入力処理を継続して行うことができるようにされる。

ステップＳ１３４の判別処理において、「閉じる」ボタンが操作されたと判別したときには、表示された写真Ｇ１に対する写真編集処理や手書きメモ入力処理は終了したと判別できる。この場合、制御部１０２は、座標変換部１１３を制御し、表示画面２２０上の電子ペン２による指示位置Ｐを、表示図面上の位置に変換する処理を行う（ステップＳ１３５）。

図１４（Ｂ）は、表示図面上の指示位置を説明するための図であり、図１５は、表示画面２２０上の指示位置を表示図面上の位置に変換する処理を説明するための図である。図１３（Ａ）、（Ｂ）に示した例において、点検対象エリアの選択された図面（この例では、エリア設計図面である配管図）は、拡大され、表示画面２２０への表示対象エリアを移動するようにして、目的とする図面部分を表示画面２２０に表示した状態にある。

この状態で、写真の関連付け（貼り付け）位置Ｐを指示しているため、表示図面上の指示位置は、図１４（Ｂ）に示すように、表示図面の全体を表示画面２２０に表示した場合には、図面右上の圧力計の近傍の位置となる。このため、座標変換部１１３は、図１３に示したうように指示された表示画面２２０上の指示位置Ｐを、図１５に示すように、例えば左上端部を原点Ｏ（０，０）とする表示図面に対応する座標系上の指示位置ＺＰとして特定する。そして、図１５に示した表示図面に対応する座標系において、指示位置ＺＰの座標データ（Ｘ１，Ｙ１）を特定する。これにより、図１３に示したように指示される表示画面上の指示位置Ｐは，図１４（Ｂ）や図１５に示したように、表示図面上における指示位置ＺＰに変換される。

この後、制御部１０２は、第２関連付け部１１４を制御し、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つを関連付ける（ステップＳ１３６）。具体的に、第２関連付け部１１４は、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つを関連付けた関連付けデータを形成する。図１６は、第２関連付け部１１４が形成する関連付けデータの例を説明するための図である。

第２関連付け部１１４は、図１６に示すように、施設ＩＤ、種別、フロアー、エリアＩＤ、枝番を、関連付けデータの該当欄に入力する。これらの情報は、図３（Ｂ）を用いて説明したように、表示図面の図面データに付加されているメタデータであり、表示図面を形成する図面データの図面ファイルから取得できる。さらに、第２関連付け部１１４は、選択された写真データに付加されている写真ＩＤを、写真ＩＤ欄に入力し、変換した表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）を、対応する関連付け位置欄に入力する。これにより、表示図面と、表示図面上の指示位置ＺＰ（Ｘ１，Ｙ１）と、選択された写真データとの３つが関連付けられる。

また、この例においては、図１４（Ａ）を用いて説明したように、写真Ｇ１に対して入力するようにされた手書きメモデータは、図４を用いて説明した当該写真データが格納されている写真ファイルの手書きメモデータ欄に格納される。この手書きメモデータの写真ファイルへの更新処理は、例えば、第２関連付け部１１４が行うようにしている。もちろん、編集処理部１１６などの他の処理部が別途行うようにしてもよい。このようにして形成された関連付けデータは、たとえばメモリ部１０３の所定の領域に記憶保持され、必要に応じて読み出して繰り返し利用することができるようにされる。

この後、制御部１０２は、図８に示したステップＳ１１５からの処理を繰り返すようにする。これにより、１つの表示図面に対して、異なる写真データを、異なる指示位置に付加することもできるようにされる。このため、図１６に示すように、関連付けデータにおいては、１つの表示図面に対して、複数の写真データの写真ＩＤと、複数の異なる関連付け位置とを対応付けることができるようになっている。

そして、図１６に示す関連付けデータを利用することにより、例えば、図１４（Ｂ）に示したように、目的とする図面上の指示位置ＺＰに、関連付けられる写真のサムネイル画像ＭＫを表示して、ユーザに提供できる。もちろん、図１４（Ｂ）に示した表示において、サムネイル画像ＭＫを電子ペンで指示することにより、図１４（Ａ）に示した態様で、写真だけを表示して、提供することもできる。また、図１４（Ｂ）に示した表示において、表示を拡大したり、移動したりすることにより、図１３（Ａ）に示した態様で、表示図面と写真のサムネイル画像との両方を拡大して表示し、提供することができる。

［第１の実施の形態の効果］
上述した第１の実施の形態のタブレット型情報端末１及び電子ペン２によれば、電子ペン２に関連付けられる写真データを取得することができる。そして、取得した写真データと、電子ペン２により指示された表示画面２２０上の指示位置とを関連付けることができる。これにより、電子ペン２に関連付けられる写真データを、表示画面上の指示位置に関連付けて表示することができる。

また、表示画面２２０に図面が表示されている場合には、電子ペン２による指示位置を表示図面上の指示位置に変換し、当該表示図面と、電子ペン２に関連付けられる写真データと、表示図面上の指示位置とを関連付けることができる。これにより、表示図面上の指示位置に、関連付けられる写真を貼り付けて表示することができる。

このように、電子ペン２に関連付けられる写真データを、表示画面上の指示位置に関連付けたり、表示図面上の指示位置に関連付けたりすることが容易にできる。このため、例えば、点検作業において撮影した写真だけを、点検作業に用いた図面上に関連付けて管理できるなど、写真と図面とを関連付けて管理することが容易に行える。

［第１の実施の形態の変形例等］
上述した第１の実施の形態では、電子ペン２のペンＩＤを用いた認証を行うことにより、関連付け対象の写真データであって、電子ペン２に関連付けられる写真データを取得し、電子ペン２による指示位置に応じた表示画面上の位置に当該写真データに応じた画像を関連付けした。しかし、これに限るものではない。

入力装置部３００のセンサ部３２０が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。この場合、ユーザの指からはペンＩＤ等は送信されない。また、ペンＩＤを持たない電子ペンやペンＩＤを位置指示信号には含めない電子ペンもある。このような場合には、関連付け画像特定情報が付加された写真データに応じた画像を、ユーザの指などの指示体により指示されたセンサ部の指示位置に対応する表示画面上の位置に関連付けするようにできる。

なお、この明細書において、指示体との文言は、ユーザの指や位置指示信号としてペンＩＤなどの付加情報を送信しない電子ペンとの両方を含むものとして用いている。また、位置指示器との文言は、ペンＩＤなどの付加情報を含む位置指示信号の送出が可能な主に電子ペンを意味している。

このように、ペンＩＤを用いない場合にも、基本的には、図７～図１０のフローチャートを用いて説明した処理を行うことができるが、図９に示したステップＳ１２８の処理が異なることになる。すなわち、ペンＩＤによって電子ペンとの関連付けを行わない場合には、図９のステップＳ１２８の処理において、所定の関連付け画像特定情報が付加された写真データを、例えば写真フォルダ１０４から取得するようにすればよい。この場合の、関連付け画像特定情報は、例えば、ユーザＩＤや点検コードなどの点検を行う者しか知り得ない情報を用いるのか好ましい。

そして、写真データには、例えば、写真フォルダ１０４に格納された時点において、ユーザが関連付け画像特定情報を付加するようにする。また、ユーザは、メモリ部１０３の所定の記憶領域に関連付け画像特定情報を登録しておくようにする。そして、上述したように、図９のステップＳ１２８の処理において、制御部１０２は、写真取得部１０６を制御して、メモリ部１０３に登録された関連付け画像特定情報と同じ情報が付加された写真データを、写真フォルダ１０４から取得するようにすればよい。

これにより、関連付け対象とされた写真などの適切な画像を迅速に取得して、これをユーザの指やペンＩＤを持たない電子ペンにより指示された表示画面上の座標位置に関連付けして利用可能となる。すなわち、ユーザの指やペンＩＤを持たない電子ペンを用いても、関連付け用の特別な画像のみを取得し、この画像とユーザの指やペンＩＤを持たない電子ペンによる指示位置に応じた座標データとを関連付けて、利用することができる。

また、上述した第１の実施の形態では、電子ペン２のカメラユニット２２を通じて撮像することにより得た写真データに対して第２の付加情報としてペンＩＤを付加して出力するようにした。また、電子ペン２の電子ペン機能部２１の機能によって生成して送信する位置指示信号にも第１の付加情報としてペンＩＤを付加して出力するようにした。しかし、これに限るものではない。

第１の付加情報としてのペンＩＤは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信を用いて送信するようにしてもよい。図１７は、位置指示信号とは別に例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格の無線通信によりペンＩＤを送信する電子ペン２Ａの構成例を説明するための図である。また、図１８は、無線通信により送信されるペンＩＤを受信する機能を備えたタブレット型情報端末と電子ペンとの接続関係を説明するための図である。

図１７において、図５に示した電子ペン２と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。また、図１８において、図６に示したタブレット型情報端末１の部分と同様に構成される部分には同じ参照符号を付し、その部分についての詳細な説明については重複するので省略する。

図１７に示した電子ペン２Ａの電子ペン機能部２１は、位置指示信号を形成して送信するが、自機のペンＩＤを含まない位置指示信号を形成して送信するものである。そして、この例の電子ペン２Ａは、ペンＩＤメモリ２５と、例えば、ｂｌｕｅｔｏｏｔｈ（登録商標）規格の送信回路２６と送信アンテナ２７を備え、自機のペンＩＤは、送信回路２６及び送信アンテナ２７を通じて送信する。なお、カメラユニット２２を通じて撮像することにより得られた写真データには、ペンＩＤメモリ２５のペンＩＤが付加され、Ｉ／Ｆ２３を通じて送信される構成は、図５に示した電子ペン２の場合と同様である。

これに対応し、図１８に示すように、タブレット型情報端末１側には、ｂｌｕｅｔｏｏｔｈ（登録商標）規格の受信回路１５０及び受信アンテナ１５０Ａを設ける。これにより、電子ペン２Ａ～無線送信される第１の付加情報としてのペンＩＤをこれら受信アンテナ１５０Ａ及び受信回路１５０を通じて受信し、これを情報処理装置部１００において、適切な写真データの取得や認証に用いることができる。このように、第１の付加情報としてのペンＩＤは、位置指示信号とは別の無線通信経路を通じて送信することができる。

また、上述した第１の実施の形態においては、電子ペン２は操作ボタンを備えないものであった。しかし、これに限るものではない。図１９は、電子ペンの変形例を説明するための図である。例えば、図１９の電子ペン２Ｂに示すように、シャッターボタン２８、サイドスイッチ２９、３０などの操作ボタンを電子ペンに対して設けるようにしてもよい。電子ペン２Ｂに示したように電子ペン側にシャッターボタン２８を設けることにより、写真を撮影する操作を電子ペン２Ｂに設けられたシャッターボタンにより行うことができ、操作性をよくすることができる。

図２０は、電子ペン２Ｂのサイドスイッチ２９、３０の利用方法の例を説明するための図である。サイドスイッチ２９、３０は、これが押下操作された場合には、操作されたサイドスイッチに応じて、電子ペン２Ｂから送信される位置指示信号の例えば周波数が変えられることにより、入力装置部３００側においてどのサイドスイッチが操作されたかを認識することができる。

このため、図２０（Ａ）において、サイドスイッチ２９を塗りつぶして示したように、サイドスイッチ２９が操作された状態で、電子ペン２Ｂをセンサ部３２０上に接触させるようにして移動させたとする。この場合には、表示画像に対するドラッグ操作であると情報処理装置部１００側で判別し、表示図面の全体の移動を行うようにすることができる。

また、図２０（Ｂ）において、サイドスイッチ３０を塗りつぶして示したように、サイドスイッチ３０が操作された状態で、電子ペン２Ｂをセンサ部３２０上に接触させたとする。この場合には、写真の関連付け位置の指示操作であると、情報処理装置部１００側で判別し、指示位置Ｐを基準にして、選択された写真データに応じたサムネイル画像を関連付ける（貼り付ける）ことができる。

このように、電子ペンにシャッターボタン２８やサイドスイッチ２９、３０を設けることによって、写真撮影、表示画像のドラッグ移動、写真の関連付け位置の指定などを、より簡単な操作で行うことができるようにされる。

また、上述した第１の実施の形態では、電子ペン２の先端をセンサ部３２０上に接触させるようにして選択した写真データに応じた写真の関連付け位置を指示するようにした。この場合に、例えば、ホバリング操作によって、写真の関連付け位置を確認できるようにすることもできる。図２１は、ホバリング操作による写真の関連付け位置を確認について説明するための図である。

図２１に示すように、写真関連付けモード時において、電子ペン２の先端をセンサ部３２０に対して接触させることなく、所定距離以上近づけたとする。この場合に、電子ペン２がセンサ部３２０に対して、所定距離以上近づいている間において、電子ペン２からの位置指示信号を受信しているセンサ部３２０上の位置を基準にして、選択された写真データに応じたサムネイル画像ＶＭを表示画面２２０に表示する。

このようにして、選択した写真データを関連付けする表示画面２２０上の位置を確認する。そして、関連付け位置がよくないと思う場合には、電子ペン２の位置を変えることにより、サムネイル画像ＶＭの表示位置を順次に変えるようにして、適切な表示位置を探すようにすることができる。適切な表示位置が特定できた場合に、センサ部３２０上の対応する位置に電子ペン２を接触させることで、その指示位置を写真データの関連付け位置として特定することができる。

また、タブレット型情報端末１は、電子ペン２のカメラユニット２２以外からも写真データと付加情報を取得することができる。図２２は、写真データ及び付加情報の取得先及び取得経路について説明するための図である。図２２に示すように、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと呼ばれる無人飛行体などと、外部Ｉ／Ｆ１１９を通じて有線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。

また、デジタルカメラやカメラ機能が搭載されたスマートホンやドローンなどと、近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０を通じて無線接続し、これらから写真データと付加情報を取得したり、これらを制御したりすることができる。さらに、インターネット上に設けられているデータセンターやサーバ群から構成されるいわゆるクラウドに蓄積されている写真データや付加情報を、送受信アンテナ１０１Ａ及び無線通信部１０１を通じて取得することもできるようにされる。

なお、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合、当該付加情報には電子ペン２との関連付けのために必要なペンＩＤは含まれていない。このため、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データや付加情報を取得する場合には、後から付加情報に電子ペン２のペンＩＤを付加することができる。

また、ペンＩＤを付加するのではなく、ペンＩＤとユーザＩＤとを対応付けて、情報処理装置部１００のメモリ部１０３に格納し、同様に、デジタルカメラ、スマートホン、ドローンなどの外部機器の機器ＩＤとユーザＩＤとを対応付けて、情報処理装置部１００のメモリ部１０３に格納しておく。そして、電子ペン２からのペンＩＤにより特定されるユーザＩＤと、外部機器からの機器ＩＤにより特定されるユーザＩＤとが同じ場合に、電子ペン２と当該機器ＩＤが付加されていた写真データとを関連付けるようにしてもよい。ユーザＩＤは、ユーザ氏名、数字列、英数字などが組み合わせたものなど、ユーザを特定可能な種々のものを用いることができる。

また、デジタルカメラ、スマートホン、ドローンなどの外部機器には、現在日時を提供する時計回路や現在位置を測位するＧＰＳ部が搭載されている。このため、電子ペン２にも時計回路やＧＰＳ部を搭載し、現在時刻や現在位置を電子ペン２から入力装置部３００を通じて情報処理装置部１００に提供できるようにする。そして、電子ペン２からの現在時刻及び現在位置と、デジタルカメラ、スマートホン、ドローンなどの外部機器から写真データに付加されている現在時刻及び現在位置とが、一定の範囲内にあり、電子ペン２と外部機器とが、同一時間帯に同一エリアで使用されていると判別できる場合に、電子ペン２と外部機器からの写真データとを関連付けるようにしてもよい。

また、現在時刻と現在位置との両方を用いるのではなく、いずれか一方だけを用いて、電子ペン２と写真データとの関連付けを行うようにしてもよい。このように、電子ペン２と写真データとの関連付けは、ペンＩＤ、機器ＩＤ、現在時刻、現在位置など種々の情報を用いて行うことができる。また、直接に関連付ける情報でなくとも、上述したペンＩＤと機器ＩＤのように、同じ情報に紐付ける情報を、関連付け情報として用いるようにしてもよい。

また、上述した第１の実施の形態では、タブレット型情報端末１と電子ペン２とは有線により接続するものとして説明したが、これに限るものではない。無線により接続するようにしてももちろんよい。例えば、Ｗｉ－Ｆｉ（登録商標）規格の無線ＬＡＮ接続、Ｂｌｕｅｔｏｏｈ（登録商標）規格の無線通信、ＮＦＣ（Near field radio communication）などと呼ばれる種々の近距離無線通信、これらを改良、発展させた無線方式により、タブレット型情報端末１と電子ペン２とを無線接続することが可能である。

また、上述した第１の実施の形態では、点検対象エリアを選択した後に、情報処理装置部１００は、自機を写真関連付けモードに遷移させ、操作ボタンに対する操作以外の電子ペン２による指示操作を、写真データに応じた写真の関連付け位置の指示操作と見做すようにした。しかしこれに限るものではない。

例えば、シャッターボタンが操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン２のセンサ部３２０対する傾きを検出できるようにして、電子ペン２の傾きが所定角度以上、あるいは、所定角度以下の時に、写真関連付けモードに遷移させてもよい。また、電子ペン２と写真データとの関連付けができた場合に、写真関連付けモードに遷移させてもよいし、図１８（Ｂ）を用いて説明したように、所定のサイドスイッチが押下操作された場合に、写真関連付けモードに遷移させてもよい。また、電子ペン２に加えられた筆圧が、所定値以上あるいは所定値以下のときに、写真関連付けモードに遷移させてもよい。

このように、電子ペン２によるセンサ部３２０上の指示位置が、写真データに応じた写真の関連付け位置の指示か、それ以外の指示かを情報処理装置部１００が認識可能にするためには、所定の事象が発生した場合に、写真関連付けモードに遷移させるようにすればよい。もちろん、サイドスイッチを用いる場合には、写真関連付けモードに遷移させるのではなく、そのときだけ、写真データに応じた写真の関連付け位置の指示操作がされたと判別するようにすればよい。

また、上述した第１の実施の形態では、点検対象エリアの種々の設計図面を表示画面２２０に表示し、これに写真データを関連付ける場合を説明したが、これに限るものではない。例えば、被写体の全体写真に、当該被写体の各部分の写真を関連付けするようにしたり、電子データとして取り込むようにした手書き画像に写真を関連付けするようにしたりすることができる。すなわち、写真の関連付け対象となる画像は、設計図面の他、種々の画像を用いることが可能である。

また、上述した第１の実施の形態では、点検対象エリアの目的とする設計図面を表示画面２２０に表示し、これに点検対象部分の写真データを関連付ける場合について説明した。しかしながら、点検対象が化学プラントのような複雑な場所である場合、写真を取るべき点検箇所（点検部位）が即座に特定できない場合があると考えられる。特に点検に不慣れなユーザ（担当者）が点検を行う場合には点検箇所の特定に時間がかかる場合がある。

そこで、点検部位の画像を予め撮影してその部位の画像データを得て、これを点検対象エリアのエリア設計図等と対応付けて記憶保持しておく。そして、ユーザが目的とする点検エリアに到着し、点検に用いる設計図面を選択した後に、点検部位が即座に特定できない場合に、点検部位サーチ機能を用いるようにする。タブレット型情報端末１の点検部位サーチ機能は、以下の（１）～（３）の３つのステップからなる。

（１）点検エリアの画像を電子ペン２のカメラユニット２２を通じて撮像するようにして取り込む。（２）取り込んだカメラ画像と、選択された設計図等に対応付けられている点検部位の画像データによる画像（点検部位画像）との画像マッチングを行う。（３）この画像マッチングにより点検部位画像と一致する部位（箇所）を点検部位として特定し、これをユーザに通知する。以下、この点検部位サーチ機能について具体的に説明する。

図２３は、タブレット型情報端末１が備える点検部位サーチ機能を説明するための図である。図２３（Ａ）は、予め撮影されて記憶保持されている点検部位の画像データにより形成される点検部位画像ＴＺを示す図である。上述もしたように、点検部位の画像データは、エリア設計図等と対応付けられて、図面等ＤＢ１０５に記憶保持されているものとする。

そして、点検対象エリアに到着したユーザによって、例えば、タブレット型情報端末１の表示画面２２０に表示されるメニューから点検部位サーチ機能に対応する項目が選択されることにより、点検部位サーチ機能が実行するようにされたとする。この場合、タブレット型情報端末１の制御部１０２は、電子ペン２に制御信号を供給し、電子ペン２のカメラユニット２２を起動させる。

更に、制御部１０２は、音声メッセージや表示メッセージにより、ユーザに対して点検エリアの撮影を指示する。これに応じて、ユーザは電子ペン２のカメラユニット２２の撮像レンズを点検エリアに向けて撮影を行うようにする。これにより、カメラユニット２２を通じて点検エリアが撮像され、カメラ画像（撮像画像）がタブレット型情報端末１に送信されて、表示装置部２００の表示画面２２０に表示される。

図２３（Ｂ）は、タブレット型情報端末１の表示画面２２０に表示されたカメラ画像ＣＺの例を示す図である。タブレット型情報端末１の制御部１０２は、カメラ画像ＣＺ（図２３（Ｂ））と、点検部位画像ＴＺ（図２３（Ａ））とのパターンマッチングを行って、カメラ画像ＣＺ中の点検部位を特定する処理を行う。簡単には、制御部１０２は、カメラ画像ＣＺ中の各オブジェクトの輪郭を特定し、点検部位画像ＴＺ中のオブジェクトの輪郭と類似の高い部分を検出する。

図２３（Ｂ）に示すカメラ画像ＣＺの例の場合、カメラ画像ＣＺの右側に点検部位画像ＴＺと類似の高い部位が検出され、その部位を囲むように点線が表示されると共に、矢印ＹＭも表示されて、点検部位ＣＰがユーザに通知される。このように、点検部位サーチ機能は、点検部位画像ＴＺをマーカーとして利用し、このマーカーと一致する部位を点検箇所として通知する機能である。換言すれば、点検部位サーチ機能は、いわゆるＡＲ（Augmented Reality）マーカーとしての機能を実現するものである。これにより、点検に不慣れなユーザが点検を実行する場合にも、点検箇所を間違えることなく迅速に特定し、適切に点検を行うことができる。

また、実際の点検の場面では、例えば、亀裂や変色部位などの問題箇所が発見された場合、その問題箇所の寸法を適切に把握したいとする要求がある。もちろん、問題箇所を撮影した写真の画像データに対して付加できる上述した手書きメモで、問題箇所の寸法等の情報を残すことも可能である。しかし、問題箇所を撮影した写真の画像から問題箇所の寸法等について一見して把握できるようにしておくとより便利である。

ところが、単に問題箇所を撮影しても撮影画像からは問題箇所等の大きさ、具体的には、亀裂の長さや変色部位の大きさを正確に把握できない。撮影時におけるカメラユニット２２から被写体（問題箇所等）までの距離などの撮影時の状態が分からないため、問題箇所等の実際の大きさが撮影画像からは把握できないのである。そこで、この実施の形態のタブレット型情報端末１と電子ペン２とからなる装置では、撮像した写真の画像自体に目盛りを自動で付加したり、実際に定規を当てて寸法を測り、撮像した画像上に手書きメモを付加したりすることもできるようにする。

図２４は、自動的に目盛りを付した撮影画像（図２４（Ａ））と、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像（図２４（Ｂ））を説明するための図である。まず、図２４（Ａ）を参照しながら、自動的に目盛りを付した撮影画像を得る場合について説明する。図２４（Ａ）に示すように、点検箇所の例えば壁面に生じている亀裂ＫＲと当該亀裂ＫＲの周囲に生じている変色箇所ＨＢとを撮影する場合を考える。

この場合に、タブレット型情報端末１の使用者は、電子ペン２のカメラユニット２２を通じて撮影を行うに際して、例えば、表示画面２２０に表示されている目盛り付与ボタンを指示するなどの撮影画像に目盛りを付加するための所定の操作を行う。この場合、ファインダ制御部１１０が機能して、カメラユニット２２を通じて取り込まれた画像中に存在する被写体を認識し、当該被写体の大きさに応じた目盛りを当該画像中に合成する。

被写体の大きさいを算出する方法は種々の方法があるが、その一例について説明する。簡単には、カメラユニット２２の焦点距離ｆ、撮影された画像の水平画素数Ｗ、撮影された画像中の被写体の水平方向の占有画素数Ｎ、被写体までの距離Ｒが分かれば、被写体の水平方向の大きさＬ（ｍｍ）は、「（３６Ｒ／ｆ）（Ｎ／Ｗ）」で求めることができる。この場合、撮像素子サイズのフォーマットが、３５ｍｍフィルムサイズ相当の（水平方向３６ｍｍ×垂直方向２４ｍｍ）であるものとしている。

したがって、上述の式では、（３６Ｒ／ｆ）で水平方向の倍率を求め、これに（Ｎ／Ｗ）で写真全体における被写体の横方向に占める割合を掛けることにより、被写体の水平方向の長さを（大きさ）求めている。なお、物体の垂直方向の長さ（大きさ）は、定数「３６」に替えて定数「２４」を用い、撮影された画像の垂直画素数と、撮影された画像中の被写体の垂直方向の占有画素数を用いれば、同様に計算できる。また、撮像素子サイズのフォーマットが変われば、それに応じて計算式の定数部分の値が変わる。

この場合、焦点距離ｆは事前に分かっている情報であり、水平画素数Ｗと占有画素数Ｎとは、タブレット型情報端末１側で撮影画像に基づいて把握可能な情報である。しかし、カメラユニット２２から被写体までの距離Ｒは、通常分かっていない。このため、被写体までの距離Ｒは、撮影時にユーザがタブレット型情報端末１に入力するか、あるいは、被写体までの距離Ｒをタブレット型情報端末１側で算出する。

被写体までの距離Ｒの算出方法も種々の方法がある。その一例について説明する。この実施の形態の利用態様では多くの場合、１ｍ以内の近距離から点検箇所を撮影する場合が多い。このため、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを作成しても、それほどデータ量が大きくなることもない。そこで、焦点距離やフォーカス調整時の制御量などの取得可能な情報と、被写体までの距離との対応テーブルを用意しておき、これに基づいて被写体までの距離を求めるようにすることができる。

また、タブレット型情報端末１や電子ペン２が、いわゆる深度センサを搭載することにより、被写体までの距離を計測することもできる。また、カメラユニット２２が、後述する３Ｄカメラの構成とされた場合にも、被写体までの距離を計測できる。このような場合には、深度センサや３Ｄカメラにより計測するようにした被写体までの距離を用いることができる。

このようにして、被写体の大きさ、この例の場合には、亀裂ＫＲと変色箇所ＨＢの大きさが分かれば、ファインダ制御部１１０は、当該被写体の大きさに合致する目盛りを、カメラユニット２２を通じて取り込まれた画像に対して重畳する。これにより、図２４（Ａ）に示した態様で、自動的に目盛りを付した被写体の画像を撮影することができる。図２４（Ａ）に示した例の場合には、縦には１ｃｍ刻みの１０ｃｍの目盛りＳＣ１が、横にも１ｃｍ刻みの１０ｃｍの目盛りＳＣ２が表示されている。これにより、長さは約８ｃｍの亀裂が生じ、その周囲に直径が約８ｃｍの円形の変色箇所が存在することが、当該画像から一目瞭然に把握可能となる。

なお、亀裂や変色箇所が目立たない場合には、電子ペン２により、亀裂の上をなぞったり、変色箇所の周囲をなぞったりして、そのなぞった線上の位置を特定して、画像上の亀裂や変色箇所である被写体の位置や形状をタブレット型情報端末１が把握する。この把握した被写体の位置や形状に基づいて、撮影された画像の水平画素数Ｗや、撮影された画像の垂直画素数を把握するようにし、上述した計算に利用することができる。

次に、図２４（Ｂ）を参照しながら、目的被写体に定規を当てて被写体の大きさを把握し、手書きメモを記入した撮影画像を得るようにする場合について説明する。図２４（Ｂ）においても、図２４（Ａ）を用いて説明した場合と同様に、点検箇所の例えば壁面に生じている亀裂ＫＲと当該亀裂ＫＲの周囲の変色箇所ＨＢとを撮影する場合を考える。

この例の場合には、図２４（Ｂ）に示すように、亀裂ＫＲに沿って実際に定規ＲＬを当てて、亀裂ＫＲや変色箇所ＨＢの大きさを実測する。そして、当該部分を撮像し、撮像した画像をタブレット型情報端末１の表示画面２２０に表示し、電子ペン２を用いて当該撮像画像上に手書きメモを入力する。図２４（Ｂ）の場合には、「亀裂長８ｃｍ」という手書きメモＨＭ１と、「亀裂の周囲に直径約８ｃｍの変色箇所」という手書きメモＨＭ２が入力された状態を示している。

この例の場合、点検箇所の撮像画像に対して、手書きメモＨＭ１、ＨＭ２を重畳するようにして一体の画像データとし記憶保持してもよい。また、撮像画像にとは別に、手書きメモＨＭ１、ＨＭ２を当該撮像画像上の重畳位置を示す座標データとともに記憶保持するようにしてもよい。後者の場合には、当該撮像画像の再生時において、当該手書きメモＨＭ１、ＨＭ２を当該撮像画像に重畳して表示することになる。

これにより、点検箇所の画像と共に、その点検箇所に存在する亀裂や変色箇所などについての問題の所在をユーザ（点検者）の手書きメモにより明確に示すことができる。また、亀裂や変色箇所などの問題箇所の大きさ、その他の重要な情報についても、ユーザの手書きメモによって明確に把握することができる。

なお、定規ＲＬを問題箇所に当てた状態で、当該問題箇所の画像を撮影するようにしてももちろんよい。また、手書きメモの内容も問題箇所の大きさに関するものだけでなく、今後の処置方法や緊急性の有無などの必要となる種々の情報を手書きにより付加することができる。

また、撮影画像と手書きメモとを別々に記憶保持する場合には、手書きメモデータにも、これが入力されたときに用いられた電子ペン２のペンＩＤを付加しておくようにする。このようにすれば、上述したように撮影画像にも電子ペン２のペンＩＤが付加されているので、撮影画像と、これに重畳させる手書きメモデータとの対応付けをしやすくすることができる。また、撮影画像の場合と同様に、手書き画像データについても、これが利用可能なユーザをペンＩＤやユーザＩＤなどの個別情報により制限することもできる。

［第２の実施の形態］
上述した第１の実施の形態では、２次元の画像データ（エリア設計図）の指示した位置に、電子ペン２のカメラユニット２２を通じて取得し、ペンＩＤが付加されている画像データ（写真）を関連付けるようにした。すなわち、関連付けられる画像データはいずれも２次元の画像データであった。しかし、これに限るものではない。３次元データを関連付けの対象とすることもできる。

この第２の実施の形態では、第１の実施例として、３Ｄオブジェクトデータを予め用意しておき、これに電子ペン２のカメラユニット２２を通じて撮影することにより得た２次元の画像データを関連付けることができるようにする。３Ｄオブジェクトデータは、３Ｄオブジェクト（３次元物体）を表示するためのデータであり、テクスチャ画像データやポリゴンデータなどからなる３次元データである。

また、この第２の実施の形態では、第２の実施例として、３Ｄ（３次元）空間画像データと、３Ｄ（３次元）カメラを用いて撮影することにより取り込むようにした３Ｄオブジェクトデータとを関連付けることができるようにする。３Ｄ空間画像データは、例えば屋内の状態などの３次元空間画像を表示するためのデータであり、３Ｄオブジェクトデータと同様にテクスチャ画像データやポリゴンデータなどからなる３次元データである。

このように、以下に説明する第２の実施の形態の場合には、処理対象となるデータが、３Ｄオブジェクトデータや３Ｄ空間画像データである点が、上述した第１の実施の形態の場合とは異なっている。しかし、３Ｄオブジェクトデータや３Ｄ空間画像データを処理する情報処理装置としては、上述した第１の実施の形態のタブレット型情報端末１を用いることができる。このため、以下に説明する第２の実施の形態においても、図１～図６を用いて説明した第１の実施の形態のタブレット型情報端末１と電子ペン２とを用いるものとし、必要に応じて図１、図２等の図面についても参照しながら説明する。

まず、第１の実施例として、予め用意される３Ｄオブジェクトデータと２次元の画像データ（写真）とを関連付ける場合について説明する。まず、市場に種々提供されている３Ｄソフトウェアを用いて、目的とする３Ｄオブジェクトを表示するための３Ｄオブジェクトデータを作成し、これをタブレット型情報端末１の図面等ＤＢ１０５の所定の記憶領域に記憶保持しておく。

この場合、３Ｄソフトウェアを用いた３Ｄオブジェクトデータの作成は、タブレット型情報端末１で行ってもよいし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末１の図面等ＤＢ１０５に記憶するようにしてもよい。なお、３Ｄソフトウェアは、モデリング機能やレンダリンク機能を備え、３Ｄオブジェクト（３次元モデル）を作成して、これを描画（表示）することができるものである。図２５は、第２の実施の形態において、図面等ＤＢ１０５の所定の格納エリアに格納される３Ｄオブジェクトデータファイルの例を説明するための図である。

図２５（Ａ）に示すように、この例の３Ｄオブジェクトデータファイルは、３Ｄオブジェクトを表示するための３Ｄオブジェクトデータに対して、立体画像ＩＤ、枝番、備考といったメタデータが付加されたものである。この例において、立体画像ＩＤは５桁の数字であり、枝番は２桁の数字である。これら立体画像ＩＤと枝番とによって、３Ｄオブジェクトデータを一意に特定することができる。立体画像ＩＤは、例えば、円柱、角柱、円錐、角錐、…といった代表的な３Ｄオブジェクト（立体画像）に対応している。枝番は、立体画像ＩＤによって特定される３Ｄオブジェクトについてバリエーションがある場合に、バリエーションを特定する情報となる。

すなわち、円柱にも底面や上面の面積の大小、高さの高低など種々のバリエーションがあるため、そのバリエーションに応じた３Ｄオブジェクトを表示するための複数の３Ｄオブジェクトデータを図面等ＤＢ１０５に蓄積し、立体画像ＩＤと枝番とによって、その１つ１つを特定できるようにしている。例えば、予め決められた基本的な円柱は、立体画像ＩＤが「１０００１」で枝番が「０１」であり、それよりも上面、底面が小さな円柱は、立体画像ＩＤが「１０００１」で枝番が「０２」などというように、３Ｄオブジェクトデータのそれぞれが一意に特定可能になっている。

なお、図面等ＤＢ１０５に記憶保持される３Ｄオブジェクトデータファイルにおいて、立体画像ＩＤには、当該立体画像ＩＤによって特定される３Ｄオブジェクトデータによって表示される３Ｄオブジェクト（立体画像）の名称も対応付けられている。さらに、備考として、当該３Ｄオブジェクトデータに関連する種々のテキスト情報も付加できるようになっている。

そして、図２５（Ａ）に示した３Ｄオブジェクトデータファイルは、立体画像ＩＤが「１０００１」で、当該３Ｄオブジェクトデータファイルに格納されている３Ｄオブジェクトデータは「円柱」を表示するためのものであり、その枝番は「０１」であることが示されている。また、備考には「基本的な３次元図形」である旨のテキスト情報が付加されている。そして、この例では、図２５（Ａ）に示した３Ｄオブジェクトデータファイルに格納されている３Ｄオブジェクトデータにより、例えば図２５（Ｂ）に示すように、円柱である３ＤオブジェクトＧＸを表示することができるようになっている。

なお、上述もしたように、３Ｄソフトウェアが用いられて、種々の３Ｄオブジェクト（立体図形）を表示するための複数の３Ｄオブジェクトデータが事前に形成される。そして、形成した３Ｄオブジェクトデータに対して、立体画像ＩＤ、枝番、備考といった必要となる情報が付与されて、図２５（Ａ）に示した態様で図面等ＤＢ１０５の所定の記憶領域に記憶保持される。このようにして、図面等ＤＢ１０５に記憶保持されている３Ｄオブジェクトデータファイルは、タブレット型情報端末１のユーザが利用できるようになっている。

また、この例においても、図４を用いて説明したように、写真フォルダ１０４には、電子ペン２のカメラユニット２２を通じて撮影することにより得た写真データ（２次元の画像データ）が記憶保持されている。図２６は、写真フォルダ１０４に格納されている写真ファイルの具体例を説明するための図である。この例においては、図２６に示すように、写真フォルダ１０４には、ある点検エリアで撮影した例えば圧力計の写真ＰＸを表示する写真データが記憶保持されているものとする。

そして、用途は特に限定されないが、例えば、撮影することにより得た複数の写真データを整理するなどのために、各写真データを目的とする３Ｄオブジェクトデータと関係付けるようにしたい場合が生じたとする。この場合に、この例のタブレット型情報端末１では、点検エリアの設計図面データに対して写真データを関連付けた第１の実施の形態の場合と同様に、目的とする３Ｄオブジェクトデータに対して、目的とする写真データを関連付けることができるようにしている。

図２７は、３Ｄオブジェクトデータと写真データとの関連付けについて説明するための図である。タブレット型情報端末１のユーザは、表示装置部２００の表示画面に２２０に表示されるメニューから例えば「テクスチャーマッピング」などいった３Ｄオブジェクトデータと写真データの関連付けを行うための項目を選択する。これにより、タブレット型情報端末１の制御部１０２は、３Ｄオブジェクトデータと写真データの関連付けを行う処理を実行する。

この場合、制御部１０２は、図面等ＤＢ１０５の３Ｄオブジェクトデータファイルに基づき、代表的な３Ｄオブジェクトの一覧リストを表示画面２２０に表示して、ユーザにより選択可能する。この一覧リストからユーザは関連付けに用いる３Ｄオブジェクトを選択する。ここでは、立体識別ＩＤが「１０００１」の円柱が選択されたとする。そして、制御部１０２が各部を制御することにより、ユーザによって選択された３Ｄオブジェクトデータに対して、ユーザにより指示された写真データを関連付ける処理が実行される。

この例の場合、まず、図面取得部１１１が機能し、図面等ＤＢ１０５から立体画像ＩＤが「１０００１」である３Ｄオブジェクトデータファイルを抽出する。次に、図面表示処理部１１２が機能し、抽出された立体画像ＩＤが「１０００１」の３Ｄオブジェクトデータファイルのうち、枝番が「０１」の３Ｄオブジェクトデータファイルの３Ｄオブジェクトデータに応じた３Ｄオブジェクを表示画面２２０に表示する。

当該３Ｄオブジェクトの表示画面においては、例えば、図２７に示すように、表示画面２２０の上端部には、改頁ボタンＬＰ、ＲＰが表示されると共に、立体画像ＩＤと、立体画像（３Ｄオブジェクト）名称と、「１／１０」などといった頁番号が表示される。なお、当該３Ｄオブジェクトの最初の頁には左改頁ボタンＬＰは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。そして、改頁ボタンＬＰ、ＲＰ上を電子ペン２で指示することにより改頁が行われ、関連付けの対象とする３Ｄオブジェクトの選択ができる。また、頁番号により、その立体画像ＩＤの３Ｄオブジェクトデータファイルの総数はいくつあり、現在の表示頁は何頁かが把握できる。

そして、ユーザは、改頁ボタンＬＰ、ＲＰを使用して目的とする３Ｄオブジェクトを表示画面２２０上に表示させると、次に、写真データに応じた２次元画像を張り付行け位置の例えば左上端部ＰＬを電子ペン２で指示する。この場合、制御部１０２は、入力装置部３３０のセンサ部３２０から指示位置を示す座標データと電子ペン２のペンＩＤを取得する。そして、写真取得部１０６が機能し、制御部１０２が取得したペンＩＤと同じペンＩＤを付加情報として有する写真データファイルを写真フォルダ１０４から読み出す。

この後、第１関連付け部１０７が、指示位置を示す座標データ（センサ部上の座標位置を示すもの）と写真データとを対応付ける。次に、写真関連付け部１０８が機能して、図２７に示したように、指示された座標位置（左上端部ＰＬ）を基準にして、当該座標位置を示す座標データに対応付けられている写真ファイルの写真データに応じた写真ＰＸを表示する。この写真表示処理部１１５の写真表示処理は、選択された３Ｄオブジェクトである円柱の表面に沿って、抽出され写真データによる写真を貼り付けて表示するものであり、いわゆるテクスチャーマッピングの手法が用いられる。これにより、図２７に示すように、選択された３Ｄオブジェクトである円柱ＧＸの表面（この例の場合は側面）に沿うようにして、読み出された写真データに応じた圧力計の写真ＰＸが貼り付けられる。

そして、貼り付けた写真ＰＸ上に電子ペン２を接触させて、ドラッグ操作を行えば、３ＤオブジェクトＧＸ上において、写真ＰＸの貼付位置を移動させることができる。したがって、３ＤオブジェクトＧＸの上面から側面にかけて写真ＰＸを貼り付けるようにするなどのこともできる。また、貼り付けた写真ＰＸの４辺のうちのいずれかの辺上に電子ペン２を接触させて、ドラッグ操作を行えば、その辺を移動させ、写真ＰＸの幅や高さを変更することができる。また、貼り付けた写真ＰＸの４つの頂点のうちのいずれかの頂点に電子ペン２を接触させてドラッグ操作を行えば、その頂点を移動させ写真ＰＸを変形させることができる。

このようにして、３Ｄオブジェクトに対して写真が貼り付けられると、第２関連付け部１１４が機能する。第２関連付け部１１４は、立体画像ＩＤと枝番と備考とからなる３Ｄオブジェクトに関するメタデータと、写真ＩＤと貼付場所を示す座標データとからなる写真に関するメタデータとからなる関連付けデータを生成する。ここで、写真の貼付場所は、写真の最終的に確定した４つの頂点のそれぞれの位置を示す座標データであるが、センサ部３２０上の位置ではなく、貼り付け対象の３Ｄオブジェクト上の位置を示すデータに変換される。

この場合の変換は、例えば、３Ｄオブジェクトが円柱であれば図２７の原点Ｏを基準にした位置に変換される。どこが基準（原点Ｏ）になるかは、３Ｄオブジェクト毎に決められている。そして、第２関連付け部１１４は、生成した関連付けデータを、例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図１６を用いて説明した第１の実施の形態の関連付けデータに対応するものである。

なお、電子ペン２により撮影され、電子ペン２の電子ペンＩＤが付加された写真データファイルが複数存在する場合には、第１の実施の形態の場合と同様に、まず複数の写真データによる写真のそれぞれのサムネイル画像を表示する。そして、そのサムネイル画像の中から関連付けに用いる写真データを選択するようにできる。

また、選択した写真データが違う場合には、ボタンＢ４上に電子ペン２を接触させることにより、写真データの選択をやり直すことができる。また、目的とする３Ｄオブジェクトの目的とする位置に目的とする写真を貼り付けることが出来た場合には、ＯＫボタンＢ５に電子ペン２を接触させることにより関連付け処理を終了し、上述したように関連付けデータを生成し、これをメモリ部１０３の所定の記憶領域に記録することができる。

このように、この第２の実施の形態の第１の実施例の場合には、３Ｄオブジェクトに対して、写真を貼り付けるようにする操作を行うことによって、３Ｄオブジェクトデータと写真データとの関連付けを行うことができる。しかも、写真データには、電子ペン２のペンＩＤが付加されているので、電子ペン２のカメラユニット２２を通じて撮像することにより得た写真データを自動的に関連付けの対象とすることができる。

次に、この第２の実施の形態の第２の実施例である、予め用意される３Ｄ空間画像データと３Ｄカメラで撮影することにより取り込むようにした３Ｄオブジェクトデータとを関連付ける場合について説明する。まず、例えば、３Ｄソフトウェアを用いて、目的とする３Ｄ空間画像を表示するための３Ｄ空間画像データを作成し、これをタブレット型情報端末１の図面等ＤＢ１０５の所定の記憶領域に記憶保持しておく。３Ｄ空間画像データの作成はタブレット型情報端末１で行うこともできるし、他のパーソナルコンピュータなどで行って、作成したものをタブレット型情報端末１の図面等ＤＢ１０５に記憶するようにしてもよい。

図２８は、この例において、図面等ＤＢ１０５に格納される３Ｄ空間画像データファイルの例を説明するための図である。図２８（Ａ）に示すように、この例の３Ｄ空間画像データファイルは、３Ｄ空間画像を表示するための３Ｄ空間画像データに対して、３Ｄ空間ＩＤ、備考といったメタデータが付加されたものである。この例において、３Ｄ空間ＩＤは５桁の数字であり、３Ｄ空間画像データを一意に特定することができるものである。また、３Ｄ空間ＩＤに対応して、当該３Ｄ空間ＩＤによって特定される３Ｄ空間画像データによって表示される３Ｄ空間画像（立体画像）の名称も対応付けられている。さらに、備考には、当該３Ｄ空間画像データに関連する種々のテキスト情報が格納される。

そして、図２８（Ａ）に示した３Ｄ空間画像データファイルは、３Ｄ空間ＩＤが「００００１」で、当該３Ｄ空間画像データファイルに格納されている３Ｄ空間画像データは「室内Ａ」の３Ｄ空間画像を表示するためのものであることが示されている。また、備考には「室内の３次元空間画像パターン」である旨のテキスト情報が付加されている。そして、図２８（Ａ）に示した３Ｄ空間画像データファイルに格納されている３Ｄ空間画像データにより、例えば図２８（Ｂ）に示すように、テーブルＴＢが置かれた室内の３次元空間画像を表示することができる。

なお、上述もしたように、３Ｄソフトウェアが用いられて、種々の３Ｄ空間画像を表示するための複数の３Ｄ空間画像データが事前に形成される。そして、形成した３Ｄ空間画像データに対して、３Ｄ空間ＩＤ、備考といった必要となる情報が付与されて、図２８（Ａ）に示した態様で図面等ＤＢ１０５に記憶保持される。このようにして、図面等ＤＢ１０５に記憶保持されている３Ｄ空間画像データファイルは、タブレット型情報端末１のユーザが利用することができるようになっている。

そして、この例において、タブレット型情報端末１には、３Ｄカメラユニット２２Ｃを搭載した電子ペン２Ｃが接続されている。３Ｄカメラを用いて目的とする被写体（対象物）を撮影する場合には、３Ｄカメラから被写体までの距離が分かる。このため、タブレット型情報端末１では、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮影した画像に基づいて、被写体（対象物）を３Ｄオブジェクトとして表示する３Ｄオブジェクトデータを生成し、これを写真フォルダ１０４に記憶保持する。

図２９は、この例の電子ペン２Ｃの外観を説明するための図である。図２９に示すように、電子ペン２Ｃが備える３Ｄカメラユニット２２Ｃは、撮像レンズを２つ備えたものである。そして、図示しないが、２つの撮像レンズのそれぞれに対応する２つの撮像素子を備え、２つのそれぞれの撮像レンズを通じて被写体を撮像することができるものである。

したがって、３Ｄカメラユニット２２Ｃは、ヒトの左右のそれぞれの目で見ているそれぞれの画像を撮影するのと同様の画像が撮影できる。そして、２つの撮像レンズ間の距離は既知である。この２つの撮像レンズ間を結ぶ直線を基線とする。そして、この基線の両端（撮像レンズの中心）のそれぞれから目的とする被写体の注目点までの直線と、当該基線とのなす角の角度も分かる。このため、三角測量法により、当該被写体の注目点までの距離が分かる。

これを利用し、タブレット型情報端末１においては、電子ペン２Ｃの３Ｄカメラユニット２２Ｃからの写真データから被写体の複数の注目点までの距離を算出し、これに基づき被写体（対象物）の３Ｄオブジェクトデータを生成することができる。このため、タブレット型情報端末１においては、例えば制御部１０２が機能し、３Ｄカメラユニット２２Ｃを通じて撮像した２つの写真データのほかに、被写体の３Ｄオブジェクトデータも生成して、写真フォルダ１０４に記憶保持するようにしている。

図３０は、写真フォルダ１０４に格納されている被写体の３Ｄオブジェクトデータファイルの具体例を説明するための図である。図３０に示すように、この例の被写体の３Ｄオブジェクトデータファイルは、上述したように、３Ｄカメラユニット２２Ｃを通じて撮影された写真出たに基づいて生成された被写体の３Ｄオブジェクトデータに対して、被写体ＩＤと付加情報とが付加されて形成されたものである。

被写体ＩＤは、被写体の３Ｄオブジェクトデータを一意に特定できるものであり、付加情報は、上述した写真データファイルの場合と同様に、撮影日時、撮影場所、ペンＩＤ、その他の情報からなるものである。また、被写体の３Ｄオブジェクトデータファイルには、上述した写真データファイルの場合と同様に、必要に応じてユーザが電子ペン２Ｃを用いてタブレット型情報端末１を通じて入力するようにした手書きメモも付加することができるようにされている。

図３０（Ａ）に示した被写体の３Ｄオブジェクトデータファイルに格納されている被写体の３Ｄオブジェクトデータにより、例えば図３０（Ｂ）に示すように、撮影された被写体の３Ｄオブジェクトを表示することができる。図３０（Ｂ）は、円柱形状の例えばストール（腰掛け）Ｊ１の３Ｄオブジェクトの画像である。

そして、例えば想定される室内への家具のレイアウトを確認するために、図面等ＤＢ１０５に用意されている３Ｄ空間画像データと、写真フォルダ１０４に記憶保持されている被写体の３Ｄオブジェクトデータとを関係付けるようにしたい場合が生じたとする。このような場合に、この例のタブレット型情報端末１では、点検エリアの図面データに対して写真データを関連付けたように、目的とする３Ｄ空間画像データに対して、目的とする被写体の３Ｄオブジェクトデータを関連付けることができる。

図３１は、３Ｄ空間画像データと被写体の３Ｄオブジェクトデータとの関連付けについて説明するための図である。タブレット型情報端末１のユーザは、表示装置部２００の表示画面に２２０に表示されるメニューから例えば「３Ｄ空間内レイアウト確認」などいった３Ｄ空間画像データと被写体の３Ｄオブジェクトデータの関連付けを行うための項目を選択する。これにより、タブレット型情報端末１の制御部１０２の制御の下、３Ｄ空間画像データと被写体の３Ｄオブジェクトデータとの関連付けを行う処理が実行される。

この場合、制御部１０２は、図面等ＤＢ１０５に記憶保持されている３Ｄ空間画像データファイルに基づき、３Ｄ空間画像の一覧リストを形成し、これを表示画面２２０に表示する。タブレット型情報端末１のユーザは、表示画面２２０に表示された一覧リストから目的とする３Ｄ空間画像を選択する。ここでは、３Ｄ空間ＩＤが「００００１」の「室内Ａ」の３Ｄ空間画像データが選択されたとする。そして、制御部１０２が各部を制御し、３Ｄ空間画像データに対して被写体の３Ｄオブジェクトデータを関連付ける処理が行われる。

まず、図面取得部１１１が機能し、図面等ＤＢ１０５から３Ｄ空間ＩＤが「００００１」である３Ｄ空間画像データファイルを抽出する。次に、図面表示処理部１１２が機能し、抽出された３Ｄ空間ＩＤが「００００１」の３Ｄ空間画像データファイルの３Ｄ空間画像データに応じた３Ｄ空間画像を表示画面２２０に表示する。この場合、例えば図３１に示すように、表示画面２２０の上端部には、改頁ボタンＬＰ、ＲＰが表示されると共に、３Ｄ空間ＩＤと、３Ｄ空間画像の名称と、「２／１０」などといった頁番号が表示される。なお、当該３Ｄ空間画像の最初の頁には左改頁ボタンＬＰは表示されず、最後の頁には右改頁ボタンは表示されない。有効でない操作を行わせないためである。また、頁番号により、３Ｄ空間画像データファイルの総数はいくつあり、現在の表示頁は何頁かが把握できる。

そして、ユーザは、選択した３Ｄ空間画像が目的とするものでなかった場合には、改頁ボタンＬＰ、ＲＰを使用して改頁を行い、目的とする３Ｄ空間画像を表示画面２２０に表示させるようにできる。このようにして、目的とする３Ｄ空間画像を表示画面２２０上に表示させると、次に、被写体の３Ｄオブジェクトを表示させる（配置する）位置Ｐｔを表示画面２２０に電子ペン２Ｃを接触させるようにして指示する。この場合、制御部１０２は、入力装置部３３０のセンサ部３２０から指示位置を示す座標データと電子ペン２ＣのペンＩＤを取得する。そして、写真取得部１０６が機能し、制御部１０２が取得したペンＩＤと同じペンＩＤを付加情報として有する被写体の３Ｄオブジェクトデータファイルを写真フォルダ１０４から読み出す。

この後、第１関連付け部１０７は、指示された座標位置を示す座標データと読み出した被写体の３Ｄオブジェクトデータファイルとを関連付ける。次に、写真関連付け部１０８が機能して、指示された座標位置Ｐｔを基準にして、当該座標位置を示す座標データに対応付けられている被写体の３Ｄオブジェクトデータファイルの３Ｄオブジェクトデータに応じた３ＤオブジェクトＪ１を表示する。これにより、図３１に示すように、選択された３Ｄ空間画像内に、抽出された被写体の３Ｄオブジェクトデータに応じた３Ｄオブジェクト（この例では円柱のストール）が、指示された位置に配置される（貼り付けられる）。そして、配置した３ＤオブジェクトＪ１上に電子ペン２Ｃを接触させて、ドラッグ操作を行えば、３Ｄオブジェクト（円柱のストール）の配置位置を移動させることができる。

このようにして、３Ｄ空間画像に対して被写体の３Ｄオブジェクトが配置されると、第２関連付け部１１４が機能し、２Ｄ空間ＩＤと備考とからなる３Ｄ空間画像に関するメタデータと、被写体ＩＤと貼付場所を示す座標データとからなる被写体の３Ｄオブジェクトに関するメタデータとからなる関連付けデータを生成し、これを例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにされる。

ここで、被写体の３Ｄオブジェクトの貼付場所は、最終的に確定した被写体の３Ｄオブジェクトの貼付位置を特定可能な座標データということになるが、センサ部３２０上の位置ではなく、配置対象の３Ｄ空間画像上の位置を示すデータに変換される。この場合の変換は、例えば、３Ｄ空間画像が図３１に示したものであれば、図３２の原点Ｏを基準にした位置に変換される。そして、第２関連付け部１１４は、生成した関連付けデータを、例えば、メモリ部１０３の所定の記憶領域に記録して、必要に応じて繰り返し利用することができるようにする。この場合の関連付けデータは、図１６を用いて説明した第１の実施の形態の関連付けデータに対応するものである。

なお、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮影されることにより得た画像データに基づいて生成された被写体の３Ｄオブジェクトの３Ｄオブジェクトデータファイルが複数存在する場合もある。この場合には、第１の実施の形態の場合と同様に、まず複数の被写体の３Ｄオブジェクトのサムネイル画像を表示し、そのサムネイル画像の中から関連付けに用いる被写体の３Ｄオブジェクトを選択するようにできる。

また、図３１に示すように、被写体の３ＤオブジェクトＪ１を配置した後に、電子ペン２Ｃにより他の貼付位置Ｐｔ２を指示することにより、当該貼付位置に他の被写体の３Ｄオブジェクト（図３１では直方体のストール）Ｊ２を追加して配置することもできる。

また、選択した被写体の３Ｄオブジェクトデータが違う場合には、ボタンＢ４上に電子ペン２Ｃを接触させることにより、被写体の３Ｄオブジェクトデータの選択をやり直すことができる。また、目的とする３Ｄ空間画像の目的とする位置に目的とする被写体の３Ｄオブジェクトを配置することが出来た場合には、ＯＫボタンＢ５に電子ペン２Ｃを接触させることにより関連付け処理を終了させる。この場合に、制御部１０２は、上述したように生成される関連付けデータをメモリ部１０３の所定の記憶領域に記録することができる。

さらに、３Ｄ空間画像内に配置する被写体の３Ｄオブジェクトの拡大、縮小を行うことも可能である。この場合には、第２関連付け部１１４が生成する関連付けデータに、被写体の３Ｄオブジェクトの縮拡率を示す情報も付加されることになる。また、被写体の３Ｄオブジェクトについて、これを配置する３Ｄ空間画像の大きさに応じて、自動的に適切な大きさに変換することも可能である。

このように、この第２の実施の形態の第２の実施例の場合には、３Ｄ空間画像に対して、被写体の３Ｄオブジェクトを配置するようにする操作を行うことによって、３Ｄ空間画像出たと被写体の３Ｄオブジェクトデータとの関連付けを行うことができる。しかも、被写体の３Ｄオブジェクトデータには、電子ペン２ＣのペンＩＤが付加されているので、電子ペン２Ｃの３Ｄカメラユニット２２Ｃを通じて撮像することにより得た被写体の３Ｄオブジェクトデータを自動的に関連付けの対象とすることができる。

［第２の実施の形態の効果］
上述した第２の実施の形態の第１の実施例のタブレット型情報端末１及び電子ペン２によれば、電子ペン２に関連付けられる写真データを取得することができる。そして、取得した写真データに応じた写真（画像）を、３Ｄオブジェクトデータにより表示画面２２０に表示される３Ｄオブジェクトの目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の写真データと、表示された３Ｄオブジェクト上の指示位置とを関連付けて管理することもできる。

上述した第２の実施の形態の第２の実施例のタブレット型情報端末１及び電子ペン２Ｃによれば、電子ペン２Ｃに関連付けられる被写体の３Ｄオブジェクトデータを取得することができる。そして、取得した３Ｄオブジェクトデータに応じた３Ｄオブジェクトを、３Ｄ空間画像データにより表示画面２２０に表示される３Ｄ空間画像の目的とする位置に貼り付けるようにして表示することができる。もちろん、貼り付け対象の被写体の３Ｄオブジェクトデータと、表示された３Ｄ空間画像上の指示位置とを関連付けて管理することもできる。

［第２の実施の形態の変形例等］
なお、この例においては、３Ｄ空間画像データが、３Ｄソフトウェアを用いて事前に作成しておくものとして説明したが、これに限るものではない。例えば、実際にモデルルームが存在する等、３Ｄ空間画像として表現すべき実空間が存在する場合には、当該実空間を３Ｄカメラを用いて撮影し、撮影することにより写真データに基づいて、３Ｄ空間画像データを生成するようにしてもよい。当該３Ｄ空間画像データの生成は、制御部１０２が行ったり、制御部１０２の制御の下に機能する生成部を別途設けるようにしたりしてもよい。

また、第２の実施の形態の場合にも、第１の実施の形態の場合と同様に、入力装置部３００のセンサ部３２０が、静電容量方式のセンサである場合には、ユーザの指によって位置指示が可能である。また、ペンＩＤを示す情報を送出しない電子ペンを用いて位置指示を行うようにすることもできる。

また、第２の実施の形態の場合にも、写真の貼り付け対象とする３Ｄオブジェクトデータ、３Ｄ空間画像データ、３Ｄ空間画像に対応付ける被写体の３Ｄオブジェクトデータなどは、外部から供給を受けるようにすることができる。また、これらに付加される付加情報やメタデータについてもこれらの３次元データとともに提供を受けることができる。この場合、タブレット型情報端末１に対して優先接続される外部機器から提供を受けることもできるし、近距離無線通信を介して提供を受けることもできる。もちろん、インターネット上に存在するサーバ、すなわちいわゆるクラウドから３次元データやこれに付随する情報の提供を受けるようにすることもできる。

また、第２の実施の形態の第２の実施例の場合には、第１の実施の形態のエリア設計図の選択と同様に、タブレット型情報端末１を所持するユーザが目的とする場所に到達した場合に、その場所の３Ｄ空間画像データを抽出する。そして、抽出した３Ｄ空間画像データに応じた３Ｄ空間画像を表示画面に自動的に表示するように構成することもできる。

この場合、上述した第１の実施の形態の場合と同様に、基地局からのビーコン信号を用いて到達した場所を特定することができる。もちろん、上述した第１の実施の形態でも説明したように、目的とする場所に設置された赤外線通信装置との間での赤外線通信を用いたり、タブレット型情報端末１に搭載されたＧＰＳ機能により検出された現在位置を用いて現在位置を特定したりするなどの方法で、目的とする場所に到達したか否かを判別するようにできる。

［その他］
なお、上述した実施の形態においては、情報処理装置部１００、表示装置部２００、入力装置部３００が一体になったタブレット型情報端末１にこの発明を適用した場合を例にして説明したが、これに限るものではない。例えば、それぞれが別体となる、パーソナルコンピュータ本体（情報処理装置部に相当）と、モニタ装置（表示装置部に相当）と、電子ペンによる指示入力を受け付けるデジタイザ（入力装置部に相当）とからなる画像情報処理システムのこの発明を適用することができる。

上述した実施の形態のタブレット型情報端末１の場合には、入力装置部３００のセンサ部３２０が、表示装置部２００の表示画面２２０の全面に対応するように設けられていた。このため、センサ部３２０上の指示位置は、表示装置部２００の表示画面２２０上の対応する位置を直接に指示するものとなっていた。しかし、表示画面２２０がセンサ部３２０の一部に配置される場合には、パーソナルコンピュータ本体において、デジタイザのセンサ領域上の指示位置を、モニタ装置の表示画面上の指示位置（座標データ）に変換し、この変換後の座標データと、関連付け対象の画像データとを関連付ければよい。したがって、デジタイザのセンサ領域上の指示位置と関連付け対象の画像データとを関連付けておき、これらをパーソナルコンピュータなどの情報処理装置に供給して、当該センサ領域上の指示位置を表示画面上の指示位置に変換して利用することもできる。

また、上述した実施の形態では、電子ペン２、２Ｃ等のカメラユニット２２、２２Ｃで撮像した写真データは、撮像の都度、タブレット型情報端末１に送信するようにしたが、これに限るものではない。電子ペン２、２Ｃに画像記憶用のフラッシュメモリなどの不揮発性メモリを搭載しておくことにより、複数の写真の写真データを記憶保持できるようにしておく。この場合にも、各写真データに対して、電子ペンＩＤなど付加情報（第２の付加情報）が対応付けられるようにされる。

そして、電子ペン２、２Ｃの不揮発性メモリに蓄積された複数の写真データを、タブレット型情報端末１に送信して、これを利用可能にすることもできる。この場合、複数の写真データの中から目的とする写真データを特定する方法は、図１３（Ｂ）を用いて説明した方法を用いることができる。

また、タブレット型情報端末１が撮像部（カメラ機能）を備える場合には、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データを、関連付け対象として利用することができる。この場合、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データに対しても、ペンＩＤなどの付加情報（第２の付加情報）を付加しておく。これにより、タブレット型情報端末１の撮像部を通じて撮像することにより得た写真データについても、電子ペン２のカメラユニットや外部のデジタルカメラやスマートホンなどにより撮像することにより得た写真データと同様に扱うことができる。

なお、上述した実施の形態の説明からも分かるように、特許請求の範囲に記載した画像情報処理装置（以下、単に画像情報処理装置と記載する。）の第１の取得手段、第２の取得手段、第１の関連付け手段の各機能は、実施の形態のタブレット型情報端末１の情報処理装置部（以下、単に情報処理装置部と記載する。）１００のＩ／Ｏ１４０、写真取得部１０６、第１関連付け部１０７が実現している。

また、画像情報処理装置の付加情報抽出手段の機能は、情報処理装置部１００のＩ／Ｏポート１４０、あるいは、受信アンテナ１５０Ａ及び受信回路１５０が実現している。また、画像情報処理装置の関連付け手段の機能は、情報処理装置部１００の写真関連付け部１０８が実現し、画像情報処理装置の撮像制御手段の機能は、情報処理装置部１００の撮像制御部１０９が実現している。

また、画像情報処理装置の第１の表示処理手段の機能は、情報処理装置部１００のファインダ制御部１１０が実現し、画像情報処理装置の受付手段の機能は、入力装置部３００が実現している。また、画像情報処理装置の第３の取得手段の機能は、情報処理装置部１００の図面取得部１１１が実現し、画像情報処理装置の第２の表示処理手段の機能は、情報処理装置部１００の図面表示処理部１１２が実現している。

また、画像情報処理装置の座標変換手段の機能は、情報処理装置部１００の座標変換部１１３が実現し、画像情報処理装置の第２の関連付け手段の機能は、情報処理装置部１００の第２関連付け部１１４が実現している。また、画像情報処理装置の近距離無線通信手段の機能は、情報処理装置部１００の近距離無線通信アンテナ１２０Ａ及び近距離無線通信部１２０が実現し、画像情報処理装置の第３の表示処理手段の機能は、情報処理装置部１００の写真表示処理部１１５が実現している。

また、画像情報処理装置の編集処理手段の機能は、情報処理装置部１００の編集処理部１１６が実現し、画像情報処理装置のモード切替手段の機能は、情報処理装置部１００のモード切替部１１７が実現している。

また、上述した実施の形態において、図７～図１０のフローチャートを用いて説明した方法が、この発明による画像情報処理方法の一実施の形態が適用されたものである。また、図２に示した、情報処理装置部１００の写真取得部１０６、第１関連付け部１０７、写真関連付け部１０８、撮像制御部１０９、ファインダ制御部１１０、図面取得部１１１、図面表示処理部１１２、座標変換部１１３、第２関連付け部１１４、写真表示処理部１１５、編集処理部１１６、モード切替部１１７の各機能は、制御部１０２で実行されるプログラムにより、制御部１０２の機能として実現することもできる。

１…タブレット型情報端末、１００…情報処理装置部、１０１Ａ…送受信アンテナ、１０１…無線通信部、１０２…制御部、１０３…メモリ部、１０４…写真フォルダ、１０５…図面等ＤＢ、１０６…写真取得部、１０７…第１関連付け部、１０８…写真関連付け部、１０９…撮像制御部、１１０…ファインダ制御部、１１１…図面取得部、１１２…図面表示処理部、１１３…座標変換部、１１４…第２関連付け部、１１５…写真表示処理部、１１６…編集処理部、１１７…モード切替部、１１８…操作部、１１８Ａ…電源ボタン、１１９…外部Ｉ／Ｆ、１２０…近距離無線通信部、１２０Ａ…近距離無線通信アンテナ、１３０…Ｉ／Ｏポート、１４０…Ｉ／Ｏポート、１５０…受信回路、１５０Ａ…受信アンテナ、２００…表示装置部、２１０…コントローラ、２２０…表示画面、３００…入力装置部、３１０…コントローラ、３２０…センサ部、２、２Ａ、２Ｂ、２Ｃ…電子ペン、２１…電子ペン機能部、２１Ｍ…メモリ、２２…カメラユニット、２２Ｃ…３Ｄカメラユニット、２３…Ｉ／Ｆ、２４…ケーブル、２５…ペンＩＤメモリ、２６…送信回路、２７…送信アンテナ、２８…シャッターボタン、２９、３０…サイドスイッチ

Claims (27)

1. 指示体により指示された座標位置を検出するセンサ部から、前記座標位置を示す第１の座標データを取得する第１の取得手段と、
   前記指示体から取得した前記指示体の識別子を含む第１の画像データを取得する第２の取得手段と、
   前記第１の取得手段を通じて取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得手段を通じて取得した前記指示体の識別子を含む第１の画像データとを関連付ける第１の関連付け手段と、
   前記センサ部から取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を示す前記位置データであり前記指示体の識別子を含む前記第１の画像データと関連付けられた位置データに基づいて、前記指示体の識別子を含む前記第１の画像データに対応する画像を表示するように制御する制御手段と、
   を備えることを特徴とする画像情報処理装置。
2. 請求項１に記載の画像情報処理装置であって、
   前記第２の取得手段は、当該情報処理装置の外部の撮像部を通じて撮像することにより得られた画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
3. 請求項１に記載の画像情報処理装置であって、
   前記第２の取得手段は、前記指示体に内蔵された撮像部を通じて撮像することにより得られた画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
4. 請求項１に記載の画像情報処理装置であって、
   前記第２の取得手段は、ネットワーク上に保持されている画像データであって、前記所定の付加情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
5. 請求項１に記載の画像情報処理装置であって、
   前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトデータであることを特徴とする画像情報処理装置。
6. 請求項１に記載の画像情報処理装置であって、
   前記指示体である位置指示器から送信される信号により通知される前記指示体の識別情報を取得する付加情報取得手段を備え、
   前記第２の取得手段は、前記付加情報取得手段を通じて取得した前記指示体の識別情報と、第１の画像データに付加されている前記前記指示体の識別情報とに基づいて認証が取られることにより、前記位置指示器に関連付けられる前記第１の画像データを取得するものである
   ことを特徴とする画像情報処理装置。
7. 請求項６に記載の画像情報処理装置であって、
   前記付加情報取得手段は、前記位置指示器からの信号を受信して、指示された座標位置を検出すると共に、前記信号に含まれる前記指示体の識別情報を抽出するセンサ部から、前記指示体の識別情報を取得することを特徴とする画像情報処理装置。
8. 請求項６に記載の画像情報処理装置であって、
   前記付加情報取得手段は、前記位置指示器から近距離無線通信により送信された信号を受信し、この受信した信号から前記指示体の識別情報を取得することを特徴とする画像情報処理装置。
9. 請求項６に記載の画像情報処理装置であって、
   前記第２の取得手段は、当該情報処理装置の外部の撮像部を通じて撮像することにより得られた画像データであって、前記位置指示器からの前記指示体の識別情報との間で、関連付けを可能にする前記指示体の識別情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
10. 請求項６に記載の画像情報処理装置であって、
    前記第２の取得手段は、前記位置指示器に内蔵された撮像部を通じて撮像することにより得られた画像データであって、前記位置指示器からの前記指示体の識別情報との間で、関連付けを可能にする前記指示体の識別情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
11. 請求項６に記載の画像情報処理装置であって、
    前記第２の取得手段は、ネットワーク上に保持されている画像データであって、前記位置指示器からの前記指示体の識別情報との間で、関連付けを可能にする前記指示体の識別情報が付加された画像データを前記第１の画像データとして取得することを特徴とする画像情報処理装置。
12. 請求項６に記載の画像情報処理装置であって、
    前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトデータであることを特徴とする画像情報処理装置。
13. 請求項１または請求項６に記載の画像情報処理装置であって、
    前記関連付け手段によって関連付けられた前記位置データと前記第１の画像データとを表示装置部に供給し、前記位置データに対応する前記表示装置部の表示画面上の位置に、前記第１の画像データに応じた画像を張り付けるようにする関連付け手段を備えることを特徴とする画像情報処理装置。
14. 請求項２、請求項３、請求項９または請求項１０に記載の画像情報処理装置であって、
    ユーザからの操作入力に応じて、前記撮像部を制御する撮像制御手段を備えることを特徴とする画像情報処理装置。
15. 請求項２、請求項３、請求項９または請求項１０に記載の画像情報処理装置であって、
    前記撮像部からの被写体の画像を形成する画像データの提供を受けて、前記画像データに応じた画像を表示装置部の表示画面の所定の表示領域に表示する第１の表示処理手段と、
    ユーザからの操作入力に応じて、前記撮像部を制御する撮像制御手段と
    を備えることを特徴とする画像情報処理装置。
16. 請求項１または請求項６に記載の画像情報処理装置であって、
    ユーザからの指示入力を受け付ける受付手段と、
    前記受付手段を通じて受け付けた前記指示入力に応じて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを取得する第３の取得手段と、
    前記第３の取得手段により取得された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする第２の表示処理手段と、
    前記第１の取得手段を通じて取得した前記座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換手段と、
    前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け手段と
    を備えることを特徴とする画像情報処理装置。
17. 請求項１６に記載の画像情報処理装置であって、
    前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであることを特徴とする画像情報処理装置。
18. 請求項１６に記載の画像情報処理装置であって、
    前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであり、
    前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元空間画像を形成する３次元空間画像データであることを特徴とする画像情報処理装置。
19. 請求項１または請求項６に記載の画像情報処理装置であって、
    近距離無線通信により近隣の基地局からの信号を受信する近距離無線通信手段と、
    前記近距離無線通信手段を通じて受信した情報に基づいて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを取得する第３の取得手段と、
    前記第３の取得手段により取得された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする第２の表示処理手段と、
    前記第１の取得手段を通じて取得した前記座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換手段と、
    前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け手段と
    を備えることを特徴とする画像情報処理装置。
20. 請求項１９に記載の画像情報処理装置であって、
    前記第２の取得手段が取得する前記第１の画像データは、３次元オブジェクトを形成する３次元オブジェクトデータであり、
    前記第３の取得手段が取得する前記主画像を形成する前記第２の画像データは、３次元空間画像を形成する３次元空間画像データであることを特徴とする画像情報処理装置。
21. 請求項１または請求項６に記載の画像情報処理装置であって、
    前記第２の取得手段により取得された前記第１の画像データに応じた画像を、表示装置部の表示画面に表示する第３の表示処理手段と、
    前記センサ部を通じて検出される前記指示体の前記センサ部に対する距離に応じて、前記表示装置部の前記表示画面に表示された前記画像の縮小／拡大を行う編集処理手段と
    を備えることを特徴とする画像情報処理装置。
22. 請求項１または請求項６に記載の画像情報処理装置であって、
    ユーザからの操作入力を受け付ける受付手段と、
    前記受付手段を通じて所定の操作を受け付けた場合に、前記第１の取得手段を通じて取得する前記第１の座標データを、前記第２の取得手段を通じて取得した前記第１の画像データによる画像の関連付け位置として利用する関連付けモードに切り替えるモード切替手段を備えることを特徴とする画像情報処理装置。
23. 請求項１または請求項６に記載の画像情報処理装置であって、
    表示装置部と前記センサ部とを一体に備えてなる画像情報処理装置。
24. 指示体により指示された座標位置を検出するセンサ部から、第１の取得手段が、前記座標位置を示す第１の座標データを取得する第１の取得工程と、
    第２の取得手段が、前記指示体から取得した前記指示体の識別子を含む第１の画像データを取得する第２の取得工程と、
    第１の関連付け手段が、前記第１の取得工程において取得した前記第１の座標データに対応する表示装置部の表示画面上の位置を示す位置データと、前記第２の取得工程において取得した前記指示体の識別子を含む第１の画像データとを関連付ける第１の関連付け工程と、
    制御手段が、前記センサ部から取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を示す前記位置データであり前記指示体の識別子を含む前記第１の画像データと関連付けられた位置データに基づいて、前記指示体の識別子を含む前記第１の画像データに対応する画像を表示するように制御する制御工程と、
    を有することを特徴とする画像情報処理方法。
25. 請求項２４に記載の画像情報処理方法であって、
    付加情報取得手段が、前記指示体である位置指示器から送信される信号により通知される前記指示体の識別情報を取得する付加情報取得工程を備え、
    前記第２の取得工程においては、前記付加情報取得工程において取得した前記前記指示体の識別情報と、第１の画像データに付加されている前記前記指示体の識別情報とに基づいて認証が取られることにより、前記第２の取得手段が、前記位置指示器に関連付けられる前記第１の画像データを取得する
    ことを特徴とする画像情報処理方法。
26. 請求項２４または請求項２５に記載の画像情報処理方法であって、
    受付手段を通じてユーザからの指示入力を受け付ける受付工程と、
    特定手段が、前記受付工程において受け付けた前記指示入力に応じて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを特定する特定工程と、
    表示処理手段が、前記特定工程において特定した前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする表示処理工程と、
    座標変換手段が、前記第１の取得工程において取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換工程と、
    第２の関連付け手段が、前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換手段により変換された前記第２の座標データと、前記第２の取得手段を通じて取得した前記第１の画像データとを関連付ける第２の関連付け工程と
    を有することを特徴とする画像情報処理方法。
27. 請求項２４または請求項２５に記載の画像情報処理方法であって、
    近距離無線通信部が、近距離無線通信により近隣の基地局からの信号を受信する近距離無線通信工程と、
    特定手段が、前記近距離無線通信工程において受信した信号に基づいて、表示装置部の表示画面に表示する主画像を形成する第２の画像データを特定する特定工程と、
    表示処理手段が、前記特定工程において特定された前記第２の画像データに応じた前記主画像を、前記表示装置部の前記表示画面に表示するようにする表示処理工程と、
    座標変換手段が、前記第１の取得工程において取得した前記第１の座標データに対応する前記表示装置部の前記表示画面上の位置を、前記表示画面に表示されている前記主画像上の位置を示す第２の座標データに変換する座標変換工程と、
    第２の関連付け手段が、前記表示画面に表示された前記主画像を形成する前記第２の画像データと、前記座標変換工程において変換された前記第２の座標データと、前記第２の取得工程において取得した前記第１の画像データとを関連付ける第２の関連付け工程と
    を有することを特徴とする画像情報処理方法。

Images