WO2023224036A1 - 情報処理方法、情報処理装置、及び情報処理プログラム - Google Patents

Abstract

情報処理装置は、複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、第１画像の前記ディスプレイへの表示は、第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、第２撮影地点アイコンに注釈情報が対応付けられていると判定した場合、第１画像と注釈情報とをディスプレイに表示すること、を含む。

Description

情報処理方法、情報処理装置、及び情報処理プログラム

　本開示は、選択された画像を表示する技術に関するものである。

　特許文献１には、作業現場の鳥瞰撮影画像上に作業員が指定した指定エリアを示す画像（例えば輪郭線）を表示すること、鳥瞰撮影画像の横に設けられた表示欄に作業員により入力された指定エリアに関連するチャットを表示すること、が開示されている。

　しかしながら、特許文献１に示す従来技術では、鳥瞰撮影画像が示す現場において撮影された画像をユーザの選択指示に応じてディスプレイに表示させることが開示されていない。そのため、この従来技術は、ユーザの選択指示に応じてディスプレイに表示された第１画像と対応付けて注釈情報を表示することの開示もない。したがって、この従来技術は、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させることはできない。

特開２０２１－８６２２４号公報

　本開示は、このような課題を解決するためになされたものであり、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させる技術を提供することを目的とする。

　本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。

　この構成によれば、第１画像の閲覧中に、第１画像とは別の第２画像を選択する操作を入力することなく、第２画像に設定された注釈情報をユーザに確認させることができる。

本開示の実施の形態における情報処理システムの構成の一例を示すブロック図である。 端末装置のディスプレイに表示される表示画面の一例を示す図である。 撮影日時を選択するメニュー画面の一例を示す図である。 ディスプレイに表示される第１画像の一例を示す図である。 ディスプレイに表示される第１画像の別の一例を示す図である。 設計図画像表示欄の詳細な構成を示した図である。 図１に示す情報処理装置の処理の一例を示すフローチャートである。 図７に示す表示処理の詳細を示すフローチャートである。 ディスプレイに表示される第１画像のさらに別の一例を示す図である。 第１画像の表示態様の他の一例を示す図である。 第２注釈領域に注釈アイコンが対応付けて表示された第１画像を示す図である。

　（本開示の一態様に至る経緯）
　建築現場の課題として、具体的な指示が作業員に伝わらない、その指示の説明に時間がかかるといったコミュニケーション上の課題や建築現場全体を回るのに人手が必要、建築現場への移動に時間がかかるといった建築現場の確認上の課題などがある。

　このような課題を解決するには、例えば建築現場に多数のカメラを設置し、多数のカメラから得られた画像を参照しながら遠隔にいる現場監督が作業員に指示を出すことも考えられる。しかしながら、建築現場では建築が進むにつれて設置したセンサを取り外したり、取り外したセンサを別の場所に設置したりといった作業が発生する。このような作業は手間がかかるので、建築現場でセンサを設置するのは実用的ではない。そこで、本発明者は、センサを設置せずに建築現場の状況を遠隔から詳細に確認できる技術を検討した。

　すると、ディスプレイに表示された建築現場の設計図においてある位置を選択する操作を入力すると、その位置で事前に撮影された建築現場の画像やその画像に対してユーザが領域を指定して注釈を入力することができるユーザインターフェースがあれば、建築現場の状況を遠隔から詳細に確認できることが知見された。

　ところで、このように選択して表示された第１画像の閲覧中に第１画像の近くの撮影地点で撮影された第２画像に設定された注釈の確認をユーザが望むケースが想定される。この場合、ユーザは、第１画像を閉じ、ユーザインターフェースから第２画像の撮影地点を選択する操作を入力することが要求される。このような操作はユーザにとって手間がかかる。

　そこで、本発明者は、第１画像の近くで撮影された第２画像に注釈が設定されている場合、その注釈を第１画像と合わせて表示すれば、このような操作を行わずに第１画像の閲覧中に第２画像に設定された注釈を確認できるとの知見を得て、本開示を想到するに至った。

　（１）本開示の一態様における情報処理方法は、コンピュータにおける情報処理方法であって、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。

　この構成によれば、第１画像に対応する第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられている場合、第１画像はこの注釈情報と対応付けて表示される。そのため、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる。また、このような操作を介さずに注釈情報が確認できるので、このような操作のために費やされるコンピュータの処理ステップ数が削減される。

　（２）上記（１）記載の情報処理方法において、前記注釈情報は、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された注釈領域の位置を含み、前記第１画像の前記ディスプレイへの表示は、前記第２画像に基づいて、前記注釈領域に対応する対応領域を前記第１画像から検知することと、前記対応領域に前記注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含んでもよい。

　この構成によれば、第２画像上に設定された注釈情報に対応する第１画像上の位置に当該注釈情報を表示できるので、第２画像上に設定された注釈情報がどの被写体に設定されたかを容易に確認できる。

　（３）上記（１）または（２）記載の情報処理方法において、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに前記注釈情報が対応付けられている場合、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とをさらに前記ディスプレイに表示することを含んでもよい。

　この構成によれば、第１撮影地点アイコンに対応付けられた注釈情報と第２撮影地点アイコンに対応付けられた注釈情報とを同時に確認できる。

　（４）上記（１）～（３）のいずれか１つに記載の情報処理方法において、前記注釈情報は、前記第１画像において注釈が設定された領域を示す第１注釈領域の位置と、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された領域を示す第２注釈領域の位置とを含み、前記第１画像の前記ディスプレイへの表示は、前記第２画像に基づいて、前記第２注釈領域に対応する対応領域を前記第１画像から検知することと、前記第１画像に前記第１注釈領域が設定されている場合、前記第１注釈領域が重畳されるとともに、前記対応領域に前記第２注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含んでもよい。

　この構成によれば、第１画像において、第１注釈領域と第２注釈領域とを同時に確認できる。

　（５）上記（１）～（４）のいずれか１つに記載の情報処理方法において、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とを異なる表示オブジェクトを用いて表示すること、含んでもよい。

　この構成によれば、第１撮影地点アイコンに対応付けられた注釈情報と第２撮影地点アイコンに対応付けられた注釈情報とを容易に区別できる。

　（６）上記（１）～（５）のいずれか１つに記載の情報処理方法において、さらに、前記俯瞰画像に、移動可能に構成された選択アイコンを表示し、前記第１撮影地点アイコンは、前記選択アイコンの移動完了位置と前記複数の撮影地点アイコンのそれぞれとの距離に基づいて決定されてもよい。

　この構成によれば、選択アイコンを俯瞰画像上で移動させることで撮影地点アイコンが選択できるので、撮影地点アイコンの選択を直感的に行うことができる。

　（７）上記（１）～（６）のいずれか１つに記載の情報処理方法において、さらに、前記ディスプレイに表示された前記注釈情報の選択が検知された場合、前記注釈情報が示す注釈メッセージを前記ディスプレイに表示してもよい。

　この構成によれば、必要に応じて注釈情報が示す注釈メッセージを確認できる。

　（８）本開示の別の一態様における情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示する、処理を実行し、前記第１画像の前記ディスプレイへの表示は、前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が設定されているか否かを判定することと、前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む。

　この構成によれば、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる情報処理装置を提供できる。

　（９）本開示のさらに別の一態様における情報処理プログラムは、上記（１）～（７）のいずれか１つに記載の情報処理方法をコンピュータに実行させる。

　この構成によれば、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる情報処理プログラムを提供できる。

　本開示は、このような情報処理プログラムによって動作する情報処理システムとして実現することもできる。また、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

　なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。

　（実施の形態）
　図１は、本開示の実施の形態における情報処理システム１の構成の一例を示すブロック図である。情報処理システム１は、情報処理装置１０、撮影装置２０、及び端末装置３０を含む。情報処理装置１０、撮影装置２０、及び端末装置３０は、ネットワークを介して通信可能に接続されている。ネットワークの一例はインターネットである。情報処理装置１０は、例えば１又は複数のコンピュータで構成されたクラウドサーバである。但し、これは一例であり、情報処理装置１０は、エッジサーバで構成されもよいし、端末装置３０に実装されてもよい。

　撮影装置２０は、例えば全方位カメラで構成され、所定のフレームレートで画像を撮影する。撮影装置２０は、例えば、ユーザにより所持される携帯型の撮影装置である。ユーザは、例えば建築現場の作業員及び現場監督である。ユーザは、撮影装置２０で建築現場を撮影しながら、建築現場内を移動する。撮影装置２０は、撮影した画像を示す画像情報をネットワークを介して情報処理装置１０に送信する。画像情報には、撮影地点を示す撮影地点の位置と撮影日時とが対応づけられている。撮影地点の位置は例えば撮影装置２０が備える磁気センサ又はＧＰＳセンサなどの位置センサによって取得され、緯度及び経度で表される。撮影日時は、例えば撮影装置２０が備える時計により取得される。これにより、情報処理装置１０は、建築現場の複数の撮影地点における画像情報を得ることができる。ここでは、撮影装置２０は、所定のフレームレートで画像を撮影するので、撮影地点は、フレーム周期単位で規定される。但し、これは一例であり、撮影地点は所定時間（例えば、１秒、１分など）ごとに規定されてもよい。撮影装置２０は、画像センサ、操作装置、通信回路、信号処理回路などを含む。撮影装置２０は、スマートフォン又はダブレット型コンピュータなどの携帯型のコンピュータで構成されてもよい。

　端末装置３０は、ユーザによって所持される。端末装置３０は、例えばスマートフォン又はタブレット型コンピュータなどの携帯型のコンピュータで構成されてもよいし、据え置き型のコンピュータで構成されてもよい。端末装置３０は、情報処理装置１０による制御にしたがって画像情報をディスプレイに表示する。図１の例では１台の端末装置３０が図示されているが、情報処理装置１０には複数の端末装置がネットワークを介して接続されていてもよい。端末装置３０は、中央演算処理装置（ＣＰＵ）、メモリ、ディスプレイ、タッチパネル及びキーボードなどの操作装置、並びに通信回路を含む。

　情報処理装置１０は、プロセッサ１１、メモリ１２、及び通信部１３を含む。プロセッサ１１は、例えば中央演算処理装置（ＣＰＵ）で構成される。プロセッサ１１は、表示制御部１１１を含む。表示制御部１１１は、プロセッサ１１が情報処理プログラムを実行することで実現されてもよいし、ＡＳＩＣなどの専用のハードウェア回路で構成されてもよい。

　表示制御部１１１は、ユーザから設計図を選択する指示を端末装置３０から取得し、指示が示す設計図情報をメモリ１２から読み出し、読み出した設計図情報を端末装置３０のディスプレイに表示する。設計図情報は、建築現場の設計図を示す情報である。設計図情報は、俯瞰画像の一例である。表示制御部１１１は、設計図の任意の位置を選択するための撮影地点アイコンを設計図に重畳表示する。表示制御部１１１は、ユーザにより撮影日時を選択する指示を端末装置３０から取得すると、当該撮影日時における撮影地点を示す複数の撮影地点アイコンを設計図に重畳表示する。これらの表示は、表示制御部１１１が表示指示を通信部１３を用いて端末装置３０に送信することで実現される。選択アイコンは設計図上を移動可能に構成される。設計図にはキーポイントとなる位置に予め緯度及び経度が対応づけられている。キーポイントとなる位置は、例えば設計図の４隅の位置である。

　表示制御部１１１は、複数の撮影地点アイコンの中から１の撮影地点アイコンの選択指示を端末装置３０から取得することで１の撮影地点アイコンである第１撮影地点アイコンの選択を検知する。表示制御部１１１は、第１撮影地点アイコンの選択を検知すると、第１撮影地点アイコンに対応する第１画像を端末装置３０のディスプレイに表示する。第１画像は第１撮影地点アイコンが示す撮影地点で撮影された画像である。第１画像は全方位画像である。但し、これは一例であり第１画像はパノラマ画像であってもよい。

　表示制御部１１１は、第１画像を表示するに際して以下の処理を実行する。表示制御部１１１は、第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定する。そして、表示制御部１１１は、第２撮影地点アイコンに注釈情報が対応付けられていると判定した場合、第１画像を注釈情報と対応付けて端末装置３０のディスプレイに表示する。第２撮影地点アイコンとは、第１撮影地点アイコンの位置（座標）を中心に一定の距離範囲にある撮影地点アイコンである。以下の説明では、説明の便宜上、第２撮影地点アイコンは第１撮影地点の左右に隣接する２つの撮影地点アイコンを指すものとする。但し、これは一例であり、第２撮影地点アイコンは第１撮影地点アイコンの左側に位置するｎ（２以上の整数）個の撮影地点アイコンと、右側に位置するｎ個の撮影地点アイコンとであってもよい。一定の距離範囲としては例えば第１画像と第２画像とにおいて同じ被写体が含まれているとみなされるほど第１画像の撮影地点と第２画像の撮影地点とが近接している距離が採用できる。

　注釈情報には、注釈が設定された注釈領域の画像上の位置が含まれている。以下、第１画像に設定された注釈領域を第１注釈領域、第２画像に設定された注釈領域を第２注釈領域と呼ぶ。表示制御部１１１は、第２画像に基づいて、第２注釈領域に対応する対応領域を第１画像から検知し、対応領域に第２注釈領域が重畳された第１画像を端末装置３０のディスプレイに表示する。この場合、表示制御部１１１は、この第１画像の表示指示を通信部１３を介して端末装置３０に送信すればよい。第１注釈領域と第２注釈領域とは異なる表示オブジェクトを用いて表示される。例えば、第１注釈領域の表示オブジェクトと第２注釈領域の表示オブジェクトとは、色、形などを変えて表示される。

　注釈領域は、第１画像または第２画像に重畳表示された矩形状の枠体を移動及び変形する操作を行うことでユーザにより設定される領域である。表示制御部１１１は、第２注釈領域をテンプレートとするパターンマッチングを第１画像に適用することで対応領域を第１画像から検知すればよい。或いは、まず、表示制御部１１１は、深層学習などの機械学習を用いて事前に作成された物体認識器を用いて第２注釈領域に含まれる物体を認識する。次に、表示制御部１１１は、この物体認識器を用いて第１画像に含まれる物体を認識する。最後に、表示制御部１１１は、第２注釈領域に含まれる物体と同じ物体を表示する第１画像上の領域を対応領域として検知してもよい。

　表示制御部１１１は、第１撮影地点アイコンに注釈情報が対応付けられている場合、第１撮影地点アイコンに対応付けられた注釈情報をさらに端末装置３０のディスプレイに表示してもよい。

　詳細には、表示制御部１１１は、第１画像に第１注釈領域が設定されている場合、第１注釈領域がさらに重畳された第１画像を端末装置３０のディスプレイに表示する。

　メモリ１２は、ハードディスクドライブ、ソリッドステートドライブなどの不揮発性の書き換え可能な記憶装置で構成される。メモリ１２は、設計図情報、撮影情報、注釈情報、及び画像情報を記憶する。設計図情報は、設計図を示す画像情報である。設計図情報には、設計図を識別する設計図ＩＤが対応づけられている。設計図には、上述したようにキーポイントに実際の建築現場の緯度及び経度が設定されている。

　撮影情報は撮影装置２０を用いた１回の撮影動作に関する情報を示す。撮影情報は１回の撮影動作が行われるたびに生成される。１回の撮影動作とは撮影装置２０を持った作業員が建築現場において撮影を開始してからから撮影を終了するまでの一連の動作を指す。１回の撮影動作により複数の画像が撮影される。撮影情報は、設計図ＩＤ、撮影ＩＤ、撮影日時、撮影日時の代表値、撮影地点の位置、及び撮影地点アイコンの位置を含む。撮影ＩＤは１回の撮影動作に含まれる各撮影を識別するための識別子である。撮影日時は撮影ＩＤが示す撮影の撮影日時である。撮影日時の代表値は撮影が開始されたときの撮影日時である。撮影地点は撮影ＩＤが示す撮影が行われた位置（緯度及び経度）を示す。撮影地点アイコンの位置は撮影ＩＤに対応する撮影地点アイコンの設計図上での表示位置（座標）を示す。撮影地点アイコンの位置は、設計図情報が示す設計図のキーポイントにおける撮影位置（緯度及び経度）と、撮影ＩＤに対応する撮影地点（緯度及び経度）とに基づいて、設計図に撮影位置をマッピングすることで算出される。

　注釈情報は注釈を示す情報である。１つの注釈情報は１つの注釈に対応している。注釈情報は、撮影ＩＤ、注釈領域の位置、及び注釈メッセージを含む。注釈メッセージは注釈としてユーザに入力された文字情報である。

　画像情報は１回の撮影動作に含まれる各撮影により撮影された１枚の画像を示す。すなわち、画像情報は、上述の第１画像または第２画像を示す。画像情報には撮影ＩＤが対応づけられている。

　このように、撮影情報及び画像情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして撮影地点アイコンに対応する画像が特定される。撮影情報及び注釈情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして撮影地点アイコンに対応する注釈情報が特定される。注釈情報には撮影ＩＤ、注釈領域の位置、及び注釈メッセージが含まれており、画像情報には撮影ＩＤが対応づけられているので、撮影ＩＤをキーにして、画像に設定された注釈領域の位置及び注釈メッセージが特定される。

　通信部１３は、情報処理装置１０をネットワークに接続する通信回路である。

　図２は、端末装置３０のディスプレイに表示される表示画面Ｇ１の一例を示す図である。表示画面Ｇ１は、情報処理装置１０が提供するアプリケーションの基本画面である。表示画面Ｇ１は、画像情報表示欄Ｒ１、注釈情報表示欄Ｒ２、設計図表示欄Ｒ３、ニュース表示欄Ｒ４を含む。

　画像情報表示欄Ｒ１は、第１撮影地点アイコンに対応づけられた第１画像を表示する。

　注釈情報表示欄Ｒ２は、第１撮影地点アイコンに対応づけられた注釈情報を表示する。ここでは、画像情報表示欄Ｒ１に表示された第１画像に対して複数のユーザが入力した注釈メッセージＣ１が一覧表示されている。注釈情報表示欄Ｒ２において、左側には自分以外のユーザが入力した注釈メッセージＣ１が表示され、右側には自分が入力した注釈メッセージＣ１が表示される。

　アプリケーションの起動直後のデフォルトの表示画面Ｇ１においては、ユーザにより撮影地点アイコンが選択されていない。そのため、デフォルトの表示画面Ｇ１においては、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。

　設計図表示欄Ｒ３は、建築現場の設計図を表示する。設計図表示欄Ｒ３が表示する設計図には、選択アイコン２０１、撮影地点アイコン２０２、及び軌跡２０３が重畳表示されている。

　選択アイコン２０１は、ドラッグアンドドロップ操作によって移動可能に構成されている。この例では、選択アイコン２０１は人を模擬した画像で構成されている。

　撮影地点アイコン２０２は撮影地点を示すアイコンであり撮影地点で撮影された画像が対応づけられている。この例では、撮影地点アイコン２０２は円形の画像で構成されている。軌跡２０３は画像を撮影したユーザの軌跡を示す。この例では、軌跡２０３は隣接する撮影地点アイコン２０２同士をつなぐ線で構成されている。軌跡２０３の先端に位置する撮影地点アイコン２０２と、軌跡２０３の後端に位置する撮影地点アイコン２０２とは、他の撮影地点アイコンよりも大きなサイズで表示されている。軌跡２０３の先端（例えば右端）に位置する撮影地点アイコン２０２は撮影開始位置を示し、軌跡２０３の後端（例えば左端）に位置する撮影地点アイコン２０２は撮影終了位置を示す。

　画像情報表示欄Ｒ１に表示された画像を選択する操作（例えば、タップまたはクリック）が入力されると、設計図表示欄Ｒ３は、画像情報表示欄Ｒ１に表示された画像を設計図表示欄Ｒ３に表示する。

　ニュース表示欄Ｒ４は、この建築現場に関連する種々のメッセージであってユーザにより入力されたメッセージを表示する。

　例えば、選択アイコン２０１がいずれかの撮影地点アイコン２０２の所定領域内でドロップされた場合、当該撮影地点アイコン２０２が第１撮影地点アイコンとして決定され、当該第１撮影地点アイコンに対応する画像が第１画像として検知される。そして、第１画像は、画像情報表示欄Ｒ１に表示される。この場合、第１撮影地点アイコンに注釈情報が対応付けられていれば、第１撮影地点アイコンに対応する注釈情報が注釈情報表示欄Ｒ２に表示される。

　例えば、選択アイコン２０１がいずれの撮影地点アイコン２０２においても所定領域内でドロップされなかったとする。この場合、ドロップ位置との距離が最短の撮影地点アイコンであって注釈情報が対応付けられた撮影地点アイコンが第１撮影地点アイコンとして決定され、第１撮影地点アイコンに対応する画像が第１画像として検知される。そして、第１画像は画像情報表示欄Ｒ１に表示され、この第１画像に対応する注釈情報は注釈情報表示欄Ｒ２に表示される。

　図３は、撮影日時を選択するメニュー画面３００の一例を示す図である。メニュー画面３００は、表示画面Ｇ１において、メニュー画面３００を表示するための所定の操作が行われた場合に表示される。メニュー画面３００には、ある１つの建築現場において撮影された複数の撮影日時をリスト表示する。メニュー画面３００に含まれる１つの撮影日時は１つの撮影動作の撮影日時の代表値を示す。

　ユーザによりメニュー画面３００の中から１の撮影日時を選択する指示が入力された場合、表示制御部１１１は、その指示を端末装置３０から取得する。そして、表示制御部１１１は、取得した指示が示す撮影日時に対応する軌跡２０３を設計図表示欄Ｒ３に重畳表示する表示指示を端末装置３０に送信する。これにより、ユーザは、選択した撮影日時に対応する軌跡２０３を設計図表示欄Ｒ３上に表示することができる。なお、アプリケーションの起動後に最初に表示される表示画面Ｇ１においては、設計図表示欄Ｒ３には最新の撮影日時に対応する軌跡２０３が表示される。図３では、説明の便宜上、撮影地点アイコン２０２を省略しているが、実際には図２に示すように撮影地点アイコン２０２も表示されている。

　図４は、ディスプレイに表示される第１画像Ｇ３１の一例を示す図である。図４において左側は第１画像Ｇ３１を示し、右側は第２画像Ｇ３２を示している。第１画像Ｇ３１における四角形の枠体は第１注釈領域３０１を示す。第１画像Ｇ３１及び第２画像Ｇ３２において円形の領域は第２注釈領域３０２を示す。第１画像Ｇ３１には、自身に設定された第１注釈領域３０１に加えて、第２画像Ｇ３２に設定された第２注釈領域３０２が表示されている。第１画像Ｇ３１に表示される第２注釈領域３０２は第２画像Ｇ３２に含まれる第２注釈領域３０２の第１画像Ｇ３１上における対応領域に表示されている。そのため、ユーザは、第１画像Ｇ３１の閲覧中に第２画像Ｇ３２を表示する操作を入力しなくても、第１画像Ｇ３１上で第２注釈領域３０２を確認できる。図４の例では、第１注釈領域及び第２注釈領域は同一の被写体に対して設定されているので、第１注釈領域及び第２表示領域は重なって表示されている。なお、第１画像Ｇ３１、第２画像Ｇ３２は全方位画像であるので、図４の例では、ディスプレイに表示される第１画像Ｇ３１は第１画像の全域の一部の領域である。

　図５は、ディスプレイに表示される第１画像Ｇ３１の別の一例を示す図である。図５の例では、第１画像Ｇ３１、第２画像Ｇ３２として、全方位画像の全域を展開することで得られる展開画像が採用されている。そのため、図５の例では、第１画像Ｇ３１及び第２画像Ｇ３２は歪んでいるが、第１画像Ｇ３１、第２画像Ｇ３２の全域がディスプレイに表示される。図５の例においても、図４の場合と同様、第１画像Ｇ３１には、自身に設定された第１注釈領域３０１に加えて第２画像Ｇ３２に設定された第２注釈領域３０２が表示されている。表示制御部１１１は、正距方位図法又は魚眼図法などを用いて第１画像Ｇ３１及び第２画像Ｇ３２の展開画像を生成する。

　図６は、設計図表示欄Ｒ３の詳細な構成を示した図である。図６の例では、注釈情報が対応付けられた撮影地点アイコン２０２には注釈アイコン２０４が対応付けて表示されている。注釈アイコン２０４は対応する撮影地点アイコン２０２を起点とする吹き出しマークが採用されている。注釈アイコン２０４は、注釈情報が対応付けられていることを示すのみであり、注釈メッセージまでは表示していない。図６の例では矢印で示す撮影地点アイコン２０２が第１撮影地点アイコン２０２＿１として決定されている。したがって、第１撮影地点アイコン２０２＿１の左に隣接する撮影地点アイコン２０２と右に隣接する撮影地点アイコン２０２との２つが第２撮影地点アイコン２０２＿２となる。２つの第２撮影地点アイコン２０２＿２のうち左側の第２撮影地点アイコン２０２＿２には注釈情報が対応付けられている。そのため、第１撮影地点アイコン２０２＿１に対応する第１画像は、左側の第２撮影地点アイコン２０２＿２に対応する第２注釈領域が重畳されて表示される。また、第１撮影地点アイコン２０２＿１にも注釈情報が対応付けられている。そのため、第１画像には、第１撮影地点アイコン２０２＿１に対応する第１注釈領域も重畳して表示される。

　図７は、図１に示す情報処理装置１０の処理の一例を示すフローチャートである。表示制御部１１１は、設計図を選択するユーザからの指示を取得する（ステップＳ１）。この場合、端末装置３０のディスプレイには設計図を選択するためのメニュー画面が表示され、そのメニュー画面の中から１の設計図を選択する指示が入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。この指示には設計図ＩＤが含まれているので、表示制御部１１１はメモリ１２に記憶された設計図情報の中から指示された設計図を示す設計図情報を取得できる。

　次に、表示制御部１１１は、表示画面Ｇ１の表示指示を通信部１３を介して端末装置３０に送信することで、表示画面Ｇ１を端末装置３０のディスプレイに表示する（ステップＳ２）。デフォルトで表示される表示画面Ｇ１の表示指示には、ステップＳ１で選択された設計図を示す設計図情報と、最新の撮影日時に対応する撮影情報とが含まれている。したがって、デフォルトで表示される表示画面Ｇ１には、図２に示すように設計図に選択アイコン２０１と最新の撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３とが含まれる。この時点では、第１撮影地点アイコンが決定されていないので、画像情報表示欄Ｒ１及び注釈情報表示欄Ｒ２は空欄である。なお、後述するステップＳ３において撮影日時を選択する指示が入力された場合は、表示制御部１１１は、選択された撮影日時に対応する撮影地点アイコン２０２及び軌跡２０３が重畳表示された設計図を含む表示画面Ｇ１をディスプレイに表示する。

　次に、表示制御部１１１は、撮影日時を選択するユーザからの指示を取得したか否かを判定する（ステップＳ３）。この場合、端末装置３０のディスプレイには撮影日時を選択するためのメニュー画面３００が表示される。ユーザは、そのメニュー画面３００から１の撮影日時を選択する指示を入力する。メニュー画面３００に表示される撮影日時はメモリ１２に記憶された撮影情報に含まれる撮影日時の代表値である。撮影日時を選択するとその撮影日時に対応する１つの撮影動作が選択されることになる。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。この指示には撮影日時の代表値が含まれているので、表示制御部１１１はメモリ１２に記憶された１つの撮影情報を特定できる。撮影日時を選択する指示が入力された場合（ステップＳ３でＹＥＳ）、処理はステップＳ４に進む。撮影日時を選択する指示が入力されない場合（ステップＳ３でＮＯ）、処理はステップＳ２に戻る。

　次に、表示処理が実行される（ステップＳ４）。表示処理の詳細は図８で後述する。表示処理は、画像情報表示欄Ｒ１に第１画像を表示する処理である。

　次に、表示制御部１１１は、注釈入力の指示を取得したか否かを判定する（ステップＳ５）。注釈入力の指示とはユーザが画像情報表示欄Ｒ１に表示された画像に対して注釈を入力する意思がある場合に入力される指示である。この指示は、例えば表示画面Ｇ１に表示された注釈入力指示ボタン（図略）を選択する操作を行うことで入力される。入力された指示はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して指示を取得する。

　次に、注釈入力の指示が取得された場合（ステップＳ５でＹＥＳ）、表示制御部１１１は注釈領域の位置を取得する（ステップＳ６）。注釈領域の位置は、画像情報表示欄Ｒ１において例えば矩形状の枠体を移動及び変形させる操作を行うことで入力される。注釈領域の位置は、例えば枠体のキーポイント（頂点）の座標である。入力された注釈領域の位置はネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して注釈領域の位置を取得する。表示制御部１１１は、取得した注釈領域の位置を含む注釈情報を生成し、生成した注釈情報を撮影ＩＤと対応付けてメモリ１２に記憶する。これにより、図３に示すように注釈領域Ｄ１が設定される。

　次に、注釈入力の指示が取得されていない場合（ステップＳ５でＮＯ）、処理はステップＳ８に進む。

　次に、表示制御部１１１は、注釈メッセージを取得する（ステップＳ７）。注釈メッセージは、図３に示すように、注釈情報表示欄Ｒ２に入力される。入力された注釈メッセージはネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して注釈メッセージを取得する。表示制御部１１１は取得した注釈メッセージをステップＳ６で生成した注釈情報に含ませてメモリ１２に記憶する。

　次に、表示制御部１１１は、終了指示を取得したか否かを判定する（ステップＳ８）。終了指示とは、ステップＳ３で表示された表示画面Ｇ１を閉じる指示である。この指示は表示画面Ｇ１に表示された終了ボタン（図略）を押す操作を行うことで入力される。終了指示が取得された場合（ステップＳ８でＹＥＳ）、処理は終了する。終了指示が取得されていない場合（ステップＳ８でＮＯ）、処理はステップＳ３に戻る。この場合、表示画面Ｇ１の表示が維持される。終了指示は、ネットワークを介して情報処理装置１０に送信され、通信部１３により受信される。表示制御部１１１は通信部１３を介して終了指示を取得する。

　図８は、図７に示す表示処理の詳細を示すフローチャートである。表示制御部１１１は、第１画像を選択する指示を取得する（ステップＳ２１）。この指示は、図２に示すように、選択アイコン２０１を設計図上でドラッグアンドドロップする操作を行うことで行われる。表示制御部１１１は、上述したように、選択アイコン２０１のドロップ位置と、撮影地点アイコン２０２の位置とに基づいてユーザが選択した１の撮影地点アイコンを第１撮影地点アイコンとして決定し、第１撮影地点アイコンに対応する画像を第１画像として検知する。

　次に、表示制御部１１１は、第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定する（ステップＳ２２）。第２撮影地点アイコンに注釈情報が対応付けられている場合（ステップＳ２２でＹＥＳ）、表示制御部１１１は、第２画像に設定された第２注釈領域の対応領域を第１画像から上述のパターンマッチングにより検出する（ステップＳ２３）。第２撮影地点アイコンに注釈情報が対応付けられていない場合（ステップＳ２２でＮＯ）、処理はステップＳ２５に進む。

　次に、ステップＳ２４において、表示制御部１１１は、対応領域に第２注釈領域を重畳する（ステップＳ２４）。

　次に、表示制御部１１１は、第１撮影地点アイコンに注釈情報が対応付けられているか否かを判定する（ステップＳ２５）。第１撮影地点アイコンに注釈情報が対応付けられている場合（ステップＳ２５でＹＥＳ）、表示制御部１１１は、第１画像に第１注釈領域を重畳する（ステップＳ２６）。一方、第１撮影地点アイコンに注釈情報が対応づけられていない場合（ステップＳ２５でＮＯ）、処理はステップＳ２７に進む。

　次に、表示制御部１１１は、第１注釈領域と第２注釈領域とが重畳された第１画像を端末装置３０のディスプレイに表示する（ステップＳ２７）。なお、ステップＳ２５でＮＯの場合、第１画像には第２注釈領域が重畳され、第１注釈領域は重畳されない。

　図９は、ディスプレイに表示される第１画像Ｇ３１のさらに別の一例を示す図である。図９の例では、第１画像Ｇ３１として全方位画像の全域を展開した展開画像が採用されている。図９の例では、第１注釈領域３０１と第２注釈領域３０２とは異なる被写体に対して設定されている。そのため、図９の例では、図５の例とは異なり、第１注釈領域３０１と第２注釈領域３０２とは分離して表示されている。

　このように、本実施の形態によれば、第１画像に対応する第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられている場合、第１画像はこの注釈情報と対応付けて表示される。そのため、第１画像の閲覧中に別途、第１画像を閉じて第２画像を表示する操作を入力しなくても、第２画像に設定された注釈情報を確認できる。また、このような操作を介さずに注釈情報が確認できるので、このような操作のために費やされるコンピュータの処理ステップ数が削減される。

　本開示は以下の変形例が採用できる。

　（１）図６において、第１撮影地点アイコン２０２＿１の右側の第２撮影地点アイコン２０２＿２にも注釈情報が設定されている場合、表示制御部１１１は、この注釈情報をさらに第１画像に表示してもよい。この場合、第１画像には、左側の第２撮影地点アイコン２０２＿２に対応する第２画像に設定された第２注釈領域に加えて、右側の第２撮影地点アイコン２０２＿２に対応する第２画像に設定された第２注釈領域も第１画像に重畳して表示される。第１画像の表示領域内に２つの第２注釈領域が収まらない場合、表示制御部１１１は、２つ注釈領域が同時に表示領域内に収まるように第１画像を縮小してもよい。或いは、表示制御部１１１は、第１画像の全域を表示するために第１画像の展開画像を表示してもよい。

　（２）第１画像の表示領域内に第１注釈領域と第２注釈領域とを収まらなかった場合、表示制御部１１１は、第１注釈領域と第２注釈領域とが第１画像の表示領域内に収まるように第１画像を縮小してもよい。或いは、表示制御部１１１は、第１画像の全域を表示するために第１画像の展開画像を表示してもよい。

　（３）第２画像に複数の注釈領域が設定されている場合、表示制御部１１１は、第２画像に設定された複数の注釈領域のそれぞれの対応領域をパターンマッチングにより第１画像から検知し、検知した複数の対応領域に第２画像に設定された複数の注釈領域が重畳された第１画像を表示すればよい。

　（４）表示制御部１１１は、第２注釈領域を第１画像に重畳しなくてもよい。例えば、表示制御部１１１は、第２画像に注釈情報が設定されている旨のメッセージを第１画像と合わせて表示してもよい。この場合、表示制御部１１１は、第１画像の外枠に吹き出しマークを付した注釈アイコンを表示してもよい。この態様が採用される場合、ユーザは第２画像に第２注釈領域を設定しなくてもよい。

　（５）表示制御部１１１は、第１注釈領域を第１画像に重畳しなくてもよい。例えば、表示制御部１１１は、第１画像に注釈情報が設定される旨のメッセージを第１画像と合わせて表示してもよい。この場合、表示制御部１１１は、第１画像に外枠に吹き出しマークを付した注釈アイコンを表示すればよい。さらに、この態様が採用される場合、ユーザは第１画像に第１注釈領域を設定しなくてもよい。

　（６）注釈情報表示欄Ｒ２に第１画像に対応する注釈メッセージが表示されている場合において、第２注釈領域を選択する指示（例えば、タップまたはクリック）が入力された場合、表示制御部１１１は第２注釈領域に対応する注釈メッセージを注釈情報表示欄Ｒ２に表示してもよい。また、この状態で、第１注釈領域を選択する指示が入力された場合、表示制御部１１１は第１注釈領域に対応する注釈メッセージを注釈情報表示欄Ｒ２に表示してもよい。

　（７）上記実施の形態では現場として建築現場を例示したが、本開示はこれに限定されず、製造現場、物流現場、流通現場、農地、土木現場、小売現場、オフィス、病院、商業施設、介護施設などが現場として採用されてもよい。

　（８）図４の第１画像Ｇ３１の例では、第１画像Ｇ３１に第２注釈領域３０２が重畳表示されたが、本開示はこれに限定されない。例えば、表示制御部１１１は、第１画像Ｇ３１に第２注釈領域３０２を表示することに代えて、図１０に示すように、第２画像Ｇ３２に注釈コメントが付されていることを示す注釈アイコン３０３を第１画像Ｇ３１に表示してもよい。図１０は、第１画像Ｇ３１の表示態様の他の一例を示す図である。図１０において、左側は第１画像Ｇ３１を示し、右側は第２画像Ｇ３２を示している。第１画像Ｇ３１に隣接する第２画像Ｇ３２には第２注釈領域３０２が設定されている。さらに、第２注釈領域３０２は注釈メッセージが付されている。

　この場合、第１画像Ｇ３１は、第２画像Ｇ３２に注釈メッセージが付されていることを示す注釈アイコン３０３を第１注釈領域３０１と対応付けて表示する。これにより、第１画像Ｇ３１を閲覧したユーザは、隣接する画像に注釈メッセージが設定されていることを一目で確認できる。

　（９）第１画像Ｇ３１において、第２注釈領域３０２を重畳する場合、第２注釈領域３０２に注釈アイコン３０４を対応付けて表示してもよい。図１１は、第２注釈領域３０２に注釈アイコン３０３が対応付けて表示された第１画像Ｇ３１を示す図である。なお、図１１において、第１注釈領域３０１の図示は省略されている。表示制御部１１１は、図１１の左側に示すように注釈アイコン３０３を選択する操作（例えば、クリック又はタップ）を検知すると、図１１の右側に示すように注釈メッセージ表示欄３０５を第１画像Ｇ３１に重畳表示する。注釈メッセージ表示欄３０５は、第２注釈領域３０２に対して付された注釈メッセージを一覧表示する。すなわち、注釈メッセージ表示欄３０５は、図２に示す注釈情報表示欄Ｒ２に一覧表示された第２注釈領域３０２の注釈メッセージを一覧表示する。これにより、ユーザは第２画像Ｇ３２を表示させなくても、第１画像Ｇ３１において、注釈アイコン３０４を選択する操作を入力するだけで、第２注釈領域３０２に付された注釈メッセージを確認できる。

　本開示は建築現場の状況を遠隔から確認できるので、建築現場を管理するうえで有用である。

Claims (9)

1. 　コンピュータにおける情報処理方法であって、
   　端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、
   　前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示し、
   　前記第１画像の前記ディスプレイへの表示は、
   　　前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が対応付けられているか否かを判定することと、
   　　前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む、
   　情報処理方法。
2. 　前記注釈情報は、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された注釈領域の位置を含み、
   　前記第１画像の前記ディスプレイへの表示は、
   　　前記第２画像に基づいて、前記注釈領域に対応する対応領域を前記第１画像から検知することと、
   　　前記対応領域に前記注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含む、
   　請求項１記載の情報処理方法。
3. 　前記第１画像の前記ディスプレイへの表示は、
   　　前記第１撮影地点アイコンに前記注釈情報が対応付けられている場合、前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とをさらに前記ディスプレイに表示することを含む、
   　請求項１記載の情報処理方法。
4. 　前記注釈情報は、前記第１画像において注釈が設定された領域を示す第１注釈領域の位置と、前記第２撮影地点アイコンに対応する第２画像において注釈が設定された領域を示す第２注釈領域の位置とを含み、
   　前記第１画像の前記ディスプレイへの表示は、
   　　前記第２画像に基づいて、前記第２注釈領域に対応する対応領域を前記第１画像から検知することと、
   　　前記第１画像に前記第１注釈領域が設定されている場合、前記第１注釈領域が重畳されるとともに、前記対応領域に前記第２注釈領域が重畳された前記第１画像を前記ディスプレイに表示することと、を含む、
   　請求項１記載の情報処理方法。
5. 　前記第１画像の前記ディスプレイへの表示は、
   　　前記第１撮影地点アイコンに対応付けられた前記注釈情報と前記第２撮影地点アイコンに対応付けられた前記注釈情報とを異なる表示オブジェクトを用いて表示すること、含む、
   　請求項３または４記載の情報処理方法。
6. 　さらに、前記俯瞰画像に、移動可能に構成された選択アイコンを表示し、
   　前記第１撮影地点アイコンは、前記選択アイコンの移動完了位置と前記複数の撮影地点アイコンのそれぞれとの距離に基づいて決定される、
   　請求項１記載の情報処理方法。
7. 　さらに、前記ディスプレイに表示された前記注釈情報の選択が検知された場合、前記注釈情報が示す注釈メッセージを前記ディスプレイに表示する、
   　請求項１記載の情報処理方法。
8. 　プロセッサを備える情報処理装置であって、
   　前記プロセッサは、
   　端末装置のディスプレイに、撮影地点を示す複数の撮影地点アイコンが重畳された俯瞰画像を表示し、
   　前記複数の撮影地点アイコンのうち１の撮影地点アイコンである第１撮影地点アイコンの選択を検知した場合、前記第１撮影地点アイコンに対応する第１画像を前記ディスプレイに表示する、処理を実行し、
   　前記第１画像の前記ディスプレイへの表示は、
   　　前記第１撮影地点アイコンに対して所定範囲内にある第２撮影地点アイコンに注釈情報が設定されているか否かを判定することと、
   　　前記第２撮影地点アイコンに前記注釈情報が対応付けられていると判定した場合、前記第１画像と前記注釈情報とを前記ディスプレイに表示することと、を含む、
   　情報処理装置。
9. 　請求項１または２記載の情報処理方法をコンピュータに実行させる情報処理プログラム。

Images