JP7174968B1 - 画像管理システム及び画像管理方法 - Google Patents

Abstract

【課題】現場に関するユーザ情報の管理を現場においても簡易に行う。これによりユーザの負担を軽減する。【解決手段】目印を含む第１のカメラ画像を撮影し、第１のカメラ画像に基づいて目印を設定する。管理対象である現場を撮影した第２のカメラ画像を取得し、第２のカメラ画像中の目印を認識して、目印に対応する目印ＩＤを設定する。目印が認識された後に、現場の状況に関するユーザ入力を受け付ける。目印ＩＤと、ユーザ入力と、目印を含む第３のカメラ画像とを関連付けて記憶する。第３のカメラ画像とユーザ入力とを対応して表示する報告書を生成する。【選択図】図４

Description

本発明は、例えば不動産物件のような現場の状況を表す画像を効率的に管理するためのシステム及び方法に関するものである。

下記特許文献１には、施工現場中の注目個所に関する管理情報を三次元図面データ中に書き込んで記録する技術が記載されている。

しかしながら、この技術では、管理情報の記録に適した三次元図面データを予め持っていることが前提となる。したがって、新築物件の施工のように図面データが容易に入手できる状況でなければ使いづらいという問題がある。また、三次元図面データ中に情報を記録するには相応の処理能力が必要なので、端末を含めた使用機器が大型化したり高コスト化するおそれがある。さらには、現場で使用可能な携帯端末では能力不足となる場合、事務所等で改めて入力する必要を生じ、作業が煩雑になるという問題もある。

特開２０２１－１１７８２７号公報

本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、現場に関する管理情報の取り扱いを簡易に行うことが可能であり、これによりユーザの負担を軽減することができる技術を提供するものである。

本発明は、以下の項目に記載の発明として表現することができる。

（項目１）
第１のカメラ画像に基づいて目印を設定する目印設定部と、
現場で取得した第２のカメラ画像中の前記目印を認識し、前記目印に対応する目印ＩＤを設定する目印認識部と、
前記目印認識部により前記目印が認識された後に、前記現場の状況に関するユーザ入力を受け付けるユーザ入力受付部と、
前記目印ＩＤと、前記ユーザ入力と、前記目印を含む第３のカメラ画像とを関連付けて記憶する記憶部と、
前記第３のカメラ画像と前記ユーザ入力とを対応して表示する報告書を生成する報告書生成部と
を備える画像管理システム。

（項目２）
前記第２のカメラ画像は、携帯端末で取得された動画であり、
前記第３のカメラ画像は、前記目印認識部により前記目印が認識されたときに、前記携帯端末により取得された静止画である
項目１に記載の画像管理システム。

（項目３）
前記ユーザ入力はテキスト情報又は音声情報である
項目１又は２に記載の画像管理システム。

（項目４）
前記ユーザ入力受付部は、前記現場の状況を示す画像情報上における前記目印の位置の指定をユーザから受け付ける構成となっている
項目１又は２に記載の画像管理システム。

（項目５）
前記目印設定部は、ユーザの指示に基づいて、既に登録済みの目印を前記目印として設定する構成となっている
項目１又は２に記載の画像管理システム。

（項目６）
目印を含む第１のカメラ画像を撮影し、前記第１のカメラ画像に基づいて前記目印を設定するステップと、
管理対象である現場を撮影した第２のカメラ画像を取得し、前記第２のカメラ画像中の前記目印を認識して、前記目印に対応する目印ＩＤを設定するステップと、
前記目印が認識された後に、前記現場の状況に関するユーザ入力を受け付けるステップと、
前記目印ＩＤと、前記ユーザ入力と、前記目印を含む第３のカメラ画像とを関連付けて記憶するステップと、
前記第３のカメラ画像と前記ユーザ入力とを対応して表示する報告書を生成するステップと
を備える画像管理方法。

（項目７）
項目６に記載の各ステップを携帯端末に実行させるための携帯端末用アプリ。

本発明によれば、現場に関する管理情報の取り扱いを、例えば現場において簡易かつ迅速に行うことが可能となる。したがって本発明によれば、ユーザの負担を軽減することが可能になる。

本発明の一実施形態における画像管理システムを説明するための説明図である。 図１の画像管理システムにおけるユーザ端末の概略的構成を説明するためのブロック図である。 図２のユーザ端末に搭載された携帯端末用アプリを説明するためのブロック図である。 図１の画像管理システムを用いた画像管理方法の手順を説明するための説明図である。 本実施形態における第１のカメラ画像の例を模式的に示す説明図である。 現場状況の一例を示す説明図である。 本実施形態における第２のカメラ画像の例を模式的に示す説明図である。 本実施形態における第３のカメラ画像の例を模式的に示す説明図である。 目印の位置が指定された画像情報の例を模式的に示す説明図である。 本実施形態において生成される報告書の例を模式的に示す説明図である。 報告書に対する追加入力を受け付ける手順を説明するための説明図である。

以下、本発明の一実施形態に係る画像管理システム（以下単に「システム」ということがある）を、添付の図面を参照しながら説明する。

（画像管理システムの全体構成）
まず、システムの全体構成例を図１に基づいて説明する。このシステムは、ユーザ端末１００とサーバ２００とを用いる。ユーザ端末１００とサーバ２００とは、適宜なネットワーク回線、例えばインターネット３００に接続されているものとする。

ユーザ端末１００は、例えば、スマートフォン、タブレット端末、ノートパソコンなどの携帯端末である。以下の説明ではスマートフォンを前提とする。

またユーザ端末１００は、インターネット３００を介してサーバ２００との通信が可能となっている。なお、本実施形態においてサーバ２００を使用することは必須ではない。

（ユーザ端末）
ユーザ端末１００は、カメラ１と、アプリ（携帯端末用アプリ）２と、ディスプレイ３と、入力部４と、通信部５と、記憶部６とを備えている（図２参照）。

（カメラ）
本実施形態では、カメラ１として、外部環境を動画及び静止画でそれぞれ撮影可能なものを用いる。そのようなカメラ１としては、一般のスマートフォンに既に搭載されたものを利用可能である。

（アプリ）
アプリ２は、スマートフォン用のコンピュータプログラムとしてユーザ端末１００に実装されたものである。本実施形態のアプリ２は、目印設定部２１と、目印認識部２２と、ユーザ入力受付部２３と、報告書生成部２４と、追加記録入力部２５とを備えている（図３参照）。

目印設定部２１は、第１のカメラ画像（目印登録用の画像）に基づいて目印を設定するものである。目印認識部２２は、現場で取得した第２のカメラ画像（例えば現場における建物などの画像）中の目印を認識し、目印に対応する目印ＩＤを設定するものである。ユーザ入力受付部２３は、目印認識部２２により目印が認識された後に、現場の状況に関するユーザ入力を受け付けるものである。報告書生成部２４は、第３のカメラ画像（例えば現場における建物などの画像であり、第２のカメラ画像と同一でもよい）とユーザ入力とを対応して表示する報告書を生成するものである。追加記録入力部２５は、一旦生成した報告書の情報を更新するものである。

アプリ２のより具体的な構成は、本実施形態の動作として説明する。

（入力部）
入力部４は、本実施形態では、スマートフォンにおける通常の入力手段、例えばタッチパネルや各種ボタン類として実装されている。入力部４をマイクにより構成することもできる。

（通信部）
通信部５は、無線電話回線やＷｉＦｉ（商標）のような適宜な回線を介して外部と通信するための機能要素である。通信部５についても、通常のスマートフォンに実装されているものを用いることができる。本実施形態のユーザ端末１００は、通信部５、インターネット３００を介してサーバ２００と相互に通信できるようになっている。

（記憶部）
記憶部６は、例えばスマートフォンに搭載されたメモリであり、例えば、スマートフォンの内蔵メモリや、外部メモリ（ＳＤカードなど）である。本実施形態の記憶部６は、目印ＩＤと、現地の状況に関するユーザ入力と、目印を含む第３のカメラ画像とを関連付けて記憶するようになっている。記憶部６の具体的な動作についても後述する。記憶部６の機能の全部又は一部を、ネットワークにより接続された外部の機器により実装する（例えばオンライン上のメモリとして実装する）ことは可能である。

（本実施形態における画像管理方法）
以下、さらに図４を参照して、前記した本実施形態のシステムを用いた画像管理方法について説明する。

（図４のステップＳＡ－１～ＳＡ－２）
まず、ユーザ端末１００のアプリ２を起動する。すると、アプリ２の目印設定部２１は、カメラ１を起動し、撮影可能な状態とする。この状態で、ユーザは、その現場にふさわしい目印を用意して、カメラ１により撮影する。本実施形態における目印は、何らかの形状あるいは色彩を有し、かつ、対象物の近傍に配置可能なものであればよい。目印の例としては、付箋のように対象物に付着可能なラベル、指棒の先端部、ユーザの指先などが考えられるが、これらには制約されない。ただし、目印としては、カメラ画像から目印を識別できるような特徴（例えば形状上あるいは色彩上の特徴）を有することが望ましい。

目印を撮影した画像（目印登録用画像。第１のカメラ画像に対応）１１の例を図５に示す。この例では、着色された四角形の目印７が撮影されている。色としては赤や黄色などの、外部環境内において目立つ色であることが好ましいが、自動的に目印として認識できる特徴を有していれば何色であってもよい。また、形状も任意であり、自動的に認識できるものであればよい。また、目印としては、色及び形状の内のいずれか一方のみから抽出可能なものであってもよい。

目印設定部２１は、目印登録用画像１１中の目印７を抽出して登録する。具体的には、この目印７の画像的特徴を記憶部６に記憶する。目印の抽出は、適宜なアルゴリズムにより自動的に行われる。ただし例えば、画像中の所定個所をユーザが補助的に指定することによって、その場所に示された目印を目印設定部２１が特定する構成も可能である。カメラ画像中の所定形状、あるいは所定色彩部分を抽出する技術はすでに知られているので、これについての詳しい説明は省略する。

目印設定部２１は、目印を記憶する前に、ユーザによる確認の入力を促し、その入力があったときに目印を記憶する構成であってもよい。

また、目印設定部２１は、すでに目印が記憶部６に登録されている場合には、その目印を選択することにより、以降のステップにおいて使用する目印を特定する構成であってもよい。

（図４のステップＳＡ－３）
ついでユーザは、現場を点検し、注目個所（つまり何らかの指摘を行うべき個所）に目印を配置する。図６に、地盤４０上に家屋５０と立木６０が存在する現場の例を示す。この状態で例えば、家屋の２か所（例えば修繕が必要な個所）に目印７１及び７２を配置する。また例えば、敷地外に立木６０が存在し、その枝の先端が敷地内に侵入している場合において、その侵入している部分Ｓ（図６参照）に目印（図示せず）を配置することができる。例えば指棒（図示せず）の先端に目印を備えておいて、その目印を部分Ｓに配置するようにすれば、目印の付着が難しい対象物や高所であっても目印の配置が容易になる。

本実施形態では、目印を配置した状態で、目印を含む現場をカメラ１により動画撮影する。撮影した動画（現場画像。第２のカメラ画像に対応）１２中の１コマを図７に示す。この動画自体は保存する必要はない。また、動画撮影は、例えばユーザが現場を移動しながらユーザ端末１００のカメラ１を環境に向けることにより行うことができる。

（図４のステップＳＡ－４～ＳＡ－５）
目印認識部２２は、動画である現場画像中の目印を認識し、この目印に対応する目印ＩＤを設定する。例えば、目印を認識する都度、目印ＩＤを設定する構成とすることができる。また例えば、目印認識部２２は、１枚の現場画像に複数の目印が含まれる場合において、目印ＩＤを設定すべき目印をユーザ入力により選択させる構成であってもよい。動画中の画像特徴を認識する手法についても従来から知られているので、これについての詳しい説明は省略する。

また、目印認識部２２は、目印認識時、あるいは目印ＩＤ設定時に、その目印部分の静止画（注目画像。第３のカメラ画像に対応）１３を、図８に示すように、カメラ１により取得する。

なお、現場画像（第２のカメラ画像）１２は、動画に限らず、目印が存在する部分をユーザが撮影することにより取得された静止画であってもよい。この場合は、現場画像１２を注目画像（第３のカメラ画像）１３として用いることができる。

（図４のステップＳＡ－６）
目印認識部２２による目印認識後、あるいは、目印ＩＤ設定後に、ユーザ入力受付部２３は、現場の状況に関するユーザ入力を受け付ける。具体的には、目印認識部２２は、ユーザ端末１００のディスプレイ３にテキスト入力窓を表示し、入力部４を介したユーザによる情報入力（例えば修繕履歴のような管理情報の入力）を可能にする。あるいは、目印認識部２２は、ユーザ端末１００の入力部４が備えるマイク（図示せず）をオンとし、音声を用いたユーザの情報入力を可能にする。入力されたユーザ情報は記憶部６に保持される。ここで音声による情報入力を用いた場合、適宜な音声認識技術を用いて、認識されたテキスト情報をユーザ情報として用いることもできる。

これによりユーザは、当該目印で示された個所に関係する各種の管理情報を簡便に入力することができる。

（図４のステップＳＡ－７）
ついで、ユーザ入力受付部２３は、現場を表す画像情報を取得する。画像情報とは、建物や敷地を表した図面（間取り図や配置図など）、あるいはインターネット上の地図アプリからダウンロードした地図画像であるが、これらには制約されず、現場を表す画像であればよい。例えば、画像情報としては、ユーザ端末１００のカメラ１によりその場で撮影した画像であってもよい。またこれらの画像情報は、あらかじめユーザ端末１００の記憶部６に格納されていたものであってよいし、インターネット３００を介してサーバ２００からダウンロードされたものであってもよい。

さらに、ユーザ入力受付部２３は、画像情報中における目印の位置を特定する入力をユーザから受け取る。例えば、ユーザ入力受付部２３は、画像情報をユーザ端末１００のディスプレイ３に表示し、目印に対応する位置をユーザがタップしたときに当該位置を特定するとともに、適切な目印番号（例えば１、２、３、のような連番）をユーザが選択できるように構成される。画像情報Ｐ中の特定の位置（三つの目印に対応する位置）に１～３までの目印番号が入力されて表示された例を図９に示す。ここで目印番号は、目印ＩＤと同じであってもよいし、異なっていてもよい。例えば、目印番号としてはユーザが認識しやすいものを選び、目印ＩＤとしてはシステム上扱いやすいものを選ぶことも可能である。目印番号と目印ＩＤとを紐づけて記憶部６に記憶しておくこともできる。

ついで、ユーザ入力受付部２３は、目印ＩＤと、その目印ＩＤと関係するユーザ入力と、目印を含む第３のカメラ画像とを関連付けて、記憶部６に記憶させる。ここで関連付けは、例えば関連するデータに特定のフラグを付する、あるいは相互参照可能なリンクを設定するなどの適宜な方法で行うことができる。なお、目印番号の入力は、通常、目印認識又は目印ＩＤ設定の都度行われるが、複数の目印に対応する目印番号の入力をまとめて行う手順とすることもできる。

必要な数の目印について目印番号を入力した後、ユーザは、入力完了の指示を、ユーザ入力受付部２３を介してアプリ２に対して行う。

（図４のステップＳＡ－８）
ついで、報告書生成部２４は、注目画像（第３のカメラ画像）１３とユーザ入力とを対応して表示する報告書８（図１０参照）を生成する。この報告書８は、前記した１～３の目印番号に対応する（１）～（３）の番号と、ユーザが入力したテキスト情報８１ａ～８３ａと、注目画像（第３のカメラ画像）１３へのリンク８１ｂ～８３ｂとが対応して表示されている。このようにリンクを張ることも、この明細書では「画像を表示する」という意味で用いる。リンク８１ｂ～８３ｂをタップ等の適宜な手段で指定すると、注目画像１３を記憶部６あるいはサーバ２００から読みだしてディスプレイ３に表示することができる。

また、本実施形態の報告書８は、物件を特定するための物件情報（例えば住所や物件番号）８５と、現場の状況を示す画像情報（図９参照）へのリンク８６とを含んでいる。画像情報へのリンク８６をユーザが指定すると、記憶部６又はサーバ２００に格納された画像情報をディスプレイ３に表示することができる。

（図４のステップＳＡ－９～ＳＡ－１０）
ついで、本実施形態の報告書生成部２４は、報告書８そのもの、あるいは報告書８を生成するためのデータ一式を、適宜に生成された物件ＩＤに関連付けてサーバ２００に格納する。これにより報告書８の内容を複数のユーザで共有することができる。例えば報告書８を複数のユーザで閲覧し、必要の都度追記することもできる。報告書８としては、例えばＰＤＦファイルである。報告書８へのアクセス権限あるいは編集権限をユーザ別に設定しておくこともできる。このようにすると、例えば、ユーザの特性に合わせて、特定期間の閲覧のみ可能とするとか、編集を可能とするなど、細かい管理が可能になる。なお、報告書８をサーバ２００でなくユーザ端末１００の記憶部６に格納してもよい。

ついで、報告書生成部２４は、ユーザからの指示により、報告書８を適宜な形式で出力することができる。出力先は、例えばプリンタや他のユーザ端末であるが、これらには制約されない。出力形態（例えば紙であるかデータであるか）も特に制約されない。

（報告書に追加入力する場合の手順）
以下、生成した報告書８に追加入力する場合の手順を、図１１に基づいて説明する。

（図１１のステップＳＢ－１～ＳＢ－２）
まず、ユーザはアプリ２の追加記録入力部２５を、タップその他の入力に基づいて起動する。アプリ２は物件ＩＤの情報を入力するための入力窓を開き、ユーザからの入力を受け付ける。

（図１１のステップＳＢ－３～ＳＢ－４）
次いで追加記録入力部２５は、物件ＩＤから検索された報告書８をユーザ端末１００（あるいはサーバ２００）から読み出し、さらに、入力部４を介して、ユーザからの追加の入力を受け付ける。この場合の入力方式は前記のステップＳＡ－６と同様でよい。初期の入力と追加の入力とが異なるデータ形式（例えばテキストに代えて音声）であってもよい。より具体的には、ユーザは、当該報告書８における目印のいずれかを指定し、その目印に関連する追加情報を入力する。新たな目印に関する情報を追加してもよい。

（図１１のステップＳＢ－５～ＳＢ－７）
ついで、追加記録入力部２５は、追加情報の内容を記録するとともに、それに基づいて報告書８を更新し、サーバ２００（あるいはユーザ端末１００）に保存する。また、必要に応じて報告書８を前記と同様にして出力する。

以上の説明から理解できるように、本実施形態のシステムによれば、現場の状況に適切な目印を簡便に登録して使用することができる。

また、現場においてユーザ端末１００のカメラ１により目印を撮影すると、その目印に対応したユーザ入力が可能になるので、現場の管理情報入力を簡便かつ迅速に行うことができる。つまり、現場の管理情報入力に関する作業効率を向上させることができるという利点がある。

さらに、アプリ２により報告書８を自動的に作成できるので、その点においてもユーザの作業効率を向上させることができる。

なお、前記実施形態の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。

また、前記実施形態における各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

さらに、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

例えば、本実施形態では、アプリ２をユーザ端末１００に実装しているが、アプリ２をいわゆるＷｅｂアプリとしてサーバ側に実装して、ユーザ端末１００（あるいは他の端末）から操作できるようにしてもよい。

１ カメラ
２ アプリ（携帯端末用アプリ）
２１ 目印設定部
２２ 目印認識部
２３ ユーザ入力受付部
２４ 報告書生成部
２５ 追加記録入力部
３ ディスプレイ
４ 入力部
５ 通信部
６ 記憶部
７・７１・７２ 目印
８ 報告書
８１ａ～８３ａ テキスト情報
８１ｂ～８３ｂ リンク
８５ 物件番号
８６ リンク
１１ 目印登録用画像（第１のカメラ画像）
１２ 現場画像（第２のカメラ画像）
１３ 注目画像（第３のカメラ画像）
４０ 地盤
５０ 家屋
６０ 立木
１００ ユーザ端末
２００ サーバ
３００ インターネット
Ｓ 部分
Ｐ 画像情報

Claims (7)

1. 第１のカメラ画像に基づいて目印を設定する目印設定部と、
   現場で取得した第２のカメラ画像中の前記目印を認識し、前記目印に対応する目印ＩＤを設定する目印認識部と、
   前記目印認識部により前記目印が認識された後に、前記現場の状況に関するユーザ入力を受け付けるユーザ入力受付部と、
   前記目印ＩＤと、前記ユーザ入力と、前記目印を含む第３のカメラ画像とを関連付けて記憶する記憶部と、
   前記第３のカメラ画像と前記ユーザ入力とを対応して表示する報告書を生成する報告書生成部と
   を備える画像管理システム。
2. 前記第２のカメラ画像は、携帯端末で取得された動画であり、
   前記第３のカメラ画像は、前記目印認識部により前記目印が認識されたときに、前記携帯端末により取得された静止画である
   請求項１に記載の画像管理システム。
3. 前記ユーザ入力はテキスト情報又は音声情報である
   請求項１又は２に記載の画像管理システム。
4. 前記ユーザ入力受付部は、前記現場の状況を示す画像情報上における前記目印の位置の指定をユーザから受け付ける構成となっている
   請求項１又は２に記載の画像管理システム。
5. 前記目印設定部は、ユーザの指示に基づいて、既に登録済みの目印を前記目印として設定する構成となっている
   請求項１又は２に記載の画像管理システム。
6. 請求項１に記載の画像管理システムを用いて行われる画像管理方法であって、
   前記目印設定部が、 前記第１のカメラ画像に基づいて前記目印を設定するステップと、
   前記目印認識部が、現場で取得された 前記第２のカメラ画像中の前記目印を認識して、前記目印に対応する目印ＩＤを設定するステップと、
   前記ユーザ入力受付部が、前記目印認識部により 前記目印が認識された後に、前記現場の状況に関するユーザ入力を受け付けるステップと、
   前記記憶部が、 前記目印ＩＤと、前記ユーザ入力と、前記目印を含む第３のカメラ画像とを関連付けて記憶するステップと、
   前記報告書生成部が、 前記第３のカメラ画像と前記ユーザ入力とを対応して表示する報告書を生成するステップと
   を備える画像管理方法。
7. 請求項６に記載の各ステップを携帯端末に実行させるための携帯端末用アプリ。

Images