JP6048478B2 - プログラム、撮影装置を備える装置及び該装置における方法 - Google Patents

プログラム、撮影装置を備える装置及び該装置における方法 Download PDF

Info

Publication number
JP6048478B2
JP6048478B2 JP2014234861A JP2014234861A JP6048478B2 JP 6048478 B2 JP6048478 B2 JP 6048478B2 JP 2014234861 A JP2014234861 A JP 2014234861A JP 2014234861 A JP2014234861 A JP 2014234861A JP 6048478 B2 JP6048478 B2 JP 6048478B2
Authority
JP
Japan
Prior art keywords
image
data
input
blackboard
construction site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014234861A
Other languages
English (en)
Other versions
JP2015064894A (ja
Inventor
幸治 室
幸治 室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014234861A priority Critical patent/JP6048478B2/ja
Publication of JP2015064894A publication Critical patent/JP2015064894A/ja
Application granted granted Critical
Publication of JP6048478B2 publication Critical patent/JP6048478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、プログラム、撮影装置を備える装置及び該装置における方法に関する。
従来より、建築工事や土木工事といった工事現場において必要な管理作業の1つに、現場写真(証拠写真)の撮影作業がある。特に国(又は地方公共団体)等から発注される公共工事の場合、工事報告書の提出が求められており、工事報告書においては、その工事の内容詳細を報告するため、工事過程毎の現場写真が使用(添付)されるからである。また民間発注の工事の場合でも、通常、公共工事の場合と同様に工事報告書は作成されるため、殆どの工事の現場において、現場写真の撮影作業が行われていることになる。
具体的に、現場写真の撮影にあたって作業者(工事担当者)は、デジタルカメラを工事現場に持参するが、まず撮影現場とともに撮影される黒板を用意する必要がある。黒板には、撮影される撮影現場(撮影対象)の内容が分かるように、例えば「工事名」、「工事場所」、「施工者」等がチョークやペン等で記入される。またときに「測点」、「実測寸法」など、その場で測量された測量データも記入される。黒板の用意ができると、作業者のうちその1名が撮影現場(撮影対象)を背に、黒板を手に持って撮影準備を行う。作業者のうちもう1名がデジタルカメラを使用し、黒板を含む撮影現場を撮影する。
このようにして工事現場で撮影された現場写真は、デジタルカメラに保存のうえ、事務所やオフィスに持ち帰られ、工事報告書のための編集作業が行われる。例えば、現場写真をPCに取り込んだ後、作業者は現場写真内に写る黒板を見ながら現場写真の情報を確認し、現場写真を整理する。またときに工事報告書内にも黒板内の情報を入力しながら現場写真を添付し、工事報告書を作成する。
これに関する技術として、特許文献1には、土木工事等の工事結果を発注者に報告するための工事アルバム(工事報告書)を容易に作成できるようにする工事アルバム作成支援システムが記載されている。具体的に本工事アルバム作成支援システムにおいては、電子スチルカメラによって撮影した工事現場の写真画像をマイクロコンピュータによる装置本体に取り込んで画像ファイルを作成し、豆図のデータを記憶し、少なくとも現場写真エリアとテキストエリアと豆図エリアとを有する工事アルバム編集画面の各種レイアウトを選択して工事アルバム編集画面を表示し、工事現場の各測点ごとに、現場写真エリアに画像ファイルの写真画像を選択して張り付け、豆図エリアに工種に対応する豆図を選択して張り付け、テキストエリアにその測点に関するデータを入力して、工事アルバムを編集する。
ここで、工事は大抵の場合、基礎工事、本体工事などという複数の工事過程を経て遂行されるが、本体工事の後は、基礎工事部分は見えなくなってしまうので、基礎工事の段階でも現場写真を撮影する必要がある。また基礎工事、本体工事内での各過程でも、段階に応じて現場写真を撮影する必要があるため、例えば比較的大きなビル建築の場合、撮影される現場写真は数千枚以上に達する場合もある。
そのため、従来の現場写真の撮影作業は、欠くことのできない作業である一方、非常に多大な労力を要する作業であり、具体的には例えば以下のような非効率性や問題があった。
・1名が黒板を持ってもう1名が撮影を行うので、2人1組で作業が必要である。
・黒板を置くことにより、1名で作業を行うとしても、黒板を置ける場所は限定され、またこの場合、写真構成上、黒板の位置が写真下方のみに限定される。
・工事現場によっては黒板を持って立つこと自体、危険が伴う場所もある。
・黒板へはチョークやペン等で手書き記入する作業自体、手間がかかる。
・また手書きに起因して、手書き文字が乱雑字やクセ字であると、黒板上の文字の認識が困難である。
・また気象状況に影響され、雨等によっても、黒板上の文字認識が困難となる。
・現場写真を撮影する以上、デジタルカメラは必要であるとしても、黒板は持ち歩き、保存場所等のその携帯性に苦労する。
・現場写真はデジタルカメラに保存され後に編集されるが、黒板内の情報は画像であるので、その情報を使用しにくい。例えば作業者は現場写真内に写る黒板を見ながら現場写真の情報を工事報告書内やその他システムへ入力・転記する必要がある。また転記時、ミスも起きやすい。
本発明では上記のような点に鑑みて、工事現場において現場写真の撮影業務を行うとき、その業務の効率化を図るとともに、撮影された現場写真の視認性及び編集性を向上させるプログラム、撮影装置を備える装置及び該装置における方法を提供することを目的とする。
上記の目的を達成するために、本発明に係るプログラムは、撮影装置を備えるデバイスを、写真画像を撮影する撮影手段、工事現場に関する所定の記入項目が設けられた仮想表示板画像を記憶装置に記憶させる第1記憶手段、ユーザの入力操作に応じて、前記記入項目に対し、前記工事現場に関するデータを入力する入力手段、前記入力手段により前記記入項目に対して前記工事現場に関するデータが入力された仮想表示板画像を前記記憶装置に記憶させる第2記憶手段、前記撮影手段により撮影された写真画像の上に、前記工事現場に関するデータが入力された仮想表示板画像を重畳して配置した仮想表示板付き写真画像を作成する画像編集手段、前記写真画像と前記工事現場に関するデータが入力された仮想表示板画像とが一体合成された前記仮想表示板付き写真画像と、当該写真画像に関する情報を記録するメタデータと、を含んで構成される出力データであって、当該工事現場に関するデータが入力された仮想表示板画像の前記記入項目に対して前記入力手段により入力された前記工事現場に関するデータを当該メタデータのメーカー独自領域に追加した前記出力データを作成する作成手段、前記出力データを出力する出力手段、として機能させる。
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。
本発明によれば、工事現場において現場写真の撮影業務を行うとき、その業務の効率化を図るとともに、撮影された現場写真の視認性及び編集性を向上させるプログラム、撮影装置を備える装置及び該装置における方法を提供することができる。
本実施形態に係る全体構成図を示す。 本実施形態に係るスマートデバイス1の主要構成を示すハードウェア構成図である。 本実施形態に係るスマートデバイス1の機能ブロック図の一例を示す。 本実施形態に係るTOP画面A例を示す。 本実施形態に係る操作画面遷移例を示す。 本実施形態に係る画面B1例を示す。 本実施形態に係る画面B2−1例を示す。 本実施形態に係る画面B3例を示す。 本実施形態に係る画面B2−2例を示す。 本実施形態に係る画面B3変形例を示す。 本実施形態に係る画面B4例を示す。 本実施形態に係る仮想黒板の配置位置及びサイズ変更操作例を示す。 本実施形態に係る画面D1例(その1)を示す。 本実施形態に係る画面E1例を示す。 本実施形態に係る各設定パラメータの初期値の選択リスト例を示す。 本実施形態に係るお気に入りの仮想黒板と仮想黒板付き写真の保存方法を説明する図である。 本実施形態に係るお気に入り保存用管理情報例を示す。 本実施形態に係るお気に入り仮想黒板画像例を示す。 本実施形態に係る仮想黒板付き写真保存用管理情報例を示す。 本実施形態に係る画面D1例(その2)を示す。 本実施形態に係る画面D1例(その3)を示す。 本実施形態に係る画面D1例(その4)を示す。 本実施形態に係る出力JPEG画像を示す。 従来例に係るEXIF(登録商標)データ例を示す。 本実施形態に係る出力JPEG画像のEXIFデータ例を示す。 本実施形態に係るJPEG画像出力のフローチャートを示す。 本実施形態に係るJPEG画像出力の説明図を示す。 本実施形態に係る写真画像検索に伴う表示例を示す。
本発明を実施するための形態について図面を参照して説明する。ところで近年、携帯電話やPDAなどの携帯情報端末が広く普及し、その携帯情報端末を操作して、メール、インターネット等が容易に行えるようになった。またさらに、最近ではそのような旧来型の携帯情報端末をさらに進化させたスマートデバイスと称されるものも普及し、猛烈な速さでそのシェアを拡大しつつある。このスマートデバイスは、例えばスマートフォン、タブレット端末などに代表される。
スマートデバイスの代表的な特徴は、その処理性能の向上に加え、何より画面上からタッチ操作だけで端末操作を行える点にある。旧来型の携帯情報端末では、備え付けのハードウェアキー操作により、端末操作を行っていたが、スマートデバイスの中には全くハードウェアキーを備えない機種も存在し、画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。本発明ではこのようなスマートデバイスの操作性上の特徴に着目し、工事現場において、スマートデバイスを用いた現場写真の撮影業務を行うものである。以下詳しく説明する。
[システム構成]
(全体構成)
図1は、本実施形態に係る全体構成図を示す。本実施形態に係るスマートデバイス1は、工事現場で現場写真の撮影作業に使用する装置である。具体的にスマートフォン、タブレット端末などにより実現されうる。工事現場において作業者は、スマートデバイス1に付属されるカメラを使用し、被写体である撮影現場(撮影対象)の撮影を行う。上述の如く、撮影された現場写真内には各種情報が記入された黒板が写っている必要があるが、本実施形態においては上述のような黒板(黒板現物)は使用せず、スマートデバイス1のカメラによって撮影された撮影現場の写真に対し、アプリケーションが仮想的な電子黒板(以下、仮想黒板と呼ぶ)を挿入することにより、現場写真を構成するようにする(詳細後述)。
なお、黒板とは、一般に文字や図などの情報を書くための黒又は緑の塗料を塗った板をいうが、本実施形態で黒板という場合、黒又は緑色の板のみならず、白板(ホワイトボード)なども含む概念として扱う。要するに、文字や図などの情報を表示するための表示板でよい。
測量器・測定器2、工事資料3は、スマートデバイス1に対し工事現場のまさにその場で情報を提供するものである。仮想黒板に「測点」、「実測寸法」など、その場で測量された測量データを記入する場合、作業者は測量器・測定器2で測量データを測量・測定し、測量器・測定器2からスマートデバイス1に対し、例えばBlueTooth(登録商標)といったデータ通信を介して測量データを送信する。また仮想黒板に「工事名」、「工事場所」、「施工者」など、一般的な工事情報を記入する場合、作業者はスマートデバイス1のカメラによって工事資料3を撮影し、同画像から工事情報をテキスト化し入力したり、例えばバーコードやQRコード(登録商標)といった各種コード情報を介して工事情報を入力する。これら工事情報は仮想黒板内に反映される。
サーバ4は、事務所やオフィスもしくはデータセンター等に設置され、工事情報管理に用いられる管理サーバである。スマートデバイス1に対し、例えば無線LAN(WiFi等)、電話網/IP網回線(3G等)といったデータ通信を介して工事情報を入力したり、また逆にスマートデバイス1からサーバ4に対し、同データ通信を介して撮影された現場写真のアップロードを行う。なお、工事現場が例えば山奥に位置するなど周辺の通信事情がよくない場合には、スマートデバイス1はサーバ4と通信を行うことはできないので、この場合、工事現場入りに先駆けて予め工事情報を入力しておいたり、後日スマートデバイス1に保存されている現場写真のアップロードを行う。
PC5は、工事報告書を作成する端末である。工事報告書を作成するにあたり、作業者は、サーバ4から工事情報や既にアップロードされている現場写真を取得する。またもしくはデジタルカメラからUSBや記録媒体を介し現場写真を取得する。
MFP/LP6は、複合機やレーザープリンタであり、撮影された現場写真そのものや、PC5で作成された工事報告書を印刷、出力する。スマートデバイス1からMFP/LP6に対し、データ通信、USBや記録媒体等を介し現場写真を移行し蓄積することもできる。
クラウドストレージ7は、例えば、インターネットなどのネットワーク上に設置され、現場写真をストレージ(蓄積)する記憶装置である。例えば、スマートデバイス1は、クラウドストレージ7に対し、無線LAN(WiFi等)、電話網/IP網回線(3G等)といったデータ通信を介して撮影された現場写真のアップロードを行う。スマートデバイス1が撮影した現場写真を蓄積する記憶領域には容量に限りがあるため、代替の記憶領域としてクラウドストレージ7を利用できる。
また、クラウドストレージ7にストレージされた現場写真は、その後、様々な形態で活用できる。例えば、PC5が工事報告書を作成するにあたり、クラウドストレージ7から工事情報や既にアップロードされている現場写真を取得する。また、クラウドプリンティングのようなプリントサービスと連携すれば、クラウドストレージ7にストレージされた現場写真を任意に選択のうえ、プリントすることも可能である。これまでは一旦PC5で現場写真を整理してプリントを行っていたところ、ダイレクトにスマートデバイス1からプリントを行えるという利点がある。
(ハードウェア)
ここで、本実施形態に係るスマートデバイス1のハードウェア構成について説明しておく。図2は、本実施形態に係るスマートデバイス1の主要構成を示すハードウェア構成図である。スマートデバイス1は、主要な構成として、CPU11、記憶装置12、表示装置13、入力装置14、通信装置15、外部インタフェース装置16、撮影装置17、及びGPS18を含む構成である。
CPU11は、マイクロプロセッサ及びその周辺回路から構成され、装置全体を制御する回路である。スマートデバイス向けOS(Operating System)や各種アプリケーションプログラム等に基づいた処理を実行する。
記憶装置12は、スマートデバイス向けOSや各種アプリケーション、その他各種データを格納するメモリである。記憶装置12は、CPU11が各種プログラムを実行して各種の制御を行うときの作業エリア(ワーク領域)として使用するRAM、所定の制御プログラム等を記憶した不揮発性のROM、比較的大容量のデータを記憶したHDD等を含む。本実施形態においては、スマートデバイス用アプリケーション・プログラム(例えば「工事現場黒板アプリ」)をここへ予めインストールしておくものとする。
表示装置13は、各種データを表示画面に表示するディスプレイである。また入力装置14は、ユーザが各種入力操作を行うための装置である。本実施形態に係るスマートデバイス1の入力装置14は、ハードウェアキーの他、表示装置13の表示画面上に重畳するように設けられたタッチパネルスイッチを含む。この場合、OSの入力系プログラムによるタッチパネルスイッチ制御により、ソフトウェアキーが実現される。即ち画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。
通信装置15は、他の機器との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。本実施形態に係るスマートデバイスでは、具体的に例えば無線LAN(WiFi等)、電話網/IP網回線(3G等)、Bluetooth(登録商標)、赤外線通信等々をサポートする。
外部インタフェース装置16は、外部からの記録媒体を接続し、端末内に記録媒体内のデータの入出力を行うインタフェースである。例えばUSBメモリ、SDカード等のメモリカードをセットすることで外部からの情報を取得したり、出力できる。
撮影装置17は、スマートデバイス1に備えられているデジタル・カメラである。撮像レンズを備え、撮像された撮像画像(写真画像)を画像データ(写真データ)としてスマートデバイス1内に取り込む。なお撮影装置17から工事資料3のバーコードやQRコード(登録商標)などの各種コード情報を撮像すると、所定のアプリケーションを介し、コード内のテキストデータ等を読み取ることも可能である。
GPS18は、グローバル・ポジショニング・システム(Global Positioning System)から、地球上の現在位置情報を受信するGPS受信機である。即ちGPS18は、GPS衛星から現在位置情報(位置座標)を取得する。
(機能)
次に、本実施形態に係るスマートデバイス1の主要機能構成について説明する。図3は、本実施形態に係るスマートデバイス1の機能ブロック図の一例を示す。スマートデバイス1は、図に示されるように、記憶部101、タッチパネル102、撮影部103、通信部104、入力部105、画像編集部106、画像再現部107、画像出力部108を含み構成される。
記憶部101は、例えば記憶装置12により実現され、所定の記入項目(未記入)が設けられた仮想黒板画像を予め記憶する。また、写真画像(例えば現場写真)上に対し、仮想黒板画像が配置された仮想黒板付き写真画像(例えば仮想黒板付き現場写真)が作成されると、これを保存する。このとき記憶部101は、その保存の方法として、撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、写真画像上の仮想黒板画像の位置情報と、写真画像上の仮想黒板画像のサイズ情報と、仮想黒板画像の所定記入項目に入力されたデータとを対応付けて、それぞれ保存するが、この点詳細は後述する。
タッチパネル102は、例えば入力装置14により実現される操作部102aと表示装置13により実現される表示部102bとを含むタッチパネル式ディスプレイである。このように本実施形態に係るスマートデバイス1は、このタッチパネル式ディスプレイを備えるため、画面上からのタッチ操作、ソフトウェアキー操作だけで、一切の端末操作を行うことが可能となっている。
撮影部103は、例えば撮影装置17により実現され、スマートデバイス1に備えられているデジタル・カメラである。撮像された撮像画像(写真画像)を画像データ(写真データ)としてスマートデバイス1内に取り込む。なおまた撮影部103から工事資料3のバーコードやQRコード(登録商標)などの各種コード情報を撮像すると、所定のアプリケーションを介し、コード内のテキストデータ等を読み取ることも可能である。
通信部104は、例えば通信装置15により実現され、他の機器との通信を行う。本実施形態に係るスマートデバイスでは、具体的に例えば無線LAN(WiFi等)、電話網/IP網回線(3G等)、Bluetooth(登録商標)、赤外線通信等々をサポートし、測量器・測定器2、サーバ4、PC5、MFP/LP6等の各種装置との通信を行う。
入力部105は、記憶部101に保存されている仮想黒板画像の所定記入項目(未記入)に対し、工事現場に関するデータを入力する。これにより未記入であった仮想黒板画像に対し、工事に関する所定のデータが入力される。なお、ここで入力されるデータは、仮想黒板画像に設けられている記入項目に従うが、具体的に例えば、測量器・測定器2により測量された測量データ(「測点」、「実測寸法」等々)や、サーバ4又は各種コード情報等でも管理される一般的な工事情報(「工事名」、「工事場所」、「施工者」等々)である。なおまた、データの入力方法としては、ユーザによるタッチパネル102からのソフトウェアキー入力により入力されたり、通信部104を介して入力されうる。
画像編集部106は、撮影部103により撮影された写真画像の上に、入力部105によりデータが入力された仮想黒板画像を重畳して配置する。これにより、仮想黒板付き写真画像(例えば仮想黒板付き現場写真)が完成する。完成した仮想黒板付き写真画像は上述の如く、記憶部101に保存される。
画像再現部107は、記憶部101に記憶された仮想黒板付き写真画像を再現し、表示装置上に表示させる。画像再現部107は、その仮想黒板付き写真画像を再現するとき、該写真画像に対応付けられている仮想黒板画像を記憶部101から取得し、該仮想黒板画像の所定記入項目に対し対応するデータを入力し、対応する位置情報に基づいて、対応するサイズ情報により特定されるサイズの該仮想黒板画像を、該写真画像上に重畳して配置することにより再現するが、この点詳細は後述する。
画像出力部108は、記憶部101に記憶され、再現された仮想黒板付き写真画像を対照として、同仮想黒板付き写真画像をJPEG形式のJPEG画像として出力する。より具体的に、データが入力された仮想黒板を写真画像上に重畳させることにより、仮想黒板と写真画像が一体合成された仮想黒板付き写真画像のJPEGファイルを生成し出力する。
以上これらの機能は、実際にはスマートデバイス1のCPU11が実行するスマートデバイス向けOS及びスマートデバイス用アプリケーション・プログラム(例えば「工事現場黒板アプリ」)によりコンピュータに実現させるものである。
[スマートデバイス1の操作画面遷移例]
図4は、本実施形態に係るTOP画面A例を示す。TOP画面Aは、ユーザがまずスマートデバイス用アプリケーション・プログラム(例えば「工事現場黒板アプリ」)を起動すると、その表示画面においてまず表示される画面である。TOP画面Aには、図に示されるように「お気に入り」、「黒板選択」、「撮影」、「写真保管庫」、「各種設定」等の操作ボタンが設けられている。
図5は、本実施形態に係る操作画面遷移例を示す。ユーザはまずスマートデバイス用アプリケーション・プログラムを起動し、TOP画面Aにおいて、各操作ボタンを操作すると、以下の通り画面が遷移する。
「お気に入り」:画面C1−2へ
「黒板選択」:画面C1−1へ
「撮影」:画面B1へ
「写真保管庫」:画面D1へ
「各種設定」:画面E1へ
B操作は、現場写真の作成を行う操作である。B操作では、現場写真の撮影、仮想黒板の選択、管理項目入力、仮想黒板の配置というステップを経て、最終的に仮想黒板付き写真画像が作成される。
C操作は、B操作とその操作順序は異なるものの、B操作と同様に現場写真の作成を行う操作である。C操作では、先に仮想黒板の選択、管理項目入力のうえ、現場写真の撮影、仮想黒板の配置というステップを経て、最終的に仮想黒板付き写真画像が作成される。
D操作は、仮想黒板付き写真の参照等を行う操作である。B操作又はC操作により作成された仮想黒板付き写真は保存されるので、D操作により既に作成された仮想黒板付き写真の参照したり、任意の写真を選択のうえ、サーバ4、PC5、MFP/LP6、又は記録媒体等に対し出力することができる。
E操作は、各種設定を行う操作である。E操作では、例えば仮想黒板の初期カラー、初期位置、初期サイズ等々の設定を行うことができる。
以下、図5を参照しながら、各操作について詳しく説明する。
(B操作例)
まずここでは、B操作について説明するので、TOP画面Aにおいて、操作ボタン「撮影」が操作(例えばタッチ)されたものとし、このとき画面は画面B1へ遷移する。
図6は、本実施形態に係る画面B1例を示す。図に示されるように、画面B1においては、スマートデバイス1内蔵のカメラアプリが立ち上がり、撮影モードに移行する。スマートデバイス1の画面には、撮影部103を通じて写る工事現場(図ではビル敷地内の筒型ベンチの例)が写し出されるので、ユーザが撮影操作を行うことにより同写真が撮影される。
図7は、本実施形態に係る画面B2−1例を示す。画面B1において写真が撮影されると、画面は画面B2−1へ遷移する。画面B2−1において、図に示されるように、複数のパターンの仮想黒板のテンプレート(雛形)が予めプレインストールされて提供されており、ユーザはこの中から使用する仮想黒板をタッチ選択する。
図8は、本実施形態に係る画面B3例を示す。(a)は、ユーザにより選択された仮想黒板である。また図に示されるように仮想黒板には、所定の記入項目(未記入)が設けられており、ここに撮影された写真に関する管理情報がそれぞれ入力部105により入力される。なお、仮想黒板中の記入項目のうち「位置」には、GPS18より自動で取得された現在地の位置情報(位置座標)が既に入力される。またこの位置情報に基づいて、ここに具体的な住所が自動入力されるようにすることも可能である。
そして(b)に示されるように、仮想黒板中の未記入項目のうち「工事名」を入力すべく、「工事名」の空欄上がタッチされると、ソフトウェアキーが立ち上がるので、ユーザはこのソフトウェアキーを使用して具体的な工事名を入力する。ここでは例えば「○○ビル改修工事」と入力する。また同様の要領で、ユーザはソフトウェアキーを使用して具体的な工種を入力する。ここでは例えば「建築一式(建築)」と入力する。
なお、仮想黒板中、「位置」の下方にあるフリースペースには、必要に応じて、例えば豆図といわれる工事図面を添付したり、その他工事に関する任意の工事情報等を入力することが可能である。
以上の入力が終了すると、(c)に示されるように、仮想黒板は全ての記入項目が入力された状態になる。ユーザは全ての入力を終えると、画面(c)中、操作ボタン「黒板貼付」をタッチする。
なお、ここで画面(c)中、操作ボタン「黒板登録」をタッチしておくと、この記入項目が全て入力済みの仮想黒板が別途お気に入りの仮想黒板として保存される(画面B2−2、C1−2)。
図9は、本実施形態に係る画面B2−2例を示す。ここには、お気に入りの仮想黒板として「黒板登録」された仮想黒板が表示されている。未記入の仮想黒板に対し、一度記入項目を入力した状態のものが保存されるので、この仮想黒板を再利用することにより入力作業の効率化を図れる。例えば同一工事現場内で複数の現場写真を撮影する場合、この仮想黒板を再利用すれば、同一情報の入力を省略することが可能である。
ここで再び図5を参照する。例えば画面B2−1に代えて、画面B2−2を経由し、ここでお気に入りの中から1の仮想黒板を選択する。この場合、次の画面B3では、記入項目が全て入力済みであるお気に入りの仮想黒板が呼び出されて表示されるので(例えば図8の(c)参照)、ここでユーザは何ら入力作業を要することなく、画面(c)中、操作ボタン「黒板貼付」をタッチすればよい。
図10は、本実施形態に係る画面B3変形例を示す。(a)は、ユーザにより選択された仮想黒板である。図8(a)と同様、仮想黒板中の記入項目のうち「位置」には、GPS18より自動で取得された現在地の位置情報(位置座標)が既に入力される。また本変形例では、「工事名」についても既に入力されている。本実施形態に係るスマートデバイス1では上述の如く、通信部104を介し、測量器・測定器2により測量された測量データ(「測点」、「実測寸法」等々)や、サーバ4又は各種コード情報等でも管理される一般的な工事情報(「工事名」、「工事場所」、「施工者」等々)を入力することが可能となっている。従って、仮想黒板の記入項目のうちこの「工事名」には、外部から入力されている工事情報に基づき、その入力値が入力部105により自動入力されたものとなっている。
続いて(b)に示されるように、仮想黒板中の未記入項目のうち「工種」を入力すべく、ユーザにより「工種」の空欄上がタッチされると、選択リストが表示される。「工種」の場合、定型の入力値が入力されるため、選択リストには、取りうる入力値の情報が複数予め保持されている。従ってユーザは選択リストの中から該当する1の「工種」を選択することにより入力値を容易に入力できる。なお、工事情報により1の「工種」が決定され入力されていれば、選択リストを経由することなく、上述の「工事名」と同様、「工種」にも、外部から入力されている工事情報に基づき、その入力値が自動入力される。
以上、本変形例において入力が終了すると、(c)に示されるように、仮想黒板は全ての記入項目が入力された状態になる。そしてユーザは全ての入力を終えると、画面(c)中、操作ボタン「黒板貼付」をタッチする。
図11は、本実施形態に係る画面B4例を示す。画面B4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が画像編集部106により配置される。ここでは、図6のB1で撮影された写真上に対し、図8(c)又は図10(c)で記入項目が入力された仮想黒板が配置されていることが分かる。この写真画像が、仮想黒板付き写真画像(現場写真)である。
ここで、ユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができる。仮想黒板の配置位置やサイズの初期値は初期設定に従うが、撮影した写真によっては初期値のままであると、仮想黒板の存在により、工事現場の画像が見えなくなっている場合がある。そこで、ユーザは画面B4を確認のうえ、仮想黒板の初期配置位置、初期サイズに不都合ある場合、仮想黒板の配置位置やサイズを変更する。
図12は、本実施形態に係る仮想黒板の配置位置及びサイズ変更操作例を示す。(a)は、仮想黒板の配置位置の変更操作を示す。図に示されるように、ユーザはタッチパネル102上で仮想黒板を指でなぞるように操作することにより、容易に仮想黒板の位置を変更させることができる。また(b)は、仮想黒板のサイズの変更操作を示す。図に示されるように、ユーザはタッチパネル102上で仮想黒板を指で縮小(又は拡大)するように操作することにより、容易に仮想黒板のサイズを変更させることができる。また仮想黒板の配置位置及びサイズを同時に変更操作できることは言うまでもない。
以上、ユーザは仮想黒板付き写真画像の確認を終えると、図11の画面中、操作ボタン「保存」をタッチすることにより、同写真画像を保存する。なお、ここで保存された仮想黒板付き写真は、アプリケーション上、後述の「写真保管庫」(画面D1)に保存される。
(C操作例)
C操作は、B操作とその操作順序は異なるものの、B操作と同様に現場写真の作成を行う操作である。C操作では、先に仮想黒板の選択、管理項目入力のうえ、現場写真の撮影、仮想黒板の配置というステップを経て、最終的に仮想黒板付き写真画像が作成される。以下簡単に説明する。
再び図4を参照する。C操作の場合、TOP画面Aにおいて、操作ボタン「黒板選択」又は「お気に入り」が操作(例えばタッチ)される。
「黒板選択」が操作されると、画面は画面C1−1へ遷移する。画面C1−1は、図7と同様、複数のパターンの仮想黒板のテンプレート(雛形)が予めプレインストールされて提供されている(図7参照)。ユーザはこの中から使用する仮想黒板をタッチ選択する。
そして画面C2において、図8、10と同様、選択された仮想黒板には、所定の記入項目(未記入)が設けられており、ユーザは仮想黒板中の未記入項目に対し、ソフトウェアキーを使用して具体的な入力値を入力する(図8参照)。またもしくは上述したように、本実施形態に係るスマートデバイス1では上述の如く、通信部104を介し、測量器・測定器2により測量された測量データや、サーバ4又は各種コード情報等でも管理される一般的な工事情報を入力することが可能となっているので、この場合、このような仮想黒板の記入項目には、外部から入力されている工事情報に基づき、その入力値が自動入力される(図10参照)。
一方、TOP画面Aにおいて、操作ボタン「お気に入り」が操作された場合、画面C1−2に遷移する。図9と同様、お気に入りの仮想黒板として「黒板登録」された仮想黒板が表示されている(図9参照)。既に記入項目が入力済みの仮想黒板が保存(登録)されている場合には、お気に入りの中から1の仮想黒板を選択できる。この場合、次の画面C2では記入項目が全て入力済みの仮想黒板が呼び出されて表示されるので、ここでユーザは何ら入力作業を要しないことは上述したとおりである。
次いで、画面C3へ遷移する。画面C3において、図6と同様、スマートデバイス1内蔵のカメラアプリが立ち上がり、撮影モードに移行する。スマートデバイス1の画面には、撮影部103を通じて写る工事現場(図ではビル敷地内の筒型ベンチの例)が写し出されるので、ユーザが撮影操作を行うことにより同写真が撮影される(図6参照)。
次いで、画面C4へ遷移する。画面C4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が配置される(図11参照)。またここで、ユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができることは上述したとおりである。
以上、ユーザは仮想黒板付き写真画像の確認を終えると、画面中、操作ボタン「保存」をタッチすることにより、同写真画像を保存する。なお、ここで保存された仮想黒板付き写真は、アプリケーション上、「写真保管庫」(画面D1)に保存される。
(D操作例)
D操作は、仮想黒板付き写真の参照等を行う操作である。B操作又はC操作により作成された仮想黒板付き写真画像は保存されているので、ユーザはここから既に作成された仮想黒板付き写真を参照したり、任意の写真を選択のうえ、サーバ4、PC5、MFP/LP6、又は記録媒体等に対し出力することができる。
図13は、本実施形態に係る画面D1例(その1)を示す。TOP画面Aにおいて、操作ボタン「写真保管庫」が操作されると、当画面へ遷移する。図に示されるように、画面D1の「写真保管庫」において、これまでB操作又はC操作により作成された仮想黒板付き写真が一覧表示される。各写真はサムネイル形式で縮小されて表示されるので、例えばユーザが所望の写真をタッチすると、その写真が画面上に拡大表示される。また操作ボタン「スライドショー」をタッチすると、「写真保管庫」内の写真が順次スライド式に表示される。
なおまた、「写真保管庫」においては、1又は複数の任意の写真を選択のうえ、サーバ4、PC5、MFP/LP6、又は記録媒体等に対し出力することができる。ユーザは、この「写真保管庫」内の仮想黒板付き写真画像(現場写真画像)をPC5に最終的に取り込み、その仮想黒板付き写真画像を使用して工事報告書を作成することになる。
(E操作例)
E操作は、各種設定を行う操作である。E操作では、仮想黒板に関する各設定パラメータの初期値の設定を行うことができる。
図14は、本実施形態に係る画面E1例を示す。画面E1では図に示されるように、例えば「黒板のカラー」、「黒板の位置」、「黒板のサイズ」、「黒板の形状」の初期値の設定を行うことができる。ユーザが初期値の設定変更を行う場合、該当の設定値欄がタッチされると、それぞれ対応する選択リストが表示される。
図15は、本実施形態に係る各設定パラメータの初期値の選択リスト例を示す。(a)は「黒板のカラー」の選択リスト、(b)は「黒板の位置」の選択リスト、(c)は「黒板の形状」の選択リスト、(d)は「黒板のサイズ」の選択リストの選択リスト例である。ユーザは選択リストから所望(任意)の初期値を選択し設定する。
再び図11を参照する。画面B4においては、撮影した写真の上に重畳して記入項目が入力済みの仮想黒板が配置されるが、ここでデフォルト(標準)として配置される仮想黒板のカラー、位置、サイズ、形状は、画面E1において設定された初期値に従う。このように、ユーザは仮想黒板に関する各設定パラメータに対し、画面E1で予め所望の初期値を設定しておくことにより、仮想黒板付き現場写真を作成するにあたって、最も使い勝手のよい仮想黒板を初期状態として配置できる。
勿論、画面E1において設定された初期値は、あくまで初期状態として配置される仮想黒板の状態を設定するものであって、上述の如くユーザはタッチパネルからの操作により、仮想黒板の配置位置やサイズを変更することができる。つまり仮想黒板の配置位置やサイズの初期値は初期設定に従うが、仮想黒板の初期配置位置、初期サイズ等に不都合ある場合、仮想黒板の配置位置やサイズを任意に変更できる。
[お気に入りの仮想黒板と仮想黒板付き写真の保存方法]
図16は、本実施形態に係るお気に入りの仮想黒板と仮想黒板付き写真の保存方法を説明する図である。既に述べたように、本実施形態において使用される仮想黒板は、複数のパターンの仮想黒板のテンプレート(雛形)としてプレインストールされて提供されており、従って記憶部101には、所定の記入項目(未記入)が設けられた仮想黒板画像が予め記憶されている。また、撮影部103により写真画像が撮影されると、撮像された写真画像は画像データとして記憶部101に保存される。
(お気に入りの仮想黒板)
まず、お気に入りの仮想黒板の保存方法について説明する。上述したように、本実施形態に係るスマートデバイス1では、記入項目が入力済みの仮想黒板を別途お気に入りの仮想黒板として保存できる。従ってアプリケーション上において、お気に入りから保存されている仮想黒板を呼び出して再利用することで、次回以降同一情報の入力を省略することが可能となっている(図9参照)。
図17は、本実施形態に係るお気に入り保存用管理情報例を示す。お気に入り保存用管理情報は、記入項目が入力済みの仮想黒板を保存し、画像として再構成(再現)するための情報である。上述の如く、記入項目が入力済みの仮想黒板が別途お気に入りの仮想黒板として保存されると、お気に入り仮想黒板を保存管理するための「お気に入り保存用管理情報」が生成される。図17の場合、3つの仮想黒板がお気に入りとして登録されるお気に入り保存用管理情報を示している。
例えば、「お気に入りNo」:Template01−1は、記憶部101に記憶された所定の記入項目(未記入)の仮想黒板画像である「Template01.jpg」に対する入力データが保持されている。つまり、「お気に入りNo」:Template01−1は、仮想黒板画像テンプレート「Template01.jpg」に対し、「工事件名」:駅前広場改修工事、「工事場所」:○○駅前、「施工者」:田中建設(株)を記入項目内の入力値とすることにより、再現される仮想黒板画像である。
図18は、本実施形態に係るお気に入り仮想黒板画像例を示す。図に示すお気に入り仮想黒板画像(一覧)は、3つの仮想黒板がお気に入りとして登録されている図17の保存用管理情報に対応するものである。例えば、上述の「お気に入りNo」:Template01−1の場合、記憶部101から仮想黒板画像テンプレート「Template01.jpg」が取得され、この仮想黒板画像内の記入項目に対し、「工事件名」:駅前広場改修工事、「工事場所」:○○駅前、「施工者」:田中建設(株)の入力値が入力されることにより、再現された仮想黒板画像である。
このように本実施形態に係るスマートデバイス1では、記入項目が入力済みの仮想黒板を別途お気に入りの仮想黒板として保存する際、記入項目が入力済みの仮想黒板「画像」そのものとして保存せずに、お気に入り保存用管理情報というテキスト形式の情報で保存する。つまり、仮想黒板画像テンプレートと、入力データとをそれぞれ別に保存しつつも、それぞれを対応付けて保存しておく。そして上述の如く、記憶部101に予め記憶されている仮想黒板画像テンプレートとお気に入り保存用管理情報とを使用して、お気に入りの仮想黒板画像を再現することにより、スマートデバイス1の必ずしも大きいとは言えない記憶容量の節約を行うとともに、お気に入りの仮想黒板の編集性を向上させることができる。
(仮想黒板付き写真画像)
次に仮想黒板付き写真の保存方法について説明する。上述したように、アプリケーション上において、仮想黒板付き写真は、「写真保管庫」に保存される。D操作、つまりTOP画面Aにおいて操作ボタン「写真保管庫」が操作されると、「写真保管庫」(図14参照)へ遷移し、ユーザは既に作成された仮想黒板付き写真画像を参照することが可能である。
一方、スマートデバイス1においては、実際の仮想黒板付き写真は、記憶部101により保存されるが、その保存の方法として、撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、写真画像上の仮想黒板画像の位置情報と、写真画像上の仮想黒板画像のサイズ情報と、仮想黒板画像の所定記入項目に入力されたデータとを対応付けて、それぞれ保存される。
上述の如く、撮影部103により写真画像が撮影されると、撮像された写真画像は画像データとして記憶部101に保存される。そして撮像された写真画像上に仮想黒板画像が配置され、「写真保管庫」(図14参照)へ保存されると、仮想黒板付き写真画像を保存管理するための「仮想黒板付き写真保存用管理情報」が生成される。
図19は、本実施形態に係る仮想黒板付き写真保存用管理情報例を示す。「仮想黒板付き写真保存用管理情報」は、仮想黒板付き写真を保存し、画像として再構成(再現)するための情報である。(0)に示されるように、写真画像の保存管理上の固有識別子である「写真画像No」と、基礎となる写真画像を特定するための「写真画像」(ファイル名)と、使用する黒板画像テンプレートを特定するための「黒板画像」(ファイル名)と、黒板画像に関する各初期値である「黒板画像の設定パラメータ」とが対応付けられて管理される。また(1)、(2)、(3)等に示されるように、「写真画像No」と、各黒板画像に対する入力データ(入力値)とが対応付けられて管理される。
ここで、例えば(0)を参照し、スマートデバイス1(画像再現部107)が1行目の「写真画像No」:001として保存されている仮想黒板付き写真画像を再構築(再現)する場合の例を取り上げる。まず「写真画像」:001.jpgのファイルデータを取得する。また使用する黒板画像テンプレートは「黒板画像」:Template02.jpgであるので、Template02.jpgのファイルデータを取得する。
次に、使用する黒板画像テンプレートである「黒板画像」:Template02.jpg上の所定の記入項目に入力された各入力値を得るため、(2)を参照する。「写真画像No」:001に対応付けられているのは、「工事名」:○○ビル改修工事、「工種」:建築一式(建築)、「位置」:(36.140)、フリースペース:なしであるので、これら各入力値を取得する。
なお、仮に「黒板画像」がTemplate01.jpgであれば、「Template01.jpg上の所定の記入項目に入力された各入力値を得るためには、(1)を参照し、また仮に「黒板画像」がTemplate03.jpgであれば、「Template03.jpg上の所定の記入項目に入力された各入力値を得るためには、(3)を参照すればよい。「黒板画像」によって所定の記入項目は異なるため、黒板画像テンプレート毎に管理情報を分別したものである。
再び(0)を参照し、「写真画像No」:001の「黒板画像」:Template02.jpgに関する各初期値は、「黒板のカラー」:ブラック、「黒板の位置」:左上、「黒板の形状」:横型、「黒板のサイズ」:W250×H200であるので、これら各初期値を取得する。
そして、「黒板画像」:Template02.jpgに対し、「黒板のカラー」:ブラック、「黒板の形状」:横型、「黒板のサイズ」:W250×H200になるよう黒板画像を編集する。次に「黒板画像」:Template02.jpg上の所定の記入項目に対し、「工事名」:○○ビル改修工事、「工種」:建築一式(建築)、「位置」:(36.140)、フリースペース:なしの入力値を入力することにより、記入項目入力済みの黒板画像を作成する。最後に撮影された写真画像である「写真画像」:001.jpgの上に重畳するように、この黒板画像を「黒板の位置」:左上に配置することで、仮想黒板付き写真画像が再構成されて表示される(図11参照)。
以上このように、本実施形態に係るスマートデバイス1では、作成された仮想黒板付き写真を保存する際、仮想黒板付き写真「画像」そのものとして保存せずに、記憶部101において、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ保存する。そして上述の如く、記憶部101に予め記憶されている仮想黒板画像テンプレートと、撮影された写真画像と、仮想黒板付き写真保存用管理情報とを使用して仮想黒板付き写真画像を再現することにより、スマートデバイス1の必ずしも大きいとは言えない記憶容量の節約を行うとともに、仮想黒板付き写真画像の編集性を向上させることができる。
(仮想黒板付き写真画像の編集について)
ここで、仮想黒板付き写真画像の保存方法に対し、仮想黒板に全所定記入項目にデータが入力され、所定の位置、サイズ等で仮想黒板が写真画像上に配置された仮想黒板付き写真「画像」として保存する場合、つまり仮想黒板と写真画像が一体合成された仮想黒板付き写真「画像」として保存する場合、その事後編集が困難であるという問題がある。
この仮想黒板付き写真「画像」を事後編集する例として、例えば、撮影された写真画像上の仮想黒板の配置位置を変更する場合、仮想黒板が写真画像上に一体合成されているとするならば、合成後、ユーザがタッチパネル102を操作することによる仮想黒板の位置変更やサイズ変更は困難である。
例えば、仮想黒板が写真画像上に一体合成されている場合であって、その仮想黒板の位置変更を行おうとする場合、位置変更前の仮想黒板の位置には、写真画像情報は存在しないので、仮想黒板の位置変更後は、写真画像上、位置変更前の仮想黒板の位置は空白画像になってしまうという不具合が生じることになる。また、仮想黒板のサイズ変更(縮小)を行ったとしても、サイズ変更前とサイズ変更後の仮想黒板では、その差分の写真画像情報は存在しないので、写真画像上、サイズ変更後の仮想黒板の周辺は、やはり空白画像になってしまうという不具合が生じることになる。
一方、本実施形態に係るスマートデバイス1では、上述の如く、作成された仮想黒板付き写真を保存する際、仮想黒板付き写真「画像」そのものとして保存せずに、記憶部101において、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ保存している。
このため、本実施形態に係るスマートデバイス1では、「仮想黒板付き写真保存用管理情報」において、「黒板画像の設定パラメータ」のうち「黒板の位置」の情報、又は「黒板のサイズ」の情報のみを書き換えて、変更しさえすればよい。例えば(0)を参照すると、3行目の「写真画像No」:003として保存されている仮想黒板付き写真では、「黒板の位置」(写真画像上の位置座標(10.10))及び「黒板のサイズ」(W120×H100)が、初期値(例えば図15(b)、(d)参照)から変更されている。
但し、このような、撮影された写真画像と、仮想黒板画像テンプレートと、「仮想黒板付き写真保存用管理情報」とを対応付けて、それぞれ保存するという保存方法は、「工事現場黒板アプリ」を有するスマートデバイス1やPC等でのみ可能である。従って、工事の発注元などに工事報告書としての仮想黒板付き写真画像を提出する場合には、最終的に、仮想黒板が写真画像上に一体合成されているJPEG画像を生成する必要がある。
このため、本実施形態に係るスマートデバイス1の「工事現場黒板アプリ」では、最終的には、このような仮想黒板が写真画像上に一体合成されているJPEG画像を出力することが可能である(詳細後述)。また、一旦撮影された写真画像の上に仮想黒板が配置された以降、一切の編集を不要とするならば、「保存」のタイミング(図5のB4、図11)で、直ぐに仮想黒板が写真画像上に一体合成されているJPEG画像を生成し、出力するようにすることも可能である。
また、上述のようにスマートデバイス1で保存される仮想黒板付き写真は、「写真保管庫」において、1又は複数の任意の写真を選択のうえ、サーバ4、PC5、MFP/LP6、又は記録媒体等に対し出力することができるが、この場合、外部の受け入れ側がスマートデバイス1で保存される同様の保存管理形式に対応していれば、このまま出力してよい。一方、外部の受け入れ側がスマートデバイス1で保存される同様の保存管理形式に未対応の場合には、仮想黒板付き写真「画像」に加工してから出力するようすることも可能である。
[仮想黒板付き写真の出力方法]
次に、仮想黒板付き写真の出力方法について説明する。本実施形態に係るスマートデバイス1の「工事現場黒板アプリ」では、編集性を考慮し、上述の如く、記憶部101において撮影された写真画像と、予めテンプレートとして記憶された仮想黒板画像と、「仮想黒板付き写真保存用管理情報」(写真画像上の仮想黒板画像の位置情報、サイズ情報と、仮想黒板画像の所定記入項目に入力されたデータ)とを対応付けて、それぞれ保存される。
しかしながら、例えば工事の発注元に、工事報告書としての仮想黒板付き写真画像を提出する場合には、最終的に、仮想黒板が写真画像上に一体合成されている仮想黒板付き写真画像をJPEG形式等で生成する必要がある。工事の発注元のPC等では、「工事現場黒板アプリ」を有するとは限らないため、提出される仮想黒板付き写真画像は、汎用規格であるJPEG形式等で提出される必要があるためである。
(D操作例)
仮想黒板付き写真をJPEG画像で出力するにあたって、まず、ユーザは、対象となる仮想黒板付き写真画像を選択する。具体的には、仮想黒板付き写真の参照等を行うD操作を行う(図5)。作成済みの仮想黒板付き写真画像は、「写真保管庫」に保存されているので、ユーザはここから既に作成された仮想黒板付き写真の中から任意の写真を選択のうえ、汎用規格であるJPEG形式等で出力する。
図20は、本実施形態に係る画面D1例(その2)を示す。TOP画面Aにおいて、操作ボタン「写真保管庫」が操作されると、当画面へ遷移する(図13に同じ)。図に示されるように、画面D1の仮想黒板付きの「写真保管庫」において、これまでB操作又はC操作により作成された仮想黒板付き写真が一覧表示される。各写真はサムネイル形式で縮小されて表示されるので、例えばユーザが所望の写真をタッチすると、その写真が画面上に拡大表示される。ここでは、図中、右端の図がタッチされたものとする。
図21は、本実施形態に係る画面D1例(その3)を示す。画面D1においては、選択された仮想黒板付き写真画像が表示される。続いて、ユーザは、仮想黒板付き写真画像をJPEG形式のJPEG画像として出力する場合、画面中、操作ボタン「画像出力」をタッチすることにより、同写真画像を出力する。
なお、ここで出力されたJPEG画像は、スマートデバイス1の任意のメモリに保存される。また、保存先は、スマートデバイス1内蔵メモリ、記録媒体(例えばSDカード)等のみならず、サーバ4、PC5、MFP/LP6等に対し出力することができる。
図22は、本実施形態に係る画面D1例(その4)を示す。図に示されるように、選択された仮想黒板付き写真画像がJPEG画像として出力された場合、その旨の表示がなされる。
図23は、本実施形態に係る出力JPEG画像を示す。図に示されるように、当JPEG画像は、選択された仮想黒板付き写真画像が、仮想黒板が写真画像上に一体合成され、JPEG画像として出力されたものとなっている。次に、本実施形態に係る出力JPEG画像のExifデータについて説明する。
(Exifデータ)
まず、一般的なExifデータ(Exifメタデータ、Exif情報などともいう)について説明する。一般に、デジタルカメラを用いて写真を撮影し、撮影された写真画像をJPEGファイルとして保存した場合、例えば、Exif(Exchangeable Image File Format)形式のメタデータが自動的に作成される。このメタデータをExifデータという。
具体的に、デジタルカメラは、撮影写真に対し、カメラの機種や撮影時の条件などの情報を画像にExifデータとして埋め込んでいる。このExifデータは、画像ビューワやExif編集ソフト等で、写真画像とともに参照できる。また、写真画像をプリンタ等で印刷する場合には、Exifデータに含まれる撮影時の情報などを元に、自動的に写真画像の最適化を行ってからプリント出力を行うこともできる。
図24は、従来例に係るEXIFデータ例を示す。EXIFデータは、撮影された写真画像をJPEGファイルとして保存した場合、一般のデジタルカメラ(一般のデジタルカメラが有するソフトウェア)により自動的に作成されるデータである。具体的には、図に示されるようなカメラの機種や撮影時の条件などの各種情報を含む。
これに対し、図25は、本実施形態に係る出力JPEG画像のEXIFデータ例を示す。図に示されるEXIFデータは、仮想黒板付き写真画像をJPEG画像として出力した場合、本実施形態に係るスマートデバイス1(スマートデバイス1が有する「工事現場黒板アプリ」)により自動的に作成されるデータである。具体的には、図に示されるようなカメラの機種や撮影時の条件などの情報に加え、仮想黒板画像の所定記入項目に入力されたデータ及び暗号化データを含む。
Exifデータには、規格上、カメラの機種や撮影時の条件などの情報のほか、「メーカー独自情報」を追加することができるため、本実施形態に係るスマートデバイス1(スマートデバイス1が有する「工事現場黒板アプリ」)により、仮想黒板付き写真画像がJPEG画像として出力される場合、Exifデータの「メーカー独自情報」内に、仮想黒板内の所定の記入項目に入力されたデータ及び暗号化データが追記される。
なお、暗号化データとは、仮想黒板内の所定の記入項目に入力されたデータ、又は入力されたデータの一部のデータを、暗号化したデータである。情報の改ざんを防止・抑制するため、特に改ざんを防止・抑制したいデータを対象に暗号化し、同暗号化データをExifデータの「メーカー独自情報」内に含めておく。これにより、暗号化の対象となったデータを同一の暗号アルゴリズムにより復号化し、Exifデータの「メーカー独自情報」内のデータと一致するか否かを確認することで、暗号化の対象となったデータの真正性を担保することができる。
(JPEG画像出力処理)
図26は、本実施形態に係るJPEG画像出力のフローチャートを示す。併せて、図27も参照しながら説明する。
S1:画像出力部108は、仮想黒板付き写真画像に対し、出力要求の有無を判定する。具体的には、上述の如く、表示中の仮想黒板付き写真画像に対し、画面中の操作ボタン「画像出力」がタッチされた場合に、出力要求の有りと判定できる(図21)。
S2:画像出力部108は、出力要求の有りと判定すると、表示中の仮想黒板付き写真画像に対し、JPEG画像生成処理を実行する。
具体的に、画像出力部108は、仮想黒板付き写真保存用管理情報(図19)に基づいて、写真画像と、仮想黒板(テンプレート)と、黒板画像の設定パラメータと、入力データとを取得し、仮想黒板(テンプレート)に入力データを入力する。そして、黒板画像の設定パラメータ(仮想黒板のサイズ、位置等)に従って、写真画像上、仮想黒板を重畳させて合成する。
なお、仮想黒板付き写真画像自体は、既に画面上に展開されているので、例えば、画面上の表示画像そのものに対し、JPEG画像化処理を実行することによっても、JPEG画像を生成しうる。
S3:画像出力部108は、仮想黒板内の所定の記入項目に入力されたデータ、又は入力されたデータの一部のデータを、所定の暗号化アルゴリズムを用いて暗号化する。
暗号化の対象とするデータは、仮想黒板内の所定の記入項目に入力されたデータの全てでもよいし、その一部のデータでもよい。但し、特に改ざんを防止・抑制したいデータを優先対象とすることで、暗号化データのデータ容量をより少なく抑えることができるので、結果、Exifデータのデータ容量をより少なく抑えることができる。
ここでは、暗号化の対象とするデータとして、特に入力されたデータのうち、「工事名」及び「撮影月日」のデータを暗号化の対象とする。この場合、画像出力部108は、「工事名」及び「撮影月日」のそれぞれの文字列を足した文字列に対し、所定の暗号化アルゴリズムを用いて暗号化する。なお、所定の暗号化アルゴリズムを用いてとは、所定の暗号化鍵などによって実現されうる。
S4:画像出力部108は、オリジナルの写真画像のExifデータ(図24)に対し、「メーカー独自情報」内に、仮想黒板内の所定の記入項目に入力されたデータ及び暗号化データを追記する。
S5:画像出力部108は、生成したJPEG画像を出力する(図25)。勿論、このJPEG画像は、Exifデータを含む。
以上のように、本実施形態に係る仮想黒板付き写真画像(JPEG画像)は、そのExifデータにおいて、カメラの機種や撮影時の条件などの情報のみならず、仮想黒板画像の所定記入項目に入力されたデータを含む。このため、以降に仮想黒板付き写真画像(JPEG画像)を取り扱う場合、Exifデータを用いて、工事に関する情報(例えば、「工事名」等)を用いて、画像を検索したり、そのデータをテキストとして利用したり、またデータに基づいて画像を分類・整理するなど、画像の利用性や管理性が向上する。このような写真画像の検索・整理・分類には、図1におけるクラウドストレージ7等に蓄積された写真画像を対象にしたWebアプリケーションを用いることができる。例えば、Webアプリケーションでは、Exifデータを用いて写真画像を検索し、図28に示すように、検索した写真画像と、工事情報と、地図情報(例えば位置情報を用いて他のWebアプリケーションから提供される地図情報)とを並べてクライアントに表示させることもできる。
また、Exifデータは、暗号化データを含む。工事現場において仮想黒板内の情報は、その現場写真の内容を証明する重要な情報であるところ、市販のExif編集ソフトなどで、Exifデータ内のデータが変更、改ざんされた場合であっても、暗号化データを復号化すれば、元のデータを得られ、元の正しいデータに戻すことも可能である。これにより、暗号化の対象となったデータの真正性を担保するとともに、データの改ざんを防止・抑制することが可能である。
[総括]
以上、本実施形態によれば、工事現場において現場写真の撮影業務を行うとき、その業務の効率化を図るとともに、撮影された現場写真の視認性及び編集性を向上させるスマートデバイス等を提供することが可能となる。
各実施形態に基づき本発明の説明を行ってきたが、上記各実施形態にあげたその他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。また、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。
1 スマートデバイス
2 測量器・測定器
3 工事資料
4 サーバ
5 PC
6 MFP/LP
11 CPU
12 記憶装置
13 表示装置
14 入力装置
15 通信装置
16 外部インタフェース装置
17 撮影装置
18 GPS
101 記憶部
102 タッチパネル
103 撮影部
104 通信部
105 入力部
106 画像編集部
107 画像再現部
特開2000−287164号公報

Claims (11)

  1. 撮影装置を備えるデバイスを、
    写真画像を撮影する撮影手段、
    工事現場に関する所定の記入項目が設けられた仮想表示板画像を記憶装置に記憶させる第1記憶手段、
    ユーザの入力操作に応じて、前記記入項目に対し、前記工事現場に関するデータを入力する入力手段、
    前記入力手段により前記記入項目に対して前記工事現場に関するデータが入力された仮想表示板画像を前記記憶装置に記憶させる第2記憶手段、
    前記撮影手段により撮影された写真画像の上に、前記工事現場に関するデータが入力された仮想表示板画像を重畳して配置した仮想表示板付き写真画像を作成する画像編集手段、
    前記写真画像と前記工事現場に関するデータが入力された仮想表示板画像とが一体合成された前記仮想表示板付き写真画像と、当該写真画像に関する情報を記録するメタデータと、を含んで構成される出力データであって、当該工事現場に関するデータが入力された仮想表示板画像の前記記入項目に対して前記入力手段により入力された前記工事現場に関するデータを当該メタデータのメーカー独自領域に追加した前記出力データを作成する作成手段、
    前記出力データを出力する出力手段、
    として機能させるためのプログラム。
  2. 前記メタデータには、少なくとも前記写真画像を撮影したときの撮影条件の情報を含み、
    前記メタデータのメーカー独自領域に追加する前記工事現場に関するデータには、少なくとも、前記メタデータの前記写真画像を撮影したときの撮影条件の情報には含まれていない情報が含まれている請求項1に記載のプログラム。
  3. 前記作成手段は、前記出力データに含まれるデータのうち、暗号化の対象であるデータに対して暗号化を行った暗号化データを、前記メーカー独自領域に追記して、前記出力データを作成する請求項1又は2に記載のプログラム。
  4. 前記出力手段はJPEG画像データで前記仮想表示板付き写真画像を出力する請求項1乃至3のいずれか1項に記載のプログラム。
  5. 前記工事現場に関するデータには、少なくともユーザの入力操作に基づき入力した工事名が含まれる請求項1乃至4のいずれか1項に記載のプログラム。
  6. 撮影装置を備える装置であって、
    写真画像を撮影する撮影手段、
    工事現場に関する所定の記入項目が設けられた仮想表示板画像を記憶装置に記憶させる第1記憶手段、
    ユーザの入力操作に応じて、前記記入項目に対し、前記工事現場に関するデータを入力する入力手段、
    前記入力手段により前記記入項目に対して前記工事現場に関するデータが入力された仮想表示板画像を前記記憶装置に記憶させる第2記憶手段、
    前記撮影手段により撮影された写真画像の上に、前記工事現場に関するデータが入力された仮想表示板画像を重畳して配置した仮想表示板付き写真画像を作成する画像編集手段、
    前記写真画像と前記工事現場に関するデータが入力された仮想表示板画像とが一体合成された前記仮想表示板付き写真画像と、当該写真画像に関する情報を記録するメタデータと、を含んで構成される出力データであって、当該工事現場に関するデータが入力された仮想表示板画像の前記記入項目に対して前記入力手段により入力された前記工事現場に関するデータを当該メタデータのメーカー独自領域に追加した前記出力データを作成する作成手段、
    前記出力データを出力する出力手段、
    を有する装置。
  7. 前記メタデータには、少なくとも前記写真画像を撮影したときの撮影条件の情報を含み、
    前記メタデータのメーカー独自領域に追加する前記工事現場に関するデータには、少なくとも、前記メタデータの前記写真画像を撮影したときの撮影条件の情報には含まれていない情報が含まれている請求項6に記載の装置。
  8. 前記作成手段は、前記出力データに含まれるデータのうち、暗号化の対象であるデータに対して暗号化を行った暗号化データを、前記メーカー独自領域に追記して、前記出力データを作成する請求項6又は7に記載の装置。
  9. 前記出力手段はJPEG画像データで前記仮想表示板付き写真画像を出力する請求項6乃至8のいずれか1項に記載の装置。
  10. 前記工事現場に関するデータには、少なくともユーザの入力操作に基づき入力した工事名が含まれる請求項6乃至9のいずれか1項に記載の装置。
  11. 工事現場に関する所定の記入項目が設けられた仮想表示板画像を記憶装置に記憶させる記憶手段を有する撮影装置を備える装置が行う方法であって、
    前記装置が、写真画像を撮影する撮影ステップと、
    前記装置が、ユーザの入力操作に応じて、前記記入項目に対し、前記工事現場に関するデータを入力する入力ステップと、
    前記装置が、前記入力ステップにより前記記入項目に対して前記工事現場に関するデータが入力された仮想表示板画像を前記記憶装置に記憶させる記憶ステップと、
    前記装置が、前記撮影ステップにより撮影された写真画像の上に、前記工事現場に関するデータが入力された仮想表示板画像を重畳して配置した仮想表示板付き写真画像を作成する画像編集ステップと、
    前記装置が、前記写真画像と前記工事現場に関するデータが入力された仮想表示板画像とが一体合成された前記仮想表示板付き写真画像と、当該写真画像に関する情報を記録するメタデータと、を含んで構成される出力データであって、当該工事現場に関するデータが入力された仮想表示板画像の前記記入項目に対して前記入力ステップにより入力された前記工事現場に関するデータを当該メタデータのメーカー独自領域に追加した前記出力データを作成する作成ステップ、
    前記装置が、前記出力データを出力する出力ステップと、
    を有する方法。
JP2014234861A 2011-10-31 2014-11-19 プログラム、撮影装置を備える装置及び該装置における方法 Active JP6048478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014234861A JP6048478B2 (ja) 2011-10-31 2014-11-19 プログラム、撮影装置を備える装置及び該装置における方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011238947 2011-10-31
JP2011238947 2011-10-31
JP2014234861A JP6048478B2 (ja) 2011-10-31 2014-11-19 プログラム、撮影装置を備える装置及び該装置における方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012192842A Division JP5652447B2 (ja) 2011-10-31 2012-09-03 アプリケーション・プログラム及びスマートデバイス

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016109763A Division JP2016189199A (ja) 2011-10-31 2016-06-01 管理システム

Publications (2)

Publication Number Publication Date
JP2015064894A JP2015064894A (ja) 2015-04-09
JP6048478B2 true JP6048478B2 (ja) 2016-12-21

Family

ID=48712436

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012192842A Active JP5652447B2 (ja) 2011-10-31 2012-09-03 アプリケーション・プログラム及びスマートデバイス
JP2014234861A Active JP6048478B2 (ja) 2011-10-31 2014-11-19 プログラム、撮影装置を備える装置及び該装置における方法
JP2016109763A Pending JP2016189199A (ja) 2011-10-31 2016-06-01 管理システム
JP2017222605A Pending JP2018055705A (ja) 2011-10-31 2017-11-20 画像管理システム、プログラム、デバイス、情報処理装置及び生成方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012192842A Active JP5652447B2 (ja) 2011-10-31 2012-09-03 アプリケーション・プログラム及びスマートデバイス

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016109763A Pending JP2016189199A (ja) 2011-10-31 2016-06-01 管理システム
JP2017222605A Pending JP2018055705A (ja) 2011-10-31 2017-11-20 画像管理システム、プログラム、デバイス、情報処理装置及び生成方法

Country Status (1)

Country Link
JP (4) JP5652447B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6589489B2 (ja) * 2014-09-30 2019-10-16 株式会社リコー プログラム、スマートデバイス、情報処理装置、情報処理システム、及び情報処理方法
JP6537134B2 (ja) * 2015-03-12 2019-07-03 株式会社 零Space 工損調査支援装置及びプログラム
JP5946079B1 (ja) * 2015-11-04 2016-07-05 ギアヌーヴ株式会社 工事現場撮影システム、杭工事検査システム、作業データ取得装置、及び、作業データ取得方法
JP6712861B2 (ja) * 2016-01-05 2020-06-24 ワム・システム・デザイン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2017215878A (ja) * 2016-06-01 2017-12-07 大成建設株式会社 工事情報管理システム
JP2018129560A (ja) * 2016-12-25 2018-08-16 合同会社ライトアイ 記録情報受渡方法及び情報記録装置
JP2019008636A (ja) 2017-06-27 2019-01-17 オリンパス株式会社 撮像システム
CN108307112A (zh) * 2018-01-25 2018-07-20 国家电网公司 输变电工程建设数码照片采集装置
JP6886670B2 (ja) * 2018-03-22 2021-06-16 ギアヌーヴ株式会社 建設現場端末、建設現場システム、及びプログラム
JP2019203800A (ja) * 2018-05-24 2019-11-28 株式会社竹中工務店 指定システム、及び指定プログラム
JP7202805B2 (ja) * 2018-08-03 2023-01-12 北陸電力株式会社 工事記録用プログラム
JP2021087081A (ja) * 2019-11-27 2021-06-03 ワム・システム・デザイン株式会社 撮影支援装置、撮影支援方法、及びプログラム
JP7004925B2 (ja) * 2020-03-03 2022-01-21 ダイキン工業株式会社 撮影プログラム
JP6881797B1 (ja) * 2020-06-10 2021-06-02 岡本設計株式会社 現場写真管理システム、現場写真管理方法、現場写真管理装置、及び、現場写真管理プログラム
JP6989884B1 (ja) 2021-07-30 2022-01-12 株式会社ルクレ 電子小黒板生成装置及び電子小黒板生成方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124651A (ja) * 1996-10-25 1998-05-15 Toppan Printing Co Ltd 画像サービスシステム
JP3484944B2 (ja) * 1997-09-16 2004-01-06 神鋼電機株式会社 デジタル画像記録装置
JP4366029B2 (ja) * 2001-02-09 2009-11-18 セイコーエプソン株式会社 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体
JP2003288384A (ja) * 2002-03-28 2003-10-10 Takenaka Komuten Co Ltd 工事写真管理システム
JP2006066940A (ja) * 2004-08-24 2006-03-09 Seiko Epson Corp ディジタルカメラ、及び画像再生装置
JP2006074561A (ja) * 2004-09-03 2006-03-16 Casio Comput Co Ltd 通信端末、コンテンツ送受信システム、および、コンテンツ閲覧方法
JP2006079278A (ja) * 2004-09-08 2006-03-23 Fuji Photo Film Co Ltd 工事情報管理システム及びアプリケーションソフトウエア
JP2006189895A (ja) * 2006-03-06 2006-07-20 Casio Comput Co Ltd 電子カメラ装置、文字情報表示装置、撮影情報表示装置、および文字情報表示方法
JP2007336528A (ja) * 2006-05-18 2007-12-27 Tachibana Eletech Co Ltd 画像生成出力装置
JP4882520B2 (ja) * 2006-05-31 2012-02-22 株式会社ニコン 検証プログラム
JP2008072675A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 撮像装置
JP4659721B2 (ja) * 2006-11-09 2011-03-30 キヤノン株式会社 コンテンツ編集装置及びコンテンツ検証装置
JP2008225862A (ja) * 2007-03-13 2008-09-25 Element System Kk 電子黒板付き工事写真撮像及び工事管理台帳自動作成システム並びにこれに使用するプログラム
JP5035050B2 (ja) * 2008-03-18 2012-09-26 株式会社ニコン 撮像装置、画像ファイル生成方法および画像ファイル作成プログラム
JP2009065668A (ja) * 2008-05-29 2009-03-26 Member Civil Engineering:Kk 簡易撮影システム
JP2010117587A (ja) * 2008-11-13 2010-05-27 Ftc:Kk 工事用カメラシステム及びカメラ付き携帯電話機用ストロボ装置
JP2011065321A (ja) * 2009-09-16 2011-03-31 Top Service:Kk 工事写真電子アルバム作成システム
JP2011188171A (ja) * 2010-03-08 2011-09-22 Panasonic Corp デジタル写真データ処理装置、デジタル写真データサーバ、デジタル写真データ処理システムおよびデジタル写真データ処理方法

Also Published As

Publication number Publication date
JP2016189199A (ja) 2016-11-04
JP2015064894A (ja) 2015-04-09
JP2018055705A (ja) 2018-04-05
JP2013117943A (ja) 2013-06-13
JP5652447B2 (ja) 2015-01-14

Similar Documents

Publication Publication Date Title
JP6048478B2 (ja) プログラム、撮影装置を備える装置及び該装置における方法
JP6589489B2 (ja) プログラム、スマートデバイス、情報処理装置、情報処理システム、及び情報処理方法
US8867088B2 (en) Information processing apparatus for selecting a template in which at least one image is to be arranged, control method of information processing apparatus for selecting a template in which at least one image is to be arranged, and storage medium storing a program for selecting a template in which at least one image is to be arranged
US20060085474A1 (en) Image storage apparatus and program therefor
JP5835780B2 (ja) 工事現場写真撮影用プログラム
JP2008225862A (ja) 電子黒板付き工事写真撮像及び工事管理台帳自動作成システム並びにこれに使用するプログラム
US9959292B2 (en) Application program, smart device, information processing apparatus, information processing system, and information processing method
CN109977378B (zh) 一种数字地质调查中支持全领域的数据采集方法及系统
JP6537134B2 (ja) 工損調査支援装置及びプログラム
JP2009246822A (ja) 画像編集方法及びその装置
JP5027350B2 (ja) 画像フォルダ伝送再生装置及び画像フォルダ伝送再生プログラム
JP5372569B2 (ja) 工事写真管理システム
JP6035787B2 (ja) データ保存装置、データ保存方法及びプログラム
JP2013065165A (ja) 画像表示方法及び装置、画像表示プログラム、並びに画像表示システム
JP2013115447A (ja) 写真撮影遊戯装置、画像データ提供装置、画像データ提供システム、画像データ生成方法、及び画像データ生成プログラム
JP2012089928A (ja) 画像処理装置、画像処理方法
JP2007336528A (ja) 画像生成出力装置
JP2002354309A (ja) デジタルカメラ連携システムおよび画像データ処理プログラムを記録した記録媒体
CN105825534B (zh) 图片处理方法和装置
JP7507987B1 (ja) 合成画像生成システム、合成画像生成方法及びプログラム
JP7174931B2 (ja) 写真管理装置、写真管理方法、およびプログラム
CN104699729B (zh) 辨识社交网站相片真伪的装置与方法
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system
TWI421716B (zh) 興趣點資訊建立方法、系統及所使用之電腦程式產品
JP2016126763A (ja) 情報処理システムと、その処理方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151113

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160601

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R151 Written notification of patent or utility model registration

Ref document number: 6048478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151