JP2024006064A - 情報処理システム、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザの入力作業の手間を低減可能な情報処理システム、情報処理方法、及びプログラムを提供する。【解決手段】情報処理システム１は、取得部１３と、音声認識部１１１と、小黒板選択部１１２と、を備える。取得部１３は、ユーザが発した音声の音声データを取得する。音声認識部１１１は、音声データに対して音声認識処理を行う。小黒板選択部１１２は、複数種類の作業にそれぞれ対応する複数の小黒板様式から対象作業に対応する対象様式を選択する。複数の小黒板様式の各々は、作業の種類に応じた複数の入力項目を含む。音声認識部１１１は、音声データを音声認識することによって、複数の入力項目、及び、複数の入力項目にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数の小黒板様式から対象様式を選択する。【選択図】図１

Description

本開示は、情報処理システム、情報処理方法、及びプログラムに関する。より詳細には、本開示は、工事現場を撮影した撮影画像に入れ込む小黒板（電子小黒板）の作成に関連する情報処理を行う情報処理システム、情報処理方法、及びプログラムに関する。

特許文献１は、施工写真を撮影する撮影端末を開示する。撮影端末の表示部は、機器が設置される場所をアイコンで示した配置図を表示する。ユーザが配置図上のアイコンをタップすると、撮影端末の起動部がカメラ機能を起動し、施工対象部を撮影する。撮影端末の付与部は、カメラ機能で撮影した画像に、ユーザがタップしたアイコンに紐付けられている施工情報を付与した画像をサーバに送信する。

特開２０２１－１４１３８８号公報

近年、工事写真のデジタル化に伴い、工事に関わる作業内容を記入した小黒板（電子小黒板）を工事写真に付与することが行われている。特許文献１に記載の撮影端末を用いて工事写真を撮影する際に、予め登録されていない設置場所で機器を撮影する場合、ユーザが、作業内容を記入するために、適切な様式の小黒板を選択して入力作業を行わねばならず、ユーザの入力作業に手間が掛かっていた。

本開示の目的は、ユーザの入力作業の手間を低減可能な情報処理システム、情報処理方法、及びプログラムを提供することにある。

本開示の一態様の情報処理システムは、取得部と、音声認識部と、小黒板選択部と、を備える。前記取得部は、ユーザが発した音声の音声データを取得する。前記音声認識部は、前記音声データに対して音声認識処理を行う。前記小黒板選択部は、複数種類の作業にそれぞれ対応する複数の小黒板様式から対象作業に対応する対象様式を選択する。前記複数の小黒板様式の各々は、前記作業の種類に応じた複数の入力項目を含む。前記音声認識部は、前記音声データを音声認識することによって、前記複数の入力項目、及び、前記複数の入力項目にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。前記小黒板選択部は、前記音声認識部の認識結果に基づいて、前記複数の小黒板様式から前記対象様式を選択する。

本開示の一態様の情報処理方法は、取得ステップと、音声認識ステップと、小黒板選択ステップと、を有する。前記取得ステップでは、ユーザが発した音声の音声データを取得する。前記音声認識ステップでは、前記音声データに対して音声認識処理を行う。前記小黒板選択ステップでは、複数種類の作業にそれぞれ対応する複数の小黒板様式から対象作業に対応する対象様式を選択する。前記複数の小黒板様式の各々は、前記作業の種類に応じた複数の入力項目を含む。前記音声認識ステップでは、前記音声データを音声認識することによって、前記複数の入力項目、及び、前記複数の入力項目にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。前記小黒板選択ステップでは、前記音声認識ステップでの認識結果に基づいて、前記複数の小黒板様式から前記対象様式を選択する。

本開示の一態様のプログラムは、前記情報処理方法を、コンピュータシステムの１以上のプロセッサに実行させるためのプログラムである。

本開示によれば、ユーザの入力処理の手間を低減することができる。

図１は、一実施形態に係る情報処理システムのブロック図である。 図２は、同上の情報処理システムの画面表示の一例を表す説明図である。 図３は、同上の情報処理システムの合成画像の一例を表す説明図である。 図４は、同上の情報処理システムの小黒板様式の第１例を表す説明図である。 図５は、同上の情報処理システムの小黒板様式の第２例を表す説明図である。 図６は、同上の情報処理システムの小黒板様式の第３例を表す説明図である。 図７は、同上の情報処理システムにより作成された小黒板の一例を表す説明図である。 図８は、同上の情報処理システムにおける処理の一例を表すフローチャートである。

（実施形態）
以下、実施形態に係る情報処理システム１、情報処理方法及びプログラムについて、図面を用いて説明する。ただし、下記の実施形態は、本開示の様々な実施形態の１つに過ぎない。下記の実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。

（概要）
本開示で言う「対象空間」は、施工前、施工中又は施工後の建造物（例えば集合住宅、戸建住宅、オフィスビル、病院、工場、及び商業施設等）の施工現場である。但し、「対象空間」は、この例に限定されない。

建造物の新築、リフォーム、又はリノベーション等の工事では、施工対象である建造物の対象空間（施工現場）の一部が撮影され、建造物の状況及び施工状況等の確認と検査とが撮影画像を用いて行われている。情報処理システム１は、このような撮影作業に関わる情報を作業者（ユーザ）に提示することで、建造物の状況及び施工状況の確認と検査とを補助する。すなわち、情報処理システム１は、建造物の施工に伴う確認と検査とを補助する。

情報処理システム１は、建造物の施工に伴う確認と検査とを補助するために、建造物の対象空間の一部を撮影した撮影画像及び撮影画像に関連する情報を処理する機能を有する。具体的には、情報処理システム１は、施工現場を撮影した撮影画像に合成する小黒板（電子小黒板）を作成する機能を有する。作業者及び検査者などのユーザは、施工前、施工中又は施工後の対象空間における各部を撮影した撮影画像を撮る。小黒板は、撮影対象の施工現場に対応する小黒板（電子小黒板）の様式（対象様式）に、施工現場での工事に関する作業情報を入力して作成される。

本実施形態では、一例として、建造物を集合住宅とし、集合住宅の住戸をリフォームする場合を想定する。この場合、対象空間は集合住宅の住戸（施工現場）であり、リフォームの施工現場となる。住戸のリフォームでは、まず、リフォーム前の住戸の状況を確認するための現状調査が行われる。そして、現状の住戸から不要な部材及び機器が撤去される解体工事、及びリフォームの本工事が行われる。本工事は、大工工事、設備工事、配管工事、配線工事、電気工事、塗装工事、及び内装工事等が含まれる。本工事が終了すると、リフォーム後の住戸を検査する完成検査が行われる。現状調査、解体工事、本工事及び完成検査の各々で、建造物の状況及び施工状況等の確認と検査のための撮影作業が行われ得る。

図１に示すように、本実施形態の情報処理システム１は、取得部１３と、音声認識部１１１と、小黒板選択部１１２と、を備える。取得部１３は、ユーザが発した音声の音声データを取得する。音声認識部１１１は、音声データに対して音声認識処理を行う。小黒板選択部１１２は、複数種類の作業にそれぞれ対応する複数の小黒板様式Ａ４（図４～図６参照）から対象作業に対応する対象様式を選択する。複数の小黒板様式Ａ４の各々は、作業の種類に応じた複数の入力項目Ｄ１１～Ｄ１４を含む。音声認識部１１１は、音声データを音声認識することによって、複数の入力項目Ｄ１１～Ｄ１４、及び、複数の入力項目Ｄ１１～Ｄ１４にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数の小黒板様式Ａ４から対象様式を選択する。なお、以下の説明において、図４～図６に示す３種類の小黒板様式Ａ４を個別に説明する場合、図４～図６に示す小黒板様式Ａ４を小黒板様式Ａ４１，Ａ４２，Ａ４３とそれぞれ表記する場合もある。

本実施形態によれば、小黒板選択部１１２は、複数の入力項目Ｄ１１～Ｄ１４及び複数の入力情報の少なくとも一部を音声認識部１１１が音声認識した認識結果に基づいて、対象様式を選択している。したがって、小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数の小黒板様式Ａ４から適切な小黒板様式Ａ４を対象様式として選択することができ、ユーザ自身が小黒板様式Ａ４を選択する手間を省いて、ユーザの入力処理の手間を低減することができる。

また、情報処理システム１と同様の機能は、情報処理方法にて具現化可能である。本実施形態の情報処理方法は、情報処理システム１が実行する情報処理方法であり、取得ステップと、音声認識ステップと、小黒板選択ステップと、を有する。取得ステップでは、ユーザが発した音声の音声データを取得する。音声認識ステップでは、音声データに対して音声認識処理を行う。小黒板選択ステップでは、複数種類の作業にそれぞれ対応する複数の小黒板様式Ａ４から対象作業に対応する対象様式を選択する。複数の小黒板様式Ａ４の各々は、作業の種類に応じた複数の入力項目Ｄ１１～Ｄ１４（図４～図６参照）を含む。音声認識ステップでは、音声データを音声認識することによって、複数の入力項目Ｄ１１～Ｄ１４、及び、複数の入力項目Ｄ１１～Ｄ１４にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。小黒板選択ステップでは、音声認識ステップでの認識結果に基づいて、複数の小黒板様式Ａ４から対象様式を選択する。

また、情報処理方法は、プログラムにて具現化可能である。本実施形態のプログラムは、情報処理方法を、コンピュータシステムの１以上のプロセッサに実行させるためのプログラムである。プログラムは、コンピュータシステムで読み取り可能な非一時的記録媒体に記録されていてもよい。

（詳細）
（１）全体構成
まず、図１を参照して、情報処理システム１の全体構成を説明する。

情報処理システム１は、例えば、タブレット端末、スマートフォン、又は、工事写真の撮影に用いられる工事写真専用端末である。

情報処理システム１は、１以上のプロセッサ及びメモリを有するコンピュータシステムを含んでいる。コンピュータシステムのメモリに記録されたプログラムを、コンピュータシステムのプロセッサが実行することにより、情報処理システム１の少なくとも一部の機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的記録媒体に記録されて提供されてもよい。

図１に示すように、情報処理システム１は、処理部１１と、記憶部１２と、取得部１３と、操作部１４と、表示部１５と、撮影部１６と、通信部１７と、を備える。

（２）処理部
処理部１１は、情報処理システム１の１以上のプロセッサを含む。処理部１１は、プログラムを実行することで、所定の機能を実現する。

処理部１１は、情報処理システム１の全体的な制御をするように構成される。例えば、処理部１１は、表示部１５による画像の表示を制御する。また、処理部１１は、撮影部１６による撮影動作を制御する。

本実施形態では、処理部１１は、音声認識部１１１、小黒板選択部１１２、小黒板作成部１１３、及び画像合成部１１４等の機能を有している。なお、音声認識部１１１、小黒板選択部１１２、小黒板作成部１１３、及び画像合成部１１４は、処理部１１にて実現される機能を示しているに過ぎず、実体のある構成を示しているわけではない。以下、処理部１１が有する各機能について説明する。

（２．１）音声認識部
音声認識部１１１は、例えば記憶部１２に記憶されている音声認識辞書ファイルを用いて、取得部１３が取得した音声データを音声認識する。記憶部１２に記憶される音声認識辞書ファイルは、対象空間で行われる工事に関連する単語、並びに、工事写真に重ねて表示する電子小黒板の入力項目及び入力情報に関連する単語のデータを含んでいる。記憶部１２に記憶される音声認識辞書ファイルは、情報処理システム１に所望の動作を行わせるための操作命令の単語データを更に含んでもよい。

なお、情報処理システム１の記憶部１２が音声辞書ファイルを記憶していることは必須ではなく、音声認識部１１１は、クラウド上に設けられた音声辞書ファイルを利用して音声認識を行ってもよい。

（２．２）小黒板選択部
小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数種類の作業に対応した複数の小黒板様式Ａ４から、対象作業に対応する小黒板様式Ａ４を選択する。

例えば、音声認識部１１１の認識結果が１又は複数の入力項目の情報を含んでいる場合、小黒板選択部１１２は、認識結果に含まれる１又は複数の入力項目を有する小黒板様式Ａ４を対象作業の小黒板様式である対象様式として選択する。

また、音声認識部１１１の認識結果が、１又は複数の入力項目に対応する１又は複数の入力情報を含んでいる場合、小黒板選択部１１２は、音声認識により得られた１又は複数の入力情報から対応する１又は複数の入力項目を判断する。そして、小黒板選択部１１２は、１又は複数の入力項目を含む小黒板様式Ａ４を対象作業の小黒板様式である対象様式として選択する。

また、音声認識部１１１の認識結果が、１以上の第１の入力項目と、１以上の第２の入力項目に対応する１以上の第２の入力情報とを含んでいる場合、小黒板選択部１１２は、音声認識により得られた１以上の第２の入力情報から対応する１以上の第２の入力項目を判断する。そして、小黒板選択部１１２は、１以上の第１の入力項目と１以上の第２の入力項目とを含む小黒板様式Ａ４を対象作業の小黒板様式である対象様式として選択する。

なお、音声認識部１１１の認識結果だけでは１つの対象様式に絞り混むことができない場合、小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、２以上の候補様式を選択してもよい。つまり、小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数の小黒板様式Ａ４から、２以上の候補様式に絞り混む処理を行ってもよい。この場合、処理部１１は、小黒板選択部１１２が選択した２以上の候補様式を表示部１５に表示させ、ユーザによる選択操作を受け付ける。２以上の候補様式から対象様式を選択するユーザの選択操作を操作部１４が受け付けると、小黒板選択部１１２は、選択操作に基づいて対象作業に対応する対象様式を選択する。

このように、小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて、複数の小黒板様式Ａ４から対象様式の候補である２以上の候補様式を選択する。そして、小黒板選択部１１２は、２以上の候補様式から対象様式を選択するユーザの選択操作を操作部１４が受け付けると、選択操作に基づいて対象工事に対応する対象様式を選択する。小黒板選択部１１２によって候補様式が絞り混まれているので、ユーザが、複数の小黒板様式から対象様式を選択する場合に比べて、ユーザによる選択操作の手間を軽減できる。

（２．３）小黒板作成部
小黒板作成部１１３は、小黒板選択部１１２が選択した対象様式に含まれる複数の入力項目に複数の入力情報をそれぞれ入力することによって、小黒板Ａ５を作成する。具体的には、音声認識部１１１は、音声データを音声認識することによって、複数の入力項目に入力される複数の入力情報を認識しており、小黒板作成部１１３は、音声認識部１１１の認識結果に基づいて、複数の入力項目に複数の入力情報をそれぞれ入力して小黒板Ａ５を作成する。すなわち、小黒板作成部１１３は、音声認識部１１１の認識結果に基づく入力情報のテキストデータを作成し、このテキストデータを対応する入力項目の入力欄に表示することによって、小黒板Ａ５の画像データを作成する。

図７は、小黒板作成部１１３が作成した小黒板Ａ５の画像データの一例を示している。小黒板作成部１１３は、例えば、図４に示す小黒板様式Ａ４１の第２表示領域ＡＲ２に入力情報のテキストデータを表示し、第３表示領域ＡＲ３に撮影対象の物品の名称（例えば分電盤）を示すテキストデータを表示した小黒板Ａ５の画像データを作成する。

（２．４）画像合成部
画像合成部１１４は、撮影位置Ａ２で撮影された撮影画像Ａ３に、小黒板作成部１１３が作成した小黒板Ａ５の画像データを合成することによって、小黒板Ａ５が付加された合成画像Ａ６（図３参照）を作成する。画像合成部１１４は、作成した合成画像Ａ６を記憶部１２に記憶させる。

なお、撮影画像Ａ３に付加される小黒板Ａ５の位置は適宜変更可能であり、例えば、撮影位置Ａ２で撮影される撮影対象に重ならない位置に小黒板Ａ５を配置することが好ましい。図３に示す合成画像Ａ６は、分電盤を撮影した撮影画像Ａ３に小黒板Ａ５の画像データを合成した画像であり、小黒板Ａ５の画像データは、分電盤と重ならない位置に合成されている。

（３）記憶部
記憶部１２は、情報処理システム１で用いられる情報を記憶する。記憶部１２は、例えば、空間図Ａ１と、撮影位置Ａ２と、撮影画像Ａ３と、複数の小黒板様式Ａ４と、を記憶する。

空間図Ａ１は、対象空間を表す図である。空間図Ａ１は、例えば、対象空間の平面図であり、対象空間が住戸である場合は住戸内の間取図等でもよい。空間図Ａ１は、二次元の図面でもよいし、３次元の図面でもよく、対象空間を表現したバーチャル画像等でもよい。

撮影位置Ａ２は、対象空間に存在する撮影対象を撮影部１６にて撮影する位置であり、空間図Ａ１上に設定される。撮影位置Ａ２は空間図Ａ１上に予め設定されていてもよいし、ユーザが撮影位置Ａ２を追加又は削除してもよい。図２に示す画面例では、空間図Ａ１上に撮影位置Ａ２が複数設定されているが、撮影位置Ａ２の数は１つでも複数でもよく、適宜変更可能である。図２の画面例には６か所の撮影位置Ａ２をそれぞれ表す６つのマーカＭ１～Ｍ６が表示されているが、マーカの数は撮影位置Ａ２の数に応じて適宜変更可能である。以下の説明において、空間図Ａ１に重ねて表示される複数のマーカＭ１～Ｍ４を総称してマーカＭｎ（ｎは自然数）と記載する場合もある。

記憶部１２は、撮影部１６が複数の撮影位置Ａ２のそれぞれで撮影した撮影画像Ａ３を記憶する。記憶部１２は、撮影画像Ａ３を、撮影画像Ａ３が撮影された撮影位置Ａ２の情報と対応付けて記憶する。

記憶部１２は複数の小黒板様式Ａ４を予め記憶している。対象空間で行われる工事には、大工工事、設備工事、配管工事、配線工事、電気工事、塗装工事、及び内装工事など多くの種類がある。また、それぞれの工事において、現状確認、撤去状況確認、資材搬入確認、施工状況記録、及び施工後状況記録など多くの種類の作業が行われる。作業の種類によって、工事現場を撮影した撮影画像Ａ３に合成する小黒板Ａ５に記載すべき入力項目が異なるため、記憶部１２には、複数種類の作業に対応した複数の小黒板様式Ａ４が記憶されている。複数の小黒板様式Ａ４の各々は、従来の工事黒板を模した矩形状の表示領域を有しており、対応する作業の情報を入力するために複数の入力項目が設けられている。

ここにおいて、複数の入力項目としては、件名、写真区分、工種、位置等がある。「件名」には、対象空間に対して行う工事の名称が入力される。「写真区分」には、撮影位置Ａ２を撮影するタイミング（撤去前、施工前、施工中、施工後等）を表す情報が入力される。「工種」には、撮影位置Ａ２において行われる工事の種類（例えば大工工事、設備工事、配管工事、配線工事、電気工事、塗装工事、及び内装工事等）を表す情報が入力される。「位置」には、撮影位置Ａ２の名称が入力される。

図４～図６は小黒板様式Ａ４の一例を示している。各小黒板様式Ａ４の左上には、複数の入力項目の名称を表示する第１表示領域ＡＲ１が設けられ、各小黒板様式Ａ４の右上には、複数の入力項目についてそれぞれ入力された複数の入力情報を表示する第２表示領域ＡＲ２が設けられている。そして、各小黒板様式Ａ４の下側には、作業対象の物品名などを表示する第３表示領域ＡＲ３が設けられている。

なお、図４に示す小黒板様式Ａ４１では、第１表示領域ＡＲ１に、件名、写真区分、工種、及び位置の４つの入力項目Ｄ１１～Ｄ１４が表示されている。図５に示す小黒板様式Ａ４２では、第１表示領域ＡＲ１に、件名、写真区分、及び工種の３つの入力項目Ｄ１１～Ｄ１３が表示されている。図６に示す小黒板様式Ａ４３では、第１表示領域ＡＲ１に、件名及び工種の２つの入力項目Ｄ１１，Ｄ１３が表示されている。

また、記憶部１２は、小黒板作成部１１３によって作成された小黒板（電子小黒板）Ａ５の画像データを撮影位置Ａ２に対応付けて記憶する。また、記憶部１２は、撮影部１６が撮影した撮影画像Ａ３と、小黒板Ａ５の画像データとを合成した合成画像Ａ６を記憶する。なお、記憶部１２は、合成画像Ａ６を撮影画像Ａ３の撮影位置Ａ２に対応付けて記憶する。

記憶部１２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、又はフラッシュメモリ等の書き換え可能な不揮発性メモリを有することが好ましい。

（４）取得部
取得部１３は、ユーザの発した音声を電気的な音声データに変換するマイクロホンを含み、音声データを音声認識部１１１に出力する。

撮影位置Ａ２で撮影画像Ａ３を撮影する際に、ユーザが撮影画像Ａ３に合成する小黒板Ａ５の入力項目又は入力情報を音声で発すると、取得部１３は、ユーザが発した音声を音声データに変換して音声認識部１１１に出力する。

なお、ユーザが情報処理システム１を操作するための操作命令を音声で発した場合も、取得部１３は、操作命令を音声データに変換して音声認識部１１１に出力する。音声認識部１１１が操作命令の音声データを音声認識すると、処理部１１が操作命令の内容に応じて動作するので、情報処理システム１を音声で操作することができる。

なお、取得部１３がマイクロホンを含むことは必須ではなく、取得部１３は、外部のマイクロホンから入力される音声データを取得してもよい。

（５）操作部
操作部１４は、ユーザの操作（ユーザ操作）を受け付けるユーザインタフェース機器である。例えば、操作部１４は、ユーザの手による操作（手操作）を受け付けるタッチパネル、釦、キースイッチのうち少なくとも１つを含む。

操作部１４はユーザ操作を受け付けると、ユーザ操作に応じた操作信号を、処理部１１へ出力する。処理部１１は、操作信号に応じた処理を行う。例えば、処理部１１は、操作信号に応じて、表示部１５又は撮影部１６を制御する。

操作部１４が手操作を受け付けるタッチパネルを有する場合、タッチパネルに対するユーザ操作は、例えばタップ、ダブルタップ、ロングタップ、ドラッグ、スワイプ、フリック、ピンチイン、及びピンチアウト等である。

（６）撮影部
撮影部１６は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の二次元イメージセンサを備える。撮影部１６は、カラー又はモノクロの画像（静止画像）を撮影し、撮影画像Ａ３のデータを生成するカメラとして機能する。撮影部１６は、対象工事の工事現場を撮影するために用いられる。撮影部１６は、撮影画像Ａ３のデータを記憶部１２に保存する。

例えば、タッチパネルディスプレイが操作部１４と表示部１５との両方の機能を実現する場合、ユーザが表示部１５の画面に表示されたマーカＭｎをタップすると、撮影部１６が撮影を待機する状態となる。さらに、ユーザが操作部１４に所定の操作をすることで、撮影部１６が撮影する。記憶部１２は、撮影画像Ａ３のデータを、ユーザがタップしたマーカＭｎに対応する撮影位置Ａ２の情報と対応付けて記憶する。

（７）通信部
通信部１７は、通信インタフェース装置を含んでいる。通信部１７は、通信インタフェース装置を介して、外部のシステムと通信可能である。本開示でいう「通信可能」とは、有線通信又は無線通信の適宜の通信方式により、直接的、又はネットワーク若しくは中継器等を介して間接的に、信号を授受できることを意味する。なお、有線通信は、例えばツイストペアケーブル、専用通信線、又はＬＡＮ（Local Area Network）ケーブル等を介した有線通信である。無線通信は、例えばWi-Fi（登録商標）、又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した無線通信である。

通信部１７は、外部のシステムとの間でデータの授受を行う。例えば、通信部１７は、外部のシステムから空間図Ａ１のデータを取得する。例えば、通信部１７は、外部のＣＡＤシステム又は外部サーバ等から、対象空間の図である空間図Ａ１のデータを取得して、空間図Ａ１のデータを記憶部１２に保存する。なお、本実施形態の空間図Ａ１は、図２に示すような、住戸の間取図である。

（８）表示部
表示部１５は、ＬＣＤ（Liquid Crystal Display）、又はＯＬＥＤ（Organic Light Emitting Diode）等を用いたディスプレイ装置であり、画像を表示する画面を備える。そして、表示部１５は、処理部１１によって制御される。

なお、タッチパネルディスプレイが、操作部１４と表示部１５との両方の機能を実現してもよい。

表示部１５は、図２に示すように、対象空間の図である空間図Ａ１を表示する。具体的には、表示部１５は、複数のマーカＭｎ（Ｍ１～Ｍ６）を重ねた空間図Ａ１を表示する。複数のマーカＭｎは、複数の撮影位置Ａ２に１対１に対応する。複数のマーカＭｎの各々は、対応する撮影位置Ａ２と同じ位置に表示されており、対応する撮影位置Ａ２の場所を表している。なお、マーカＭｎの表示位置は、例えば、対応する撮影位置Ａ２と同じ位置であるが、撮影位置Ａ２と厳密に一致する位置に限定されず、撮影位置Ａ２の近傍であってもよい。

なお、複数のマーカＭｎ（Ｍ１～Ｍ６）の各々には、複数の撮影位置Ａ２の撮影順序を示す順序情報が重ねて表示されている。本実施形態では、複数の撮影位置Ａ２の順序情報は、１、２、３、……の連番の数字で表される。

例えば、１番目に撮影が行われる撮影位置Ａ２に対応する位置には、マーカＭ１と、順序情報としての［１］の数字と、がそれぞれ空間図Ａ１に重ねて表示される。同様に、ｎ番目（ｎは自然数）に撮影が行われる撮影位置Ａ２に対応する位置には、マーカＭｎと、順序情報としての［ｎ］の数字と、がそれぞれ空間図Ａ１に重ねて表示される。

また、表示部１５は、小黒板Ａ５の画像データを表示するためにも用いられる。また、表示部１５は、合成画像Ａ６を表示するためにも用いられる。

（９）処理の流れ
次に、図８を参照して、施工確認の写真を撮影する作業における、情報処理システム１の処理の流れを説明する。なお、図８に示すフローチャートは、一例に過ぎず、各ステップの順序が適宜変更されてもよいし、ステップが適宜追加又は省略されてもよい。

情報処理システム１には、空間図Ａ１、複数の撮影位置Ａ２、及び複数の小黒板様式Ａ４の情報等が入力され（ステップＳＴ１）、記憶部１２はステップＳＴ１で入力された情報を記憶する。

ステップＳＴ１で必要な情報が入力されると、情報処理システム１は、表示部１５に空間図Ａ１を表示する処理を開始する。すなわち、処理部１１は、複数の撮影位置Ａ２にマーカＭｎを重ねた空間図Ａ１を表示部１５に表示させる表示処理を行う（ステップＳＴ２）。

表示部１５が空間図Ａ１を表示している状態で、ユーザがマーカＭｎをタップする、或いは、新規の撮影位置Ａ２として空間図Ａ１上の任意の位置をタップする操作を行うと（ステップＳＴ３：Ｙｅｓ）、操作部１４が操作情報を受け付け、処理部１１が撮影部１６を起動する。その後、操作部１４が所定の操作を受け付けると、撮影部１６が撮影対象を撮影し（ステップＳＴ４）、撮影部１６が撮影した撮影画像Ａ３が記憶部１２に記憶されする。

撮影部１６が撮影処理を行うと、処理部１１は、撮影画像Ａ３に合成する小黒板Ａ５の作成処理を開始する。

情報処理システム１は、小黒板Ａ５に表示すべき入力項目、又は、入力項目に関する入力情報の音声入力を待ち受ける（ステップＳＴ５）。ユーザが入力項目、又は、入力情報を音声で発すると（ステップＳＴ５：Ｙｅｓ）、取得部１３が音声データを取得し、音声認識部１１１が音声認識処理を行う（ステップＳＴ６）。

このとき、小黒板選択部１１２は、音声認識部１１１の認識結果に基づき、音声で入力された入力項目、又は、入力情報に対応する入力項目を含む小黒板様式Ａ４を対象作業に対応する対象様式として選択する選択処理を行う（ステップＳＴ７）。

ステップＳＴ７の選択処理において、対象様式が１つに絞り込めた場合（ステップＳＴ８：Ｙｅｓ）、処理部１１は、対象様式の画像を表示部１５に表示させる（ステップＳＴ１２）。

ステップＳＴ７の選択処理において、対象様式を１つに絞り込めなかった場合（ステップＳＴ８：Ｎｏ）、小黒板選択部１１２は、音声で入力された入力項目、又は、入力情報に対応する入力項目を含む２以上の小黒板様式Ａ４を、対象様式の候補である候補様式として選択する。このとき、処理部１１は、２以上の候補様式の画像を表示部１５に表示させ（ステップＳＴ９）、ユーザによる選択操作を待ち受ける（ステップＳＴ１０）。ユーザが、例えば、操作部１４を用いて表示部１５に表示された２以上の候補様式から対象様式を選択する選択操作を行うと（ステップＳＴ１０：Ｙｅｓ）、操作部１４がユーザの選択操作を受け付ける。そして、小黒板選択部１１２は、操作部１４が受け付けた操作情報に基づいて、ユーザが選択した候補様式を対象様式として決定し（ステップＳＴ１１）、処理部１１は、対象様式の画像を表示部１５に表示させる（ステップＳＴ１２）。

表示部１５に対象様式の画像が表示されると、ユーザは、対象様式に設けられた複数の入力項目のうち、入力情報が入力されていない入力項目について入力情報を音声で入力する。情報処理システム１は、入力情報の音声入力を待ち受け（ステップＳＴ１３）、ユーザが音声入力を行うと、音声認識部１１１が音声認識処理を行う（ステップＳＴ１４）。

対象様式に設けられた複数の入力項目の全てについて入力情報が音声で入力されると、小黒板作成部１１３は、複数の入力項目にそれぞれ対応する複数の入力欄に、複数の入力情報のテキストデータをそれぞれ表示した小黒板Ａ５の画像データを作成する（ステップＳＴ１５）。小黒板作成部１１３は、作成した小黒板Ａ５の画像データを記憶部１２に記憶させる。

そして、画像合成部１１４が、撮影部１６で撮影した撮影画像Ａ３に、小黒板Ａ５の画像データをスーパーインポーズした合成画像Ａ６を作成し（ステップＳＴ１６）、作成した合成画像Ａ６を記憶部１２に記憶させる。そして、処理部１１が、合成画像Ａ６を表示部１５に表示させており（ステップＳＴ１７）、ユーザは、作成された合成画像Ａ６を確認することができる。

ここで、操作部１４がユーザによる終了操作を受け付けると（ステップＳＴ１８：Ｙｅｓ）、処理部１１は、表示部１５に空間図Ａ１を表示する処理を終了する。

一方、操作部１４がユーザによる所定の操作を受け付けると（ステップＳＴ１９：Ｙｅｓ）、処理部１１は、ステップＳＴ２に戻って空間図Ａ１を表示部１５に表示させる。表示部１５が空間図Ａ１を表示している状態で、ユーザがマーカＭｎをタップする、或いは、新規の撮影位置Ａ２として空間図Ａ１上の任意の位置をタップする操作を行うと（ステップＳＴ３：Ｙｅｓ）、情報処理システム１は、上述したステップＳＴ４以降の処理を繰り返し実行する。

このように、ステップＳＴ５においてユーザが入力項目を発話した場合、小黒板選択部１１２は、音声認識部１１１の認識結果に基づいて対象様式を選択する。その後、ステップＳＴ１３において、ユーザが入力項目に関する入力情報を発話すると、小黒板作成部１１３は、音声認識部１１１の認識結果に基づいて入力項目に対する入力情報を特定し、入力情報を示すテキストデータ又は図記号などを対象様式の入力欄に表示した小黒板Ａ５を作成する。

なお、ステップＳＴ５において、ユーザが入力項目に対応する入力情報を発話した場合、小黒板選択１１２は、音声認識部１１１の認識結果に基づいて、入力情報に対応する入力項目を特定し、入力項目を含む対象様式を選択する。そして、小黒板作成部１１３は、ステップＳＴ５でユーザが発した入力情報を示すテキストデータ又は図記号などを、を対象様式の入力欄に表示した小黒板Ａ５を作成する。この場合、ユーザは、入力項目に対応する入力情報を発話するだけでよく、ユーザの入力作業を更に低減できる。

（実施形態の変形例）
以下、実施形態の変形例を列挙する。以下の変形例は、適宜組み合わせて実現されてもよい。

マーカＭｎの形状は、ピンの形状に限定されず、任意の形状であってよい。

マーカＭｎに重ねて表示する順序情報は、数字に限定されず、例えば、アルファベット等の文字、又は図形等であってもよい。また、マーカＭｎの色により、撮影が行われる順序が表されてもよい。つまり、マーカＭｎの色により順序情報が示されてもよい。

また、表示部１５は、画像の撮影が未了である撮影位置Ａ２を表すマーカＭｎと、画像の撮影が終了した撮影位置Ａ２を表すマーカＭｎとを、互いに異なる表示態様（例えば色、形状等）で表示してもよい。

本開示における情報処理システム１又は情報処理方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における情報処理システム１又は情報処理方法の実行主体としての機能の少なくとも一部が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

また、情報処理システム１における複数の機能が、１つの装置に集約されていることは情報処理システム１に必須の構成ではなく、情報処理システム１の複数の構成要素は、複数の装置に分散して設けられていてもよい。例えば、撮影部１６を含む装置が、表示部１５を含む装置とは別に設けられていてもよい。

情報処理システム１の少なくとも一部の機能、例えば、処理部１１における画像処理の機能がサーバ又はクラウド（クラウドコンピューティング）等によって実現されてもよい。

（まとめ）
以上説明したように、第１の態様の情報処理システム（１）は、取得部（１３）と、音声認識部（１１１）と、小黒板選択部（１１２）と、を備える。取得部（１３）は、ユーザが発した音声の音声データを取得する。音声認識部（１１１）は、音声データに対して音声認識処理を行う。小黒板選択部（１１２）は、複数種類の作業にそれぞれ対応する複数の小黒板様式（Ａ４）から対象作業に対応する対象様式を選択する。複数の小黒板様式（Ａ４）の各々は、作業の種類に応じた複数の入力項目（Ｄ１１～Ｄ１４）を含む。音声認識部（１１１）は、音声データを音声認識することによって、複数の入力項目（Ｄ１１～Ｄ１４）、及び、複数の入力項目（Ｄ１１～Ｄ１４）にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。小黒板選択部（１１２）は、音声認識部（１１１）の認識結果に基づいて、複数の小黒板様式（Ａ４）から対象様式を選択する。

この態様によれば、ユーザの入力作業の手間を低減することができる。

第２の態様の情報処理システム（１）は、第１の態様において、ユーザの操作を受け付ける操作部（１４）を更に備える。小黒板選択部（１１２）は、音声認識部（１１１）の認識結果に基づいて、複数の小黒板様式（Ａ４）から対象様式の候補である２以上の候補様式を選択する。小黒板選択部（１１２）は、２以上の候補様式から対象様式を選択するユーザの選択操作を操作部（１４）が受け付けると、選択操作に基づいて対象作業に対応する対象様式を選択する。

この態様によれば、ユーザは、小黒板選択部（１１２）によって絞り混まれた２以上の候補様式から対象様式を選択するので、ユーザによる選択操作の手間を低減することができる。

第３の態様の情報処理システム（１）は、第１又は第２の態様において、対象様式に含まれる複数の入力項目（Ｄ１１～Ｄ１４）に複数の入力情報をそれぞれ入力して小黒板（Ａ５）を作成する小黒板作成部（１１３）を更に備える。

この態様によれば、ユーザの入力作業の手間を低減することができる。

第４の態様の情報処理システム（１）では、第３の態様において、音声認識部（１１１）は、音声データを音声認識することによって、複数の入力項目（Ｄ１１～Ｄ１４）に入力される複数の入力情報を認識する。小黒板作成部（１１３）は、音声認識部（１１１）の認識結果に基づいて、複数の入力項目（Ｄ１１～Ｄ１４）に複数の入力情報をそれぞれ入力して小黒板（Ａ５）を作成する。

この態様によれば、ユーザの入力作業の手間を低減することができる。

第５の態様の情報処理システム（１）は、第３又は第４の態様において、撮影部（１６）と、記憶部（１２）と、を更に備える。撮影部（１６）は、対象工事の工事現場を撮影する。記憶部（１２）は、撮影部（１６）が撮影した撮影画像（Ａ３）と小黒板（Ａ５）とを合成した合成画像（Ａ６）を記憶する。

この態様によれば、対象工事の工事現場を撮影した撮影画像（Ａ３）と、小黒板（Ａ５）とを合成した合成画像（Ａ６）を生成する際のユーザの入力作業の手間を低減することができる。

第６の態様の情報処理システム（１）は、第５の態様において、合成画像（Ａ６）を表示する表示部（１５）を更に備える。

この態様によれば、ユーザは、表示部（１５）に表示された合成画像（Ａ６）を確認することができる。

第７の態様の情報処理方法は、取得ステップと、音声認識ステップと、小黒板選択ステップと、を有する。取得ステップでは、ユーザが発した音声の音声データを取得する。音声認識ステップでは、音声データに対して音声認識処理を行う。小黒板選択ステップでは、複数種類の作業にそれぞれ対応する複数の小黒板様式（Ａ４）から対象作業に対応する対象様式を選択する。複数の小黒板様式（Ａ４）の各々は、作業の種類に応じた複数の入力項目（Ｄ１１～Ｄ１４）を含む。音声認識ステップでは、音声データを音声認識することによって、複数の入力項目（Ｄ１１～Ｄ１４）、及び、複数の入力項目（Ｄ１１～Ｄ１４）にそれぞれ入力される複数の入力情報の少なくとも一部を認識する。小黒板選択ステップでは、音声認識ステップでの認識結果に基づいて、複数の小黒板様式（Ａ４）から対象様式を選択する。

この態様によれば、ユーザの入力作業の手間を低減することができる。

第８の態様のプログラムは、第７の態様の情報処理方法を、コンピュータシステムの１以上のプロセッサに実行させるためのプログラムである。

この態様によれば、ユーザの入力作業の手間を低減することができる。

上記態様に限らず、実施形態に係る情報処理システム（１）の種々の構成（変形例を含む）は、情報処理システム（１）が行う情報処理方法、（コンピュータ）プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。

第２～第６の態様に係る構成については、情報処理システム（１）に必須の構成ではなく、適宜省略可能である。

１ 情報処理システム
１２ 記憶部
１３ 取得部
１４ 操作部
１５ 表示部
１６ 撮影部
１１１ 音声認識部
１１２ 小黒板選択部
１１３ 小黒板作成部
Ａ３ 撮影画像
Ａ４ 小黒板様式
Ａ５ 小黒板
Ａ６ 合成画像
Ｄ１１～Ｄ１４ 入力項目

Claims (8)

1. ユーザが発した音声の音声データを取得する取得部と、
   前記音声データに対して音声認識処理を行う音声認識部と、
   複数種類の作業にそれぞれ対応する複数の小黒板様式から対象作業に対応する対象様式を選択する小黒板選択部と、を備え、
   前記複数の小黒板様式の各々は、前記作業の種類に応じた複数の入力項目を含み、
   前記音声認識部は、前記音声データを音声認識することによって、前記複数の入力項目、及び、前記複数の入力項目にそれぞれ入力される複数の入力情報の少なくとも一部を認識し、
   前記小黒板選択部は、前記音声認識部の認識結果に基づいて、前記複数の小黒板様式から前記対象様式を選択する、
   情報処理システム。
2. 前記ユーザの操作を受け付ける操作部を更に備え、
   前記小黒板選択部は、
   前記音声認識部の認識結果に基づいて、前記複数の小黒板様式から前記対象様式の候補である２以上の候補様式を選択し、
   前記２以上の候補様式から前記対象様式を選択する前記ユーザの選択操作を前記操作部が受け付けると、前記選択操作に基づいて前記対象作業に対応する前記対象様式を選択する、
   請求項１に記載の情報処理システム。
3. 前記対象様式に含まれる前記複数の入力項目に前記複数の入力情報をそれぞれ入力して小黒板を作成する小黒板作成部を更に備える、
   請求項１に記載の情報処理システム。
4. 前記音声認識部は、前記音声データを音声認識することによって、前記複数の入力項目に入力される前記複数の入力情報を認識し、
   前記小黒板作成部は、前記音声認識部の認識結果に基づいて、前記複数の入力項目に前記複数の入力情報をそれぞれ入力して前記小黒板を作成する、
   請求項３に記載の情報処理システム。
5. 前記対象工事の工事現場を撮影する撮影部と、
   前記撮影部が撮影した撮影画像と前記小黒板とを合成した合成画像を記憶する記憶部と、を更に備える、
   請求項３に記載の情報処理システム。
6. 前記合成画像を表示する表示部を更に備える、
   請求項５に記載の情報処理システム。
7. ユーザが発した音声の音声データを取得する取得ステップと、
   前記音声データに対して音声認識処理を行う音声認識ステップと、
   複数種類の作業にそれぞれ対応する複数の小黒板様式から対象作業に対応する対象様式を選択する小黒板選択ステップと、を有し、
   前記複数の小黒板様式の各々は、前記作業の種類に応じた複数の入力項目を含み、
   前記音声認識ステップでは、前記音声データを音声認識することによって、前記複数の入力項目、及び、前記複数の入力項目にそれぞれ入力される複数の入力情報の少なくとも一部を認識し、
   前記小黒板選択ステップでは、前記音声認識ステップでの認識結果に基づいて、前記複数の小黒板様式から前記対象様式を選択する、
   情報処理方法。
8. 請求項７に記載の情報処理方法を、コンピュータシステムの１以上のプロセッサに実行させるための、
   プログラム。

Images