JP6973869B2 - Guidance system, guidance method, program - Google Patents

Guidance system, guidance method, program Download PDF

Info

Publication number
JP6973869B2
JP6973869B2 JP2020019650A JP2020019650A JP6973869B2 JP 6973869 B2 JP6973869 B2 JP 6973869B2 JP 2020019650 A JP2020019650 A JP 2020019650A JP 2020019650 A JP2020019650 A JP 2020019650A JP 6973869 B2 JP6973869 B2 JP 6973869B2
Authority
JP
Japan
Prior art keywords
guidance
user
detection target
captured image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020019650A
Other languages
Japanese (ja)
Other versions
JP2021122638A (en
Inventor
義訓 白神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2020019650A priority Critical patent/JP6973869B2/en
Publication of JP2021122638A publication Critical patent/JP2021122638A/en
Application granted granted Critical
Publication of JP6973869B2 publication Critical patent/JP6973869B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Description

本発明は、誘導システム、誘導方法、プログラムに関する。 The present invention relates to a guidance system, a guidance method, and a program.

視覚障害者は、プライベートな空間であっても、その空間に配置されている備品や機器の設置位置や、使い方を、他者の支援によって認識する必要がある場合が多い。このような視覚障害者等の人の支援に利用される技術が、特許文献１や特許文献２に開示されている。 Even in a private space, visually impaired people often need to recognize the installation position and usage of equipment and devices placed in the space with the support of others. Patent Document 1 and Patent Document 2 disclose techniques used to support such visually impaired persons.

特許文献１には、歩行者の現在位置を把握し、その位置に応じた道案内を行う歩行誘導システムの技術が開示されている。
特許文献２には、空間において使用者を安全且つ正確に誘導する音声案内装置の技術が開示されている。 Patent Document 1 discloses a technique of a walking guidance system that grasps the current position of a pedestrian and provides directions according to the position.
Patent Document 2 discloses a technique of a voice guidance device that guides a user safely and accurately in a space.

特開２００５−３１８４６号公報Japanese Unexamined Patent Publication No. 2005-31846 特開２００８−５５０７１号公報Japanese Unexamined Patent Publication No. 2008-55071

トイレなどのプライベートな空間において他者の案内を受けることの心理的抵抗感を軽減するために自動音声などで視覚障害者を案内することが検討されている。しかしながら無人で視覚障害者を案内するためには多くの機器を空間に設置する必要がある。従って、より少ない機器を用いて、視覚障害者の空間における備品や機器の設置位置や使い方の案内をできる仕組みが求められている。 In order to reduce the psychological resistance of receiving guidance from others in a private space such as a toilet, it is being considered to guide visually impaired people by automatic voice or the like. However, in order to guide the visually impaired unmanned, it is necessary to install many devices in the space. Therefore, there is a need for a mechanism that can guide the installation position and usage of equipment and devices in the space of the visually impaired by using fewer devices.

そこでこの発明は、上述の課題を解決する誘導システム、誘導方法、プログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide a guidance system, a guidance method, and a program that solve the above-mentioned problems.

本発明の第１の態様によれば、誘導システムは、ユーザが位置する空間の撮影画像を取得する撮影画像取得手段と、前記撮影画像に映る検出対象物を検出する検出手段と、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段と、を備えることを特徴とする。 According to the first aspect of the present invention, the guidance system includes a photographed image acquisition means for acquiring a photographed image of a space in which a user is located, a detection means for detecting a detection object reflected in the photographed image, and the photographed image. Guidance information indicating the state of the detection target in the above, which assists the user in using the detection target, the first voice information corresponding to the detection result of the detection target, and the method of using the detection target. It is characterized by comprising a guidance information generation means for generating the guidance information including the second voice information obtained by voice-converting the explanatory information.

本発明の第２の態様によれば、誘導方法は、ユーザが位置する空間の撮影画像を取得し、前記撮影画像に映る検出対象物を検出し、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成することを特徴とする。 According to the second aspect of the present invention, the guidance method acquires a photographed image of the space in which the user is located, detects a detection object reflected in the photographed image, and determines the state of the detection object in the photographed image. Guidance information that assists the user in using the detection target, which is voice-converted from the first voice information corresponding to the detection result of the detection target and the explanatory information on how to use the detection target. It is characterized in that the guidance information including the voice information is generated.

本発明の第３の態様によれば、プログラムは、誘導システムが有する誘導装置のコンピュータを、ユーザが位置する空間の撮影画像を取得する撮影画像取得手段、前記撮影画像に映る検出対象物を検出する検出手段、前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段、として機能させることを特徴とする。 According to the third aspect of the present invention, the program detects a captured image acquisition means for acquiring a captured image of the space in which the user is located, and a detection target reflected in the captured image, using the computer of the guidance device included in the guidance system. The detection means, the guidance information that assists the user in using the detection target, which indicates the state of the detection target in the captured image, and the first voice information corresponding to the detection result of the detection target, and the said. It is characterized in that it functions as a guidance information generation means for generating the guidance information including the second voice information obtained by voice-converting the explanatory information of the usage method of the detection target.

本発明によれば、少ない機器を用いて、視覚障害者の空間における備品や機器の設置位置や使い方の案内をできる仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism capable of guiding the installation position and usage of equipment and devices in a space for the visually impaired by using a small number of devices.

本発明の一実施形態による誘導システムの構成を示すブロック図である。It is a block diagram which shows the structure of the guidance system by one Embodiment of this invention. 本発明の一実施形態による誘導装置のハードウェア構成図である。It is a hardware block diagram of the induction device by one Embodiment of this invention. 本発明の一実施形態による誘導装置の機能ブロック図である。It is a functional block diagram of the guidance device by one Embodiment of this invention. 本発明の一実施形態による誘導装置の処理フローを示す第一の図である。It is the first figure which shows the processing flow of the guidance apparatus by one Embodiment of this invention. 本発明の一実施形態による誘導システムの最小構成を示す図である。It is a figure which shows the minimum structure of the guidance system by one Embodiment of this invention. 本発明の一実施形態による最小構成の誘導システムの処理フローを示す図である。It is a figure which shows the processing flow of the guidance system of the minimum structure by one Embodiment of this invention.

以下、本発明の一実施形態による誘導システムを図面を参照して説明する。
図１は、本実施形態による誘導システムの構成を示すブロック図である。
この図で示すように、誘導システム１００は、少なくとも誘導装置１を含んで構成される。誘導装置１は、ユーザが携帯する携帯端末２と通信接続する。 Hereinafter, a guidance system according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a guidance system according to the present embodiment.
As shown in this figure, the guidance system 100 includes at least a guidance device 1. The guidance device 1 communicates with the mobile terminal 2 carried by the user.

誘導装置１は、ユーザが位置する空間の撮影画像を携帯端末２から取得して、その撮影画像に映る検出対象物を検出し、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する。誘導装置１は誘導情報を携帯端末２へ送信する。携帯端末２は誘導装置１から受信した誘導情報を出力する。ユーザは誘導情報に基づいて検出対象物を利用するための補助を受ける。 The guidance device 1 acquires a photographed image of the space in which the user is located from the mobile terminal 2, detects the detection object reflected in the photographed image, and indicates the state of the detection object in the photographed image. Generate guidance information to help use. The guidance device 1 transmits guidance information to the mobile terminal 2. The mobile terminal 2 outputs the guidance information received from the guidance device 1. The user is assisted in using the detected object based on the guidance information.

本実施形態においてユーザは視覚障害者でありユーザが位置する空間はトイレであるとする。当該ユーザは、トイレに到着した場合、携帯端末２を操作してトイレ空間を撮影する。携帯端末２は、トイレ内の空間を撮影した撮影画像を誘導装置１へ送信する。誘導装置１は、検出対象物である便器や各種操作スイッチ（操作子）が設けられた設置型リモコンを撮影画像から検出し、それら検出対象物に関する誘導情報を生成して、携帯端末２へ送信する。誘導情報は、例えばトイレ空間におけるユーザの向きを基準とした便器や設置型リモコンの位置などであってよい。撮影画像はトイレ以外の他の空間の撮影画像であり、誘導装置１は他の空間の撮影画像の中から検出対象物を検出し、その検出対象物に関する誘導情報を生成する装置であってもよい。 In the present embodiment, it is assumed that the user is a visually impaired person and the space in which the user is located is a toilet. When the user arrives at the toilet, he / she operates the mobile terminal 2 to take a picture of the toilet space. The mobile terminal 2 transmits a photographed image of the space in the toilet to the guidance device 1. The guidance device 1 detects a toilet bowl that is a detection target and a stationary remote controller provided with various operation switches (operators) from the captured image, generates guidance information about those detection targets, and transmits the guidance information to the mobile terminal 2. do. The guidance information may be, for example, the position of the toilet bowl or the stationary remote controller with respect to the orientation of the user in the toilet space. The captured image is a captured image of a space other than the toilet, and the guidance device 1 is a device that detects an object to be detected from the captured images of the other space and generates guidance information about the detected object. good.

図２は、本実施形態による誘導装置のハードウェア構成図である。
図２で示すように、誘導装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、データベース１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータサーバである。なお携帯端末２も、同様のハードウェア構成を備えたコンピュータである。 FIG. 2 is a hardware configuration diagram of the guidance device according to the present embodiment.
As shown in FIG. 2, the induction device 1 includes hardware such as a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a database 104, and a communication module 105. It is a computer server. The mobile terminal 2 is also a computer having a similar hardware configuration.

図３は、本実施形態による誘導装置の機能ブロック図である。
誘導装置１は、電源が投入されると起動し、予め記憶する誘導プログラムを実行する。これにより誘導装置１は、少なくとも、制御部１１、撮影画像取得部１２、検出部１３、誘導情報生成部１４、出力部１５、記録部１６の各機能を発揮する。 FIG. 3 is a functional block diagram of the guidance device according to the present embodiment.
The guidance device 1 is activated when the power is turned on, and executes a guidance program stored in advance. As a result, the guidance device 1 exerts at least the functions of the control unit 11, the captured image acquisition unit 12, the detection unit 13, the guidance information generation unit 14, the output unit 15, and the recording unit 16.

制御部１１は、誘導装置１の各機能を制御する。
撮影画像取得部１２は、携帯端末２から送信された撮影画像を取得する。
検出部１３は、撮影画像に映る検出対象物を検出する。
誘導情報生成部１４は、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する。
出力部１５は、生成した誘導情報を携帯端末２などの外部装置へ出力する。
記録部１６は、撮影画像が示す空間の属性情報と、その空間に関して生成した誘導情報とを対応付けて記録する。 The control unit 11 controls each function of the guidance device 1.
The captured image acquisition unit 12 acquires a captured image transmitted from the mobile terminal 2.
The detection unit 13 detects an object to be detected reflected in the captured image.
The guidance information generation unit 14 generates guidance information that helps the user to use the detection target, which indicates the state of the detection target in the captured image.
The output unit 15 outputs the generated guidance information to an external device such as the mobile terminal 2.
The recording unit 16 records the attribute information of the space indicated by the captured image in association with the guidance information generated for the space.

図４は、本実施形態による誘導装置の処理フローを示す図である。
次に、誘導装置の処理フローについて順を追って説明する。
まず上述したようにユーザがトイレの入り口からトイレの空間を、携帯端末２を用いて撮影する。ユーザは撮影が完了すると、携帯端末２に音声を入力し、誘導装置１へ撮影画像を送信するよう指示する。携帯端末２は、音声認識機能を備える。当該音声認識機能は、公知の音声認識技術を用いてよい。携帯端末２は、ユーザから指定された撮影画像の特定をユーザの音声入力操作により行い、当該撮影画像を誘導装置１へ送信する。撮影画像には、携帯端末２に備わる位置センサが検知した位置情報（緯度、経度）が記録されているものとする。 FIG. 4 is a diagram showing a processing flow of the guidance device according to the present embodiment.
Next, the processing flow of the guidance device will be described step by step.
First, as described above, the user photographs the space of the toilet from the entrance of the toilet using the mobile terminal 2. When the shooting is completed, the user inputs voice to the mobile terminal 2 and instructs the guidance device 1 to transmit the shot image. The mobile terminal 2 has a voice recognition function. The voice recognition function may use a known voice recognition technique. The mobile terminal 2 identifies the captured image designated by the user by the user's voice input operation, and transmits the captured image to the guidance device 1. It is assumed that the position information (latitude, longitude) detected by the position sensor provided in the mobile terminal 2 is recorded in the captured image.

誘導装置１の通信モジュール１０５は、携帯端末２の送信した撮影画像を受信する（ステップＳ１０１）。誘導装置１の撮影画像取得部１２は、通信モジュール１０５を介して撮影画像を取得する。撮影画像取得部１２は、撮影画像を検出部１３と記録部１６へ出力する。 The communication module 105 of the guidance device 1 receives the captured image transmitted by the mobile terminal 2 (step S101). The captured image acquisition unit 12 of the guidance device 1 acquires a captured image via the communication module 105. The captured image acquisition unit 12 outputs the captured image to the detection unit 13 and the recording unit 16.

検出部１３は、撮影画像に検出対象物が映っているかを解析する（ステップＳ１０２）。ここで、誘導装置１は、検出対象物の画像を予め記憶する。検出対象物は、上述したように便器、設置型リモコンである。検出部１３は、パターン認識により撮影画像における便器の設置位置と、ユーザの向きを基準とした設置向きを検出する。また検出部１３は、パターン認識により撮影画像における設置型リモコンの設置位置と、ユーザの向きを基準とした設置向きを検出する（ステップＳ１０３）。 The detection unit 13 analyzes whether or not the detection target is reflected in the captured image (step S102). Here, the guidance device 1 stores an image of the detection target in advance. The detection target is a toilet bowl and a stationary remote controller as described above. The detection unit 13 detects the installation position of the toilet bowl in the captured image and the installation orientation based on the orientation of the user by pattern recognition. Further, the detection unit 13 detects the installation position of the installation type remote controller in the captured image and the installation direction based on the user's direction by pattern recognition (step S103).

検出部１３は、便器の種類（洋式または和式）をパターン認識により検出してもよい。
また検出部１３は、便器に取り付けられている水洗レバー（操作子）の便器に対する取付位置を検出してもよい。また検出部１３は、設置型リモコンに設けられたスイッチの数、各操作ボタンの種別（おしり洗浄ボタン、乾燥開始ボタン、水勢強弱変更ボタン、ノズル位置変更ボタン、停止ボタンなど）を検出してもよい。検出部１３は、各ボタンやレバーの操作方法を検出してもよい。検出部１３は、ユーザと便器との間に段差があるか否かを検出してもよい。検出部１３は、ペーパーホルダーの位置を検出してもよい。また検出部１３は、撮影画像に含まれる位置情報を検出する。 Detector 13, the type of toilet (Western formula or squat) may be detected by pattern recognition.
Further, the detection unit 13 may detect the attachment position of the water washing lever (operator) attached to the toilet bowl with respect to the toilet bowl. Further, even if the detection unit 13 detects the number of switches provided on the stationary remote controller and the type of each operation button (buttock washing button, drying start button, water strength change button, nozzle position change button, stop button, etc.). good. The detection unit 13 may detect the operation method of each button or lever. The detection unit 13 may detect whether or not there is a step between the user and the toilet bowl. The detection unit 13 may detect the position of the paper holder. Further, the detection unit 13 detects the position information included in the captured image.

検出部１３は、検出結果を示す情報を誘導情報生成部１４へ出力する。誘導情報生成部１４は検出結果に対応する音声情報をデータベース１０４から取得する。誘導情報生成部１４はそれら音声情報を格納した誘導情報を生成する（ステップＳ１０４）。誘導情報生成部１４は、検出部１３の検出した便器の種類などの検出対象物の識別情報に基づいてデータベース１０４から使用方法の説明情報であって、当該説明情報に記載されている文章を音声変換した音声データを含む説明情報を取得し、その説明情報を誘導情報に格納してもよい。誘導情報生成部１４は、誘導情報を出力部１５へ出力する。また誘導情報生成部１４は、誘導情報と位置情報とを記録部１６へ出力する。出力部１５は、誘導情報を携帯端末２へ送信する（ステップＳ１０５）。記録部１６は、誘導情報と位置情報と撮影画像とを紐づけてデータベース１０４へ記録する（ステップＳ１０６）。 The detection unit 13 outputs information indicating the detection result to the guidance information generation unit 14. The guidance information generation unit 14 acquires voice information corresponding to the detection result from the database 104. The guidance information generation unit 14 generates guidance information in which the voice information is stored (step S104). The guidance information generation unit 14 is explanatory information on how to use from the database 104 based on the identification information of the detection target such as the type of the toilet bowl detected by the detection unit 13, and the text described in the explanatory information is voiced. Explanatory information including the converted voice data may be acquired and the explanatory information may be stored in the guidance information. The guidance information generation unit 14 outputs guidance information to the output unit 15. Further, the guidance information generation unit 14 outputs the guidance information and the position information to the recording unit 16. The output unit 15 transmits the guidance information to the mobile terminal 2 (step S105). The recording unit 16 records the guidance information, the position information, and the captured image in the database 104 in association with each other (step S106).

携帯端末２は、誘導情報を受信する。携帯端末２は誘導情報に含まれる各検出結果に対応する音声情報を、順にスピーカーから音声出力する。これにより、ユーザは、各検出結果の音声情報を聞くことができる。各検出結果の音声情報は、便器の設置位置をユーザに知らせる音声情報、便器のユーザの向きを基準とした設置向きをユーザに知らせる音声情報、撮影画像における設置型リモコンの設置位置をユーザに知らせる音声情報、設置型リモコンのユーザの向きを基準とした設置向きをユーザに知らせる音声情報、便器の種類（洋式または和式）をユーザに知らせる音声情報、便器に取り付けられている水洗レバーの便器に対する位置をユーザに知らせる音声情報、設置型リモコンに設けられたスイッチの数をユーザに知らせる音声情報、各操作ボタンの種別（おしり洗浄ボタン、乾燥開始ボタン、水勢強弱変更ボタン、ノズル位置変更ボタン、停止ボタンなど）をユーザに知らせる音声情報、各ボタンやレバーの操作方法をユーザに知らせる、ユーザと便器との間に段差があるか否かをユーザに知らせる音声情報、ペーパーホルダーの位置をユーザに知らせる音声情報などである。 The mobile terminal 2 receives the guidance information. The mobile terminal 2 sequentially outputs voice information corresponding to each detection result included in the guidance information from the speaker. As a result, the user can hear the voice information of each detection result. The voice information of each detection result is voice information that informs the user of the installation position of the toilet bowl, voice information that informs the user of the installation orientation based on the orientation of the user of the toilet bowl, and informs the user of the installation position of the installation type remote control in the captured image. audio information, voice information notifying installation orientation relative to the orientation to the user of the user of a stationary remote control, voice information indicating the type of toilet (Western formula or squat) to the user, toilet washing lever attached to the toilet bowl Voice information that informs the user of the position with respect to, voice information that informs the user of the number of switches provided on the stationary remote control, types of each operation button (tail wash button, drying start button, water strength change button, nozzle position change button, Voice information that informs the user of (stop button, etc.), voice information that informs the user of how to operate each button and lever, voice information that informs the user whether there is a step between the user and the toilet, and the position of the paper holder to the user. It is voice information to inform.

以上のような音声情報を携帯端末２が出力することで、視覚障害者であるユーザが他者の手助け無くトイレを使用するための誘導情報を、特にトイレに専用の装置を取り付けることなくユーザに伝えることができる。またトイレに専用の装置を取り付ける必要が無いため、低い費用コストで、視覚障害者であるユーザが他人の手助け無くトイレを使用するための誘導情報をユーザに伝えることができる。 By outputting the above voice information from the mobile terminal 2, guidance information for a visually impaired user to use the toilet without the help of others can be provided to the user without attaching a dedicated device to the toilet. I can tell. In addition, since it is not necessary to attach a dedicated device to the toilet, it is possible to convey guidance information for a visually impaired user to use the toilet without the help of another person at a low cost.

上述の処理においてはトイレ空間が撮影画像に映る場合を例に説明したが、誘導装置１は、他の空間が映る撮影画像を用いて、当該撮影画像中の検出対象物を検出し、その検出結果による検出対象物の状態を示す誘導情報を生成してもよい。 In the above processing, the case where the toilet space is reflected in the photographed image has been described as an example, but the guidance device 1 detects an object to be detected in the photographed image by using the photographed image in which another space is reflected, and detects the object. Guidance information indicating the state of the object to be detected may be generated based on the result.

次に上述の検出部１３の処理の詳細について説明する。検出部１３は、撮影画像から便器の設置位置を検出する際には、例えば、パターン認識により、予め記憶する各角度から撮影された複数の便器の画像に一致する物体があるかを判定する。検出部１３は、画像中に便器に一致する物体があると認識した場合には、その物体の撮影画像における位置を判定する。撮影画像は縦横に三等分された各９個の小区画が設定されているとする。検出部１３は、便器が撮影画像の小区画の何れの小区画の識別子を便器の位置についての検出結果と特定する。そして検出部１３は便器の識別情報と、位置を示す撮影画像中の小区画の識別情報とを、便器の位置に関する検出結果として誘導情報生成部１４に出力する。 Next, the details of the processing of the detection unit 13 described above will be described. When detecting the installation position of the toilet bowl from the captured image, the detection unit 13 determines, for example, by pattern recognition whether there is an object that matches the images of the plurality of toilet bowls captured from each angle stored in advance. When the detection unit 13 recognizes that there is an object matching the toilet bowl in the image, the detection unit 13 determines the position of the object in the captured image. It is assumed that the captured image has nine subdivisions divided into three equal parts vertically and horizontally. The detection unit 13 identifies the identifier of any of the subsections of the captured image of the toilet bowl as the detection result for the position of the toilet bowl. Then, the detection unit 13 outputs the identification information of the toilet bowl and the identification information of the small section in the captured image indicating the position to the guidance information generation unit 14 as the detection result regarding the position of the toilet bowl.

この場合、誘導情報生成部１４は、便器の識別情報に紐づいて登録されている便器であることを示す音声情報「便器があります」と、便器の種類「洋式の」を示す音声情報をデータベース１０４から読み取り、また小区画の識別情報に紐づいて登録されている位置を伝えるための音声情報「中央奥側に」をデータベース１０４から読み取る。なお各小区画に対応する位置は、ユーザの位置を基準とする位置である。つまり撮影画像はユーザを基準として携帯端末２により生成された撮影画像であるため、撮影画像中の各小区画の検出対象物の位置は、ユーザの位置を基準とする位置と定義されてよい。ユーザの位置を基準とする検出対象物の位置は、検出対象物の状態の一態様である。誘導情報生成部１４は、これらの音声情報を格納した誘導情報を生成する。携帯端末２はその誘導情報を音声出力した場合、「中央奥側に」「洋式の」「便器があります」という音声情報を繋げて出力する。なお、誘導装置１は、設置型リモコン、設置型リモコン内の各操作ボタンペーパーホルダー、水洗レバーなどの位置についても同様に検出結果を出力し、対応する音声情報を含む誘導情報を生成する。 In this case, the guidance information generation unit 14, the speech information "there is a toilet," indicating that the toilet bowl which is registered in tied to the identification information of the toilet bowl, the audio information indicating the type of the toilet "Hiroshi formula" It is read from the database 104, and the voice information "on the back side of the center" for conveying the position registered in association with the identification information of the small section is read from the database 104. The position corresponding to each subsection is a position based on the position of the user. That is, since the captured image is a captured image generated by the mobile terminal 2 with reference to the user, the position of the detection target in each subsection in the captured image may be defined as a position with reference to the position of the user. The position of the detection object with respect to the position of the user is one aspect of the state of the detection object. The guidance information generation unit 14 generates guidance information in which these voice information is stored. If the mobile terminal 2 is that the audio output the guidance information, and outputs by connecting the audio information "in the center rear side""of the Western type,""There is a toilet." The guidance device 1 also outputs detection results for the positions of the stationary remote controller, each operation button paper holder in the stationary remote controller, the washing lever, and the like, and generates guidance information including the corresponding voice information.

また検出部１３は、パターン認識により、撮影画像から便器の設置向きを検出する際には、例えば、パターン認識により、予め記憶する各角度から撮影された複数の便器の画像に一致する物体があるかを判定する。検出部１３は、画像中に便器に一致する物体があると認識した場合には、その物体があると認識した処理に用いた便器の画像の識別子を判定する。当該画像に紐づいて予め向きの情報をデータベース１０４が記憶する。なお画像中の検出対象物の角度に対応する向きは、ユーザの位置を基準とする向きである。つまり撮影画像はユーザを基準として携帯端末２により生成された撮影画像であるため、撮影画像中に示す検出対象物の角度に対応する当該検出対象物の向きは、ユーザの位置を基準とする向きと定義されてよい。ユーザの向きを基準とする検出対象物の向きは、検出対象物の状態の一態様である。 Further, when the detection unit 13 detects the installation direction of the toilet bowl from the captured image by pattern recognition, for example, there is an object that matches the images of the plurality of toilet bowls captured from each angle stored in advance by pattern recognition. Is determined. When the detection unit 13 recognizes that there is an object matching the toilet bowl in the image, the detection unit 13 determines the identifier of the image of the toilet bowl used for the process of recognizing that the object is present. The database 104 stores the orientation information in advance in association with the image. The orientation corresponding to the angle of the detection object in the image is the orientation with respect to the position of the user. That is, since the captured image is a captured image generated by the mobile terminal 2 with reference to the user, the orientation of the detection target corresponding to the angle of the detection object shown in the captured image is the orientation with reference to the user's position. May be defined as. The orientation of the detection object with respect to the orientation of the user is one aspect of the state of the detection object.

検出部１３は、便器の向きの情報を、画像の識別情報に基づいてデータベース１０４から取得し、検出結果と特定する。そして検出部１３は便器の識別情報と、便器の向きの情報とを、便器の設置向きに関する検出結果として誘導情報生成部１４に出力する。この場合、誘導情報生成部１４は、便器の識別情報に紐づいて登録されている便器であることを示す音声情報「便器が」と、便器の設置向き「正面を向いています」を示す音声情報をデータベース１０４から読み取る。誘導情報生成部１４は、これらの音声情報を格納した誘導情報を生成する。携帯端末２はその誘導情報を音声出力した場合、「便器が」「正面を向いています」という音声情報を繋げて出力する。なお、誘導装置１は、設置型リモコン、設置型リモコン内の各操作ボタンペーパーホルダー、水洗レバーなどの設置向きについても同様に検出結果を出力し、対応する音声情報を含む誘導情報を生成する。なお操作方法については、検出対象物の識別情報に対応する操作方法の音声情報が予めデータベース１０４に記録されており、誘導情報生成部１４が検出部１３から出力された検出結果から取得した検出対象物の識別情報に基づいて、対応する音声情報を取得する。 The detection unit 13 acquires information on the orientation of the toilet bowl from the database 104 based on the identification information of the image, and identifies it as a detection result. Then, the detection unit 13 outputs the identification information of the toilet bowl and the information on the orientation of the toilet bowl to the guidance information generation unit 14 as a detection result regarding the installation orientation of the toilet bowl. In this case, the guidance information generation unit 14 has voice information "toilet bowl" indicating that the toilet bowl is registered in association with the identification information of the toilet bowl, and voice indicating "facing the front" for the installation of the toilet bowl. Read information from database 104. The guidance information generation unit 14 generates guidance information in which these voice information is stored. When the mobile terminal 2 outputs the guidance information by voice, the mobile terminal 2 connects and outputs the voice information that "the toilet bowl is facing the front". The guidance device 1 also outputs detection results for the installation orientation of the stationary remote controller, each operation button paper holder in the stationary remote controller, the washing lever, and the like, and generates guidance information including the corresponding voice information. Regarding the operation method, the voice information of the operation method corresponding to the identification information of the detection target is recorded in the database 104 in advance, and the detection target acquired by the guidance information generation unit 14 from the detection result output from the detection unit 13. Acquires the corresponding voice information based on the object identification information.

上述の処理において、検出部１３は予め記憶する検出対象物の画像と、撮影画像中の物体とのパターン認識により便器などの所定の検出対象物が画像に含まれるかを判定している。しかしながら検出部１３は、機械学習アルゴリズムにより生成された判定モデルに撮影画像を入力し、その結果出力された出力結果に基づいて、撮影画像に検出対象物が含まれるかを判定してもよい。例えば便器判定モデルは、ある特定の便器が映る撮影画像を入力とし、当該特定の便器を出力とした複数の入力と出力の関係を教師有り学習手法により学習して生成した便器判定モデルを記憶する。検出部１３は、この便器判定モデルに撮影画像を入力した結果、所定の便器であることを示す情報を出力した場合、この撮影画像にある特定の便器が映ることを判定してもよい。同様に、検出部１３は、どうようの手法により生成された判定モデルに撮影画像を入力した結果に基づいて、検出対象物の向きや、検出対象物の位置を特定するようにしてもよい。 In the above process, the detection unit 13 determines whether or not a predetermined detection target such as a toilet bowl is included in the image by pattern recognition between the image of the detection target stored in advance and the object in the captured image. However, the detection unit 13 may input a captured image into the determination model generated by the machine learning algorithm and determine whether or not the captured image includes a detection target based on the output result output as a result. For example, the toilet bowl judgment model stores a toilet bowl judgment model generated by learning a relationship between a plurality of inputs and outputs using a specific toilet bowl as an output and using a supervised learning method. .. When the detection unit 13 outputs information indicating that the toilet bowl is a predetermined toilet as a result of inputting a captured image into the toilet bowl determination model, the detection unit 13 may determine that a specific toilet bowl is displayed in the captured image. Similarly, the detection unit 13 may specify the orientation of the detection target and the position of the detection target based on the result of inputting the captured image into the determination model generated by any method.

図５は誘導システムの最小構成を示す図である。
図６は最小構成の誘導システムによる処理フローを示す図である。
誘導システム１００は、少なくとも、撮影画像取得手段１２１、検出手段１３１、誘導情報生成手段１４１を備える。
撮影画像取得手段１２１は、ユーザが位置する空間の撮影画像を取得する（ステップＳ６０１）。
検出手段１３１は、撮影画像に映る検出対象物を検出する（ステップＳ６０２）。
誘導情報生成手段１４１は、撮影画像における検出対象物の状態を示すユーザの検出対象物の利用を助ける誘導情報を生成する（ステップＳ６０３）。 FIG. 5 is a diagram showing the minimum configuration of the guidance system.
FIG. 6 is a diagram showing a processing flow by a guidance system having a minimum configuration.
The guidance system 100 includes at least a captured image acquisition unit 121, a detection unit 131, and a guidance information generation unit 141.
The captured image acquisition means 121 acquires a captured image of the space in which the user is located (step S601).
The detection means 131 detects an object to be detected reflected in the captured image (step S602).
The guidance information generation means 141 generates guidance information that assists the user in using the detection target that indicates the state of the detection target in the captured image (step S603).

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 Each of the above-mentioned devices has a computer system inside. The process of each process described above is stored in a computer-readable recording medium in the form of a program, and the process is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Further, this computer program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned function in combination with a program already recorded in the computer system.

１・・・誘導装置
２・・・携帯端末
１１・・・制御部
１２・・・撮影画像取得部（撮影画像取得手段１２１）
１３・・・検出部（検出手段１３１）
１４・・・誘導情報生成部（誘導情報生成手段１４１）
１５・・・出力部
１６・・・記録部 1 ... Guidance device 2 ... Mobile terminal 11 ... Control unit 12 ... Photographed image acquisition unit (photographed image acquisition means 121)
13 ... Detection unit (detection means 131)
14 ... Guidance information generation unit (guidance information generation means 141)
15 ... Output unit 16 ... Recording unit

Claims (9)

ユーザが位置する空間の撮影画像を取得する撮影画像取得手段と、
前記撮影画像に映る検出対象物を検出する検出手段と、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段と、
を備える誘導システム。 A captured image acquisition means for acquiring a captured image of the space in which the user is located, and
A detection means for detecting an object to be detected reflected in the captured image,
Guidance information indicating the state of the detection target in the captured image to help the user to use the detection target, the first voice information corresponding to the detection result of the detection target, and the detection target. Guidance information generation means for generating the guidance information including the second voice information obtained by voice-converting the explanation information of the usage method, and
Guidance system with. 前記誘導情報生成手段は、前記撮影画像における前記検出対象物の状態を示す、前記空間における前記ユーザの位置を基準とした前記検出対象物の位置を前記ユーザに通知する誘導情報を生成する
請求項１に記載の誘導システム。 The guidance information generating means claims to generate guidance information indicating the state of the detection object in the captured image and notifying the user of the position of the detection target with respect to the position of the user in the space. The guidance system according to 1. 前記誘導情報生成手段は、前記撮影画像における前記検出対象物の状態を示す、前記空間における前記ユーザの向きを基準とした前記検出対象物の向きを前記ユーザに通知する誘導情報を生成する
請求項１または請求項２に記載の誘導システム。 The guidance information generating means claims to generate guidance information indicating the state of the detection object in the captured image and notifying the user of the direction of the detection target with reference to the orientation of the user in the space. 1 or the guidance system according to claim 2. 前記誘導情報生成手段は、前記撮影画像において区分けした複数の区画のうち前記検出対象物を検出した区画の前記撮影画像内の位置と、前記検出対象物について異なる角度から撮影した画像との比較に基づいて、前記検出対象物の設置位置と、前記ユーザの向きを基準とした前記検出対象物の向きとを前記ユーザに音声で通知する音声情報を含む誘導情報を生成する The guidance information generating means compares the position of the section in which the detection target is detected in the captured image among the plurality of sections divided in the captured image with the images captured from different angles of the detection object. Based on this, guidance information including voice information for notifying the user of the installation position of the detection target and the orientation of the detection target with respect to the orientation of the user by voice is generated.
請求項３に記載の誘導システム。 The guidance system according to claim 3. 前記誘導情報生成手段は、前記検出対象物の種類を前記ユーザに通知する誘導情報を生成する
請求項１から請求項４の何れか一項に記載の誘導システム。 The guidance system according to any one of claims 1 to 4 , wherein the guidance information generation means generates guidance information for notifying the user of the type of the detection target. 前記誘導情報生成手段は、前記検出対象物に設けられた操作子の種類、取付位置、操作方法の少なくとも一つを前記ユーザに説明する誘導情報を生成する
請求項１から請求項５の何れか一項に記載の誘導システム。 The guidance information generation means is any one of claims 1 to 5 , which generates guidance information for explaining at least one of the type, mounting position, and operation method of the actuator provided on the detection object to the user. The guidance system according to paragraph 1. 前記空間における出力装置に前記誘導情報を出力する
請求項１から請求項６の何れか一項に記載の誘導システム。 The guidance system according to any one of claims 1 to 6, which outputs the guidance information to an output device in the space. ユーザが位置する空間の撮影画像を取得し、
前記撮影画像に映る検出対象物を検出し、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する
誘導方法。 Acquires the captured image of the space where the user is located and
The detection target reflected in the captured image is detected,
Guidance information indicating the state of the detection target in the captured image to help the user to use the detection target, the first voice information corresponding to the detection result of the detection target, and the detection target. A guidance method for generating the guidance information including the second voice information obtained by voice-converting the explanation information of the usage method. 誘導システムが有する誘導装置のコンピュータを、
ユーザが位置する空間の撮影画像を取得する撮影画像取得手段、
前記撮影画像に映る検出対象物を検出する検出手段、
前記撮影画像における前記検出対象物の状態を示す前記ユーザの前記検出対象物の利用を助ける誘導情報であって、前記検出対象物の検出結果に対応する第一音声情報と、前記検出対象物の使用方法の説明情報を音声変換した第二音声情報とを含む前記誘導情報を生成する誘導情報生成手段、
として機能させるプログラム。 The computer of the guidance device of the guidance system,
Photographed image acquisition means for acquiring captured images of the space in which the user is located,
A detection means for detecting an object to be detected reflected in the captured image,
Guidance information indicating the state of the detection target in the captured image to help the user to use the detection target, the first voice information corresponding to the detection result of the detection target, and the detection target. Guidance information generation means for generating the guidance information including the second voice information obtained by voice-converting the explanation information of the usage method.
A program that functions as.
JP2020019650A 2020-02-07 2020-02-07 Guidance system, guidance method, program Active JP6973869B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020019650A JP6973869B2 (en) 2020-02-07 2020-02-07 Guidance system, guidance method, program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020019650A JP6973869B2 (en) 2020-02-07 2020-02-07 Guidance system, guidance method, program

Publications (2)

Publication Number Publication Date
JP2021122638A JP2021122638A (en) 2021-08-30
JP6973869B2 true JP6973869B2 (en) 2021-12-01

Family

ID=77459797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020019650A Active JP6973869B2 (en) 2020-02-07 2020-02-07 Guidance system, guidance method, program

Country Status (1)

Country Link
JP (1) JP6973869B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59214448A (en) * 1983-05-23 1984-12-04 日本電気環境エンジニアリング株式会社 Sound guide system for sight disabled person
JPH11305651A (en) * 1998-04-23 1999-11-05 Olympus Optical Co Ltd Touch drawing plate for visually handicapped person
JP2004350041A (en) * 2003-05-22 2004-12-09 Fuji Photo Film Co Ltd Mobile phone with camera
GB201103200D0 (en) * 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
JP2016063305A (en) * 2014-09-16 2016-04-25 株式会社日立ビルシステム Guiding device for visually impaired person
KR101845754B1 (en) * 2017-01-09 2018-04-05 주식회사 아이트릭스테크놀로지 Independence walking guidance device for visually handicapped person
JP6500139B1 (en) * 2018-03-01 2019-04-10 和夫 金子 Visual support device

Also Published As

Publication number Publication date
JP2021122638A (en) 2021-08-30

Similar Documents

Publication Publication Date Title
US10853629B2 (en) Method for identifying a user entering an autonomous vehicle
JP6520878B2 (en) Voice acquisition system and voice acquisition method
JP4624577B2 (en) Human interface system with multiple sensors
JP5690113B2 (en) Autonomous mobile service provision system
EP1796079B1 (en) Mobile robot equipped with an interface apparatus for communicating with a wireless tag
JP5779641B2 (en) Information processing apparatus, method, and program
JP6261197B2 (en) Display control apparatus, display control method, and program
JP2004504675A (en) Pointing direction calibration method in video conferencing and other camera-based system applications
CN110386515B (en) Method for controlling elevator stop floor based on artificial intelligence and related equipment
US11729501B2 (en) Imaging control system, imaging control method, control device, control method, and storage medium
JP2013167986A (en) Image recognition system and image recognition method
JP2015041323A (en) Processor
JP6973869B2 (en) Guidance system, guidance method, program
JP2022105553A (en) Information processing device, information processing method, and program
JP2018072030A (en) On-vehicle device and method for specifying portable terminal
JP2001067098A (en) Person detecting method and device equipped with person detecting function
US20190026939A1 (en) Systems and methods for blind and visually impaired person environment navigation assistance
KR101553522B1 (en) Robot and method thereof
WO2019187288A1 (en) Information processing device, data generation method, and non-transient computer-readable medium whereon program has been stored
KR20210029388A (en) Object detection and guidance system for people with visual impairment
JP2001148843A (en) Image pickup device and criminal prevention system using the image pickup device
CN111077990B (en) Method for determining content to be read on spot and learning equipment
JP7172120B2 (en) Speech recognition device and speech recognition method
JP2010122881A (en) Terminal device
JP2008040581A (en) Terminal device, and system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211028

R150 Certificate of patent or registration of utility model

Ref document number: 6973869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150