JP6455866B2 - Monitoring device, monitoring method, and program - Google Patents
Monitoring device, monitoring method, and program Download PDFInfo
- Publication number
- JP6455866B2 JP6455866B2 JP2014070722A JP2014070722A JP6455866B2 JP 6455866 B2 JP6455866 B2 JP 6455866B2 JP 2014070722 A JP2014070722 A JP 2014070722A JP 2014070722 A JP2014070722 A JP 2014070722A JP 6455866 B2 JP6455866 B2 JP 6455866B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- gesture
- sound
- similarity
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims description 136
- 238000000034 method Methods 0.000 title claims description 19
- 238000012806 monitoring device Methods 0.000 title description 28
- 238000003384 imaging method Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 37
- 238000004458 analytical method Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000001629 suppression Effects 0.000 description 9
- 238000010191 image analysis Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Description
本発明は、監視装置、監視方法、及びプログラムに関する。 The present invention, monitoring apparatus, monitoring method and a program.
撮像装置を搭載し、走行状況を録画したり、撮像装置から得た画像に基づいてブレーキを掛けたりする自動車が増えている。
特許文献１には、関連する技術として、物体を検出しその物体が異常な動作をする場合に危険物体として運転手に通知する技術が記載されている。
An increasing number of automobiles are equipped with an imaging device to record a driving situation and to apply a brake based on an image obtained from the imaging device.
Japanese Patent Application Laid-Open No. 2005-228561 describes a related technology that detects an object and notifies the driver as a dangerous object when the object performs an abnormal operation.
ところで、例えば、タクシーなどの移動体の運転手は、移動中の周囲の状況や周囲の人物が示す報知情報を見逃してしまうことにより、危険な状況や乗客を見逃すことによる損失を招く場合がある。そのため、移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知する技術が求められていた。 By the way, for example, a driver of a moving body such as a taxi may cause a loss due to missing a dangerous situation or a passenger by missing a surrounding situation during movement or notification information indicated by a surrounding person. . Therefore, a technique for detecting a person showing a predetermined intention in a moving body and notifying the driver of the person has been demanded.
そこでこの発明は、上記の課題を解決することのできる監視装置、監視方法、及びプログラムを提供することを目的としている。 Therefore the invention aims to provide a monitoring device, monitoring method, and a program which can solve the above problems.
上記目的を達成するために、本発明は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定部と、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御部と、前記ジェスチャ判定部によるジェスチャの類似度が低い場合、前記移動体の速度を低減する移動体制御装置を備える監視装置である。 In order to achieve the above object, the present invention extracts a person from an acquired image acquired by an imaging device attached to a moving body, and determines whether or not the person's gesture indicates a predetermined gesture. When the extracted person gesture is the predetermined gesture, the output control unit that controls to highlight the person image when the acquired image is displayed, and the gesture similarity by the gesture determination unit is low. In this case, the monitoring device includes a moving body control device that reduces the speed of the moving body .
また本発明は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定し、
抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御し、ジェスチャの類似度が低い場合、前記移動体の速度を低減するよう制御する監視方法である。
Further, the present invention extracts a person from an acquired image acquired by an imaging device attached to a moving body, determines whether the gesture of the person shows a predetermined gesture,
When the extracted gesture of the person is the predetermined gesture, the image of the person is controlled to be highlighted when the acquired image is displayed. When the similarity of the gesture is low, the speed of the moving body is reduced . It is a monitoring method to control.
また本発明は、監視装置のコンピュータを、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定手段と、抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御手段と、ジェスチャの類似度が低い場合、前記移動体の速度を低減する移動体制御手段として機能させるためのプログラムである。
According to another aspect of the present invention, there is provided a gesture determination unit that extracts a person from an acquired image acquired by an imaging apparatus attached to a moving body, and determines whether or not the person's gesture indicates a predetermined gesture. When the extracted person gesture is the predetermined gesture, the output control means for controlling the person image to be highlighted when the acquired image is displayed, and when the similarity of the gesture is low, It is a program for functioning as a moving body control means for reducing the speed .
本発明の監視装置の処理により、移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知することができる。 By the processing of the monitoring device of the present invention, a person showing a predetermined intention can be detected in the moving body and the person can be notified to the driver.
図１は、本発明の監視装置１０の最小構成の一例を示す図である。
本発明の監視装置１０は、図１で示すように、少なくともジェスチャ判定部１０１と、出力制御部１０２と、を備える。
監視装置１０が備えるジェスチャ判定部１０１は、移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出する。ジェスチャ判定部１０１は、当該人物のジェスチャが所定のジェスチャを示すか否かを判定する。
出力制御部１０２は、抽出した人物のジェスチャが所定のジェスチャである場合、取得画像の表示時において人物の画像を強調表示するよう制御する。
FIG. 1 is a diagram illustrating an example of a minimum configuration of a monitoring apparatus 10 according to the present invention.
As shown in FIG. 1, the monitoring device 10 of the present invention includes at least a
The
When the extracted person gesture is a predetermined gesture, the
＜第一の実施形態＞
図２は、本発明の第一の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
本発明の第一の実施形態による監視システム１は、図２で示すように、監視装置１０と、出力部２０と、撮像装置３０とを備える。
<First embodiment>
FIG. 2 is a diagram illustrating an example of the configuration of the
As shown in FIG. 2, the
監視装置１０は、ジェスチャ判定部１０１と、出力制御部１０２と、記憶部１０３とを備える。
記憶部１０３は、監視装置１０が行う処理に必要な種々の情報を記憶する記憶部である
出力部２０は、表示部２０１を備える。表示部２０１は、意思を示す人物に係る情報を示す画像や文字などを表示する。例えば、表示部２０１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を備えるディスプレイなどである。
撮像装置３０は、画像を取得する。撮像装置３０は、タクシーなどの移動体に取り付けられる。
The monitoring device 10 includes a
The
The
図３は、本発明の第一の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図３は、タクシーが撮像装置３０を取り付けて走行する様子を示している。また、図３は、タクシーの走行中に撮像装置３０が撮影する画像と、判定結果とを出力する出力部２０を示している。
FIG. 3 is a diagram illustrating an example in which the
FIG. 3 shows a taxi traveling with the
例えば、図３で示すように、タクシーが左車線（走行帯の領域）を走行中に、複数の撮像装置３０は、前方、側面、及び後方を撮影する。監視システム１は、複数の撮像装置３０のそれぞれが撮影した画像を解析する。監視システム１は、路側帯（走行帯の領域を除く領域）に人物Ａ、Ｂ、Ｃ、及びＤを検出する。監視システム１は、画像解析を行い、人物Ａ、Ｂ、Ｃ、及びＤのそれぞれが所定のジェスチャを行っているか否かを判定する。例えば、監視システム１は、人物Ａ、Ｂ、Ｃ、及びＤのそれぞれの人物画像を複数のブロックに分割し、各ブロックにおけるＨＯＧ（Ｈｉｓｔoｇｒａｍs ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴と手を挙げている人物画像のＨＯＧ特徴とが所定の類似度を超えるか否かを判定する。監視システム１は、人物ＡとＤが手を挙げていると判定した場合、前方の路側帯に検出した人物Ａ、Ｂ、及びＣの画像を表示部２０１に表示し、手を挙げている人物Ａを表示部２０１に強調して表示する。また、監視システム１は、表示部２０１に表示する簡略化した地図上に、タクシーの位置と共に、手を挙げている人物Ａの位置と人物Ｄの位置とハイライトなどで表示する。
なお、それぞれの人物の位置は、例えば、画像上の人物位置に応じて予め設定したタクシーの位置を基準とした推定位置である。
また、監視システム１がＨＯＧ特徴を用いて人物を検出するのは一例であり、人物を適切に検出できれば、どのような検出であってもよい。
For example, as shown in FIG. 3, while the taxi is traveling in the left lane (traveling zone region), the plurality of
The position of each person is, for example, an estimated position based on a taxi position set in advance according to the person position on the image.
In addition, the
図４は、本発明の第一の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図４を用いて、第一の実施形態による監視システム１の処理を説明する。
なお、ここでは、第一の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。
FIG. 4 is a diagram illustrating an example of a processing flow of the
Next, processing of the
Here, the process of the
タクシーが取り付けている撮像装置３０は、タクシーの進行方向の道路領域を除く前方、側面、及び後方の領域（走行帯の領域を除く領域）を撮影する（ステップＳ１；画像入力）。撮像装置３０は、撮影した撮影画像（取得した取得画像）を監視装置１０に出力する。
The
監視装置１０が備えるジェスチャ判定部１０１は、撮像装置３０から撮影画像を入力すると、入力した撮影画像から人物を抽出する（ステップＳ２）。
例えば、ジェスチャ判定部１０１は、予め記憶した人物の特徴を示す目や鼻や口などの特徴情報と、撮影画像が示す顔の特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以下であると判定した場合、人物は撮影されていないと判定する（ステップＳ２、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、撮影画像においてその類似を示す箇所に人物が撮影されていると判定する（ステップＳ２、ＹＥＳ）。
When the captured image is input from the
For example, the
If the
ジェスチャ判定部１０１は、人物が撮影されていると判定した場合、その人物が所定のジェスチャを行っているか否かを判定する（ステップＳ３）。
例えば、ジェスチャ判定部１０１は、予め記憶した人物が手を挙げるジェスチャを示すＨＯＧ特徴情報と、撮影されている人物の撮影画像が示すジェスチャのＨＯＧ特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以下であると判定した場合、人物は手を挙げていない（所定のジェスチャを行っていない）と判定する（ステップＳ３、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、人物が手を挙げている（所定のジェスチャを行っている）と判定する（ステップＳ３、ＹＥＳ）。
なお、撮像装置３０の撮影位置と所定のジェスチャを行う人物との相対的な位置関係は変化する。そのため、ジェスチャ判定部１０１は、その相対的な位置関係の変化の影響を受けないように画像を補正するものである。
If it is determined that the person is photographed, the
For example, the
In addition, when the
Note that the relative positional relationship between the shooting position of the
ジェスチャ判定部１０１は、人物が所定のジェスチャを行っていると判定した場合、撮影画像において人物が映し出されている箇所に係る情報（以下、「人物画像情報」）を出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から人物画像情報を入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に強調表示させる（ステップＳ４）。例えば、出力制御部１０２は、人物画像情報が示す撮影画像における人物の周囲を四角形の赤色の枠や四角形の黄色の背景などタクシーの運転手が視認し易い色や形状などで表示する。また、例えば、ジェスチャ判定部１０１がタクシーの後方を撮影した撮影画像において所定のジェスチャを行う人物を検出した場合、図３で示したように、出力制御部１０２は、簡易化した地図上に、タクシーの位置と共に、所定のジェスチャを行った人物の位置を表示させても良い。例えば、人物の位置は、画像上の人物位置に応じて予め設定したタクシーの位置を基準とした推定位置である。なお、出力制御部１０２は、タクシーの後方を撮影した撮影画像において検出した人物を表示部２０１におけるポップアップ表示により運転手に報知するものであっても良い。例えば、出力制御部１０２は、タクシーの後方を撮影した撮影画像において所定のジェスチャを行う人物を検出した場合、「後方にお客様がいます」などの文字を表示部２０１にポップアップ表示するものであっても良い。
If the
When the person image information is input from the
以上、第一の実施形態による監視システム１の処理について説明した。第一の実施形態による監視システム１が備える監視装置１０よれば、ジェスチャ判定部１０１は、タクシー（移動体）に取り付けられた撮像装置３０によって撮影された撮影画像から人物を抽出する。ジェスチャ判定部１０１は、人物のジェスチャが所定のジェスチャを示すか否かを判定する。出力制御部１０２は、抽出した人物のジェスチャが所定のジェスチャである場合、取得画像の表示時において抽出した人物の画像を強調表示するよう制御する。
このようにすることで、監視装置１０は、タクシーなどの移動体において、所定の意思を示す人物を検知し、その人物を運転手に報知することができる。
The processing of the
By doing in this way, the monitoring apparatus 10 can detect the person who shows a predetermined intention in moving bodies, such as a taxi, and can alert | report the person to a driver.
＜第二の実施形態＞
図５は、本発明の第二の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
本発明の第二の実施形態による監視システム１は、図５で示すように、第一の実施形態による監視システム１に加え、音解析部１０４と、スピーカ２０２と、振動部２０３と、集音装置４０と、を備える。
<Second Embodiment>
FIG. 5 is a diagram illustrating an example of the configuration of the
As shown in FIG. 5, the
監視装置１０は、音解析部１０４を備える。音解析部１０４は、集音装置４０が検出した音が所定の音であるか否かを判定する。例えば、音解析部１０４は、集音装置４０が検出した音が示す情報（集音情報）と、予め記憶した音声や緊急車両のサイレン（警報音）などの所定の音が示す情報とを比較する。音解析部１０４は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が所定の音であると特定する。
出力制御部１０２は、意思を示す人物の存在や所定の音の検出を示す音や音声をスピーカ２０２に出力させる。出力制御部１０２は、意思を示す人物の存在や所定の音の検出を示す振動を振動部２０３に出力させる。
The monitoring device 10 includes a
The
出力部２０は、スピーカ２０２と、振動部２０３とを備える。
スピーカ２０２は、意思を示す人物の存在や所定の音の検出を運転手に音や音声で報知する。
振動部２０３は、意思を示す人物の存在や所定の音の検出を運転手に振動で報知する。
集音装置４０は、音や音声を取得する。集音装置４０は、移動体に取り付けられる。
The
The
The
The
図６は、本発明の第二の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図６は、タクシーが撮像装置３０と集音装置４０とを取り付けて走行する様子を示している。また、図６は、タクシーが走行中に撮像装置３０が撮影する画像と、判定結果とを出力する出力部２０とを示している。
FIG. 6 is a diagram illustrating an example in which the
FIG. 6 shows a taxi traveling with the
例えば、図６で示すように、タクシーが左車線を走行中に、撮像装置３０は、前方、側面、後方を撮影する。監視システム１は、撮像装置３０が撮影した画像を解析する。監視システム１は、路側帯に人物Ａ、Ｂ、Ｃ、Ｄ、及びＥを検出する。監視システム１は、画像解析を行い、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが所定のジェスチャを行っているか否かを判定する。例えば、監視システム１は、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが手を挙げているか否かを判定する。図６で示す例の場合、監視システム１は、人物Ａ、Ｂ、Ｃ、及びＤが手を挙げていると判定する。監視システム１は、前方の路側帯に検出した人物Ａ、Ｂ、Ｃ、Ｄ、及びＥの画像を表示部２０１に表示する。このとき、監視システム１は、手を挙げている人物Ａ、Ｂ、Ｃ、及びＤを表示部２０１に強調して表示する。また、監視システム１は、人物Ａ、Ｂ、Ｃ、Ｄ、及びＥのそれぞれが所定のジェスチャを行っているか否かの判定を、複数の異なる類似度に応じて行う。例えば、監視システム１は、タクシーから離れた場所にいる人物Ａの画像が小さく、所定のジェスチャを示す情報と人物Ａの画像が示す情報との類似度が低いと判定した場合、人物Ａを青色の背景で強調して表示する。監視システム１は、人物Ｂの画像が示す情報と、所定のジェスチャを示す情報との類似度を中程度と判定した場合、人物Ｂを黄色の背景で強調して表示する。また、監視システム１は、人物Ｃの画像が示す情報と、所定のジェスチャを示す情報との類似度を高いと判定した場合、人物Ｃを赤色の背景で強調して表示する。
For example, as shown in FIG. 6, while the taxi is traveling in the left lane, the
また、監視システム１は、集音装置４０が検出した音を解析する。監視システム１は、音や音声を検出する。監視システム１は、検出した音を解析し、人物が所定の音声を発生しているか否かを判定する。例えば、監視システム１は、検出した音の音声の周波数帯（およそ２０キロヘルツ以下）の音の情報と、「タクシー」という音声情報とを比較する。監視システム１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が「タクシー」という音声であると特定する。また、監視システム１は、検出した音を解析し、所定の音を含む音を検出するか否かを判定する。例えば、監視システム１は、検出した音の情報と、緊急車両が発するサイレンの音情報とを比較する。監視システム１は、比較した２つの情報の類似度が所定の類似度以上であると判定した場合、検出した音が緊急車両の発するサイレン音であると特定する。
監視システム１は、「タクシー」などの所定の音声や緊急車両の発するサイレン音などの所定の音を検出したことをタクシーの運転手に報知する。例えば、監視システム１は、スピーカ２０２から「タクシーという音声を検出しました」と合成音声で出力する。また、監視システム１は、「緊急車両が近づいています」という文字を表示部２０１に表示する。
Moreover, the
The
図７は、本発明の第二の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図７を用いて、第二の実施形態による監視システム１の処理を説明する。
ここでは、第二の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。ただし、第一の実施形態による監視システム１と異なるステップＳ５〜Ｓ１０の処理フローについて説明する。
FIG. 7 is a diagram illustrating an example of a processing flow of the
Next, processing of the
Here, the process of the
第一の実施形態による監視システム１のステップＳ１及びＳ２と同様の処理を行い、ジェスチャ判定部１０１がステップＳ２の処理により撮影画像においてその類似を示す箇所に人物が撮影されていると判定する。
第二の実施形態による監視システム１が備えるジェスチャ判定部１０１は、人物が撮影されていると判定した場合、その人物が所定のジェスチャを行っているか複数の類似度に応じて判定する（ステップＳ５）。
Processing similar to steps S1 and S2 of the
If the
例えば、ジェスチャ判定部１０１は、予め記憶した人物が手を挙げるジェスチャを示すＨＯＧ特徴情報と、撮影されている人物の撮影画像が示すジェスチャのＨＯＧ特徴情報とを比較する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が所定の４つの類似度のどの範囲に相当するかを特定する。ジェスチャ判定部１０１は、比較した２つの情報の類似度が最も低い範囲である場合、所定のジェスチャを行っていないと判定する（ステップＳ５、ＮＯ）。そして、撮像装置３０が前方、側面、及び後方を撮影するステップＳ１の処理に戻る。
また、ジェスチャ判定部１０１は、比較した２つの情報の類似度が最も低い範囲以外の場合に、所定のジェスチャを行っていると判定する（ステップＳ５、ＹＥＳ）。
For example, the
In addition, the
ジェスチャ判定部１０１は、比較した２つの情報の類似度が１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する（ステップＳ６）。
ジェスチャ判定部１０１は、類似度を特定すると、特定した類似度と対応する人物画像情報とを出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて強調表示させる（ステップＳ７）。例えば、出力制御部１０２は、類似度が１番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を赤色の背景で強調して表示する。出力制御部１０２は、類似度が２番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を黄色の背景で強調して表示する。出力制御部１０２は、類似度が３番目に高い範囲である場合、人物画像情報が示す撮影画像における人物の周囲を青色の背景で強調して表示する。
The
When determining the similarity, the
When the
また、タクシーが取り付けている集音装置４０は、タクシーの周囲の音を検出する（ステップＳ８）。集音装置４０は、取得した音の情報（以下、「音情報」）を監視装置１０に出力する。
監視装置１０が備える音解析部１０４は、集音装置４０から音情報を入力すると、入力した音情報が所定の音や音声を含むか否かを判定する（ステップＳ９）。
The
When sound information is input from the
例えば、音解析部１０４は、予め記憶した緊急車両が発するサイレンなどの所定の音のそれぞれが示す音情報と、集音装置４０が検出した音が示す音情報とを比較する。音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以下であると判定した場合、集音装置４０は所定の音を検出していないと判定する（ステップＳ９、ＮＯ）。また、例えば、音解析部１０４は、予め記憶した「タクシー」などの所定の音声のそれぞれが示す音情報と、集音装置４０が検出した音声が示す音情報とを比較する。音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以下であると判定した場合、集音装置４０は所定の音声を検出していないと判定する（ステップＳ９、ＮＯ）。そして、集音装置４０が音を検出するステップＳ８の処理に戻る。
また、音解析部１０４は、比較したそれぞれの情報の類似度が所定の類似度以上であると判定した場合、集音装置４０は所定の音を検出したと判定する（ステップＳ９、ＹＥＳ）。
For example, the
Further, when the
音解析部１０４は、集音装置４０は所定の音声を検出したと判定した場合、検出した音に係る情報を出力部２０に出力させる音検出情報を出力制御部１０２に出力する。
出力制御部１０２は、音解析部１０４から音検出情報を入力すると、音検出情報に基づいて、検出した音に係る情報を出力部２０に出力させる（ステップＳ１０）。例えば、出力制御部１０２は、音検出情報が「タクシー」などの所定の音声の検出に係る情報を出力部２０に出力させる場合、「タクシーという音声を検出しました」と合成音声をスピーカ２０２に出力させる。また、例えば、出力制御部１０２は、音検出情報が緊急車両の発するサイレン音の検出に係る情報を出力部２０に出力させる場合、「緊急車両が近づいています」、「速度を落としてください」、「ＮＯＴＩＣＥ」などの文字を赤色や太字などを用いて強調して表示部２０１に表示させる。
When the
When the sound detection information is input from the
以上、第二の実施形態による監視システム１の処理について説明した。第二の実施形態による監視システム１が備える監視装置１０よれば、音解析部１０４は、タクシーに取り付けられた集音装置４０によって音を検出する。音解析部１０４は、所定の音を検出したか否かを判定する。音解析部１０４は、検出した所定の音に応じた情報を出力部２０に出力させる音検出情報を出力制御部１０２に出力する。出力制御部１０２は、音検出情報に基づいて検出した音に係る情報を出力部２０に出力させる。
このようにすることで、監視装置１０は、タクシーなどの移動体において、所定の意思を示す人物をより高精度に検知し、その人物を運転手に報知することができる。また、監視装置１０は、タクシーなどの移動体において、緊急車両などの所定の車両の接近を報知することができる。
The processing of the
By doing in this way, the monitoring apparatus 10 can detect the person who shows a predetermined intention with higher precision in a moving body such as a taxi, and can inform the driver of the person. Moreover, the monitoring apparatus 10 can alert | report the approach of predetermined vehicles, such as an emergency vehicle, in moving bodies, such as a taxi.
＜第三の実施形態＞
次に、本発明の第三の実施形態による監視装置１０を備える監視システム１を説明する。
本発明の第三の実施形態による監視装置１０を備える監視システム１の構成は、図５で示した第二の実施形態による監視システム１の構成と同様である。
ただし、出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる。
<Third embodiment>
Next, the
The configuration of the
However, when the
図８は、本発明の第三の実施形態による監視装置１０を備える監視システム１をタクシーに適用した一例を示す図である。
図８は、人物画像情報が示す撮影画像における人物を類似度に応じて出力制御部１０２が表示部２０１に拡大表示させた画像を示している。例えば、出力制御部１０２は、ジェスチャ判定部１０１が、比較した２つの情報の類似度が３番目に高い範囲であると特定した場合、人物を拡大表示させる。こうすることで、監視装置１０を備える監視システム１は、所定のジェスチャをする人物が存在するか否かを運転手が最終的に判断するためのより正確な情報を提供する。
FIG. 8 is a diagram showing an example in which the
FIG. 8 shows an image in which the
なお、人物画像情報が示す撮影画像における人物を類似度に応じて出力制御部１０２が表示部２０１に拡大表示させるのは、人物が移動体から遠方に入る場合に限定するものではない。例えば、出力制御部１０２は、夜間や、雨天時などで人物およびジェスチャの類似度判定精度が低くなった場合に、拡大表示することで運転手自身による判断の機会を提供することができる。
Note that the display of the person in the captured image indicated by the person image information on the
図９は、本発明の第三の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図９を用いて、第三の実施形態による監視システム１の処理を説明する。
ここでは、第三の実施形態による監視システム１をタクシーに適用した場合を例に監視システム１の処理を説明する。ただし、第二の実施形態による監視システム１のステップＳ７の代わりのステップＳ１１の処理について説明する。
FIG. 9 is a diagram illustrating an example of a processing flow of the
Next, processing of the
Here, the process of the
第二の実施形態による監視システム１のステップＳ６の処理で、ジェスチャ判定部１０１は、比較した２つの情報の類似度が１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する。そして、ジェスチャ判定部１０１は、類似度を特定すると、特定した類似度と対応する人物画像情報とを出力制御部１０２に出力する。
出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる（ステップＳ１１）。例えば、出力制御部１０２は、類似度が３番目に高い範囲である場合、人物画像情報が示す撮影画像における人物を含む周囲を拡大して表示させる。
In the process of step S6 of the
When the
以上、第三の実施形態による監視システム１の処理について説明した。第三の実施形態による監視システム１が備える監視装置１０よれば、出力制御部１０２は、ジェスチャ判定部１０１から類似度と対応する人物画像情報とを入力すると、人物画像情報が示す撮影画像における人物を表示部２０１に類似度に応じて拡大表示させる。
このようにすることで、監視装置１０は、運転手に人物およびジェスチャの類似度判定精度が低くなった場合に、最終的に判断するためのより正確な情報を提供することができる。
The processing of the
By doing in this way, the monitoring apparatus 10 can provide the driver with more accurate information for the final determination when the similarity determination accuracy of the person and the gesture becomes low.
＜第四の実施形態＞
図１０は、本発明の第四の実施形態による監視装置１０を備える監視システム１の構成の一例を示す図である。
図１０で示すように、本発明の第四の実施形態による監視システム１は、第三の実施形態による監視システム１に加え、移動体制御装置５０と、監視機能抑制装置６０とを備える。
移動体制御装置５０は、監視装置１０からの情報に基づいて、移動体の移動速度を制御する。
監視機能抑制装置６０は、所定の条件が成立した場合、監視システム１における処理を抑制する。例えば、移動体がタクシーである場合、監視機能抑制装置６０は、所定の条件としてタクシーの料金メータから料金メータの動作開始を示す動作開始信号を入力すると、動作開始信号に応じて撮像装置３０と集音装置４０とに動作停止信号を送信する。
<Fourth embodiment>
FIG. 10 is a diagram illustrating an example of the configuration of the
As shown in FIG. 10, the
The moving
The monitoring
図１１は、本発明の第四の実施形態による監視装置１０を備える監視システム１の処理フローの一例を示す図である。
次に、図１１を用いて、第四の実施形態による監視システム１の処理を説明する。
ここでは、第四の実施形態による監視システム１をタクシーに適用した場合に、移動体制御装置５０と、監視機能抑制装置６０とが行うステップＳ１２〜Ｓ１４の処理を説明する。
FIG. 11 is a diagram illustrating an example of a processing flow of the
Next, processing of the
Here, when the
第三の実施形態による監視システム１のステップＳ６の処理と同様に、第四の実施形態によるジェスチャ判定部１０１は、比較した２つの情報の類似度が４つの範囲のうちの１番目に高い範囲、２番目に高い範囲、３番目に高い範囲の何れの範囲であるかを特定する。ジェスチャ判定部１０１は、特定した類似度の情報（以下、「類似度情報」）を移動体制御装置５０に出力する。
移動体制御装置５０は、ジェスチャ判定部１０１から類似度情報を入力すると、類似度情報に応じて移動体の移動速度を制御する（ステップＳ１２）。例えば、移動体制御装置５０は、ジェスチャ判定部１０１から３番目に高い範囲の類似度の類似度情報を入力すると、より類似度判定の精度を向上させるために移動体の移動速度を低減する。
Similar to the processing in step S6 of the
When the mobile
第三の実施形態による監視システム１のステップＳ９の処理と同様に、集音装置４０が所定の音を検出したと音解析部１０４が判定した場合、第四の実施形態による音解析部１０４は、所定の音の情報を移動体制御装置５０に出力する。
移動体制御装置５０は、音解析部１０４から所定の音の情報を入力すると、その音の情報に応じて移動体の移動速度を制御する（ステップＳ１３）。例えば、移動体制御装置５０は、音解析部１０４から所定の音の情報として緊急車両が発するサイレンの情報を入力すると、危険を回避するために移動体の移動速度を低減する。
Similar to the processing in step S9 of the
When the moving
監視機能抑制装置６０は、料金メータから動作開始信号を入力するか否かに基づいて、撮像装置３０と集音装置４０とに動作停止信号を送信するか否かを決定する(ステップＳ１４)。
監視機能抑制装置６０は、料金メータから動作開始信号を入力した場合、撮像装置３０と集音装置４０とに動作停止信号を出力する（ステップＳ１４、ＹＥＳ）。撮像装置３０と集音装置４０は、監視機能抑制装置６０から動作停止信号を入力すると、動作を停止する。そして、監視システム１の処理は終了する。
監視機能抑制装置６０は、料金メータから動作開始信号を入力していない場合、撮像装置３０と集音装置４０は動作を継続し、第三の実施形態による監視システム１のステップＳ１と同様のステップＳ１処理に戻る。
The monitoring
When the operation start signal is input from the charge meter, the monitoring
When the monitoring
以上、第四の実施形態による監視システム１の処理について説明した。第四の実施形態による監視システム１の処理によれば、移動体制御装置５０は、ジェスチャ判定部１０１から類似度情報を入力すると、類似度情報に応じて移動体の移動速度を制御する。
このようにすることで、ジェスチャ判定部１０１は、類似度をより高精度に判定することができ、運転手により正確な情報を提供することができる。
また、移動体制御装置５０は、音解析部１０４から所定の音の情報を入力すると、その音の情報に応じて移動体の移動速度を制御する。
このようにすることで、運転手は、危険回避することができる。
また、監視機能抑制装置６０は、所定の条件が成立した場合、監視システム１における処理を抑制する。
このようにすることで、監視システム１における不要な処理を行わずに済む。
The processing of the
By doing in this way, the
In addition, when the information of a predetermined sound is input from the
By doing so, the driver can avoid danger.
Moreover, the monitoring
In this way, unnecessary processing in the
なお、本発明における記憶部やメモリは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部やメモリは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。 Note that the storage unit and the memory in the present invention may be provided anywhere as long as appropriate information is transmitted and received. A plurality of storage units and memories may exist in a range in which appropriate information is transmitted and received, and data may be distributed and stored.
なお本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。実施形態における画像の処理と音の処理の順番は、上述のものに限定するものではなく、例えば、画像の処理と音の処理の順番が入れ替わってもよい。また、実施形態における画像の処理と音の処理は、並行に行われてもよい。 In the processing flow according to the embodiment of the present invention, the order of processing may be changed within a range where appropriate processing is performed. The order of the image processing and the sound processing in the embodiment is not limited to the above, and for example, the order of the image processing and the sound processing may be switched. In addition, the image processing and the sound processing in the embodiment may be performed in parallel.
なお本発明の実施形態について説明したが、上述の監視装置１０、及び監視システム１は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶部１０３に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記憶部１０３とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
In addition, although embodiment of this invention was described, the above-mentioned monitoring apparatus 10 and the
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定するものではない。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができるものである。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. Various omissions, replacements, and changes can be made without departing from the scope of the invention.
１・・・監視システム
１０・・・監視装置
２０・・・出力部
３０・・・撮像装置
４０・・・集音装置
５０・・・移動体制御装置
６０・・・監視機能抑制装置
１０１・・・ジェスチャ判定部
１０２・・・出力制御部
１０３・・・記憶部
１０４・・・音解析部
２０１・・・表示部
２０２・・・スピーカ
２０３・・・振動部
DESCRIPTION OF
Claims (6)
抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御部と、
前記ジェスチャ判定部によるジェスチャの類似度が低い場合、前記移動体の速度を低減する移動体制御装置を備える監視装置。 A gesture determination unit that extracts a person from an acquired image acquired by an imaging device attached to a moving body and determines whether or not the gesture of the person indicates a predetermined gesture;
An output control unit that controls to highlight the person image when the acquired image is displayed when the extracted person gesture is the predetermined gesture;
A monitoring apparatus comprising a moving body control device that reduces the speed of the moving body when the gesture similarity by the gesture determination unit is low.
抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御し、
ジェスチャの類似度が低い場合、前記移動体の速度を低減するよう制御する監視方法。 Extracting a person from the acquired image acquired by the imaging device attached to the moving body, determining whether the gesture of the person shows a predetermined gesture,
If the extracted person gesture is the predetermined gesture, control is performed to highlight the person image when the acquired image is displayed,
A monitoring method for performing control so as to reduce the speed of the moving object when the similarity of gestures is low.
移動体に取り付けられた撮像装置によって取得した取得画像から人物を抽出し、当該人物のジェスチャが所定のジェスチャを示すか否かを判定するジェスチャ判定手段と、
抽出した人物のジェスチャが前記所定のジェスチャである場合、前記取得画像の表示時において前記人物の画像を強調表示するよう制御する出力制御手段と、
ジェスチャの類似度が低い場合、前記移動体の速度を低減する移動体制御手段として機能させるためのプログラム。 Monitor computer,
A gesture determination unit that extracts a person from an acquired image acquired by an imaging device attached to a moving body and determines whether the gesture of the person indicates a predetermined gesture;
Output control means for controlling to highlight the person image when the acquired image is displayed when the extracted person gesture is the predetermined gesture;
The program for functioning as a mobile body control means for reducing the speed of the mobile body when the gesture similarity is low.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014070722A JP6455866B2 (en) | 2014-03-31 | 2014-03-31 | Monitoring device, monitoring method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014070722A JP6455866B2 (en) | 2014-03-31 | 2014-03-31 | Monitoring device, monitoring method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015191641A JP2015191641A (en) | 2015-11-02 |
| JP6455866B2 true JP6455866B2 (en) | 2019-01-23 |
Family
ID=54426030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014070722A Expired - Fee Related JP6455866B2 (en) | 2014-03-31 | 2014-03-31 | Monitoring device, monitoring method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6455866B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10244094B2 (en) | 2016-08-18 | 2019-03-26 | nuTonomy Inc. | Hailing a vehicle |
| CN109923487B (en) * | 2016-08-18 | 2022-06-17 | 动态Ad有限责任公司 | Call vehicle |
| DE102016217770A1 (en) | 2016-09-16 | 2018-03-22 | Audi Ag | Method for operating a motor vehicle |
| JP6940969B2 (en) * | 2017-03-29 | 2021-09-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Vehicle control device, vehicle control method and program |
| JP6862257B6 (en) | 2017-04-14 | 2021-06-23 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Self-driving vehicles, how to stop self-driving vehicles and programs |
| WO2018221204A1 (en) * | 2017-05-31 | 2018-12-06 | 日本電産株式会社 | Mobile body provided with radio antenna, and vehicle dispatch system |
| JP7107647B2 (en) * | 2017-07-06 | 2022-07-27 | 矢崎エナジーシステム株式会社 | Unmanned taxi control method and unmanned taxi control device |
| JP6418618B1 (en) * | 2017-09-04 | 2018-11-07 | 三菱ロジスネクスト株式会社 | Vehicle allocation system and vehicle allocation method |
| JP7013776B2 (en) * | 2017-09-29 | 2022-02-01 | 日本電気株式会社 | Vehicle control device, vehicle, and automatic vehicle allocation method |
| DE102018222665B4 (en) | 2018-12-20 | 2022-06-02 | Volkswagen Aktiengesellschaft | Autonomously driving taxi and method for operating an autonomously driving taxi |
| JP7237684B2 (en) * | 2019-03-27 | 2023-03-13 | 本田技研工業株式会社 | VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM |
| DE102019204348A1 (en) * | 2019-03-28 | 2020-10-01 | Volkswagen Aktiengesellschaft | Method for route guidance to a target person, electronic device of the target person and electronic device of the person collecting it, as well as a motor vehicle |
| WO2021084618A1 (en) * | 2019-10-29 | 2021-05-06 | 三菱電機株式会社 | Driving assistance device and driving assistance method |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2570395B2 (en) * | 1988-07-12 | 1997-01-08 | 日本電装株式会社 | Sound recognition device |
| JP2007087337A (en) * | 2005-09-26 | 2007-04-05 | Toyota Motor Corp | Vehicle peripheral information display device |
| JP2009098774A (en) * | 2007-10-15 | 2009-05-07 | Mitsubishi Electric Corp | Person tracking system, person tracking method and person tracking program |
| JP5574692B2 (en) * | 2009-12-17 | 2014-08-20 | キヤノン株式会社 | Video information processing method and apparatus |
| JP2012014482A (en) * | 2010-07-01 | 2012-01-19 | Panasonic Corp | Determination device for taxi |
| JP5500392B2 (en) * | 2011-06-16 | 2014-05-21 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| JP5742559B2 (en) * | 2011-08-01 | 2015-07-01 | アイシン・エィ・ダブリュ株式会社 | POSITION DETERMINING DEVICE, NAVIGATION DEVICE, POSITION DETERMINING METHOD, AND PROGRAM |
| US20130325563A1 (en) * | 2012-06-01 | 2013-12-05 | Tai Cheung Poon | Systems and methods for maximizing profits and opportunities for taxi drivers |
-
2014
- 2014-03-31 JP JP2014070722A patent/JP6455866B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015191641A (en) | 2015-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6455866B2 (en) | Monitoring device, monitoring method, and program | |
| US20210357670A1 (en) | Driver Attention Detection Method | |
| JP6227165B2 (en) | Image processing apparatus, in-vehicle display system, display apparatus, image processing method, and image processing program | |
| US8085140B2 (en) | Travel information providing device | |
| US20170287217A1 (en) | Preceding traffic alert system and method | |
| US20160152182A1 (en) | Driving support device and driving support method | |
| US10532695B2 (en) | Vehicle monitoring device, vehicle monitoring method and vehicle monitoring program | |
| CN111699680B (en) | Automobile data recorder, display control method, and storage medium | |
| JP2014239326A (en) | Information processing device, approach object notification method and program | |
| JPWO2011108218A1 (en) | Vehicle periphery monitoring device | |
| JP2012128748A (en) | Vehicle driving support device | |
| JP6020371B2 (en) | Vehicle information providing device | |
| CN108482367A (en) | A kind of method, apparatus and system driven based on intelligent back vision mirror auxiliary | |
| JP2010044561A (en) | Monitoring device to be mounted on vehicle | |
| JP6820075B2 (en) | Crew number detection system, occupant number detection method, and program | |
| JP2005222424A (en) | Moving body periphery monitoring system, moving body periphery monitoring method, control program, and readable recording medium | |
| TW201623067A (en) | Signal alarm device, method, computer readable media, and computer program product | |
| KR101374653B1 (en) | Apparatus and method for detecting movement of vehicle | |
| JP2017167608A (en) | Object recognition device, object recognition method, and object recognition program | |
| TW201137801A (en) | Road condition alarm system, road condition alarm apparatus and method thereof | |
| JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
| JP2018097479A (en) | Driving support apparatus, driving support method, driving support program, and driving support system | |
| JP2014044458A (en) | On-vehicle device and danger notification method | |
| JP2007133644A (en) | Pedestrian recognition device | |
| CN113781805A (en) | Traffic light control system and control method for preferential passing of special vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181024 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6455866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |