JP7314084B2 - Image processing device, computer program, and anomaly estimation system - Google Patents
Image processing device, computer program, and anomaly estimation system Download PDFInfo
- Publication number
- JP7314084B2 JP7314084B2 JP2020048020A JP2020048020A JP7314084B2 JP 7314084 B2 JP7314084 B2 JP 7314084B2 JP 2020048020 A JP2020048020 A JP 2020048020A JP 2020048020 A JP2020048020 A JP 2020048020A JP 7314084 B2 JP7314084 B2 JP 7314084B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- image
- posture
- head
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、移動体の運転者が写り込んだ画像を処理する画像処理装置に関連する。本発明は、当該画像処理装置の処理部により実行可能なコンピュータプログラムにも関連する。本発明は、前記画像に基づいて前記運転者の姿勢が異常であるかを推定する異常推定システムにも関連する。 The present invention relates to an image processing apparatus that processes an image in which a driver of a mobile object is captured. The invention also relates to a computer program executable by a processing unit of the image processing apparatus. The present invention also relates to an abnormality estimation system for estimating whether the posture of the driver is abnormal based on the image.
特許文献1は、移動体の一例としての車両の運転者の姿勢の異常を検知する技術を開示している。姿勢の異常は、当該車両に搭載された撮像装置により取得された当該運転者が写り込んだ画像に基づいて推定される。
本発明の目的は、撮像装置により取得された画像に基づいてなされる移動体の運転者の姿勢異常の推定の確からしさを高めることである。 SUMMARY OF THE INVENTION An object of the present invention is to increase the likelihood of estimating an abnormal posture of a driver of a mobile object based on an image acquired by an imaging device.
上記の目的を達成するための一態様は、画像処理装置であって、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付ける受付部と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定し、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定し、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定し、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記姿勢が異常であると推定する。
One aspect for achieving the above object is an image processing device,
a reception unit that receives image information corresponding to an image in which the driver of the moving object is captured;
a processing unit that estimates whether the posture of the driver is abnormal based on the image information;
and
The processing unit, based on the image information,
identifying a plurality of feature points on the driver's body reflected in the image;
identifying a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
identifying an amount of movement in the specified direction of the position of the driver's head reflected in the image;
The posture is estimated to be abnormal when the amount of movement of the position of the driver's head in the real space specified based on the ratio in the specified direction exceeds a threshold.
上記の目的を達成するための一態様は、画像処理装置の処理部により実行可能なコンピュータプログラムであって、
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定させ、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定させ、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定させ、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記運転者の姿勢が異常であると推定させる。
One aspect for achieving the above object is a computer program executable by a processing unit of an image processing apparatus,
By being executed, the image processing device
receiving image information corresponding to an image in which a driver of a mobile object is captured;
Based on the image information,
specifying a plurality of feature points on the driver's body reflected in the image;
determining a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
specifying a movement amount in the specified direction of the position of the driver's head reflected in the image;
If the amount of movement of the position of the driver's head in the real space specified based on the ratio exceeds a threshold in the specified direction, the driver's posture is estimated to be abnormal.
上記の目的を達成するための一態様は、異常推定システムであって、
移動体の運転者が写り込んだ画像に対応する画像情報を出力する撮像装置と、
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定し、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定し、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定し、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記姿勢が異常であると推定する。
One aspect for achieving the above object is an anomaly estimation system,
an imaging device that outputs image information corresponding to an image in which a driver of a mobile object is captured;
an image processing device that estimates whether the posture of the driver is abnormal based on the image information;
a control device that controls the operation of a controlled device mounted on the moving body based on the estimation result that the posture is abnormal by the image processing device;
and
The image processing device, based on the image information,
identifying a plurality of feature points on the driver's body reflected in the image;
identifying a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
identifying an amount of movement in the prescribed direction of the position of the driver's head reflected in the image;
The posture is estimated to be abnormal when the amount of movement of the position of the driver's head in the real space specified based on the ratio in the specified direction exceeds a threshold.
移動体内におけるシートの位置やシートへの着座の仕方は、運転者ごとに異なる。したがって、撮像装置により取得された画像への写り込み方もまた運転者ごとに異なる。運転者の頭部の移動量が基準となる異常姿勢を推定しようとする場合、上記のような画像への写り込み方の相違が推定の確からしさを低下させる原因になりうる。 The position of the seat in the vehicle and how to sit on the seat differ from driver to driver. Therefore, how the image is reflected in the image acquired by the imaging device also differs from driver to driver. When trying to estimate an abnormal posture based on the amount of movement of the driver's head, the above-described difference in how the image is reflected in the image can cause a decrease in the certainty of estimation.
しかしながら、上記の各態様に係る構成によれば、画像に写り込んだ運転者ごとに検出された複数の特徴点に対応する画素間距離と、既知である当該複数の特徴点間の実空間距離との比が特定されるので、画像内における頭部の移動量を運転者ごとに正確に特定できる。これにより、撮像装置により取得された画像に基づいてなされる運転者の姿勢異常の推定の確からしさを高めることができる。 However, according to the configuration according to each of the above aspects, the ratio between the pixel-to-pixel distance corresponding to the plurality of feature points detected for each driver captured in the image and the known real space distance between the plurality of feature points is specified, so the amount of movement of the head in the image can be specified accurately for each driver. As a result, it is possible to increase the likelihood of estimating the abnormal posture of the driver based on the image acquired by the imaging device.
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。図1は、一実施形態に係る異常推定システム10の機能構成を例示している。異常推定システム10は、図2に例示される車両20の運転者30が写り込んだ画像に基づいて、運転者30の姿勢が異常であるかを推定するシステムである。車両20は、移動体の一例である。
Exemplary embodiments are described in detail below with reference to the accompanying drawings. FIG. 1 illustrates the functional configuration of an
姿勢の異常は、運転者30の異常を検知するために推定される。本明細書において用いられる「運転者の異常」という語は、予め予測することが困難な体調の急変を意味する。
Posture anomalies are estimated to detect anomalies of
添付の図面において、矢印Fは、運転者30から見た前方向を表している。矢印Bは、運転者30から見た後方向を表している。矢印Lは、運転者30から見た左方向を表している。矢印Rは、運転者30から見た右方向を表している。矢印Uは、運転者30から見た上方向を表している。矢印Dは、運転者30から見た下方向を表している。
In the accompanying drawings, arrow F represents the forward direction as seen from
図1に例示されるように、異常推定システム10は、撮像装置11を含んでいる。撮像装置11は、車両20における適宜の箇所に配置される。図2に例示される車両20の車室21内に配置されたシート22に着座した運転者30が、撮像装置11による撮像に供される。
As illustrated in FIG. 1 , an
図1に例示されるように、撮像装置11は、取得された画像に対応する画像情報Iを出力するように構成されている。画像情報Iは、アナログデータの形態でもよいし、デジタルデータの形態でもよい。 As illustrated in FIG. 1, the imaging device 11 is configured to output image information I corresponding to the captured image. The image information I may be in the form of analog data or in the form of digital data.
異常推定システム10は、画像処理装置12を含んでいる。画像処理装置12は、受付部121と処理部122を備えている。受付部121は、撮像装置11から画像情報Iを受け付けるように構成されている。画像情報Iがアナログデータの形態である場合、受付部121は、A/Dコンバータを含む適宜の変換回路を含みうる。処理部122は、デジタルデータの形態である画像情報Iを処理の対象とする。
The
処理部122は、画像情報Iに基づいて運転者30の姿勢が異常であるかを推定する処理を実行するように構成されている。当該処理の詳細については後述する。
The
画像処理装置12は、出力部123を備えている。処理部122は、運転者30の姿勢が異常であると推定された場合、出力部123を通じて制御情報Cを出力するように構成されている。制御情報Cは、デジタルデータの形態でもよいし、アナログデータの形態でもよい。制御情報Cがアナログデータの形態である場合、出力部123は、D/Aコンバータを含む適宜の変換回路を含みうる。
The
異常推定システム10は、制御装置13を含んでいる。制御装置13は、車両20に搭載されている。制御装置13は、画像処理装置12から出力された制御情報Cに基づいて、車両20に搭載された被制御装置40の動作を制御するように構成されている。
The
具体的には、制御装置13は、運転者30の姿勢が異常であると推定された場合に、車両20の運転支援を有効にするように構成されている。本明細書において用いられる「運転支援」という語は、運転操作(ハンドル操作、加速、減速など)、走行環境の監視、および運転操作のバックアップの少なくとも一つを少なくとも部分的に行なう制御処理を意味する。すなわち、衝突被害軽減ブレーキ機能やレーンキープアシスト機能のような部分的な運転支援から完全自動運転動作までを含む意味である。
Specifically, the
例えば、制御装置13は、画像処理装置12から出力された制御情報Cに基づいて、車両20を減速させ、路肩に停車させるために必要な動作を、被制御装置40に行なわせる。被制御装置40の例としては、車両20の駆動系を構成する装置、灯具、運転支援動作が有効であることを車両20や他車両の乗員や歩行者に報知する装置などが挙げられる。
For example, based on the control information C output from the
次に、図3から図5を参照しつつ、画像処理装置12の処理部122により実行される運転者30の姿勢を推定する処理について詳細に説明する。図3は、当該処理の流れを例示している。
Next, the processing for estimating the posture of the
処理部122は、受付部121を通じて撮像装置11から画像情報Iを受け付ける(STEP1)。図4は、撮像装置11により取得された運転者30が写り込んだ画像IMを例示している。画像情報Iは、画像IMに対応している。
The
続いて、処理部122は、骨格モデルを適用する処理を行なう(図3のSTEP2)。本明細書で用いられる「骨格モデルを適用する処理」という語は、当該骨格モデルにおいて規定された複数の特徴点を撮像装置により取得された画像に写り込んだ運転者において検出し、当該複数の特徴点同士を当該骨格モデルにおいて規定された複数の骨格線で接続することを意味する。
Subsequently, the
図5は、撮像装置11により取得された画像IMに写り込んだ運転者30に骨格モデルMが適用された例を示している。本例においては、骨格モデルMは、頭特徴点H、首特徴点NK、左肩特徴点LS、および右肩特徴点RSを含んでいる。
FIG. 5 shows an example in which the skeletal model M is applied to the
頭特徴点Hは、モデル人体の頭の中心に対応する点である。首特徴点NKは、モデル人体の首に対応する点である。左肩特徴点LSは、モデル人体の左肩に対応する点である。右肩特徴点RSは、モデル人体の右肩に対応する点である。頭特徴点Hと首特徴点NKは、骨格線により接続されている。首特徴点NKは、左肩特徴点LSおよび右肩特徴点RSの各々と骨格線により接続されている。 The head feature point H is a point corresponding to the center of the head of the model human body. The neck feature point NK is a point corresponding to the neck of the model human body. The left shoulder feature point LS is a point corresponding to the left shoulder of the model human body. The right shoulder feature point RS is a point corresponding to the right shoulder of the model human body. The head minutiae H and the neck minutiae NK are connected by a skeleton line. The neck feature point NK is connected to each of the left shoulder feature point LS and the right shoulder feature point RS by skeleton lines.
処理部122は、画像IMに写り込んだ運転者30において、頭特徴点H、首特徴点NK、左肩特徴点LS、および右肩特徴点RSの各々に対応する点を検出し、検出された複数の点同士を、上記の各骨格線で接続する。この処理を遂行するためのアルゴリズムは周知であるので、詳細な説明は省略する。
The
図1に例示されるように、画像処理装置12は、記憶部124を備えている。処理部122は、各特徴点の画像IMにおける位置を、正常時における運転者30の姿勢を表すものとして記憶部124に記憶する。具体的には、各特徴点に対応する画像IM中の画素の位置が、記憶部124に保存される。
As illustrated in FIG. 1 , the
続いて、処理部122は、運転者30の姿勢が異常であるかを推定する姿勢推定処理を実行する(図3のSTEP3)。姿勢推定処理の詳細については、後述する。
Subsequently, the
姿勢推定処理の結果、運転者30の姿勢が異常でないと推定されると(STEP4においてNO)、処理はSTEP1に戻り、次の画像情報Iが受け付けられる。画像情報Iの受け付けが繰り返される周期は、撮像装置11のフレームレートに対応しうる。
As a result of the posture estimation processing, when it is estimated that the posture of the
姿勢推定処理の結果、運転者30の姿勢が異常であると判断されると(STEP4においてYES)、処理部122は、出力部123から制御情報Cを出力する(STEP5)。制御情報Cは、制御装置13へ送信される。制御情報Cは、同じ動作を被制御装置40に行なわせるものであってもよいし、推定された異常姿勢の種別に応じて異なる動作を被制御装置40に行なわせるものであってもよい。
When it is determined that the posture of
次に、図6から図10を参照しつつ、処理部122により実行される姿勢推定処理(図3におけるSTEP3)の詳細について説明する。図6は、姿勢推定処理の流れの一例を示している。
Next, details of posture estimation processing (STEP 3 in FIG. 3) executed by the
まず、処理部122は、前述した複数の特徴点の特定に用いられた画像IMにおいて、当該複数の特徴点に対応する複数の画素間の規定された方向における距離を特定する(STEP11)。本例においては、規定された方向は、車両20の左右方向である。
First, the
図7は、図4および図5に例示された画像IMのうち、運転者30の頭部31が写り込んでいる部分を拡大して示している。本例においては、骨格モデルMを適用する処理により、左耳特徴点LEと右耳特徴点REもまた検出されうる。左耳特徴点LEは、モデル人体の左耳に対応する点である。右耳特徴点REは、モデル人体の右耳に対応する点である。図7において左耳特徴点LEと右耳特徴点REを結ぶ直線が延びる方向は、車両20の左右方向に対応している。
FIG. 7 shows an enlarged portion of the image IM illustrated in FIGS. 4 and 5 in which the
本例においては、処理部122は、車両20の左右方向における左耳特徴点LEに対応する画素PLと右耳特徴点REに対応する画素PRの間の距離である画素間距離DPを特定する。画素間距離DPは、画素数により特定される。
In this example, processing
続いて、図6に例示されるように、処理部122は、画像IM中の二点間距離と実空間における二点間距離との対応関係を特定する処理を行なう(STEP12)。
Subsequently, as exemplified in FIG. 6, the
画像IM中の二点間距離は、STEP11を参照して説明した画素間距離DPとして特定されている。本例においては、この画素間距離DPを、画像IMに写り込んだ運転者30の頭部31の車両20の左右方向における幅とみなしている。
The distance between two points in the image IM is specified as the inter-pixel distance DP described with reference to STEP11. In this example, the inter-pixel distance DP is regarded as the width of the
人体の各部位における平均的な寸法は、統計的に調査されてデータベースとして提供されている。そのようなデータベースの例としては、国立研究開発法人産業技術総合研究所により提供されている「AIST人体寸法データベース1997-98」が挙げられる。図8は、そのようなデータベースより得られる人体の左右方向における頭部幅WHを例示している。頭部幅WHは、平均的な人間の左耳と右耳の間の実空間距離DRに対応していると言える。 The average dimensions of each part of the human body are statistically investigated and provided as a database. An example of such a database is the "AIST Human Body Size Database 1997-98" provided by the National Institute of Advanced Industrial Science and Technology. FIG. 8 illustrates the head width WH in the lateral direction of the human body obtained from such a database. It can be said that the head width WH corresponds to the real spatial distance DR between the left and right ears of an average human.
幅WHに対応する実空間距離DRの値は、記憶部124に格納されている。処理部122は、実空間距離DRの値を記憶部124から読み出し、STEP11で特定された画素間距離DPとの比P(=DR/DP)を算出する。これにより、画像IM中の画素間距離DPが特定されれば、比Pに基づいて車両20の車室21内における実空間距離DRを算出できる(DR=DP×P)。
A value of the actual space distance DR corresponding to the width WH is stored in the
本例においては、STEP12で特定された画素間距離DPと実空間距離DRの対応関係に基づいて、運転者30が「横もたれ姿勢」をとっているかが推定される。
In this example, based on the correspondence between the inter-pixel distance DP and the real space distance DR identified in
「横もたれ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「横もたれ姿勢」は、運転者の上半身が左方または右方へ傾いている姿勢が継続している状態として定義されている。 The “side leaning posture” is one of multiple types of “posture collapse patterns” defined by the Ministry of Land, Infrastructure, Transport and Tourism. A "side leaning posture" is defined as a state in which the upper half of the body of the driver continues to lean leftward or rightward.
図9は、左方への「横もたれ姿勢」を例示している。左方への「横もたれ姿勢」は、運転者の顔における特定の位置の、正常時からの車両20の左方向への移動量ΔDLが閾値を上回った状態として定義される。閾値は、例えば200mmである。
FIG. 9 illustrates a "side leaning position" to the left. The leftward “lateral leaning posture” is defined as a state in which the amount of movement ΔDL of a specific position on the driver's face in the leftward direction of the
図10は、右方への「横もたれ姿勢」を例示している。右方への「横もたれ姿勢」は、運転者の顔における特定の位置の、正常時からの車両20の右方向への移動量ΔDRが閾値を上回った状態として定義される。閾値は、例えば200mmである。
FIG. 10 exemplifies a "side leaning position" to the right. The "lateral leaning posture" to the right is defined as a state in which the movement amount ΔDR of a specific position on the driver's face in the right direction of the
運転者30が「横もたれ姿勢」をとっているかを推定するために、処理部122は、取得された画像IMに写り込んだ運転者30の頭特徴点Hに対応する画素の位置を特定し、記憶部124に格納されている正常時における頭特徴点Hに対応する画素の位置と比較する。なお、適用される骨格モデルの仕様に応じて、鼻、目、顔などの特徴点が推定に用いられてもよい。
In order to estimate whether or not the
比較の結果、取得された画像IMに写り込んだ運転者30の頭特徴点Hに対応する画素の位置と、正常時における頭特徴点Hに対応する画素の位置との間の車両20の左右方向における画素間距離が特定されうる。この画素間距離が、STEP12で特定された比に基づいて、車両20内における実空間距離に換算される。この実空間距離は、取得された画像IMに写り込んだ運転者30の頭部31の正常時からの車両20の左右方向への移動量に対応している。すなわち、処理部122は、運転者30の頭部31の車両20の左右方向への移動量を特定する(図6のSTEP13)。
As a result of the comparison, the inter-pixel distance in the left-right direction of the
続いて、処理部122は、換算された実空間距離が閾値を上回っているかを判断する(STEP14)。すなわち、運転者30の頭部31の車両20の左方への移動量ΔDLが閾値を上回っているかを判断する。同様に、運転者30の頭部31の車両20の右方への移動量ΔDRが閾値を上回っているかを判断する。
Subsequently, the
換算された実空間距離が閾値を上回っていないと判断された場合(STEP14においてNO)、処理部122は、運転者30が「横もたれ姿勢」をとっていないと推定する(STEP15)。処理は、図3のSTEP4におけるNOの判断に反映される。
If it is determined that the converted actual space distance does not exceed the threshold (NO in STEP 14),
換算された実空間距離が閾値を上回っていると判断された場合(図6のSTEP14においてYES)、処理部122は、運転者30が「横もたれ姿勢」をとっていると推定する(STEP16)。具体的には、運転者30の頭部31の車両20の左方への移動量ΔDLが閾値を上回っていると判断された場合、運転者30が左方への「横もたれ姿勢」をとっていると推定される。運転者30の頭部31の車両20の右方への移動量ΔDRが閾値を上回っていると判断された場合、運転者30が右方への「横もたれ姿勢」をとっていると推定される。処理は、図3のSTEP4におけるYESの判断に反映される。
If it is determined that the converted real space distance exceeds the threshold (YES in STEP14 of FIG. 6), the
車室21内におけるシート22の位置やシート22への着座の仕方は、運転者30ごとに異なる。したがって、撮像装置11により取得された画像IMへの写り込み方もまた運転者30ごとに異なる。「横もたれ姿勢」のように運転者30の頭部31の移動量が基準となる異常姿勢を推定しようとする場合、上記のような画像IMへの写り込み方の相違が推定の確からしさを低下させる原因になりうる。
The position of the
しかしながら、上記のような構成によれば、画像IMに写り込んだ運転者30ごとに検出された複数の特徴点に対応する画素間距離と、既知である当該複数の特徴点間の実空間距離との比が特定されるので、画像IM内における頭部31の移動量を運転者30ごとに正確に特定できる。これにより、撮像装置11により取得された画像IMに基づいてなされる運転者30の姿勢異常の推定の確からしさを高めることができる。
However, according to the configuration as described above, the ratio between the pixel-to-pixel distance corresponding to the plurality of feature points detected for each
特に本例においては、画素間距離と実空間距離の比を特定するための複数の特徴点として、運転者30の頭部31に含まれる左耳特徴点LEと右耳特徴点REが選ばれている。撮像装置11により取得される画像IMに写り込む運転者30の体格には個人差があるが、頭部31の寸法に係る個人差は比較的小さいことが知られている。したがって、頭部31に含まれる複数の特徴点を画素間距離と実空間距離の比を特定するために用いることにより、画素間距離から実空間距離への換算時における個人差の影響を抑制できる。
Especially in this example, the left ear feature point LE and the right ear feature point RE included in the
したがって、頭部31に含まれる複数の特徴点であれば、適用される骨格モデルMの仕様に応じて、左耳特徴点LEおよび右耳特徴点REとは異なる組合せが採用されうる。例えば、左目特徴点と右目特徴点の組合せ、鼻特徴点と左耳特徴点の組合せ、頭特徴点と右耳特徴点の組合せ、左目特徴点と左耳特徴点の組合せなどが挙げられる。
Therefore, as long as there are a plurality of feature points included in the
「横もたれ姿勢」は、車両20の左右方向への頭部31の移動量を基準に推定されるので、車両20の左右方向における距離の基準を与えうるのであれば、複数の特徴点の組合せは、頭部31に含まれるものに限られない。例えば、左肩特徴点と右肩特徴点の組合せ、左耳特徴点と左肩特徴点の組合せ、首特徴点と右肩特徴点の組合せなどが挙げられる。
Since the "side leaning posture" is estimated based on the amount of movement of the
図6に例示されるように、画像処理装置12の処理部122は、運転者30が「横倒れ姿勢」をとっているかを推定しうる。
As exemplified in FIG. 6, the
「横倒れ姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「横倒れ姿勢」は、運転者の上半身が左方または右方へ傾き、かつ運転者の顔も同方向に傾いている姿勢が継続している状態として定義されている。 The "sideways posture" is one of multiple types of "posture collapse patterns" defined by the Ministry of Land, Infrastructure, Transport and Tourism. A "sideways posture" is defined as a state in which the driver's upper body is tilted leftward or rightward and the driver's face is also tilted in the same direction.
図11は、左方への「横倒れ姿勢」を例示している。左方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両20の左方向への移動量ΔDLが閾値を上回り、かつ運転者の顔の左方へのロール角θRLが閾値を上回った状態として定義される。ΔDLの閾値は、例えば200mmである。θRLの閾値は、例えば15°である。
FIG. 11 exemplifies a "sideways posture" to the left. The leftward “sideways posture” is defined as a state in which the leftward movement amount ΔDL of the
図12は、右方への「横倒れ姿勢」を例示している。右方への「横倒れ姿勢」は、運転者の顔における特定の位置の、正常時からの車両20の右方向への移動量ΔDRが閾値を上回り、かつ運転者の顔の右方へのロール角θRRが閾値を上回った状態として定義される。ΔDRの閾値は、例えば200mmである。θRRの閾値は、例えば15°である。
FIG. 12 exemplifies a "sideways posture" to the right. The rightward "sideways posture" is defined as a state in which the rightward movement amount ΔDR of the
本明細書で用いられる「ロール角」という語は、車両20の前後方向に延びる軸を中心とする回転角を意味する。本明細書で用いられる「ロール方向」という語は、車両20の前後方向に延びる軸を中心とする回転方向を意味する。「ロール方向」に関しては、運転者30から見て反時計回り方向を「左ロール方向」と定義し、運転者30から見て時計回り方向を「右ロール方向」と定義する。
As used herein, the term "roll angle" refers to the angle of rotation about a longitudinally extending axis of the
具体的には、処理部122は、画像IMに写り込んだ運転者30の頭部31の車両20の左右方向への移動量が閾値を上回ると判断された場合に(図6のSTEP14においてYES)、頭部31の車両20のロール方向への回転角θRを特定する(STEP17)。
Specifically, when it is determined that the amount of movement of the
図13は、車両20のロール方向への回転角θRを特定する手法の一例を示している。本例においては、骨格モデルMの適用により検出された左目特徴点LYと右目特徴点RYが利用される。左目特徴点LYと右目特徴点RYを結ぶ直線の車両20の左右方向に対応する方向からの傾き角は、上記の回転角θRに等しい。したがって、処理部122は、車両20の左右方向における左目特徴点LYと右目特徴点RYの間の距離dLRと、車両20の上下方向における左目特徴点LYと右目特徴点RYの間の距離dUDを取得し、距離dLRと距離dUDのアークタンジェントを求めることにより、回転角θRを特定する。
FIG. 13 shows an example of a technique for specifying the rotation angle θR of the
続いて、処理部122は、特定された回転角θRが閾値を上回っているかを判断する(図6のSTEP18)。すなわち、運転者30の頭部31の左ロール方向への回転角θRが閾値を上回っているかを判断する。同様に、運転者30の頭部31の右ロール方向への回転角θRが閾値を上回っているかを判断する。
Subsequently, the
回転角θRが閾値を上回っていないと判断された場合(STEP18においてNO)、処理部122は、運転者30が「横もたれ姿勢」をとっていると推定する(STEP16)。処理は、図3のSTEP4におけるYESの判断に反映される。
If it is determined that the rotation angle θR does not exceed the threshold (NO in STEP 18), the
回転角θRが閾値を上回っていると判断された場合(図6のSTEP18においてYES)、処理部122は、運転者30が「横倒れ姿勢」をとっていると推定する(STEP19)。具体的には、運転者30の頭部31の車両20の左ロール方向への回転角θRLが閾値を上回っていると判断された場合、運転者30が左方への「横倒れ姿勢」をとっていると推定される。運転者30の頭部31の車両20の右ロール方向への回転角θRRが閾値を上回っていると判断された場合、運転者30が右方への「横倒れ姿勢」をとっていると推定される。処理は、図3のSTEP4におけるYESの判断に反映される。
If it is determined that the rotation angle θR exceeds the threshold (YES in STEP18 of FIG. 6), the
図14は、処理部122により実行される姿勢推定処理(図3におけるSTEP3)の流れの別例を示している。図3に例示された処理の流れと共通する要素については、同一の参照符号を付与し、繰り返しとなる説明を省略する。
FIG. 14 shows another example of the flow of posture estimation processing (STEP 3 in FIG. 3) executed by the
本例においては、STEP12で特定された画素間距離DPと実空間距離DRの対応関係に基づいて、運転者30が「突っ伏し姿勢」をとっているかが推定される。
In this example, based on the correspondence between the inter-pixel distance DP and the real space distance DR specified in
「突っ伏し姿勢」は、国土交通省により定義されている複数種の「姿勢崩れパターン」の一つである。「突っ伏し姿勢」は、運転者が前方に倒れ、ハンドルの付近に顔が位置している姿勢が継続している状態として定義されている。 The “bent-down posture” is one of multiple types of “posture collapse patterns” defined by the Ministry of Land, Infrastructure, Transport and Tourism. A "bent down posture" is defined as a state in which the driver continues to fall forward with his/her face positioned near the steering wheel.
図15は、「突っ伏し姿勢」を例示している。「突っ伏し姿勢」は、運転者の顔における特定の位置の、正常時からの車両20の前方向への移動量ΔDFが閾値を上回るとともに車両20の下方向への移動量ΔDDが閾値を上回り、かつ運転者の顔の下方へのピッチ角θPDが閾値を上回った状態として定義される。ΔDFの閾値は、例えば200mmである。ΔDDの閾値は、例えば180mmである。θPDの閾値は、例えば30°である。
FIG. 15 exemplifies the "prostrate posture". The “bent down posture” is defined as a state in which the forward movement amount ΔDF of the
本例においては、運転者30が「突っ伏し姿勢」をとっているかを推定するために、処理部122は、取得された画像IMに写り込んだ運転者30の頭特徴点Hに対応する画素の位置を特定し、記憶部124に格納されている正常時における頭特徴点Hに対応する画素の位置と比較する。なお、適用される骨格モデルの仕様に応じて、鼻、目、顔などの特徴点が推定に用いられてもよい。
In this example, in order to estimate whether the
比較の結果、取得された画像IMに写り込んだ運転者30の頭特徴点Hに対応する画素の位置と、正常時における頭特徴点Hに対応する画素の位置との間の車両20の前後方向における画素間距離が特定されうる。この画素間距離が、STEP12で特定された比に基づいて、車両20内における実空間距離に換算される。この実空間距離は、取得された画像IMに写り込んだ運転者30の頭部31の正常時からの車両20の前方向への移動量に対応している。すなわち、処理部122は、運転者30の頭部31の車両20の前方向への移動量を特定する(図14のSTEP23)。
As a result of the comparison, the inter-pixel distance in the longitudinal direction of the
続いて、処理部122は、換算された実空間距離が閾値を上回っているかを判断する(STEP24)。すなわち、運転者30の頭部31の車両20の前方への移動量ΔDFが閾値を上回っているかを判断する。
Subsequently, the
換算された実空間距離が閾値を上回っていないと判断された場合(STEP24においてNO)、処理部122は、運転者30が「突っ伏し姿勢」をとっていないと推定する(STEP25)。処理は、図3のSTEP4におけるNOの判断に反映される。
If it is determined that the converted actual space distance does not exceed the threshold (NO in STEP 24),
換算された実空間距離が閾値を上回っていると判断された場合(図14のSTEP24においてYES)、処理部122は、運転者30が「突っ伏し姿勢」をとっていると推定する(STEP26)。処理は、図3のSTEP4におけるYESの判断に反映される。
If it is determined that the converted actual space distance exceeds the threshold (YES in STEP24 of FIG. 14),
すなわち、本例においては、「突っ伏し姿勢」の定義に含まれている移動量ΔDF、移動量ΔDD、およびピッチ角θPDのうち、移動量ΔDFのみに着目して処理を行なっている。しかしながら、このような構成によっても「突っ伏し姿勢」の推定は可能である。 That is, in this example, among the movement amount ΔDF, the movement amount ΔDD, and the pitch angle θPD included in the definition of the "bent down posture", only the movement amount ΔDF is focused on and processed. However, even with such a configuration, it is possible to estimate the "push-down posture".
これまで説明した各機能を有する処理部122は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサは、ROM上に記憶されたコンピュータプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。上記のコンピュータプログラムは、汎用メモリにプリインストールされてもよいし、通信ネットワークを介して外部サーバからダウンロードされて汎用メモリにインストールされてもよい。この場合、外部サーバは、コンピュータプログラムを記憶している記憶媒体の一例である。
The
処理部122は、マイクロコントローラ、ASIC、FPGAなどの上記のコンピュータプログラムを実行可能な専用集積回路によって実現されてもよい。この場合、当該専用集積回路に含まれる記憶素子に上記のコンピュータプログラムがプリインストールされる。当該記憶素子は、コンピュータプログラムを記憶している記憶媒体の一例である。処理部122は、汎用マイクロプロセッサと専用集積回路の組合せによっても実現されうる。
The
記憶部124は、半導体メモリやハードディスク装置により実現されうる。記憶部124は、上記の汎用メモリや記憶素子により実現されてもよい。
上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。 The above embodiments are merely examples for facilitating understanding of the present invention. The configurations according to the above embodiments can be modified and improved as appropriate without departing from the scope of the present invention.
上記の実施形態においては、図6に例示される姿勢推定処理を遂行するにあたり、複数の特徴点に係る画素間距離と既知の実空間距離の比が特定され、画像IMに写り込んだ頭部31に係る特徴点の変位に対応する画素数が、当該比に基づいて車室21内における頭部の実移動量に換算され、換算された実移動量が閾値を上回っているかが判断されている。しかしながら、当該比が特定されることにより、移動量に係る閾値に対応する画素数を特定することも可能である。この場合、画像IMに写り込んだ頭部31に係る特徴点の変位に対応する画素数が、当該閾値に対応する画素数を上回っているかの判断に基づいて、異常姿勢の推定を行なってもよい。
In the above-described embodiment, when performing the posture estimation process illustrated in FIG. 6, the ratio between the inter-pixel distances related to the plurality of feature points and the known real space distance is specified, the number of pixels corresponding to the displacement of the feature points related to the
上記の実施形態においては、運転者30がとりうる異常姿勢として「横もたれ姿勢」、「横倒れ姿勢」、および「突っ伏し姿勢」を例示した。しかしながら、車両20における規定された方向について基準を与える複数の特徴点を用いて画素間距離が特定可能であり、かつ当該複数の特徴点の間の実空間距離が既知であれば、両者から特定される比に基づいて、当該規定された方向への移動量に基づきうる適宜の異常姿勢を推定できる。
In the above-described embodiment, the abnormal postures that the
画像処理装置12は、車両20に搭載されてもよいし、適宜の規格に基づく無線通信ネットワークを介して車両20と通信可能な外部装置として提供されてもよい。画像処理装置12が車両20に搭載される場合、画像処理装置12による画像処理と制御装置13による制御処理は、共通の装置あるいは素子によって行なわれてもよい。画像処理装置12が無線通信ネットワークを介して車両20と通信可能な外部装置として提供される場合、撮像装置11から出力された画像情報Iが、無線通信ネットワークを介して画像処理装置12に送信される。処理部122による姿勢推定処理の結果として出力されうる制御情報Cは、当該無線通信ネットワークを介して制御装置13へ送信される。
The
異常推定システム10は、車両20以外の移動体にも適用されうる。他の移動体の例としては、鉄道、航空機、船舶などが挙げられる。
The
10:異常推定システム、11:撮像装置、12:画像処理装置、121:受付部、122:処理部、13:制御装置、20:車両、30:運転者、31:頭部、40:被制御装置、DP:画素間距離、DR:実空間距離、I:画像情報、IM:画像、LE:左耳特徴点、PL、PR:画素、RE:右耳特徴点、WH:頭部幅、ΔDL、ΔDR、ΔDD:移動量、θR:ロール方向への回転角 10: Abnormality estimation system 11: Imaging device 12: Image processing device 121: Receiving unit 122: Processing unit 13: Control device 20: Vehicle 30: Driver 31: Head 40: Controlled device DP: Distance between pixels DR: Real space distance I: Image information IM: Image LE: Left ear feature point PL, PR: Pixel RE: Right ear feature point WH: Head width ΔDL, ΔDR, ΔDD : Movement amount, θR: Rotation angle in roll direction
Claims (8)
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する処理部と、
を備えており、
前記処理部は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定し、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定し、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定し、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記姿勢が異常であると推定する、
画像処理装置。 a reception unit that receives image information corresponding to an image in which the driver of the moving object is captured;
a processing unit that estimates whether the posture of the driver is abnormal based on the image information;
and
The processing unit, based on the image information,
identifying a plurality of feature points on the driver's body reflected in the image;
identifying a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
identifying an amount of movement in the prescribed direction of the position of the driver's head reflected in the image;
estimating that the posture is abnormal when the movement amount in the specified direction of the position of the driver's head in the real space specified based on the ratio exceeds a threshold;
Image processing device.
前記処理部は、前記左右方向への前記移動量が前記閾値を上回る場合、前記運転者が横もたれ姿勢をとっていると推定する、
請求項1に記載の画像処理装置。 the defined direction corresponds to the left-right direction of the moving body,
The processing unit estimates that the driver is in a side-lying posture when the amount of movement in the left-right direction exceeds the threshold.
The image processing apparatus according to claim 1.
前記画像に写り込んだ前記運転者の頭部の前記移動体のロール方向への回転角を特定し、
前記左右方向への前記移動量が前記閾値を上回り、かつ前記回転角が閾値を上回る場合、前記運転者が横倒れ姿勢をとっていると推定する、
請求項2に記載の画像処理装置。 The processing unit is
identifying the rotation angle of the driver's head reflected in the image in the roll direction of the moving body;
estimating that the driver is lying sideways when the amount of movement in the left-right direction exceeds the threshold and the rotation angle exceeds the threshold;
The image processing apparatus according to claim 2.
前記処理部は、前記前方向への前記移動量が前記閾値を上回る場合、前記運転者が突っ伏し姿勢をとっていると推定する、
請求項1に記載の画像処理装置。 the defined direction corresponds to the forward direction of the moving object;
The processing unit estimates that the driver is in a prone posture when the amount of movement in the forward direction exceeds the threshold.
The image processing apparatus according to claim 1.
請求項1から4のいずれか一項に記載の画像処理装置。 each of the plurality of feature points corresponds to a point included in the head;
The image processing apparatus according to any one of claims 1 to 4.
請求項1から5のいずれか一項に記載の画像処理装置。 configured to be mounted on the mobile body,
The image processing apparatus according to any one of claims 1 to 5.
実行されることにより、前記画像処理装置に、
移動体の運転者が写り込んだ画像に対応する画像情報を受け付けさせ、
前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定させ、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定させ、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定させ、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記運転者の姿勢が異常であると推定させる、
コンピュータプログラム。 A computer program executable by a processing unit of an image processing device,
By being executed, the image processing device
receiving image information corresponding to an image in which a driver of a mobile object is captured;
Based on the image information,
specifying a plurality of feature points on the driver's body reflected in the image;
determining a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
specifying a movement amount in the specified direction of the position of the driver's head reflected in the image;
estimating that the driver's posture is abnormal when the movement amount in the specified direction of the position of the driver's head in the real space specified based on the ratio exceeds a threshold;
computer program.
前記画像情報に基づいて前記運転者の姿勢が異常であるかを推定する画像処理装置と、
前記画像処理装置により前記姿勢が異常であるとの推定結果に基づいて、前記移動体に搭載された被制御装置の動作を制御する制御装置と、
を備えており、
前記画像処理装置は、前記画像情報に基づいて、
前記画像に写り込んだ前記運転者の身体における複数の特徴点を特定し、
規定された方向における前記複数の特徴点に対応する複数の画素間の距離と、実空間の当該規定された方向における前記複数の特徴点間の既知の距離との比を特定し、
前記画像に写り込んだ前記運転者の頭部の位置の前記規定された方向への移動量を特定し、
前記比に基づいて特定される前記実空間における前記運転者の頭部の位置の前記規定された方向への移動量が閾値を上回る場合、前記姿勢が異常であると推定する、
異常推定システム。 an imaging device that outputs image information corresponding to an image in which a driver of a mobile object is captured;
an image processing device that estimates whether the posture of the driver is abnormal based on the image information;
a control device that controls the operation of a controlled device mounted on the moving body based on the estimation result that the posture is abnormal by the image processing device;
and
The image processing device, based on the image information,
identifying a plurality of feature points on the driver's body reflected in the image;
identifying a ratio of a distance between pixels corresponding to the feature points in a specified direction to a known distance between the feature points in the specified direction in real space;
identifying an amount of movement in the prescribed direction of the position of the driver's head reflected in the image;
estimating that the posture is abnormal when the movement amount in the specified direction of the position of the driver's head in the real space specified based on the ratio exceeds a threshold;
Anomaly estimation system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048020A JP7314084B2 (en) | 2020-03-18 | 2020-03-18 | Image processing device, computer program, and anomaly estimation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020048020A JP7314084B2 (en) | 2020-03-18 | 2020-03-18 | Image processing device, computer program, and anomaly estimation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021149440A JP2021149440A (en) | 2021-09-27 |
JP7314084B2 true JP7314084B2 (en) | 2023-07-25 |
Family
ID=77848921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020048020A Active JP7314084B2 (en) | 2020-03-18 | 2020-03-18 | Image processing device, computer program, and anomaly estimation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7314084B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017202816A (en) | 2016-05-10 | 2017-11-16 | 勇 大森 | Driver abnormality occurrence detector and safety device using the same |
JP2017217472A (en) | 2016-06-02 | 2017-12-14 | オムロン株式会社 | State estimation device, state estimation method, and state estimation program |
JP2018173996A (en) | 2014-06-23 | 2018-11-08 | 株式会社デンソー | Driving disabled state detector of driver |
JP2019087018A (en) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | Driver monitor system |
JP2019105872A (en) | 2017-12-08 | 2019-06-27 | 株式会社デンソー | Abnormality detection device and abnormality detection program |
-
2020
- 2020-03-18 JP JP2020048020A patent/JP7314084B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018173996A (en) | 2014-06-23 | 2018-11-08 | 株式会社デンソー | Driving disabled state detector of driver |
JP2017202816A (en) | 2016-05-10 | 2017-11-16 | 勇 大森 | Driver abnormality occurrence detector and safety device using the same |
JP2017217472A (en) | 2016-06-02 | 2017-12-14 | オムロン株式会社 | State estimation device, state estimation method, and state estimation program |
JP2019087018A (en) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | Driver monitor system |
JP2019105872A (en) | 2017-12-08 | 2019-06-27 | 株式会社デンソー | Abnormality detection device and abnormality detection program |
Also Published As
Publication number | Publication date |
---|---|
JP2021149440A (en) | 2021-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107428302B (en) | Occupant size and pose detection with vehicle interior camera | |
US10503986B2 (en) | Passenger information detection device and program | |
EP3330147B1 (en) | Method and apparatus for generating a driving route for an autonomous vehicle | |
CN111267564A (en) | Hitching auxiliary system | |
JP6003673B2 (en) | 3D position estimation apparatus, vehicle control apparatus, and 3D position estimation method | |
EP3043202B1 (en) | Moving body system | |
EP3418122B1 (en) | Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program | |
JP6306735B2 (en) | Stereo camera device and vehicle equipped with stereo camera device | |
US20200090299A1 (en) | Three-dimensional skeleton information generating apparatus | |
JP2019191806A (en) | Abnormality detection device and abnormality detection method | |
JP4333611B2 (en) | Obstacle detection device for moving objects | |
US20220009552A1 (en) | Position estimation apparatus | |
JP2020060550A (en) | Abnormality detector, method for detecting abnormality, posture estimating device, and mobile control system | |
JP7314084B2 (en) | Image processing device, computer program, and anomaly estimation system | |
JP7314085B2 (en) | Image processing device, computer program, and anomaly estimation system | |
JP7458216B2 (en) | Image processing device, computer program, and abnormality estimation system | |
WO2020110435A1 (en) | External environment recognition device | |
JP7402719B2 (en) | Image processing device, computer program, and abnormality estimation system | |
WO2017090097A1 (en) | Outside recognition device for vehicle | |
US11807181B2 (en) | Vision-based airbag enablement | |
WO2020122143A1 (en) | Measuring system, measuring method, and measuring program | |
JP2013183311A (en) | Estimation device and detection system of attitude angle in on-vehicle camera | |
JP5472137B2 (en) | Boundary detection device and boundary detection program | |
JP7195963B2 (en) | Head identification device, computer program, and storage medium | |
WO2021106510A1 (en) | Obstacle recognition device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230619 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314084 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |