JPH09501234A

JPH09501234A - デジタル画像シーケンスにおいて、適切にマーキングされた対象物の空間位置および回転位置の識別方法

Info

Publication number: JPH09501234A
Application number: JP7506149A
Authority: JP
Inventors: マッギオーニ，クリストフ; ヴィルツ，ブリギッテ
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1993-08-09
Filing date: 1994-08-01
Publication date: 1997-02-04
Also published as: WO1995004977A1; DE59403321D1; US5751843A

Abstract

(57)【要約】画像シーケンスの画像が閾値演算の適用によって２進化される。２しんが贈シーケンスの各個別２進画像の個々のセグメントのモーメントが所定の次元まで検出される。モーメントからパラメータが検出され、このパラメータはセグメントの空間位置および回転位置を表す。これらのパラメータとモーメントに基づいて、マーキングおよびその空間位置と回転位置が検出される。マークされた対象物におけるマーキングのキチン簿配置構成を適用して、引き続きマークされた対象物の空間位置と回転位置が求められる。

Description

【発明の詳細な説明】デジタル画像シーケンスにおいて、適切にマーキングされた対象物の空間位置および回転位置の識別方法本発明は、デジタル画像シーメンスにおいて、適切にマーキングされた対象物の空間位置および回転位置の識別方法に関し、とりわけ、ヒトの手の運動の検知および追従方法に関する。そのために例えば専用に製造された手袋には適切なマーキングが設けられている。このような方法は、身ぶり手振り（ゼスチュア）を用いた種々の技術分野におけるデータ処理装置の制御および関連する装置の制御に必要であり、このような装置では、できるだけ簡単なマン・マシン・インターフェースが重要である。Ｍ．Ａ．Ｃｌａｒｋｓｏｎの論文[Cla91]、An easier i nterfacr，BYTE 16(2)，Feb．1991,には“３Ｄ−ルーム”、３次元系の印象的な例、公知の２次元“デスクトップ”ユーザーサーインターフェースの、グラフィカルユーザーインターフェースを備えた今日通常のコンピュータに対する拡張が記載されている。これは３次元入力装置にとって非常に重要である。公知の文献[Kru91]、[Vin91]、[Wel91]そして［Seg92]を基礎とする画像処理にはすべて次のような欠点がある。すなわち、２次元ゼスチュアしか識別することができず、所定の特性を有する均一の画像バックグランドを前提としなければならない。本発明の課題は、デジタル画像シーケンスに適切にマーキングされた対象物の空間位置および回転位置の識別方法を提供することであり、この方法は前記の制限を受けず、任意の画像バックグランドで３次元ゼスチュアの識別を可能にするものである。この課題は本発明により、請求項１に記載された構成を備えた、デジタル画像シーケンスに適切にマーキングされた対象物の空間位置および回転位置の識別方法によって解決される。画像シーケンスの画像は、閾値演算の適用によって２進化される。２進画像シーケンスの各個々の２進画像の個々のセグメントモーメントが所定の次元まで検出される。これらのモーメントから、空間におけるセグメントの位置と回転位置を表すパラメータが求められ、これらのパラメータとモーメントに基づいて、マーキングとその空間における位置および回転位置が検出される。マークキングされた対象物についてのマーキングの既知の配置構成を使用することで、引き続き空間におけるマーキングされた対象物の位置と回転位置が求められる。本発明の有利な改善実施例は従属請求項から明らかである。図１は、ＣＣＤカメラにより撮影され、ラスタ化された白黒画像を示す。この画像は本発明の方法を実施するためマーキングの付された人の手である。図２は、図１の画像を２進化した形態で示す。図３は、２進セグメントの輪郭の輪郭追従を概略的に、どのようにこの輪郭追従が本発明の方法の有利な実施例で適用されるかを示す。図４は、図３に示された輪郭追従の結果を図２の画像の例で示す。図５は、対象物マーキングの有利な実施形態を、これが本発明の方法と関連してどのように適用することができるかを示す。図６は、本発明の方法の有利な実施例を明確にするためのスキーマを示す。図７は、主軸と別のパラメータを有する投影楕円を概略的に示す。図８は、２つの円形の投影マーキングを概略的に示す。図９は、２つの円形投影マーキングの例で、適合閾値形成を概略的に示す。図１０は、運動予測による探索空間の制限を概略的に示す。以下本発明を実施例に基づき、図面を用いて詳細に説明する。ヒトの手のゼスチュアを用いたデータ処理装置の制御での画像処理の課題は、ヒトの手の運動およびゼスチュアを識別することである。しかしこのために以下に説明する方法は、ハンドゼスチュア識別の領域を超えてマーキングされた任意の対象物の空間位置および位置の識別に適用することができる。ここで使用される画像処理方法はとりわけ、画像シーケンス材料のノイズに依存してはならない。さらに、周囲明度の変動や画像バックグランドにおける運動にも依存してはならない。またその際に、処理速度は毎秒１０から２５フレームであるようにする。ここで特に重要なことは画像処理の速度である。これが過度に低いと、ユーザーの手の運動と、それぞれの制御適用に関連して、これにより制御される作用との間に大きな遅延が生じる。実験によって、１/１０秒の応答時間を上回ってはならないことが判明した。応答時間は１/２５秒が最適と思われる。使用されるハードウェアの処理速度へのこの制限的要求により、多くの刊行物では、比較的コストのかかる専用ハードウェアがリアルタイムでの、または非常に高速での画像処理に使用されるが、それでも高性能の画像処理アルゴリズムが必要である。この特許出願に記載された画像処理アルゴリズムは適用固有の知識を十分に利用するが、しかしこれによって一般的な適用性が制限されるものではない。本発明の方法の有利な実施例では、白黒カメラによって撮影された画像でヒトの手およびその運動が識別される。ここではこの手には黒の手袋が着用されており、これに設けられたマーキングにより特にマークされる。このマーキングの大きさと形状が既知であるという条件によって、本発明の画像処理方法は非常に簡単になる。バックグランドの変化する白黒画像においてヒトの手をリアルタイムで識別することは一般的に非常に困難な問題である。この問題が次の場合には非常に簡単になる。すなわち、手がバックグランドから顕著に際だち、手にマーキングが設けられており、このマーキングの形状と大きさが識別される場合である。この理由から本発明の方法と関連して、例えば黒の手袋とこれに設けられた白のマーキングを使用し、この手袋を本発明の使用者が手に着用するのである。ヒトの手の画像は本発明の方法では白黒カメラによって撮影され、適応閾値演算で処理され、セグメント化された２進画像に変換される。引き続き、すべての画像対象物について特徴が算出され、この特徴に基づいてマーキングが識別され、その空間位置が算出される。図６は本発明の経過を概略的に示すものである。画像は例えばＣＣＤカメラによって撮影される。ＣＣＤカメラは有利にはコンピュータモニタにあるかまたはその近傍にある。このカメラは、本発明の開始時に、その撮影領域が使用者の手の運動にとって快適な空間領域と一致するように調整される。これに対する実験で、ズーム対物レンズが有利であることが判明したが、必ずしも必要なものではない。カメラから送出された画像はビデオ信号の形態で、例えばフレームキャプチャによりデジタル化され、続いて計算器のメモリにデジタル画像として例えば５１２×５１２画素の大きさで記憶される。ここで各画素（ピクセル）は、この画素の明度値を表す８ビット幅の数により示される。図１はラスタ化された白黒画像の例を示す。この白黒画像には黒い手と、これに設けられたマーキングが示されている。カメラは使用者により所望の方向に配向されているから、その光軸の空間位置はすぐには既知でない。したがってカメラの調整の後、較正ステップが必要である。この較正ステップでは、例えばカメラの光軸の位置が検出され、例えばマーキングの大きさが対物レンズからの所定の距離で測定される。これにより、後で手が離れてもマーキングの大きさによりこれを検知することができる。ヒトの手または他の運動対象物をＣＣＤカメラを用いて画像記録し、この画像を引き続きコンピュータでデジタル化および記憶した後、データ圧縮のためにこの白黒画像の２進化が実行される。このために用いられる閾値は開始時に設定されるか、またはインタラクティブに検出され、存在する光条件に適合される。閾値の適合については後で説明する。カメラにより記録された白黒画像は２進画像としてさらに処理され、対象物、例えば手に設けられたマーキングをセグメント化する。これについてはそれ自体公知のアルゴリズム（Ｔ．Ｐａｖｌｉｄｉｓ著：“Al gorthms for Graphics and Image Processing”,Springer 1982）が適用される。ここでは２進画像がライン毎に走査される。ここで、０から１への跳躍、すなわち暗から明への跳躍が検知され、瞬時の画素がまだ探索されていなければ輪郭は時計方向に経過している。この場合、画素の座標がまず記憶され、その際に探索された画素がすでに処理されたものとしてマークされる。１から０への跳躍の際には、輪郭が時計とは反対方向に走査される。この処理ステップの終了時には、コンピュータのメモリには対象物輪郭のリストが備わっており、ここでは付加的に、白のバックグランドに黒の対象物があるのか、またはその反対かが既知である。図３は、Ｐａｖｌｉｄｉｓによる輪郭追従の実行を概略的に示すものである。図４は、図３により示された輪郭追従の結果を図２の画像の例で概略的に示すものである。本発明の方法をさらに実施するためには、マークされた対象物の識別をその位置、大きさ、および空間的配向に依存しないで行うことが必要である。画像処理では、画像から特徴を抽出し、上記の変換に対して不変である方法が開発された。この目的のためにはとくに、いわゆるモーメントが適する。このモーメントは例えば、Ｚｈｏｕ等著の“Morphological Skeleton Transforms for Determinin g position and orientation of Pre-Marked Objects”,IEEE Pacific Rim Conf erence on Communication，Computers and Signal Processing，pp.301-305，19 89に記載されている。関数ｆ（ｘ，ｙ）の次元ｐ，ｑのモーメントｍ_p,qは次のように定義される。ここでｆ（ｘ，ｙ）は例えば個所（ｘ，ｙ）における画素の明度値である。画像処理に適した離散形態では、このモーメントの定義は次のとおりである。ここでＭとＮはｘ方向およびｙ方向の画素の数、すなわち画像の大きさを表す。上に定義したモーメントは明度値形成の場合に対して定義された。ここでは関数ｆの値領域については制限的仮定は行われない。本発明の方法の場合、画像はすでに２進化されている。これによりｆは単に２進値１または０だけを取る。したがってモーメントの定義が簡単になる。低次のモーメントには容易に具体的な解釈を割り当てることができる。モーメントｍ_0,0は対象物の面に等しい。商ｍ_1,0／ｍ_0,0ないしｍ_0,1／ｍ_0、0は対象物重心のｘ座標ないしｙ座標を表す。この重心座標を用いて、各対象物の重心を原点に変換することが考えられる。別のモーメントをこの座標原点選択を基準にして計算すれば、このモーメントは中心モーメントと称される。したがって中心モーメントは次のように定義される。モーメントを計算するためには、対象物の面積が画素を含むの同程度の多数の演算が必要である。対象物の面積は一般的にはその大きさの二乗で増大する。しかしグリーンの法則を用いて、モーメントの定義を次のように変形することができる。すなわち、集合体Ｄ（内部穴なし）のモーメントはその輪郭線Ｕに基づいて計算することができるのである。輪郭線状の画素の数は対象物の大きさと線形にしか増大しない。したがって、モーメントを計算するための複雑性と計算コストはかなりの程度軽減される。対象物が穴を含んでいても、モーメントをグリーンの法則を用いて計算することができる。これは、穴の海岸線（対象物の外側輪郭に対して反対方向に延在するという意味での海岸線）を対象物の輪郭線の別の構成部として取り扱えばよいのである。Ｄが集合体でＵが輪郭線とすれば、集合体Ｄのモーメントはグリーンの法則に従って次のように算出することができる。ここでは、式の係数ａとｂが、ｂ（ｐ＋１）−ａ（ｑ＋１）＝１を満たさなければならない。この一般式の重要な例はまたはである。ここで外側輪郭曲線は時計方向に経過し、内側輪郭線（穴の場合）は反時計方向に経過する。本発明の方法では、最初の３つのモーメントが輪郭追従と関連して算出される。さらに対象物の最大広がりがｘ方向とｙ方向で検出される。第２のステップでは、比較的に高次の中央モーメントが、必要であれば計算される。マーキングされた対象物を同定するために、マーキングに相当する対象物が見つけだされる。本発明の方法の有利な実施例では、マーキングとして相互に偏心して配置された２つの円が使用される。これらのうちの一方は可能な限り明るく（白）、他方は可能な限り暗い（黒）。マーキング構造体のこの構成は、全体の配置構成が回転不変ではなく、この配置構成の射影を容易に計算することができる。対象物マーキングのこの有利な実施例の特質は、本発明の方法に特に適する。これにより、マークされた対象物の回転位置をとくに確実に検知することができる。輪郭追従およびモーメントの計算が終わった後、マーキングを画像に同定するため種々の検査が順次実行される。手の上の（または対象物上の）マーキングの大きさは既知であり、カメラからの最大距離および最小距離は容易に設定することができるから（例えば２０ｃｍから４０００ｃｍ）、このマーキングの面に対して下側の制限を画像中に設定することができる。しかしモーメントｍ_0、0は対象物の面積を表す。したがって比較的に大きくなったり、小さくなるすべての対象物を直ちに選別することができる。円形状を検出するために大体のスタンドポイントとして、検出された対象物の、ｘ方向およびｙ方向の最大広がりを使用する。これはこの対象物と円との類似性を計算するためである。さらに大きくて黒い対象物が探索される。この対象物には小さくて白い対象物が存在し（またはその反対）、その面積比は所定の限界内にある。当業者にとってはさらに別の、場合により改善された基準をマーキング構造体の検知に使用することが容易にできる。しかし実験では、上記の基準によりほぼ常にマーキングを画像内で一義的に同定することができた。マーキング構造体の同定の後、マーキング構造体の重心の位置、および対象物（手）におけるマーキング構造体の既知の配置構成によって、空間における手の位置をｘ方向およびｙ方向で検出することができる。マーキング構造体の大きさは、既知の面積により、カメラからの間隔つまりｚ方向の位置を表す。これにより空間における対象物の位置が既知となる。マーキングの位置パラメータと対象物の重心がこのようにして検出された後、次の角度の検出が行われる。この角度とは、対象物が３つの空間軸を基準にどれだけ回転して配置されているかの角度である。これらの回転角度を検出するためには次の事実が利用される。すなわち、図５に示したマーキングの内側円の中心と外側円の中心とが相互に同心ではなく、円は空間的投影では楕円に移行し、楕円のパラメータから投影角度を知ることができるという事実である。したがって楕円のパラメータを検出し、ここから画像面に対する円形面の傾き角度が算出される。マーキングの円形面面接線ベクトルがｎ＝（Ａ，Ｂ，Ｃ）であれば、空間における円上のすべての点（ｘ，ｙ，ｚ）に対して次式があてはまる。Ａｘ＋Ｂｙ＋Ｃｚ＝０ここで円の半径をＲとすればＲはである。図７は、投影円の幾何的パラメータを表す。すなわち、主軸ＭとＮ、角度θ（この角度は主軸ＭがＸ軸と形成するものである）そして面接線ベクトルｎを備えた楕円を表す。楕円に相当する対象物の中心モーメントが既知であれば、この楕円の主軸ＭとＮ、および主軸Ｍとｘ軸がなす角度θを次式にしたがって計算することができる。したがって、主軸と角度を計算するためには２次元に対するモーメントが必要なだけである。前記のパラメータ間には次の有用な関係が存在する。そして、Ａ＝−Ｂ・ｔａｎ（θ）変形するとが得られる。ｎは接線ベクトルであるから、が当てはまる。変形によって、接線ベクトルの要素Ａ，Ｂ，Ｃは次のように計算される。中心が（ｄｘ，ｄｙ）だけ相互にずれた２つの円形リングからなる円形マーキングが存在すれば、Ｚ軸を中心にした回転φを次のように計算することができる。パラメータＡとＢはＺ軸の回転φに相応しなければならないから、次のように変形することができる。Ｚ軸を中心にした回転を基準にすれば、楕円は変換後に通常位置になる。したがって次にｘ軸を中心にした回転に対する角度αと、Ｙ軸を中心にした回転に対する角度βとを既知の面法線から算出することができる。そのためには有利には、ｎにより定められた平面を次のように変換する。すなわち、ｎがベクトル（０、０、１）に対して続いて平行になる、つまりＺ軸に対して平行になるように変換する。まず最初にＸ軸を中心にした回転が行われ、次にＹ軸を中心にした回転が行われる。対象物のモデルないし手を通常位置にもたらすため、すなわちＸＹ面に対して平行に円形マーキングの位置へもたらすためには、上記の回転を反対の順序で適用しなければならない。すなわち、最初にＹ軸、次にＸ軸、そして最後にＺ軸である。種々の理由から、本発明の有利な実施例では、撮影された白黒画像を２進化するために使用される閾値を本発明の方法を実施する間に連続的に新たに検出することが必要な場合がある。ひとつには、空間照明に変動があるからである（例えば、雲、付加的照明）。また手の運動により局所的な明度変動がマーキング構造体自体に生じることもある。後者のことは、例えば天井照明の場合に手がＸ軸を中心に傾くと発生する。図は手平面に設けられたマーキング構造体への影を示す。この困難性を解決するために、閾値を明度変動に適合させると有利である。ここでは、マーキング構造体の２つの円の直径の比が既知であることが利用される。マーキング円の２つの中心を通る１つの直線が計算される。その始点は直線と外側マーキング円との第１の交点であり、終点は第２の交点である。図９は、幾何関係を概略的に示す。ここでｔｈは適合すべき閾値、ＩＣは内側マーキング円（楕円として示されている）の中心、そしてＵＣは外側マーキング円の中心である。Ｌは２つの中心を通る直線である。個の直線に沿った、画像のｎ個の明度値が１つのフィールドに選別される。外側マーキング円が例えば白であれば、閾値が理想的である場合、ｎ×ｒ個のポイントが閾値以下であり、ｎ×（１−ｒ）個のポイントが閾値より上にある。ここでｒは小さいマーキング円の直径と大きいマーキング円の直径との比である。このような閾値は選別された明度値フィールドのちようどｎ番目の要素である。しかしこの閾値を使用することは実際の適用では必ずしも常に最適ではない。その代わりに、本発明の有利な実施例では、２つのクラスタの平均明度値の中央値を新しい既知として使用することができる。古い２進閾値は新たに計算された閾値の方向に変化される。個々の画像においてマーキング構造体を発見することができないこともある。これは例えば照明が非常に強く変化した場合である。したがって所定数の画像でマーキング構造体が発見されない場合は、閾値形成は例えばランダム数によって継続される。次にマーカがうまく検知されれば、上記の機構が閾値適合のために再び開始される。マーキング構造体がいったん発見されれば、次の画像でそれぞれ全体画像面をマーキング構造体について探索する必要はほとんどない。その代わりに、探索領域が定められ、この探索領域でだけ２進化、輪郭追従および対象物同定のステップが実行される。探索領域は典型的には画像全体よりも小さいから、探索すべき画素の数は格段に低減され、ひいては計算速度が上昇する。図１０は運動予測の簡単化された形態と関連して、制限された探索領域の適用を概略的に示す。運動予測の課題は、次の画像に存在するマーキングの個所を予測することである。これは新たな探索領域の中心をその個所に位置決めするためである。本発明の方法にとっては簡単な運動予測の形式、いわゆる線形予測で十分である。マーキング構造体の速度は最後の２つの画像から推定され、マーキング構造体の速度はほぼ一定であると仮定される。これによりマーキング構造体の新たな位置を次の画像で予測することができ、そこで探索領域をセンタリングすることができる。マーキング構造体の速度に応じて、探索領域が拡大される。なぜなら、手の速度が高い場合には突然方向を変える確率も高く、したがって小さな探索領域から消えてしまう確率の高いからであう。設定された探索領域内でマーキング構造体を発見することができなければ、探索領域は複数のステップでマーキングが再び発見されるまで拡大される。場合によっては探索領域は画像の大きさ全体を含む。もちろん本発明と関連して、他の運動予測方法を適用することもできる。この運動予測方法は、例えば予測運動速度および加速度、並びに検知された対象物運動に関する知識一般を新たな探索領域の検出に用いる。当業者には文献から、本発明の方法と関連して有利に使用できる運動予測のための種々の方法が公知である。この特許出願の枠内で以下の刊行物を引用する。

【手続補正書】特許法第１８４条の８【提出日】１９９５年６月１２日【補正内容】ができず、所定の特性を有する均一の画像バックグランドを前提としなければならない。ドイツ連邦共和国特許出願第３７１８６２０号公開公報から、いわゆる内部２重心法を用いた回転角度検出が公知である。しかしこの方法は対象物の位置の知識と他の２つの空間方向での空間位置を前提とする。したがって１つの軸を中心にした回転位置を知ることはできるが、空間位置を知ることはできない。本発明の課題は、デジタル画像シーケンスに適切にマーキングされた対象物の空間位置および回転位置の識別方法を提供することであり、この方法は前記の制限を受けず、任意の画像バックグランドで３次元ゼスチュアの識別を可能にするものである。この課題は本発明により、請求項１に記載された構成を備えた、デジタル画像シーケンスに適切にマーキングされた対象物の空間位置および回転位置の識別方法によって解決される。画像シーケンスの画像は、閾値演算の適用によって２進化される。２進画像シーケンスの各個々の２進画像の個々のセグメントモーメントが所定の次元まで検出される。これらのモーメントから、空間におけるセグメントの位置と回転位置を表すパラメータが求められ、これらのパラメータとモーメントに基づいて、マーキングとその空間における位置および回転位置が検出される。マークキングされた対象物についてのマーキングの既知の配置構成を使用することで、引き続き空間におけるマーキングされた対象物の位置と回転位置が求められる。本発明の有利な改善実施例は従属請求項から明らかである。図１は、ＣＣＤカメラにより撮影され、ラスタ化さ請求の範囲１．デジタル画像シーメンスにおいて、マーキングされた対象物の空間位置および回転位置の識別方法であって、前記対象物をマーキングするために相互に偏心して配置された構造体を使用する方法において、ａ）画像シーケンスの画像を閾値演算を用いて２進化し、これにより２進画像シーケンスを形成し、ｂ）２進画像シーケンスの各個々の２進画像の個々のセグメントのモーメントを所定の次元まで検出し、ｃ）前記モーメントからパラメータを検出し、当該パラメータはセグメントの空間位置および回転位置を表し、当該パラメータとモーメントに基づいて、マーキングおよびマーキングの空間位置と回転位置を検出し、ｄ）マークされた対象物におけるマーキングの既知の配置構成を利用して、マークされた対象物の空間位置と回転位置を検出することを特徴とする、対象物の空間位置および回転位置の識別方法。３．円形構造体を対象物のマーキングに使用する、請求項１または２記載の方法。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＪＰ，ＵＳ

Claims

【特許請求の範囲】１．デジタル画像シーメンスにおいて、適切にマーキングされた対象物の空間位置および回転位置の識別方法であって、ａ）画像シーケンスの画像を閾値演算を用いて２進化し、これにより２進画像シーケンスを形成し、ｂ）２進画像シーケンスの各個々の２進画像の個々のセグメントのモーメントを所定の次元まで検出し、ｃ）前記モーメントからパラメータを検出し、当該パラメータはセグメントの空間位置および回転位置を表し、当該パラメータとモーメントに基づいて、マーキングおよびマーキングの空間位置と回転位置を検出し、ｄ）マークされた対象物におけるマーキングの既知の配置構成を利用して、マークされた対象物の空間位置と回転位置を検出することを特徴とする、対象物の空間位置および回転位置の識別方法。２．２進画像シーケンスの各個々の２進画像の個々のセグメントの輪郭を検出し、当該輪郭からこのセグメントのモーメントを検出する、請求項１記載の方法。３．相互に偏心して配置された円形構造体を対象物のマーキングに使用する、請求項１または２記載の方法。４．画像シーケンスの２進化に用いる閾値を、マーキング構造体の画像の連続して測定された強度に依存して、当該構造体の変化する照明条件に適合する、請求項１から３までのいずれか１項記載の方法。５．後続の画像におけるマーキングの位置を先行する画像での観察値から予測し、当該マーキングをその予測された位置の適切に選択された環境の下で探索する、請求項１から４までのいずれか１項記載の方法。６．グラフィカルユーザーインターフェースのデータ処理装置を操作するヒトのゼスチュアの自動識別のための装置に適用される、請求尾Ｕ１から５までのいずれか１項記載の方法。