JP7280865B2 - 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 - Google Patents

自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 Download PDF

Info

Publication number
JP7280865B2
JP7280865B2 JP2020505212A JP2020505212A JP7280865B2 JP 7280865 B2 JP7280865 B2 JP 7280865B2 JP 2020505212 A JP2020505212 A JP 2020505212A JP 2020505212 A JP2020505212 A JP 2020505212A JP 7280865 B2 JP7280865 B2 JP 7280865B2
Authority
JP
Japan
Prior art keywords
human
gesture
feature vector
person
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505212A
Other languages
English (en)
Other versions
JP2020533662A (ja
Inventor
クラフト・エルヴィン
ハーリヒ・ニコライ
ゼムラー・ザシャ
ドライザイテル・ピア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2020533662A publication Critical patent/JP2020533662A/ja
Application granted granted Critical
Publication of JP7280865B2 publication Critical patent/JP7280865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、シングルレンズカメラを用いたジェスチャー認識を実施するための方法並びに装置に関し、特に好ましくは、部分的に自動的に走行する車両の車載カメラにおいて採用されることができる。
ジェスチャーを検出する従来の技術には、例えば３Ｄカメラ「Ｋｉｎｅｃｔ」が挙げられる。既知の方法やシステム（例えば、Ｋｉｎｅｃｔなど）の多くにおいては、ジェスチャーの認識を可能にする３Ｄ情報が必要とされる。
文献「Ｒｅａｌｔｉｍｅ Ｍｕｌｔｉ－Ｐｅｒｓｏｎ ２Ｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ ｖｏｎ Ｃａｏ ｅｔ ａｌ．」（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６１１．０８０５０．ｐｄｆの２０１７／０９／１１にダウンロードしたバージョン）には、一枚の画像内の複数のヒトの２Ｄポーズ推定を実施するための方法が、開示されている。ここでは、一人のヒトに帰属する体の部位が、骨格のように互いにつなぎ合わされる。
こうすることにより、内骨格の関連要素を作成するためのキーポイント（ｋｅｙ ｐｏｉｎｔｓ）のリストが、作成される。
ＤＥ １０ ２０１４ ２０７ ８０２ Ｂ３は、道路交通における交通参加者のアクションを予測的に認識するための方法とシステムを開示している。ここでは、少なくとも一台のカメラを用いて交通参加者（例えば、歩行者など）のピクセル毎に構成された画像が捕捉され、対応する画像データが、作成される。複数のピクセルの画像データは、それぞれ、セル毎にグループ化されるが、一枚の画像は、複数のセルを包含している。一つのセル内の画像データに基づいてそれぞれ、重心が割り出される。各々のピクセルに対して、複数のセルの重心に対するそれぞれの間隔が割り出されるが、各々のピクセルと重心の座標に基づいて、一つのピクセルに帰属された特徴ベクトルが形成される。該特徴ベクトルは、少なくとも一つの基準ベクトルクラスタと比較され、その比較に基づいて、該交通参加者には、該交通参加者が実施するであろうアクションに対して典型的なポーズが、割り当てられる。この方法では、ある交通参加者のポーズを元にすれば、実際のアクションを実施する前に（例えば、横断歩道を渡るなどの）意図を認識できると想定している。このポーズ認識を基にすれば、ここでも、アクションが実施される前に、例えば、聴覚的な、及び／或いは、視覚的な警告をドライバーに対して、及び／或いは、測定技術的に捕捉された交通参加者に対して、出力する、及び／或いは、例えば、ブレーキや操舵など、車両システムに対して操縦的介入を実施するなどの対策を予め講じることが可能となる。
一つのポーズは、例えば、骨格のような簡略化された模式的な交通参加者、乃至、歩行者の描写に割り当てられることができる。更に、該ポーズは、それを基に交通状況を評価し、起こり得る全ての危険性を割り出し、必要に応じて、それを基にして更なる制御対策を完全に乃至部分的に自動的に実施させることもできる交通参加者が実施しそうなアクションに割り当てられることもできる。例えば、ヒトが走り始める前にとることが多い少しかがんだポーズには、道路交通においては、該ポーズが、「正面」の方向から捕捉された場合、即ち、ヒトが、車両に向かって動いている場合は、「危険」が割り当てられる。
このアプローチの欠点は、特徴ベクトルの生成が、煩雑であることにある。
従来の技術に対してここで解決すべき課題は、それを基にして車両機能の制御を構築できる車内の単眼カメラの画像をベースにしたジェスチャー認識の改善である。
本発明のアスペクトは、例えば：
・車両に指示を与えるジェスチャー制御
例えば、交差点における警察官（右手が、右折を促している）
・自律運転している車両とコミュニケーションするための単純な２Ｄカメラを採用したジェスチャー制御
・道路交通の参加者の注意度の検証（例えば、スマートフォンに気を取られている歩行者）
ジェスチャー乃至ポーズ認識の目的は、あるヒトの、特に静的な、ポーズ（ジェスチャー）を評価することである。このようにすることで、例えば、あるヒトが、左腕乃至右腕を上げている、或いは、両腕を広げていることを認識できる。
この問題は、独立特許請求項に係る方法と装置によって解決される。
好ましい発展形態は、従属請求項の対象である。
解決のアプローチは、骨格描写を基にして様々なジェスチャーを記述し、これを分級手段に提供し、続いて、ヒトの画像において、ジェスチャーを認識すると言う事をベースにしている。
カメラ画像に写っているヒトの骨格描写は、特に好ましくは、意味論的に割り当てられたオブジェクト部位、例えば、ヒトの体の部位を基にしていることができる。
単眼カメラの少なくとも一枚の画像からあるヒトのジェスチャーを認識するための本発明に係る方法は、以下のステップを包含している：
ａ） 単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントの検出するステップ
ｂ） これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している
ｃ） ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、
ｄ） 認識したジェスチャーを出力するステップ。
キーポイントを認識し、それらを骨格に組み合わせたのち、連結された体の部位のリストが、例えば、表として、作成される。これは、完全、乃至、不完全（部分的に覆われているヒト）であることができる。即ち、体の部位が欠如している場合も有り得る。
骨格のような描写は、一人のヒトの個々の体の部位の相対的な位置と向きを、例えば、互いに連結されたキーポイント及びこれらの位置も含むリストとして、反映している。
これにより、一人のヒトの様々なキーポイントは、堅牢な描写に変換されることができる。
そのため様々な体の部位は、好ましくは、グループ（例えば、腕を含む上半身、左腕と頭、右腕と頭、頭のみなど）に分類される。このような冗長的な分類により、該方法は、部分的に覆われたヒト（車両の後ろにいるヒトは、上半身のみ、広告塔の後ろにいるヒトは、縦半分など）に対して非常に安定する。
尚、該グループ（互いに連結されたキーポイント）は、一つの乃至多数の互いに関連しあっている体の部位から構成されることが好ましい。一つのグループは、あるヒトの部分的ポーズ、乃至、あるヒトが行っているジェスチャーの一部に相当している。
尚、一つの体の部位が、複数のグループに帰属している、例えば、第一部分的ポーズが、頭と左腕を包含し、第二部分的ポーズが、頭と右腕を包含しているなどが好ましい。
グループ、乃至、部分的ポーズの数は、適宜設定自在な自由なパラメータである。
キーポイントのコーディングは、理想的には、例えば、ディープ・ニューラルネットワークによって、評価できるコンパクトな意味論的に解釈可能な特徴空間に書き換えられる。言い換えれば、各々のグループ乃至部分的ポーズは、一つの特徴ベクトルに分類されることができる。該特徴ベクトルは、例えば、そのグループにまとめられているキーポイントの座標に基づいている。
グループ乃至部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、最終的な特徴ベクトルにまとめられる。
このような集約の際には、例えば、ポーズリストからヒストグラムを生成する、乃至、ポーズリストの各々のクラスタ中心間の差のトータルを得ることができる。該ポーズリスト自体は、ｋＮＮクラスタリング（ｋ近傍法）、即ち、最近傍のｋ個を考慮するクラスタ化、あるいは、ＧＭＭクラスタリング、即ち、混合ガウスモデルを用いたクラスタ化などのクラスタ化法によって、作成されることができる。
尚、該最終特徴ベクトル（部分的ポーズの特徴ベクトルを集めたもの）は、ポーズ／ジェスチャーのクラス分類に用いられることが好ましい。
また、ヒトの視線方向の推定は、骨格のような描写に基づいて実施されることが好ましい。
更に、ヒトの視線方向が、該単眼カメラに向けられているか否かを調べることも好ましい。
ジェスチャーの認識は、予め学習したジェスチャー分類によって実施されることが有利である。分類方法としては、適した既知の分類方法、例えば、ＳＶＭ （Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）やディープ・ニューラルネットワークなどを採用することができる。
一人のヒトに割り当てられるキーポイントの数は、最多２０個であることが好ましい。
頭を下げ、視線が自分の手の方向に向けられているヒトは、注意散漫な交通参加者に分類されることが好ましい。
ジェスチャー認識を基に、自律車両とのコミュニケーションに用いるジェスチャー制御に応用することも可能である。車両オーナや、自律運転しているタクシーに乗客として乗ろうとしているヒトとコミュニケーションするには、そのヒトに、認識された乃至理解されたことを示すために、車両側からのフィードバックも必要となる。この様にすることで、車両とヒトとの間のインターアクションも可能になる。また、ヒトが車道を歩いており、車両との接触が迫っているという警告においても、車両からのヒトに対するフィードバックは、該車両が、該ヒトを認識し、衝突は回避できることを示すためにも、役立つであろう。
本発明の更なる対象は、単眼カメラの画像からヒトのジェスチャーを認識するために適した装置である。該装置は、以下を実施できるように構成されている：
ａ） 単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントを検出する、
ｂ） これらのキーポイントを、骨格のようなヒトの部位の描写に連結する、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している、
ｃ） ヒトの骨格のような描写からジェスチャーを認識する、そして、
ｄ） 認識したジェスチャーを司る出力シグナルを作成し、出力する。
該装置は、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ／ 特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ ／ フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、対応する方法ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。
該装置は、特に好ましくは、単眼カメラ、例えば、車両内に配置され作動しているフロントカメラ、バックカメラ、サイドカメラなどと組み合わせて用いられる。
本発明は更に、単眼カメラと本発明に係る装置を備えた車両にも関する。
車載カメラによって撮影されたリアルなヒトの骨格描写を例示する図である。 ジェスチャー分類の方法を示す図である。
以下、実施例と図を詳しく説明する。
ここでは、ジェスチャー認識のある実施例は、二段階のアプローチを応用している：
１．ヒトの検出
先ず、画像内のヒトを認識する。ここでは、ヒト認識手段が、用いられる。ヒトの各々の体の部位を見つけ、これらを骨格に連結する特殊な検出器を採用することが好ましい。
図１は、車載カメラによって撮影されたリアルなヒトの骨格描写を例示している。車載カメラの画像からキーポイントが抽出され、キーポイントの接続が割り出される。キーポイントとは、例えば、肩、首の付け根、肘、手（首）、腰、膝、足首、口、左右の目、並びに、頭の先などである。
これらのキーポイントは、骨格のような描写になるように直線によって互いに連結される。例えば、ヒトの左手首と肘のキーポイントは、「左の前腕」に互いに連結し、左の肩（図においてマークされている「キーポイント」）は、左の肘と、「左の上腕」に連結される。
キーポイントのクラスタは、例えば、「混合ガウスモデル」を用い、ヒトの部位をフィッシャーベクトル描写とすることによって実施される。これによりフィッシャーベクトルは、各々のヒトの情報のみをコーディングする。よって、重なっているヒトは、排除される。
表を用いて、対応するヒトの様々な部位が、特定のジェスチャーに有利なようにアクショングループに分類される。これらの表は、学習方法によって習得することも可能である。簡単なケース（比較的少数のジェスチャーを区別する場合）において、該ポーズに明確に異なる体の部位を割り当てることができる場合、表を手作業で作成することも可能である。
該ヒトの視線方向は、該ヒトの頭部分のキーポイントを基にして推定されることができる。該視線方向は、下向きであり、且つ、該ヒトの右手の方向に向けられている。
これに基づいてジェスチャー認識手段によって、該ヒトは、おそらく、手に持っているオブジェクトを見ており、現時点において、交通には注意を払っていないことが認識される。該ヒトが、スマートフォンを見ているという憶測に基づいて、このジェスチャーは、「Ｓｍｏｍｂｉｅ」（Ｓｍａｒｔｐｈｏｎｅ－Ｚｏｍｂｉｅ）に分類される。
この情報は、ジェスチャー認識手段から、車両の他の制御手段に伝達される。よって、自律的に走行している車両は、走行プランを立てる際に、該歩行者が注意散漫であること考慮する、及び／或いは、危険が迫っている場合は、該歩行者に警告を発する。
２．ジェスチャー乃至ポーズの分類
各々のヒトに対して、特徴ベクトルが、骨格連結点（キーポイント、関節）の座標に基づいて作成される。
図２は、ジェスチャー分類の方法を示している：
各ヒトに対しては、従来のように、特徴ベクトルのみが用いられるのではない。その代わりに、様々な部分的ポーズを基にしたＮ個の特徴ベクトルの群が作成される。これらの部分的ポーズのうちの一つは、例えば、頭と左腕のみを包含しており、他の一つは、頭と右腕のみを包含している。部分的ポーズの数Ｎは、適宜設定自在な自由なパラメータである。
部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、最終的な特徴ベクトルにまとめられる。このような集約の際には、例えば、ポーズリストからヒストグラムを生成する、乃至、ポーズリストのＭ個のクラスタ中心間の差のトータルを得ることができる。該ポーズリスト自体は、クラスタ化法（ｋＮＮクラスタリング（ｋ近傍法）、即ち、最近傍のｋ個を考慮するクラスタ化、あるいは、ＧＭＭクラスタリング、即ち、混合ガウスモデルを用いたクラスタ化など）によって作成される。
該最終特徴ベクトル（部分的ポーズの特徴ベクトルを集めたもの）は、ポーズ／ジェスチャーのクラス分類に用いられる。ここでは、任意な分類方法、例えば、ＳＶＭ （Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅｓ）やディープ・ニューラルネットワークなどを採用することができる。
図２は、部分的ポーズの特徴ベクトルは、クラスタ化されたポーズリスト（ポーズ辞典）を用いた集約方法によって、如何に最終的な特徴ベクトルにまとめられるのかを例示している。
左側には、図１に示されているものと同様な骨格描写が示されている。実線として描かれている直線は、各々二つの対になっているキーポイント間の接続、即ち、骨格の「骨」である。人全体の骨格描写は、複数の部分的ポーズ１， ２， ３， …， Ｎに分解できるが、最初の三つの部分的ポーズは、図２において点線の長方形で示されている。部分的ポーズ１は、ここでは、例えば、ヒトの頭と左腕を包含している。部分的ポーズ２は、同様に、ヒトの頭と右腕、上半身を包含している。部分的ポーズ３は、左右の腕と、上半身、並びに、上腿を包含している。各々の部分的ポーズには、対応する特徴ベクトルが、割り当てられている。各々の特徴ベクトルは、ポーズリストの一つの（各々の）クラスタ中心１， ２， ３， …， Ｍに伝達される。ポーズリストは、最後に、ヒトのポーズ乃至ジェスチャーの分類に用いられる最終特徴ベクトルを出力する。
更なる実施例では、ジェスチャー認識手段によって、一連の画像から、骨格のような描写における前腕の対応する動きから、一人のヒトが、車両の周辺部において手を振っていることが認識される。カメラとジェスチャー認識手段を搭載した車両は、この例では、自律的に走行するタクシーである。このジェスチャーでは、該歩行者のジェスチャーが、タクシーに対するものか否かを判断することが重要である。ここでも、視線方向推定を考慮することが目的にかなっている。
そうしない場合、他の歩行者に対して手を振っているにもかかわらず、歩行者を乗車させるためにタクシーが、停車するということが起こり得る。又は、該歩行者は、前方を自律走行しているタクシーに対して手を振ったにもかかわらず、二台のタクシーが停車するということも起こり得る。
なお、本発明は、以下の態様も包含し得る：
１．以下のステップを包含していることを特徴とする単眼カメラの少なくとも一枚の画像からあるヒトのジェスチャーを認識するための方法：
ａ） 単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントの検出するステップ
ｂ） これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している
ｃ） ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、
ｄ） 認識したジェスチャーを出力するステップ。
２．一つの乃至複数の互いに関連している体の部位からグループが構成されることを特徴とする上記１．に記載の方法。
３．一つの体の部位が複数のグループに帰属していることを特徴とする上記２．に記載の方法。
４．グループの数Ｎが設定されることを特徴とする上記２．或いは３．に記載の方法。
５．各グループに、それぞれのグループに統合されたキーポイントの座標を基にした一つの特徴ベクトルが、割り当てられていることを特徴とする上記２．から４．のうち何れか一つに記載の方法。
６．一人のヒトの各グループの各特徴ベクトルが、クラスタ化されたポーズリストを用いて、最終特徴ベクトルに統合されることを特徴とする上記５．に記載の方法。
７．ジェスチャーの認識が、最終特徴ベクトルの分類を用いて実施されることを特徴とする上記６．に記載の方法。
８．骨格のような描写を基に、ヒトの視線方向の推定が実施されることを特徴とする上記１．～７．のうち何れか一つに記載の方法。
９．ヒトの視線方向が、該単眼カメラに向けられているか否かを調べることを特徴とする上記８．に記載の方法。
１０．ジェスチャーの認識が、予め訓練されたジェスチャー分類によって実施されることを特徴とする上記１．～９．のうち何れか一つに記載の方法。
１１．一人のヒトに割り当てられるキーポイントの数が、最多２０個であることを特徴とする上記１．～１０．のうち何れか一つに記載の方法。
１２．頭を下げ、視線が自分の手の方向に向けられているヒトが、注意散漫な交通参加者に分類されることを特徴とする上記８．から１１．のうち何れか一つに記載の方法。
１３．単眼カメラの画像からあるヒトのジェスチャーを認識するための装置であって、以下を実施できるように構成されていることを特徴とする装置：
ａ） 単眼カメラの少なくとも一枚の画像内にいる一人のヒトのキーポイントを検出する、
ｂ） これらのキーポイントを、骨格のようなヒトの部位の描写に連結する、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している、
ｃ） ヒトの骨格のような描写からジェスチャーを認識する、そして、
ｄ） 認識したジェスチャーを司る出力シグナルを作成し、出力する。
１４．単眼カメラと上記１３．に記載の装置を搭載している車両。

Claims (9)

  1. 単眼カメラの一枚の画像からあるヒトのジェスチャーを認識するための装置によって、単眼カメラの一枚の画像からあるヒトのジェスチャーを認識するための方法であって、以下のステップ：
    ａ） 単眼カメラの一枚の画像内にいる一人のヒトのキーポイントを検出するステップ
    ｂ） これらのキーポイントを骨格のようなヒトの部位の描写に連結するステップ、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している
    ｃ） ヒトの骨格のような描写からジェスチャーを認識するステップ、及び、
    ｄ） 認識したジェスチャーを出力するステップ
    を包含し、一つの乃至複数の互いに関連している体の部位からグループが構成され、一つの体の部位が複数のグループに帰属しており、各グループに、それぞれのグループに統合されたキーポイントの座標を基にした一つの特徴ベクトルが割り当てられ、一人のヒトの各グループの各特徴ベクトルが、クラスタ化されたポーズリストを用いて、最終特徴ベクトルに統合され、ジェスチャーの認識が、最終特徴ベクトルの分類を用いて実施されることを特徴とする方法。
  2. グループの数Ｎが設定されることを特徴とする請求項１に記載の方法。
  3. 骨格のような描写を基に、ヒトの視線方向の推定が実施されることを特徴とする請求項１又は２に記載の方法。
  4. ヒトの視線方向が、該単眼カメラに向けられているか否かを調べることを特徴とする請求項３に記載の方法。
  5. ジェスチャーの認識が、予め訓練されたジェスチャー分類によって実施されることを特徴とする請求項１～４のうち何れか一項に記載の方法。
  6. 一人のヒトに割り当てられるキーポイントの数が、最多２０個であることを特徴とする請求項１～５のうち何れか一項に記載の方法。
  7. 頭を下げ、視線が自分の手の方向に向けられているヒトが、注意散漫な交通参加者に分類されることを特徴とする請求項３から６のうち何れか一項に記載の方法。
  8. 単眼カメラの一枚の画像からあるヒトのジェスチャーを認識するための装置であって、ａ） 単眼カメラの一枚の画像内にいる一人のヒトのキーポイントを検出し、
    ｂ） これらのキーポイントを、骨格のようなヒトの部位の描写に連結し、但し、該骨格のような描写は、該ヒトの個々の体の部位の相対的位置と向きを反映している、
    ｃ） ヒトの骨格のような描写からジェスチャーを認識し、そして、
    ｄ） 認識したジェスチャーを司る出力シグナルを作成し、出力する
    ように構成されており、
    一つの乃至複数の互いに関連している体の部位からグループが構成され、一つの体の部位が複数のグループに帰属しており、各グループに、それぞれのグループに統合されたキーポイントの座標を基にした一つの特徴ベクトルが割り当てられており、一人のヒトの各グループの各特徴ベクトルが、クラスタ化されたポーズリストを用いて、最終特徴ベクトルに統合され、ジェスチャーの認識が、最終特徴ベクトルの分類を用いて実施されることを特徴とする装置。
  9. 単眼カメラと請求項８に記載の装置を搭載している車両。
JP2020505212A 2017-09-11 2018-09-10 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 Active JP7280865B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017216000.4A DE102017216000A1 (de) 2017-09-11 2017-09-11 Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
DE102017216000.4 2017-09-11
PCT/DE2018/200085 WO2019048011A1 (de) 2017-09-11 2018-09-10 Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera

Publications (2)

Publication Number Publication Date
JP2020533662A JP2020533662A (ja) 2020-11-19
JP7280865B2 true JP7280865B2 (ja) 2023-05-24

Family

ID=63685530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505212A Active JP7280865B2 (ja) 2017-09-11 2018-09-10 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御

Country Status (7)

Country Link
US (1) US11557150B2 (ja)
EP (1) EP3682367B1 (ja)
JP (1) JP7280865B2 (ja)
KR (1) KR20200051529A (ja)
CN (1) CN111033512B (ja)
DE (2) DE102017216000A1 (ja)
WO (1) WO2019048011A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
CN108491820B (zh) * 2018-04-02 2022-04-12 京东方科技集团股份有限公司 图像中肢体表示信息的识别方法、装置及设备、存储介质
US11850514B2 (en) 2018-09-07 2023-12-26 Vulcan Inc. Physical games enhanced by augmented reality
US11670080B2 (en) 2018-11-26 2023-06-06 Vulcan, Inc. Techniques for enhancing awareness of personnel
CN111488773B (zh) * 2019-01-29 2021-06-11 广州市百果园信息技术有限公司 一种动作识别方法、装置、设备及存储介质
US11950577B2 (en) 2019-02-08 2024-04-09 Vale Group Llc Devices to assist ecosystem development and preservation
US11941864B2 (en) * 2019-03-01 2024-03-26 Nec Corporation Image forming apparatus, determination apparatus, image forming method, and non-transitory computer readable medium storing image forming program
US11912382B2 (en) 2019-03-22 2024-02-27 Vulcan Inc. Underwater positioning system
WO2020206672A1 (en) * 2019-04-12 2020-10-15 Intel Corporation Technology to automatically identify the frontal body orientation of individuals in real-time multi-camera video feeds
US11435845B2 (en) * 2019-04-23 2022-09-06 Amazon Technologies, Inc. Gesture recognition based on skeletal model vectors
US11232296B2 (en) 2019-07-10 2022-01-25 Hrl Laboratories, Llc Action classification using deep embedded clustering
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
CN114616588A (zh) * 2019-10-31 2022-06-10 日本电气株式会社 图像处理装置、图像处理方法以及存储图像处理程序的非暂时性计算机可读介质
US10832699B1 (en) 2019-12-05 2020-11-10 Toyota Motor North America, Inc. Impact media sharing
US11107355B2 (en) 2019-12-05 2021-08-31 Toyota Motor North America, Inc. Transport dangerous driving reporting
US11308800B2 (en) 2019-12-05 2022-04-19 Toyota Motor North America, Inc. Transport impact reporting based on sound levels
DE102020200572A1 (de) * 2019-12-18 2021-06-24 Conti Temic Microelectronic Gmbh Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern
US11587329B2 (en) * 2019-12-27 2023-02-21 Valeo Schalter Und Sensoren Gmbh Method and apparatus for predicting intent of vulnerable road users
GB2616114A (en) * 2020-01-03 2023-08-30 Mobileye Vision Technologies Ltd Vehicle navigation with pedestrians and determining vehicle free space
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US20210304595A1 (en) 2020-03-31 2021-09-30 Toyota Motor North America, Inc. Traffic manager transports
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
CN113639760A (zh) * 2020-04-27 2021-11-12 福特全球技术公司 一种导航系统及导航地图的显示方法
CN111681283B (zh) * 2020-05-11 2023-04-07 哈尔滨工业大学 一种基于单目立体视觉的应用于无线充电对位的相对位姿解算方法
US20230219597A1 (en) * 2021-11-22 2023-07-13 Cybernet Systems Corp. Gesture recognition system for autonomous vehicle traffic control
DE102022209561A1 (de) * 2022-09-13 2024-03-14 Zf Friedrichshafen Ag System zur Erkennung der vorausliegenden Fußgängerintension eines Fußgängers in einem Umfeld, Fahrzeug und Verkehrsüberwachungssystem
US20240221425A1 (en) * 2023-01-02 2024-07-04 Valeo North America, Inc. Systems and methods for person classification and gesture recognition

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2007538318A (ja) 2004-05-14 2007-12-27 本田技研工業株式会社 サインに基づく人間−機械相互作用
WO2012046392A1 (ja) 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2013535717A (ja) 2010-06-29 2013-09-12 マイクロソフト コーポレーション 骨格関節認識および追跡システム
JP2014048936A (ja) 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2015095164A (ja) 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015116308A (ja) 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置
JP2017010560A (ja) 2015-06-24 2017-01-12 スズキ株式会社 車両の運転支援装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8660300B2 (en) * 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9182814B2 (en) * 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
JP5187280B2 (ja) * 2009-06-22 2013-04-24 ソニー株式会社 操作制御装置および操作制御方法
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
CN101789125B (zh) * 2010-01-26 2013-10-30 北京航空航天大学 一种无标记单目视频人体骨架运动跟踪方法
WO2011110727A1 (en) * 2010-03-08 2011-09-15 Nokia Corporation Gestural messages in social phonebook
US9274594B2 (en) * 2010-05-28 2016-03-01 Microsoft Technology Licensing, Llc Cloud-based personal trait profile data
US9245177B2 (en) * 2010-06-02 2016-01-26 Microsoft Technology Licensing, Llc Limiting avatar gesture display
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US9557836B2 (en) * 2011-11-01 2017-01-31 Microsoft Technology Licensing, Llc Depth image compression
US9448636B2 (en) * 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US9606647B1 (en) * 2012-07-24 2017-03-28 Palantir Technologies, Inc. Gesture management system
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
CN103345744B (zh) * 2013-06-19 2016-01-06 北京航空航天大学 一种基于多图像的人体目标部件自动解析方法
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP6121302B2 (ja) * 2013-09-30 2017-04-26 Kddi株式会社 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
CN103941866B (zh) * 2014-04-08 2017-02-15 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
DE102014207802B3 (de) 2014-04-25 2015-10-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum proaktiven Erkennen einer Aktion eines Verkehrsteilnehmers
US9946354B2 (en) * 2014-08-29 2018-04-17 Microsoft Technology Licensing, Llc Gesture processing using a domain-specific gesture language
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
CN104899927A (zh) * 2015-07-07 2015-09-09 安徽瑞宏信息科技有限公司 一种人体姿态重建方法
US10317947B2 (en) * 2015-10-12 2019-06-11 Samsung Electronics Co., Ltd. Electronic device and method for processing gesture thereof
US9983591B2 (en) 2015-11-05 2018-05-29 Ford Global Technologies, Llc Autonomous driving at intersections based on perception data
US10838206B2 (en) * 2016-02-18 2020-11-17 Apple Inc. Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
CN106250867B (zh) * 2016-08-12 2017-11-14 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪系统的实现方法
US10579869B1 (en) * 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10296102B1 (en) * 2018-01-31 2019-05-21 Piccolo Labs Inc. Gesture and motion recognition using skeleton tracking

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
JP2007538318A (ja) 2004-05-14 2007-12-27 本田技研工業株式会社 サインに基づく人間−機械相互作用
JP2013535717A (ja) 2010-06-29 2013-09-12 マイクロソフト コーポレーション 骨格関節認識および追跡システム
WO2012046392A1 (ja) 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2014048936A (ja) 2012-08-31 2014-03-17 Omron Corp ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
JP2015095164A (ja) 2013-11-13 2015-05-18 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP2015116308A (ja) 2013-12-18 2015-06-25 三菱電機株式会社 ジェスチャ登録装置
JP2017010560A (ja) 2015-06-24 2017-01-12 スズキ株式会社 車両の運転支援装置

Also Published As

Publication number Publication date
KR20200051529A (ko) 2020-05-13
US20200394393A1 (en) 2020-12-17
DE112018001957A5 (de) 2020-02-20
JP2020533662A (ja) 2020-11-19
CN111033512A (zh) 2020-04-17
EP3682367B1 (de) 2022-11-09
WO2019048011A1 (de) 2019-03-14
US11557150B2 (en) 2023-01-17
DE102017216000A1 (de) 2019-03-14
CN111033512B (zh) 2024-03-19
EP3682367A1 (de) 2020-07-22

Similar Documents

Publication Publication Date Title
JP7280865B2 (ja) 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御
Wiederer et al. Traffic control gesture recognition for autonomous vehicles
Trivedi et al. Looking-in and looking-out of a vehicle: Computer-vision-based enhanced vehicle safety
Koehler et al. Stationary detection of the pedestrian? s intention at intersections
CN109074748A (zh) 图像处理设备、图像处理方法和可移动体
CN110858295A (zh) 一种交警手势识别方法、装置、整车控制器及存储介质
CN104834887B (zh) 运动行人表示方法、识别方法及其装置
Luo et al. Hand gesture recognition for human-robot interaction for service robot
EP2629241A1 (en) Control of a wearable device
JP5036611B2 (ja) 画像認識装置
Suhr et al. Rearview camera-based backover warning system exploiting a combination of pose-specific pedestrian recognitions
KR20180090644A (ko) 운전자 및 차량 간의 상호 작용을 위한 장치 및 그 방법
Kim et al. Passengers’ gesture recognition model in self-driving vehicles: Gesture recognition model of the passengers’ obstruction of the vision of the driver
Abadi et al. Detection of Cyclists' Crossing Intentions for Autonomous Vehicles
JP2016192146A (ja) 交通制御システム、交通制御方法、プログラム、および記録媒体
Jakob et al. Concept for transfer of driver assistance algorithms for blind and visually impaired people
CN110232300A (zh) 一种旁车道车辆换道意图识别方法及系统
KR20140104516A (ko) 차선 인식 방법 및 장치
CN112241706A (zh) 弱势交通参与者的手势识别方法、相应的装置和程序载体
JP2020047199A (ja) 画像処理システムおよび画像処理方法
Nayak Development of vision-based response of autonomous vehicles towards emergency vehicles using infrastructure enabled autonomy
Liu Development of a vision-based object detection and recognition system for intelligent vehicle
US11745647B2 (en) Method for sending information to an individual located in the environment of a vehicle
US20240203099A1 (en) Artificial intelligence device and 3d agency generating method thereof
Zhang et al. A review on pedestrian crossing detection and behavior analysis: In intelligent transportation system

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200707

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230331

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230410

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230512

R150 Certificate of patent or registration of utility model

Ref document number: 7280865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150