JP6651062B2 - 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム - Google Patents

車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム Download PDF

Info

Publication number
JP6651062B2
JP6651062B2 JP2019554086A JP2019554086A JP6651062B2 JP 6651062 B2 JP6651062 B2 JP 6651062B2 JP 2019554086 A JP2019554086 A JP 2019554086A JP 2019554086 A JP2019554086 A JP 2019554086A JP 6651062 B2 JP6651062 B2 JP 6651062B2
Authority
JP
Japan
Prior art keywords
pedestrian
display
intention
display content
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019554086A
Other languages
English (en)
Other versions
JPWO2019097595A1 (ja
Inventor
義広 都丸
義広 都丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6651062B2 publication Critical patent/JP6651062B2/ja
Publication of JPWO2019097595A1 publication Critical patent/JPWO2019097595A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/40—Indexing codes relating to other road users or special conditions
    • B60Q2300/45—Special conditions, e.g. pedestrians, road signs or potential dangers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、歩行者に対して表示コンテンツを表示する車外コミュニケーション装置及び車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムに関する。
認識装置により認識された歩行者に対して、認識したことをマーキング光の照射により報知する車両用の報知装置が提案されている（例えば、特許文献１参照）。この装置は、カメラの検出結果に基づいて歩行者が道路を横断する意思（すなわち、横断意思）を持つか否かを判断する。具体的には、この装置は、歩行者が予め決められた行動（例えば、挙手、顔の向き）をとった場合に、歩行者が横断意思を持っていると判断する。
特開２０１４−４６８３８号公報（要約、段落００２６、００６８、００８５、図１６）
しかしながら、上記装置は、予め決められた行動のみを基準として歩行者の横断意思を判断しているので、歩行者の横断意思を正確に判断することはできない。したがって、歩行者が車両に道を譲ろうとする意思（すなわち、譲り意思）を持っているのか否かを正確に判断することができず、歩行者に対する適切な情報の提供ができない。
本発明は、上記課題を解決するためになされたものであり、その目的は、歩行者の譲り意思の状態を正確に判断し、歩行者に対して適切な表示コンテンツを表示することができる車外コミュニケーション装置及び車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムを提供することである。
本発明の一態様に係る車外コミュニケーション装置は、予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成する譲り意思判断パラメタ学習部と、前記譲り意思判断パラメタを記憶する記憶部と、第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と、取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、道路上に表示コンテンツを表示する表示機と、前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部とを備えたことを特徴とする。
本発明の他の態様に係る車外コミュニケーション方法は、予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させるステップと、周辺状況取得部から第１の歩行者の頭部画像及び位置を取得するステップと、取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断するステップと、前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御するステップとを有することを特徴とする。
本発明によれば、歩行者の譲り意思の状態を正確に判断することができ、歩行者に対して適切な表示コンテンツを表示することができる。
実施の形態１に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る車外コミュニケーション装置を備えた車両と歩行者との位置関係の例を示す図である。 車両に対する歩行者の位置と道路上に表示された表示コンテンツの例を示す図である。 実施の形態１に係る車外コミュニケーション装置の譲り意思判断パラメタ学習部による学習動作（オフライン処理により行われる）を示すフローチャートである。 記憶部に記憶される譲り意思判断パラメタの例を表形式で示す図である。 実施の形態１に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。 実施の形態１に係る車外コミュニケーション装置の表示要否決定部が使用する要否決定テーブルの例を表形式で示す図である。 実施の形態１に係る車外コミュニケーション装置の表示内容決定部が使用するコンテンツＤＢの例を表形式で示す図である。 実施の形態２に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。 実施の形態２に係る車外コミュニケーション装置の理解度判断パラメタ学習部による学習動作（オフライン処理により行われる）を示すフローチャートである。 記憶部に記憶される理解度判断パラメタの例を表形式で示す図である。 実施の形態２に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。 実施の形態２に係る車外コミュニケーション装置の表示内容変更部が使用するコンテンツＤＢの例を表形式で示す図である。 実施の形態１及び２の変形例に係る車外コミュニケーション装置のハードウェア構成を示す図である。
以下に、本発明の実施の形態に係る車外コミュニケーション装置、車外コミュニケーション方法、車外コミュニケーション装置の一部を構成する情報処理装置、並びにコンピュータに車外コミュニケーション方法を実行させる車外コミュニケーションプログラムを、添付図面を参照しながら説明する。車外コミュニケーション装置は、車両（例えば、自動車）に備えられ、車両の周辺の道路上の人（すなわち、歩行者）に対する表示コンテンツを表示することで、車両と歩行者との間のコミュニケーションを可能にするものである。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》実施の形態１．
《１−１》構成
＜車外コミュニケーション装置＞
図１は、実施の形態１に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。図１の車外コミュニケーション装置は、実施の形態１に係る車外コミュニケーション方法を実行することができる装置である。
図１に示されるように、実施の形態１に係る車外コミュニケーション装置は、車両の周辺の状況（例えば、周辺の対象物）を撮影又は検出する周辺状況取得部１０と、予め交通シーンから作成された学習用データベース（学習用ＤＢ）に基づく学習（例えば、機械学習又は深層学習）により、予め譲り意思判断パラメタ３１を生成する譲り意思判断パラメタ学習部２０と、譲り意思判断パラメタ３１などのデータが予め保存されている記憶装置である記憶部３０とを備える。譲り意思判断パラメタ学習部２０は、学習用ＤＢの画像データ及びセンサデータを用いた学習により、譲り意思判断パラメタ３１を生成するために備えられており、車外コミュニケーションを実施する際には使用されない。ここで、学習用ＤＢの画像データとは、学習用ＤＢを取得するためのカメラによって交通シーンを撮影した画像データである。学習用ＤＢのセンサデータは、学習用ＤＢを取得するためのミリ波センサ又はレーザセンサによって交通シーンで対象物を検出したことで得られたデータである。
また、実施の形態１に係る車外コミュニケーション装置は、実際の交通シーンにおける実際の歩行者（以下「第１の歩行者」ともいう）の譲り意思の状態（例えば、「譲り意思有り」、「譲り意思無し」、又は「譲り意思未決定」）を判断する譲り意思判断部４０と、路面上に表示コンテンツを表示する表示機６０と、表示機６０を制御する表示制御部５０とを備える。
「譲り意思有り」は、歩行者が、車両を先に通過させて自身は車両の通過の後に道路を横断しようとする意思を持っている状態、すなわち、車両に道を譲ろうとする意思を持っている状態である。
「譲り意思無し」は、歩行者が、車両の通過前に道路を横断しようとする意思を持っている状態、すなわち、車両に道を譲ろうとする意思を持っていない状態である。
「譲り意思未決定」は、歩行者が、車両の通過前に道路を横断するか又は車両を先に通過させて自身は車両の通過の後に道路を横断するか迷っている状態、すなわち、迷い状態である。
頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、及び表示制御部５０は、実施の形態１に係る情報処理装置を構成する。この情報処理装置のハードウェア構成の例は、後述の図１４に示される。
＜周辺状況取得部１０＞
図２は、実施の形態１に係る車外コミュニケーション装置を備えた車両９１と道路９３を横断しようとする実際の歩行者（以下「第１の歩行者」ともいう）９２との位置関係の例を示す図である。図３は、車両９１に対する第１の歩行者９２の位置と道路９３上に表示された表示コンテンツ６１の例を示す図である。図２及び図３において、車両９１は、Ｖｘ−Ｖｙ直交座標系における原点（０，０）にあり、矢印９４方向すなわち＋Ｖｙ軸方向に先端を向けている。第１の歩行者９２は座標（Ｖｘ＿ｈ，Ｖｙ＿ｈ）にあり、矢印９５方向すなわち−Ｖｘ軸方向に顔を向けており、−Ｖｘ軸方向に歩行して道路９３を横断している又は横断したいと思って立ち止まっている。
周辺状況取得部１０は、車両９１の周辺の第１の歩行者９２の頭部画像及び第１の歩行者９２の位置を取得する手段である。実施の形態１において、車両９１の周辺は、車両９１の前方すなわち矢印９４方向の予め決められた角度範囲内の領域である。
図１の例では、周辺状況取得部１０は、画像を撮影するカメラ１１と、対象物としての第１の歩行者９２の位置を検出するミリ波センサ１２及びレーザセンサ１３と、カメラ１１によって撮影された画像から第１の歩行者９２の頭部画像を抽出する頭部抽出部１４と、ミリ波センサ１２及びレーザセンサ１３から提供されるセンサデータから第１の歩行者９２の位置を検出する歩行者検出部１５とを有する。第１の歩行者９２の頭部は、第１の歩行者９２の顔を含む。カメラ１１が距離計測機能を持つ場合には、第１の歩行者９２の位置は、カメラ１１によって撮影された第１の歩行者９２の画像（例えば、頭部画像）に基づいて計測されてもよい。第１の歩行者９２の位置は、車両９１から第１の歩行者９２までの距離Ｌと車両９１から見た第１の歩行者９２の方向（矢印９６）とによって特定できる。ミリ波センサ１２は、ミリ波を用いて対象物の位置を検出する。ミリ波センサ１２は、ミリ波レーダーとも呼ばれる。レーザセンサ１３は、レーザビームを用いて対象物の位置を検出する。周辺状況取得部１０は、第１の歩行者９２の頭部画像及び第１の歩行者９２の位置を取得できる手段であれば、図１に示される構成のものに限定されない。
＜譲り意思判断パラメタ学習部２０＞
譲り意思判断パラメタ学習部２０は、実施の形態１に係る車外コミュニケーション装置を実際の交通シーンにおいて使用する前に、譲り意思判断パラメタ３１を生成し、記憶部３０に保存するために使用される。譲り意思判断パラメタ学習部２０は、図１におけるカメラ１１を頭部抽出部１４から切り離し、ミリ波センサ１２及びレーザセンサ１３を歩行者検出部１５から切り離した状態で使用される。この状態における処理を、オフライン処理と言う。譲り意思判断パラメタ学習部２０は、予め交通シーンから作成された学習用ＤＢに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、「譲り意思の状態」に「歩行者の頭部の挙動」及び「歩行者の位置」を紐付けした学習データである譲り意思判断パラメタ３１を生成し、譲り意思判断パラメタ３１を記憶部３０に記憶させる。
歩行者の頭部の挙動は、時系列の画像データから、歩行者の顔の向き、顔の向きの変化、顔の向きが一定方向に維持された時間、歩行者の視線、歩行者の顔の表情、又はこれらの組み合わせなどを抽出して、判断可能である。顔の向きの変化は、歩行者が車両の通行を確認するための頭部の移動、歩行者が会釈する際の頭部の移動などを含むことができる。
譲り意思の状態は、例えば、歩行者が譲り意思を持っているときに現われる「譲り意思有り」、歩行者が譲り意思を持っていないときに現われる「譲り意思無し」、及び歩行者が車両に道を譲ろうか又は先に道路を横断しようか迷っているときに現われる「譲り意思未決定」すなわち「迷っている状態」の内の１つ以上を含む。
＜記憶部３０＞
譲り意思判断パラメタ３１を記憶する記憶部３０は、半導体メモリ又はハードディスク装置などで構成できる。記憶部３０は、譲り意思判断パラメタ３１に加えて、「譲り意思の状態」に表示コンテンツの表示が必要であるか否かを示す要否情報を紐付けした要否決定テーブル３２及び譲り意思の状態に表示コンテンツを紐付けしたコンテンツデータベース（コンテンツＤＢ）３３を予め記憶している。譲り意思判断パラメタ３１、要否決定テーブル３２、及びコンテンツＤＢ３３は、互いに異なる複数の記憶部にそれぞれ記憶されてもよい。
＜譲り意思判断部４０＞
譲り意思判断部４０は、第１の歩行者９２の頭部画像及び第１の歩行者９２の位置と記憶部３０に記憶されている譲り意思判断パラメタ３１とに基づいて、第１の歩行者９２の譲り意思を判断する。第１の歩行者９２の譲り意思は、第１の歩行者９２が譲り意思を持っているときに現われる「譲り意思有り」、第１の歩行者９２が譲り意思を持っていないときに現われる「譲り意思無し」、及び第１の歩行者９２が車両に道を譲ろうか又は先に道路を渡ろうか迷っているときに現われる「譲り意思未決定」すなわち「迷っている状態」の内の１つ以上を含む。
＜表示機６０＞
表示機６０は、道路９３の路面上に表示コンテンツ９７を表示する装置である。表示機６０は、例えば、画像を投射するプロジェクタである。
＜表示制御部５０＞
表示制御部５０は、第１の歩行者９２の譲り意思の状態の判断の結果に基づいて、第１の歩行者９２に対する表示コンテンツを表示するか否か、表示コンテンツの内容、及び表示コンテンツの道路９３上における表示位置を決定し、前記決定に基づいて表示機６０を制御する。
表示制御部５０は、記憶部３０に記憶されている要否決定テーブル３２に基づいて、表示コンテンツを表示するか否かを決定する表示要否決定部５１を有する。また、表示制御部５０は、記憶部３０に記憶されているコンテンツＤＢ３３に基づいて、表示コンテンツを決定する表示内容決定部５２を有する。さらに、表示制御部５０は、車両９１と第１の歩行者９２とを結ぶ線分９８上の位置に表示コンテンツ９７が表示されるように表示機６０を制御する表示位置決定部５３を有する。表示位置決定部５３は、表示コンテンツに含まれる文字が、文字の下部が第１の歩行者９２の近くに位置し、文字の上部が第１の歩行者９２から遠くに位置するように、表示機６０を制御する。
《１−２》動作
車外コミュニケーション装置の動作は、譲り意思判断パラメタ３１を作成するために学習用ＤＢを用いて学習を行うオフライン処理（後述の図４）と、実際の交通シーンにおける第１の歩行者９２の譲り意思の状態の判断を行い、表示コンテンツを表示するオンライン処理（後述の図６）とを含む。学習用ＤＢは、学習用ＤＢ取得用の車両に学習用ＤＢ取得用のカメラ、ミリ波センサ、及びレーザセンサを搭載し、実際の交通シーンを想定した実験環境下で歩行者を数秒から数十秒の時間、撮影及び検知して得られた時系列の画像データ及び時系列のセンサデータの集合である。譲り意思判断パラメタ３１は、車外コミュニケーション装置を実際の交通シーンで使用するよりも前に生成され、記憶部３０に記憶される。
また、学習用ＤＢの時系列の画像データ及び時系列のセンサデータは、歩行者の譲り意思の状態である「譲り意思有り」、「譲り意思無し」、「譲り意思未決定」、及び「歩行者は道路上の交通と無関係」等の歩行者の挙動に紐付けられている。なお、学習用ＤＢの時系列の画像データ及び時系列のセンサデータの取得方法は、自由に選択でき、実際の交通シーンに従ったものであれば、データ量及び取得方法に制限はない。また、車両９１に取り付けられたミリ波センサ１２、レーザセンサ１３、及びカメラ１１は、予めキャリブレーション済みである。したがって、車外コミュニケーション装置は、ミリ波センサ１２、レーザセンサ１３、及びカメラ１１の車両９１に対する取付け位置及び取付け方向を示す情報を、取得済みである。
＜オフライン処理＞
図４は、実施の形態１に係る車外コミュニケーション装置の譲り意思判断パラメタ学習部２０による学習動作を示すフローチャートである。学習動作においては、歩行者検出部１５に予め用意された学習用ＤＢの時系列のセンサデータが入力され、頭部抽出部１４に予め用意された学習用ＤＢの時系列の画像データが入力される。
学習動作においては、頭部抽出部１４にて学習用ＤＢに基づく画像から歩行者の頭部をトリミングして抽出する（ステップＳ１０１）。頭部の抽出は、Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ（ＨＯＧ）を用いた手法又はＳｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ）等の学習済みニューラルネットワークを用いた手法などで行うことができる。
次に、歩行者検出部１５にて学習用ＤＢのセンサデータから、車両を基準にして歩行者の道路上における位置を検出する（ステップＳ１０２）。
次に、頭部抽出部１４で取得する歩行者の頭部の画像内における位置と、歩行者の頭部をミリ波センサ１２又はレーザセンサ１３で検出したことで得られる位置との対応関係を算出する。ミリ波センサ１２、レーザセンサ１３、及びカメラ１１はキャリブレーション済みであるため、カメラ１１の撮影で得られた画像における画像座標系とミリ波センサ１２及びレーザセンサ１３で得られたセンサ座標系との間で座標変換できる。ミリ波センサ１２の検出信号から求められた歩行者の道路上における位置とレーザセンサ１３の検出信号から求められた歩行者の道路上における位置との平均をとることで、精度の高い位置情報を得ることができる。これにより、学習用ＤＢから、時系列の頭部画像と時系列の道路上における位置の集合であるデータ群を取得できる。
次に、譲り意思判断パラメタ学習部２０にて、取得したデータ群を元に学習する。この学習で使用されるモデルは、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ−Ｔｅｒｍ Ｍｅｍｏｒｙ）を利用するニューラルネットワーク、隠れマルコフモデル（ＨＭＭ）等、時系列データを元に分類問題を解くことが可能なモデルであればどのようなものでも構わない。どのようなモデルを用いたとしても、時系列の頭部画像と道路上における歩行者の時系列の位置とを入力とし、出力の教師データとして歩行者の挙動であるタグを与えて学習すればよい。この学習によって得られたモデル向けのパラメタは、譲り意思判断パラメタ３１として記憶部３０に保存される（ステップＳ１０３）。
図５は、記憶部３０に記憶される譲り意思判断パラメタ３１の例を表形式で示す図である。譲り意思判断パラメタ３１では、歩行者の挙動に基づくタグ付けがなされている。図５では、歩行者の譲り意思を示すデータタグとして、「譲り意思有り」、「譲り意思無し」、「譲り意思未決定」が用意されており、データタグの各々に、シーン＃Ｎ（Ｎは１以上の整数）のデータ群が紐付けされている。図５では、１つのシーンのデータ群は、時系列の頭部画像データからなる頭部画像データ群と、道路上の時系列の位置データからなる道路上位置データ群とを有する。
＜オンライン処理＞
図６は、実施の形態１に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。車外コミュニケーション動作においては、歩行者検出部１５にはミリ波センサ１２及びレーザセンサ１３の時系列のセンサデータが入力され、頭部抽出部１４にはカメラ１１で撮影された時系列の画像データが入力される。
まず、頭部抽出部１４にて車両９１に備えられたカメラ１１の撮影画像から第１の歩行者９２の頭部を抽出する（ステップＳ１１１）。そして、歩行者検出部１５にて、センシングしているミリ波センサ１２及びレーザセンサ１３のセンサデータの値と第１の歩行者９２の頭部の画像内位置から道路上における第１の歩行者９２の位置を算出する（ステップＳ１１２）。この処理は、オフライン処理時のものと同様である。
次に、譲り意思判断部４０は、第１の歩行者９２の頭部画像及び道路上における第１の歩行者９２の位置を用いて、第１の歩行者９２の譲り意思の状態を判断する（ステップＳ１１３）。これは、学習した譲り意思判断パラメタ３１を適用したモデルに対し、歩行者の頭部画像及び道路上における第１の歩行者９２の位置を入力することで算出できる。なお、ここで得られる第１の歩行者９２の挙動は、学習用ＤＢに登録済みのタグのいずれかとなる。
次に、表示要否決定部５１は、第１の歩行者９２の挙動を元に第１の歩行者９２に対する表示コンテンツの表示の要否を決定する（ステップＳ１１４，Ｓ１１５）。第１の歩行者９２に対する表示コンテンツの表示の要否は、予め作成した要否決定テーブル３２に基づいて決定される。例えば、第１の歩行者９２の挙動が「譲り意思有り」の挙動であれば、第１の歩行者９２に対し感謝の意を示すために表示が必要、すなわち、表示は“要”となる。第１の歩行者９２の挙動が「歩行者は交通に無関係」つまり横断の意思なく交差点の付近に立っているだけの人に対して表示は不要、すなわち、表示は“不要”となるように要否決定テーブル３２を作成する。
図７は、実施の形態１に係る車外コミュニケーション装置の表示要否決定部５１が使用する要否決定テーブル３２の例を表形式で示す図である。図７に示されるように、ステップＳ１１５において表示が“不要”と判断した場合は、処理を終了する。表示が“要”と判断した場合は、表示内容決定部５２で、コンテンツＤＢ３３から第１の歩行者９２に対する表示コンテンツを決定する（ステップＳ１１６）。表示コンテンツの決定に際して、予め作成された歩行者の挙動ごとに紐付けられたコンテンツ群であるコンテンツＤＢ３３から、譲り意思判断部４０で判断した第１の歩行者９２の挙動に対応する表示コンテンツが選択される。
図８は、実施の形態１に係る車外コミュニケーション装置の表示内容決定部５２が使用するコンテンツＤＢ３３の例を表形式で示す図である。図８に示されるように、コンテンツＤＢ３３内に第１の歩行者９２の挙動に対応する表示コンテンツを複数用意することも可能であり、その場合は、第１の歩行者９２の年齢、人種、性別等で選択できるようにすればよい。第１の歩行者９２の年齢、人種、性別などを識別する方法として、公知の方法を採用することができる。
次に、表示位置決定部５３で表示コンテンツの表示位置及び角度を決定する（ステップＳ１１７）。ここで、車両９１に外接する矩形の中心を原点とするＶｘ−Ｖｙ座標系の＋Ｖｙ軸方向が進行方向の座標軸である。
図２に示されるように、表示コンテンツを第１の歩行者９２と車両９１との間に表示するために、以下の計算式で表示位置（Ｖｘ＿ｄ，Ｖｙ＿ｄ）と表示角θを決定することができる。
Figure 0006651062
ここで、Ｔは、第１の歩行者９２から表示コンテンツ９７までの距離であり、予め適当な距離（例えば、Ｔ＝３メートル）に決められている。
図３に、車両９１に対する第１の歩行者９２の位置と道路９３上に表示された表示コンテンツ９７の例を示す。表示制御部５０は、表示位置と表示角に従って道路９３の路面上に表示コンテンツを表示すれば処理は終了となる（ステップＳ１１８）。図３の状況で車両９１が先に通行する場合には、表示コンテンツ９７として、図８中の「ありがとう」に対応するコンテンツを適用することができる。また、図３の状況で車両９１が第１の歩行者９２の横断の後で通行する場合には、表示コンテンツ９７として、図８中の「先にどうぞ」に対応するコンテンツを適用することができる。また、図３の状況で車両９１が第１の歩行者９２の横断の意思が分からない場合には、表示コンテンツ９７として、図８中の「お渡りになりますか」に対応するコンテンツを適用することができる。
《１−３》効果
以上に説明したように、実施の形態１に係る車外コミュニケーション装置は、歩行者の挙動を示す時系列のデータとそれに紐付けられたタグとから自動的にルールを学習し、学習データとして譲り意思判断パラメタ３１を生成する。実際の交通シーンで車外コミュニケーション装置を使用する場合には、譲り意思判断パラメタ３１に応じて第１の歩行者９２の譲り意思の状態を判断するので、予め人が決めたルールのみを用いた場合に比べ、譲り意思の状態を正確に判断することができる。そのため、第１の歩行者９２に、適切な内容の表示コンテンツを適切な表示位置に表示できる。
また、第１の歩行者９２の譲り意思の状態を正確に判断することができるので、第１の歩行者９２の譲り意思に従い、表示コンテンツの表示が不要であれば表示コンテンツを表示しないようにすることができる。このため、不要な表示コンテンツの表示により、第１の歩行者９２に対して感情利得を下げる表示を抑制できる。
《２》実施の形態２．
《２−１》構成
上記実施の形態１に係る車外コミュニケーション装置は、第１の歩行者９２の譲り意思の状態の判断（図６のステップＳ１１１〜Ｓ１１３）の結果に基づいて、第１の歩行者９２に対して表示コンテンツを表示するか否かを決定し（図６のステップＳ１１４、Ｓ１１５）、表示コンテンツの内容を決定し（図６のステップＳ１１６）、表示コンテンツの道路９３上における表示位置を決定し（図６のステップＳ１１７）、これらの決定に基づいて表示機６０を制御する（図６のステップＳ１１８）。
しかし、第１の歩行者９２が表示機６０によって道路９３上に表示された表示コンテンツを理解することができない又は道路９３上に表示された表示コンテンツを視認することができない場合がある。
そこで、実施の形態２に係る車外コミュニケーション装置は、歩行者による表示コンテンツの理解度を判断し、表示コンテンツが理解できない場合には、表示コンテンツを新たなものに変更して第１の歩行者９２が表示コンテンツを理解できるようにする。
図９は、実施の形態２に係る車外コミュニケーション装置の構成を概略的に示す機能ブロック図である。図９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図９の車外コミュニケーション装置は、実施の形態２に係る車外コミュニケーション方法を実行することができる装置である。実施の形態２の説明に際しては、図２及び図３をも参照する。
実施の形態２に係る車外コミュニケーション装置は、理解度判断パラメタ３４を生成する理解度判断パラメタ学習部７０と、理解度判断パラメタ３４を用いて第１の歩行者９２による表示コンテンツの理解度を判断する理解度判断部８０と、表示内容変更部５４とを有する点において、実施の形態１に係る車外コミュニケーション装置と相違する。
理解度判断パラメタ学習部７０は、道路９３上に表示された表示コンテンツに対する歩行者の理解度、歩行者の頭部の挙動、及び歩行者の位置との関係を予め学習し、理解度に歩行者の頭部の挙動及び歩行者の位置を紐付けした学習データである理解度判断パラメタ３４を生成し、これを記憶部３０ａに記憶させる。
理解度判断パラメタ３４において理解度に紐付けされた歩行者の頭部の挙動は、歩行者が表示コンテンツを理解した場合に現われる挙動、歩行者が表示コンテンツを理解できない場合に現われる挙動、及び歩行者が表示コンテンツを視認できない場合に現われる挙動の内の１つ以上を含む。歩行者が表示コンテンツを理解した場合に現われる挙動としては、例えば、歩行者が頭を動かしてうなずく挙動がある。歩行者が表示コンテンツを理解できない場合に現われる挙動としては、例えば、歩行者が頭を傾ける挙動、歩行者の顔に表われる疑問の表情などがある。歩行者が表示コンテンツを視認できない場合に現われる挙動としては、例えば、歩行者が頭を上下左右に動かして障害物の影に隠れている表示コンテンツの部分を見ようとする挙動がある。
理解度判断部８０は、周辺状況取得部１０によって取得された第１の歩行者９２の頭部画像及び第１の歩行者９２の位置と記憶部３０ａに記憶されている理解度判断パラメタ３４とに基づいて第１の歩行者９２の表示コンテンツに対する理解度を判断する。表示制御部５０は、第１の歩行者９２による表示コンテンツの理解度の判断の結果に基づいて、表示されている表示コンテンツの変更の要否を決定し、前記変更の要否の決定に基づいて表示機６０を制御する。上記以外の点では、実施の形態２の車外コミュニケーション装置の構成は、実施の形態１のものと同じである。
《２−２》動作
実施の形態２に係る車外コミュニケーション装置は、譲り意思判断パラメタ３１の作成及び理解度判断パラメタ３４の作成のためのオフライン処理と、実際の交通シーンにおける譲り意思の判断及び理解度の判断に基づいて第１の歩行者９２に対して表示コンテンツを提供するオンライン処理とを行う。実施の形態２では、オフライン処理において実施の形態１と同様の学習用ＤＢを用いる。また、ミリ波センサ、レーザセンサ、及びカメラはキャリブレーション済みであるものとする。また、車両にカメラ、ミリ波センサ、及びレーザセンサを車載した状態で、実際の交通シーンを想定した実験環境下で歩行者を数秒から数十秒の期間、検知して得られた時系列のセンサデータ及び時系列の画像データの集合である理解度を学習するための学習用ＤＢが予め用意されているものとする。また、各データは、表示コンテンツを「理解した」、表示コンテンツの「内容が理解できない」、「表示コンテンツが見えない」、表示コンテンツを「見ていない」等の歩行者の理解度に紐付けられているものとする。
＜オフライン処理＞
図１０は、実施の形態２に係る車外コミュニケーション装置の理解度判断パラメタ学習部７０による学習動作（オフライン処理により行われる）を示すフローチャートである。
譲り意思判断パラメタ３１の学習（ステップＳ２００）は、実施の形態１におけるオフライン処理と同様である。
次に、理解度判断パラメタ３４を作成するための学習を実施する。まず、頭部抽出部１４にて理解度学習用ＤＢの全画像から歩行者の頭部をトリミングして抽出する（ステップＳ２０１）。歩行者の頭部の抽出は、譲り意思判断パラメタ３１の学習時と同様の公知の手法で行うことができる。
次に、歩行者検出部１５にて理解度学習用ＤＢの全センサデータから、車両の位置を基準とした道路上における歩行者の位置を検出する（ステップＳ２０２）。この処理は、譲り意思判断パラメタ３１の学習時と同様に公知の手法を用いることができる。これらの処理により、理解度学習用ＤＢから、時系列の頭部画像データ及び時系列の道路上における位置データの集合が取得できる。
図１１は、記憶部３０ａに記憶される理解度判断パラメタ３４の例を表形式で示す図である。また、予め理解度学習用ＤＢのデータには、歩行者の理解度によるタグ付けがなされているため、図１１に示されるように整理可能なデータ群が生成される。
次に、理解度判断パラメタ学習部７０にて、生成されたデータ群を元に学習する（ステップＳ２０３）。学習で使用するモデルは、ＬＳＴＭを利用するニューラルネットワーク又は隠れマルコフモデルを利用するもの等、時系列データを元に分類問題を解くことが可能なモデルであればどのようなものでも構わない。どのようなモデルを用いたとしても、時系列の頭部画像データと道路上における歩行者の位置データを入力とし、出力の教師データとして理解度を示すタグを与え学習すればよい。学習によって取得されたモデル向けのパラメタは、理解度判断パラメタ３４として記憶部３０ａに保存される（ステップＳ２０３）。
＜オンライン処理＞
図１２は、実施の形態２に係る車外コミュニケーション装置の実際の交通シーンにおける車外コミュニケーション動作（オンライン処理により行われる）を示すフローチャートである。図１２において、図６に示される処理ステップと同じ内容の処理ステップには、図６におけるステップ番号と同じステップ番号が付される。図１２において、ステップＳ１１１〜Ｓ１１８の処理は、図６におけるものとおなじである。
次に、理解度判断部８０は、頭部抽出部１４から提供された第１の歩行者９２の頭部画像データと歩行者検出部１５から提供された道路上における第１の歩行者９２の位置データとを用いて、第１の歩行者９２のための表示コンテンツに対する第１の歩行者９２による理解度を判断する（ステップＳ２１１）。この判断は、オフライン処理における学習で取得された理解度判断パラメタ３４を適用したモデルに対し、第１の歩行者の頭部画像データと道路９３上における第１の歩行者９２の位置データを適用することで算出できる。この処理によって得られる理解度は、理解度学習用ＤＢに登録済みのタグのいずれか、例えば、図１１の左欄に示される「理解度を示すデータタグ」のいずれかとなる。
ステップＳ２１２において、判断結果が表示コンテンツを「理解した」であれば、表示内容を変更せず、処理を終了する（既に表示した表示コンテンツを変更しない）。
ステップＳ２１２において、判断結果が表示コンテンツを理解した以外であれば、表示内容変更部５４にて表示コンテンツを変更する（ステップＳ２１３）。
表示内容変更部５４は、譲り意思判断部４０から提供された第１の歩行者９２の挙動に対応するコンテンツＤＢ３３内の表示コンテンツから、以前に表示した表示コンテンツと異なるものを選べばよい。例えば、第１の歩行者９２の挙動が「譲り意思有り」を示しており、表示コンテンツとして図８における「ありがとう」が選択され既に表示されていた場合には、未だ表示されていない表示コンテンツである「Ｔｈａｎｋ ｙｏｕ！！」に変更すればよい。このように、新しい表示コンテンツをランダムに選択することも可能であるが、予めコンテンツＤＢ３３内の各歩行者の挙動のコンテンツを理解度ごとに対応させておくことで、より適切な新たな表示コンテンツを第１の歩行者９２に提供できる。
図１３は、実施の形態２に係る車外コミュニケーション装置の表示内容変更部５４が使用するコンテンツＤＢ３３の例を表形式で示す図である。例えば、コンテンツＤＢ３３を図１３に示されるように理解度の種類に対応させて用意していれば、第１の歩行者９２の挙動が「譲り意思有り」であり、基本の表示コンテンツ「ありがとう」を表示しているときに、理解度判断において理解度が「表示コンテンツが見えない」すなわち「視認できない」と判断された場合は、「譲り意思有り」の項目に属し且つ「コンテンツが見えない」に対応する明領域と暗領域とを逆転させた「ありがとう」の表示に変更できる。このように表示コンテンツを新たなものに変更することで、表示コンテンツが見えない状況を解消することができる。また、表示コンテンツの変更後における理解度判断において、再度、理解度が「表示コンテンツが見えない」である場合には、理解度が「理解した」になるまで同様の処理を繰り返してもよい。
《２−３》効果
以上に説明したように、実施の形態２に係る車外コミュニケーション装置は、歩行者の挙動を示す時系列のデータとそれに紐付けられたタグとから自動的にルールを学習し、学習データとして理解度判断パラメタ３４を生成する。そして、理解度判断パラメタ３４を用いて第１の歩行者９２の理解度を判断し、表示コンテンツの理解度に応じて表示コンテンツを新たなものに変更する。このため、第１の歩行者９２に正確に情報を提供することができる。
《３》変形例．
図１４は、実施の形態１及び２に係る車外コミュニケーション装置のハードウェア構成を示す図である。図１４に示されるように、この車外コミュニケーション装置は、プロセッサ１０１、記憶装置としての外部記憶媒体１０２、他の記憶装置としてのメモリ１０３、ネットワークインタフェース１０４、及び表示機インタフェース１０５を備える。これらの構成は、直接又はデータバス１０６を介して互いに接続される。カメラ１１、ミリ波センサ１２、及びレーザセンサ１３は、ネットワークインタフェース１０４を介してデータバス１０６に接続される。表示機６０は、及び表示機インタフェース１０５を介してデータバス１０６に接続される。
実施の形態１に係る車外コミュニケーション装置は、ソフトウェアとしての車外コミュニケーションプログラムを格納するメモリ１０３と、メモリ１０３に格納されたプログラムを実行するプロセッサ１０１とを用いた装置（例えば、コンピュータ）により実現することができる。車外コミュニケーションプログラムは、インターネットを介するダウンロードによって、又は、車外コミュニケーションプログラムを格納した記録媒体から取得することができる。この場合には、図１における記憶部３０は、図１４におけるメモリ１０３又は外部記憶媒体１０２に相当する。また、図１における頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、及び表示制御部５０の全体又は一部は、図１４に示されるメモリ１０３と、プログラムを実行するプロセッサ１０１とによって実現することができる。
実施の形態２に係る車外コミュニケーション装置は、車外コミュニケーションプログラムを格納するメモリ１０３と、メモリ１０３に格納されたプログラムを実行するプロセッサ１０１とを用いた装置（例えば、コンピュータ）により実現することができる。この場合には、図９における記憶部３０ａは、図１４におけるメモリ１０３又は外部記憶媒体１０２に相当する。また、図９における頭部抽出部１４、歩行者検出部１５、譲り意思判断パラメタ学習部２０、譲り意思判断部４０、表示制御部５０ａ、理解度判断パラメタ学習部７０、及び理解度判断部８０の全体又は一部は、図１４に示されるメモリ１０３と、プログラムを実行するプロセッサ１０１とによって実現することができる。
また、上記車外コミュニケーション装置を搭載する車両は、歩行者が通行する道路を走行する各種の車両に搭載可能である。
また、表示コンテンツの表示位置は、車両９１と第１の歩行者９２とを線分９８上に限らず、第１の歩行者９２の視線方向を検出することで、この視線上の路面に表示してもよい。
１０ 周辺状況取得部、 １１ カメラ、 １２ ミリ波センサ、 １３ レーザセンサ、 １４ 頭部抽出部、 １５ 歩行者検出部、 ２０ 譲り意思判断パラメタ学習部、 ３０，３０ａ 記憶部、 ３１ 譲り意思判断パラメタ、 ３２ 要否決定テーブル、 ３３ コンテンツＤＢ、 ３４ 理解度判断パラメタ、 ４０ 譲り意思判断部、 ５０，５０ａ 表示制御部、 ６０ 表示機、 ７０ 理解度判断パラメタ学習部、 ８０ 理解度判断部。

Claims (14)

  1. 予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成する譲り意思判断パラメタ学習部と、
    前記譲り意思判断パラメタを記憶する記憶部と、
    第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と、
    取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、
    道路上に表示コンテンツを表示する表示機と、
    前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部と
    を備えたことを特徴とする車外コミュニケーション装置。
  2. 前記譲り意思判断パラメタにおける前記譲り意思の状態に紐付けされた前記挙動は、
    前記歩行者が前記譲り意思を持っている場合に前記歩行者の頭部に現われる譲り意思有りの場合の挙動、
    前記歩行者が前記譲り意思を持っていない場合に前記歩行者の頭部に現われる譲り意思無しの場合の挙動、及び
    前記歩行者が車両に道を譲ろうか又は先に道路を渡ろうか迷っている場合に前記歩行者の頭部に現われる譲り意思未決定の場合の挙動
    の内の１つ以上を含むことを特徴とする請求項１に記載の車外コミュニケーション装置。
  3. 前記譲り意思判断パラメタは、前記歩行者の時系列の頭部画像からなる頭部画像データ群と前記時系列の頭部画像に対応する時系列の位置からなる位置データ群とを含むデータ集合を、前記譲り意思の状態に紐付けした前記学習データであることを特徴とする請求項１又は２に記載の車外コミュニケーション装置。
  4. 前記譲り意思判断部は、前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断することを特徴とする請求項１から３のいずれか１項に記載の車外コミュニケーション装置。
  5. 前記記憶部は、前記譲り意思の状態に表示コンテンツの表示が必要であるか否かを示す要否情報を紐付けした要否決定テーブルを予め記憶し、
    前記表示制御部は、前記要否決定テーブルに基づいて、前記表示コンテンツを表示するか否かを決定する表示要否決定部を有する
    ことを特徴とする請求項１から４のいずれか１項に記載の車外コミュニケーション装置。
  6. 前記記憶部は、前記譲り意思の状態に表示コンテンツを紐付けしたコンテンツデータベースを予め記憶し、
    前記表示制御部は、前記コンテンツデータベースに基づいて、表示される前記表示コンテンツを決定する表示内容決定部を有する
    ことを特徴とする請求項１から５のいずれか１項に記載の車外コミュニケーション装置。
  7. 前記表示制御部は、前記車両と前記第１の歩行者とを結ぶ線分上に前記表示コンテンツが表示されるように前記表示機を制御する表示位置決定部を有することを特徴とする請求項１から６のいずれか１項に記載の車外コミュニケーション装置。
  8. 前記表示位置決定部は、前記表示コンテンツに含まれる文字が、前記文字の下部が前記第１の歩行者の近くに位置し、前記文字の上部が前記第１の歩行者から遠くに位置するように、前記表示機を制御することを特徴とする請求項７に記載の車外コミュニケーション装置。
  9. 予め作成された理解度学習用データベースに基づいて道路上に表示された前記表示コンテンツに対する前記歩行者の理解度と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記理解度に前記挙動及び前記位置を紐付けした学習データである理解度判断パラメタを生成し、前記記憶部に記憶させる理解度判断パラメタ学習部と、
    取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記理解度判断パラメタとに基づいて前記第１の歩行者の表示コンテンツに対する理解度を判断する理解度判断部と
    をさらに備え、
    前記表示制御部は、前記第１の歩行者の理解度の判断の結果に基づいて、表示されている前記表示コンテンツの変更の要否を決定する
    ことを特徴とする請求項１から８のいずれか１項に記載の車外コミュニケーション装置。
  10. 前記理解度判断パラメタにおいて前記理解度に紐付けされた前記挙動は、
    前記歩行者が前記表示コンテンツを理解した場合に前記歩行者の頭部に現われる挙動、
    前記歩行者が前記表示コンテンツを理解できない場合に前記歩行者の頭部に現われる挙動、及び
    前記歩行者が前記表示コンテンツを視認できない場合に前記歩行者の頭部に現われる挙動
    の内の１つ以上を含むことを特徴とする請求項９に記載の車外コミュニケーション装置。
  11. 前記理解度判断部が前記第１の歩行者が前記表示コンテンツを理解したと判断した場合に、前記表示制御部は、新たな表示コンテンツを決定し、前記新たな表示コンテンツに基づいて前記表示機を制御することを特徴とする請求項１０に記載の車外コミュニケーション装置。
  12. 予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させるステップと、
    周辺状況取得部から第１の歩行者の頭部画像及び位置を取得するステップと、
    取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断するステップと、
    前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御するステップと
    を有することを特徴とする車外コミュニケーション方法。
  13. 第１の歩行者の頭部画像及び位置を取得する周辺状況取得部と道路上に表示コンテンツを表示する表示機とを備えた車両で使用される情報処理装置であって、
    予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させる譲り意思判断パラメタ学習部と、
    前記周辺状況取得部から取得した前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する譲り意思判断部と、
    前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して前記表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて前記表示機を制御する表示制御部と
    を備えたことを特徴とする情報処理装置。
  14. 予め交通シーンから作成された学習用データベースに基づいて歩行者が車両に道を譲ろうとする意思である譲り意思の状態と前記歩行者の頭部の挙動と前記歩行者の位置との関係を予め学習し、前記譲り意思の状態に前記挙動及び前記位置を紐付けした学習データである譲り意思判断パラメタを生成し、前記譲り意思判断パラメタを記憶部に記憶させる処理と、
    周辺状況取得部から第１の歩行者の頭部画像及び位置を取得する処理と、
    取得された前記第１の歩行者の頭部画像及び位置と前記記憶部に記憶されている前記譲り意思判断パラメタとに基づいて前記第１の歩行者の譲り意思の状態を判断する処理と、
    前記第１の歩行者の譲り意思の状態の判断の結果に基づいて、前記第１の歩行者に対して表示コンテンツを表示するか否か、前記表示コンテンツの内容、及び前記表示コンテンツの道路上における表示位置を決定し、前記決定に基づいて道路上に表示コンテンツを表示する表示機を制御する処理と
    をコンピュータに実行させることを特徴とする車外コミュニケーションプログラム。
JP2019554086A 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム Active JP6651062B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/041024 WO2019097595A1 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム

Publications (2)

Publication Number Publication Date
JP6651062B2 true JP6651062B2 (ja) 2020-02-19
JPWO2019097595A1 JPWO2019097595A1 (ja) 2020-04-02

Family

ID=66538550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019554086A Active JP6651062B2 (ja) 2017-11-15 2017-11-15 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム

Country Status (5)

Country Link
US (1) US11087224B2 (ja)
JP (1) JP6651062B2 (ja)
CN (1) CN111344761A (ja)
DE (1) DE112017008149B4 (ja)
WO (1) WO2019097595A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3670228B1 (en) * 2018-12-17 2022-04-13 Audi Ag A display device and a vehicle comprising the display device
JP7079747B2 (ja) * 2019-03-08 2022-06-02 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP7345123B2 (ja) * 2019-08-26 2023-09-15 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、コンピュータプログラム
CN112329684B (zh) * 2020-11-16 2024-04-30 常州大学 一种基于注视检测和交通场景识别的行人穿越马路意图识别方法
US11733369B2 (en) * 2021-02-11 2023-08-22 Waymo Llc Methods and systems for three dimensional object detection and localization
CN114529946A (zh) * 2022-02-23 2022-05-24 厦门市美亚柏科信息股份有限公司 基于自监督学习的行人重识别方法、装置、设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3988545B2 (ja) * 2002-06-10 2007-10-10 日産自動車株式会社 サービス提供システム、サービス提供方法および運転状況判定装置
JP2005332297A (ja) 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
JP4862502B2 (ja) * 2006-06-08 2012-01-25 日産自動車株式会社 運転支援システムおよび運転支援方法
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置
JP2013114536A (ja) 2011-11-30 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
US9253753B2 (en) * 2012-04-24 2016-02-02 Zetta Research And Development Llc-Forc Series Vehicle-to-vehicle safety transceiver using time slots
DE102012009555A1 (de) 2012-05-12 2012-11-29 Daimler Ag Verfahren zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs und Fahrerassistenzsystem
JP5696701B2 (ja) 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
JP6156732B2 (ja) * 2013-05-15 2017-07-05 スズキ株式会社 歩車間通信システム
CN104175950A (zh) * 2013-05-23 2014-12-03 北京千橡网景科技发展有限公司 一种用于车内人员与外界沟通的方法及设备
US9128577B2 (en) 2013-12-10 2015-09-08 Atmel Corporation Hybrid capacitive touch system design and method
US9349293B2 (en) * 2014-02-07 2016-05-24 Here Global B.V Method and apparatus for providing vehicle synchronization to facilitate a crossing
DE102014215057A1 (de) 2014-07-31 2016-02-04 Bayerische Motoren Werke Aktiengesellschaft Bestimmung einer Kollisionswahrscheinlichkeit auf Basis einer Kopforientierung eines Fußgängers
DE102014226254A1 (de) 2014-12-17 2016-06-23 Robert Bosch Gmbh Verfahren zum Betreiben eines insbesondere autonom oder teilautonom fahrenden/fahrbaren Kraftfahrzeugs, Signalisierungsvorrichtung, Kraftfahrzeug
CN104537360B (zh) * 2015-01-15 2018-01-02 上海博康智能信息技术有限公司 车辆未让行违章检测方法及其检测系统
DE102015210781A1 (de) 2015-06-12 2016-12-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Kommunikation zwischen einem autonomen Fahrzeug und einem Verkehrsteilnehmer
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
CN106428000B (zh) * 2016-09-07 2018-12-21 清华大学 一种车辆速度控制装置和方法
US10427596B2 (en) * 2017-07-27 2019-10-01 Alexa Lea Haushalter Vehicle directional indicator for autonomous and non-autonomous vehicles

Also Published As

Publication number Publication date
JPWO2019097595A1 (ja) 2020-04-02
US11087224B2 (en) 2021-08-10
CN111344761A (zh) 2020-06-26
DE112017008149B4 (de) 2024-04-18
WO2019097595A1 (ja) 2019-05-23
US20200250553A1 (en) 2020-08-06
DE112017008149T5 (de) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6651062B2 (ja) 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
US20190259284A1 (en) Pedestrian detection for vehicle driving assistance
EP3349050A1 (en) Inspection devices and methods for detecting a firearm
US10572072B2 (en) Depth-based touch detection
CN111695402B (zh) 用于标注3d点云数据中人体姿态的工具和方法
JP2019527448A (ja) 車両の運転者の状態を監視するための方法及びシステム
JP4173902B2 (ja) 車両周辺監視装置
CN111797657A (zh) 车辆周边障碍检测方法、装置、存储介质及电子设备
US9990710B2 (en) Apparatus and method for supporting computer aided diagnosis
KR20170091677A (ko) 체온이 증가한 개체를 식별하기 위한 방법 및 시스템
CN111027481B (zh) 基于人体关键点检测的行为分析方法及装置
JP2005159392A (ja) 車両周辺監視装置および方法
Bertoni et al. Perceiving humans: from monocular 3d localization to social distancing
JP2011238227A (ja) 物体検知方法及び装置
US20220414997A1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
JP2007293627A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
EP3349142A1 (en) Information processing device and method
CN111783640A (zh) 检测方法、装置、设备以及存储介质
JP2021033510A (ja) 運転支援装置
JP2002366958A (ja) 画像認識方法および画像認識装置
WO2020217812A1 (ja) 被写体の状態を認識する画像処理装置及びその方法
US20230091536A1 (en) Camera Placement Guidance
KR101575100B1 (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
US11314968B2 (en) Information processing apparatus, control method, and program
JP2020009107A (ja) 避難誘導装置、避難誘導システム、および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191118

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200121

R150 Certificate of patent or registration of utility model

Ref document number: 6651062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250