JP7772094B2 - 機器操作制御システム、装置、方法、及びプログラム - Google Patents

機器操作制御システム、装置、方法、及びプログラム

Info

Publication number
JP7772094B2
JP7772094B2 JP2023572300A JP2023572300A JP7772094B2 JP 7772094 B2 JP7772094 B2 JP 7772094B2 JP 2023572300 A JP2023572300 A JP 2023572300A JP 2023572300 A JP2023572300 A JP 2023572300A JP 7772094 B2 JP7772094 B2 JP 7772094B2
Authority
JP
Japan
Prior art keywords
occupant
vehicle
adult
identified
occupants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023572300A
Other languages
English (en)
Other versions
JPWO2023132041A5 (ja
JPWO2023132041A1 (ja
Inventor
雄太 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2023132041A1 publication Critical patent/JPWO2023132041A1/ja
Publication of JPWO2023132041A5 publication Critical patent/JPWO2023132041A5/ja
Application granted granted Critical
Publication of JP7772094B2 publication Critical patent/JP7772094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Lock And Its Accessories (AREA)

Description

本開示は、機器操作制御システム、装置、方法、及びコンピュータ可読媒体に関する。
関連技術として、特許文献1は、車両搭載装置の制御装置を開示する。特許文献1において、車両の各シートには荷重センサが設けられている。特許文献1に記載される制御装置は、荷重センサが検出した荷重から、シートの座面に対する荷重の分布を取得する。制御装置は、取得した荷重の分布から、乗員が大人であるか否かを判定する。制御装置は、乗員が大人であると判定した場合、乗員が着座しているシートの位置を取得する。制御装置は、機器を操作する乗員の座席位置と、車両の走行状態とに応じて、機器の操作を許可するか否かを決定する。制御装置は、乗員が大人ではないと判定した場合、機器の操作を禁止する。
特開2012-236444号公報
特許文献1に記載の制御装置は、荷重センサで検出された荷重に応じて、乗員が大人であるか、子供であるかを判定する。特許文献1では、大人と子供とを重さでしか識別できないため、体重が軽い大人が子供と誤って判定されることがある。あるいは、体重が重い子どもが大人と誤って判定されることがある。このように、特許文献1に記載の装置は、乗員の属性を正確に判定することができず、乗員の属性に応じて機器を制御することができない。
本開示は、上記事情に鑑み、乗員の属性に応じた機器の制御が可能な機器操作制御システム、装置、方法、及びコンピュータ可読媒体を提供することを目的とする。
上記目的を達成するために、本開示は、第1の態様として、機器操作制御装置を提供する。機器操作制御装置は、車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定する属性特定手段と、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを含む。
本開示は、第2の態様として、機器操作制御システムを提供する。機器操作制御システムは、車両の内部を撮影するカメラと、前記車両の内部において機器を制御する機器操作制御装置とを有する。機器操作制御装置は、前記車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、前記カメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定する属性特定手段と、前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを含む。
本開示は、第3の態様として、機器操作制御方法を提供する。機器操作制御方法は、車両に乗車する1以上の乗員それぞれの乗車位置を特定し、前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定し、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む。
本開示は、第4の態様として、コンピュータ可読媒体を提供する。コンピュータ可読媒体は、車両に乗車する1以上の乗員それぞれの乗車位置を特定し、前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定し、前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む処理を、プロセッサに実行させるためのプログラムを記憶する。
本開示に係る機器操作制御システム、装置、方法、及びコンピュータ可読媒体は、車両に乗車する乗員の属性に応じて機器を制御することができる。
本開示に係る機器操作制御システムの概略的な構成を示すブロック図。 本開示の第1実施形態に係る機器操作制御システムを示すブロック図。 乗員の位置及び属性と被制御機器の操作の可否との関係の一例を示す図。 機器操作制御装置における動作手順を示すフローチャート。 本開示の第2実施形態に係る機器操作制御システムを示すブロック図。 乗員の位置、属性、及び状態情報と被制御機器の操作の可否との関係の一例を示す図。 本開示の第3実施形態に係る機器操作制御システムを示すブロック図。 車両状態情報に応じた被制御機器の操作の可否の一例を示す図。 機器操作制御装置のハードウェア構成を示すブロック図。
本開示の実施形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る機器操作制御システムの概略的な構成を示す。機器操作制御システム10は、機器操作制御装置20、及びカメラ30を有する。カメラ30は、車両の内部を撮影する。機器操作制御装置20は、車両の内部において、機器50を制御する。
機器操作制御装置20は、位置特定手段21、属性特定手段22、及び制御手段23を有する。位置特定手段21は、車両に乗車する1以上の乗員それぞれの乗車位置を特定する。属性特定手段22は、カメラ30が撮影した映像から、1以上の乗員それぞれの属性を特定する。制御手段23は、特定された乗車位置及び属性に応じて、車両の内部において機器50を制御する。
本開示において、属性特定手段22は、カメラ30が撮影した映像から、乗員の属性を特定する。本開示では、属性の特定にカメラ映像が使用されるため、荷重センサを用いて大人と子供とが識別される場合に比べて、属性をより正確に特定できる。このため、機器操作制御装置20は、車両に乗車する乗員の属性に応じた機器の制御を実現できる。
以下、図面を参照しつつ、本開示の実施の形態を詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、各図面において、同一の要素、及び同様な要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
図2は、本開示の第1実施形態に係る機器操作制御システムを示す。機器操作制御システム100は、機器操作制御装置110、及びカメラ130を含む。カメラ130は、車両に搭載され、車両の内部を撮影する。車両は、例えば乗用車、タクシー、又はバンなどの移動体である。カメラ130は、例えば、運転席と助手席との間で、車内全体を見渡せる位置に設置される。機器操作制御システム100において、カメラ130の数は1つには限定されない。機器操作制御システム100は、1つの車両の中に配置された複数のカメラ130を含み得る。機器操作制御システム100は、図1に示される機器操作制御システム10に対応する。カメラ130は、図1に示されるカメラ30に対応する。
機器操作制御装置110は、カメラ130、及び複数の被制御機器150に接続される。被制御機器150は、車両の内部において、車両に乗車する乗員によって操作される機器である。被制御機器150は、例えば、車両に備わる機器、又は車両を運転するときに乗員により操作される機器を含む。例えば、被制御機器150は、エンジン(メインスイッチ)、パワーウィンドウ、ホーン、ステアリングホイール、パーキングブレーキ、及びエアーコンディショナーなどの機器を含む。被制御機器150は、ディスプレイオーディオ(DA:Display Audio)、及びカーナビゲーション装置などの車載機器を含んでいてもよい。さらに、被制御機器150は、乗員が車内に持ち込むスマートホンなどのユーザ機器であってもよい。被制御機器150は、図1に示される機器50に対応する。
機器操作制御装置110は、カメラ130が撮影した映像を取得し、取得した映像を用いて、被制御機器150を制御する。機器操作制御装置110は、乗員検知部111、位置特定部112、属性特定部113、及び制御部114を有する。機器操作制御装置110は、例えば1以上のプロセッサと1以上のメモリとを含む装置として構成される。機器操作制御装置110内の各部の機能の少なくとも一部は、プロセッサがメモリから読み出したプログラムに従って処理を実施することで実現され得る。機器操作制御装置110は、図1に示される機器操作制御装置20に対応する。
乗員検知部111は、車両に乗車する乗員を検知する。乗員検知部111は、カメラ130が撮影した映像(画像)から、被写体(乗員)の顔領域を検出することで、乗員を検知する。乗員検知部111は、画像に複数の被写体が含まれ、複数の顔領域が検出される場合、車両に複数の乗員が乗車していることを検知する。位置特定部112は、乗員検知部111で検知された乗員の車両における位置を特定する。乗員検知部111は、座席に設けられた、圧力センサなどのセンサを用いて、乗員を検知してもよい。
位置特定部112は、複数の乗員が検知されている場合、複数の乗員それぞれの位置を特定する。位置特定部112は、例えば車両に備わる座席のうち、乗員がどの座席に座っているかを特定する。位置特定部112は、例えば、カメラ130が撮影した映像から乗員の位置を特定する。位置特定部112は、座席に設けられた、圧力センサなどのセンサを用いて、乗員の位置を特定してもよい。位置特定部112は、図1に示される位置特定手段21に対応する。
属性特定部113は、カメラ130が撮影した映像から、乗員の属性を特定する。属性特定部113は、複数の乗員が検知されている場合、複数の乗員それぞれの属性を特定する。乗員の属性は、例えば年齢及び性別を含む。属性特定部113は、例えば、カメラ映像から顔領域を検出する。属性特定部113は、検出した顔領域の画像に基づいて年齢及び性別などを推定し、推定した年齢及び性別を乗員の属性として特定してもよい。属性特定部113は、推定した年齢に応じて、乗員が大人であるか、又は子供であるかを特定してもよい。あるいは、属性特定部113は、顔領域の画像に対して顔認証を行い、人物を識別してもよい。その場合、属性特定部113は、識別した人物の属性をデータベースなどから取得してもよい。また、データベースに登録された人物に、機器の使用制限に関する制限情報を付与し、属性特定部113によって識別された人物から制限情報を属性として取得してもよい。属性特定部113は、図1に示される属性特定手段22に対応する。
制御部114は、位置特定部112で特定された乗員の位置、及び属性特定部113で特定された乗員の属性に応じて、被制御機器150を制御する。制御部114は、複数の被制御機器150を、被制御機器150ごとに制御できる。例えば、制御部114は、乗員がある被制御機器150を操作しようとした場合、その乗員の乗車位置、及び属性に応じて、被制御機器150の操作を許可するか否かを決定する。例えば、制御部114は、各乗員の乗車位置と、乗員が大人であるか、又は子供であるか、とに応じて、乗員による被制御機器150の操作の可否を決定してもよい。制御部114は、操作を許可すると決定した場合、乗員による被制御機器150の使用を制限しない。その場合、被制御機器150は、乗員の操作に従って動作する。制御部114は、操作を許可しないと決定した場合、乗員が被制御機器150を操作した場合でも、その操作を無効とし、乗員による被制御機器150の使用を制限する。制御部114は、被制御機器150全体の機能を制限するのではなく、被制御機器150の一部の機能を制限してもよい。制御部114は、図に示される制御手段23に対応する。
被制御機器150が車両に備わる機器、又は車両に搭載される機器である場合、制御部114は、車内ネットワークを通じて被制御機器150に制御信号を送信し、被制御機器150を制御してもよい。被制御機器150がスマートホンなどのユーザ機器の場合、そのユーザ機器には、機器操作制御装置110と通信を行うアプリケーションがインストールされていてもよい。制御部114は、ユーザ機器である被制御機器150の操作を許可しないと決定した場合、その旨をユーザ機器に通知する。アプリケーションは、ユーザ機器の操作を許可しない旨の通知を受け取った場合、ユーザ機器の所定の機能、例えば画面表示を無効化する。このようにすることで、制御部114は、車内におけるユーザ機器の操作又は使用を制限することができる。
図3は、乗員の位置及び属性と被制御機器の操作の可否との関係の一例を示す。この例において、位置特定部112は、乗員の位置が、前席右(右側通行の場合は運転席)、前席左(助手席)、後席右、及び後席左の何れであるかを特定するものとする。また、属性特定部113は、乗員が「大人」であるか、「子供」であるかを特定するものとする。また、制御部114は、nを2以上の整数として、被制御機器1から被制御機器nを制御するものとする。
図3において、「YES」は、乗車位置と属性との組み合わせに対して、被制御機器150の操作が許可されることを示す。「NO」は、乗車位置と属性との組み合わせに対して、被制御機器150の操作が許可されないことを示す。例えば、制御部114は、運転席に乗車する乗員の属性が「大人」である場合、「被制御機器1」及び「被制御機器2」の操作を許可する。また、制御部114は、助手席に乗車する乗員の属性が「大人」である場合、「被制御機器2」の操作は許可するが、「被制御機器1」の操作は許可しない。制御部114は、運転席又は助手席に乗車する乗員の属性が「子供」の場合は、「被制御機器1」及び「被制御機器2」の操作を許可しない。
複数の被制御機器150は、車両における設置場所(位置)、及び用途などに応じて、複数のグループに区分されていてもよい。その場合、制御部114は、各被制御機器150がどのグループに属するかを示す情報を保持する。1つの被制御機器150は、複数のグループに属していてもよい。制御部114は、被制御機器150ごとに操作の可否、つまり制限の有無を決定するのに代えて、グループごとに、操作の可否を決定してもよい。例えば、制御部114は、運転席に大人が乗車していない場合、エンジン、ホーン、又はステアリングホイールなどの、運転操作に関連する被制御機器のグループに属する被制御機器150の操作を許可しないこととしてもよい。制御部114は、運転席に大人が乗車していない場合でも、運転操作に関連しない被制御機器のグループに属する被制御機器150の操作を許可してもよい。
具体的に、制御部114は、例えば運転席に人がいない場合、エアーコンディショナーなどの機器の操作は許可するが、アクセルの操作は制限してもよい。また、制御部114は、乗員の位置が運転席で、かつ乗員の属性が「子供」の場合、アクセルの操作、及びエンジンをスタートさせる操作を制限してもよい。制御部114は、車両が電気自動車の場合、車両のシステム起動を制限してもよい。制御部114は、位置特定部112で特定された乗員の位置付近に配置されている機器の操作を、特定された属性に応じて制限してもよい。制御部114は、乗員の位置が後部座席の右側であり、かつ乗員の属性が「子供」の場合、後部右側座席のパワーウィンドウの操作を制限してもよい。
次いで、動作手順を説明する。図4は、機器操作制御装置110における動作手順(機器操作制御方法)を示す。乗員検知部111は、カメラ130から、カメラ映像を取得する(ステップS1)。乗員検知部111は、カメラ映像に基づいて、車両の乗車する乗員を検知する(ステップS2)。乗員検知部111は、例えばカメラ映像に対して顔検出を行う。乗員検知部111は、顔領域が検出された場合、車両内に乗員が乗車していることを検出する。
位置特定部112は、ステップS2で検知された乗員の乗車位置を特定する(ステップS3)。位置特定部112は、乗員が車両に乗車した後、車内において、乗員の位置を追跡してもよい。属性特定部113は、カメラ130から取得されたカメラ映像に基づいて、ステップS2で検知された乗員の属性を特定する(ステップS4)。属性特定部113は、ステップS4では、例えば顔領域の画像を用いて乗員の年齢を推定し、乗員が大人であるか、子供であるかを特定する。制御部114は、ステップS3で特定された乗車位置、及びステップS4で特定された乗員の属性に応じて、被制御機器150を制御する(ステップS5)。
本実施形態では、制御部114は、乗員の位置及び属性に応じて、被制御機器150を制御する。本実施形態において、属性特定部113は、カメラ130の映像に基づいて、乗員の属性を特定する。本実施形態では属性の特定にカメラ映像が用いられる。このため、乗員が大人であるか、子供であるかを、重さで識別する場合に比べて、乗員の属性を精度よく識別することができる。機器操作制御装置110は、正しく識別された乗員の属性に応じて、被制御機器150を制御することができる。
例えば、車両が停車しており、大人が子供を膝の上に乗せて休憩している場合を考える。その場合に、子供が被制御機器150の操作を行おうとしたとする。特許文献1では、重さで大人と子供とを識別しているため、上記のケースでは、大人が被制御機器150を操作していると誤認する。これに対し、本実施形態では、属性の特定にカメラ映像が用いられるため、操作しようとしている乗員が子供であると、正しく識別することができる。本実施形態では、制御部114が子供による特定の被制御機器150の操作を抑制することで、車内における安全性を向上できる。
続いて、本開示の第2実施形態を説明する。図5は、本開示の第2実施形態に係る機器操作制御システムを示す。本実施形態に係る機器操作制御システム100aにおいて、機器操作制御装置110aは、図2に示される第1実施形態で説明した機器操作制御装置110の構成に加えて、乗員状態取得部115を有する。
乗員状態取得部(乗員状態取得手段)115は、車内における乗員の状態情報を取得する。例えば、乗員状態取得部115は、乗員検知部111で検知された各乗員の顔の向き又は視線方向を、状態情報として取得する。乗員状態取得部115は、乗員の状態情報を制御部114に出力する。制御部114は、乗員の位置及び属性に加えて、乗員の状態情報を用いて、被制御機器150を制御する。
本実施形態において、例えば、制御部114は、車内に大人と子供とが乗車している場合、乗員の状態情報に基づいて、大人が子供を見ているか否かを判断する。制御部114は、例えば大人の顔の向き又は視線方向が、子供が乗車している位置を向いているか否かを判断する。制御部114は、大人が子供を見ているか否かに応じて、被制御機器150の操作の可否を決定することができる。
制御部114は、属性特定部113において顔認証が行われている場合、顔認証の結果と、乗員の状態情報とに応じて、被制御機器150を制御してもよい。例えば、属性特定部113は、顔認証により、乗員が車両の利用者として登録されている人であるか否かを特定する。制御部114は、乗員が大人かつ車両の利用者として登録されており、その乗員(大人)が子供を見ている場合、特定の被制御機器150の操作を許可してもよい。
図6は、乗員の位置、属性、及び状態情報と被制御機器の操作の可否との関係の一例を示す。制御部114は、乗員検知部111で複数の乗員が検知されているか否かを判断する。制御部114は、複数の乗員が検知されていない場合、乗員が大人であるか、子供であるかに応じて、ステアリングホイール、ホーン、及びエンジン起動の操作の可否を決定する。図6の例において、制御部114は、乗員が子供の場合、ステアリングホイール、ホーン、及びエンジン起動の操作を制限する。制御部114は、乗員が大人の場合、ステアリングホイール、ホーン、及びエンジン起動の操作を許可する。
制御部114は、複数の乗員が検知されている場合、乗員に大人がいるか、子供がいるかを判断する。制御部114は、乗員が大人と子供とを含む場合、大人が子供を見ているか否かを判断する。制御部114は、大人が子供を見ていないと判断した場合、ステアリングホイールの操作は許可するが、ホーン及びエンジン起動の操作は制限してもよい。制御部114は、大人が子供を見ていると判断した場合、子供が大人の監督下にあるとして、ステアリングホイール、ホーン、及びエンジン起動の操作を許可してもよい。
本実施形態では、乗員状態取得部115は、乗員の状態情報を取得する。制御部114は、取得された状態情報に応じて、被制御機器150を制御することができる。制御部114は、例えば、大人が子供を見ており、子供が大人の監督下にある場合に、子供による被制御機器150の操作を許可することができる。また、制御部114は、大人が子供を見ていない場合には、子供による被制御機器150の操作を制限することができる。このように、本実施形態では、大人が子供を見ているときに、子供に被制御機器150を操作させることできる。他の効果は、第1実施形態で説明した効果と同様でよい。
続いて、本開示の第3実施形態を説明する。図7は、本開示の第3実施形態に係る機器操作制御システムを示す。本実施形態に係る機器操作制御システム100bにおいて、機器操作制御装置110aは、図2に示される第1実施形態で説明した機器操作制御装置110の構成に加えて、車両情報取得部116を有する。本実施形態において、機器操作制御装置110bは、図5に示される第2実施形態における機器操作制御装置110aと同様に、乗員状態取得部115を有していてもよい。
車両情報取得部(車両情報取得手段)116は、車両情報を取得する。車両情報は、車両が運転中か否かを示す情報、シフトポジションを示す情報、及びパーキングブレーキの作動状況情報を含み得る。車両情報は、車両の位置情報を含んでいてもよい。車両情報取得部116は、例えばCAN(Controller Area Network)などの車内ネットワークを介して、車両を制御するECU(Electronic Control Unit)などの機器から、車両情報を取得してもよい。
本実施形態において、制御部114は、乗員の位置及び属性に加えて、車両情報を用いて、被制御機器150を制御する。制御部114は、例えば車両情報に基づいて、車両が運転中(走行中)であるか否かを判断してもよい。制御部114は、車両の位置情報に基づいて、車両が駐車場、サービスエリア、パーキングエリアなどに駐車中であるか否かを判断してもよい。制御部114は、車両が運転中か否か、或いは駐車中であるか否かに応じて、被制御機器150の操作の可否を決定してもよい。
図8は、車両状態情報に応じた被制御機器の操作の可否の一例を示す。図8に示される例は、属性が「子供」の場合の例である。図8の例において、制御部114は、車両が運転中の場合、パワーウィンドウ、エンジン、及びパーキングブレーキの操作を制限する。制御部114は、シフトポジションがPで、かつパーキングブレーキがON(パーキングブレーキが作動中)の場合、パワーウィンドウ、及びエンジンの操作は許可するが、パーキングブレーキの操作は制限する。制御部114は、シフトポジションがPで、かつパーキングブレーキがOFFの場合、パワーウィンドウ、及びパーキングブレーキの操作は許可するが、エンジンの操作は制限する。制御部114は、上記に加えて、車両の運転中に、運転者がスマートホンなどのユーザ機器の所定の機能、例えば画面表示の機能を制限してもよい。
本実施形態では、車両情報取得部116は、車両情報を取得する。制御部114は、取得された車両情報に応じて、被制御機器150を制御することができる。制御部114は、例えば、車両が運転中であるか否かや、シフトポジションなどに応じて、乗員による被制御機器150の操作の可否を決定することができる。このようにすることで、制御部114は、例えば、車両が運転中の場合と、運転中ではない場合とで、被制御機器150に対する制御を変えることができる。制御部114は、例えば車両の運転中に、子供による運転に関係する被制御機器150の操作を禁止する。このようにすることで、車両における安全性を高めることができる。他の効果は、第1実施形態又は第2実施形態で説明した効果と同様でよい。
続いて、機器操作制御装置110のハードウェア構成を説明する。図9は、機器操作制御装置110のハードウェア構成を示す。機器操作制御装置110は、プロセッサ(CPU:Central Processing Unit)501、ROM(read only memory)502、及びRAM(random access memory)503を有する。機器操作制御装置110において、プロセッサ501、ROM502、及びRAM503は、バス504を介して相互に接続される。機器操作制御装置110は、図示は省略するが、周辺回路、通信回路、及びインタフェース回路などの他の回路を含み得る。
ROM502は、不揮発性の記憶装置である。ROM502には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。ROM502は、プロセッサ501が実行するプログラムを格納する。
上記プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、RAM、ROM、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、Compact Disc (CD)、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
RAM503は、揮発性の記憶装置である。RAM503には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM503は、データなどを一時的に格納する内部バッファとして用いられ得る。
プロセッサ501は、ROM502に格納されたプログラムをRAM503に展開し、プログラムを実行する。CPU501がプログラムを実行することで、機器操作制御装置110内の各部の機能が実現され得る。
なお、機器操作制御装置110は、必ずしも単一の装置である必要はない。機器操作制御装置110は、物理的に分離された複数の装置を用いて構成されていてもよい。また、機器操作制御装置110は、車両において被制御機器150を制御できればよく、必ずしも全ての機能が車両に搭載されている必要はない。例えば、機器操作制御装置110において、属性特定部113は車両の外部に配置されていてもよい。その場合、属性特定部113は、無線通信ネットワークを介して、乗員検知部111から検知された乗員の顔画像を受信してもよい。また、属性特定部113は、特定した乗員の属性を、無線通信ネットワークを介して制御部114に送信してもよい。
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、
前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定する属性特定手段と、
前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを備える機器操作制御装置。
[付記2]
前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、付記1に記載の機器操作制御装置。
[付記3]
前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、付記1又は2に記載の機器操作制御装置。
[付記4]
前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
前記制御手段は、前記乗車位置と、前記乗員が大人であるか、又は子供であるかとに応じて、前記乗員による前記機器の操作の可否を決定する、付記1から3何れか1項に記載の機器操作制御装置。
[付記5]
前記映像に基づいて、前記乗員の状態情報を取得する乗員状態取得手段を更に有し、
前記制御手段は、更に前記状態情報に応じて前記機器を制御する、付記1から3何れか1項に記載の機器操作制御装置。
[付記6]
前記乗員状態取得手段は、前記乗員の顔の向き又は視線方向を、前記状態情報として取得する、付記5に記載の機器操作制御装置。
[付記7]
前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
前記制御手段は、複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、付記6に記載の機器操作制御装置。
[付記8]
前記車両の車両情報を取得する車両情報取得手段を更に有し、
前記制御手段は、更に前記車両情報に応じて前記機器を制御する、付記1から7何れか1項に記載の機器操作制御装置。
[付記9]
車両の内部を撮影するカメラと、
前記車両の内部において機器を制御する機器操作制御装置とを備え、
前記機器操作制御装置は、
前記車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、
前記カメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定する属性特定手段と、
前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを有する、機器操作制御システム。
[付記10]
前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、付記9に記載の機器操作制御システム。
[付記11]
前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、付記9又は10に記載の機器操作制御システム。
[付記12]
車両に乗車する1以上の乗員それぞれの乗車位置を特定し、
前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定し、
前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを有する機器操作制御方法。
[付記13]
車両に乗車する1以上の乗員それぞれの乗車位置を特定し、
前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれの属性を特定し、
前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御することを含む処理を、プロセッサに実行させるためのプログラムを記憶する非一時的なコンピュータ可読媒体。
10:機器操作制御システム
20:機器操作制御装置
21:位置特定手段
22:属性特定手段
23:制御手段
30:カメラ
50:機器
100:機器操作制御システム
110:機器操作制御装置
111:乗員検知部
112:位置特定部
113:属性特定部
114:制御部
115:乗員状態取得部
116:車両情報取得部
130:カメラ
150:被制御機器
501:プロセッサ
502:ROM
503:RAM

Claims (9)

  1. 車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、
    前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれについて、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定する属性特定手段と、
    前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御する制御手段とを備え
    前記制御手段は、複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、機器操作制御装置。
  2. 前記制御手段は、前記特定された乗車位置及び属性に応じて、前記乗員による前記機器の操作の可否を決定する、請求項1に記載の機器操作制御装置。
  3. 前記属性特定手段は、前記乗員の年齢を推定し、該推定した年齢に応じて前記乗員の属性を特定する、請求項1又は2に記載の機器操作制御装置。
  4. 前記属性特定手段は、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
    前記制御手段は、前記乗車位置と、前記乗員が大人であるか、又は子供であるかとに応じて、前記乗員による前記機器の操作の可否を決定する、請求項1から3何れか1項に記載の機器操作制御装置。
  5. 前記映像に基づいて、前記乗員の状態情報を取得する乗員状態取得手段を更に有し、
    前記制御手段は、更に前記状態情報に応じて前記機器を制御する、請求項1から3何れか1項に記載の機器操作制御装置。
  6. 前記乗員状態取得手段は、前記乗員の顔の向き又は視線方向を、前記状態情報として取得する、請求項5に記載の機器操作制御装置。
  7. 車両の内部を撮影するカメラと、
    前記車両の内部において機器を制御する機器操作制御装置とを備え、
    前記機器操作制御装置は、
    前記車両に乗車する1以上の乗員それぞれの乗車位置を特定する位置特定手段と、
    前記カメラが撮影した映像から、前記1以上の乗員それぞれについて、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定する属性特定手段と、
    前記特定された乗車位置及び属性に応じて、前記機器を制御する制御手段とを有し、
    前記制御手段は、複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、機器操作制御システム。
  8. 車両に乗車する1以上の乗員それぞれの乗車位置を特定し、
    前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれについて、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
    前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御し、
    複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定する、機器操作制御方法。
  9. 車両に乗車する1以上の乗員それぞれの乗車位置を特定し、
    前記車両の内部を撮影するカメラが撮影した映像から、前記1以上の乗員それぞれについて、前記乗員が大人であるか、又は子供であるかを、前記乗員の属性として特定し、
    前記特定された乗車位置及び属性に応じて、前記車両の内部において機器を制御し、
    複数の乗員が前記車両に乗車している場合、前記乗員の顔の向き又は視線方向に基づいて、大人と特定された乗員が子供と特定された乗員を見ているか否かを判断し、前記大人と特定された乗員が前記子供と特定された乗員を見ているか否かに応じて、前記子供と特定された乗員による前記機器の操作の可否を決定することを含む処理をプロセッサに実行させるためのプログラム。
JP2023572300A 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びプログラム Active JP7772094B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/000283 WO2023132041A1 (ja) 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2023132041A1 JPWO2023132041A1 (ja) 2023-07-13
JPWO2023132041A5 JPWO2023132041A5 (ja) 2024-09-06
JP7772094B2 true JP7772094B2 (ja) 2025-11-18

Family

ID=87073442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023572300A Active JP7772094B2 (ja) 2022-01-06 2022-01-06 機器操作制御システム、装置、方法、及びプログラム

Country Status (5)

Country Link
US (1) US20250058730A1 (ja)
JP (1) JP7772094B2 (ja)
CN (1) CN118451008A (ja)
DE (1) DE112022006317T5 (ja)
WO (1) WO2023132041A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2025077777A (ja) * 2023-11-07 2025-05-19 トヨタ自動車株式会社 情報処理装置
CN119928680A (zh) * 2025-03-19 2025-05-06 浙江极氪智能科技有限公司 座舱控制器的调节方法、车辆、存储介质及计算机产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007118626A (ja) 2005-10-24 2007-05-17 Denso Corp 車載用電子機器制御システム
JP2020087207A (ja) 2018-11-29 2020-06-04 株式会社デンソー 入力装置
JP2021102357A (ja) 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10315906A (ja) * 1997-05-21 1998-12-02 Zexel Corp 乗員認識方法と乗員認識装置及びエアバック制御方法とエアバック装置
JP2012236444A (ja) 2011-05-10 2012-12-06 Honda Motor Co Ltd 制御装置及び制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007118626A (ja) 2005-10-24 2007-05-17 Denso Corp 車載用電子機器制御システム
JP2020087207A (ja) 2018-11-29 2020-06-04 株式会社デンソー 入力装置
JP2021102357A (ja) 2019-12-24 2021-07-15 トヨタ自動車株式会社 車載機器操作装置

Also Published As

Publication number Publication date
DE112022006317T5 (de) 2024-11-14
WO2023132041A1 (ja) 2023-07-13
CN118451008A (zh) 2024-08-06
US20250058730A1 (en) 2025-02-20
JPWO2023132041A1 (ja) 2023-07-13

Similar Documents

Publication Publication Date Title
RU2657597C2 (ru) Система обнаружения и идентификации присутствия пассажира в транспортном средстве
EP3060434B1 (en) Responding to in-vehicle environmental conditions
JP7772094B2 (ja) 機器操作制御システム、装置、方法、及びプログラム
JP7109649B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
JP7275262B2 (ja) 車両運転権限移転方法および装置
US11648955B2 (en) Voice assistant system
US20230093168A1 (en) Vehicle for disabling autonomous driving and and method of controlling the same
US12441344B2 (en) Eco-friendly vehicle and method of controlling the same
JP2021078033A (ja) 情報処理装置、情報処理方法、およびプログラム
CN119459587B (zh) 车辆数字钥匙的控制方法、电子设备及车辆
US20250029473A1 (en) Abnormality detection system and abnormality detection method
WO2025200341A1 (zh) 一种车辆控制方法、装置、介质及电子设备
JP2022143854A (ja) 乗員状態判定装置および乗員状態判定方法
KR20230106521A (ko) 차량 기능을 실행하기 위한 시스템 및 방법
JP7740388B2 (ja) 通報システム、装置、方法、及びプログラム
CN115179874A (zh) 一种车载屏幕自动关闭方法及装置
JP7351253B2 (ja) 許否決定装置
KR102299495B1 (ko) 자율주행 경고 장치, 그를 포함한 시스템 및 그 방법
WO2020188788A1 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
EP4481702A1 (en) Drive video record system and method of controlling the same
US20250162539A1 (en) Occupant authentication apparatus, occupant authentication method, and computer-readable medium
WO2021229705A1 (ja) 走行支援装置および走行支援方法
US12559127B2 (en) Vehicle notification system
US20250148798A1 (en) Method of providing image of event occuring to vehicle and system implementing the same
CN117485326A (zh) 车辆的控制方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251020

R150 Certificate of patent or registration of utility model

Ref document number: 7772094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150