JP7062930B2

JP7062930B2 - 制御装置およびプログラム

Info

Publication number: JP7062930B2
Application number: JP2017232046A
Authority: JP
Inventors: 孝輔鬼頭; 拓郎押田; 紀宇野; 聡毛利; 真吾藤本
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2017-12-01
Filing date: 2017-12-01
Publication date: 2022-05-09
Anticipated expiration: 2037-12-01
Also published as: JP2019098932A; US20190169917A1; US11105141B2; DE102018127819A1; CN109871734A

Description

本発明は、制御装置およびプログラムに関する。

従来、例えばパワーウィンドウなどの車両の開閉部材による異物の挟み込みを検出可能な技術が知られている。例えば特許文献１には、撮影手段により撮影された画像データに映り込んだ輝度から求まる特徴量を基に、ウィンドウによる異物の挟み込みが発生するか否かを検出する技術が開示されている。

特開２００７－１８６９１５号公報

上記従来技術では、画像データの輝度に基づいて、オブジェクト（窓等）の輪郭を抽出し、抽出した輪郭の変化量や面積を特徴量として異物の挟み込みが発生するか否かを検出しているが、抽出された輪郭の誤差が大きい場合は、車両の開閉部材による異物の挟み込みが発生するか否かを精度良く検出することができないため、挟み込みを十分に防止することは困難であるという問題があった。

本発明の実施形態にかかる制御装置は、例えば、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の身体から抽出された特徴点から前記乗員の所定部位の特徴点である基準位置を検出する検出部と、車両に設けられ、かつ、開閉可能な開閉部材の閉動作中において、前記検出部により検出された前記基準位置の座標値が閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う制御部と、を備える制御装置である。この構成によれば、開閉部材による所定部位の挟み込みが発生するか否かを精度良く検出することができ、開閉部材による所定部位の挟み込みを十分に防止できる。

また、実施形態にかかる制御装置は、例えば、前記閾値は第１の閾値を含み、前記制御部は、前記基準位置の上下方向の座標値が一定時間にわたって前記第１の閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う。この構成によれば、開閉部材による異物の挟み込みが発生することを高い精度で検出でき、開閉部材による所定部位の挟み込みを十分に防止できる。

また、実施形態にかかる制御装置は、例えば、前記制御部は、前記開閉部材の閉動作を中断した後に、前記基準位置の上下方向の座標値が前記第１の閾値以下となる状態が一定時間にわたって継続した場合は、前記開閉部材の動作を再開する制御を行う。この構成によれば、開閉部材による所定部位の挟み込みのおそれが解消された場合には開閉部材の閉動作を再開させるので、乗員による再度の操作入力（指示入力）を要せずに開閉部材の閉動作を完了させることができる。

また、実施形態にかかる制御装置は、例えば、前記所定部位は乗員の手であり、前記開閉部材はサンルーフである。この構成によれば、サンルーフによる乗員の手の挟み込みが発生するか否かを精度良く検出することができ、サンルーフによる乗員の手の挟み込みを十分に防止できる。

また、実施形態にかかる制御装置は、例えば、前記閾値は第２の閾値を含み、前記制御部は、前記基準位置の左右方向の座標値が一定時間にわたって前記第２の閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う。この構成によれば、開閉部材による異物の挟み込みが発生することを高い精度で検出でき、開閉部材による所定部位の挟み込みを十分に防止できる。

また、実施形態にかかる制御装置は、例えば、前記開閉部材の閉動作を中断した後に、前記基準位置の左右方向の座標値が前記第２の閾値以下となる状態が一定時間にわたって継続した場合は、前記開閉部材の動作を再開する制御を行う。この構成によれば、開閉部材による所定部位の挟み込みのおそれが解消された場合には開閉部材の閉動作を再開させるので、乗員による再度の操作入力（指示入力）を要せずに開閉部材の閉動作を完了させることができる。

また、実施形態にかかる制御装置は、例えば、前記所定部位は乗員の手であり、前記開閉部材は、スライドドアまたはパワーウィンドウである。この構成によれば、スライドドアまたはパワーウィンドウによる乗員の手の挟み込みが発生するか否かを精度良く検出することができ、スライドドアまたはパワーウィンドウによる乗員の手の挟み込みを十分に防止できる。

また、実施形態にかかるプログラムは、例えば、コンピュータに、車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の身体から抽出された特徴点から前記乗員の所定部位の特徴点である基準位置を検出する検出ステップと、車両に設けられ、かつ、開閉可能な開閉部材の閉動作中において、前記検出ステップにより検出された前記基準位置の座標値が閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う制御ステップと、を実行させるためのプログラムである。

図１は、実施形態の情報処理システムの概略構成を示す図である。図２は、画像処理装置のハードウェア構成の一例を示す図である。図３は、画像処理装置が有する機能の一例を示す図である。図４は、骨格情報の一例を示す図である。図５は、対応情報の一例を示す図である。図６は、「ＯＰＥＮ」コマンドに対応する動作の一例を示す図である。図７は、「ＣＬＯＳＥ」コマンドに対応する動作の一例を示す図である。図８は、「ＰＡＵＳＥ」コマンドに対応する動作の一例を示す図である。図９は、サンルーフによる乗員の手の挟み込みを説明するための図である。図１０は、第１の実施形態の制御部による制御を説明するための図である。図１１は、第１の実施形態の画像処理装置の動作例を示すフローチャートである。図１２は、第２の実施形態の制御部による制御を説明するための図である。図１３は、第２の実施形態の画像処理装置の動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る制御装置およびプログラムの実施形態を詳細に説明する。

（第１の実施形態）
図１は、エンジンまたはモータ等の駆動源を有する自動車などの車両に搭載される情報処理システム１００の概略構成を示す図である。本実施形態では、車両の乗員が、何れかのコマンドに対応する動作（ジェスチャ）を行うことにより、該コマンドが自動的に実行される構成であることを前提とする。例えば乗員が、開閉可能なサンルーフ（「車両に設けられ、かつ、開閉可能な開閉部材」の一例）の開動作／閉動作を指示するためのコマンドに対応する動作を行うと、該コマンドが自動的に実行されることになる。ただし、これに限らず、例えばジェスチャ認識を必要とせずにサンルーフの開閉制御が行われる形態であってもよい。例えばサンルーフの開閉指示を受け付けるための操作部（例えばボタン等）が設けられ、操作部で受け付けた指示に従って、サンルーフの開閉動作が自動的に行われる形態であってもよい。

図１に示すように、情報処理システム１００は、撮像部１０と、画像処理装置２０と、車両制御装置３０と、を備える。

撮像部１０は、車内を撮像する装置である。例えば撮像部１０はカメラで構成される。この例では、撮像部１０は、所定のフレームレートで連続的に撮像を行う。撮像部１０により撮像された画像（以下、「撮像画像」と称する場合がある）は画像処理装置２０へ入力される。

画像処理装置２０は、撮像部１０から入力された撮像画像に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定し、その判定結果が肯定の場合は、出力を許可するコマンドを示す情報（コマンド情報）を車両制御装置３０へ出力する。また、画像処理装置２０は、サンルーフの閉動作中に、乗員の所定部位の挟み込みが発生するか否かを検出し、乗員の所定部位の挟み込みが発生することを検出した場合は、サンルーフの閉動作を中断する制御を行う。ここでは、画像処理装置２０は「制御装置」の一例である。画像処理装置２０の具体的な構成については後述する。

車両制御装置３０は、画像処理装置２０から入力されたコマンド情報が示すコマンドに従って、車両の各部を制御する。

以下、本実施形態の画像処理装置２０の具体的な構成について説明する。図２は、画像処理装置２０のハードウェア構成の一例を示す図である。図２に示すように、画像処理装置２０は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部Ｉ／Ｆ２０４を備える。この例では、画像処理装置２０は、通常のコンピュータと同様のハードウェア構成を有している。なお、画像処理装置２０が有するハードウェア要素は図２に例示したハードウェア要素に限られるものではなく、これ以外のハードウェア要素をさらに備える形態であっても構わない。

ＣＰＵ２０１は、プログラムを実行することにより、画像処理装置２０の動作を統括的に制御し、画像処理装置２０が有する各種の機能を実現する。画像処理装置２０が有する各種の機能については後述する。

ＲＯＭ２０２は、不揮発性のメモリであり、画像処理装置２０を起動させるためのプログラムを含む各種データを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の作業領域を有する揮発性のメモリである。

外部Ｉ／Ｆ２０４は、外部機器と接続するためのインタフェースである。例えば外部Ｉ／Ｆ２０４として、撮像部１０と接続するためのインタフェースと、車両制御装置３０と接続するためのインタフェースとが設けられる。

図３は、画像処理装置２０が有する機能の一例を示す図である。なお、図３の例では、本発明に関する機能のみを例示しているが、画像処理装置２０が有する機能はこれらに限られるものではない。

図３に示すように、画像処理装置２０は、取得部２１１、認識部２１２、判定部２１３、コマンド出力部２１４、検出部２１５、制御部２１６を有する。この例では、ＣＰＵ２０１が、ＲＯＭ２０２等の記憶装置に記憶されたプログラムを実行することにより、取得部２１１、認識部２１２、判定部２１３、コマンド出力部２１４、検出部２１５、制御部２１６の各々の機能が実現される。ただし、これに限らず、例えば取得部２１１、認識部２１２、判定部２１３、コマンド出力部２１４、検出部２１５、制御部２１６のうちの少なくとも一部が専用のハードウェア回路で構成される形態であってもよい。

取得部２１１は、撮像部１０から撮像画像を取得する。取得部２１１は、撮像部１０による撮像が行われるたびに、その撮像で得られた撮像画像を取得する。

認識部２１２は、取得部２１１により取得された撮像画像（撮像部１０により撮像された撮像画像）に基づいて、乗員の動作を認識する。この例では、乗員の動作は手を用いた動作であるが、これに限られるものではない。

撮像画像に基づいて、乗員の動作を認識する方法については公知の様々な技術を利用可能である。例えば特願２０１７－１８２７４８号に開示された技術を利用する形態であってもよい。本実施形態では、認識部２１２は、撮像画像に映り込んだ乗員の身体（上半身）の各部の関節（特徴点）を抽出して骨格情報（スケルトンデータ）を生成する。そして、認識部２１２は、その生成した骨格情報に基づいて、乗員の動作を認識する。

図４は、本実施形態の骨格情報の一例を示す図である。各特徴点はｘ方向（水平方向）の座標の値とｙ方向（上下方向）の座標の値との組み合わせ（二元の座標情報）で表される。図４の例では、骨格情報の特徴点として、頭部に対応する特徴点Ｐ１（ｘ１，ｙ１）、首に対応する特徴点Ｐ２（ｘ２，ｙ２）、右肩に対応する特徴点Ｐ３（ｘ３，ｙ３）、右肘に対応する特徴点Ｐ４（ｘ４，ｙ４）、右手首に対応する特徴点Ｐ５（ｘ５，ｙ５）、右手の中心点に対応する特徴点Ｐ６（ｘ６，ｙ６）、右手の親指に対応する特徴点Ｐ７（ｘ７，ｙ７）、右手の中指に対応する特徴点Ｐ８（ｘ８，ｙ８）、左肩に対応する特徴点Ｐ９（ｘ９，ｙ９）、左肘に対応する特徴点Ｐ１０（ｘ１０，ｙ１０）、左手首に対応する特徴点Ｐ１１（ｘ１１，ｙ１１）、左手の中心点に対応する特徴点Ｐ１２（ｘ１２，ｙ１２）、左手の親指に対応する特徴点Ｐ１３（ｘ１３，ｙ１３）、左手の中指に対応する特徴点Ｐ１４（ｘ１４，ｙ１４）、右腰に対応する特徴点Ｐ１５（ｘ１５，ｙ１５）、左腰に対応する特徴点Ｐ１６（ｘ１６，ｙ１６）が挙げられているが、これに限られるものではない。

図３に戻って説明を続ける。判定部２１３は、認識部２１２により認識された乗員の動作に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。本実施形態では、判定部２１３は、コマンドと動作とを対応付けた対応情報に基づいて、何れかのコマンドに対応する動作が行われたか否かを判定する。より具体的には、判定部２１３は、対応情報に含まれる動作の中に、認識部２１２により認識された乗員の動作と一致する動作が存在する場合は、該動作に対応付けられたコマンドを特定し、その特定したコマンドに対応する動作が行われたと判定する。

図５は、対応情報の一例を示す図である。対応情報は、画像処理装置２０内のメモリ（例えばＲＯＭ２０２等）に記憶されてもよいし、画像処理装置２０外のメモリに記憶されてもよい。図５の例では、サンルーフの制御に関するコマンドが例示されているが、コマンドの種類はこれに限られるものではない。

図５において、「ＯＰＥＮ」と表されたコマンドは、サンルーフを開けることを指示するコマンドであり、「ＣＬＯＳＥ」と表されたコマンドは、サンルーフを閉めることを指示するコマンドであり、「ＰＡＵＳＥ」と表されたコマンドは、サンルーフの開閉動作を停止（中断）することを指示するコマンドである。

図６に示すように、コマンド「ＯＰＥＮ」に対しては、手をサンルーフの開方向に移動させることを示す動作が対応付けられている。また、図７に示すように、コマンド「ＣＬＯＳＥ」に対しては、手をサンルーフの閉方向に移動させることを示す動作が対応付けられている。図８に示すように、コマンド「ＰＡＵＳＥ」に対しては、握った手を上げることを示す動作が対応付けられている。なお、各コマンドに対応する動作については任意に設定可能であり、これらに限られるものではない。

以上のようにして、判定部２１３は、何れかのコマンドに対応する動作が行われたか否かを判定し、その判定結果をコマンド出力部２１４へ入力する。

図３に示すコマンド出力部２１４は、対応する動作が行われたと判定されたコマンドを示すコマンド情報を車両制御装置３０へ出力する。

ここで、コマンド出力部２１４によって、コマンド「ＣＬＯＳＥ」を示すコマンド情報が車両制御装置３０へ出力されると、車両制御装置３０はサンルーフを閉動作させる。このとき、例えば図９に示すように、後部座席の乗員が車外に手を伸ばしていた場合は、閉動作が継続すればサンルーフによる乗員の手の挟み込みが発生してしまう。

そこで、本実施形態の画像処理装置２０は、車内を撮像する撮像部１０により撮像された撮像画像に基づいて、乗員の所定部位（この例では「乗員の手」）のうち基準となる位置を示す基準位置を検出し、サンルーフの閉動作中において、撮像画像に基づいて検出された基準位置の座標値が閾値を超えた場合は、サンルーフの閉動作を中断する制御を行う。これは、図３に示す検出部２１５および制御部２１６の機能に相当する。以下、図３に示す検出部２１５および制御部２１６の各々の機能を説明する。

検出部２１５は、撮像部１０により撮像された撮像画像（取得部２１１により取得された撮像画像）に基づいて、乗員の所定部位のうち基準となる位置を示す基準位置を検出する。この例では、所定部位は乗員の手であるが、これに限らず、例えば乗員の頭部であってもよい。また、この例では、基準位置は手の中心点であるが、これに限らず、例えば乗員の手の中指等であってもよい。さらに、ここでは、乗員は、車内の全ての乗員（運転手、助手席の乗員、後部座席の乗員）が対象になるので、撮像部１０は、車内の全ての乗員が撮像されるように設置（視野角及び姿勢が調整）されていることを前提とする。

この例では、検出部２１５は、後述の制御部２１６からの指示に従って、基準位置の検出を行い、その検出結果を制御部２１６へ通知する。基準位置の検出方法は任意であるが、例えば検出部２１５は、取得部２１１により取得された撮像画像から、該撮像画像に写り込んだ乗員ごとに上述の骨格情報を生成し、その生成した乗員ごとの骨格情報に基づいて、該乗員の手の中心点の位置を基準位置として検出することができる。ここでは、認識部２１２および検出部２１５は別々に設けられているが、例えば認識部２１２と検出部２１５が共通のモジュールとして構成される形態（例えば認識部２１２が検出部２１５の機能を兼ねる形態）であってもよい。

制御部２１６は、サンルーフの閉動作中において、検出部２１５により検出された基準位置の座標値が閾値を超えた場合は、サンルーフの閉動作を中断する制御を行う。より具体的には、図１０に示すように、制御部２１６は、基準位置（この例では乗員の手の中心点）の上下方向の座標値ｙ_０が一定時間にわたって第１の閾値ｙ_ｔｈ（上記閾値の一態様）を超えた場合は、サンルーフの閉動作を中断する制御を行う。ここでは、第１の閾値ｙ_ｔｈはサンルーフによる乗員の手の挟み込みが発生することを判断可能な上下方向の座標値であり、乗員の手の中心点の上下方向の座標値ｙ_０が第１の閾値ｙ_ｔｈよりも大きい場合は、サンルーフによる乗員の手の挟み込みが発生すると判断することができる。

上述のサンルーフの閉動作を中断する制御の一例として、制御部２１６は、サンルーフの閉動作を中断することを指示するコマンドを示すコマンド情報を車両制御装置３０へ送信してもよい。車両制御装置３０は、制御部２１６から受信したコマンド情報が示すコマンドを実行することで、サンルーフの閉動作を中断させることができる。

また、この例では、コマンド出力部２１４は、「ＣＬＯＳＥ」コマンドを示すコマンド情報を車両制御装置３０へ出力する場合、その旨を制御部２１６へ通知する。この通知を受けた制御部２１６は、サンルーフが閉動作中であると認識し、検出部２１５に対して、基準位置の検出を要求する。この要求を受けた検出部２１５は、取得部２１１により取得された撮像画像に基づいて基準位置を検出し、その検出結果を制御部２１６へ送信する。そして、制御部２１６は、撮像画像に基づいて検出された基準位置の上下方向の座標値ｙ_０と、予め定められた第１の閾値ｙ_ｔｈとの関係から、サンルーフの閉動作を中断する制御を行うか否かを決めることになる。なお、この例では、コマンド出力部２１４および制御部２１６は別々に設けられているが、これに限らず、例えばコマンド出力部２１４と制御部２１６が共通のモジュールとして構成される形態（例えばコマンド出力部２１４が制御部２１６の機能を兼ねる形態）であってもよい。

本実施形態によれば、撮像画像から基準位置を抽出するだけで、その抽出した基準位置の上下方向の座標値ｙ_０と、予め定められた第１の閾値ｙ_ｔｈとの大小関係からサンルーフによる乗員の手の挟み込みが発生するか否かを判定できるので、従来のように撮像画像に写り込んだ窓枠等のオブジェクト全体の輪郭を抽出する処理は不要となる。また、従来のように撮像画像からオブジェクト全体の輪郭を抽出する場合に比べて、本実施形態のように撮像画像から基準位置１点を抽出する場合の方が画像認識処理の過程で生じる誤差は小さいので、結果として、例えばサンルーフなどの車両の上下方向に設けられる開閉部材による乗員の手の挟み込みが発生するか否かの判定精度を向上させることができる。

また、制御部２１６は、サンルーフの閉動作を中断した後に、基準位置の上下方向の座標値ｙ_０が第１の閾値ｙ_ｔｈ以下となる状態が一定時間にわたって継続した場合は、サンルーフの閉動作を再開する制御を行う。例えば制御部２１６は、サンルーフの閉動作を再開することを指示するコマンドを示すコマンド情報を車両制御装置３０へ送信してもよい。車両制御装置３０は、制御部２１６から受信したコマンド情報が示すコマンドを実行することで、サンルーフの閉動作を再開させることができる。この例では、サンルーフによる乗員の手の挟み込みのおそれが解消された場合にはサンルーフの閉動作を再開させるので、乗員による再度の操作入力（指示入力）を要せずにサンルーフの閉動作を完了させることができる。

図１１は、サンルーフの閉動作中における本実施形態の画像処理装置２０の動作例を示すフローチャートである。各ステップの具体的な内容については上述したとおりであるので、詳細な説明は適宜に省略する。

図１１に示すように、まず検出部２１５は、取得部２１１により取得された撮像画像に基づいて、基準位置（この例では乗員の手の中心点）を検出する（ステップＳ１）。次に、制御部２１６は、ステップＳ１で検出された基準位置の上下方向の座標値ｙ_０が第１の閾値ｙ_ｔｈよりも大きいか否かを判定する（ステップＳ２）。

ステップＳ２の結果が肯定の場合（ステップＳ２：Ｙｅｓ）、制御部２１６は、基準位置の上下方向の座標値ｙ_０が第１の閾値ｙ_ｔｈよりも大きい状態が一定時間にわたって継続したか否かを判定する（ステップＳ３）。ステップＳ３の結果が否定の場合（ステップＳ３：Ｎｏ）、ステップＳ１以降の処理が繰り返される。一方、ステップＳ３の結果が肯定の場合（ステップＳ３：Ｙｅｓ）、制御部２１６は、サンルーフの閉動作を中断する制御を行う（ステップＳ４）。

以上に説明したように、本実施形態では、サンルーフの閉動作中において、車内を撮像する撮像部１０により撮像された撮像画像に基づいて検出された乗員の所定部位の基準位置（この例では乗員の手の中心点）の上下方向の座標値ｙ_０が一定時間にわたって第１の閾値ｙ_ｔｈを超えた場合は、サンルーフの閉動作を中断する制御を行う。これにより、サンルーフによる乗員の手の挟み込みが発生するか否かを精度良く検出することができ、サンルーフによる乗員の手の挟み込みを十分に防止できる。

（第２の実施形態）
次に、第２の実施形態を説明する。上述の第１の実施形態と共通する部分については適宜に説明を省略する。上述の第１の実施形態では、開閉部材として、車両の上下方向に設けられる部材（例えばサンルーフ）を想定していたが、本実施形態では、開閉部材として、車両の左右方向に設けられる部材を想定しており、例えばスライドドアまたはパワーウィンドウなどを想定している点で相異する。以下の説明では、開閉部材としてスライドドアを例に挙げて説明するが、これに限られるものではない。ここでは、制御部２１６が有する機能以外の構成は上述の第１の実施形態と同様であるので、詳細な説明は省略する。

上述の第１の実施形態と同様に、制御部２１６の基本的な機能は、開閉可能な開閉部材の閉動作中において、検出部２１５により検出された基準位置の座標値が閾値を超えた場合は、開閉部材の閉動作を中断する制御を行うことである。この例では、開閉部材はスライドドアであり、所定部位は乗員の手であり、基準位置は乗員の手の中心点であるが、これらに限られるものではない。

図１２に示すように、本実施形態の制御部２１６は、スライドドアの閉動作中において、乗員の手の中心点の左右方向の座標値ｘ_０が一定時間にわたって第２の閾値ｘ_ｔｈ（上記閾値の一態様）を超えた場合は、スライドドアの閉動作を中断する制御を行う。ここでは、第２の閾値ｘ_ｔｈはスライドドアによる乗員の手の挟み込みが発生することを判断可能な左右方向の座標値であり、乗員の手の中心点の左右方向の座標値ｘ_０が第２の閾値ｘ_ｔｈよりも大きい場合は、スライドドアによる乗員の手の挟み込みが発生すると判断することができる。

スライドドアの閉動作を中断する制御の一例として、制御部２１６は、スライドドアの閉動作を中断することを指示するコマンドを示すコマンド情報を車両制御装置３０へ送信してもよい。車両制御装置３０は、制御部２１６から受信したコマンド情報が示すコマンドを実行することで、スライドドアの閉動作を中断させることができる。

また、上述の第１の実施形態と同様に、コマンド出力部２１４は、スライドドアの閉動作を指示するコマンドを示すコマンド情報を車両制御装置３０へ出力する場合、その旨を制御部２１６へ通知する。なお、スライドドアの閉動作を指示するコマンドや開動作を指示するコマンドに対応する動作（各コマンドに対して予め定義付けられる動作）は任意に設定可能である。この通知を受けた制御部２１６は、スライドドアが閉動作中であると認識し、検出部２１５に対して、基準位置の検出を要求する。この要求を受けた検出部２１５は、取得部２１１により取得された撮像画像に基づいて基準位置を検出し、その検出結果を制御部２１６へ送信する。そして、制御部２１６は、撮像画像に基づいて検出された基準位置の左右方向の座標値ｘ_０と、予め定められた第２の閾値ｘ_ｔｈとの関係から、スライドドアの閉動作を中断する制御を行うか否かを決めることになる。

本実施形態によれば、撮像画像から基準位置を抽出するだけで、その抽出した基準位置の左右方向の座標値ｘ_０と、予め定められた第２の閾値ｘ_ｔｈとの大小関係からスライドドアによる乗員の手の挟み込みが発生するか否かを判定できるので、従来のように撮像画像に写り込んだ窓枠等のオブジェクト全体の輪郭を抽出する処理は不要となる。また、従来のように撮像画像からオブジェクト全体の輪郭を抽出する場合に比べて、本実施形態のように撮像画像から基準位置１点を抽出する場合の方が画像認識処理の過程で生じる誤差は小さいので、結果として、例えばスライドドアなどの車両の左右方向に設けられる開閉部材による乗員の手の挟み込みが発生するか否かの判定精度を向上させることができる。

また、制御部２１６は、スライドドアの閉動作を中断した後に、基準位置の左右方向の座標値ｘ_０が第２の閾値ｘ_ｔｈ以下となる状態が一定時間にわたって継続した場合は、スライドドアの閉動作を再開する制御を行う。例えば制御部２１６は、スライドドアの閉動作を再開することを指示するコマンドを示すコマンド情報を車両制御装置３０へ送信してもよい。車両制御装置３０は、制御部２１６から受信したコマンド情報が示すコマンドを実行することで、スライドドアの閉動作を再開させることができる。この例では、スライドドアによる乗員の手の挟み込みのおそれが解消された場合にはスライドドアの閉動作を再開させるので、乗員による再度の操作入力（指示入力）を要せずにスライドドアの閉動作を完了させることができる。

図１３は、スライドドアの閉動作中における本実施形態の画像処理装置２０の動作例を示すフローチャートである。各ステップの具体的な内容については上述したとおりであるので、詳細な説明は適宜に省略する。

図１３に示すように、まず検出部２１５は、取得部２１１により取得された撮像画像に基づいて、基準位置（この例では乗員の手の中心点）を検出する（ステップＳ１０）。次に、制御部２１６は、ステップＳ１０で検出された基準位置の左右方向の座標値ｘ_０が第２の閾値ｘ_ｔｈよりも大きいか否かを判定する（ステップＳ１１）。

ステップＳ１１の結果が肯定の場合（ステップＳ１１：Ｙｅｓ）、制御部２１６は、基準位置の左右方向の座標値ｘ_０が第２の閾値ｘ_ｔｈよりも大きい状態が一定時間にわたって継続したか否かを判定する（ステップＳ１２）。ステップＳ１２の結果が否定の場合（ステップＳ１２：Ｎｏ）、ステップＳ１０以降の処理が繰り返される。一方、ステップＳ１２の結果が肯定の場合（ステップＳ１２：Ｙｅｓ）、制御部２１６は、スライドドアの閉動作を中断する制御を行う（ステップＳ１３）。

以上に説明したように、本実施形態では、スライドドアの閉動作中において、車内を撮像する撮像部１０により撮像された撮像画像に基づいて検出された乗員の所定部位の基準位置（この例では乗員の手の中心点）の左右方向の座標値ｘ_０が一定時間にわたって第２の閾値ｘ_ｔｈを超えた場合は、スライドドアの閉動作を中断する制御を行う。これにより、スライドドアによる乗員の手の挟み込みが発生するか否かを精度良く検出することができ、スライドドアによる乗員の手の挟み込みを十分に防止できる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の各実施形態および変形例は、任意に組み合わせることができる。

車両に設けられ、かつ、開閉可能な開閉部材の種類は上述の内容に限定されるものではなく、例えばバックドアなどであってもよい。

また、例えば上述の制御部２１６が車両制御装置３０側に搭載される形態であってもよい。この場合は、画像処理装置２０と車両制御装置３０の組み合わせが「制御装置」に相当する。要するに、制御装置は、上述の検出部２１５と制御部２１６とを少なくとも備える形態であればよく、単一の装置で構成されてもよいし、複数の装置で構成（検出部２１５および制御部２１６が複数の装置に分散される構成）されてもよい。

１０撮像部
２０画像処理装置
３０車両制御装置
１００情報処理システム
２０１ＣＰＵ
２０２ＲＯＭ
２０３ＲＡＭ
２０４外部Ｉ／Ｆ
２１１取得部
２１２認識部
２１３判定部
２１４コマンド出力部
２１５検出部
２１６制御部

Claims

車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の身体から抽出された特徴点から前記乗員の所定部位の特徴点である基準位置を検出する検出部と、
車両に設けられ、かつ、開閉可能な開閉部材の閉動作中において、前記検出部により検出された前記基準位置の座標値が閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う制御部と、を備える、
制御装置。
前記閾値は第１の閾値を含み、
前記制御部は、
前記基準位置の上下方向の座標値が一定時間にわたって前記第１の閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う、
請求項１に記載の制御装置。
前記制御部は、
前記開閉部材の閉動作を中断した後に、前記基準位置の上下方向の座標値が前記第１の閾値以下となる状態が一定時間にわたって継続した場合は、前記開閉部材の閉動作を再開する制御を行う、
請求項２に記載の制御装置。
前記所定部位は乗員の手であり、
前記開閉部材はサンルーフである、
請求項２または３に記載の制御装置。
前記閾値は第２の閾値を含み、
前記制御部は、
前記基準位置の左右方向の座標値が一定時間にわたって前記第２の閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う、
請求項１に記載の制御装置。
前記制御部は、
前記開閉部材の閉動作を中断した後に、前記基準位置の左右方向の座標値が前記第２の閾値以下となる状態が一定時間にわたって継続した場合は、前記開閉部材の閉動作を再開する制御を行う、
請求項５に記載の制御装置。
前記所定部位は乗員の手であり、
前記開閉部材は、スライドドアまたはパワーウィンドウである、
請求項６に記載の制御装置。
コンピュータに、
車内を撮像する撮像部により撮像された撮像画像に基づいて、乗員の身体から抽出された特徴点から前記乗員の所定部位の特徴点である基準位置を検出する検出ステップと、
車両に設けられ、かつ、開閉可能な開閉部材の閉動作中において、前記検出ステップにより検出された前記基準位置の座標値が閾値を超えた場合は、前記開閉部材の閉動作を中断する制御を行う制御ステップと、を実行させるためのプログラム。