以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.本開示に係る小物体検出の概要
2.画像処理装置の構成と動作
3.処理速度について
4.変形例
5.コンピュータの構成例
6.応用例
<1.本開示に係る小物体検出の概要>
図1は、本開示に係る技術(本技術)を適用した画像処理装置を示す図である。
図1の画像処理装置10は、撮像装置21により撮像された高解像度画像(動画像)を取得する。画像処理装置10は、取得した高解像度画像から物体(特に小物体)を検出し、その検出結果を表示装置22に出力する。
撮像装置21は、高解像度画像を撮像することが可能なCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサを備えるカメラにより構成される。
表示装置22は、高解像度画像を表示することが可能なLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどにより構成される。表示装置22には、撮像装置21により撮像された高解像度画像に、小物体の検出結果などが重畳して表示される。本技術における画像は、表示装置22に表示される以外にも、画像データとして、例えば図示せぬ記憶装置に記憶されるようにしてもよい。
高解像度画像は、例えば、管制官のいない空港に設けられるリモート管制塔に設置されたカメラにより撮像された画像であったり、ビルや工場、店舗、街中などを遠隔地で監視する遠隔監視装置により得られる画像であったりする。高解像度画像の解像度は、例えば4K解像度とされる。
図2は、高解像度画像の例を示す図である。図2に示される高解像度画像は、リモート管制塔に設置されたカメラにより撮像された画像であり、空港のエプロンに複数の航空機が駐機されている様子が写っている。さらに、図示はしないが、図2の高解像度画像においては、空港の上空に、複数の航空機が飛行している様子も写っている。
従来、4K解像度の高解像度画像において、遠方を飛行している航空機などのような小物体を認識する場合、その小物体の検出から認識までの一連の処理にかかる処理量が増大してしまう。具体的には、高性能のGPU(Graphics Processing Unit)により既存の物体検出手法を用いた場合であっても、4K解像度の高解像度画像において小物体を検出するのに数秒~十数秒要するほどの処理量がかかってしまう。
一方で、高解像度画像を縮小した低解像度画像においては、解像度が低いため、小物体の認識精度が落ちてしまう。
そこで、本技術を適用した画像処理装置においては、高解像度画像における小物体の検出から認識までの一連の処理にかかる処理量を低減することを実現する。具体的には、本開示に係る技術により、4K解像度の高解像度画像において、図3に示されるような12×8,20×10,28×15,34×21,41×23,44×23,54×20画素サイズの小物体の検出から認識にかかる処理量を低減することを実現する。
<2.画像処理装置の構成と動作>
以下では、本技術を適用した画像処理装置10の構成と動作について説明する。
(画像処理装置の構成)
図4は、画像処理装置10の機能構成例を示すブロック図である。
図4の画像処理装置10は、追尾処理部31、中解像度画像取得部32、オブジェクト抽出部33、分類部34、特定部35、重複排除処理部36、認識部37、およびフィルタ処理部38を備えている。画像処理装置10はさらに、低解像度画像取得部39、物体検出部40、フィルタ処理部41、重複排除処理部42を備えている。
追尾処理部31は、撮像装置21から供給される、例えば3840×2160画素の高解像度画像において、後述する認識部37によって認識されたオブジェクトを追尾する。追尾対象となるオブジェクトは、上述したような画素サイズの小物体とされる。追尾処理部31は、例えば3フレーム毎などの所定フレーム毎に、追尾しているオブジェクトの位置の修正を行う。高解像度画像上で追尾されているオブジェクトの領域(以下、オブジェクト領域という)を示す情報は、重複排除処理部に36に供給される。オブジェクト領域を示す情報には、その動きオブジェクトのサイズおよび位置(画像上の座標位置)を示す情報が含まれる。
中解像度画像取得部32は、撮像装置21から供給される高解像度画像から、例えば15フレーム毎などの所定フレーム毎に、高解像度画像より解像度の低い、例えば960×540画素の中解像度画像を取得する。具体的には、中解像度画像取得部32は、画像の解像度を変換する解像度変換機能を有しており、高解像度画像に対して、間引き処理などのダウンコンバート処理を施すことにより、中解像度画像を取得する。取得された中解像度画像は、オブジェクト抽出部33と低解像度画像取得部39に供給される。なお、低解像度画像取得部39には、撮像装置21から供給される高解像度画像がそのまま供給されるようにしてもよい。
なお、図4の画像処理装置10において、破線で囲まれる機能ブロックは、中解像度画像取得部32と同様、15フレーム毎に各処理を繰り返す。
オブジェクト抽出部33は、中解像度画像取得部32からの中解像度画像において、所定のオブジェクトを抽出する。ここでは、中解像度画像において、動きのある動きオブジェクトが抽出されるものとするが、抽出手法によっては、動きのない静止オブジェクトが抽出されてもよい。抽出される動きオブジェクトには、追尾対象となる小物体の他、追尾対象ではない物体も含まれる。オブジェクト抽出部33は、抽出された動きオブジェクトを示す情報を分類部34に供給する。動きオブジェクトを示す情報には、その動きオブジェクトのサイズおよび座標位置を示す情報が含まれる。
分類部34は、オブジェクト抽出部33からの情報に基づいて、中解像度画像に含まれる動きオブジェクトを、所定の条件で分類する。分類部34は、分類された動きオブジェクトを示す情報を特定部35に供給する。
特定部35は、分類部34からの情報に基づいて、高解像度画像において、所定の分類の動きオブジェクトに対応するオブジェクト領域を特定する。オブジェクト領域を示す情報(オブジェクトのサイズおよび座標位置)は、重複排除処理部36に供給される。
重複排除処理部36は、追尾処理部31からの情報と、特定部35からの情報とに基づいて、高解像度画像において、追尾処理部31により追尾されているオブジェクト領域と、特定部35により特定されたオブジェクト領域との重複を排除する。高解像度画像において重複が排除されたオブジェクト領域を示す情報は、認識部37に供給される。
認識部37は、重複排除処理部36からの情報に基づいて、高解像度画像におけるオブジェクト領域に対して、動きオブジェクトの認識処理を行う。具体的には、認識部37は、教師データを用いた機械学習による画像分類を行うことで、動きオブジェクトの認識処理を行う。認識部37は、オブジェクト領域内の動きオブジェクトが、認識対象とする小物体であることの確かさを表す確信度をフィルタ処理部38に供給する。
フィルタ処理部38は、時系列フィルタ処理を行うことで、認識部37からの確信度を時系列に判定することで確信度を決定する。決定された確信度が例えば一定値より大きい動きオブジェクトを示す情報は、小物体の検出結果として重複排除処理部42に供給される。
低解像度画像取得部39は、中解像度画像取得部32からの中解像度画像から、中解像度画像よりさらに解像度の低い、例えば300×300画素の低解像度画像を取得する。具体的には、低解像度画像取得部39は、画像の解像度を変換する解像度変換機能を有しており、中解像度画像に対して、間引き処理などのダウンコンバート処理を施すことにより、低解像度画像を取得する。取得された低解像度画像は、物体検出部40に供給される。なお、中解像度画像取得部32から、撮像装置21からの高解像度画像がそのまま供給される場合、低解像度画像取得部39は、高解像度画像に対してダウンコンバート処理を施すことにより、低解像度画像を取得することができる。
物体検出部40は、低解像度画像取得部39からの低解像度画像に対して、物体検出部を行う。物体検出結果は、フィルタ処理部41に供給される。
フィルタ処理部41は、時系列フィルタ処理を行うことで、物体検出部40からの物体検出結果を時系列に判定することで、物体検出結果を決定する。決定された物体検出結果は、重複排除処理部42に供給する。
重複排除処理部42は、フィルタ処理部38からの小物体の検出結果と、物体検出部40からの物体検出結果とに基づいて、高解像度画像において認識された動きオブジェクト(小物体)と、物体検出部40により検出された物体との重複を排除する。高解像度画像において重複が排除されたオブジェクト領域を示す情報は、最終的な小物体の検出結果として出力される。
(画像処理装置の動作)
次に、図5のフローチャートを参照して、画像処理装置10による小物体検出処理の流れについて説明する。図5の処理において、ステップS11の処理は3フレーム毎に、ステップS21乃至S28の処理と、ステップS31乃至S33の処理は15フレーム毎に実行される。
ステップS11において、追尾処理部31は、高解像度画像において動きオブジェクト(小物体)を追尾する。ステップS11の処理は、画像処理装置10に高解像度画像の所定フレームに対して、一度ステップS21乃至S28,S31乃至S33の処理が実行されて以降に行われる。
動きオブジェクトの追尾には、テンプレートマッチングなどの領域ベースの物体追跡方法や、KLT法などの特徴点ベースの物体追跡方法が用いられる。例えば、動きオブジェクトの追尾には、物体を追跡しながら物体テンプレートを随時学習するKCF(Kernelized Correlation Filter)による物体追跡方法を用いることができる。高解像度画像において追尾されている動きオブジェクトには、後述するような画枠が設定され、高解像度画像から、画枠が設定されている領域が切り出される。
一方、ステップS21においては、中解像度画像取得部32が、高解像度画像から解像度画像を取得する。
ステップS22において、オブジェクト抽出部33は、中解像度画像取得部32により取得された中解像度画像において動きオブジェクトを抽出する。
ステップS23において、分類部34は、オブジェクト抽出部33によって中解像度画像から抽出された動きオブジェクトを分類する。
ここで、図6のフローチャートを参照して、ステップS22,S23における動きオブジェクトの抽出と分類の詳細について説明する。
ステップS51においては、中解像度画像に基づいて、HSV色マスク画像が生成される。HSV色マスク画像によれば、H(色相),S(彩度),V(明度)の値を指定することで、中解像度画像から特定の色の領域を抽出することができる。
図7は、図2の高解像度画像から取得された中解像度画像に基づいて生成されたHSV色マスク画像の例である。図7に示されるHSV色マスク画像は、中解像度画像から空の色を抽出するマスク画像である。ここでは、空の色を抽出するマスク画像に限らず、例えばエプロンや滑走路の舗装面の色を抽出するマスク画像が生成されるようにしてもよい。
ステップS52においては、中解像度画像において、HSV色マスク画像により色が抽出された領域に対して背景差分・膨張処理が行われる。背景差分によれば、中解像度画像から、前フレームと現フレームとの比較により動きのある動きオブジェクトが抽出される。また、膨張処理によれば、背景差分により抽出された動きオブジェクトの画素領域を膨張させることができる。
図8は、中解像度画像において、図7のHSV色マスク画像により色が抽出された領域に対する背景差分・膨張処理により得られた処理後画像の例を示す図である。
図8の処理後画像においては、中解像度画像における空の領域に存在する動きオブジェクトが、白画素の集合として複数(具体的には5個)示されている。これらの動きオブジェクトの中には、追尾対象となる航空機の他、追尾対象ではない物体も含まれる。
ステップS53においては、図9に示されるように、抽出された動きオブジェクトの輪郭が収まる輪郭矩形が設定される。図9においては、図8を参照して説明した5個の動きオブジェクトそれぞれについて輪郭矩形が示されている。
ステップS54においては、図10に示されるように、輪郭矩形が設定された動きオブジェクトに対して画枠が設定される。画枠は、高解像度画像において追尾対象を含むオブジェクト領域を特定するための情報である。図10の例では、図9を参照して説明した、輪郭矩形が抽出された5個の動きオブジェクトそれぞれについて、画枠が設定されている。
画枠のサイズは、あらかじめ決められた所定サイズより小さく、複数の異なるサイズの画枠が用意される。動きオブジェクトについて設定された輪郭矩形のサイズに応じて、設定される画枠のサイズが切り替わる。あらかじめ決められた所定サイズは、動きオブジェクトを小物体として検出することができる画枠のサイズの上限となる。これにより、ある大きさを超えない動きオブジェクトは、小物体として検出され、ある大きさを超える動きオブジェクトは、後述する大物体として検出されるようになる。
図11は、輪郭矩形に応じた画枠の切り替えについて説明する図である。
図11左上には、所定の動きオブジェクトについて設定された輪郭矩形110が示されている。図11右側には、サイズの異なる複数(具体的には3つ)の画枠120a,120b,120cが示されている。
例えば、画枠120aのサイズは、高解像度画像の128×64画素に対応した16×8画素とされ、画枠120bのサイズは、高解像度画像の256×128画素に対応した32×16画素とされる。また、画枠120cのサイズは、高解像度画像の512×256画素に対応した64×32画素とされる。
動きオブジェクトに対して画枠が設定される際、輪郭矩形110の対角線D1の長さと、画枠120(120a,120b,120c)の対角線D2(D2a,D2b,D2c)の長さとが、サイズの小さい画枠から順番に比較される。具体的には、輪郭矩形110の対角線D1の長さが、画枠120の対角線D2の長さの75%(D2×0.75)を超える毎に、1つ上のサイズの画枠120の対角線D2の長さとの比較が繰り返される。そして、輪郭矩形110の対角線D1の長さが、画枠120の対角線D2の長さの75%未満となったとき、動きオブジェクトに対してその画枠120が設定される。
すなわち、画枠の設定により、抽出された動きオブジェクトは、その大きさに基づいて分類されることになる。
なお、設定される画枠のサイズは、抽出された動きオブジェクトが存在する領域によって限定されてもよい。例えば、航空機がより小さく写る空の領域に存在する動きオブジェクトには、16×8画素の画枠のみが設定されるようにする。また、空の領域より航空機が大きく見える舗装面の領域に存在する動きオブジェクトには、32×16画素または64×32画素の画枠が設定されるようにする。
また、その大きさに基づいて分類された動きオブジェクトには、その動きオブジェクトが抽出された時点で、中解像度画像上の座標位置が設定される。中解像度画像上に設定される動きオブジェクトの座標位置は、例えば、その動きオブジェクトに設定された輪郭矩形の中心となる。
このようにして、動きオブジェクトがその大きさに基づいて分類されると、図5のステップS24に進む。
ステップS24において、特定部35は、高解像度画像において、大きさに基づいて分類された各動きオブジェクトに対応するオブジェクト領域を特定する。
具体的には、特定部35は、中解像度画像において動きオブジェクト毎に設定された画枠を、高解像度画像上に座標変換することで、オブジェクト領域を特定する。
例えば、中解像度画像上の座標位置(100,50)を中心とした5×5画素サイズの動きオブジェクト(輪郭矩形)に、16×8画素の画枠が設定されたとする。この場合、座標位置(100,50)を中心とした16×8画素の画枠は、高解像度画像上の座標位置(400,200)を中心とした128×64画素の画枠に座標変換され、座標変換後の画枠の領域がオブジェクト領域となる。
ここでは、高解像度画像から、特定されたオブジェクト領域(座標変換後の画枠の領域)が切り出される。
ステップS25において、重複排除処理部36は、高解像度画像において、追尾処理部31により追尾されている動きオブジェクト領域と、特定部35により特定されたオブジェクト領域との重複を排除する。ここでは、IoU(Intersection Over Union)を用いることで、追尾されている動きオブジェクト領域と、特定されたオブジェクト領域との重複が排除される。
IoUによれば、図12に示されるように、物体領域131と物体領域132の面積全体のうち、互いに重なっている部分の面積の割合が所定の閾値(例えば0.5)を超える場合に、物体領域131と物体領域132が重複していると判断される。この場合、物体領域131と物体領域132とは、同一の物体領域141と判断される。
このようにして、追尾されている動きオブジェクト領域と、特定されたオブジェクト領域との重複が排除されると、ステップS26に進む。
ステップS26において、認識部37は、高解像度画像において、追尾されている動きオブジェクト領域との重複が排除されたオブジェクト領域に対して、動きオブジェクトの認識処理を行う。
このとき、認識部37は、特定されたオブジェクト領域のサイズを、動きオブジェクトの認識処理に用いられる所定のオブジェクトの画像である教師データの画素サイズに基づいて正規化する。具体的には、オブジェクト領域のサイズは、全て128×64画素のサイズに正規化される。これにより、64個のオブジェクト領域に対する認識処理が同時に行われるようになる。
認識部37は、教師データであらかじめ学習された学習モデルを用いて、オブジェクト領域を二値分類することで、オブジェクト領域内の動きオブジェクトが航空機らしいか否かを判別する。その結果、オブジェクト領域内の動きオブジェクトが、認識対象とする小物体(航空機)であることの確からしさを表す確信度が算出される。
ステップS27において、フィルタ処理部38は、時系列フィルタ処理を行うことで、認識部37により算出された確信度を時系列に判定することで、確信度を決定する。ここでは、例えば、決定された確信度の値の大きさが上位3つの動きオブジェクトを示す情報が、小物体(航空機)の検出結果とされる。
ここで、ステップS28の処理について説明する前に、ステップS31乃至S33の処理について説明する。
ステップS31においては、低解像度画像取得部39が、中解像度画像取得部32からの中解像度画像から低解像度画像を取得する。
ステップS32において、物体検出部40は、低解像度画像取得部39により取得された低解像度画像に対して、物体検出を行う。ここでは、低解像度画像に対する物体検出が行われることから、検出対象は、上述した小物体のような小さい物体ではなく、比較的大きい物体(大物体)が検出される。
ステップS33において、フィルタ処理部41は、時系列フィルタ処理を行うことで、物体検出部40からの物体検出結果を時系列に判定することで、物体検出結果を決定する。
そして、ステップS28において、重複排除処理部42は、高解像度画像において認識された動きオブジェクト(小物体)と、低解像度画像において検出された大物体との重複を排除する。ここでも、IoUを用いることで、認識された動きオブジェクト領域と、検出された大物体の領域との重複が排除される。
このようにして、最終的な小物体の検出結果が出力される。
図13は、小物体の検出結果の例を示す図である。
図13においては、図2の高解像度画像に、動きオブジェクトの抽出結果と、抽出された動きオブジェクトの中で航空機と判別された検出結果とが重畳されて示されている。
図中、画枠161,162,163は、航空機の検出結果を示しており、その他の画枠は、航空機以外の動きオブジェクトの抽出結果を示している。画枠161,162,163の近傍には、確信度の値が示されている。すなわち、画枠161で特定される動きオブジェクトが、最も航空機である可能性が高いといえる。
以上の処理によれば、高解像度画像から取得した中解像度画像において、所定サイズより小さい動きオブジェクトが分類され、分類された動きオブジェクトに対応する領域が高解像度画像上で、認識対象の候補として特定される。これにより、高解像度画像における物体(特に小物体)の検出から認識までの一連の処理にかかる処理量を低減することが可能となる。結果として、4K解像度のような高解像度画像においてリアルタイムに小物体を追尾することが可能となる。
特に、動きオブジェクトは、画枠の設定によりその大きさに基づいて分類されるようにしたので、従来よりも小さい物体を認識/追尾することができる上、その認識精度を高めることができる。
<3.処理速度について>
ここで、図14を参照して、本技術の画像処理装置10の処理速度について説明する。画像処理装置10は、図中、太枠で囲われる各ブロック単位で実行される処理にかかる時間が、以下のような値になるように設計される。
認識部37による認識処理は、128×64画素のサイズの64個のオブジェクト領域に対して実行され、その処理時間は20msとする。
3フレーム毎に実行される追尾処理部31による追尾処理の処理時間は、1物体あたり15msとする。したがって、30フレームあたりの追尾処理の処理時間は、150ms×物体数となる。
15フレーム毎に実行される処理のうち、オブジェクト抽出部33乃至フィルタ処理部38による小物体の検出処理の処理時間は、12×8画素の小物体を検出する場合で、220msとする。また、物体検出部40とフィルタ処理部41による大物体の検出処理の処理時間は、70msとする。
小物体の検出処理と大物体の検出処理とがシリアルに実行される場合、15フレーム毎に実行される処理の処理時間は、290msとなる。したがって、30フレームあたりの小物体の検出処理と大物体の検出処理の処理時間は、580msとなる。
すなわち、上述した一連の処理には、30フレームあたり150ms×物体数と580msとを合算した時間がかかることになる。ここで、通常1秒30フレームであるとすると、小物体の数が3個であれば、一連の処理にかかる時間を1秒程度に収めることができる。また、上述した一連の処理が並列に実行されるようにした場合には、より多くのオブジェクトの認識であっても、一連の処理にかかる時間を1秒程度に収めることができる。
<4.変形例>
以下においては、上述した実施の形態における変形例について説明する。
(変形例1)
図15は、画像処理装置10の第1の変形例である画像処理装置10Aの機能構成例を示すブロック図である。
図15の画像処理装置10Aは、中解像度画像取得部32の前段に、高解像度化処理部211が設けられている点で、図1の画像処理装置10と異なる。
高解像度化処理部211は、撮像装置21から供給される高解像度画像に対して、エッジ強調などの高解像度化処理を施し、中解像度画像取得部32に供給する。
このような構成により、オブジェクト抽出部33には、物体のエッジが強調された中解像度画像が供給されるので、オブジェクト抽出部33によるオブジェクトの抽出性能を向上させることができる。
(変形例2)
図16は、画像処理装置10の第2の変形例である画像処理装置10Bの機能構成例を示すブロック図である。
図16の画像処理装置10Bは、オブジェクト抽出部33の前段に、高解像度背景画像生成部221が設けられている点で、図1の画像処理装置10と異なる。
高解像度背景画像生成部221は、中解像度画像取得部32からの中解像度画像において背景部分を拡大(高解像度化)することで、高解像度背景画像を生成する。生成された高解像度背景画像は、オブジェクト抽出部33に供給される。
オブジェクト抽出部33においては、高解像度背景画像上で、背景差分により動きオブジェクトが抽出される。
このような構成により、より小さい動きオブジェクトの抽出精度を向上させることができる。
(変形例3)
図17は、画像処理装置10の第3の変形例である画像処理装置10Cの機能構成例を示すブロック図である。
図17の画像処理装置10Cは、認識部37に代えて、認識部231が設けられている点で、図1の画像処理装置10と異なる。
認識部231は、RNN(Recurrent Neural Network)を用いて、15フレーム毎の静止画像ではなく動画像に対して、動きオブジェクトの認識処理を行う。
このような構成により、他の物体に見え隠れするような小物体であっても、高い精度で認識処理を行うことができる。
(変形例4)
図18は、画像処理装置10の第4の変形例である画像処理装置10Dの機能構成例を示すブロック図である。
図18の画像処理装置10Dは、オブジェクト抽出部33の前段に、背景画像空間射影部241と高解像度背景画像生成部242が設けられている点で、図1の画像処理装置10と異なる。
背景画像空間射影部241は、中解像度画像取得部32からの中解像度画像を、背景画像空間へ射影することで背景画像を更新する。背景画像空間へ射影された中解像度画像は、高解像度背景画像生成部242に供給される。背景画像空間は、撮像装置21により撮像され得る撮像範囲に対応する。撮像装置21の撮像範囲に動きがある場合、背景画像は、背景画像空間上で時間的に変化する。
図19は、背景画像空間への射影により更新される背景画像の例を示す図である。
図19に示される背景画像は、異なる5つの撮像範囲で撮影された背景画像BG1乃至BG5から構成される。中解像度画像取得部32から、背景画像BG1乃至BG5とは異なる撮像範囲の中解像度画像が供給された場合、背景画像空間上でその撮像範囲に対応する位置に中解像度画像が射影され、図19の背景画像が更新される。
高解像度背景画像生成部242は、背景画像空間射影部241からの、背景画像空間へ射影された中解像度画像において背景部分を拡大(高解像度化)することで、高解像度背景画像を生成する。生成された高解像度背景画像は、オブジェクト抽出部33に供給される。
このような構成により、撮像装置21の撮像範囲に動きがある場合であっても、より小さい動きオブジェクトの抽出精度を向上させることができる。
(変形例5)
図20は、画像処理装置10の第5の変形例である画像処理装置10Eの機能構成例を示すブロック図である。
図20の画像処理装置10Eは、オブジェクト抽出部33に代えて、オブジェクト抽出部251が設けられている点で、図1の画像処理装置10と異なる。
オブジェクト抽出部251は、中解像度画像取得部32からの中解像度画像において、所定の色のオブジェクトを抽出する。オブジェクト抽出部251は、例えば図21に示されるように、中解像度画像において、HSV色空間のH(色相)が80乃至120の物体のみを抽出する。抽出されたオブジェクトを示す情報は、分類部34に供給される。
このような構成により、高解像度画像において特定の色の小物体を追尾することができる。
(変形例6)
図22は、画像処理装置10の第6の変形例である画像処理装置10Fの機能構成例を示すブロック図である。
図22の画像処理装置10Fは、オブジェクト抽出部33が設けられず、かつ、分類部34に代えて、分類部261が設けられている点で、図1の画像処理装置10と異なる。
分類部261は、物体検出部40からの物体検出結果に基づいて、低解像度画像に含まれる物体を、例えばその大きさに基づいて分類する。分類部34は、分類された物体を示す情報を特定部35に供給する。特定部35からフィルタ処理部38までの処理は、低解像度画像において分類された物体について行われることになる。
このような構成により、高解像度画像において比較的小さい物体を追尾することができる。
(その他の変形例)
上述した例では、認識部37は、動きオブジェクトの認識処理において、オブジェクト領域を二値分類するものとしたが、認識対象とする小物体の種類が複数ある場合には、オブジェクト領域を多値分類するようにしてもよい。これにより、例えば、航空機に加えて、鳥などの航空機以外の物体(生物)を検出することができる。
また、認識部37は、例えば航空機の認識処理を行う際、航空機の色や、その機体に描かれた文字(社名やその略称)の認識処理を行うようにしてもよい。これにより、認識された航空機がどの航空会社の機体であるかが判別されるようになる。
また、上述した例では、分類部34は、動きオブジェクトの大きさに基づいて、動きオブジェクトを分類するものとしたが、画像上の動きオブジェクトの位置や、動きオブジェクトの動きの速さに基づいて、動きオブジェクトをさらに分類するようにしてもよい。
画像内の動きオブジェクトの位置に基づいて、動きオブジェクトを分類するようにした場合、例えば、空の領域の動きオブジェクトを分類することで、上空を飛行している航空機のみを検出することができる。また、舗装面の領域の動きオブジェクトを分類することで、地上(滑走路)を滑走している航空機のみを検出することができる。
また、動きオブジェクトの動きの速さに基づいて、動きオブジェクトを分類するようにした場合、例えば、低速で移動している動きオブジェクトを分類することで、遠方の上空を飛行している航空機のみを検出することができる。動きオブジェクトの動きの速さは、例えば、連続する2フレームにおける動きオブジェクトの位置を比較して得られた距離を、2フレーム間の時間で除算することで求められる。また、動きオブジェクトの座標位置の移動を追跡し、時系列で等速に移動しているか否かに応じて、航空機が検出されるようにしてもよい。なお、追尾処理の画枠を超えるほど動きの速い動きオブジェクトは、追尾対象外とされてもよい。
<5.コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図23は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
上述した画像処理装置10は、図23に示す構成を有するコンピュータにより実現される。
CPU1001、ROM1002、RAM1003は、バス1004により相互に接続されている。
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、キーボード、マウスなどよりなる入力部1006、ディスプレイ、スピーカなどよりなる出力部1007が接続される。また、入出力インタフェース1005には、ハードディスクや不揮発性のメモリなどよりなる記憶部1008、ネットワークインタフェースなどよりなる通信部1009、リムーバブルメディア511を駆動するドライブ1010が接続される。
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを入出力インタフェース1005およびバス1004を介してRAM1003にロードして実行することにより、上述した一連の処理が行われる。
CPU1001が実行するプログラムは、例えばリムーバブルメディア1011に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部1008にインストールされる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。
<6.応用例>
以上においては、本開示に係る技術は、リモート管制塔のカメラシステムにより得られる画像において、遠方を飛行している航空機などのような小物体を追尾する構成に適用されるものとした。これ以外にも、本開示に係る技術は、ビルや工場、店舗、街中などを遠隔地で監視する遠隔監視装置により得られる画像において、遠方にいる人や小動物を追尾する構成に適用されてもよい。また、本開示に係る技術は、サッカーや野球などのスポーツの中継画像において、ボールを追尾する構成に適用されてもよい。
さらに、本開示に係る技術は、様々な製品へ応用することができる。
(手術室システムへの適用)
例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図24は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図24を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図24では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図24では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図25は、集中操作パネル5111における操作画面の表示例を示す図である。図25では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図25を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図26は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図24に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図26では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図24に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図26では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図27を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図27は、図26に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図27を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、上述した構成のうち、制御部5177に適用することができる。制御部5177に本開示に係る技術を適用することにより、術部画像に含まれる術部の微細な血管や、微小な出血点を認識することができる。制御部5177は、表示装置5155に術部画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を術部画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
(移動体制御システムへの適用)
本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図28は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図28に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図28では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図29は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図29には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図28に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図28の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図28に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
本開示に係る技術は、上述した構成のうち、車外情報検出ユニット7400に適用することができる。車外情報検出ユニット7400に本開示に係る技術を適用することにより、車外を撮像した車外画像に含まれる、遠方の人、車、障害物、標識、または路面上の文字などを認識することができる。車外情報検出ユニット7400は、表示部7720に車外画像を表示させる際に、その認識結果を用いて、各種の運転支援情報を車外画像に重畳表示させる。運転支援情報が重畳表示され、運転者に提示されることにより、事前に道路状況などを把握することができ、未然に事故を防ぐことが可能になる。
本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
(1)
第1解像度画像から、前記第1解像度画像より解像度の低い第2解像度画像を取得する第1の取得部と、
前記第2解像度画像に含まれるオブジェクトを分類する分類部と、
前記第1解像度画像において、所定の分類の前記オブジェクトに対応するオブジェクト領域を特定する特定部と、
前記第1解像度画像において特定された前記オブジェクト領域に対して、前記オブジェクトの認識処理を行う認識部と
を備える画像処理装置。
(2)
前記第2解像度画像において動きオブジェクトを抽出する抽出部をさらに備え、
前記分類部は、抽出された前記動きオブジェクトを分類する
(1)に記載の画像処理装置。
(3)
前記抽出部は、背景差分により前記動きオブジェクトを抽出する
(2)に記載の画像処理装置。
(4)
前記分類部は、抽出された前記動きオブジェクトの大きさに基づいて、前記動きオブジェクトを分類する
(2)または(3)に記載の画像処理装置。
(5)
前記分類部は、前記第2解像度画像において抽出された前記動きオブジェクトに、あらかじめ決められた所定サイズより小さい複数の画枠を設定することで、前記動きオブジェクトを分類する
(4)に記載の画像処理装置。
(6)
前記分類部は、抽出された前記動きオブジェクトの輪郭が収まる輪郭矩形のサイズに応じて、設定される前記画枠のサイズを切り替える
(5)に記載の画像処理装置。
(7)
前記特定部は、前記第2解像度画像において設定された前記画枠を、前記第1解像度画像上に座標変換することで、前記オブジェクト領域を特定する
(5)または(6)に記載の画像処理装置。
(8)
前記第1解像度画像において認識された前記動きオブジェクトを追尾する追尾処理部と、
前記第1解像度画像において、追尾されている前記動きオブジェクトと、特定された前記オブジェクト領域との重複を排除する第1の重複排除処理部とをさらに備える
(2)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記追尾処理部は、所定フレーム毎に、追尾する前記動きオブジェクトの位置の修正を行う
(8)に記載の画像処理装置。
(10)
前記認識部は、特定された前記オブジェクト領域のサイズを、前記オブジェクトの認識処理に用いられる教師データのサイズに基づいて正規化して、前記オブジェクトの認識処理を行う
(9)に記載の画像処理装置。
(11)
前記第2解像度画像から、前記第2解像度画像より解像度の低い第3解像度画像を取得する第2の取得部と、
前記第3解像度画像に対して、物体検出を行う物体検出部とをさらに備える
(10)に記載の画像処理装置。
(12)
前記第1解像度画像において認識された前記動きオブジェクトと、前記物体検出部により検出された物体との重複を排除する第2の重複排除処理部をさらに備える
(11)に記載の画像処理装置。
(13)
前記分類部は、さらに、抽出された前記動きオブジェクトの位置に基づいて、前記動きオブジェクトを分類する
(4)乃至(12)のいずれかに記載の画像処理装置。
(14)
前記分類部は、さらに、抽出された前記動きオブジェクトの動きの速さに基づいて、前記動きオブジェクトを分類する
(4)乃至(13)のいずれかに記載の画像処理装置。
(15)
前記認識部は、前記オブジェクト領域を二値分類することで、前記オブジェクトの認識処理を行う
(1)乃至(14)のいずれかに記載の画像処理装置。
(16)
前記認識部は、前記オブジェクト領域を多値分類することで、前記オブジェクトの認識処理を行う
(1)乃至(14)のいずれかに記載の画像処理装置。
(17)
前記第1解像度画像を高解像度化する高解像度化処理部をさらに備え、
前記第1の取得部は、高解像度化された前記第1解像度画像から前記第2解像度画像を取得する
(1)乃至(16)のいずれかに記載の画像処理装置。
(18)
前記第1の取得部、前記分類部、前記特定部、および前記認識部は、所定フレーム毎に処理を繰り返す
(1)乃至(17)のいずれかに記載の画像処理装置。
(19)
画像処理装置が、
第1解像度画像から、前記第1解像度画像より解像度の低い第2解像度画像を取得し、
前記第2解像度画像に含まれるオブジェクトを分類し、
前記第1解像度画像において、所定の分類の前記オブジェクトに対応するオブジェクト領域を特定し、
前記第1解像度画像において特定された前記オブジェクト領域に対して、前記オブジェクトの認識処理を行う
画像処理方法。
(20)
第1解像度画像から、前記第1解像度画像より解像度の低い第2解像度画像を取得し、
前記第2解像度画像に含まれるオブジェクトを分類し、
前記第1解像度画像において、所定の分類の前記オブジェクトに対応するオブジェクト領域を特定し、
前記第1解像度画像において特定された前記オブジェクト領域に対して、前記オブジェクトの認識処理を行う
処理をコンピュータに実行させるプログラム。