JP2024066886A - 電子機器、電子機器の制御方法、及びプログラム - Google Patents

Abstract

【課題】物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションし得る電子機器、電子機器の制御方法、及びプログラムを提供する。【解決手段】電子機器は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体を検出することにより得られる点群における、物体の所定位置に対応する第１の座標点と、物体が撮像された画像における、所定位置に対応する第２の座標点と、に基づいて、点群における前記物体の位置と画像における物体の位置とのズレを補正する。【選択図】図１

Description

本開示は、電子機器、電子機器の制御方法、及びプログラムに関する。

例えば自動車に関連する産業などの分野において、自車両と所定の物体との間の距離などを測定する技術が重要視されている。特に、近年、ミリ波のような電波を送信し、障害物などの物体に反射した反射波を受信することで、物体との間の距離などを測定するレーダ（RADAR（Radio Detecting and Ranging））の技術が、種々研究されている。このような距離などを測定する技術の重要性は、運転者の運転をアシストする技術、及び、運転の一部又は全部を自動化する自動運転に関連する技術の発展に伴い、今後ますます高まると予想される。このような、物体との間の距離などを測定する技術は、交通のような分野に限られず、様々な分野における利用が期待されている。例えば、介護施設又は医療現場などにおいて、要看護者又は要介護者などのような被監視者の位置を検出できれば、当該被監視者の行動を追跡又は監視するような用途にも役立つ。

また、最近、ミリ波レーダのような技術を用いたセンサによって物体を検出することで得られる点群の情報を、デジタルカメラなどで撮像した画像（又は映像）の情報に統合した情報を活用する研究が進められている。例えば、ミリ波レーダのセンサによって検出される物体の点群の情報と、当該物体をカメラで撮像した画像の情報とを統合した情報にＡＩ（Artificial Intelligence）の技術を適用することで、当該物体を良好な精度で検出する技術も研究されている。

特開２００９－１６８４７２号公報

上述のように、ミリ波レーダのセンサによって検出される物体の点群の情報を、当該物体をカメラで撮像した画像の情報に統合する場合、センサの光軸とカメラとの光軸が正しく調整されていないと、それらを統合した情報を適切に活用できなくなり得る。したがって、このような技術を活用する場合、センサの光軸とカメラの光軸とのずれが簡便にキャリブレーションされることが望ましい。例えば、レーザスキャナをキャリブレーションする技術として、特許文献１は、専用の特殊な機器を使用することなくレーザスキャナのキャリブレーションを行い得る技術を提案している。

本開示の目的は、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションし得る電子機器、電子機器の制御方法、及びプログラムを提供することにある。

一実施形態に係る電子機器は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正する。

一実施形態に係る電子機器の制御方法は、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップを含む。、

一実施形態に係るプログラムは、
コンピュータに、
送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップ
を実行させる。

一実施形態によれば、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションし得る電子機器、電子機器の制御方法、及びプログラムを提供することができる。

一実施形態に係る電子機器の機能的な構成を示すブロック図である。 一実施形態に係るセンサの機能的な構成を示すブロック図である。 一実施形態に係るセンサによって送信される送信信号の例を示す図である。 一実施形態に係る検出機器の構成の例を示す図である。 一実施形態に係るセンサによる物体検出の例を示す図である。 一実施形態に係るキャリブレーションを行う際の機器構成を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器の動作を説明するフローチャートである。 一実施形態に係る電子機器による処理の例を示す図である。 一実施形態に係る電子機器による処理の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器による動作の例を示す図である。 一実施形態に係る電子機器の動作を説明するフローチャートである。

本開示において、「電子機器」とは、電力により駆動する機器としてよい。また、「システム」とは、電力により駆動する機器を含むものとしてよい。また、「ユーザ」とは、一実施形態に係るシステム及び／又は電子機器を使用する者（典型的には人間）としてよい。ユーザは、一実施形態に係るシステム及び／又は電子機器を用いることで、各種物体を検出することによる利益を享受する者を含んでよい。

以下説明する一実施形態に係る電子機器は、例えばミリ波レーダのような技術に基づくセンサによって検出される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成することができる。また、一実施形態に係る電子機器は、前述のようなセンサから取得される点群の情報と、カメラで撮像する画像（映像）の情報とに基づいて、センサの光軸とカメラの光軸とのずれの有無を判定することができる。さらに、一実施形態に係る電子機器は、センサの光軸とカメラの光軸とのずれの度合いを判定することもできる。したがって、一実施形態に係る電子機器は、センサの光軸とカメラの光軸とのずれを補正することができる。一実施形態に係る電子機器は、例えば画像認識のような技術を採用することにより、２次元的に処理可能な点群の情報に基づいて、物体の存在及び位置を検出することができるようにしてよい。以下、一実施形態に係る電子機器について、図面を参照して詳細に説明する。本開示の電子機器、方法、及びプログラムは、例えば、部屋、ベッド、浴室、トイレ、自動車、バス、電車、通路、又は路上など所定空間内に存在する人、物、又は動物などを検出する際に利用することができる。

図１は、一実施形態に係る電子機器１の構成を概略的に示す機能ブロック図である。図１に示すように、一実施形態に係る電子機器１は、コントローラ１０を備える。一実施形態において、電子機器１は、例えば、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかを、適宜備えてもよい。上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などは、電子機器１における任意の箇所に配置又は内蔵してよい。また、上述したコントローラ１０、記憶部２０、通信部３０、表示部４０、及び報知部５０などの少なくともいずれかは、電子機器１の外部に配置されて、互いに有線若しくは無線、又はこれらの組み合わせによるネットワークにより、互いに接続されていてもよい。一実施形態に係る電子機器１は、図１に示した機能部の少なくても一部を省略してもよいし、図１に示した機能部以外の他の機能部を適宜備えてもよい。

一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器は、例えば携帯電話又はスマートフォンのように、他の電子機器と通信を行う機能を有してもよい。ここで、上述の「他の電子機器」とは、例えば携帯電話又はスマートフォンのような電子機器としてもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器としてもよい。「他の電子機器」とは、例えば後述のセンサ１００及び／又は撮像部３００などとしてもよい。また、本開示における「他の電子機器」も、電力によって駆動される機器又は装置などとしてよい。一実施形態に係る電子機器が、他の電子機器と通信を行う際には、有線及び／又は無線による通信を行うものとしてよい。

図１に示すように、一実施形態に係る電子機器１は、センサ１００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、センサ１００によって検出された結果の情報を取得することができる。また、一実施形態に係る電子機器１は、撮像部３００に、有線及び／又は無線によって接続されてよい。このような接続により、一実施形態に係る電子機器１は、撮像部３００によって撮像された画像の情報を取得することができる。センサ１００及び撮像部３００については、さらに後述する。

コントローラ１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。コントローラ１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。コントローラ１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

一実施形態において、コントローラ１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。コントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などは、例えば記憶部２０に記憶されてよい。コントローラ１０は、コントローラ１０の動作に必要なメモリを適宜含んでもよい。

一実施形態に係る電子機器１において、コントローラ１０は、例えばセンサ１００による検出の結果として出力される情報について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、センサ１００と有線及び／又は無線によって接続されてよい。また、一実施形態に係る電子機器１において、コントローラ１０は、例えば撮像部３００による撮像の結果として出力される情報（画像）について、種々の処理を行うことができる。このため、電子機器１において、コントローラ１０は、撮像部３００と有線及び／又は無線によって接続されてよい。一実施形態に係る電子機器１のコントローラ１０の動作については、さらに後述する。

記憶部２０は、各種の情報を記憶するメモリとしての機能を有してよい。記憶部２０は、例えばコントローラ１０において実行されるプログラム、及び、コントローラ１０において実行された処理の結果などを記憶してよい。記憶部２０は、センサ１００による検出結果、及び／又は、撮像部３００によって撮像された画像などを記憶又は蓄積してもよい。また、記憶部２０は、コントローラ１０のワークメモリとして機能してよい。記憶部２０は、例えば半導体メモリ等により構成することができるが、これに限定されず、任意の記憶装置とすることができる。例えば、記憶部２０は、一実施形態に係る電子機器１に挿入されたメモリカードのような記憶媒体としてもよい。また、記憶部２０は、例えば、ハードディスクドライブ（Hard Disk Drive，ＨＤＤ）及び／又はソリッドステートドライブ（Solid State Drive，ＳＳＤ）などを含んで構成されてもよい。また、記憶部２０は、後述のコントローラ１０として用いられるＣＰＵの内部メモリであってもよいし、コントローラ１０に別体として接続されるものとしてもよい。

記憶部２０は、例えば機械学習データを記憶してもよい。ここで、機械学習データは、機械学習によって生成されるデータとしてよい。また、機械学習とは、特定のタスクをトレーニングによって実行可能になるＡＩ（Artificial Intelligence）の技術に基づくものとしてよい。より具体的には、機械学習とは、コンピュータのような情報処理装置が多くのデータを学習し、分類及び／又は予測などのタスクを遂行するアルゴリズム又はモデルを自動的に構築する技術としてよい。本明細書において、ＡＩの一部には、機械学習が含まれるとしてもよい。

本明細書において、機械学習には、正解データをもとに入力データの特徴又はルールを学習する教師あり学習が含まれるものとしてよい。また、機械学習には、正解データがない状態で入力データの特徴又はルールを学習する教師なし学習が含まれるものとしてもよい。さらに、機械学習には、報酬又は罰などを与えて入力データの特徴又はルールを学習する強化学習などが含まれるものとしてもよい。また、本明細書において、機械学習は、教師あり学習、教師なし学習、及び強化学習を任意に組み合わせたものとしてもよい。本実施形態の機械学習データの概念は、入力データに対して学習されたアルゴリズムを用いて所定の推論（推定）結果を出力するアルゴリズムを含むとしてもよい。本実施形態は、このアルゴリズムとして、例えば、従属変数と独立変数との関係を予測する線形回帰、人の脳神経系ニューロンを数理モデル化したニューラルネットワーク（ＮＮ）、誤差を二乗して算出する最小二乗法、問題解決を木構造にする決定木、及びデータを所定の方法で変形する正則化などその他適宜なアルゴリズムを用いることができる。本実施形態は、ニューラルネットワークの一種であるディープラーニングを利用するものとしてよい。ディープラーニングは、ニューラルネットワークの一種であり、ネットワークの階層が深いニューラルネットワークがディープラーニングと呼ばれている。なお、本開示におけるコンピュータの学習のフェーズは、例えば、結果出力処理に利用されるパラメータを生成する訓練フェーズ(training phase)を含むとしてもよい。

通信部３０は、有線又は無線により通信するためのインタフェースの機能を有する。一実施形態の通信部３０によって行われる通信方式は無線通信規格としてよい。例えば、無線通信規格は２Ｇ、３Ｇ、４Ｇ、及び５Ｇ等のセルラーフォンの通信規格を含む。例えばセルラーフォンの通信規格は、ＬＴＥ（Long Term Evolution）、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）、ＣＤＭＡ２０００、ＰＤＣ（Personal Digital Cellular）、ＧＳＭ（登録商標）（Global System for Mobile communications）、及びＰＨＳ（Personal Handy-phone System）等を含む。例えば、無線通信規格は、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＩＥＥＥ８０２．１１、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Infrared Data Association）、及びＮＦＣ（Near Field Communication）等を含む。通信部３０は、例えばＩＴＵ－Ｔ(International Telecommunication Union Telecommunication Standardization Sector)において通信方式が標準化されたモデムを含んでよい。通信部３０は、上記の通信規格の１つ又は複数をサポートすることができる。

通信部３０は、例えば電波を送受信するアンテナ及び適当なＲＦ部などを含めて構成してよい。通信部３０は、例えばアンテナを介して、例えば他の電子機器の通信部と無線通信してもよい。また、通信部３０は、外部に有線接続するためのコネクタなどのようなインタフェースとして構成してもよい。通信部３０は、無線通信を行うための既知の技術により構成することができるため、より詳細なハードウェアなどの説明は省略する。

通信部３０が受信する各種の情報は、例えば記憶部２０及び／又はコントローラ１０に供給されてよい。通信部３０が受信する各種の情報は、例えばコントローラ１０に内蔵されたメモリに記憶してもよい。また、通信部３０は、例えばコントローラ１０による処理結果、及び／又は、記憶部２０に記憶された情報などを外部に送信してもよい。

表示部４０は、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬディスプレイ（Organic Electro-Luminescence panel）、又は無機ＥＬディスプレイ（Inorganic Electro-Luminescence panel）等の任意の表示デバイスとしてよい。表示部４０は、文字、図形、又は記号等の各種の情報を表示してよい。また、表示部４０は、例えばユーザに電子機器１の操作を促すために、種々のＧＵＩを構成するオブジェクト、及びアイコン画像などを表示してもよい。表示部４０において表示を行うために必要な各種データは、例えばコントローラ１０又は記憶部２０などから供給されてよい。また、表示部４０は、例えばＬＣＤなどを含む場合、適宜、バックライトなどを含んで構成されてもよい。一実施形態において、表示部４０は、例えばセンサ１００による検出の結果に基づく情報を表示してもよい。また、一実施形態において、表示部４０は、例えば撮像部３００による撮像の結果に基づく情報を表示してもよい。

報知部５０は、コントローラ１０から出力される所定の信号に基づいて、電子機器１のユーザなどに注意を促すための所定の警告を報知してよい。報知部５０は、所定の警告として、例えば音、音声、光、文字、映像、及び振動など、ユーザの聴覚、視覚、触覚の少なくともいずれかを刺激する任意の機能部としてよい。具体的には、報知部５０は、例えばブザー又はスピーカのような音声出力部、ＬＥＤのような発光部、ＬＣＤのような表示部、及びバイブレータのような触感呈示部などの少なくともいずれかとしてよい。このように、報知部５０は、コントローラ１０から出力される所定の信号に基づいて、所定の警告を報知してよい。一実施形態において、報知部５０は、所定の警報を、聴覚、視覚、及び触覚の少なくともいずれかに作用する情報として報知してもよい。

図１に示す電子機器１は、報知部５０を内蔵している。しかしながら、一実施形態において、報知部５０は、電子機器１の外部に設けられてもよい。この場合、報知部５０と電子機器１とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。

図１に示すような、一実施形態に係る電子機器１を構成する各機能部の少なくとも一部は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。

図１に示すセンサ１００は、例えば自動車又は人体などのような物体（物標）を、３次元空間における点群の情報として検出するように構成される。以下、一実施形態に係るセンサ１００について、より詳細に説明する。

図２は、一実施形態に係るセンサ１００の構成を概略的に示す機能ブロック図である。図２に示すセンサ１００は、一例として、ミリ波レーダ（RADAR（Radio Detecting and Ranging））の技術に基づくもの（ミリ波レーダセンサ）とする。しかしながら、一実施形態に係るセンサ１００は、ミリ波レーダセンサに限定されない。一実施形態に係るセンサ１００は、例えば、準ミリ波レーダセンサとしてよい。また、一実施形態に係るセンサ１００は、ミリ波レーダセンサ又は準ミリ波レーダセンサに限定されず、電波を送受信する各種のレーダセンサとしてよい。また、一実施形態に係るセンサ１００は、例えば、マイクロ波センサ、超音波センサ、又はLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）のような技術に基づくセンサとしてもよい。

ミリ波方式のレーダによって距離などを測定する際、周波数変調連続波レーダ（以下、ＦＭＣＷレーダ（Frequency Modulated Continuous Wave radar）と記す）が用いられることがある。ＦＭＣＷレーダは、送信する電波の周波数を掃引して送信信号が生成される。したがって、例えば７９ＧＨｚの周波数帯の電波を用いるミリ波方式のＦＭＣＷレーダにおいて、使用する電波の周波数は、例えば７７ＧＨｚ～８１ＧＨｚのように、４ＧＨｚの周波数帯域幅を持つものとなる。７９ＧＨｚの周波数帯のレーダは、例えば２４ＧＨｚ、６０ＧＨｚ、７６ＧＨｚの周波数帯などの他のミリ波／準ミリ波レーダよりも、使用可能な周波数帯域幅が広いという特徴がある。以下、例として、このようなＦＭＣＷレーダを採用する場合について説明する。本開示で利用されるＦＭＣＷレーダの方式は、通常より短い周期でチャープ信号を送信するＦＣＭ方式（Fast-Chirp Modulation）を含むとしてもよい。センサ１００が生成する信号はＦＭＣＷ方式の信号に限定されない。センサ１００が生成する信号はＦＭＣＷ方式以外の各種の方式の信号としてもよい。送信される信号として記憶される送信信号列は、これら各種の方式によって異なるものとしてよい。例えば、上述のＦＭＣＷ方式のレーダ信号の場合、時間サンプルごとに周波数が増加する信号及び減少する信号を使用してよい。上述の各種の方式は、公知の技術を適宜適用することができるため、より詳細な説明は、適宜省略する。

図２に示すように、一実施形態に係るセンサ１００は、レーダ制御部１１０、送信部１２０、及び受信部１３０を含んで構成されてよい。上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などは、センサ１００における任意の箇所に配置又は内蔵してよい。また、上述したレーダ制御部１１０、送信部１２０、及び受信部１３０などの少なくともいずれかは、センサ１００の外部に配置してもよい。一実施形態に係るセンサ１００は、図２に示した機能部の少なくても一部を省略してもよいし、図２に示した機能部以外の他の機能部を適宜備えてもよい。

レーダ制御部１１０は、センサ１００を構成する各機能部をはじめとして、センサ１００の全体を制御及び／又は管理する。レーダ制御部１１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。レーダ制御部１１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

一実施形態において、レーダ制御部１１０は、例えばＣＰＵ又はＤＳＰ及び当該ＣＰＵ又はＤＳＰで実行されるプログラムとして構成されてよい。レーダ制御部１１０において実行されるプログラム、及び、レーダ制御部１１０において実行された処理の結果などは、例えばレーダ制御部１１０に内蔵される任意の記憶部に記憶されてよい。レーダ制御部１１０は、レーダ制御部１１０の動作に必要なメモリを適宜含んでもよい。

一実施形態に係るセンサ１００において、レーダ制御部１１０は、距離ＦＦＴ（Fast Fourier Transform）処理、速度ＦＦＴ処理、到来角推定処理、及びクラスタリング処理などの各種の処理を、適宜行ってよい。これらのようなレーダ制御部１１０が行う各処理は、一般的なレーダ技術として既知であるため、より詳細な説明は省略する。

図２に示すように、送信部１２０は、信号生成部１２１、シンセサイザ１２２、位相制御部１２３、増幅器１２４、及び送信アンテナ１２５を備えてよい。一実施形態に係るセンサ１００は、送信アンテナ１２５を複数含んでもよい。この場合、センサ１００は、複数の送信アンテナ１２５のそれぞれに対応する位相制御部１２３及び増幅器１２４も複数含んでも良い。一実施形態に係るセンサ１００が複数の送信アンテナ１２５を含む場合、当該複数の送信アンテナ１２５は送信アンテナアレイ（送信アレイアンテナ）を構成してよい。

受信部１３０は、図２に示すように、受信アンテナ１３１、ＬＮＡ１３２、ミキサ１３３、ＩＦ部１３４、及びＡＤ変換部１３５を備えてよい。一実施形態に係るセンサ１００は、複数の送信アンテナ１２５のそれぞれに対応して、受信部１３０を複数含んでもよい。

一実施形態に係るセンサ１００において、レーダ制御部１１０は、送信部１２０及び受信部１３０の少なくとも一方を制御することができる。この場合、レーダ制御部１１０は、任意の記憶部に記憶された各種情報に基づいて、送信部１２０及び受信部１３０の少なくとも一方を制御してよい。例えば、レーダ制御部１１０に内蔵された任意の記憶部は、送信アンテナ１２５から送信する送信波及び受信アンテナ１３１から受信する反射波によって物体を検出する範囲を設定するための各種パラメータを記憶してよい。また、一実施形態に係るセンサ１００において、レーダ制御部１１０は、信号生成部１２１に信号の生成を指示したり、信号生成部１２１が信号を生成するように制御したりしてもよい。

信号生成部１２１は、レーダ制御部１１０の制御により、送信アンテナ１２５から送信波として送信される信号（送信信号）を生成する。信号生成部１２１は、送信信号を生成する際に、例えばレーダ制御部１１０による制御に基づいて、送信信号の周波数を割り当ててよい。具体的には、信号生成部１２１は、例えばレーダ制御部１１０によって設定されたパラメータにしたがって、送信信号の周波数を割り当ててよい。例えば、信号生成部１２１は、レーダ制御部１１０又は任意の記憶部から周波数情報を受け取ることにより、例えば７７～８１ＧＨｚのような周波数帯域の所定の周波数の信号を生成する。信号生成部１２１は、例えば電圧制御発振器（ＶＣＯ）のような機能部を含んで構成してよい。

信号生成部１２１は、当該機能を有するハードウェアとして構成してもよいし、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。以下説明する各機能部も、当該機能を有するハードウェアとして構成してもよいし、可能な場合には、例えばマイコンなどで構成してもよいし、例えばＣＰＵ又はＤＳＰのようなプロセッサ及び当該プロセッサで実行されるプログラムなどとして構成してもよい。

一実施形態に係るセンサ１００において、信号生成部１２１は、例えばチャープ信号のような送信信号（送信チャープ信号）を生成してよい。特に、信号生成部１２１は、周波数が周期的に線形に変化する信号（線形チャープ信号）を生成してもよい。例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで周期的に線形に増大するチャープ信号としてもよい。また、例えば、信号生成部１２１は、周波数が時間の経過に伴って７７ＧＨｚから８１ＧＨｚまで線形の増大（アップチャープ）及び減少（ダウンチャープ）を周期的に繰り返す信号を生成してもよい。信号生成部１２１が生成する信号は、例えばレーダ制御部１１０において予め設定されていてもよい。また、信号生成部１２１が生成する信号は、例えば任意の記憶部などに予め記憶されていてもよい。レーダのような技術分野で用いられるチャープ信号は既知であるため、より詳細な説明は、適宜、簡略化又は省略する。信号生成部１２１によって生成された信号は、シンセサイザ１２２に供給される。

図３は、信号生成部１２１が生成するチャープ信号の例を説明する図である。

図３において、横軸は経過する時間を表し、縦軸は周波数を表す。図３に示す例において、信号生成部１２１は、周波数が周期的に線形に変化する線形チャープ信号を生成する。図３においては、各チャープ信号を、ｃ１，ｃ２，…，ｃ８のように示してある。図３に示すように、それぞれのチャープ信号において、時間の経過に伴って周波数が線形に増大する。

図３に示す例において、ｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含めて、１つのサブフレームとしている。すなわち、図３に示すサブフレーム１及びサブフレーム２などは、それぞれｃ１，ｃ２，…，ｃ８のように８つのチャープ信号を含んで構成されている。また、図３に示す例において、サブフレーム１～サブフレーム１６のように１６のサブフレームを含めて、１つのフレームとしている。すなわち、図３に示すフレーム１及びフレーム２などは、それぞれ１６のサブフレームを含んで構成されている。また、図３に示すように、フレーム同士の間には、所定の長さのフレームインターバルを含めてもよい。図３に示す１つのフレームは、例えば３０ミリ秒から５０ミリ秒程度の長さとしてよい。

図３において、フレーム２以降も同様の構成としてよい。また、図３において、フレーム３以降も同様の構成としてよい。一実施形態に係るセンサ１００において、信号生成部１２１は、任意の数のフレームとして送信信号を生成してよい。また、図３においては、一部のチャープ信号は省略して示している。このように、信号生成部１２１が生成する送信信号の時間と周波数との関係は、例えば任意の記憶部などに記憶しておいてよい。

このように、一実施形態に係るセンサ１００は、複数のチャープ信号を含むサブフレームから構成される送信信号を送信してよい。また、一実施形態に係るセンサ１００は、サブフレームを所定数含むフレームから構成される送信信号を送信してよい。

以下、センサ１００は、図３に示すようなフレーム構造の送信信号を送信するものとして説明する。しかしながら、図３に示すようなフレーム構造は一例であり、例えば１つのサブフレームに含まれるチャープ信号は８つに限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のチャープ信号を含むサブフレームを生成してよい。また、図３に示すようなサブフレーム構造も一例であり、例えば１つのフレームに含まれるサブフレームは１６に限定されない。一実施形態において、信号生成部１２１は、任意の数（例えば任意の複数）のサブフレームを含むフレームを生成してよい。信号生成部１２１は、異なる周波数の信号を生成してよい。信号生成部１２１は、周波数ｆがそれぞれ異なる帯域幅の複数の離散的な信号を生成してもよい。

図２に戻り、シンセサイザ１２２は、信号生成部１２１が生成した信号の周波数を、所定の周波数帯の周波数まで上昇させる。シンセサイザ１２２は、送信アンテナ１２５から送信する送信波の周波数として選択された周波数まで、信号生成部１２１が生成した信号の周波数を上昇させてよい。送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えばレーダ制御部１１０によって設定されてもよい。また、送信アンテナ１２５から送信する送信波の周波数として選択される周波数は、例えば任意の記憶部に記憶されていてもよい。シンセサイザ１２２によって周波数が上昇された信号は、位相制御部１２３及びミキサ１３３に供給される。位相制御部１２３が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の位相制御部１２３のそれぞれに供給されてよい。また、受信部１３０が複数の場合、シンセサイザ１２２によって周波数が上昇された信号は、複数の受信部１３０におけるそれぞれのミキサ１３３に供給されてよい。

位相制御部１２３は、シンセサイザ１２２から供給された送信信号の位相を制御する。具体的には、位相制御部１２３は、例えばレーダ制御部１１０による制御に基づいて、シンセサイザ１２２から供給された信号の位相を適宜早めたり遅らせたりすることにより、送信信号の位相を調整してよい。この場合、位相制御部１２３は、複数の送信アンテナ１２５から送信されるそれぞれの送信波の経路差に基づいて、それぞれの送信信号の位相を調整してもよい。位相制御部１２３がそれぞれの送信信号の位相を適宜調整することにより、複数の送信アンテナ１２５から送信される送信波は、所定の方向において強め合ってビームを形成する（ビームフォーミング）。この場合、ビームフォーミングの方向と、複数の送信アンテナ１２５がそれぞれ送信する送信信号の制御すべき位相量との相関関係は、例えば任意の記憶部に記憶しておいてよい。位相制御部１２３によって位相制御された送信信号は、増幅器１２４に供給される。

増幅器１２４は、位相制御部１２３から供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいて増幅させる。センサ１００が複数の送信アンテナ１２５を備える場合、複数の増幅器１２４は、複数の位相制御部１２３のうちそれぞれ対応するものから供給された送信信号のパワー（電力）を、例えばレーダ制御部１１０による制御に基づいてそれぞれ増幅させてよい。送信信号のパワーを増幅させる技術自体は既に知られているため、より詳細な説明は省略する。増幅器１２４は、送信アンテナ１２５に接続される。

送信アンテナ１２５は、増幅器１２４によって増幅された送信信号を、送信波として出力（送信）する。センサ１００が複数の送信アンテナ１２５を備える場合、複数の送信アンテナ１２５は、複数の増幅器１２４のうちそれぞれ対応するものによって増幅された送信信号を、それぞれ送信波として出力（送信）してよい。送信アンテナ１２５は、既知のレーダ技術に用いられる送信アンテナと同様に構成することができるため、より詳細な説明は省略する。

このようにして、一実施形態に係るセンサ１００は、送信アンテナ１２５を備え、送信アンテナ１２５から送信波として送信信号（例えば送信チャープ信号）を送信することができる。ここで、センサ１００を構成する各機能部のうちの少なくとも１つは、１つの筐体に収められてもよい。また、この場合、当該１つの筐体は、容易に開けることができない構造としてもよい。例えば送信アンテナ１２５、受信アンテナ１３１、増幅器１２４が１つの筐体に収められ、かつ、この筐体が容易に開けられない構造となっているとよい。さらに、

図２に示すセンサ１００は、送信アンテナ１２５を１つ備える例を示している。しかしながら、一実施形態において、センサ１００は、任意の数の送信アンテナ１２５を備えてもよい。一方、一実施形態において、センサ１００は、送信アンテナ１２５から送信される送信波が所定方向にビームを形成するようにする場合、複数の送信アンテナ１２５を備えてよい。一実施形態において、センサ１００は、任意の複数の送信アンテナ１２５を備えてもよい。この場合、センサ１００は、複数の送信アンテナ１２５に対応させて、位相制御部１２３及び増幅器１２４もそれぞれ複数備えてよい。そして、複数の位相制御部１２３は、シンセサイザ１２２から供給されて複数の送信アンテナ１２５から送信される複数の送信波の位相を、それぞれ制御してよい。また、複数の増幅器１２４は、複数の送信アンテナ１２５から送信される複数の送信信号のパワーを、それぞれ増幅してよい。また、この場合、センサ１００は、複数の送信アンテナを含んで構成してよい。このように、センサ１００は、複数の送信アンテナ１２５を備える場合、当該複数の送信アンテナ１２５から送信波を送信するのに必要な機能部も、それぞれ複数含んで構成してよい。

受信アンテナ１３１は、反射波を受信する。反射波は、送信波が所定の物体２００に反射したものとしてよい。受信アンテナ１３１は、複数のアンテナを含んで構成してもよい。一実施形態に係るセンサ１００が複数の受信アンテナ１３１を含む場合、当該複数の受信アンテナ１３１は受信アンテナアレイ（受信アレイアンテナ）を構成してよい。受信アンテナ１３１は、既知のレーダ技術に用いられる受信アンテナと同様に構成することができるため、より詳細な説明は省略する。受信アンテナ１３１は、ＬＮＡ１３２に接続される。受信アンテナ１３１によって受信された反射波に基づく受信信号は、ＬＮＡ１３２に供給される。このように、センサ１００は、複数の受信アンテナ１３１を備える場合、当該複数の受信アンテナ１３１から反射波を受信して処理するのに必要な機能部も、それぞれ複数含んで構成してよい。

一実施形態に係るセンサ１００は、複数の受信アンテナ１３１から、例えばチャープ信号のような送信信号（送信チャープ信号）として送信された送信波が所定の物体２００によって反射された反射波を受信することができる。このように、送信波として送信チャープ信号を送信する場合、受信した反射波に基づく受信信号は、受信チャープ信号とも記す。すなわち、センサ１００は、受信アンテナ１３１から反射波として受信信号（例えば受信チャープ信号）を受信する。

ＬＮＡ１３２は、受信アンテナ１３１によって受信された反射波に基づく受信信号を低ノイズで増幅する。ＬＮＡ１３２は、低雑音増幅器（Low Noise Amplifier）としてよく、受信アンテナ１３１から供給された受信信号を低雑音で増幅する。ＬＮＡ１３２によって増幅された受信信号は、ミキサ１３３に供給される。

ミキサ１３３は、ＬＮＡ１３２から供給されるＲＦ周波数の受信信号を、シンセサイザ１２２から供給される送信信号に混合する（掛け合わせる）ことにより、ビート信号を生成する。ミキサ１３３によって混合されたビート信号は、ＩＦ部１３４に供給される。

ＩＦ部１３４は、ミキサ１３３から供給されるビート信号に周波数変換を行うことにより、ビート信号の周波数を中間周波数（ＩＦ（Intermediate Frequency）周波数）まで低下させる。ＩＦ部１３４によって周波数を低下させたビート信号は、ＡＤ変換部１３５に供給される。

ＡＤ変換部１３５は、ＩＦ部１３４から供給されたアナログのビート信号をデジタル化する。ＡＤ変換部１３５は、任意のアナログ－デジタル変換回路（Analog to Digital Converter（ＡＤＣ））で構成してよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、レーダ制御部１１０に供給される。受信部１３０が複数の場合、複数のＡＤ変換部１３５によってデジタル化されたそれぞれのビート信号は、レーダ制御部１１０に供給されてよい。

レーダ制御部１１０は、ＡＤ変換部１３５によってデジタル化されたビート信号に対してＦＦＴ処理（以下、適宜「距離ＦＦＴ処理」と記す）を行ってよい。例えば、レーダ制御部１１０は、ＡＤ変換部１３５から供給された複素信号にＦＦＴ処理を行ってよい。ＡＤ変換部１３５によってデジタル化されたビート信号は、信号強度（電力）の時間変化として表すことができる。レーダ制御部１１０は、このようなビート信号にＦＦＴ処理を行うことにより、各周波数に対応する信号強度（電力）として表すことができる。レーダ制御部１１０において距離ＦＦＴ処理を行うことにより、ＡＤ変換部１３５によってデジタル化されたビート信号に基づいて、距離に対応する複素信号を得ることができる。

レーダ制御部１１０は、距離ＦＦＴ処理によって得られた結果においてピークが所定の閾値以上である場合、そのピークに対応する距離に、所定の物体２００があると判断してもよい。例えば、一定誤警報確率（ＣＦＡＲ（Constant False Alarm Rate））による検出処理のように、外乱信号の平均電力又は振幅から閾値以上のピーク値が検出された場合、送信波を反射する物体（反射物体）が存在するものと判断する方法が知られている。

このように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び、反射波として受信される受信信号に基づいて、送信波を反射する物体２００をターゲットとして検出することができる。

レーダ制御部１１０は、１つのチャープ信号（例えば図３に示すｃ１）に基づいて、所定の物体との間の距離を推定することができる。すなわち、センサ１００は、距離ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との間の距離を測定（推定）することができる。ビート信号にＦＦＴ処理を行うことにより、所定の物体との間の距離を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。

また、レーダ制御部１１０は、距離ＦＦＴ処理が行われたビート信号に対してさらにＦＦＴ処理を（以下、適宜「速度ＦＦＴ処理」と記す）行ってよい。例えば、レーダ制御部１１０は、距離ＦＦＴ処理された複素信号にＦＦＴ処理を行ってよい。レーダ制御部１１０は、チャープ信号のサブフレーム（例えば図３に示すサブフレーム１）に基づいて、所定の物体との相対速度を推定することができる。レーダ制御部１１０において複数のチャープ信号について速度ＦＦＴ処理を行うことにより、距離ＦＦＴ処理によって得られる距離に対応する複素信号に基づいて、相対速度に対応する複素信号が得られる。

上述のようにビート信号に距離ＦＦＴ処理を行うと、複数のベクトルを生成することができる。これら複数のベクトルに対して速度ＦＦＴ処理を行った結果におけるピークの位相を求めることにより、所定の物体との相対速度を推定することができる。すなわち、電子機器１は、速度ＦＦＴ処理を行うことにより、センサ１００と所定の物体２００との相対速度を測定（推定）することができる。距離ＦＦＴ処理を行った結果に対して速度ＦＦＴ処理を行うことにより、所定の物体との相対速度を測定（推定）する技術自体は公知のため、より詳細な説明は、適宜、簡略化又は省略する。

一般的なＦＭＣＷレーダの技術においては、受信信号からビート周波数を抽出したものに高速フーリエ変換処理を行うなどした結果に基づいて、ターゲットが存在するか否かを判定することができる。ここで、受信信号からビート周波数を抽出して高速フーリエ変換処理を行うなどした結果には、クラッタ（不要反射成分）などによる雑音（ノイズ）の成分も含まれる。したがって、受信信号を処理した結果から雑音成分を取り除き、ターゲットの信号のみを抽出するための処理を実行してもよい。

また、レーダ制御部１１０は、ターゲットが存在するか否かの判定に基づいて、所定の物体２００から反射波が到来する方向（到来角）を推定してもよい。レーダ制御部１１０は、ターゲットが存在すると判定された点について、到来角の推定を行ってよい。センサ１００は、複数の受信アンテナ１３１から反射波を受信することで、反射波が到来する方向を推定することができる。例えば、複数の受信アンテナ１３１は、所定の間隔で配置されているものとする。この場合、送信アンテナ１２５から送信された送信波が所定の物体２００に反射されて反射波となり、所定の間隔で配置された複数の受信アンテナ１３１はそれぞれ反射波Ｒを受信する。そして、レーダ制御部１１０は、複数の受信アンテナ１３１がそれぞれ受信した反射波の位相、及びそれぞれの反射波の経路差に基づいて、反射波が受信アンテナ１３１に到来する方向を推定することができる。すなわち、センサ１００は、速度ＦＦＴ処理が行われた結果に基づいて、ターゲットによって反射された反射波が到来する方向を示す到来角θを測定（推定）することができる。

速度ＦＦＴ処理が行われた結果に基づいて、反射波Ｒが到来する方向を推定する技術は各種提案されている。例えば、既知の到来方向推定のアルゴリズムとしては、ＭＵＳＩＣ（MUltiple SIgnal Classification）、及びＥＳＰＲＩＴ（Estimation of Signal Parameters via Rotational Invariance Technique）などが知られている。したがって、公知の技術についてのより詳細な説明は、適宜、簡略化又は省略する。

レーダ制御部１１０は、距離ＦＦＴ処理、速度ＦＦＴ処理、及び到来角推定の少なくともいずれかに基づいて、送信波が送信された範囲に存在する物体を検出する。レーダ制御部１１０は、供給された距離の情報、速度の情報、及び角度情報に基づいて例えばクラスタリング処理を行うことにより、物体検出を行ってもよい。データをクラスタリングする際に用いるアルゴリズムとして、例えばＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）などが知られている。クラスタリング処理においては、例えば検出される物体を構成するポイントの平均電力を算出してもよい。

上述のようにして、センサ１００は、３次元空間において、送信波を反射する物体を、点群の情報として検出することができる。すなわち、一実施形態において、センサ１００から出力される検出結果に基づいて、３次元空間のある座標において、送信波を反射する物体が存在するか否かを判定（検出）することができる。また、一実施形態において、センサ１００は、３次元空間における各点の信号強度及び速度を検出することができる。以上説明したように、一実施形態に係るセンサ１００は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体を、３次元空間における点群の情報として検出してよい。本開示において、センサ１００は、物体を、２次元空間における点群の情報として検出してよい。

また、図１に示すように、一実施形態に係る電子機器１は、撮像部３００を含んで構成されてよい。電子機器１と撮像部３００とは、有線若しくは無線、又は有線及び無線の組合せにより接続されてよい。

撮像部３００は、例えばデジタルカメラのような、電子的に画像を撮像するイメージセンサを含んで構成されてよい。撮像部３００は、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。撮像部３００は、例えば撮像部３００の前方に存在する物体を撮像してよい。ここで、撮像部３００の前方に存在する物体は、例えば、自動車、人間、及び／又は、周囲に存在する任意の物体などとしてよい。撮像部３００は、撮像した画像を信号に変換して、電子機器１に送信してよい。例えば、撮像部３００は、撮像した画像に基づく信号を、電子機器１の抽出部１１、記憶部２０、及び／又は、コントローラ１０などに送信してよい。撮像部３００は、物体を撮像できるものであれば、デジタルカメラのような撮像デバイスに限定されず、任意のデバイスとしてよい。撮像部３００は、例えばＬＩＤＡＲ（Light Detection And Ranging)としてもよい。

一実施形態において、撮像部３００は、例えば所定時間ごと（例えば秒間１５フレーム）の静止画を撮像してもよい。また、一実施形態において、撮像部３００は、例えば連続した動画を撮像してもよい。

次に、一実施形態に係る電子機器１に接続されるセンサ１００及び撮像部３００の配置について説明する。

図４（Ａ）及び図４（Ｂ）は、センサ１００及び撮像部３００が配置された検出機器の構成の例を示す図である。

図４（Ａ）は、一実施形態に係る検出機器３を前方から正面視した例を示す正面図である。図４（Ｂ）は、一実施形態に係る検出機器３を側方（左方）から側面視した例を示す側面図である。図４（Ａ）及び図４（Ｂ）に示す座標軸は、図２に示したセンサ１００の送信波及び／又は反射波の伝搬方向を示す座標軸に整合させてある。

図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３は、センサ１００及び撮像部３００を備えてよい。また、図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３は、スタンド部５及び接地部７の少なくとも一方などを、適宜備えてもよい。また、一実施形態に係る検出機器３は、スタンド部５及び接地部７の少なくとも一方を備えずに、任意の他の機器又は他の機器の筐体などに配置されてもよい。

図４（Ａ）及び図４（Ｂ）に示すセンサ１００は、図１及び／又は図２において説明したセンサ１００としてよい。図４（Ａ）及び図４（Ｂ）に示すように、センサ１００は、送信波が物体によって反射された反射波を受信する電波入力部１０１を備えるものとしてよい。図４（Ｂ）に示すように、電波入力部１０１は、センサ１００の光軸Ｒａを向くものとしてよい。ここで、センサ１００の光軸とは、例えば、センサ１００の送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が設置された面に垂直な方向としてよい。また、センサ１００の光軸とは、送信アンテナ１２５及び受信アンテナ１３１の少なくとも一方が複数含まれる場合、当該複数のアンテナの少なくともいずれかが設置された面に垂直な方向としてもよい。このような構成により、センサ１００は、光軸Ｒａを中心として、送信波を送信及び／又は反射波を受信することができる。すなわち、センサ１００は、光軸Ｒａを中心とした範囲で物体を点群として検出することができる。

一実施形態に係るセンサ１００は、例えば指向性を有するものとしてもよい。すなわち、センサ１００は、指向性を有する電波によって物体の検出を行うものとしてよい。ここで、指向性とは、アンテナの特性として、電波の放射方向と放射強度との関係としてよい。指向性の有無は、アンテナの用途と関係している。指向性が鋭いアンテナは、特定の方向に強く電波を放射する。指向性は、送信の場合と受信の場合とで同じ特性になるものとしてよい。アンテナが放射する電波の電界強度は、アンテナの利得（ゲイン）としてデシベル（ｄＢ）で表すことができる。一実施形態に係るセンサ１００は、指向性を有することにより、例えば図４（Ｂ）に示す光軸Ｒａの方向にメインローブ（メインビーム）を有するものとしてよい。すなわち、一実施形態に係るセンサ１００は、例えば光軸Ｒａの方向に最も強い放射レベルを有するものとしてよい。

また、図４（Ａ）及び図４（Ｂ）に示す撮像部３００は、図１において説明した撮像部３００としてよい。図４（Ａ）及び図４（Ｂ）に示すように、撮像部３００は、物体によって反射された光を受信する光入力部３０１を備えるものとしてよい。図４（Ｂ）に示すように、光入力部３０１は、撮像部３００の光軸Ｌａを向くものとしてよい。また、光入力部３０１は、撮像部３００においてレンズが配置される位置としてもよい。ここで、撮像部３００の光軸とは、例えば、撮像部３００において撮像に用いられる受光素子（又は撮像素子）が設置された面に垂直な方向としてよい。このような構成により、撮像部３００は、光軸Ｌａを中心とした画像を撮像することができる。

図４（Ａ）及び図４（Ｂ）に示すように、スタンド部５は、検出機器３において、センサ１００及び撮像部３００を接地点から所定の高さに維持する。スタンド部５は、例えばセンサ１００が所定の物体を検出し易い高さにセンサ１００を維持してよい。また、スタンド部５は、例えば撮像部３００が所定の物体を撮像し易い高さにセンサ１００を維持してよい。スタンド部５は、検出機器３において、センサ１００及び撮像部３００を例えば高さ方向などに調節可能な機構を備えてもよい。

図４（Ａ）及び図４（Ｂ）に示すように、接地部７は、検出機器３において、センサ１００及び撮像部３００を接地面に対して固定する。接地部７は、センサ１００及び撮像部３００を備える検出機器３を安定させるために、例えば台座のような形状にするなど、種々の構成を想定することができる。

図４（Ａ）及び図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、互いの近傍に隣接させて配置されてよい。図４（Ａ）及び図４（Ｂ）に示す例において、センサ１００と撮像部３００とは、互いに上下方向に隣接して配置されている。一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、例えば、互いに左右方向に又は斜め方向に隣接して配置されてもよい。

また、図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとが平行になるように配置されてよい。すなわち、一実施形態に係る電子機器１において、撮像部３００の光軸Ｌａがセンサ１００の光軸Ｒａに平行になるように設置された状態で、センサ１００による点群の情報と撮像部３００による画像の情報とが用いられるようにしてもよい。

また、図４（Ｂ）に示すように、一実施形態に係る検出機器３において、センサ１００と撮像部３００とは、それぞれの光軸Ｒａと光軸Ｌａとの間が距離Ｇに保たれるように配置されてもよい。このように配置することにより、センサ１００による点群の情報と、撮像部３００による画像の情報とは、互いに距離Ｇだけずれた情報となる。例えば、図４（Ｂ）に示す配置構成において、撮像部３００による画像の情報は、センサ１００による点群の情報よりも距離Ｇだけ上側にずれた情報になる。また、図４（Ｂ）に示す配置構成において、センサ１００による点群の情報は、撮像部３００による画像の情報よりも距離Ｇだけ下側にずれた情報になる。

したがって、図４（Ｂ）に示す配置構成において、例えば、センサ１００による点群の情報を距離Ｇだけ上側にずらすように補正することにより、センサ１００による点群の情報の位置を撮像部３００による画像の情報の位置に対応させることができる。また、図４（Ｂ）に示す配置構成において、例えば、撮像部３００による画像の情報を距離Ｇだけ下側にずらすように補正することにより、撮像部３００による画像の情報の位置をセンサ１００による点群の情報の位置に対応させることができる。このように、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報の少なくとも一方を補正することより、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するようにしてもよい。

すなわち、一実施形態に係る電子機器１において、センサ１００が物体（物標）を検出することにより得られる点群の情報及び撮像部３００が当該物体（物標）を撮像することにより得られる画像の情報の少なくとも一方を補正又はキャリブレーションしてもよい。一実施形態に係る電子機器１は、センサ１００による点群の情報と撮像部３００による画像の情報とを補正又はキャリブレーションにより整合させた情報を用いてもよい。センサ１００による点群の情報と撮像部３００による画像の情報との補正又はキャリブレーションについては、さらに後述する。

また、センサ１００による点群の検出範囲（角度）と、撮像部３００による画像の撮像範囲（角度又は画角）とは、同じにならないことも想定される。このような場合、電子機器１は、センサ１００による点群の情報及び撮像部３００による画像の情報が互いに位置的に対応するように、両者のうち広い方の範囲（角度）を狭い方の範囲（角度）に合わせてもよい。すなわち、電子機器１は、撮像部３００の撮像可能範囲と、センサ１００の検出可能範囲との重複する範囲のみの情報を用いて、重複しない範囲の情報は削除又は無視してもよい。

以上のように、一実施形態に係る電子機器１において、撮像部３００が物体を撮像することにより得られる画像の情報として、センサ１００が当該物体を検出することにより得られる点群の情報に位置的に対応した情報を用いてもよい。

以下、図４（Ａ）及び図４（Ｂ）に示したような検出機器３を用いて行う物体の検出について説明する。検出機器３において、センサ１００は、上述のように、指向性を有することにより、図４（Ｂ）に示す光軸Ｒａの方向にメインローブ（メインビーム）を有するものとする。すなわち、一実施形態に係るセンサ１００は、光軸Ｒａの方向に最も強い放射レベルを有するものとする。この場合、センサ１００は、指向性を有する送信波を照射して、その反射波を受信することにより、検出された物体を表す点群を出力することができる。ここで、このような検出を行うセンサ１００は、図４（Ｂ）に示す光軸Ｒａの方向、すなわちセンサ１００の正面にある物体の点群を最も検出し易い特性がある。したがって、例えば２つの同じ反射特性を有する物体がセンサ１００から等距離に存在する場合でも、センサ１００の正面に位置する物体と、センサ１００の正面以外に位置する物体とでは、検出により出力される点群の数が異なる。

図５（Ａ）及び図５（Ｂ）は、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれの有無について説明する図である。ここでは、一例として、図４（Ａ）及び図４（Ｂ）に示したような検出機器３によって、検出機器３からＸ軸正方向に少し離れた位置に存在する自動車を検出する場合を想定する。

例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行である場合を想定する。この場合、図５（Ａ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる物体２００（この場合は自動車）の領域に対応する位置に、センサ１００による物体２００の検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれていないため、これらの光軸のキャリブレーションを行う必要はない。図５（Ａ）及び図５（Ｂ）に示す画像ＩＭには、座標が設定されているとしてよい。また、図５（Ａ）及び図５（Ｂ）に示す画像ＩＭには、センサ１００による物体２００の検出に基づく点群ＰＴの所定位置に対応する点の第１の座標が、画像ＩＭ上の座標に変換されて画像ＩＭ上に投影されている。本開示の制御部（例えばコントローラ１０）は、物体２００が撮像された画像上の点のうちの、物体２００の所定位置に対応する第２の座標点と、センサ１００による物体２００の検出に基づく点群ＰＴの第１の座標点の、物体２００が撮像された画像上の対応する点との距離が所定以上であるか否か判定するとしてよい。画像ＩＭには、例えば互いに直交する２つの軸で座標が設定されているとしてよい。

一方、例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行でない場合を想定する。この場合、図５（Ｂ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる物体２００（この場合は自動車）の領域からずれた位置に、センサ１００による物体２００の検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれているため、これらの光軸のキャリブレーションを行うことが望ましい。より具体的には、センサ１００が検出機器３に配置される角度、及び、撮像部３００が検出機器３に配置される角度の少なくとも一方を変更する等により、光軸Ｒａ及び光軸Ｌａの少なくとも一方の方向を変更してよい。

このようなキャリブレーションが行われないと、センサ１００から出力される点群の情報と、撮像部３００によって撮像される画像の情報とを統合した情報を、適切に活用できなくなり得る。例えば、このように統合した情報にＡＩの技術を適用しても、センサ１００によって検出される物体を良好な精度で検出することが困難になり得る。したがって、一実施形態に係る電子機器１は、前述のようなキャリブレーションが必要か否かを判定し、必要な場合にはキャリブレーションを行う。

図５（Ａ）及び図５（Ｂ）に示す例においては、左右方向つまり横方向（Ｙ軸方向）のみの光軸のずれの有無及びキャリブレーションの必要性について説明した。すなわち、図５（Ａ）及び図５（Ｂ）に示す例においては、すでに上下方向つまり縦方向（Ｚ軸方向）のキャリブレーションが適宜行われる等して、縦方向（Ｚ軸方向）の光軸のずれはないものとする。図４（Ｂ）に示すように、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとの間が距離Ｇに保たれている場合、縦方向（Ｚ軸方向）のキャリブレーションを行わないと、図５（Ｂ）に示す点群ＰＴの位置は、距離Ｇに対応して縦方向にさらにずれて出力される。このような縦方向（Ｚ軸方向）のずれについても、一実施形態に係る電子機器１によれば、横方向（Ｙ軸方向）のずれと同様の原理に従って、キャリブレーションを行うことができる。

したがって、以下、説明を簡略化するために、一実施形態に係る電子機器１において、すでに縦方向（Ｚ軸方向）のキャリブレーションが適宜行われる等して、縦方向（Ｚ軸方向）の光軸はずれていないものとする。すなわち、以下、一実施形態に係る電子機器１において、横方向（Ｙ軸方向）のみの光軸のずれの検出及びキャリブレーションについて説明する。

図６は、一実施形態に係る電子機器１によってキャリブレーションを行う際の検出機器３などの配置構成を示す図である。図６に示すように、一実施形態に係る電子機器１によってキャリブレーションを行う際は、図４（Ａ）及び図４（Ｂ）に示した検出機器３からＸ軸正方向に少し離れた位置に、キャリブレーション用ボードとして、平板ＢＤを配置する。一実施形態において、平板ＢＤは、撮像部３００によって撮像可能であるとともに、センサ１００によって検出可能であるものとしてよい。例えば、平板ＢＤは、図６に示すＸ軸方向に垂直な成分を含む平面部分を有し、当該平面部分は、センサ１００から送信される送信波をセンサ１００に反射するとともに、撮像部３００によって撮像されるものとしてよい。

平板ＢＤのサイズは、特に限定されないが、例えば撮像部３００によって平板ＢＤの平面部分の全体が撮像されるような大きさとしてよい。また、平板ＢＤのサイズは、例えばセンサ１００によって平板ＢＤの平面部分の全体が検出されるような大きさとしてよい。さらに、平板ＢＤのサイズは、例えば撮像部３００によって平板ＢＤの平面部分の全体が撮像される際に、撮像された画像において平板ＢＤの占める面積が過度に小さくならないような大きさとしてよい。また、撮像部３００によって撮像される平板ＢＤの平面部分の大きさ、及び／又は、センサ１００によって検出される平板ＢＤの平面部分の大きさが適切になるように、検出機器３と平板ＢＤとの間の距離（図６に示すＸ軸方向の距離）を調整してもよい。

平板ＢＤの素材は、特に限定されないが、例えばミリ波レーダのようなセンサ１００によって良好に検出される素材としてよい。例えば、平板ＢＤの素材として、絶縁材料のような素材は用いないようにしてもよい。また、平板ＢＤにおいて、レーダ１００によって送信される送信波を反射する面は、反射波の強度を必要以上に弱めないように仕上げされていてもよい。例えば、平板ＢＤにおいて、レーダ１００によって送信される送信波を反射する面は、凹凸の少ない面又は凹凸ないの面としてもよい。また、平板ＢＤの形状は、特に限定されないが、例えば四角形に基づく形状の平面部分を有してよい。以下の説明においては、平板ＢＤの形状は、一例として矩形状とする。

次に、一実施形態に係る電子機器１の動作原理について説明する。

図７（Ａ）及び図７（Ｂ）は、図５（Ａ）及び図５（Ｂ）と同様に、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれの有無を示す図である。ここでは、図６に示した構成のように、検出機器３によって、検出機器３からＸ軸正方向に少し離れた位置に存在する平板ＢＤを検出する場合を想定する。

例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行であるとする。この場合、図７（Ａ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる平板ＢＤの中央付近の領域に対応する位置に、センサ１００による平板ＢＤの検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれていないため、これらの光軸のキャリブレーションを行わなくてもよい。

一方、例えば、センサ１００の光軸Ｒａの方向が、撮像部３００の光軸Ｌａの方向に平行でない場合を想定する。この場合、図７（Ｂ）に示すように、撮像部３００によって撮像された画像ＩＭに含まれる平板ＢＤの中央付近の領域からずれた位置に、センサ１００による平板ＢＤの検出に基づく点群ＰＴが出力される。このような場合、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとは、ずれているため、これらの光軸のキャリブレーションを行うことが望ましい。

そこで、一実施形態に係る電子機器１は、光軸のキャリブレーションを行うために、センサ１００の光軸Ｒａと、撮像部３００の光軸Ｌａとのずれがどの程度なのかを判定する。電子機器１のコントローラ１０は、図７に示すようなセンサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち最も点群の多い領域を判定する。

図８は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのずれの程度を判定する処理を説明する図である。図７に示すようなセンサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、微小な間隔で水平方向に区分した領域のうち最も点群の多い領域は、図８に示す領域Ｃｍとなる。コントローラ１０は、この領域Ｃｍを、センサ１００による平板ＢＤの検出に基づく点群ＰＴの水平方向における中心位置と判定してよい。以下、このようにして判定される中心位置を、「平板ＢＤに対応する点群の中心位置」又は「点群の中心位置」とも記す。また、コントローラ１０は、平板ＢＤに対応する点群の中心位置を、センサ１００の光軸Ｒａの向く位置と判定してよい。上述のようにキャリブレーションを行う方向に区分する領域の間隔は、平板ＢＤに対応する点群の中心位置が適切に判定できるように適宜調整された間隔としてよい。

さらに、コントローラ１０は、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤにおいて、キャリブレーションを行う方向（この場合は水平方向）の中心位置を判定する。以下、このようにして判定される中心位置を、「平板ＢＤの画像の中心位置」又は「画像の中心位置」とも記す。そして、コントローラ１０は、平板ＢＤの画像の中心位置を、撮像部３００の光軸Ｌａの向く位置と判定してよい。

一実施形態において、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とが一致していれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていないと判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要はないと判定してもよい。一方、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とが一致していなければ、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていると判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があると判定してもよい。

また、一実施形態において、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれが所定の範囲内であれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ほぼずれていないと判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要はないと判定してもよい。一方、コントローラ１０は、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれが所定の範囲を超えていれば、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとは、（この場合水平方向に）ずれていると判定してよい。この場合、コントローラ１０は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があると判定してもよい。

さらに、平板ＢＤに対応する点群の中心位置と、平板ＢＤの画像の中心位置とのずれの程度（ずれ量）は、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションのための補正値としてよい。一実施形態において、コントローラ１０は、前述のようなずれ量に基づいて、センサ１００から出力される点群の座標を補正してもよい。このようなソウトウェア的な補正により、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとの物理的な配置を変更せずに、キャリブレーションを行うことができる。

図７（Ｂ）及び図８に示した例においては、撮像部３００によって撮像された画像ＩＭ（画像ＩＭ全体）の中心の位置は、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置と一致している。しかしながら、撮像部３００によって撮像された画像ＩＭの中心の位置と、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置とは、必ずしも一致していなくてもよい。例えば平板ＢＤのように、ある程度の大きさの平面部分を有する物体をセンサ１００によって検出すると、当該検出により得られる点群は、平面部分の中心に近いほど密になる。したがって、撮像部３００によって撮像された画像ＩＭの中心の位置と、撮像部３００によって撮像された画像ＩＭにおける平板ＢＤの中心の位置が一致していなくても、コントローラ１０は、平板ＢＤの画像の中心位置を判定することができる。

図９は、一実施形態に係る電子機器１の動作を説明するフローチャートである。図９に示す動作は、例えば図６に示したような配置構成の検出機器３を用いて開始してよい。また、図９に示す動作は、電子機器１が、センサ１００の光軸Ｒａと撮像部３００の光軸Ｌａとのキャリブレーションを行う必要があるか否かを判定する際に開始してよい。

図９に示す動作が開始する時点で、撮像部３００は、平板ＢＤの画像を撮像しているものとする。また、図９に示す動作が開始する時点で、センサ１００は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体（平板ＢＤ）を検出することにより得られる点群の情報を出力しているものとする。

ここで、レーダ制御部１１０は、送信波及び反射波に基づくビート信号に所定の信号処理を行い、物体の検出に基づく点群の情報（点群データ）を生成してよい。
この場合、レーダ制御部１１０は、上述した信号処理、例えば、距離ＦＦＴ処理、速度ＦＦＴ処理、一定誤警報確率（ＣＦＡＲ）による検出処理、及び所定のクラスタリング処理など少なくともいずれかを実行してよい。また、レーダ制御部１１０は、前述の信号処理に限定されず、物体の検出に基づく点群データを生成するための任意の処理を実行してよい。例えばミリ波レーダのような技術において、物体の検出に基づいて点群データを生成する種々の処理が知られているため、より詳細な説明は省略する。

レーダ制御部１１０は、例えば、図７（Ｂ）に示した物体（平板ＢＤ）に対応する点群データとして、図７（Ｂ）に示した点群ＰＴのような点群データを生成してよい。以上のようにして、センサ１００は、物体の検出に基づく点群データを出力する。このようにしてセンサ１００から出力された点群データは、電子機器１のコントローラ１０に入力されてよい。

図９に示す動作が開始すると、コントローラ１０は、撮像部３００によって撮像される画像を取得する（ステップＳ１１）。ステップＳ１１において取得される画像は、平板ＢＤが撮像されているものとする。

次に、コントローラ１０は、センサ１００から出力される点群の情報（点群データ）を取得する（ステップＳ１２）。ステップＳ１２において取得される点群データは、センサ１００によって検出された平板ＢＤの位置に対応するものとする。

ステップＳ１２において取得される点群データは、３次元空間において検出された物体の３次元的な位置を示す情報である。そこで、電子機器１のコントローラ１０は、ステップＳ１２において取得された３次元の点群データを、２次元のデータに変換する（ステップＳ１３）。ステップＳ１３において、コントローラ１０は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成してよい。

図１０は、センサ１００によって出力される３次元空間における点群の情報について説明する図である。図１０は、ある場所に位置する物体（この場合は人間）Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的に検出する状況の一例を示す図である。

図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、物体Ｔｍに近づく方向をＸ軸正方向とし、物体Ｔｍから遠ざかる方向をＸ軸負方向とする。また、図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の右側をＹ軸正方向とし、センサ１００の左側をＹ軸負方向とする。また、図１０に示すように、センサ１００が設置された位置を基準（原点Ｏ）として、センサ１００の上側をＺ軸正方向とし、センサ１００の下側をＺ軸負方向とする。すなわち、図１０において、ｌｘは奥行方向の距離を示し、ｌｙは水平方向の距離を示し、ｌｚは垂直（高さ）方向の距離を示す。図１０に示すような状況において、センサ１００の出力は、ある瞬間において、３次元空間における位置（Ｘ，Ｙ，Ｚ）のデータ要素（信号強度及び速度）の４チャンネルのデータとしてよい。図９に示すステップＳ１３において、コントローラ１０は、このような３次元空間において検出した情報を、２次元の情報に変換する。

図１１は、センサ１００によって出力される３次元空間における点群の情報から、２次元的に処理可能な点群の情報を生成する例を説明する図である。図１１は、ある場所に位置する物体（この場合は人間）Ｔｍを、原点Ｏに設置されたセンサ１００によって３次元的（空間的）に検出したものを、電子機器１において２次元的（平面的）に変換した一例を示す図である。

図１１に示すように、原点Ｏの位置を基準として、原点Ｏの右側をＸ軸正方向とし、原点Ｏの下側をＹ軸正方向とする。すなわち、図１１において、ｐｘは水平方向の座標を示し、ｐｙは垂直方向の座標を示す。図１１に示すような状況において、センサ１００の出力は、ある瞬間において、上述した４チャンネルのデータから、２次元平面における位置（Ｘ，Ｙ）のデータ要素（信号強度及び速度）の３チャンネルのデータに変換されている。このように、図９に示すステップＳ１３において、電子機器１は、３次元空間において検出した情報を、２次元平面の情報に変換する。

上述のように３次元空間において検出した情報を、２次元平面の情報に変換する際には、２次元平面の座標を、例えば以下の式（１）及び式（２）に基づいて算出してよい。

上述の式（１）及び式（２）において、ｌｘ_ｉ，ｌｙ_ｉ，ｌｚ_ｉは、センサ１００による検出の結果に基づく出力、すなわち３次元空間における点群の情報を示す。特に、ｌｘ_ｉは、センサ１００によって検出されるｉ番目の情報のｘ方向の距離を示す。また、ｌｙ_ｉは、センサ１００によって検出されるｉ番目の情報のｙ方向の距離を示す。また、ｌｚ_ｉは、センサ１００によって検出されるｉ番目の情報のｚ方向の距離を示す。

また、上述の式（１）及び式（２）において、ｐｘ_ｉ，ｐｙ_ｉは、電子機器１のコントローラ１０によって２次元平面の情報に変換された点群の座標を示す。特に、ｐｘ_ｉは、センサ１００によって検出されるｉ番目の情報のｘ座標を示す。また、ｐｙ_ｉは、センサ１００によって検出されるｉ番目の情報のｙ座標を示す。

さらに、上述の式（１）において、Ｍは、２次元平面の画像を想定した場合における水平方向の画素数を示し、αｘは、２次元平面の画像を想定した場合における水平方向の画角を示す。また、上述の式（２）において、Ｎは、２次元平面の画像を想定した場合における垂直方向の画素数を示し、αｙは、２次元平面の画像を想定した場合における垂直方向の画角を示す。

上述の式（１）及び式（２）において、ｐｘ_ｉ，ｐｙ_ｉは座標の値として機能するように、小数点第一位を四捨五入して整数化してもよい。また、上述の式（１）及び式（２）において、ｐｘ_ｉ，ｐｙ_ｉは２次元平面に変換した後の画像のサイズに収まるように、例えば０≦ｐｘ_ｉ≦Ｍ、又は０≦ｐｙ_ｉ≦Ｎを満たさないデータは破棄してもよい。

このように、一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成してよい。特に、一実施形態に係る電子機器１は、センサ１００によって検出される点群の情報を、２次元的な画像における所定の画素数及び所定の画角の少なくとも一方に基づいて、２次元的に処理可能な点群の情報に変換してもよい。一実施形態に係る電子機器１は、センサ１００の出力から、２次元的に処理可能な点群の情報を生成する際に、上述の式（１）及び式（２）以外の変換式に基づいてもよい。

一実施形態に係る電子機器１によれば、ステップＳ１２における点群の情報を、ステップＳ１３において低次元化するため、例えばコントローラ１０による計算量を相当に削減することができる。したがって、一実施形態に係る電子機器１によれば、例えばコントローラ１０の処理負荷を軽減することができる。ステップＳ１３において生成される２次元の点群データを構成する各点は、それぞれ、当該点における反射強度、距離、及び速度の３チャンネルの情報を含むものとしてよい。

ステップＳ１３の後、コントローラ１０は、平板ＢＤの検出に基づく点群データにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち最も点群の多い領域を判定する（ステップＳ１４）。ここで、最も点群の多い領域とは、図８において領域Ｃｍとして示したような「列」としてもよい。すなわち、ステップＳ１４において、コントローラ１０は、平板ＢＤに対応する点群の中心位置を判定する。次に、コントローラ１０は、点群が最多の列、すなわち、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否か判定する（ステップＳ１５）。ステップＳ１５において、コントローラ１０は、上述のように、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否かを判定するのではなく、両者の位置が所定の範囲内であるか否かを判定してもよい。

ステップＳ１５において、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致する（又は所定の範囲内の）場合、コントローラ１０は、キャリブレーションは必要ないと判定してもよい。この場合、コントローラ１０は、図９に示す動作を終了してよい。また、この場合、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致している旨、及び／又は、キャリブレーションは必要ないと旨を、ユーザに通知してもよい。

一方、ステップＳ１５において、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致しない（又は所定の範囲を超える）場合、コントローラ１０は、キャリブレーション（又は補正）が必要であると判定してもよい（ステップＳ１６）。ステップＳ１６において、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置からずれている量に基づいて、センサ１００によって検出される点群の座標を補正してよい。このような場合、コントローラ１０は、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致していなかった（若しくはずれていた）旨、及び／又は、センサ１００から出力される点群の座標を補正した旨を、ユーザに通知してもよい。また、コントローラ１０は、平板ＢＤの画像の中心位置からずれている量に基づいて、平板ＢＤの画像の中心位置の座標を補正してもよい。

以上説明したように、コントローラ１０は、送信波として送信される送信信号、及び送信波が反射された反射波として受信される受信信号に基づいて、送信波を反射する物体（例えば平板ＢＤ）を検出することにより得られる点群の情報から、点群の中心位置を判定してよい。また、コントローラ１０は、物体（平板ＢＤ）が撮像された画像の情報から、画像における物体の中心位置を判定してよい。さらに、コントローラ１０は、点群の中心位置と画像における物体（平板ＢＤ）の中心位置との距離が所定以上であるか否か判定してよい。

また、一実施形態において、コントローラ１０は、点群の情報において水平方向又は垂直方向に区分された領域のうち、最も点群の数が多い領域を、点群の中心位置と判定してもよい。また、コントローラ１０は、３次元空間において検出された点群の情報を、２次元の情報に変換してもよい。また、コントローラ１０は、点群の中心位置と、画像における物体（平板ＢＤ）の中心位置との距離が所定以上であるか否かの判定に基づいて、点群の中心位置（の座標）及び／又は画像における物体（平板ＢＤ）の中心位置（の座標）を補正してもよい。

また、一実施形態において、コントローラ１０は、送信波を反射する物体として、例えば平板ＢＤのような平面部分を有する板状部材を検出することにより得られる点群の情報から、点群の中心位置を判定してもよい。この場合、コントローラ１０は、板状部材が撮像された画像の情報から、画像における板状部材の中心位置を判定してもよい。また、コントローラ１０は、点群の中心位置と画像における板状部材の中心位置との距離が所定以上であるか否か判定してもよい。

このように、一実施形態に係る電子機器１によれば、センサの光軸とカメラの光軸とのずれが簡便にキャリブレーションされる。したがって、一実施形態に係る電子機器１によれば、物体を検出するセンサ及び当該物体を撮像するカメラを簡便にキャリブレーションすることができる。一実施形態に係る電子機器１によれば、例えばミリ波レーダのセンサによって検出される物体の点群の情報と、当該物体をカメラで撮像した画像の情報とを統合した情報にＡＩの技術を適用することで、当該物体を良好な精度で検出することができる。この場合、コントローラ１０は、点群の情報、及び物体が撮像された画像の情報に基づいて、物体の位置を機械学習してもよい。

（他の実施形態）
上述した実施形態においては、図８に示したように、微小な間隔で水平方向に区分した領域のうち最も点群の多い領域（領域Ｃｍ）に基づいて、平板ＢＤに対応する点群の中心位置を判定した。しかしながら、一実施形態において、他の情報に基づいて、平板ＢＤに対応する点群の中心位置を判定してもよい。

例えば、実際にセンサ１００から出力される情報は、図１２に示すように、平板ＢＤの検出に基づく本来の点群（●で示す）の他に、ノイズとして検出される点（〇で示す）なども含まれる。このような、ノイズとして検出される点が多くなると、上述のように微小な間隔で水平方向に区分した領域のうち最も点群の多い領域（領域Ｃｍ）が正しく判定されないことも懸念される。

そこで、図１２に示すようなセンサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、当該複数のフレームにおいて点群が出現する頻度を考慮してもよい。図１３は、センサ１００から出力される点群の情報を送信波の複数フレームぶん統合した際に点群が出現する頻度を表すヒートマップの一例を示す図である。一実施形態において、コントローラ１０は、図１２に示すようなセンサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、図１３に示すようなヒートマップを適用してもよい。

図１４は、センサ１００から出力される点群の情報を送信波の複数フレームぶん統合する際に、点群の出現頻度を表すヒートマップを適用した結果の例を示す図である。
図１４に示すように、点群の出現頻度を表すヒートマップを適用することにより、ノイズの影響を低減することができる。

図１４に示すように、コントローラ１０は、平板ＢＤの検出に基づく点群ＰＴを構成する各点の反射強度（電力）の積分値を算出してもよい。この場合、コントローラ１０は、センサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち、反射強度（電力）の積分値が最大となる領域を判定してよい。図１４に示すように、センサ１００による平板ＢＤの検出に基づく点群ＰＴにおいて、微小な間隔で水平方向に区分した領域のうち、反射強度（電力）の積分値が最大となる領域は、図１４に示す領域Ｅｍとなる。コントローラ１０は、この領域Ｅｍを、センサ１００による平板ＢＤの検出に基づく点群ＰＴの水平方向における中心位置（平板ＢＤに対応する点群の中心位置）と判定してよい。この場合も、キャリブレーションを行う方向に区分する領域の間隔は、平板ＢＤに対応する点群の中心位置が適切に判定できるように適宜調整された間隔としてよい。

図１５は、上述した他の実施形態に係る電子機器１の動作を説明するフローチャートである。図１５において、図９と異なる部分について重点的に説明し、図９と同様又は類似となる説明は、適宜、簡略化又は省略する。

図１５に示す動作が開始すると、ステップＳ１１からステップＳ１３までの動作は、図９に示すステップＳ１１からステップＳ１３までの動作と同様に行ってよい。

ステップＳ１３の後、コントローラ１０は、ステップＳ１３において２次元に変換された点群データを、フレームを単位として統合する（ステップＳ２１）。ステップＳ２１の後、コントローラ１０は、ステップＳ２１において統合されたフレームが所定数（Ｎフレーム）に達したか否か判定する（ステップＳ２２）。ここで、統合するフレームの数は、適宜設定してよい。

ステップＳ２２においてフレームの統合が所定数に達していない場合、コントローラ１０は、ステップＳ１１からステップＳ１３まで及びステップＳ２１の動作を繰り返す。ステップＳ２２においてフレームの統合が所定数に達した場合、コントローラ１０は、図１４に例示したような点群の出現頻度を表すヒートマップを、Ｎフレーム統合した点群データに適用する（ステップＳ２３）。

ステップＳ２３の後、コントローラ１０は、平板ＢＤの検出に基づく点群データにおいて、キャリブレーションを行う方向（この場合は水平方向）に所定の間隔で区分した領域のうち反射強度（電力）の積分値が最大となる領域を判定する（ステップＳ２４）。ここで、反射強度（電力）の積分値が最大となる領域とは、図１４において領域Ｅｍとして示したような「列」としてもよい。すなわち、ステップＳ２４において、コントローラ１０は、平板ＢＤに対応する点群の中心位置を判定する。次に、コントローラ１０は、反射強度（電力）の積分値が最大となる領域、すなわち、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否か判定する（ステップＳ２５）。ステップＳ２５において、コントローラ１０は、上述のように、平板ＢＤに対応する点群の中心位置が、平板ＢＤの画像の中心位置と一致するか否かを判定するのではなく、両者の位置が所定の範囲内であるか否かを判定してもよい。以降の動作は、図９の動作と同様としてよい。

以上説明したように、コントローラ１０は、点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、点群の中心位置と判定してもよい。この場合、コントローラ１０は、送信波の所定数のフレームを重ねた結果について、前述のような判定を行ってもよい。また、コントローラ１０は、送信波の所定数のフレームを重ねた結果について、点群が検出された頻度に基づいて、前述のような判定を行ってもよい。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。

上述した実施形態は、電子機器１としての実施のみに限定されるものではない。例えば、上述した実施形態は、電子機器１に含まれる電子機器１として実施してもよい。また、上述した実施形態は、例えば、電子機器１のような機器による監視方法として実施してもよい。さらに、上述した実施形態は、例えば、電子機器１のような機器又は情報処理装置（例えばコンピュータ）が実行するプログラムとして実施してもよく、そのようなプログラムを記録した記憶媒体若しくは記録媒体として実施してもよい。

１ 電子機器
３ 検出機器
５ スタンド部
７ 接地部
１０ コントローラ
２０ 記憶部
３０ 通信部
４０ 表示部
５０ 報知部
１００ センサ
１０１ 電波入力部
１１０ レーダ制御部
１２０ 送信部
１２１ 信号生成部
１２２ シンセサイザ
１２３ 位相制御部
１２４ 増幅器
１２５ 送信アンテナ
１３０ 受信部
１３１ 受信アンテナ
１３２ ＬＮＡ
１３３ ミキサ
１３４ ＩＦ部
１３５ ＡＤ変換部
３００ 撮像部
３０１ 光入力部

Claims (12)

1. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
   前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
   に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正する、電子機器。
2. 前記制御部は、
   送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群の情報から、前記点群の中心位置を判定し、
   前記物体が撮像された画像の情報から、前記画像における前記物体の中心位置を判定して、
   前記点群の中心位置と前記画像における前記物体の中心位置との距離が所定以上であるか否か判定する請求項１に記載の電子機器。
3. 前記制御部は、前記点群の情報において水平方向又は垂直方向に区分された領域のうち最も点群の数が多い領域を前記点群の中心位置と判定する、請求項２に記載の電子機器。
4. 前記制御部は、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項２に記載の電子機器。
5. 前記制御部は、前記送信波の所定数のフレームを重ねた結果について、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項４に記載の電子機器。
6. 前記制御部は、前記送信波の所定数のフレームを重ねた結果について、前記点群が検出された頻度に基づいて、前記点群の情報において水平方向又は垂直方向に区分された領域のうち、当該領域に含まれる点群が示す電力の積分値が最大となる領域を、前記点群の中心位置と判定する、請求項５に記載の電子機器。
7. 前記制御部は、３次元空間において検出された前記点群の情報を、２次元の情報に変換する、請求項１に記載の電子機器。
8. 前記制御部は、前記点群の中心位置と前記画像における前記物体の中心位置との距離が所定以上であるか否かの判定に基づいて、前記点群の中心位置及び／又は前記画像における前記物体の中心位置の座標を補正する、請求項２に記載の電子機器。
9. 前記制御部は、前記点群の情報、及び前記物体が撮像された画像の情報に基づいて、前記物体の位置を機械学習する、請求項２に記載の電子機器。
10. 前記制御部は、
    前記送信波を反射する物体として、平面部分を有する板状部材を検出することにより得られる点群の情報から、前記点群の中心位置を判定し、
    前記板状部材が撮像された画像の情報から、前記画像における前記板状部材の中心位置を判定して、
    前記点群の中心位置と前記画像における前記板状部材の中心位置との距離が所定以上であるか否か判定する、請求項２に記載の電子機器。
11. 送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
    前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
    に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップを含む、電子機器の制御方法。
12. コンピュータに、
    送信波として送信される送信信号、及び前記送信波が反射された反射波として受信される受信信号に基づいて、前記送信波を反射する物体を検出することにより得られる点群における、前記物体の所定位置に対応する第１の座標点と、
    前記物体が撮像された画像における、前記所定位置に対応する第２の座標点と、
    に基づいて、前記点群における前記物体の位置と前記画像における前記物体の位置とのズレを補正するステップと実行させる、プログラム。

Images