JP6807343B2 - 付着物除去システム、及び付着物の除去方法 - Google Patents

Description

本発明は、付着物除去システム、及び付着物の除去方法に関する。

従来、屋外に設置されることを前提とした屋外用カメラが広く利用されている。屋外用カメラとしては、例えば、車載カメラや監視カメラが挙げられる。車載カメラは、例えば、バックカメラとして車外後方に設置され、車載カメラが撮影した画像を車内の表示装置で表示することで車両周辺の状況を確認可能とするバックモニタ装置に利用される。

このような屋外で使用される屋外用カメラにおいては、レンズの表面に雨等による水滴や泥等による汚れが付着しがちである。これらの付着物がレンズに付着した状態だと、撮影した画像が不鮮明となる問題があった。

このような問題を解決するために、レンズの表面に付着した付着物を除去するための技術が提案されている。例えば、特許文献１には、車載カメラにおいて、撮像ユニットをレンズの光軸が揺動する方向に振動させることによって水滴を除去する水滴除去機能を備えた水滴除去機能付カメラが開示されている。また、特許文献２には、カメラの一部に写った車両の一部分の画像(実画像)と、カメラに付着物が付いていないときの実画像に対応する基準画像とを比較することでカメラの付着物の有無を判定する車両用のバックモニタ装置が開示されている。

特開２０１３−８０１７７号公報 特開２００８−２６５７２７号公報

特許文献１に開示された発明は、リアカメラにより撮影された画像とともに水滴除去機能を作動させるためのボタンをタッチパネルディスプレイに表示し、ユーザがボタンを押操作することで、水滴除去機能を作動させる。また、特許文献２に開示された発明は、雨滴や汚れ等がカメラに付着したことを検出すると自動的に付着物除去装置を作動させることで、カメラの表面を常にクリーンな状態に保つことができる。

特許文献１に開示の発明では、ボタンを押操作するのみで水滴の除去機能を作動させることができるため、ユーザにとって操作が簡単である。更に、特許文献２に開示の発明では、自動的に付着物除去装置を作動させるため、付着物の除去するための特別な操作が不要である。しかしながら、これらの発明では、付着物の除去において操作の面白さや感動を得られ難いという欠点があった。そのため、より操作の面白さや感動をユーザに提供することが可能な技術が求められていた。

本発明は、このような要求に応じるためになされたものであり、カメラのレンズ表面に付着した付着物の除去において、より操作の面白さや感動をユーザに提供可能な技術を提供することを、解決する課題とする。

上記課題を解決するため、本発明は、以下の手段を採用した。即ち、本発明は、カメラと、前記カメラが取得した画像を表示する表示手段と、前記表示手段に対するユーザの操
作を検出する検出手段と、前記カメラのレンズに付着した付着物を除去するための除去動作を実行する付着物除去手段と、前記検出手段が検出した、前記画像に対する前記操作に基づいて前記付着物除去手段に前記除去動作を実行させる制御手段と、を備える、付着物除去システムである。

即ち、本発明は、付着物が表示されている画像に対してユーザが行う操作に応じて付着物を除去する。これによれば、ユーザの操作によって付着物を直接除去するような感覚をユーザに提供することができる。そして、ユーザは、画像に基づく直感的な操作によって付着物を除去することができる。その結果、本発明によれば、付着物の除去において、面白さや感動をユーザに提供することができる。

また、前記制御手段は、前記操作が、前記画像に対してされた特定の操作である拡大操作であったか否かを判定し、前記操作が前記拡大操作であったときに、前記拡大操作の対象を拡大して前記表示手段に表示する、表示制御部を有してもよい。これによると、ユーザは、除去したい付着物に対して拡大操作を行い、当該付着物を拡大表示することで、容易に除去操作を行うことができる。その結果、本発明によれば、より確実に付着物の除去を行うことができる。

また、前記制御手段は、前記検出手段が検出した前記操作が、前記画像に対してされた特定の操作である除去操作であったか否かを判定し、前記操作が前記除去操作であったときに、前記付着物除去手段に前記除去動作を実行させる除去動作制御部を有してもよい。付着物を除去するためには、ユーザは特定の操作を画像に対して行う必要がある。そのため、付着物の除去にゲーム性を付与することができ、ユーザに対して更なる面白さや感動を提供することができる。

また、前記除去操作は、前記画像に対する接触操作であってもよい。これによると、ユーザは、より直感的な操作によって付着物を除去することができる。また、前記除去操作は、前記画像に対する接触操作であって、スライド操作、フリック操作、タップ操作、ダブルタップ操作、トリプルタップ操作のうち、何れかであってもよい。

更に、前記制御手段は、前記画像内の前記付着物を検出する付着物検出部を有し、前記除去動作制御部は、前記除去操作の対象が前記画像内の特定の付着物であったときに、前記付着物除去手段に、当該特定の付着物に対して前記除去動作を実行させてもよい。これによると、ユーザが除去したい付着物を確実に除去することができる。また、除去対象とする付着物をユーザに選択させることで、付着物の除去にゲーム性を付与することができる。その結果、本発明によれば、付着物の除去において、更なる面白さや感動をユーザに提供することができる。

また、前記除去動作制御部は、前記除去操作の操作方向に応じて前記付着物を除去する方向を変化させてもよいし、前記除去操作の操作速度に応じて前記付着物を除去する強さを変化させてもよいし、前記除去操作の操作距離に応じて前記付着物を除去する強さを変化させてもよい。これによると、これにより、除去される付着物の挙動がユーザの除去操作をより反映したものとなる。その結果、付着物の除去において、更なる面白さや感動をユーザに提供することができる。

更に、前記表示手段は、前記カメラとの間で無線通信を実行することによって前記カメラから前記画像を取得し、前記制御手段は、前記付着物除去手段との間で無線通信を実行することによって前記付着物除去手段に前記除去動作を実行させてもよい。これによると、カメラ及び付着物除去手段とその他の構成とを遠隔配置することができる。これにより、本発明は、監視カメラ等の遠隔カメラにおける付着物の除去に好適に用いることができ
る。

また、本発明は、付着物の除去方法としても特定することができる。即ち、本発明は、カメラが取得した画像を表示する表示手段に対するユーザの操作を検出し、前記操作に基づいて前記カメラのレンズに付着した付着物を除去する付着物の除去方法であって、前記操作が、前記画像に対してされた特定の操作である除去操作であったか否かを判定するステップと、前記操作が前記除去操作であったときに、前記付着物を除去するための除去動作を実行するステップと、を含む、付着物の除去方法である。

本発明によれば、カメラのレンズ表面に付着した付着物の除去において、より操作の面白さや感動をユーザに提供することができる。

実施形態に係る付着物除去システムを示すブロック図である。 実施形態に係る付着物除去装置を示す図である。 実施形態に係る制御装置のハードウェア構成の一例を示す図である。 実施形態に係る制御装置が実行する付着物の除去処理のフローを示す図である。 表示部に表示される画面を示す図であって、付着物を含んだ画像が表示されたときの画面を示す図である。 表示部に表示される画面を示す図であって、特定の付着物に対してフリック操作がされた状態を示す図である。 表示部に表示される画面を示す図であって、付着物以外の領域に対してフリック操作がされた状態を示す図である。 表示部に表示される画面を示す図であって、複数の付着物に対して除去操作がされた状態を示す図である。 変形例１に係る付着物の除去処理のフローを示す図である。 変形例１において表示部に表示される画面を示す図であって、特定の付着物に対してピンチアウト操作がされた状態を示す図である。 表示部に表示される画面を示す図であって、ピンチアウト操作がされた領域が拡大表示された状態を示す図である。 変形例２に係る付着物除去システムを示すブロック図である。 変形例３に係る付着物除去装置を示す図である。 変形例４に係る付着物除去装置を示す図である。

以下、本発明の好適な実施の形態について、図面を参照して説明する。但し、以下で説明する実施形態は本発明を実施するための例示であり、本発明は以下に説明する態様に限定されない。

図１は、実施形態に係る付着物除去システム（以下、除去システム）１００を示すブロック図である。実施形態に係る除去システム１００は、車両に搭載され、車両外部に設置されて車両周辺の画像を取得（撮像）するカメラ１と、カメラ１が取得した画像を表示するとともにユーザによる操作を受け付ける表示／操作装置２と、カメラ１のレンズ１１に付着した付着物を除去する付着物除去装置３と、表示／操作装置２と付着物除去装置３とを制御することによって、ユーザによる表示／操作装置２に対する操作に応じてカメラ１のレンズ１１に付着した水滴や泥等による汚れ（以下、付着物）を付着物除去装置３に除去させる制御装置４と、を有する。以下、除去システム１００の各構成について詳細に説明する。

カメラ１は、レンズ１１と撮像素子とを備えており、電子的に車両周辺の画像を取得する。カメラ１は、具体的には、車外後方に設けられて車両後方の周辺画像を取得するバックカメラである。カメラ１は、所定の周期（例えば、１／３０秒周期）で周辺画像を取得し、各画像を動画像の１つのフレームとする映像信号を制御装置４へ入力する。カメラ１は、例えば、車両が後退する際に、図５に示すような車両後方の周辺画像を取得する。なお、本明細書において、「画像」とは、特に説明をしない限り、カメラ１が取得した画像のことを指す。

表示／操作装置２は、車内におけるユーザ（主にドライバ）が視認可能な位置に配置されており、制御装置４の制御に応じて各種の情報をユーザに表示する表示部２１と、表示部２１が表示した画面に対してユーザによる接触操作が行われたことを検出して、制御装置４に操作情報を出力する操作検出部２２と、を有する。

表示／操作装置２は、具体的には、表示部２１に操作検出部２２が重畳配置されて構成されたタッチパネルディスプレイ（以下、タッチパネル）である。表示部２１は、例えば、液晶パネル、有機ＥＬ、プラズマディスプレイ等である。操作検出部２２が接触を検出する方式としては、圧力検出方式、抵抗膜方式、静電容量方式、電磁誘導方式等を採用することができる。表示部２１は、本発明における「表示手段」の一例である。また、操作検出部２２は、本発明における「検出手段」の一例である。

操作検出部２２は、ユーザの接触操作によって表示部２１に物体が接触すると、その接触位置における押圧、電気抵抗、電気容量、エネルギー等の変化量に基づいて、物体の表示部２１への接触を検出し、接触がされている表示部２１上の位置座標（以下、接触位置座標）を特定する。操作検出部２２は、接触の有無や接触位置座標等を操作情報として制御装置４に出力する。ここで、操作検出部２２は、同時に複数の接触を検出可能であり、全ての接触位置座標を取得することが可能である。なお、以下の説明では、ユーザの指が画面に触れることによる操作を接触操作として説明するが、接触操作は、例えば、ユーザが持つスタイラスペン等の指以外の物体により行われてもよい。

付着物除去装置３は、制御装置４の制御に応じて付着物を除去するための除去動作を実行する。実施形態に係る付着物除去装置３は、除去動作を実行することで、カメラ１のレンズ１１に対して圧縮空気を噴射し、レンズ１１に付着した付着物を除去する。付着物除去装置３は、ポンプ３１と、ホース３２と、ノズル３３と、駆動部３４を有する。ポンプ３１は、所謂エアーポンプであり、制御装置４の制御に応じて動作し、空気を圧縮することで圧縮空気を生成する。ポンプ３１は、制御装置４の制御に応じて圧縮空気の噴射量や噴射圧を変更可能である。ポンプ３１が生成した圧縮空気をノズル３３に供給する。図２は、実施形態に係る付着物除去装置３を示す図である。図２に示すように、ノズル３３は、カメラ１のレンズ１１付近に設けられ、レンズ１１の上方に配置される。ノズル３３は、ホース３２を介してポンプ３１から供給された圧縮空気を、先端に設けられた噴射口３３１からカメラ１のレンズ１１に向けて噴射する。駆動部３４は、制御装置４の制御に応じてノズル３３を駆動することによって、ノズル３３の向きを変更可能である。駆動部３４は、例えば、ステッピングモーターによって構成される。このような付着物除去装置３は、ポンプ３１が制御装置４の制御に応じて圧縮空気の付着物への噴射量や噴射圧を変化させることが可能であり、駆動部３４が制御装置４の制御に応じてノズル３３の向きを変更させることで、圧縮空気の付着物への噴射方向を変化させることが可能である。付着物除去装置３は、本発明における「付着物除去手段」の一例である。

制御装置４は、プログラムを実行することによって表示／操作装置２と付着物除去装置３とを制御し、ユーザによる表示／操作装置２に対する操作に応じて付着物を付着物除去装置３に除去させる。制御装置４は、表示制御部４１と、付着物検出部４２と、操作属性判定部４３と、除去動作制御部４４と、記憶部４５と、を有する。制御装置４は、例えば、これらの構成を備えたカーナビゲーション装置である。制御装置４は、本発明における「制御手段」の一例である。

表示制御部４１は、上述した表示部２１を制御する。実施形態に係る表示制御部４１は、車両が後退する際にカメラ１が取得した画像を表示部２１に表示させることによって、制御装置４をバックモニタ装置として機能させる。また、詳細については後述するが、表示制御部４１は、表示部２１に表示された画像に対してピンチアウト操作がされたときに、ピンチアウト操作がされた領域を拡大表示する。

付着物検出部４２は、カメラ１が取得した画像の中に含まれる付着物を検出する。付着物検出部４２は、エッジ検出処理を実行することによって、画像内に含まれる付着物を検出する。付着物は、画像において輪郭が暈けて写ることから、付着物検出部４２は、画像における各画素のエッジの強度を導出し、導出されたエッジの強度が特定範囲にある画素の集合（領域）を１つの付着物として検出する。付着物検出部４２は、画像における付着物の位置やサイズ（範囲）、数量を含む情報を付着物情報として出力する。なお、付着物検出部４２が付着物を検出する方法は、上記に限らず、任意の方法を選択することができる。

操作属性判定部４３は、操作検出部２２が接触操作を検出すると、操作検出部２２から出力された操作情報を取得し、操作情報に基づいて、操作検出部２２が検出した接触操作の属性を判定する。操作属性判定部４３は、接触操作の属性として、接触操作の種類、表示部２１上において接触操作がされた位置や範囲、接触操作の方向（操作方向）、接触操作の距離（操作距離）、接触操作の速さ（操作速度）等を判定する。

ここで、操作属性判定部４３が判定する接触操作の種類は、スライド操作、フリック操作、タップ操作、ピンチイン操作、ピンチアウト操作等である。本明細書において、「スライド操作」とは、ユーザが指を表示部２１に接触させ（タッチオン）、表示部２１と指との接触状態を維持したまま指を滑らせることによって接触位置を変化させ、タッチオン位置から離れた位置で表示部２１から指を離す（タッチオフ）という一連の接触操作のことを指す。操作属性判定部４３は、タッチオン位置から所定の距離以上離れた位置でタッチオフがあったときに、スライド操作があったと判定する。また、本明細書において、「フリック操作」とは、素早いスライド操作を指す。即ち、本明細書において、フリック操作は、スライド操作の一態様である。操作属性判定部４３は、タッチオン後、所定以上の速度で接触位置が変化してタッチオフがあったときに、フリック操作があったと判定する。また、「タップ操作」とは、タッチオン後に素早くタッチオフする接触操作のことを指す。操作属性判定部４３は、タッチオン位置とタッチオフ位置との距離が所定の距離未満であり、且つ、所定期間内にタッチオンからタッチオフまでの動作が完了したときに、タップ操作があったと判定する。また、操作属性判定部４３は、タップの後、所定時間以内に再度タップを検出すると、「ダブルタップ操作」があったと判定する。更に所定時間以内に再度タップを検出すると、「トリプルタップ操作」があったと判定する。また、「ピンチイン操作」とは、２本の指を近づける方向に夫々の指をスライド操作する接触操作のことを指す。また、「ピンチアウト操作」とは、２本の指を離す方向に夫々の指をスライド操作する接触操作のことを指す。操作属性判定部４３は、同時に２点で接触がある状態で、２点間の距離が縮小する方向に接触位置座標が変化したときに、ピンチイン操作がされたと判定し、２点間の距離が拡大する方向に接触位置座標が変化したときに、ピンチアウト操作がされたと判定する。

除去動作制御部４４は、操作属性判定部４３の判定結果に基づいて、接触操作が画像に
対してされた特定の操作である除去操作であったか否かを判定し、接触操作が除去操作であったときに、付着物除去装置３に除去動作を実行させる。実施形態に係る除去動作制御部４４は、表示部２１が検出した接触操作が画像に対してされたフリック操作であったときに、除去操作があったと判定する。

また、除去動作制御部４４は、除去操作があったときに、操作検出部２２から出力された操作情報と付着物検出部４２から出力された付着物情報とに基づいて、除去操作の対象を判定し、除去操作の対象が画像内の特定の付着物であったときに、当該特定の付着物に対して除去動作を付着物除去装置３に実行させる。除去動作制御部４４は、画像における除去操作があった位置と付着物が検出された位置とを比較し、除去操作が何れの付着物に対してされたかを判定する。

除去動作制御部４４は、トリガ信号を生成してポンプ３１へ出力することによってポンプ３１を作動させ、付着物除去装置３に除去動作を実行させる。また、除去動作制御部４４は、シリアル通信によってポンプ３１に制御信号を出力することによってノズル３３から噴射される圧縮空気の噴射量や噴射圧を変更する。また、除去動作制御部４４は、駆動部３４に制御信号を出力することによって、ノズル３３の向きを変更させる。

記憶部４５は、付着物検出部４２による検出処理、操作属性判定部４３による判定処理、及び除去動作制御部４４による判定処理に用いる各種処理条件や各種パラメータをあらかじめ記憶し、記憶した各種処理条件や各種パラメータを適宜付着物検出部４２、操作属性判定部４３、除去動作制御部４４に出力する。更に、記憶部４５には、制御装置４内で行われた検出結果や判定結果等が記憶される。

図３は、実施形態に係る制御装置４のハードウェア構成の一例を示す図である。図３に示すように、制御装置４は、接続バス５０によって相互に接続されたＣＰＵ（Central Processing Unit）１０、記憶手段２０、通信ＩＦ３０、入出力ＩＦ４０を有する。ＣＰＵ
１０は、制御装置４全体の制御を行う中央処理演算装置である。ＣＰＵ１０は、プロセッサとも呼ばれる。ただし、ＣＰＵ１０は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵ１０がマルチコア構成であってもよい。制御装置４は、ＣＰＵ１０がナビゲーションプログラムを実行することにより、図１に示す表示制御部４１、付着物検出部４２、操作属性判定部４３、除去動作制御部４４の各処理部として機能する。但し、上記各処理部の少なくとも一部の処理がＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって提供されてもよい。また、上記各処理部の少なくと
も一部が、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、その他のデジタル回路であってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。

記憶手段２０は、図１に示す記憶部４５として機能するほか、ＣＰＵ１０がプログラムやデータをキャッシュしたり、作業領域を展開したりする記憶媒体である。記憶手段２０は、例えば、フラッシュメモリ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＨＤＤ（Hard-disk Drive）、ＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＵＳＢメモリ、メモリカード等を含む。

通信ＩＦ３０は、無線電話回線を通じて基地局を経由して汎用のネットワークに接続可能なインターフェースである。また、通信ＩＦ３０は、無線ＬＡＮのアクセスポイント（ＡＰ）と通信可能となっており、任意の通信手段を経由してネットワークへの接続が可能となっている。

入出力ＩＦ４０は、表示／操作装置２と制御装置４の間でデータの入出力を行うインターフェースである。ユーザによる表示部２１を介した操作検出部２２に対する接触操作は、入出力ＩＦ４０を介して制御装置４に出力される。

［付着物の除去処理］
次に、実施形態に係る除去システムによる付着物の除去処理について説明する。図４は、実施形態に係る制御装置４が実行する付着物の除去処理のフローを示す図である。また、図５〜８は、付着物の除去処理を説明するための図であって、表示部２１に表示される画面を示す図である。図５は、付着物を含んだ画像が表示されたときの画面を示す図、図６は、特定の付着物に対してフリック操作がされた状態を示す図、図７は、付着物以外の領域に対してフリック操作がされた状態を示す図、図８は、複数の付着物に対して除去操作がされた状態を示す図である。本例では、カメラ１が取得した車両後方の周辺画像を表示部２１に表示することによって制御装置４がバックモニタ装置として機能している場合を例に説明する。本処理は、表示部２１が画像を表示している間において、繰り返し実行される。

駐車スペースへ進入するために車両が後退を開始することで、カメラ１が図５に示すような車両後方の周辺画像を取得し、表示制御部４１が当該画像を表示部２１に表示させる。ここで、図５の符号Ｓで示す領域は、表示部２１の画面を示す。即ち、画面Ｓは、表示部２１の表示領域である。また、図５の符号Ｉｍで示す領域は、カメラ１が取得した車両後方の周辺画像である。図５に示すように、画像Ｉｍには、ユーザが選択操作することでバックモニタ装置としての各種の処理を実行するボタンＢが複数重畳配置されている。また、カメラ１のレンズ１１には付着物が付着しており、図５に示すように、画像Ｉｍ内に付着物が表示されている。

まず、ステップＳ１において、付着物検出部４２が、画像処理を実行することによって、画像Ｉｍ内に含まれている付着物を検出する。このとき、付着物検出部４２は、画像Ｉｍにおける付着物の位置座標やサイズ（範囲）、数量を含む付着物情報を記憶部４５に出力する。

この状態で、図６〜８に示すようにユーザが表示部２１に対して接触操作をすることによって、操作検出部２２が接触操作を検出し、操作情報を制御装置４に出力する。

操作検出部２２が操作情報を出力すると、ステップＳ２において、操作属性判定部４３が、操作情報に基づいて、接触操作の種類、表示部２１上において接触操作がされた位置、操作方向Ｄ、操作距離Ｌ、操作速度Ｖ等を含んだ接触操作の属性を判定する。ここで、図６〜８の符号Ｐ１は、表示部２１上における接触操作におけるタッチオン位置を示し、符号Ｐ２は、タッチオフ位置を示す。操作属性判定部４３は、Ｐ１とＰ２の位置座標や接触操作がされた期間等に基づいて、接触操作の属性を判定する。

次に、ステップＳ３において、除去動作制御部４４が、ステップＳ２の判定結果に基づいて、操作検出部２２によって検出された接触操作が、画像Ｉｍに対してされた特定の操作である除去操作であったか否かを判定する。除去動作制御部４４は、例えば、接触操作
が画像Ｉｍに対するフリック操作であったときに、接触操作が除去操作であったと判定する。反対に、除去動作制御部４４は、接触操作が画面Ｓ内における画像Ｉｍ以外の領域に対する接触操作であったときや、接触操作が画像に対してされた接触操作であってもフリック操作でなかったときに、接触操作が除去操作でなかったと判定する。接触操作が除去操作であったとき（ステップＳ３−ＹＥＳ）、ステップＳ４に進む。接触操作が除去操作でなかったとき（ステップＳ３−ＮＯ）、本処理を終了する。

次に、ステップＳ４において、除去動作制御部４４は、ステップＳ１の処理結果とステップＳ２の判定結果とに基づいて、除去操作が特定の付着物にされたか否かを判定する。具体的には、除去動作制御部４４は、付着物検出部４２から出力された付着物の位置と操作属性判定部４３から出力された除去操作の位置及び範囲とを比較し、除去操作が何れの付着物に対してされたのかを判定する。除去動作制御部４４は、付着物検出部４２によって検出された付着物のうち、除去操作がされた付着物の数量が１以上であって所定の数量以下であったときに、特定の付着物に対して除去操作がされたと判定する。反対に、除去操作がされた付着物の数量が０であったときや、数量が所定の数量を超えていたときに、除去操作が特定の付着物にされていなかったと判定する。除去操作がされた対象が画像Ｉｍにおける付着物以外の領域であったときに、除去操作がされた付着物の数量が０となる。

ここで、図６に示す例では、画像Ｉｍに含まれる付着物Ａ１〜Ａ５のうち、付着物Ａ２に対してのみ除去操作がされている。また、図７に示す例では、画像Ｉｍにおける付着物Ａ１〜Ａ５以外の領域に対して除去操作がされている。また、図８に示す例では、画像Ｉｍに含まれる付着物Ａ１〜Ａ５のうち、付着物Ａ３と付着物Ａ４に対して除去操作がされている。実施形態において、除去動作制御部４４は、図６に示すように、付着物検出部４２によって検出された付着物のうち除去操作がされた付着物の数量が１であったときに、特定の付着物に対して除去操作がされたと判定し、反対に、図７や図８に示すように、除去操作がされた付着物の数量が０又は２以上であったときに、除去操作が特定の付着物にされていなかったと判定する。但し、除去動作制御部４４が特定の付着物に対して除去操作がされたと判定するための付着物の所定数量は１に限定されない。除去動作制御部４４は、１以上であって所定の数量以下の付着物に対して除去操作がされていたときに、特定の付着物に対して除去操作がされたと判定してもよい。除去操作が特定の付着物を対象としてされていたとき、ステップＳ５に進む。除去操作が特定の付着物を対象としてされていなかったとき、ステップＳ６に進む。

ステップＳ５において、除去動作制御部４４は、付着物除去装置３を制御することによって、ステップＳ４において除去操作の対象と判定された特定の付着物（図６における付着物Ａ２）に対して集中的に除去動作を実行させる。付着物除去装置３は、除去動作制御部４４の制御により、ポンプ３１を作動させ、ノズル３３から圧縮空気を噴射する。このとき、除去動作制御部４４は、駆動部３４によってノズル３３を駆動し、ノズル３３の噴射口３３１を除去操作の対象とされた付着物に向けることによって、除去対象とされた付着物に向かって集中的に圧縮空気を噴射する。これにより、除去操作の対象と判定された付着物を確実に吹き飛ばし（飛散させ）、除去することができる。ステップＳ５が完了すると、本処理が終了する。

ステップＳ６において、除去動作制御部４４は、付着物除去装置３を制御することによって、レンズ１１全体に対して集中的に除去動作を実行させる。このとき、除去動作制御部４４は、駆動部３４によってノズル３３を駆動することによって、ノズル３３の噴射口３３１の向きを変化させながらレンズ１１全体に満遍なく圧縮空気を噴射する。これにより、画像Ｉｍ内で検出された全ての付着物を満遍なく吹き飛ばし、除去することができる。ステップＳ６が完了すると、本処理が終了する。

このような付着物の除去処理によって付着物を除去したい場合、ユーザは、まず初めに画像Ｉｍ内の複数の付着物に対して、或いは画像Ｉｍ内の付着物以外の領域に対してフリック操作を行うことによって、レンズ１１全体に除去動作を実行させればよい。その後、全ての付着物が除去し切れず、画像Ｉｍ内に付着物が未だ存在している場合、除去し切れなかった特定の付着物に対してフリック操作を行えばよい。そうすることによって、今度
はフリック操作がされた特定の付着物に対して集中的に除去動作が実行される。このような順序で除去動作を実行させることによって、少ない除去操作の回数で確実に全ての付着物を除去することができる。

ここで、ステップＳ５及びステップＳ６において、除去動作制御部４４は、操作属性判定部４３がステップＳ２において判定した除去操作の操作方向Ｄ、操作距離Ｌ、操作速度Ｖ等に基づいて付着物除去装置３を制御することによって、圧縮空気の噴射方向や噴射量、噴射圧を変化させる。除去動作制御部４４は、駆動部３４を制御することによって、圧縮空気の噴射方向が画面Ｓ上において操作方向と同一となるようにノズル３３の噴射口３３１の向きを変化させる。これにより、付着物を除去する方向（即ち、吹き飛ばそうとする方向、以下、除去方向）が操作方向と同一となる。例えば、図６〜８に示すような操作方向（右上から左下に向かう方向）となるようにユーザがフリック操作を行った場合、除去動作制御部４４は、圧縮空気の噴射方向が画面Ｓ上において操作方向と同一となるように付着物除去装置３を制御する。その結果、付着物は、画面Ｓ上において左下に向かって吹き飛ばされる。また、除去動作制御部４４は、操作速度や操作距離に応じてポンプ３１を制御することによって、圧縮空気の噴射量や噴射圧を変化させる。除去動作制御部４４は、操作速度や操作距離が大きいほど、噴射量を多くし、噴射圧を高くする。本例の場合、フリック操作の速度やストロークが大きいほど、噴射圧が高くなり、付着物を吹き飛ばそうとする勢い（除去強さ）がより強くなる。例えば、１回の除去動作では除去し切れなかった付着物に対して、ユーザが１回目よりも速く、若しくは長いストロークで当該付着物に対してフリック操作を行うことによって、１回目の除去動作よりも強い勢いで付着物を吹き飛ばすことができる。

［作用・効果］
以上のように、実施形態に係る除去システム１００は、カメラ１と、カメラ１が取得した画像を表示する表示部２１と、表示部２１に対するユーザの接触操作を検出する操作検出部２２と、カメラ１のレンズ１１に付着した付着物を除去するための除去動作を実行する付着物除去装置３と、操作検出部２２が検出した、画像に対する接触操作に基づいて付着物除去装置３に除去動作を実行させる制御装置４と、を備える。即ち、除去システム１００は、付着物が表示されている画像に対してユーザが行う操作に応じて付着物を除去する。これによれば、ユーザの操作によって付着物を直接除去するような感覚をユーザに提供することができる。そして、ユーザは、画像に基づく直感的な操作によって付着物を除去することができる。その結果、除去システム１００によれば、付着物の除去において、面白さや感動をユーザに提供することができる。

また、制御装置４は、操作検出部２２が検出した操作が、画像に対してされた特定の操作である除去操作であったか否かを判定し、操作が除去操作であったときに、付着物除去装置３に除去動作を実行させる除去動作制御部４４を有する。このような除去システム１００によると、付着物を除去するためには、ユーザは特定の操作を画像に対して行う必要がある。そのため、付着物の除去にゲーム性を付与することができ、ユーザに対して更なる面白さや感動を提供することができる。また、除去操作は、接触操作であることから、ユーザは、より直感的な操作によって付着物を除去することができる。但し、本発明は除去操作を接触操作に限定せず、除去操作は、例えば、画像に対するジェスチャー操作であてもよい。

更に、制御装置４は、画像内の付着物を検出する付着物検出部４２を有し、除去動作制御部４４は、除去操作の対象が画像内の特定の付着物であったときに、付着物除去装置３に、当該特定の付着物に対して除去動作を実行させる。これによれば、ユーザが除去したい付着物を確実に除去することができる。また、除去対象とする付着物をユーザに選択させることで、付着物の除去にゲーム性を付与することができる。その結果、除去システム
１００によれば、付着物の除去において、更なる面白さや感動をユーザに提供することができる。

また、除去動作制御部４４は、除去操作の操作方向に応じて、付着物を除去する方向を変化させる。更に、除去動作制御部４４は、除去操作の操作速度や操作距離に応じて、付着物を除去する強さを変化させる。これにより、除去される付着物の挙動がユーザの除去操作をより反映したものとなる。その結果、付着物の除去において、更なる面白さや感動をユーザに提供することができる。

なお、除去操作は、画像に対するフリック操作に限られず、画像に対するスライド操作や、タップ操作、ダブルタップ操作、トリプルタップ操作であってもよい。

なお、カメラ１は、車外前方に設けられて車両前方の周辺画像を取得するフロントカメラであってもよいし、車外側方に設けられて車両側方の周辺画像を取得するサイドカメラ（又はコーナーカメラ）であってもよい。また、カメラ１は、これらの複数のカメラの組み合わせであってもよい。付着物検出部４２は、複数のカメラ１が取得した画像を合成することによって、視点位置を車両の上方とする俯瞰画像を生成して表示部２１に表示させてもよい。

また、付着物除去装置３は、圧縮空気に代えて、ウォッシャ液（洗浄液）を噴射物としてカメラ１のレンズ１１に向けて噴射することで付着物を除去してもよい。また、本発明に係る付着物除去装置３は、ワイパーが付着物を掃くことによって付着物を除去してもよい。

［変形例１］
図９は、変形例１に係る付着物の除去処理のフローを示す図である。また、図１０〜１１は、付着物の除去処理を説明するための図であって、表示部２１に表示される画面を示す図である。図１０は、特定の付着物に対してピンチアウト操作がされた状態を示す図、図１１は、ピンチアウト操作がされた領域が拡大表示された状態を示す図である。

変形例１では、ステップＳ３において除去動作制御部４４がステップＳ２の判定結果に基づいて接触操作が除去操作であったか否かを判定した結果、接触操作が除去操作でなかったとき（ステップＳ３−ＮＯ）、ステップＳ７に進む。

ステップＳ７では、表示制御部４１が、操作検出部２２によって検出された接触操作が、画像に対してされた特定の操作である拡大操作であったか否かを判定する。変形例１において、表示制御部４１は、接触操作が画像に対してされたピンチアウト操作であったときに、接触操作が拡大操作であったと判定する。接触操作が拡大操作であったとき（ステップＳ７−ＹＥＳ）、ステップＳ８に進む。接触操作が拡大操作でなかったとき（ステップＳ７−ＮＯ）、本処理を終了する。

ステップＳ８では、表示制御部４１が、ステップＳ１の処理結果とステップＳ２の判定結果とに基づいて、拡大操作がされた領域を拡大表示する。

図１０に示すように、画像Ｉｍに対してピンチアウト操作があったときには、図１１に示すように、ピンチアウト操作があった領域が拡大表示される。例えば、図１０における付着物Ａ５のように、付着物が画像Ｉｍ内において小さく表示されており、ユーザが付着物Ａ５に対して除去操作を行えない場合は、付着物Ａ５に対してピンチアウト操作（拡大操作）を行うことで、付着物Ａ５を含む領域Ｒ１が拡大表示される。この状態で拡大表示された領域Ｒ１内の付着物Ａ５に対して除去操作を実行すればよい。このような変形例１
によれば、ユーザは、除去したい付着物に対して拡大操作を行い、当該付着物を拡大表示することで、容易に除去操作を行うことができる。その結果、より確実に付着物の除去を行うことができる。

［変形例２］
図１２は、変形例２に係る除去システム１００Ａを示すブロック図である。変形例２に係る表示／操作装置２Ａの表示部２１Ａは、表示部２１Ａとカメラ１との間で無線通信を実行する表示装置側無線通信部２１１を有する。また、変形例２に係る制御装置４Ａは、制御装置４Ａと付着物除去装置３との間で無線通信を実行する制御装置側無線通信部４６を有する。表示部２１Ａ及び制御装置４Ａは、例えば、ＩＥＥＥ８０２．１１規格に準拠した無線ネットワーク構成によって無線通信を確立する。但し、表示部２１Ａ及び制御装置４Ａによる無線通信の規格は、ＩＥＥＥ８０２．１１に限定されるものではなく、他の規格でもよい。また、表示部２１Ａ及び制御装置４Ａによる無線通信は、例えば、Bluetooth（登録商標）によって無線通信を実行してもよい。

変形例２に係る表示部２１Ａは、表示装置側無線通信部２１１によってカメラ１との間で無線通信を実行することによってカメラ１から画像を取得し、制御装置４Ａは、制御装置側無線通信部４６によって付着物除去装置３との間で無線通信を実行することによって付着物除去装置３に除去動作を実行させる。このような変形例２に係る除去システム１００Ａによると、カメラ１及び付着物除去装置３とその他の構成とを遠隔配置することができる。即ち、遠隔カメラをカメラ１に用いることができる。これにより、例えば監視カメラ等、車載カメラ以外のカメラにおいても上述した付着物の除去処理を行うことができる。

［変形例３］
図１３は、変形例３に係る付着物除去装置３Ｂを示す図である。図１３に示すように、付着物除去装置３Ａは、付着物除去装置３における駆動部３４に代えて、制御装置４の制御に応じて角度を変更可能に設けられた案内板３５を有する。案内板３５は、ノズル３３の噴射口３３１に配置される板部材であり、その角度を変更することで、ノズル３３から噴射された圧縮空気の進行方向を変化させることができる。これにより、ユーザが除去操作を行った付着物に対して集中的に除去操作を実行することや、除去方向を変化させることが可能となる。

［変形例４］
図１４は、変形例４に係る付着物除去装置３Ｃを示す図である。図１４に示すように、付着物除去装置３Ｃは、分岐したホース３２Ｃと、ホース３２Ｃの分岐先に設けられた複数のノズル３３Ｃと、ノズル３３毎に設けられた電磁弁３６と、を有する。電磁弁３６は、制御装置４の制御に応じてホース３２を開閉することによって夫々のノズル３３への圧縮空気の供給の有無を切り替え可能に構成されている。付着物除去装置３Ｃは、何れのノズル３３Ｃから圧縮空気を噴射させるかを選択することによって、ユーザが除去操作を行った付着物に対して選択的に除去操作を実行することや、除去方向を変化させることができる。また、圧縮空気を噴射させるノズル３３Ｃの数量を変更することで、圧縮空気の噴射圧、ひいては除去強さを変化させることができる。

以上、本発明の好適な実施形態について説明したが、上述した種々の形態は、可能な限り組み合わせることができる。

１・・・カメラ
２・・・表示／操作装置
３・・・付着物除去装置
４・・・制御装置
４１・・表示制御部
４２・・付着物検出部
４３・・操作属性判定部
４４・・除去動作制御部
１００・・・付着物除去システム

Claims (6)

1. カメラと、
   前記カメラが取得した画像を表示する表示手段と、
   前記表示手段に対するユーザの除去操作を検出する検出手段と、
   前記カメラのレンズに付着した付着物を除去するための除去動作を実行する付着物除去手段と、
   前記検出手段が検出した、前記表示手段に対する前記除去操作に基づいて前記付着物除去手段に前記除去動作を実行させる制御手段と、を備え、
   前記除去操作が、前記表示手段の画面上でのフリック操作であった場合に、前記制御手段は、前記フリック操作の操作方向に応じて、付着物を除去するための噴射物の噴出方向を変化させることにより、前記付着物を除去する方向を変化させる、
   付着物除去システム。
2. カメラと、
   前記カメラが取得した画像を表示する表示手段と、
   前記表示手段に対するユーザの除去操作を検出する検出手段と、
   前記カメラのレンズに付着した付着物を除去するための除去動作を実行する付着物除去手段と、
   前記検出手段が検出した、前記表示手段に対する前記除去操作に基づいて前記付着物除去手段に前記除去動作を実行させる制御手段と、を備え、
   前記除去操作が、前記表示手段の画面上でのフリック操作であった場合に、前記制御手段は、前記フリック操作の操作速度に応じて、付着物を除去するための噴射物の、噴射量または噴射圧を変化させることにより、前記付着物を除去する強さを変化させる、
   付着物除去システム。
3. カメラと、
   前記カメラが取得した画像を表示する表示手段と、
   前記表示手段に対するユーザの除去操作を検出する検出手段と、
   前記カメラのレンズに付着した付着物を除去するための除去動作を実行する付着物除去手段と、
   前記検出手段が検出した、前記表示手段に対する前記除去操作に基づいて前記付着物除去手段に前記除去動作を実行させる制御手段と、を備え、
   前記除去操作が、前記表示手段の画面上でのフリック操作であった場合に、前記制御手段は、前記フリック操作の操作距離に応じて、付着物を除去するための噴射物の、噴射量または噴射圧を変化させることにより、前記付着物を除去する強さを変化させる、
   付着物除去システム。
4. 前記制御手段は、前記画像内の前記付着物を検出する付着物検出部を有し、前記除去操作の対象が前記画像内の特定の付着物であったときに、前記付着物除去手段に、当該特定の付着物に対して前記除去動作を実行させる、
   請求項１から３の何れか一項に記載の付着物除去システム。
5. 前記表示手段は、前記カメラとの間で無線通信を実行することによって前記カメラから前記画像を取得し、
   前記制御手段は、前記付着物除去手段との間で無線通信を実行することによって前記付着物除去手段に前記除去動作を実行させる、
   請求項１から４の何れか一項に記載の付着物除去システム。
6. カメラが取得した画像を表示する表示手段に対するユーザの操作を検出し、前記操作に基づいて前記カメラのレンズに付着した付着物を除去する付着物の除去方法であって、
   前記操作が、前記表示手段に対してされた特定の操作である除去操作であったか否かを判定するステップと、
   前記操作が前記除去操作であったときに、前記付着物を除去するための除去動作を実行するステップと、を含み、
   前記除去操作が、前記表示手段の画面上でのフリック操作であった場合に、前記フリック操作の操作方向に応じて、付着物を除去するための噴射物の噴出方向を変化させることにより、前記付着物を除去する方向を変化させる、
   付着物の除去方法。
   

Images