JP7023209B2 - 電子機器、アクチュエータの制御方法およびプログラム - Google Patents

電子機器、アクチュエータの制御方法およびプログラム Download PDF

Info

Publication number
JP7023209B2
JP7023209B2 JP2018188936A JP2018188936A JP7023209B2 JP 7023209 B2 JP7023209 B2 JP 7023209B2 JP 2018188936 A JP2018188936 A JP 2018188936A JP 2018188936 A JP2018188936 A JP 2018188936A JP 7023209 B2 JP7023209 B2 JP 7023209B2
Authority
JP
Japan
Prior art keywords
actuator
control signal
event
sensor
event signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188936A
Other languages
English (en)
Other versions
JP2020057990A (ja
Inventor
宏昌 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2018188936A priority Critical patent/JP7023209B2/ja
Priority to CN201980063452.5A priority patent/CN112771846A/zh
Priority to KR1020217009992A priority patent/KR102496300B1/ko
Priority to US17/277,485 priority patent/US11336850B2/en
Priority to PCT/JP2019/038116 priority patent/WO2020071268A1/ja
Priority to EP19868670.1A priority patent/EP3863279A4/en
Publication of JP2020057990A publication Critical patent/JP2020057990A/ja
Application granted granted Critical
Publication of JP7023209B2 publication Critical patent/JP7023209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、電子機器、アクチュエータの制御方法およびプログラムに関する。
入射する光の強度変化を検出したピクセルが時間非同期的に信号を生成する、イベント駆動型のビジョンセンサが知られている。イベント駆動型のビジョンセンサは、所定の周期ごとに全ピクセルをスキャンするフレーム型ビジョンセンサ、具体的にはCCDやCMOSなどのイメージセンサに比べて、低電力で高速に動作可能である点で有利である。このようなイベント駆動型のビジョンセンサに関する技術は、例えば特許文献1および特許文献2に記載されている。
特表2014-535098号公報 特開2018-85725号公報
しかしながら、イベント駆動型のビジョンセンサについては、上記のような利点は知られているものの、従来のビジョンセンサ、例えばフレーム型ビジョンセンサとは異なる特性を考慮した周辺技術については、まだ十分に提案されているとは言いがたい。
そこで、本発明は、イベント駆動型のビジョンセンサをアクチュエータと相互作用させることによって利便性を提供する電子機器、アクチュエータの制御方法およびプログラムを提供することを目的とする。
本発明のある観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、ビジョンセンサを含むモジュールに変位を与えるアクチュエータと、アクチュエータに制御信号を送信し、アクチュエータがモジュールに変位を与えたときに生成されたイベント信号に基づく補正値を制御信号に反映させる制御部とを備える電子機器が提供される。
本発明の別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを用いたアクチュエータの制御方法であって、アクチュエータを駆動してビジョンセンサを含むモジュールに変位を与えるステップと、アクチュエータがモジュールに変位を与えたときに生成されたイベント信号をアクチュエータの制御信号に反映させるステップとを含むアクチュエータの制御方法が提供される。
本発明のさらに別の観点によれば、入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、アクチュエータを駆動してビジョンセンサを含むモジュールに変位を与えるステップと、アクチュエータがモジュールに変位を与えたときに生成されたイベント信号をアクチュエータの制御信号に反映させるステップとを実行させるためのプログラムが提供される。
上記の構成によれば、イベント駆動型のビジョンセンサをアクチュエータと相互作用させることによって利便性を提供することができる。
本発明の第1の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。 本発明の第1の実施形態におけるセンサモジュールの動作の第1の例を示すシーケンス図である。 本発明の第1の実施形態におけるセンサモジュールの動作の第2の例を示すシーケンス図である。 本発明の第1の実施形態におけるセンサモジュールの動作の第3の例を示すシーケンス図である。 本発明の第2の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。 本発明の第2の実施形態におけるセンサモジュールの動作の第1の例を示すシーケンス図である。 本発明の第2の実施形態におけるセンサモジュールの動作の第2の例を示すシーケンス図である。 本発明の第2の実施形態において動き予測を実行する場合の制御部の処理回路の構成例を示すブロック図である。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図1に示されるように、電子機器10は、センサモジュール100と、制御部200とを含む。
センサモジュール100は、イベント駆動型のビジョンセンサ110と、アクチュエータ120と、シャッター130とを含む。ビジョンセンサ110は、画像のピクセルに対応するセンサ111A,111B,…で構成されるセンサアレイ111と、センサアレイ111に接続される処理回路112とを含む。センサ111A,111B,…は、受光素子を含み、入射する光の強度変化、より具体的には輝度変化を検出したときにイベント信号を生成する。イベント信号は、例えば、タイムスタンプと、センサの識別情報(例えばピクセルの位置)と、輝度変化の極性(上昇または低下)とを示す情報として処理回路112から出力される。センサアレイ111の画角内で被写体が移動すると、被写体によって反射または散乱される光の強度が変化するため、例えば被写体のエッジに対応するセンサ111A,111B,…が生成するイベント信号によって被写体の移動を時系列で検出することができる。
ここで、既に述べたように、イベント駆動型のビジョンセンサ110は、フレーム型のビジョンセンサに比べて、低電力で高速に動作可能である点で有利である。これは、センサアレイ111を構成するセンサ111A,111B,…のうち輝度変化を検出したものだけがイベント信号を生成するためである。輝度変化を検出しなかったセンサはイベント信号を生成しないため、処理回路112は輝度変化を検出したセンサのイベント信号だけを高速で処理および伝送することができる。また、輝度変化がない場合には処理および伝送の処理が発生しないため、低電力での動作が可能になる。その一方で、センサアレイ111の画角内に被写体が存在していても、被写体が移動しなければ輝度変化が発生しないため、センサ111A,111B,…が生成するイベント信号によって移動していない被写体をキャプチャすることは困難である。つまり、ビジョンセンサ110だけでは、静止している被写体を含む周辺環境の情報を得ることが困難である。
本実施形態では、センサモジュール100が、ビジョンセンサ110に連結されたアクチュエータ120を含む。アクチュエータ120は、制御部200から送信される制御信号に従って駆動され、例えばセンサ111A,111B,…の光軸方向に対して垂直な方向にセンサアレイ111を変位させるように構成される。アクチュエータ120がセンサアレイ111を変位させることによって、すべてのセンサ111A,111B,…と被写体との位置関係が変化する。つまり、このとき、センサアレイ111の画角内ですべての被写体が移動したのと同じ変化が発生する。従って、被写体が実際に移動しているか否かに関わらず、例えば被写体のエッジに対応するセンサ111A,111B,…が生成するイベント信号によって被写体を検出することができる。上記のような変化を発生させるために必要とされるセンサアレイ111の変位量は大きくないため、アクチュエータ120はセンサアレイ111を微小変位させる、または振動させるバイブレータのようなものであってもよい。
なお、上記ではアクチュエータ120がセンサアレイ111を変位させる方向がセンサ111A,111B,…の光軸方向に対して垂直である例について説明したが、変位の方向が光軸方向に対して垂直ではない場合、例えば変位の方向が光軸方向に対して平行であっても、すべてのセンサ111A,111B,…と被写体との位置関係は変化する。従って、アクチュエータ120は任意の方向にセンサアレイ111を変位させてもよい。なお、変位の方向が光軸方向に対して垂直、または垂直に近い角度である構成は、上記のような変化を発生させるために必要とされるセンサアレイ111の変位量が最小化され、またセンサ111A,111B,…の全体に略一様な被写体との位置関係の変化が生じる点で有利である。
さらに、本実施形態では、センサモジュール100が、シャッター130を含む。シャッター130は、ビジョンセンサ110のセンサアレイ111の画角全体を遮蔽および開放することが可能なように配置される。シャッター130は、例えばフォーカルプレーンシャッターやレンズシャッターのような機械的なシャッターであってもよいし、液晶シャッターのような電子的なシャッターであってもよい。開いていたシャッター130が閉じると、センサアレイ111の画角全体が遮蔽されることによって、原理的にはすべてのセンサ111A,111B,…に入射する光の強度が最小かつ一定になる。また、閉じていたシャッター130が開くと、センサアレイ111の画角全体が開放されることによって、原理的にはすべてのセンサ111A,111B,…で輝度が上昇する変化が発生する。後述するように、本実施形態では、このような動作を利用してセンサアレイ111の校正や自発光する被写体の検出を実行する。
制御部200は、通信インターフェース210と、処理回路220と、メモリ230とを含む。通信インターフェース210は、ビジョンセンサ110の処理回路112から伝送されたイベント信号を受信して処理回路220に出力する。また、通信インターフェース210は、処理回路220が生成した制御信号をアクチュエータ120に送信する。処理回路220は、例えばメモリ230に格納されたプログラムに従って動作し、受信されたイベント信号を処理する。例えば、処理回路220は、イベント信号に基づいて、輝度変化が発生した位置をマッピングした画像を時系列で生成し、メモリ230に一時的または持続的に格納したり、通信インターフェース210を介してさらに別の装置に送信したりする。また、処理回路220は、アクチュエータ120およびシャッター130をそれぞれ駆動させるための制御信号を生成する。
図2は、本発明の第1の実施形態におけるセンサモジュールの動作の第1の例を示すシーケンス図である。図示された例では、まず、制御部200の処理回路220が生成した制御信号が、アクチュエータ120に送信される(S101)。制御信号を受信したアクチュエータ120が駆動することによって(S102)、センサアレイ111が所定の方向に変位し、原理的にはすべての被写体のエッジに対応するセンサ111A,111B,…が生成したイベント信号がビジョンセンサ110から制御部200に送信される(S103)。処理回路220は、受信したイベント信号から被写体を検出する(S104)。上述のように、このとき、被写体が実際に移動しているか否かに関わらず、被写体を検出することができる。処理回路220は、アクチュエータ120への制御信号の送信(S101)からイベント信号の受信(S103)およびイベント信号に基づく環境情報のキャプチャ(S104)までを一連の手順として実行してもよい。例えば、処理回路220は、アクチュエータ120への制御信号の送信(S101)から所定時間の間に受信されたイベント信号を、環境情報を示すイベント信号としてそれ以外の時間に受信されたイベント信号とは別に扱ってもよい。
図3は、本発明の第1の実施形態におけるセンサモジュールの動作の第2の例を示すシーケンス図である。図示された例では、まず、シャッター130が開いた状態で、制御部200の処理回路220が生成した制御信号が、シャッター130に送信される(S111)。制御信号を受信したシャッター130が閉じることによって(S112)、センサアレイ111の画角全体が遮蔽され、すべてのセンサ111A,111B,…に入射する光の強度が最小かつ一定になる。従って、光が遮断されたことによって輝度が低下したことを示すイベント信号がビジョンセンサ110から制御部200に送信された(S113)後は、原理的にはイベント信号は受信されないはずである。しかしながら、例えばセンサに欠陥があったり、センサにおけるイベント信号の生成のための輝度変化の閾値の設定が適切でないためにノイズが輝度変化として検出されたりしている場合には、シャッター130がセンサアレイ111の画角を遮蔽している間にもイベント信号が生成されうる。そこで、制御部200では、処理回路220が、シャッター130が閉じた状態を所定の時間にわたって維持し、シャッター130がセンサアレイ111の画角を遮蔽している間に受信されるイベント信号を監視する。この間にイベント信号が受信された(S114)場合、処理回路220は、受信されたイベント信号に基づいてビジョンセンサ110の校正を実行する(S115)。具体的には、処理回路220は、イベント信号を生成したセンサを欠陥画素(輝点)として特定するか、当該センサにおけるイベント信号の生成のための輝度変化の閾値を調節する。
図4は、本発明の第1の実施形態におけるセンサモジュールの動作の第3の例を示すシーケンス図である。図示された例では、まず、シャッター130が閉じた状態で、制御部200の処理回路220が生成した制御信号が、シャッター130に送信される(S121)。制御信号を受信したシャッター130が開くと(S122)、センサアレイ111の画角全体が開放され、原理的にはすべてのセンサ111A,111B,…で輝度が上昇したことを示すイベント信号がビジョンセンサ110から制御部200に送信される(S123)。その後、再び制御部200の処理回路220が生成した制御信号がシャッター130に送信され(S125)、シャッター130が閉じて(S126)センサアレイ111の画角全体が遮蔽されると、同様にすべてのセンサ111A,111B,…で輝度が低下したことを示すイベント信号がビジョンセンサ110から制御部200に送信される(S127)。このように、制御部200は、センサアレイ111の画角の遮蔽および開放を繰り返させるための制御信号をシャッター130に送信し、その間、特に画角の開放から遮蔽までの間にビジョンセンサ110において生成されたイベント信号を受信する。
ここで、シャッター130による画角の開放(S122)から遮蔽(S126)までの時間t1が短ければ(具体的には、例えば300msec以下)、被写体にはほとんど移動が生じず、従って被写体の移動を示すイベント信号は受信されないはずである。例外として、照明やディスプレイなどの自発光する被写体における光源の明滅周期が時間t1よりも短い場合は、これらの被写体の明滅を示すイベント信号が受信される(S124)。従って、制御部200は、時間t1、すなわち画角の遮蔽および開放の繰り返しの周期を、(上記のように短い時間としつつ)自発光する被写体に含まれる光源の明滅周期よりも長くすることによって、受信したイベント信号に基づいて自発光被写体を特定することができる(S128)。
以上で説明したような本発明の第1の実施形態では、アクチュエータ120がセンサアレイ111を変位させることによって、ビジョンセンサ110において強制的にイベントを発生させ、例えば静止している被写体を含む周辺環境の情報を得ることができる。また、本実施形態では、シャッター130がセンサアレイ111の画角全体を遮蔽することによって、センサアレイ111の校正をすることができる。また、所定の周期でシャッター130の開閉を繰り返すことによって、照明やディスプレイなどの自発光する被写体を検出することができる。
なお、上記の例ではセンサモジュール100がアクチュエータ120およびシャッター130の両方を含んでいたが、これらの機能は互いに独立しているため、アクチュエータ120またはシャッター130のいずれか一方がセンサモジュール100に含まれてもよい。また、上記の例において制御部200はセンサモジュール100とは別に図示および説明されたが、制御部200はセンサモジュール100に含まれていてもよい。この場合、センサモジュール100の処理回路112と制御部200の処理回路220とは別個に構成されてもよいし、共通であってもよい。
(第2の実施形態)
図5は、本発明の第2の実施形態に係るセンサモジュールを含む電子機器の概略的な構成を示すブロック図である。図5に示されるように、電子機器20は、センサモジュール300と、制御部200と、可動支持機構400とを含む。
センサモジュール300は、第1の実施形態と同様のイベント駆動型のビジョンセンサ110と、シャッター130とを含む。センサモジュール300は、フレーム410A,410B,410Cとアクチュエータ420A,420Bとを含む可動支持機構400によって支持される。図示された例において、アクチュエータ420A,420Bは、制御部200から送信される制御信号に従って駆動されるロータリーアクチュエータである。アクチュエータ420Aは制御信号に従ってフレーム410A,410Bの間に所定の角度の回転変位を生じさせ、アクチュエータ420Bは同様にフレーム410B,410Cの間に所定の角度の回転変位を生じさせる。これによって、アクチュエータ420A,420Bは、ビジョンセンサ110を含むセンサモジュール300に変位を与える。
本実施形態でも、例えばアクチュエータ420Bを第1の実施形態のアクチュエータ120と同じように用いて、ビジョンセンサ110において強制的にイベントを発生させ、例えば静止している被写体を含む周辺環境の情報を得ることが可能である。この場合、例えばアクチュエータ420Bは、センサモジュール300に含まれると解されてもよい。加えて、本実施形態では、以下で説明する例のように、アクチュエータ420A,420Bがセンサモジュール300に変位を与えたときにビジョンセンサ110で生成されたイベント信号に基づいて、制御部200がアクチュエータ420A,420Bの制御信号に補正値を反映させることができる。
図6は、本発明の第2の実施形態におけるセンサモジュールの動作の第1の例を示すシーケンス図である。図示された例では、まず、制御部200の処理回路220が生成した制御信号が、アクチュエータ420A,420Bのいずれか一方または両方に送信される(S131)。アクチュエータ420A,420Bが制御信号に従って駆動される(S132)ことによってセンサモジュール300に変位が発生し、センサ111A,111B,…と被写体との位置関係が変化する。このときセンサ111A,111B,…が生成したイベント信号が、ビジョンセンサ110から制御部200に送信される(S133)。制御部200では、処理回路220がアクチュエータ420A,420Bへの制御信号の送信(S131)からイベント信号の受信(S133)までの遅延時間d1を計測し、遅延時間d1に基づいてアクチュエータ420A,420Bを校正する(S134)。具体的には、処理回路220は、遅延時間d1に応じて制御信号の補正値を決定し、決定された補正値はその後に処理回路が生成する制御信号に反映される。
上記の例において、例えば、制御信号をアクチュエータ420A,420Bのいずれか一方に送信すれば、アクチュエータ420Aまたはアクチュエータ420Bを単独で校正することができる。また、制御信号をアクチュエータ420A,420Bの両方に送信すれば、アクチュエータ420A,420Bを含む複合系を校正することができる。遅延時間d1に応じて決定される制御信号の補正値は、例えば制御部200がアクチュエータ420A,420Bに特定のパターンに追従した変位を実現させたい場合に実行されるPID制御のパラメータを補正するときに利用される。
図7は、本発明の第2の実施形態におけるセンサモジュールの動作の第2の例を示すシーケンス図である。図示された例では、上記で図6に示された例と同様に、制御信号が送信され(S131)、制御信号を受信したアクチュエータ420A,420Bが駆動することによって(S132)ビジョンセンサ110に回転変位が発生する。ここで、例えばアクチュエータ420A,420Bに摩耗が生じている場合には、ビジョンセンサ110の回転変位は瞬間的には安定せず、例えば振動が発生する。この場合、センサ111A,111B,…と被写体との位置関係が変化することによってセンサ111A,111B,…が生成したイベント信号は、ビジョンセンサ110から制御部200に複数のタイミングで送信される(S133-1,S133-2)。処理回路220は、アクチュエータ420A,420Bへの制御信号の送信(S131)から複数のタイミングでのイベント信号の受信(S133-1,S133-2)のそれぞれまでの遅延時間d1,d2を計測する。これによって、結果として、処理回路220は、イベント信号の受信の開始(S133-1)から受信の終了(S133-2)までの経過時間d2-d1を計測していることになる。処理回路220は、経過時間d2-d1に応じて補正値を決定し、決定された補正値はどの後に処理回路が生成する制御信号に反映される。具体的には、処理回路220は、経過時間d2-d1が閾値を超える場合に、アクチュエータ420A,420Bに摩耗が発生していることを示すフラグを立てる。この場合、処理回路220は、摩耗が発生しているアクチュエータ420A,420Bについては他のアクチュエータとは異なる動作トルクなどの値を設定してもよい。
図8は、本発明の第2の実施形態において動き予測を実行する場合の制御部の処理回路の構成例を示すブロック図である。図示された例において、制御部200の処理回路220は、例えばメモリ230に格納されたプログラムに従って動作することによって実装される機能として、駆動パターン生成部221と、制御信号生成部222と、イベント信号解析部223と、誤差算出部224と、動き予測部225とを含む。駆動パターン生成部221は、アクチュエータ420A,420Bの駆動パターンを生成する。ここで、駆動パターンは、例えばメモリ230に格納されたプログラムによって予め規定されたものであってもよいし、電子機器20に含まれる加速度センサなどの他のセンサの測定値に基づいて決定されたものであってもよい。制御信号生成部222は、駆動パターン生成部221が生成した駆動パターンに従ってアクチュエータ420A,420Bの制御信号を生成する。
制御信号生成部222が生成した制御信号に従ってアクチュエータ420A,420Bが駆動させられると、イベント信号がビジョンセンサ110から制御部200に送信される。処理回路220では、イベント信号解析部223が、受信されたイベント信号からセンサモジュール300の変位を逆算する。具体的には、例えば、イベント信号解析部223は、イベント信号の解析によって得られる被写体の動きベクトルから、ビジョンセンサ110の動きベクトルを逆算する。イベント信号解析部223は、逆算されたセンサモジュール300の変位を含む情報を誤差算出部224に提供する。誤差算出部224は、例えば上記で図6を参照して説明した例によって特定されるアクチュエータ420A,420Bの動作の遅延時間d1も考慮しながら、逆算されたセンサモジュール300の変位と駆動パターン生成部221が生成した駆動パターンとの差分からアクチュエータ420A,420Bの誤差特性を算出する。誤差特性は、例えばアクチュエータ420A,420Bの動きの種類(具体的には、各軸方向の並進および回転)ごとに正規化されてメモリ230に格納されてもよい。
その後に、駆動パターン生成部221がアクチュエータ420A,420Bの新たな駆動パターンを生成した場合、制御信号生成部222は、生成した制御信号を出力する前に動き予測部225に入力する。動き予測部225は、誤差算出部224によって算出されたアクチュエータ420A,420Bの誤差特性に基づいて、入力された制御信号に対するアクチュエータ420A,420Bの動きを予測する。制御信号生成部222は、動き予測部225によって予測された動きと、駆動パターン生成部221が生成した駆動パターンとの差分が小さくなるように制御信号を補正する。さらに、制御信号生成部222は、補正後の制御信号を再び動き予測部225に入力し、動き予測部225は、誤差特性に基づいて補正後の制御信号に対するアクチュエータ420A,420Bの動きを再予測し、制御信号生成部222は再予測された動きと駆動パターンとの間の差分が小さくなるように制御信号を再補正してもよい。
以上で説明したような本発明の第2の実施形態では、上記の第1の実施形態の効果に加えて、制御部200の処理回路220がアクチュエータ420A,420Bへの制御信号の送信からイベント信号の受信までの遅延時間d1,d2を計測することによって、アクチュエータ420A,420Bの遅延量を校正したり、アクチュエータ420A,420Bの内部部品の摩耗などによる振動を検出したりすることができる。また、本実施形態では、処理回路220が誤差算出部224および動き予測部225の機能を実装することによって、アクチュエータ420A,420Bの動きに発生する誤差を考慮して制御信号を補正し、意図された駆動パターンに対してアクチュエータ420A,420Bをより正確に動作させることができる。
なお、上記の例ではアクチュエータ420A,420Bの遅延量の校正と、振動の検出と、制御信号の補正とが同じ実施形態の中で説明されたが、これらの動作は互いに独立に実行可能であるため、電子機器20またはセンサモジュール300において一部が実装されて他は実装されないことがありうる。また、上記の例ではビジョンセンサ110について第1の実施形態と同様に強制的にイベントを発生させることが可能であるものとして説明したが、この機能は必須ではない。シャッター130についても必須ではないため、本実施形態においてビジョンセンサ110はシャッター130を含まなくてもよい。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10,20…電子機器、100,300…センサモジュール、110…ビジョンセンサ、111…センサアレイ、111A,111B…センサ、112…処理回路、120…アクチュエータ、130…シャッター、200…制御部、210…通信インターフェース、220…処理回路、221…駆動パターン生成部、222…制御信号生成部、223…イベント信号解析部、224…誤差算出部、225…動き予測部、230…メモリ、300…センサモジュール、400…可動支持機構、410A,410B,410C…フレーム、420A,420B…アクチュエータ。

Claims (8)

  1. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサと、
    前記ビジョンセンサを含むモジュールに変位を与えるアクチュエータと、
    前記アクチュエータに制御信号を送信し、前記アクチュエータが前記モジュールに変位を与えたときに生成された前記イベント信号に基づく補正値を前記制御信号に反映させる制御部と
    を備える電子機器。
  2. 前記制御部は、前記制御信号の送信から前記イベント信号の受信までの遅延時間を計測し、
    前記補正値は、前記遅延時間に応じて決定される、請求項1に記載の電子機器。
  3. 前記制御部は、前記イベント信号の受信の開始から前記受信の終了までの経過時間を計測し、
    前記補正値は、前記経過時間に応じて決定される、請求項1または請求項2に記載の電子機器。
  4. 前記補正値は、前記アクチュエータに摩耗が発生していることを示すフラグを含み、
    前記制御部は、前記経過時間が閾値を超える場合に前記フラグを立てる、請求項3に記載の電子機器。
  5. 前記制御部は、
    前記アクチュエータの駆動パターンを生成する駆動パターン決定部と、
    前記イベント信号から前記モジュールの変位を逆算するイベント信号解析部と、
    前記逆算された前記モジュールの変位と前記駆動パターンとの差分から前記アクチュエータの誤差特性を算出する誤差算出部と、
    前記誤差特性に基づいて、前記制御信号に対する前記アクチュエータの動きを予測する動き予測部と、
    前記予測された動きと前記駆動パターンとの差分が小さくなるように前記制御信号を補正する制御信号生成部と
    を含む、請求項1から請求項4のいずれか1項に記載の電子機器。
  6. 前記動き予測部は、前記誤差特性に基づいて、前記補正された制御信号に対する前記アクチュエータの動きを再予測し、
    前記制御信号生成部は、前記再予測された動きと前記駆動パターンとの差分が小さくなるように前記制御信号を再補正する、請求項5に記載の電子機器。
  7. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサを用いたアクチュエータの制御方法であって、
    アクチュエータを駆動して前記ビジョンセンサを含むモジュールに変位を与えるステップと、
    前記アクチュエータが前記モジュールに変位を与えたときに生成されたイベント信号を前記アクチュエータの制御信号に反映させるステップと
    を含むアクチュエータの制御方法。
  8. 入射する光の強度変化を検出したときにイベント信号を生成するセンサによって構成されるセンサアレイを含むイベント駆動型のビジョンセンサに接続される処理回路に、
    アクチュエータを駆動して前記ビジョンセンサを含むモジュールに変位を与えるステップと、
    前記アクチュエータが前記モジュールに変位を与えたときに生成されたイベント信号を前記アクチュエータの制御信号に反映させるステップと
    を実行させるためのプログラム。
JP2018188936A 2018-10-04 2018-10-04 電子機器、アクチュエータの制御方法およびプログラム Active JP7023209B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018188936A JP7023209B2 (ja) 2018-10-04 2018-10-04 電子機器、アクチュエータの制御方法およびプログラム
CN201980063452.5A CN112771846A (zh) 2018-10-04 2019-09-27 电子设备、致动器控制方法和程序
KR1020217009992A KR102496300B1 (ko) 2018-10-04 2019-09-27 전자 장치, 액추에이터 제어 방법, 및 프로그램
US17/277,485 US11336850B2 (en) 2018-10-04 2019-09-27 Electronic device, actuator control method, and program
PCT/JP2019/038116 WO2020071268A1 (ja) 2018-10-04 2019-09-27 電子機器、アクチュエータの制御方法およびプログラム
EP19868670.1A EP3863279A4 (en) 2018-10-04 2019-09-27 ELECTRONIC DEVICE, CONTROL METHOD FOR ACTUATOR AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018188936A JP7023209B2 (ja) 2018-10-04 2018-10-04 電子機器、アクチュエータの制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020057990A JP2020057990A (ja) 2020-04-09
JP7023209B2 true JP7023209B2 (ja) 2022-02-21

Family

ID=70054487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018188936A Active JP7023209B2 (ja) 2018-10-04 2018-10-04 電子機器、アクチュエータの制御方法およびプログラム

Country Status (6)

Country Link
US (1) US11336850B2 (ja)
EP (1) EP3863279A4 (ja)
JP (1) JP7023209B2 (ja)
KR (1) KR102496300B1 (ja)
CN (1) CN112771846A (ja)
WO (1) WO2020071268A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978938B1 (ko) * 2018-07-25 2019-05-16 한국에너지기술연구원 실리콘 카바이드 제조방법 및 이를 이용하여 제조된 실리콘 카바이드

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7318150B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置および情報処理システム
JP7317783B2 (ja) * 2020-09-25 2023-07-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置
JPWO2023145019A1 (ja) * 2022-01-28 2023-08-03
WO2024080226A1 (ja) * 2022-10-14 2024-04-18 ソニーセミコンダクタソリューションズ株式会社 光検出素子及び電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210784A (ja) 2008-03-04 2009-09-17 Sony Corp 撮像装置
JP2010134480A (ja) 2010-02-22 2010-06-17 Olympus Corp カメラ
US20140320706A1 (en) 2013-04-30 2014-10-30 Samsung Electronics Co., Ltd. Method and apparatus for sensing spatial information based on vision sensor
US20170155805A1 (en) 2015-11-26 2017-06-01 Samsung Electronics Co., Ltd. Method and apparatus for capturing an image of an object by tracking the object
JP2018501675A (ja) 2014-09-30 2018-01-18 クアルコム,インコーポレイテッド センサ素子アレイにおける特徴計算

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3014895B2 (ja) 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
JPH07226873A (ja) * 1994-02-16 1995-08-22 Hitachi Ltd 自動追尾撮像装置
JP4115574B2 (ja) 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
JP2002131797A (ja) * 2000-10-20 2002-05-09 Canon Inc 撮像装置及び振動抑制方法
JP4487640B2 (ja) 2004-06-01 2010-06-23 ソニー株式会社 撮像装置
US8237824B1 (en) 2007-03-28 2012-08-07 Ambarella, Inc. Fixed pattern noise and bad pixel calibration
JP2009139724A (ja) 2007-12-07 2009-06-25 Sony Corp 撮像装置
JP5699561B2 (ja) 2010-01-27 2015-04-15 ソニー株式会社 撮像装置
EP2574511B1 (en) 2011-09-30 2016-03-16 Honda Research Institute Europe GmbH Analyzing road surfaces
KR101880998B1 (ko) 2011-10-14 2018-07-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
JP2013183282A (ja) 2012-03-01 2013-09-12 Sony Corp 欠陥画素補正装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
KR101685423B1 (ko) * 2012-03-12 2016-12-12 한화테크윈 주식회사 광역 감시 시스템 및 이동 물체 촬영 방법
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
US9883122B2 (en) 2014-09-16 2018-01-30 Qualcomm Incorporated Event-based down sampling
JP6320571B2 (ja) 2015-01-20 2018-05-09 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
KR102402678B1 (ko) 2015-03-18 2022-05-26 삼성전자주식회사 이벤트 기반 센서 및 프로세서의 동작 방법
EP3424211B1 (en) 2016-03-03 2020-07-08 Insightness AG An event-based vision sensor
US10306148B2 (en) 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
CN106597463B (zh) * 2016-12-29 2019-03-29 天津师范大学 基于动态视觉传感器芯片的光电式接近传感器及探测方法
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
US10237481B2 (en) 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
US10466779B1 (en) 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
KR20190133465A (ko) 2018-05-23 2019-12-03 삼성전자주식회사 다이나믹 비전 센서의 데이터 처리 방법, 이를 수행하는 다이나믹 비전 센서 및 이를 포함하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009210784A (ja) 2008-03-04 2009-09-17 Sony Corp 撮像装置
JP2010134480A (ja) 2010-02-22 2010-06-17 Olympus Corp カメラ
US20140320706A1 (en) 2013-04-30 2014-10-30 Samsung Electronics Co., Ltd. Method and apparatus for sensing spatial information based on vision sensor
JP2018501675A (ja) 2014-09-30 2018-01-18 クアルコム,インコーポレイテッド センサ素子アレイにおける特徴計算
US20170155805A1 (en) 2015-11-26 2017-06-01 Samsung Electronics Co., Ltd. Method and apparatus for capturing an image of an object by tracking the object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101978938B1 (ko) * 2018-07-25 2019-05-16 한국에너지기술연구원 실리콘 카바이드 제조방법 및 이를 이용하여 제조된 실리콘 카바이드

Also Published As

Publication number Publication date
US20210274116A1 (en) 2021-09-02
KR102496300B1 (ko) 2023-02-06
US11336850B2 (en) 2022-05-17
EP3863279A4 (en) 2022-06-22
EP3863279A1 (en) 2021-08-11
KR20210069646A (ko) 2021-06-11
CN112771846A (zh) 2021-05-07
JP2020057990A (ja) 2020-04-09
WO2020071268A1 (ja) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7023209B2 (ja) 電子機器、アクチュエータの制御方法およびプログラム
WO2020071267A1 (ja) センサモジュール、電子機器、ビジョンセンサの校正方法、被写体の検出方法およびプログラム
WO2020071266A1 (ja) センサモジュール、電子機器、被写体の検出方法およびプログラム
US9635236B2 (en) Camera body, camera system, and method of controlling camera-body blur correction
US20100002126A1 (en) System and method for focusing a digital camera
US7787043B2 (en) Lens apparatus for controlling an initial value
KR20140124287A (ko) 디지털 촬영장치 및 그 제어방법
JP2017143427A (ja) 監視カメラ
JP6991733B2 (ja) 制御装置、制御方法、及びプログラム
JP2007228015A (ja) 撮像素子制御ユニット及びデジタルカメラ
JPWO2020111177A1 (ja) ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム
JP2001036799A (ja) 固定焦点型撮像装置の光学レンズ位置調整法およびその方法にかかるプログラムを記録したコンピュータ読み取り可能な記録媒体並びに固定焦点型撮像装置の光学レンズ位置調整装置
JP2010008951A (ja) 光学機器
EP3203291B1 (en) Lens unit, imaging device, and control method
JP2008098837A (ja) デジタルカメラ
JP2008244670A (ja) 撮像装置
WO2024062615A1 (ja) イベントベースビジョンカメラのイベント信号取得方法
WO2022181681A1 (ja) レンズ鏡筒及び撮像装置
JP2016201596A (ja) 監視カメラ及び位置調整方法
US20240015377A1 (en) Imaging control device, imaging apparatus, imaging control method, and program
WO2022137800A1 (ja) レンズ装置、撮像装置、レンズ装置の作動方法、撮像装置の作動方法、及びプログラム
JP7241511B2 (ja) 撮像装置およびその制御方法
JP2006279117A (ja) 電子カメラ
JP2022095250A (ja) 駆動制御装置、撮像装置および制御方法
JP2014202783A (ja) 焦点調整装置および焦点調整方法、ならびに、投射装置および投射装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220208

R150 Certificate of patent or registration of utility model

Ref document number: 7023209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150