JP7247371B2 - 画像処理装置、システム、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、システム、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP7247371B2 JP7247371B2 JP2021563907A JP2021563907A JP7247371B2 JP 7247371 B2 JP7247371 B2 JP 7247371B2 JP 2021563907 A JP2021563907 A JP 2021563907A JP 2021563907 A JP2021563907 A JP 2021563907A JP 7247371 B2 JP7247371 B2 JP 7247371B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- user
- amount
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 105
- 238000003672 processing method Methods 0.000 title description 4
- 230000033001 locomotion Effects 0.000 claims description 286
- 238000012937 correction Methods 0.000 claims description 142
- 238000004364 calculation method Methods 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 description 15
- 210000003128 head Anatomy 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007561 response to light intensity Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6815—Motion detection by distinguishing pan or tilt from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置、システム、画像処理方法、および画像処理プログラムに関する。
静止画像や動画像の生成に際しては、従来より様々なブレ補正の手法が提案されている。例えば、特許文献1の発明では、監視システムに関し、夜間でも障害物が見え、かつ交通流や侵入者などを計測可能な監視装置が開示されている。特許文献1の発明では、複数の画像を利用して動き情報を取得し、動き情報に基づいてブレ補正を行う技術が開示されている。
しかしながら、撮像に際しては被写体に起因するブレのみならず、撮像装置に起因するブレも多く発生する。例えば、ロボットやドローンなどに搭載された撮像装置により静止画像や動画像を生成する際には、エゴモーションや撮像の姿勢などを考慮した補正が望まれている。
そこで、本発明は、画像センサの動きを考慮することによって、安定的に画像を生成することができる画像処理装置、システム、画像処理方法および画像処理プログラムを提供することを目的とする。
本発明のある観点によれば、画像センサが取得した画像信号を受信する受信部と、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを備える画像処理装置が提供される。
本発明の別の観点によれば、画像センサが取得した画像信号を受信する受信部と、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する取得部と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを備える画像処理装置が提供される。
本発明のさらに別の観点によれば、画像信号を取得する画像センサと、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、操作入力に基づいて、画像センサを搭載した装置を駆動させる駆動部と、画像信号を受信する受信部と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを有する端末装置とを備えるシステムが提供される。
本発明のさらに別の観点によれば、画像信号を取得する画像センサと、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する取得部と、画像信号を受信する受信部と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正部とを有する端末装置とを備えるシステムが提供される。
本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信するステップと、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付けるステップと、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出するステップと、動き量に基づいて、画像信号から構築される画像に対して補正処理を行うステップとを含む画像処理方法が提供される。
本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信するステップと、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得するステップと、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出するステップと、動き量に基づいて、画像信号から構築される画像に対して補正処理を行うステップとを備える画像処理方法が提供される。
本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信する機能と、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける機能と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する機能と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う機能とをコンピュータに実現させる画像処理プログラムが提供される。
本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信する機能と、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する機能と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する機能と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う機能とをコンピュータに実現させる画像処理プログラムが提供される。
以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<第1実施形態>
図1は、本発明の第1実施形態に係るシステムの概略的な構成を示すブロック図である。図1に示されるように、システム10は、ロボット本体100と、ロボット本体100に対する操作を目的としてユーザーが操作をするための操作部200と、ロボット本体100により生成された画像を表示する表示装置300とを含む。
図1は、本発明の第1実施形態に係るシステムの概略的な構成を示すブロック図である。図1に示されるように、システム10は、ロボット本体100と、ロボット本体100に対する操作を目的としてユーザーが操作をするための操作部200と、ロボット本体100により生成された画像を表示する表示装置300とを含む。
ロボット本体100は、RGBカメラ110およびEDS(Event Driven Sensor)120を含むカメラユニット130と、カメラユニット130を駆動する3軸カメラ駆動部140と、ロボット本体100の全体を駆動するロボット駆動部150と、情報処理装置160とを含む。以下では、一例として、ロボット本体100が四脚の生物を模したロボットである場合を例に挙げて説明する。
RGBカメラ110は、イメージセンサ111と、イメージセンサ111に接続される処理回路112とを含む。イメージセンサ111は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってRGB画像信号113を生成する。処理回路112は、例えばRGB画像信号113を保存および伝送に適した形式に変換する。また、処理回路112は、RGB画像信号113にタイムスタンプを与える。
EDS120は、センサアレイを構成するセンサ121と、センサ121に接続される処理回路122とを含む。センサ121は、受光素子を含み、入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号123を生成する。処理回路122を経て出力されるイベント信号123は、センサ121の識別情報(例えばピクセルの位置)と、輝度変化の極性(上昇または低下)と、タイムスタンプとを含む。また、輝度変化を検出した際に、EDS120は、RGB画像信号113の生成頻度(RGBカメラ110のフレームレート)より大幅に高い頻度でイベント信号123を生成することができる。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、RGB画像信号113およびイベント信号123は、画像信号の一例を示す。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、RGB画像信号113およびイベント信号123は、画像信号の一例を示す。
本実施形態において、RGB画像信号113およびイベント信号123に与えられるタイムスタンプは同期している。具体的には、例えば、EDS120でタイムスタンプを生成するために用いられる時刻情報をRGBカメラ110に提供することによって、RGB画像信号113およびイベント信号123に与えられるタイムスタンプを同期させることができる。あるいは、タイムスタンプを生成するための時刻情報がRGBカメラ110とEDS120とでそれぞれ独立している場合、特定のイベント(例えば、画像全体にわたる被写体の変化)が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にRGB画像信号113およびイベント信号123に与えられるタイムスタンプを同期させることができる。
また、本実施形態では、事前に実行されるRGBカメラ110とEDS120とのキャリブレーション手順によって、EDS120のセンサ121がRGB画像信号113の1または複数のピクセルに対応付けられ、イベント信号123はRGB画像信号113の1または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、RGBカメラ110とEDS120とで共通の校正パターンを撮像し、RGBカメラ110およびEDS120のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、RGB画像信号113の1または複数のピクセルにセンサ121を対応付けることができる。
カメラユニット130は、ロボット本体100が四脚の生物を模したロボットであるため、頭部に搭載され、RGBカメラ110およびEDS120は、ロボットの視野に相当する画像として、RGB画像信号113およびイベント信号123を生成する。そして、カメラユニット130は、ユーザー操作に基づき、3軸カメラ駆動部140によりその全体が駆動される。そのため、RGBカメラ110およびEDS120は、カメラユニット130とともに一体化されて同時に変位および回転させられることになる。
3軸カメラ駆動部140は、ユーザー操作に応じて、上述したカメラユニット130を駆動する。3軸カメラ駆動部140は例えば、モータ、モータ制御回路、エンコーダなどを有し、ピッチ、ロール、ヨーの3軸に対してそれぞれ回転する方向にカメラユニット130を駆動する。カメラユニット130が搭載されるロボットの頭部は、3軸カメラ駆動部140により、上下方向、左右方向に駆動されるとともに、首を傾げる方向に回転駆動される。3軸カメラ駆動部140の具体的な構成については、公知の各種の技術を利用可能であるため詳細な説明は省略する。
ロボット駆動部150は、ユーザー操作に応じて、ロボット本体100の全体を駆動する。ロボット駆動部150は、例えば、モータ、モータ制御回路、エンコーダなどを有し、ユーザーの操作に応じてロボット本体100の腕部や脚部などの各部を駆動する。ロボット駆動部150の具体的な構成については、公知の各種の技術を利用可能であるため詳細な説明は省略する。
なお、ユーザー操作に基づき、ロボット駆動部150によってロボット本体100の全体が駆動される際には、カメラユニット130もその全体が変位および回転させられる。そのため、RGBカメラ110およびEDS120も同時に変位および回転させられることになる。この動きには、例えば、ロボット本体100の前後または左右への移動、カメラユニット130が上下動するようなロボット本体100の脚部の屈伸や跳躍や落下、ロボット本体100の全体、または上半身などの一部の回転等の動きが含まれる。ここで、カメラユニット130の変位および回転は、ロボット本体100の意図された駆動だけではなく、駆動に伴うロボット本体100の揺れによっても生じる。このような場合には、RGBカメラ110により生成されたRGB画像信号113、およびEDS120により生成されたイベント信号123にもブレが発生することになる。
再び図1を参照して、情報処理装置160は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される受信部161、第1動き量算出部162、受付部163、第2動き量算出部164、補正量決定部165、補正処理部166、画像出力部168の各機能を含む。以下、各部の機能についてさらに説明する。
受信部161は、RGBカメラ110で生成されたRGB画像信号113と、EDS120で生成されたイベント信号123とを受信する。
RGBカメラ110においては、被写界内で輝度が変化するか否かにかかわらず、所定の周期で、またはユーザー操作に応じた所定のタイミングでイメージセンサ111によってRGB画像信号113が生成され、受信部161により受信される。
RGBカメラ110においては、被写界内で輝度が変化するか否かにかかわらず、所定の周期で、またはユーザー操作に応じた所定のタイミングでイメージセンサ111によってRGB画像信号113が生成され、受信部161により受信される。
EDS120においては、被写界内でオブジェクトの位置が変化した場合などに、輝度変化が発生し、その輝度変化が発生した画素アドレスでセンサ121が生成したイベント信号123が受信部161により受信される。なお、被写界内でのオブジェクトの位置変化は、被写界内における動体の移動によって起こるだけでなく、カメラユニット130自体の移動や、ロボット本体100の移動によっても起こるが、イベント信号123ではそれらの区別はつかない。
受信部161は、受信したRGB画像信号113およびイベント信号123の両方を第1動き量算出部162に供給する一方で、受信したRGB画像信号113のみを補正処理部166に供給する。
受信部161は、受信したRGB画像信号113およびイベント信号123の両方を第1動き量算出部162に供給する一方で、受信したRGB画像信号113のみを補正処理部166に供給する。
第1動き量算出部162は、受信部161が受信したRGB画像信号113とイベント信号123とに基づいて、イメージセンサ111およびセンサ121の画角全体の動き量を算出する。画角全体の動き量の算出は、例えば、2枚のRGB画像信号113に対して、ブロックマッチング法、勾配法などの公知の手法を用い、動きベクトルを算出することにより実行することができる。一方、イベント信号123を用いた場合には、イベント信号123自体が動き量に相当するものであるため、1枚のイベント信号123から画角全体の動き量を算出することができる。なお、RGB画像信号113に基づいて動きベクトルが算出される動きは、被写界内における動体の移動、カメラユニット130の移動、ロボット本体100の移動等によって起こるが、RGB画像信号113に基づいて算出される動きベクトルではそれらの区別はつかない。また、イベント信号123でもこれらの区別がつかないことは上述のとおりである。
なお、上述したRGB画像信号113に基づく動き量の算出と、イベント信号123に基づく動き量の算出とを組み合わせて、画角全体のより詳細な動き量を算出することもできる。
また、動き量の算出の際に、被写体認識や、動物体の排除などを組み合わせて実行しても良い。例えば、RGB画像信号113に対して公知の被写体認識を行い、人や動物などのクラスを特定し、特定した被写体が動く可能性の高い動物体である場合には、その部分を分離して排除した後に動き量を算出することが考えられる。この場合、背景を精度良く分離して、画角全体の支配的な動き成分の動き量を算出することができる。
また、動き量の算出の際に、被写体認識や、動物体の排除などを組み合わせて実行しても良い。例えば、RGB画像信号113に対して公知の被写体認識を行い、人や動物などのクラスを特定し、特定した被写体が動く可能性の高い動物体である場合には、その部分を分離して排除した後に動き量を算出することが考えられる。この場合、背景を精度良く分離して、画角全体の支配的な動き成分の動き量を算出することができる。
また、動き量を算出する際に、例えば、イベント信号123において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを上述した動物体として検出し、動物体の排除を組み合わせて実行しても良い。
このように、第1動き量算出部162は、受信部161が受信したRGB画像信号113とイベント信号123とに基づいて、画角全体の動き量(移動量および方向)を算出し、算出した動き量を示す情報を補正量決定部165に供給する。
受付部163は、操作部200に対するユーザーの操作入力を受け付ける。この操作入力には、カメラユニット130を駆動する操作や、ロボット本体100の全体を駆動する操作の入力などが含まれ、これらの操作はロボット本体100に対するユーザーの意図的な操作である。受付部163は、受け付けたユーザーの操作入力を示す情報を3軸カメラ駆動部140およびロボット駆動部150に供給するとともに、第2動き量算出部164にも供給する。
第2動き量算出部164は、受付部163が受け付けた操作入力を示す情報に基づいて、ユーザーの意図的な操作に基づくイメージセンサ111およびセンサ121の動き量を算出する。第2動き量算出部164は、操作入力を示す情報に基づいて、3軸カメラ駆動部140およびロボット駆動部150によるカメラユニット130の移動量、移動方向、回転量、回転方向などを算出することにより、イメージセンサ111およびセンサ121の動き量を算出する。例えば、3軸カメラ駆動部140によりカメラユニット130が回転されると、基本的にイメージセンサ111およびセンサ121も同量、同方向に回転される。また、例えば、ロボット駆動部150によりロボット本体100が回転されると、基本的にイメージセンサ111およびセンサ121も同量、同方向に回転される。移動の場合も同様である。
操作入力を示す情報は、上述したようにユーザーの意図的な操作を示す情報である。したがって、第2動き量算出部164で算出される動き量はユーザーの意図的な操作に基づく動きのみを示し、後述する補正処理の対象外となる動きを示す動き量である。このような動きは、RGBカメラ110のイメージセンサ111、およびEDS120のセンサ121の変位および回転に伴って発生する画像全体の動きに相当する。
具体的には、例えば、ユーザー操作によりロボット本体100の頭部が回転駆動され、結果としてカメラユニット130が回転される動きや、ユーザー操作によりロボット本体100の全体が駆動され、結果としてRGBカメラ110のイメージセンサ111、およびEDS120のセンサ121による撮像方向が変更される動きなどが考えられる。第2動き量算出部164は、画像センサを一体化して同時に変位および回転可能な部分を駆動させるためのユーザー操作に伴って発生する動き、および、装置全体を駆動するためのユーザー操作に伴って発生する動きの動き量を算出し、算出した動き量を示す情報を補正量決定部165に供給する。
なお、第2動き量算出部164により算出される動き量については、上記の例に限定されない。例えば、3軸カメラ駆動部140によるカメラユニット130の動き量のみを算出しても良いし、ロボット駆動部150によるカメラユニット130の動き量のみを算出しても良い。また、ロボット本体100の動きの条件に応じて、第2動き量算出部164により算出される動き量を変更しても良い。例えば、ユーザーの意図的な操作であっても、画像の安定的な生成が著しく困難になる可能性が高い場合には、第2動き量算出部164により動き量を算出しない、または、算出した動き量を低減する構成としても良い。
補正量決定部165は、第1動き量算出部162および第2動き量算出部164により算出した動き量を用いて、後述する補正処理部166による補正処理の補正量を決定する。後述する補正処理部166による補正処理においては、基本的に画像の表示時の視野の中央において、視野角を安定させるような補正が望まれる。
そこで、補正量決定部165は、第2動き量算出部164によって算出したイメージセンサ111およびセンサ121の動き量を、第1動き量算出部162によって算出したイメージセンサ111およびセンサ121の画角全体の動き量から差し引くことにより補正量を決定する。つまり、補正量決定部165は、第1動き量算出部162によって算出したイメージセンサ111およびセンサ121の画角全体の動き量のうち、ユーザーの意図的な操作に基づく動き量を低減(場合によっては相殺)して補正量を決定する。そして、決定した補正量を用いることで、ユーザーの意図的な操作については反映、追従する一方で、ユーザーの意図とは無関係にRGB画像信号113に発生してしまうブレのみを補正することができる。
なお、第1動き量算出部162によって算出したイメージセンサ111およびセンサ121の画角全体の動き量を低減する際に、補正量決定部165は、例えば、第1動き量算出部162によって算出したイメージセンサ111およびセンサ121の画角全体の動き量、および第2動き量算出部164によって算出したイメージセンサ111およびセンサ121の動き量について、回転方向ごとに回転量を単純に加減算することにより低減しても良いし、適宜重みづけを行って低減しても良い。移動の場合も同様である。
このように、受付部163が操作入力を受け付け、第2動き量算出部164によって第2動き量が算出されると、補正量決定部165は、第1動き量算出部162および第2動き量算出部164により算出した動き量に基づいて、補正処理部166による補正処理の補正量を決定し、補正処理部166に供給する。一方、受付部163が操作入力を受け付けず、第2動き量算出部164によって第2動き量が算出されない場合、補正量決定部165は、第1動き量算出部162により算出した動き量のみに基づいて、補正処理部166による補正処理の補正量を決定し、補正処理部166に供給する。
補正処理部166は、受信部161が受信したRGB画像信号113に対して、補正量決定部165において決定した補正量に基づく補正処理を行い、出力画像167を生成する。出力画像167は、カメラユニット130に対するユーザーの意図的な操作に起因するブレは補正の対象外として補正量が差し引かれ、装置全体を動作させるユーザーの操作に伴って生じるロボット本体100の全体の揺れに起因するブレは補正された画像である。補正処理部166による補正処理は、例えば、補正量決定部165で決定した補正量に基づき、補正方向ごとに領域を分離し、それぞれの領域についてブレを補正するなど、公知の手法を用いて実行することができる。また、補正処理部166による補正処理に際して、算出した動き量に基づいて逆フィルタを生成し、生成した逆フィルタを適用することによってブレを補正する、いわゆるブラー補正などの補正を組み合わせて実行しても良い。
画像出力部168は、補正処理部166により生成された出力画像167を、表示装置300に出力する。
画像出力部168は、補正処理部166により生成された出力画像167を、表示装置300に出力する。
再び図1を参照して、操作部200は、ロボット本体100に備えられるか、または、無線または有線を介して情報処理装置160の受付部163に接続される。本実施形態において、操作部200は、例えば複数の操作子を備えたいわゆるコントローラであり、ユーザーは操作部200を操作することによりロボット本体100の全体やロボットの頭部(カメラユニット130)を駆動することが可能である。
なお、操作部200には公知の様々な構成を適用することが可能である。例えば、両手のそれぞれに把持可能な一対のコントローラにより構成されても良いし、キーボートのような文字入力が可能なコントローラにより構成されても良いし、スマートフォンなどのアプリケーションにより構成されても良い。
さらに、操作部200および受付部163に、音声認識技術を適用しても良い。例えば、操作部200としてマイクなどを備え、受付部163に音声認識部を備え、ユーザーが発声するコマンドや、ユーザーの呼びかけなどにより、ロボット本体100に対する指示を実現しても良い。
表示装置300は、ロボット本体100に備えられるか、または、ロボット本体100から離隔して配置され、無線または有線を介して情報処理装置160の画像出力部168に接続される。表示装置300は、例えばLCD(Liquid Crystal Display)や有機ELなどのモニタであり、ロボット本体100により生成される画像を表示することにより、ユーザーに提示することが可能である。
なお、表示装置300には公知の様々な構成を適用することが可能である。例えば、専用の表示装置により構成されても良いし、ユーザーの頭部に装着されるHMD(Head Mounted Display)などの表示装置により構成されても良いし、コンピュータの表示装置により構成されても良いし、スマートフォンなどの端末装置の表示装置により構成されても良い。
また、記録装置を備え、出力画像167の表示装置300への表示に加えて、出力画像167を記録する構成としても良いし、表示装置300を備えずに、記録装置への記録の行う構成としても良い。このような記録装置はロボット本体100に備えられるか、またはロボット本体100から離隔して配置され、無線または有線を介して情報処理装置160の画像出力部168に接続されても良い。
図2は、図1に示したシステム10における処理を概念的に説明するための図である。図示された例では、静止しているオブジェクトobjについて、(a)として示すように矢印Aの分だけユーザーの意図とは無関係にブレが発生している状態で、操作部200に対するユーザー操作により、カメラユニット130が右方向に回転され、(b)として示すようにイメージセンサ111およびセンサ121が矢印Bの分だけ回転された場合の例を示す。
このような場合、RGBカメラ110により生成されるRGB画像信号113と、EDS120により生成されるイベント信号123とには、(c)として示すように矢印Aに加えて矢印Bの分のブレが発生する。従って、(d)として示すように、第1動き量算出部162が算出する動き量は、矢印(A+B)に相当する動き量となる。一方、第2動き量算出部164が算出する動き量は、操作部200に対するユーザーの操作入力を示す情報に基づくため、(e)として示すように矢印Bに相当する動き量となる。
そして、補正量決定部165においては、第2動き量算出部164によって算出した動き量を、第1動き量算出部162によって算出した動き量から差し引くことにより補正量が決定されるため、その補正量は、(f)として示すように矢印Aに相当する補正量となる。
なお、図2に示された例において、仮に第1動き量算出部162によって算出した動き量のみに基づいて補正量を決定した場合には、ユーザーの意図的な操作(矢印B)についてもブレと見なされ、矢印(A+B)に相当する補正量が算出される。その結果、操作部200に対するユーザー操作により、カメラユニット130が右方向に回転されたにもかかわらず、オブジェクトobjがRGB画像信号113の中央方向に押し戻されることになり、実際のユーザー操作と生成および表示される画像とに齟齬が生じる。このような場合には、ユーザーに不快感を与えたり、酔いを発生させたりする可能性がある。特に、VR(Virtual Reality:仮想現実)やAR(Augmented Reality:拡張現実)等、ユーザーの視野の大部分に画像の表示を行う場合にはこの問題がより顕著になる。
これに対して、本実施形態においては、ユーザーの意図的な操作(矢印B)については反映、追従する一方で、ユーザーの意図とは無関係にRGB画像信号113に発生してしまうブレ(矢印A)のみを補正することができる。
なお、図2においては、説明のために静止しているオブジェクトobjの水平方向においてブレが発生する場合を例に挙げて説明したが、他の方向への移動についても同様に考えることができる。また、objが移動している場合であっても、上述した動物体の排除等により、本発明を同様に適用することができる。
図3は、本発明の第1実施形態に係る処理の例を示すフローチャートである。図示された例では、情報処理装置160の受信部161がイメージセンサ111により生成されたRGB画像信号113を受信する(ステップS101)とともに、受信部161がセンサ121により生成されたイベント信号123を受信する(ステップS102)。
そして、第1動き量算出部162がRGB画像信号113およびイベント信号123に基づいて、第1の動き量を算出する(ステップS103)。受付部163が操作部200に対するユーザーの操作入力を受け付けた場合(ステップS104YES)には、操作入力を示す情報に基づいて、第2動き量算出部164が第2の動き量を算出し(ステップS105)、第1の動き量の算出結果と第2の動き量の算出結果とに基づいて、補正量決定部165が補正量を決定する(ステップS106)。
一方、受付部163が操作部200に対するユーザーの操作入力を受け付けない場合(ステップS104NO)には、第1の動き量の算出結果のみに基づいて、補正量決定部165が補正量を決定する(ステップS107)。
そして、ステップS106またはステップS107で決定した補正量にしたがって、補正処理部166がRGB画像信号113に対する補正処理を実行する(ステップS108)。
そして、ステップS106またはステップS107で決定した補正量にしたがって、補正処理部166がRGB画像信号113に対する補正処理を実行する(ステップS108)。
以上で説明したような本発明の第1実施形態では、イメージセンサ111およびセンサ121が取得した画像信号を受信する一方、イメージセンサ111およびセンサ121を搭載した装置を駆動させるためのユーザーの操作入力を受け付け、画像信号と操作入力とに基づいて、イメージセンサ111およびセンサ121の画角全体の動き量を算出する。そして、算出した動き量に基づいて、画像信号から構築される画像に対して補正処理を行う。したがって、ユーザーの操作入力に基づいて画像センサの動きを考慮することによって、安定的に画像を生成することができる。また、生成した画像の表示においては、ユーザーに不快感を与えたり、酔いを発生させたりするリスクを低減することができる。
上記のような構成によって、例えば、温度特性や重力や磁気などの影響を受けやすいジャイロセンサや、コスト面およびサイズ面で制約を受けるジンバル機構などの構成を備えることなく、好適な補正処理を行うことができる。
また、本発明の第1実施形態では、操作入力は、ロボット本体100のうち、イメージセンサ111およびセンサ121を一体化して同時に変位および回転可能な部分を駆動させるためのユーザーの操作入力である。したがって、ユーザーの意図的な操作については反映、追従する一方で、ユーザーの意図とは無関係に発生したブレのみを補正することができる。
また、本発明の第1実施形態では、EDS120およびRGBカメラ110の両方を備え、EDS120が生成したイベント信号123と操作入力とに基づいて画角全体の動き量を算出し、算出した動き量に基づいて、RGBカメラ110が生成したRGB画像信号113から構築される画像に対して補正処理を行う。したがって、高速に生成され、それ自体が動き量に相当するイベント信号123を用いて高速かつ正確に補正量を算出することができるとともに、画像の構築に十分な情報を有するRGB画像信号113から画像を構築し、補正処理を行うことができる。そのため、RGB画像信号113およびイベント信号123のそれぞれの特性を活かした好適な処理を実現することができる。
<第2実施形態>
図4は、本発明の第2実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第1実施形態で説明されたシステム10は、RGBカメラ110およびEDS120を含むカメラユニット130を備える例を示したが、第2実施形態のシステム20は、RGBカメラ110のみを備える。図4においては、図1と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。
図4は、本発明の第2実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第1実施形態で説明されたシステム10は、RGBカメラ110およびEDS120を含むカメラユニット130を備える例を示したが、第2実施形態のシステム20は、RGBカメラ110のみを備える。図4においては、図1と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。
図4の例において、受信部161はRGB画像信号113のみを受信し、第1動き量算出部162は、RGB画像信号113のみに基づいて画角全体の動き量を算出する。
この例においては、第1動き量算出部162によって、RGBカメラ110のイメージセンサ111の画角全体の動き量を算出することにより、第1実施形態と同様の効果を得ることができる。
この例においては、第1動き量算出部162によって、RGBカメラ110のイメージセンサ111の画角全体の動き量を算出することにより、第1実施形態と同様の効果を得ることができる。
<第3実施形態>
図5は、本発明の第3実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第1実施形態で説明されたシステム10は、RGBカメラ110およびEDS120を含むカメラユニット130を備える例を示したが、第3実施形態のシステム30は、EDS120のみを備える。図5においては、図1と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。
図5は、本発明の第3実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第1実施形態で説明されたシステム10は、RGBカメラ110およびEDS120を含むカメラユニット130を備える例を示したが、第3実施形態のシステム30は、EDS120のみを備える。図5においては、図1と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。
図5の例において、受信部161はイベント信号123のみを受信し、第1動き量算出部162は、イベント信号123のみに基づいて画角全体の動き量を算出する。
この例においては、第1動き量算出部162によって、EDS120のセンサ121の画角全体の動き量を算出すればよい。なお、EDS120のみを備えたシステム30においては、画像生成部169をさらに備え、受信部161が受信したイベント信号123から、イベントの検出結果が各画素の画素値として表現された画像を構築し、構築された画像に対して補正処理部166による補正処理を行うことにより、第1実施形態および第2実施形態と同様の効果を得ることができる。なお、イベント信号123から画像を構築する処理には、公知の各種の構成を採用することができる。
この例においては、第1動き量算出部162によって、EDS120のセンサ121の画角全体の動き量を算出すればよい。なお、EDS120のみを備えたシステム30においては、画像生成部169をさらに備え、受信部161が受信したイベント信号123から、イベントの検出結果が各画素の画素値として表現された画像を構築し、構築された画像に対して補正処理部166による補正処理を行うことにより、第1実施形態および第2実施形態と同様の効果を得ることができる。なお、イベント信号123から画像を構築する処理には、公知の各種の構成を採用することができる。
なお、第1実施形態から第3実施形態で説明されたシステム10、システム20、システム30では、駆動部としてカメラユニット130を駆動する3軸カメラ駆動部140と、ロボット本体100の全体を駆動するロボット駆動部150とを例に挙げて説明したが、本発明はこの例に限定されない。より多くの駆動部により各部を駆動する構成としても良いし、より少ない駆動部(例えばカメラユニット130の駆動のみなど)により各部を駆動する構成としても良い。
また、第1実施形態から第3実施形態で説明されたシステム10、システム20、システム30では、カメラユニット130を搭載する頭部を、3軸カメラ駆動部140により変位または回転させる例を示したが、本発明はこの例に限定されない。装置全体のうち、画像センサ(イメージセンサ111およびセンサ121)を一体化して同時に変位および回転可能な部分のみを駆動可能な駆動部を設けても良い。例えば、頭部に相当する部分から突出した部分に画像センサが搭載されている場合には、突出した部分のみを駆動可能な駆動部を設けても良い。また、例えば、装置本体を構成する複数の装置のうち、カメラユニット130が搭載されている装置のみを駆動可能な駆動部を設けても良い。
また、第1実施形態から第3実施形態で説明されたシステム10、システム20、システム30では、カメラユニット130を搭載する頭部を、3軸カメラ駆動部140により変位または回転させる例を示したが、本発明はこの例に限定されない。装置全体のうち、画像センサ(イメージセンサ111およびセンサ121)を一体化して同時に変位および回転可能な部分のみを駆動可能な駆動部を設けても良い。例えば、頭部に相当する部分から突出した部分に画像センサが搭載されている場合には、突出した部分のみを駆動可能な駆動部を設けても良い。また、例えば、装置本体を構成する複数の装置のうち、カメラユニット130が搭載されている装置のみを駆動可能な駆動部を設けても良い。
また、第1実施形態から第3実施形態で説明されたシステム10、システム20、システム30では、ロボット本体100として、四脚の生物を模したロボットを例に挙げて説明したが、本発明はこの例に限定されない。ロボットに相当する本体の移動や駆動に起因してブレが発生する可能性があり、かつ、画像センサの位置と撮像方向との少なくとも一方を変更可能であれば、四脚の生物を模したロボット以外の装置にも本発明を応用することが考えられる。
例えば、ロボット本体100は、人型を模した二足ロボットであっても良いし、動物型などの多脚型ロボットであっても良いし、車両型のロボットであっても良い。さらに、ドローンなど飛行機能を備えた装置や、水中ドローンなど水中または水上で移動可能な装置に本発明を適用しても良い。さらに、内視鏡など、画像センサが生成した画像を目視確認しながら画像センサの位置と撮像方向との少なくとも一方を変更可能な装置にも本発明を適用することができる。
<第4実施形態>
図6は、本発明の第4実施形態に係るシステムの概略的な構成を示すブロック図である。第4実施形態のシステム40は、第1実施形態のシステム10をHMDなどの装着型デバイスに適用したものである。
システム40は、HMD本体400から構成され、不図示の装着部によりユーザーの体、より詳しくはユーザーの頭部に装着可能である。
HMD本体400は、第1実施形態と同様のカメラユニット130を含むとともに、ユーザーの視線を検出する視線検出部440と、カメラユニット130自体の姿勢を検出するセンサであるIMU(Inertial Measurement Unit)450と、情報処理装置460と、表示部470とを含む。
図6は、本発明の第4実施形態に係るシステムの概略的な構成を示すブロック図である。第4実施形態のシステム40は、第1実施形態のシステム10をHMDなどの装着型デバイスに適用したものである。
システム40は、HMD本体400から構成され、不図示の装着部によりユーザーの体、より詳しくはユーザーの頭部に装着可能である。
HMD本体400は、第1実施形態と同様のカメラユニット130を含むとともに、ユーザーの視線を検出する視線検出部440と、カメラユニット130自体の姿勢を検出するセンサであるIMU(Inertial Measurement Unit)450と、情報処理装置460と、表示部470とを含む。
視線検出部440は、ユーザーの視線を検出し、情報処理装置460に出力する。視線検出部440による視線検出はどのように行われてもよい。例えば、ユーザーの目の周りにIR(Infrared)センサを近接配置し、IRセンサの出力に基づいてユーザーの視線を検出してもよいし、IRセンサに代えて、または加えて、EDS120のセンサ121と同様のセンサの出力に基づいて視線を検出してもよい。
IMU450は、カメラユニット130自体、より具体的には、RGBカメラ110のイメージセンサ111およびEDS120のセンサ121の姿勢を検出する慣性センサである。IMU450は、所定の周期で、または、所定のタイミングでイメージセンサ111およびセンサ121の三次元の姿勢情報を取得する。この姿勢情報は、ユーザーの頭部の動きを示す情報と見なすことができる。IMU450は、このようなユーザーの頭部の動きを示す情報を情報処理装置460に出力する。
IMU450は、カメラユニット130自体、より具体的には、RGBカメラ110のイメージセンサ111およびEDS120のセンサ121の姿勢を検出する慣性センサである。IMU450は、所定の周期で、または、所定のタイミングでイメージセンサ111およびセンサ121の三次元の姿勢情報を取得する。この姿勢情報は、ユーザーの頭部の動きを示す情報と見なすことができる。IMU450は、このようなユーザーの頭部の動きを示す情報を情報処理装置460に出力する。
情報処理装置460は、第1実施形態の受信部161、第1動き量算出部162、第2動き量算出部164、補正量決定部165、補正処理部166とそれぞれ同様の受信部461、第1動き量算出部462、第2動き量算出部464、補正量決定部465、補正処理部466の各機能に加えて、取得部463の機能を含む。以下、第1実施形態とは異なる部分について各部の機能についてさらに説明する。
取得部463は、視線検出部440が検出したユーザーの視線に関する情報と、IMU450が取得したユーザーの頭部の動きを示す情報とを取得する。これらの情報は、カメラユニット130の移動を引き起こすユーザーの動きを示す情報である。取得部463は、取得したユーザーの動きを示す情報を、第2動き量算出部464に供給する。
第2動き量算出部464は、取得部463が取得したユーザーの動きを示す情報に基づいて、ユーザーの動きによって引き起こされるイメージセンサ111およびセンサ121の動き量を算出する。
一般に、人間は首を回転させて視野を変更しようとするときに、まず目の眼球を動かして視線をその方向に移動させてから、首を動かす特性がある。そこで、第2動き量算出部464は、視線検出部440が検出したユーザーの視線に関する情報に基づいて、ユーザーの首の動きを判別し、IMU450が取得したユーザーの頭部の動きを示す情報が、首が動く方向への移動を示す場合、ユーザーの意図的な動きであると判断する。このような場合、第2動き量算出部464は、IMU450が取得したユーザーの頭部の動きを示す情報に基づいて、イメージセンサ111およびセンサ121の動き量を算出する。例えば、ユーザーが首を回転すると、カメラユニット130も回転され、基本的にイメージセンサ111およびセンサ121も同量、同方向に回転される。移動の場合も同様である。
一般に、人間は首を回転させて視野を変更しようとするときに、まず目の眼球を動かして視線をその方向に移動させてから、首を動かす特性がある。そこで、第2動き量算出部464は、視線検出部440が検出したユーザーの視線に関する情報に基づいて、ユーザーの首の動きを判別し、IMU450が取得したユーザーの頭部の動きを示す情報が、首が動く方向への移動を示す場合、ユーザーの意図的な動きであると判断する。このような場合、第2動き量算出部464は、IMU450が取得したユーザーの頭部の動きを示す情報に基づいて、イメージセンサ111およびセンサ121の動き量を算出する。例えば、ユーザーが首を回転すると、カメラユニット130も回転され、基本的にイメージセンサ111およびセンサ121も同量、同方向に回転される。移動の場合も同様である。
なお、第2動き量算出部464により算出される動き量については、上記の例に限定されない。例えば、視線検出部440が検出したユーザーの視線に関する情報、およびIMU450が取得したユーザーの頭部の動きを示す情報に代えて、または加えて、その他の情報を用いてもよい。また、例えば、HMD本体400の動きの条件に応じて、第2動き量算出部464により算出される動き量を変更しても良い。例えば、ユーザーの意図的な動きであっても、画像の安定的な生成が著しく困難になる可能性が高い場合には、第2動き量算出部464により動き量を算出しない、または、算出した動き量を低減する構成としても良い。
補正量決定部465は、第1動き量算出部462および第2動き量算出部464により算出した動き量を用いて、後述する補正処理部466による補正処理の補正量を決定する。
補正量決定部465は、まず、第2動き量算出部464により算出した動き量に基づいて、ユーザーの動きがあるか否かを判定する。判定は、例えば所定の閾値との比較により行うことができる。
そして、ユーザーの動きがあると判定すると、補正量決定部465は、第1実施形態の補正量決定部165と同様に、第2動き量算出部464によって算出したイメージセンサ111およびセンサ121の動き量を、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量から差し引くことにより補正量を決定する。つまり、補正量決定部465は、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量のうち、カメラユニット130の移動を引き起こすユーザーの動きに基づく動き量を低減(場合によっては相殺)して補正量を決定する。そして、決定した補正量を用いることで、カメラユニット130の移動を引き起こすユーザーの動きについては反映、追従する一方で、ユーザーの意図および動きとは無関係にRGB画像信号113に発生してしまうブレのみを補正することができる。
そして、ユーザーの動きがあると判定すると、補正量決定部465は、第1実施形態の補正量決定部165と同様に、第2動き量算出部464によって算出したイメージセンサ111およびセンサ121の動き量を、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量から差し引くことにより補正量を決定する。つまり、補正量決定部465は、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量のうち、カメラユニット130の移動を引き起こすユーザーの動きに基づく動き量を低減(場合によっては相殺)して補正量を決定する。そして、決定した補正量を用いることで、カメラユニット130の移動を引き起こすユーザーの動きについては反映、追従する一方で、ユーザーの意図および動きとは無関係にRGB画像信号113に発生してしまうブレのみを補正することができる。
なお、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量を低減する際に、補正量決定部465は、例えば、第1動き量算出部462によって算出したイメージセンサ111およびセンサ121の画角全体の動き量、および第2動き量算出部464によって算出したイメージセンサ111およびセンサ121の動き量について、回転方向ごとに回転量を単純に加減算することにより低減しても良いし、適宜重みづけを行って低減しても良い。移動の場合も同様である。
このように、第2動き量算出部464により算出した動き量に基づいて、ユーザーの動きがあると判定すると、補正量決定部465は、第1動き量算出部462および第2動き量算出部464により算出した動き量に基づいて、補正処理部466による補正処理の補正量を決定し、補正処理部466に供給する。一方、第2動き量算出部464により算出した動き量に基づいて、ユーザーの動きがないと判定すると、補正量決定部465は、第1動き量算出部462により算出した動き量のみに基づいて、補正処理部466による補正処理の補正量を決定し、補正処理部466に供給する。
補正処理部466は、第1実施形態の補正処理部466と同様に、受信部461が受信したRGB画像信号113に対して、補正量決定部465において決定した補正量に基づく補正処理を行い、出力画像467を生成する。出力画像467は、カメラユニット130の移動を引き起こすユーザーの動きに起因するブレは補正の対象外として補正量が差し引かれ、ユーザーの動きに伴って生じるHMD本体400の揺れに起因するブレは補正された画像である。補正処理部466は、生成した出力画像467を、表示部470に出力する。
表示部470は、ユーザーの目に近接した位置に配置され、出力画像467を表示する。表示部470は、例えばLCD(Liquid Crystal Display)、有機ELなどの表示素子と、レンズなどの光学装置とを備え、表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。さらに、AR(Augmented Reality)グラス、MR(Mixed Reality)グラスなどの装着型デバイスをHMD本体400として使用してもよい。
図7は、本発明の第4実施形態に係る処理の例を示すフローチャートである。図示された例では、情報処理装置460の受信部461がイメージセンサ111により生成されたRGB画像信号113を受信する(ステップS201)とともに、受信部461がセンサ121により生成されたイベント信号123を受信する(ステップS202)。
そして、RGB画像信号113およびイベント信号123に基づいて、第1動き量算出部462が第1の動き量を算出し(ステップS203)、取得部463により取得した情報に基づいて、第2動き量算出部464が第2の動き量を算出する(ステップS204)。補正量決定部465がユーザーの動きがあると判定すると(ステップS205YES)、第1の動き量の算出結果と第2の動き量の算出結果とに基づいて、補正量を決定する(ステップS206)。
一方、補正量決定部465がユーザーの動きがないと判定すると(ステップS205NO)、第1の動き量の算出結果のみに基づいて、補正量を決定する(ステップS207)。
そして、ステップS206またはステップS207で決定した補正量にしたがって、補正処理部466がRGB画像信号113に対する補正処理を実行する(ステップS208)。
そして、ステップS206またはステップS207で決定した補正量にしたがって、補正処理部466がRGB画像信号113に対する補正処理を実行する(ステップS208)。
以上で説明したような本発明の第4実施形態では、HMD本体400の移動を引き起こすユーザーの動きを示す情報を取得し、画像信号とユーザーの動きを示す情報とに基づいて、イメージセンサ111およびセンサ121の画角全体の動き量を算出する。したがって、ユーザーの動きについては反映、追従する一方で、ユーザーの意図とは無関係に発生したブレのみを補正することができる。このような効果は、特に、HMD本体400をユーザーが装着して移動した場合などに有用である。
なお、第2実施形態で説明されたシステム20、および第3実施形態で説明されたシステム30についても、同様に、HMDなどの装着型デバイスに適用することができる。
なお、第2実施形態で説明されたシステム20、および第3実施形態で説明されたシステム30についても、同様に、HMDなどの装着型デバイスに適用することができる。
また、第1実施形態から第4実施形態で説明されたシステム10、システム20、システム30、システム40に、RGBカメラ110のイメージセンサ111およびEDS120のセンサ121以外のセンサをさらに備える構成としても良い。例えば、第1実施形態においてイメージセンサ111およびセンサ121の近傍にジャイロセンサを配置し、ロボット本体100自体の移動の有無を検知することにより、制御の安定性を向上させることができる。この場合、エゴモーションの計測に用いられるような高精度のジャイロセンサや計算処理は必要なく、ジャイロセンサの加速度成分を用いた閾値処理でロボット本体100自体の移動の有無を検知することができる。第2実施形態から第4実施形態についても同様である。
また、第1実施形態から第4実施形態で説明されたシステム10、システム20、システム30、システム40は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、第1実施形態から第3実施形態において、ロボット本体100の内部に情報処理装置160の全体を実装してもよいし、情報処理装置160の少なくとも一部をサーバー装置に分離して実装してもよい。また、例えば、第4実施形態において、情報処理装置460の一部または全部をHMD本体400の外部に実装してもよい。
さらに、例えば研究や調査などを目的としたデータ分析などの用途を想定し、RGB画像信号113およびイベント信号123と、操作部200に対するユーザーの操作入力を示す情報またはユーザーの動きを示す情報とを時系列上で対応付けられたデータとして保存した上で、事後的に補正処理を行う構成としてもよい。
さらに、例えば研究や調査などを目的としたデータ分析などの用途を想定し、RGB画像信号113およびイベント信号123と、操作部200に対するユーザーの操作入力を示す情報またはユーザーの動きを示す情報とを時系列上で対応付けられたデータとして保存した上で、事後的に補正処理を行う構成としてもよい。
以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10・20・30・40…システム、100…ロボット本体、110・410…RGBカメラ、111…イメージセンサ、112・122…処理回路、113…RGB画像信号、120…EDS、121…センサ、123…イベント信号、130…カメラユニット、140…3軸カメラ駆動部、150…ロボット駆動部、160・460…情報処理装置、161・461…受信部、162・462…第1動き量算出部、163…受付部、164・464…第2動き量算出部、165・465…補正量決定部、166・466…補正処理部、167・467…出力画像、168…画像出力部、169…画像生成部、200…操作部、300…表示装置、400…HMD本体、440…視線検出部、450…IMU、470…表示部。
Claims (19)
- 画像センサが取得した画像信号を受信する受信部と、
前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、
前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
を備える画像処理装置。 - 前記算出部は、前記画像信号に基づいて第1の動き量を算出し、前記操作入力に基づいて第2の動き量を算出し、前記第2の動き量を前記第1の動き量から差し引くことにより前記画角全体の動き量を算出する、請求項1に記載の画像処理装置。
- 前記画像センサは、画素ごとに入射する光の強度変化を検出したときに非同期的に前記画像信号を生成するイベント駆動型のビジョンセンサを含む、請求項1または請求項2に記載の画像処理装置。
- 前記画像センサは、所定のタイミングで全ピクセルを同期的にスキャンすることによって前記画像信号を生成するカメラをさらに含み、
前記受信部は、前記ビジョンセンサおよび前記カメラの両方から前記画像信号を受信し、
前記算出部は、少なくとも前記ビジョンセンサが生成した前記画像信号と、前記操作入力とに基づいて、前記画角全体の動き量を算出し、
前記補正処理部は、前記動き量に基づいて、前記カメラが生成した前記画像信号から構築される画像に対して前記補正処理を行う、請求項3に記載の画像処理装置。 - 前記補正処理部は、前記ビジョンセンサが生成した前記画像信号に対して補間処理を行って前記画像を構築し、構築した前記画像に対して前記補正処理を行う、請求項3に記載の画像処理装置。
- 前記操作入力は、前記装置のうち、前記画像センサを一体化して同時に変位および回転可能な部分を駆動させるためのユーザーの操作入力である、請求項1から請求項5のいずれか1項に記載の画像処理装置。
- 画像センサが取得した画像信号を受信する受信部と、
前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する取得部と、
前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
を備える画像処理装置。 - 前記算出部は、前記画像信号に基づいて第1の動き量を算出し、前記ユーザーの動きを示す情報に基づいて第2の動き量を算出し、前記第2の動き量を前記第1の動き量から差し引くことにより前記画角全体の動き量を算出する、請求項7に記載の画像処理装置。
- 前記画像センサは、画素ごとに入射する光の強度変化を検出したときに非同期的に前記画像信号を生成するイベント駆動型のビジョンセンサを含む、請求項7または請求項8に記載の画像処理装置。
- 前記画像センサは、所定のタイミングで全ピクセルを同期的にスキャンすることによって前記画像信号を生成するカメラをさらに含み、
前記受信部は、前記ビジョンセンサおよび前記カメラの両方から前記画像信号を受信し、
前記算出部は、少なくとも前記ビジョンセンサが生成した前記画像信号と、前記ユーザーの動きを示す情報とに基づいて、前記画角全体の動き量を算出し、
前記補正処理部は、前記動き量に基づいて、前記カメラが生成した前記画像信号から構築される画像に対して前記補正処理を行う、請求項9に記載の画像処理装置。 - 前記補正処理部は、前記ビジョンセンサが生成した前記画像信号に対して補間処理を行って前記画像を構築し、構築した前記画像に対して前記補正処理を行う、請求項9に記載の画像処理装置。
- 前記装置は、前記ユーザーの頭部に装着可能な装置であり、
前記取得部は、前記ユーザーの動きを示す情報として、前記ユーザーの頭部の動きを示す情報を取得する、請求項7から請求項11のいずれか1項に記載の画像処理装置。 - 前記取得部は、前記ユーザーの動きを示す情報として、前記ユーザーの視線に関する情報をさらに取得する、請求項12に記載の画像処理装置。
- 画像信号を取得する画像センサと、
前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、
前記操作入力に基づいて、前記画像センサを搭載した装置を駆動させる駆動部と、
前記画像信号を受信する受信部と、
前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
を有する端末装置と
を備えるシステム。 - 画像信号を取得する画像センサと、
前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する取得部と、
前記画像信号を受信する受信部と、
前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正部と
を有する端末装置と
を備えるシステム。 - 画像センサが取得した画像信号を受信するステップと、
前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付けるステップと、
前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出するステップと、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行うステップと
を含む画像処理方法。 - 画像センサが取得した画像信号を受信するステップと、
前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得するステップと、
前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出するステップと、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行うステップと
を備える画像処理方法。 - 画像センサが取得した画像信号を受信する機能と、
前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける機能と、
前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する機能と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う機能と
をコンピュータに実現させる画像処理プログラム。 - 画像センサが取得した画像信号を受信する機能と、
前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する機能と、
前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する機能と、
前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う機能と
をコンピュータに実現させる画像処理プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/048418 WO2021117155A1 (ja) | 2019-12-11 | 2019-12-11 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
JPPCT/JP2019/048418 | 2019-12-11 | ||
PCT/JP2020/045082 WO2021117606A1 (ja) | 2019-12-11 | 2020-12-03 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021117606A1 JPWO2021117606A1 (ja) | 2021-06-17 |
JP7247371B2 true JP7247371B2 (ja) | 2023-03-28 |
Family
ID=76329995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563907A Active JP7247371B2 (ja) | 2019-12-11 | 2020-12-03 | 画像処理装置、システム、画像処理方法、および画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230026930A1 (ja) |
EP (1) | EP4075786A4 (ja) |
JP (1) | JP7247371B2 (ja) |
KR (1) | KR102679727B1 (ja) |
WO (2) | WO2021117155A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023242893A1 (ja) * | 2022-06-13 | 2023-12-21 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム |
WO2024157924A1 (ja) * | 2023-01-25 | 2024-08-02 | パナソニックIpマネジメント株式会社 | 撮像システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189478A (ja) | 2006-01-13 | 2007-07-26 | Canon Inc | 振れ補正装置および光学機器 |
JP2008148049A (ja) | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 振動補正装置、およびこれを用いた撮像装置、並びに振動補正装置の駆動方法 |
JP2010183353A (ja) | 2009-02-05 | 2010-08-19 | Nikon Corp | 撮影装置 |
JP2010200307A (ja) | 2009-01-30 | 2010-09-09 | Canon Inc | 撮像装置、その制御方法及びプログラム |
WO2017086300A1 (ja) | 2015-11-18 | 2017-05-26 | 富士フイルム株式会社 | 撮影装置及びその制御方法、並びに作動プログラム |
JP2018124357A (ja) | 2017-01-31 | 2018-08-09 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209735A (ja) | 2002-01-15 | 2003-07-25 | Hitachi Ltd | 監視装置及びブレ補正機能付蓄積型カメラ |
KR101284797B1 (ko) * | 2008-10-29 | 2013-07-10 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
KR102081087B1 (ko) * | 2013-06-17 | 2020-02-25 | 삼성전자주식회사 | 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서 |
KR101983156B1 (ko) * | 2013-11-08 | 2019-05-28 | 삼성전기주식회사 | 촬영 장치의 이미지 보정 장치 및 방법 |
KR20180095324A (ko) * | 2017-02-17 | 2018-08-27 | 엘지전자 주식회사 | 글래스 타입의 이동 단말기 |
-
2019
- 2019-12-11 WO PCT/JP2019/048418 patent/WO2021117155A1/ja active Application Filing
-
2020
- 2020-12-03 KR KR1020227023835A patent/KR102679727B1/ko active IP Right Grant
- 2020-12-03 JP JP2021563907A patent/JP7247371B2/ja active Active
- 2020-12-03 EP EP20900372.2A patent/EP4075786A4/en active Pending
- 2020-12-03 WO PCT/JP2020/045082 patent/WO2021117606A1/ja unknown
- 2020-12-03 US US17/783,080 patent/US20230026930A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007189478A (ja) | 2006-01-13 | 2007-07-26 | Canon Inc | 振れ補正装置および光学機器 |
JP2008148049A (ja) | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 振動補正装置、およびこれを用いた撮像装置、並びに振動補正装置の駆動方法 |
JP2010200307A (ja) | 2009-01-30 | 2010-09-09 | Canon Inc | 撮像装置、その制御方法及びプログラム |
JP2010183353A (ja) | 2009-02-05 | 2010-08-19 | Nikon Corp | 撮影装置 |
WO2017086300A1 (ja) | 2015-11-18 | 2017-05-26 | 富士フイルム株式会社 | 撮影装置及びその制御方法、並びに作動プログラム |
JP2018124357A (ja) | 2017-01-31 | 2018-08-09 | キヤノン株式会社 | 像ブレ補正装置およびその制御方法、撮像装置、レンズ装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021117155A1 (ja) | 2021-06-17 |
EP4075786A4 (en) | 2023-12-06 |
KR102679727B1 (ko) | 2024-06-28 |
KR20220113495A (ko) | 2022-08-12 |
US20230026930A1 (en) | 2023-01-26 |
WO2021117606A1 (ja) | 2021-06-17 |
JPWO2021117606A1 (ja) | 2021-06-17 |
EP4075786A1 (en) | 2022-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7026214B2 (ja) | ヘッドマウントディスプレイ追跡システム | |
US10629107B2 (en) | Information processing apparatus and image generation method | |
US10133073B2 (en) | Image generation apparatus and image generation method | |
KR100911066B1 (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
JP4899217B2 (ja) | 前庭動眼反射の原理を用いる眼球運動制御装置 | |
JP6899875B2 (ja) | 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム | |
KR20180002607A (ko) | 캡처된 이미지에 대한 패스-스루 디스플레이 | |
CN104781873A (zh) | 图像显示装置、图像显示方法、移动装置、图像显示系统、以及计算机程序 | |
US11914762B2 (en) | Controller position tracking using inertial measurement units and machine learning | |
JP7247371B2 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JP6965398B1 (ja) | 遠隔制御システム、遠隔作業装置、映像処理装置およびプログラム | |
WO2022146858A1 (en) | Controller position tracking using inertial measurement units and machine learning | |
KR20160144245A (ko) | 프로젝터 장치 | |
KR102657318B1 (ko) | 개인형 가상현실 체험장치 및 그 방법 | |
US20170155892A1 (en) | Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning | |
JP7434207B2 (ja) | システム、情報処理方法および情報処理プログラム | |
JP6890524B2 (ja) | 姿勢制御システム | |
CN115066668A (zh) | 显示控制装置、显示控制方法和记录介质 | |
KR100856966B1 (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
WO2016079471A1 (en) | System and method for position tracking in a head mounted display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230315 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |