JP7247371B2 - 画像処理装置、システム、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、システム、画像処理方法、および画像処理プログラムに関する。

静止画像や動画像の生成に際しては、従来より様々なブレ補正の手法が提案されている。例えば、特許文献１の発明では、監視システムに関し、夜間でも障害物が見え、かつ交通流や侵入者などを計測可能な監視装置が開示されている。特許文献１の発明では、複数の画像を利用して動き情報を取得し、動き情報に基づいてブレ補正を行う技術が開示されている。

特開２００３－２０９７３５号公報

しかしながら、撮像に際しては被写体に起因するブレのみならず、撮像装置に起因するブレも多く発生する。例えば、ロボットやドローンなどに搭載された撮像装置により静止画像や動画像を生成する際には、エゴモーションや撮像の姿勢などを考慮した補正が望まれている。

そこで、本発明は、画像センサの動きを考慮することによって、安定的に画像を生成することができる画像処理装置、システム、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明のある観点によれば、画像センサが取得した画像信号を受信する受信部と、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを備える画像処理装置が提供される。

本発明の別の観点によれば、画像センサが取得した画像信号を受信する受信部と、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する取得部と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを備える画像処理装置が提供される。

本発明のさらに別の観点によれば、画像信号を取得する画像センサと、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、操作入力に基づいて、画像センサを搭載した装置を駆動させる駆動部と、画像信号を受信する受信部と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正処理部とを有する端末装置とを備えるシステムが提供される。

本発明のさらに別の観点によれば、画像信号を取得する画像センサと、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する取得部と、画像信号を受信する受信部と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する算出部と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う補正部とを有する端末装置とを備えるシステムが提供される。

本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信するステップと、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付けるステップと、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出するステップと、動き量に基づいて、画像信号から構築される画像に対して補正処理を行うステップとを含む画像処理方法が提供される。

本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信するステップと、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得するステップと、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出するステップと、動き量に基づいて、画像信号から構築される画像に対して補正処理を行うステップとを備える画像処理方法が提供される。

本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信する機能と、画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける機能と、画像信号と操作入力とに基づいて、画像センサの画角全体の動き量を算出する機能と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う機能とをコンピュータに実現させる画像処理プログラムが提供される。

本発明のさらに別の観点によれば、画像センサが取得した画像信号を受信する機能と、画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こすユーザーの動きを示す情報を取得する機能と、画像信号とユーザーの動きを示す情報とに基づいて、画像センサの画角全体の動き量を算出する機能と、動き量に基づいて、画像信号から構築される画像に対して補正処理を行う機能とをコンピュータに実現させる画像処理プログラムが提供される。

本発明の第１実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第１実施形態における処理の流れについて概略的に説明するための図である。 本発明の第１実施形態に係る処理の例を示すフローチャートである。 本発明の第２実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第３実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第４実施形態に係るシステムの概略的な構成を示すブロック図である。 本発明の第４実施形態に係る処理の例を示すフローチャートである。

以下、添付図面を参照しながら、本発明のいくつかの実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜第１実施形態＞
図１は、本発明の第１実施形態に係るシステムの概略的な構成を示すブロック図である。図１に示されるように、システム１０は、ロボット本体１００と、ロボット本体１００に対する操作を目的としてユーザーが操作をするための操作部２００と、ロボット本体１００により生成された画像を表示する表示装置３００とを含む。

ロボット本体１００は、ＲＧＢカメラ１１０およびＥＤＳ（Event Driven Sensor）１２０を含むカメラユニット１３０と、カメラユニット１３０を駆動する３軸カメラ駆動部１４０と、ロボット本体１００の全体を駆動するロボット駆動部１５０と、情報処理装置１６０とを含む。以下では、一例として、ロボット本体１００が四脚の生物を模したロボットである場合を例に挙げて説明する。

ＲＧＢカメラ１１０は、イメージセンサ１１１と、イメージセンサ１１１に接続される処理回路１１２とを含む。イメージセンサ１１１は、例えば所定の周期で、またはユーザー操作に応じた所定のタイミングで全ピクセルを同期的にスキャンすることによってＲＧＢ画像信号１１３を生成する。処理回路１１２は、例えばＲＧＢ画像信号１１３を保存および伝送に適した形式に変換する。また、処理回路１１２は、ＲＧＢ画像信号１１３にタイムスタンプを与える。

ＥＤＳ１２０は、センサアレイを構成するセンサ１２１と、センサ１２１に接続される処理回路１２２とを含む。センサ１２１は、受光素子を含み、入射する光の強度変化、より具体的には予め定めた所定の値を超える輝度変化を検出したときにイベント信号１２３を生成する。処理回路１２２を経て出力されるイベント信号１２３は、センサ１２１の識別情報（例えばピクセルの位置）と、輝度変化の極性（上昇または低下）と、タイムスタンプとを含む。また、輝度変化を検出した際に、ＥＤＳ１２０は、ＲＧＢ画像信号１１３の生成頻度（ＲＧＢカメラ１１０のフレームレート）より大幅に高い頻度でイベント信号１２３を生成することができる。
なお、本明細書では、当該信号に基づいて画像を構築可能な信号を画像信号という。したがって、ＲＧＢ画像信号１１３およびイベント信号１２３は、画像信号の一例を示す。

本実施形態において、ＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプは同期している。具体的には、例えば、ＥＤＳ１２０でタイムスタンプを生成するために用いられる時刻情報をＲＧＢカメラ１１０に提供することによって、ＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプを同期させることができる。あるいは、タイムスタンプを生成するための時刻情報がＲＧＢカメラ１１０とＥＤＳ１２０とでそれぞれ独立している場合、特定のイベント（例えば、画像全体にわたる被写体の変化）が発生した時刻を基準にしてタイムスタンプのオフセット量を算出することによって、事後的にＲＧＢ画像信号１１３およびイベント信号１２３に与えられるタイムスタンプを同期させることができる。

また、本実施形態では、事前に実行されるＲＧＢカメラ１１０とＥＤＳ１２０とのキャリブレーション手順によって、ＥＤＳ１２０のセンサ１２１がＲＧＢ画像信号１１３の１または複数のピクセルに対応付けられ、イベント信号１２３はＲＧＢ画像信号１１３の１または複数のピクセルにおける光の強度変化に応じて生成される。より具体的には、例えば、ＲＧＢカメラ１１０とＥＤＳ１２０とで共通の校正パターンを撮像し、ＲＧＢカメラ１１０およびＥＤＳ１２０のぞれぞれの内部パラメータおよび外部パラメータからカメラ・センサ間の対応パラメータを算出することによって、ＲＧＢ画像信号１１３の１または複数のピクセルにセンサ１２１を対応付けることができる。

カメラユニット１３０は、ロボット本体１００が四脚の生物を模したロボットであるため、頭部に搭載され、ＲＧＢカメラ１１０およびＥＤＳ１２０は、ロボットの視野に相当する画像として、ＲＧＢ画像信号１１３およびイベント信号１２３を生成する。そして、カメラユニット１３０は、ユーザー操作に基づき、３軸カメラ駆動部１４０によりその全体が駆動される。そのため、ＲＧＢカメラ１１０およびＥＤＳ１２０は、カメラユニット１３０とともに一体化されて同時に変位および回転させられることになる。

３軸カメラ駆動部１４０は、ユーザー操作に応じて、上述したカメラユニット１３０を駆動する。３軸カメラ駆動部１４０は例えば、モータ、モータ制御回路、エンコーダなどを有し、ピッチ、ロール、ヨーの３軸に対してそれぞれ回転する方向にカメラユニット１３０を駆動する。カメラユニット１３０が搭載されるロボットの頭部は、３軸カメラ駆動部１４０により、上下方向、左右方向に駆動されるとともに、首を傾げる方向に回転駆動される。３軸カメラ駆動部１４０の具体的な構成については、公知の各種の技術を利用可能であるため詳細な説明は省略する。

ロボット駆動部１５０は、ユーザー操作に応じて、ロボット本体１００の全体を駆動する。ロボット駆動部１５０は、例えば、モータ、モータ制御回路、エンコーダなどを有し、ユーザーの操作に応じてロボット本体１００の腕部や脚部などの各部を駆動する。ロボット駆動部１５０の具体的な構成については、公知の各種の技術を利用可能であるため詳細な説明は省略する。

なお、ユーザー操作に基づき、ロボット駆動部１５０によってロボット本体１００の全体が駆動される際には、カメラユニット１３０もその全体が変位および回転させられる。そのため、ＲＧＢカメラ１１０およびＥＤＳ１２０も同時に変位および回転させられることになる。この動きには、例えば、ロボット本体１００の前後または左右への移動、カメラユニット１３０が上下動するようなロボット本体１００の脚部の屈伸や跳躍や落下、ロボット本体１００の全体、または上半身などの一部の回転等の動きが含まれる。ここで、カメラユニット１３０の変位および回転は、ロボット本体１００の意図された駆動だけではなく、駆動に伴うロボット本体１００の揺れによっても生じる。このような場合には、ＲＧＢカメラ１１０により生成されたＲＧＢ画像信号１１３、およびＥＤＳ１２０により生成されたイベント信号１２３にもブレが発生することになる。

再び図１を参照して、情報処理装置１６０は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、プロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される受信部１６１、第１動き量算出部１６２、受付部１６３、第２動き量算出部１６４、補正量決定部１６５、補正処理部１６６、画像出力部１６８の各機能を含む。以下、各部の機能についてさらに説明する。

受信部１６１は、ＲＧＢカメラ１１０で生成されたＲＧＢ画像信号１１３と、ＥＤＳ１２０で生成されたイベント信号１２３とを受信する。
ＲＧＢカメラ１１０においては、被写界内で輝度が変化するか否かにかかわらず、所定の周期で、またはユーザー操作に応じた所定のタイミングでイメージセンサ１１１によってＲＧＢ画像信号１１３が生成され、受信部１６１により受信される。

ＥＤＳ１２０においては、被写界内でオブジェクトの位置が変化した場合などに、輝度変化が発生し、その輝度変化が発生した画素アドレスでセンサ１２１が生成したイベント信号１２３が受信部１６１により受信される。なお、被写界内でのオブジェクトの位置変化は、被写界内における動体の移動によって起こるだけでなく、カメラユニット１３０自体の移動や、ロボット本体１００の移動によっても起こるが、イベント信号１２３ではそれらの区別はつかない。
受信部１６１は、受信したＲＧＢ画像信号１１３およびイベント信号１２３の両方を第１動き量算出部１６２に供給する一方で、受信したＲＧＢ画像信号１１３のみを補正処理部１６６に供給する。

第１動き量算出部１６２は、受信部１６１が受信したＲＧＢ画像信号１１３とイベント信号１２３とに基づいて、イメージセンサ１１１およびセンサ１２１の画角全体の動き量を算出する。画角全体の動き量の算出は、例えば、２枚のＲＧＢ画像信号１１３に対して、ブロックマッチング法、勾配法などの公知の手法を用い、動きベクトルを算出することにより実行することができる。一方、イベント信号１２３を用いた場合には、イベント信号１２３自体が動き量に相当するものであるため、１枚のイベント信号１２３から画角全体の動き量を算出することができる。なお、ＲＧＢ画像信号１１３に基づいて動きベクトルが算出される動きは、被写界内における動体の移動、カメラユニット１３０の移動、ロボット本体１００の移動等によって起こるが、ＲＧＢ画像信号１１３に基づいて算出される動きベクトルではそれらの区別はつかない。また、イベント信号１２３でもこれらの区別がつかないことは上述のとおりである。

なお、上述したＲＧＢ画像信号１１３に基づく動き量の算出と、イベント信号１２３に基づく動き量の算出とを組み合わせて、画角全体のより詳細な動き量を算出することもできる。
また、動き量の算出の際に、被写体認識や、動物体の排除などを組み合わせて実行しても良い。例えば、ＲＧＢ画像信号１１３に対して公知の被写体認識を行い、人や動物などのクラスを特定し、特定した被写体が動く可能性の高い動物体である場合には、その部分を分離して排除した後に動き量を算出することが考えられる。この場合、背景を精度良く分離して、画角全体の支配的な動き成分の動き量を算出することができる。

また、動き量を算出する際に、例えば、イベント信号１２３において同じ極性のイベントが発生していることが示される連続した画素領域に存在するオブジェクトを上述した動物体として検出し、動物体の排除を組み合わせて実行しても良い。

このように、第１動き量算出部１６２は、受信部１６１が受信したＲＧＢ画像信号１１３とイベント信号１２３とに基づいて、画角全体の動き量（移動量および方向）を算出し、算出した動き量を示す情報を補正量決定部１６５に供給する。

受付部１６３は、操作部２００に対するユーザーの操作入力を受け付ける。この操作入力には、カメラユニット１３０を駆動する操作や、ロボット本体１００の全体を駆動する操作の入力などが含まれ、これらの操作はロボット本体１００に対するユーザーの意図的な操作である。受付部１６３は、受け付けたユーザーの操作入力を示す情報を３軸カメラ駆動部１４０およびロボット駆動部１５０に供給するとともに、第２動き量算出部１６４にも供給する。

第２動き量算出部１６４は、受付部１６３が受け付けた操作入力を示す情報に基づいて、ユーザーの意図的な操作に基づくイメージセンサ１１１およびセンサ１２１の動き量を算出する。第２動き量算出部１６４は、操作入力を示す情報に基づいて、３軸カメラ駆動部１４０およびロボット駆動部１５０によるカメラユニット１３０の移動量、移動方向、回転量、回転方向などを算出することにより、イメージセンサ１１１およびセンサ１２１の動き量を算出する。例えば、３軸カメラ駆動部１４０によりカメラユニット１３０が回転されると、基本的にイメージセンサ１１１およびセンサ１２１も同量、同方向に回転される。また、例えば、ロボット駆動部１５０によりロボット本体１００が回転されると、基本的にイメージセンサ１１１およびセンサ１２１も同量、同方向に回転される。移動の場合も同様である。

操作入力を示す情報は、上述したようにユーザーの意図的な操作を示す情報である。したがって、第２動き量算出部１６４で算出される動き量はユーザーの意図的な操作に基づく動きのみを示し、後述する補正処理の対象外となる動きを示す動き量である。このような動きは、ＲＧＢカメラ１１０のイメージセンサ１１１、およびＥＤＳ１２０のセンサ１２１の変位および回転に伴って発生する画像全体の動きに相当する。

具体的には、例えば、ユーザー操作によりロボット本体１００の頭部が回転駆動され、結果としてカメラユニット１３０が回転される動きや、ユーザー操作によりロボット本体１００の全体が駆動され、結果としてＲＧＢカメラ１１０のイメージセンサ１１１、およびＥＤＳ１２０のセンサ１２１による撮像方向が変更される動きなどが考えられる。第２動き量算出部１６４は、画像センサを一体化して同時に変位および回転可能な部分を駆動させるためのユーザー操作に伴って発生する動き、および、装置全体を駆動するためのユーザー操作に伴って発生する動きの動き量を算出し、算出した動き量を示す情報を補正量決定部１６５に供給する。

なお、第２動き量算出部１６４により算出される動き量については、上記の例に限定されない。例えば、３軸カメラ駆動部１４０によるカメラユニット１３０の動き量のみを算出しても良いし、ロボット駆動部１５０によるカメラユニット１３０の動き量のみを算出しても良い。また、ロボット本体１００の動きの条件に応じて、第２動き量算出部１６４により算出される動き量を変更しても良い。例えば、ユーザーの意図的な操作であっても、画像の安定的な生成が著しく困難になる可能性が高い場合には、第２動き量算出部１６４により動き量を算出しない、または、算出した動き量を低減する構成としても良い。

補正量決定部１６５は、第１動き量算出部１６２および第２動き量算出部１６４により算出した動き量を用いて、後述する補正処理部１６６による補正処理の補正量を決定する。後述する補正処理部１６６による補正処理においては、基本的に画像の表示時の視野の中央において、視野角を安定させるような補正が望まれる。

そこで、補正量決定部１６５は、第２動き量算出部１６４によって算出したイメージセンサ１１１およびセンサ１２１の動き量を、第１動き量算出部１６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量から差し引くことにより補正量を決定する。つまり、補正量決定部１６５は、第１動き量算出部１６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量のうち、ユーザーの意図的な操作に基づく動き量を低減（場合によっては相殺）して補正量を決定する。そして、決定した補正量を用いることで、ユーザーの意図的な操作については反映、追従する一方で、ユーザーの意図とは無関係にＲＧＢ画像信号１１３に発生してしまうブレのみを補正することができる。

なお、第１動き量算出部１６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量を低減する際に、補正量決定部１６５は、例えば、第１動き量算出部１６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量、および第２動き量算出部１６４によって算出したイメージセンサ１１１およびセンサ１２１の動き量について、回転方向ごとに回転量を単純に加減算することにより低減しても良いし、適宜重みづけを行って低減しても良い。移動の場合も同様である。

このように、受付部１６３が操作入力を受け付け、第２動き量算出部１６４によって第２動き量が算出されると、補正量決定部１６５は、第１動き量算出部１６２および第２動き量算出部１６４により算出した動き量に基づいて、補正処理部１６６による補正処理の補正量を決定し、補正処理部１６６に供給する。一方、受付部１６３が操作入力を受け付けず、第２動き量算出部１６４によって第２動き量が算出されない場合、補正量決定部１６５は、第１動き量算出部１６２により算出した動き量のみに基づいて、補正処理部１６６による補正処理の補正量を決定し、補正処理部１６６に供給する。

補正処理部１６６は、受信部１６１が受信したＲＧＢ画像信号１１３に対して、補正量決定部１６５において決定した補正量に基づく補正処理を行い、出力画像１６７を生成する。出力画像１６７は、カメラユニット１３０に対するユーザーの意図的な操作に起因するブレは補正の対象外として補正量が差し引かれ、装置全体を動作させるユーザーの操作に伴って生じるロボット本体１００の全体の揺れに起因するブレは補正された画像である。補正処理部１６６による補正処理は、例えば、補正量決定部１６５で決定した補正量に基づき、補正方向ごとに領域を分離し、それぞれの領域についてブレを補正するなど、公知の手法を用いて実行することができる。また、補正処理部１６６による補正処理に際して、算出した動き量に基づいて逆フィルタを生成し、生成した逆フィルタを適用することによってブレを補正する、いわゆるブラー補正などの補正を組み合わせて実行しても良い。
画像出力部１６８は、補正処理部１６６により生成された出力画像１６７を、表示装置３００に出力する。

再び図１を参照して、操作部２００は、ロボット本体１００に備えられるか、または、無線または有線を介して情報処理装置１６０の受付部１６３に接続される。本実施形態において、操作部２００は、例えば複数の操作子を備えたいわゆるコントローラであり、ユーザーは操作部２００を操作することによりロボット本体１００の全体やロボットの頭部（カメラユニット１３０）を駆動することが可能である。

なお、操作部２００には公知の様々な構成を適用することが可能である。例えば、両手のそれぞれに把持可能な一対のコントローラにより構成されても良いし、キーボートのような文字入力が可能なコントローラにより構成されても良いし、スマートフォンなどのアプリケーションにより構成されても良い。

さらに、操作部２００および受付部１６３に、音声認識技術を適用しても良い。例えば、操作部２００としてマイクなどを備え、受付部１６３に音声認識部を備え、ユーザーが発声するコマンドや、ユーザーの呼びかけなどにより、ロボット本体１００に対する指示を実現しても良い。

表示装置３００は、ロボット本体１００に備えられるか、または、ロボット本体１００から離隔して配置され、無線または有線を介して情報処理装置１６０の画像出力部１６８に接続される。表示装置３００は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬなどのモニタであり、ロボット本体１００により生成される画像を表示することにより、ユーザーに提示することが可能である。

なお、表示装置３００には公知の様々な構成を適用することが可能である。例えば、専用の表示装置により構成されても良いし、ユーザーの頭部に装着されるＨＭＤ（Head Mounted Display）などの表示装置により構成されても良いし、コンピュータの表示装置により構成されても良いし、スマートフォンなどの端末装置の表示装置により構成されても良い。

また、記録装置を備え、出力画像１６７の表示装置３００への表示に加えて、出力画像１６７を記録する構成としても良いし、表示装置３００を備えずに、記録装置への記録の行う構成としても良い。このような記録装置はロボット本体１００に備えられるか、またはロボット本体１００から離隔して配置され、無線または有線を介して情報処理装置１６０の画像出力部１６８に接続されても良い。

図２は、図１に示したシステム１０における処理を概念的に説明するための図である。図示された例では、静止しているオブジェクトｏｂｊについて、（ａ）として示すように矢印Ａの分だけユーザーの意図とは無関係にブレが発生している状態で、操作部２００に対するユーザー操作により、カメラユニット１３０が右方向に回転され、（ｂ）として示すようにイメージセンサ１１１およびセンサ１２１が矢印Ｂの分だけ回転された場合の例を示す。

このような場合、ＲＧＢカメラ１１０により生成されるＲＧＢ画像信号１１３と、ＥＤＳ１２０により生成されるイベント信号１２３とには、(ｃ)として示すように矢印Ａに加えて矢印Ｂの分のブレが発生する。従って、(ｄ)として示すように、第１動き量算出部１６２が算出する動き量は、矢印（Ａ＋Ｂ）に相当する動き量となる。一方、第２動き量算出部１６４が算出する動き量は、操作部２００に対するユーザーの操作入力を示す情報に基づくため、（ｅ）として示すように矢印Ｂに相当する動き量となる。

そして、補正量決定部１６５においては、第２動き量算出部１６４によって算出した動き量を、第１動き量算出部１６２によって算出した動き量から差し引くことにより補正量が決定されるため、その補正量は、（ｆ）として示すように矢印Ａに相当する補正量となる。

なお、図２に示された例において、仮に第１動き量算出部１６２によって算出した動き量のみに基づいて補正量を決定した場合には、ユーザーの意図的な操作（矢印Ｂ）についてもブレと見なされ、矢印（Ａ＋Ｂ）に相当する補正量が算出される。その結果、操作部２００に対するユーザー操作により、カメラユニット１３０が右方向に回転されたにもかかわらず、オブジェクトｏｂｊがＲＧＢ画像信号１１３の中央方向に押し戻されることになり、実際のユーザー操作と生成および表示される画像とに齟齬が生じる。このような場合には、ユーザーに不快感を与えたり、酔いを発生させたりする可能性がある。特に、ＶＲ（Virtual Reality：仮想現実）やＡＲ（Augmented Reality：拡張現実）等、ユーザーの視野の大部分に画像の表示を行う場合にはこの問題がより顕著になる。

これに対して、本実施形態においては、ユーザーの意図的な操作（矢印Ｂ）については反映、追従する一方で、ユーザーの意図とは無関係にＲＧＢ画像信号１１３に発生してしまうブレ（矢印Ａ）のみを補正することができる。

なお、図２においては、説明のために静止しているオブジェクトｏｂｊの水平方向においてブレが発生する場合を例に挙げて説明したが、他の方向への移動についても同様に考えることができる。また、ｏｂｊが移動している場合であっても、上述した動物体の排除等により、本発明を同様に適用することができる。

図３は、本発明の第１実施形態に係る処理の例を示すフローチャートである。図示された例では、情報処理装置１６０の受信部１６１がイメージセンサ１１１により生成されたＲＧＢ画像信号１１３を受信する（ステップＳ１０１）とともに、受信部１６１がセンサ１２１により生成されたイベント信号１２３を受信する（ステップＳ１０２）。

そして、第１動き量算出部１６２がＲＧＢ画像信号１１３およびイベント信号１２３に基づいて、第１の動き量を算出する（ステップＳ１０３）。受付部１６３が操作部２００に対するユーザーの操作入力を受け付けた場合（ステップＳ１０４ＹＥＳ）には、操作入力を示す情報に基づいて、第２動き量算出部１６４が第２の動き量を算出し（ステップＳ１０５）、第１の動き量の算出結果と第２の動き量の算出結果とに基づいて、補正量決定部１６５が補正量を決定する（ステップＳ１０６）。

一方、受付部１６３が操作部２００に対するユーザーの操作入力を受け付けない場合（ステップＳ１０４ＮＯ）には、第１の動き量の算出結果のみに基づいて、補正量決定部１６５が補正量を決定する（ステップＳ１０７）。
そして、ステップＳ１０６またはステップＳ１０７で決定した補正量にしたがって、補正処理部１６６がＲＧＢ画像信号１１３に対する補正処理を実行する（ステップＳ１０８）。

以上で説明したような本発明の第１実施形態では、イメージセンサ１１１およびセンサ１２１が取得した画像信号を受信する一方、イメージセンサ１１１およびセンサ１２１を搭載した装置を駆動させるためのユーザーの操作入力を受け付け、画像信号と操作入力とに基づいて、イメージセンサ１１１およびセンサ１２１の画角全体の動き量を算出する。そして、算出した動き量に基づいて、画像信号から構築される画像に対して補正処理を行う。したがって、ユーザーの操作入力に基づいて画像センサの動きを考慮することによって、安定的に画像を生成することができる。また、生成した画像の表示においては、ユーザーに不快感を与えたり、酔いを発生させたりするリスクを低減することができる。

上記のような構成によって、例えば、温度特性や重力や磁気などの影響を受けやすいジャイロセンサや、コスト面およびサイズ面で制約を受けるジンバル機構などの構成を備えることなく、好適な補正処理を行うことができる。

また、本発明の第１実施形態では、操作入力は、ロボット本体１００のうち、イメージセンサ１１１およびセンサ１２１を一体化して同時に変位および回転可能な部分を駆動させるためのユーザーの操作入力である。したがって、ユーザーの意図的な操作については反映、追従する一方で、ユーザーの意図とは無関係に発生したブレのみを補正することができる。

また、本発明の第１実施形態では、ＥＤＳ１２０およびＲＧＢカメラ１１０の両方を備え、ＥＤＳ１２０が生成したイベント信号１２３と操作入力とに基づいて画角全体の動き量を算出し、算出した動き量に基づいて、ＲＧＢカメラ１１０が生成したＲＧＢ画像信号１１３から構築される画像に対して補正処理を行う。したがって、高速に生成され、それ自体が動き量に相当するイベント信号１２３を用いて高速かつ正確に補正量を算出することができるとともに、画像の構築に十分な情報を有するＲＧＢ画像信号１１３から画像を構築し、補正処理を行うことができる。そのため、ＲＧＢ画像信号１１３およびイベント信号１２３のそれぞれの特性を活かした好適な処理を実現することができる。

＜第２実施形態＞
図４は、本発明の第２実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第１実施形態で説明されたシステム１０は、ＲＧＢカメラ１１０およびＥＤＳ１２０を含むカメラユニット１３０を備える例を示したが、第２実施形態のシステム２０は、ＲＧＢカメラ１１０のみを備える。図４においては、図１と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。

図４の例において、受信部１６１はＲＧＢ画像信号１１３のみを受信し、第１動き量算出部１６２は、ＲＧＢ画像信号１１３のみに基づいて画角全体の動き量を算出する。
この例においては、第１動き量算出部１６２によって、ＲＧＢカメラ１１０のイメージセンサ１１１の画角全体の動き量を算出することにより、第１実施形態と同様の効果を得ることができる。

＜第３実施形態＞
図５は、本発明の第３実施形態に係るシステムの概略的な構成を示すブロック図である。なお、第１実施形態で説明されたシステム１０は、ＲＧＢカメラ１１０およびＥＤＳ１２０を含むカメラユニット１３０を備える例を示したが、第３実施形態のシステム３０は、ＥＤＳ１２０のみを備える。図５においては、図１と実質的に同一の機能構成を有する構成要素については、同一の符号を付する。

図５の例において、受信部１６１はイベント信号１２３のみを受信し、第１動き量算出部１６２は、イベント信号１２３のみに基づいて画角全体の動き量を算出する。
この例においては、第１動き量算出部１６２によって、ＥＤＳ１２０のセンサ１２１の画角全体の動き量を算出すればよい。なお、ＥＤＳ１２０のみを備えたシステム３０においては、画像生成部１６９をさらに備え、受信部１６１が受信したイベント信号１２３から、イベントの検出結果が各画素の画素値として表現された画像を構築し、構築された画像に対して補正処理部１６６による補正処理を行うことにより、第１実施形態および第２実施形態と同様の効果を得ることができる。なお、イベント信号１２３から画像を構築する処理には、公知の各種の構成を採用することができる。

なお、第１実施形態から第３実施形態で説明されたシステム１０、システム２０、システム３０では、駆動部としてカメラユニット１３０を駆動する３軸カメラ駆動部１４０と、ロボット本体１００の全体を駆動するロボット駆動部１５０とを例に挙げて説明したが、本発明はこの例に限定されない。より多くの駆動部により各部を駆動する構成としても良いし、より少ない駆動部（例えばカメラユニット１３０の駆動のみなど）により各部を駆動する構成としても良い。
また、第１実施形態から第３実施形態で説明されたシステム１０、システム２０、システム３０では、カメラユニット１３０を搭載する頭部を、３軸カメラ駆動部１４０により変位または回転させる例を示したが、本発明はこの例に限定されない。装置全体のうち、画像センサ（イメージセンサ１１１およびセンサ１２１）を一体化して同時に変位および回転可能な部分のみを駆動可能な駆動部を設けても良い。例えば、頭部に相当する部分から突出した部分に画像センサが搭載されている場合には、突出した部分のみを駆動可能な駆動部を設けても良い。また、例えば、装置本体を構成する複数の装置のうち、カメラユニット１３０が搭載されている装置のみを駆動可能な駆動部を設けても良い。

また、第１実施形態から第３実施形態で説明されたシステム１０、システム２０、システム３０では、ロボット本体１００として、四脚の生物を模したロボットを例に挙げて説明したが、本発明はこの例に限定されない。ロボットに相当する本体の移動や駆動に起因してブレが発生する可能性があり、かつ、画像センサの位置と撮像方向との少なくとも一方を変更可能であれば、四脚の生物を模したロボット以外の装置にも本発明を応用することが考えられる。

例えば、ロボット本体１００は、人型を模した二足ロボットであっても良いし、動物型などの多脚型ロボットであっても良いし、車両型のロボットであっても良い。さらに、ドローンなど飛行機能を備えた装置や、水中ドローンなど水中または水上で移動可能な装置に本発明を適用しても良い。さらに、内視鏡など、画像センサが生成した画像を目視確認しながら画像センサの位置と撮像方向との少なくとも一方を変更可能な装置にも本発明を適用することができる。

＜第４実施形態＞
図６は、本発明の第４実施形態に係るシステムの概略的な構成を示すブロック図である。第４実施形態のシステム４０は、第１実施形態のシステム１０をＨＭＤなどの装着型デバイスに適用したものである。
システム４０は、ＨＭＤ本体４００から構成され、不図示の装着部によりユーザーの体、より詳しくはユーザーの頭部に装着可能である。
ＨＭＤ本体４００は、第１実施形態と同様のカメラユニット１３０を含むとともに、ユーザーの視線を検出する視線検出部４４０と、カメラユニット１３０自体の姿勢を検出するセンサであるＩＭＵ（Inertial Measurement Unit）４５０と、情報処理装置４６０と、表示部４７０とを含む。

視線検出部４４０は、ユーザーの視線を検出し、情報処理装置４６０に出力する。視線検出部４４０による視線検出はどのように行われてもよい。例えば、ユーザーの目の周りにＩＲ（Infrared）センサを近接配置し、ＩＲセンサの出力に基づいてユーザーの視線を検出してもよいし、ＩＲセンサに代えて、または加えて、ＥＤＳ１２０のセンサ１２１と同様のセンサの出力に基づいて視線を検出してもよい。
ＩＭＵ４５０は、カメラユニット１３０自体、より具体的には、ＲＧＢカメラ１１０のイメージセンサ１１１およびＥＤＳ１２０のセンサ１２１の姿勢を検出する慣性センサである。ＩＭＵ４５０は、所定の周期で、または、所定のタイミングでイメージセンサ１１１およびセンサ１２１の三次元の姿勢情報を取得する。この姿勢情報は、ユーザーの頭部の動きを示す情報と見なすことができる。ＩＭＵ４５０は、このようなユーザーの頭部の動きを示す情報を情報処理装置４６０に出力する。

情報処理装置４６０は、第１実施形態の受信部１６１、第１動き量算出部１６２、第２動き量算出部１６４、補正量決定部１６５、補正処理部１６６とそれぞれ同様の受信部４６１、第１動き量算出部４６２、第２動き量算出部４６４、補正量決定部４６５、補正処理部４６６の各機能に加えて、取得部４６３の機能を含む。以下、第１実施形態とは異なる部分について各部の機能についてさらに説明する。

取得部４６３は、視線検出部４４０が検出したユーザーの視線に関する情報と、ＩＭＵ４５０が取得したユーザーの頭部の動きを示す情報とを取得する。これらの情報は、カメラユニット１３０の移動を引き起こすユーザーの動きを示す情報である。取得部４６３は、取得したユーザーの動きを示す情報を、第２動き量算出部４６４に供給する。

第２動き量算出部４６４は、取得部４６３が取得したユーザーの動きを示す情報に基づいて、ユーザーの動きによって引き起こされるイメージセンサ１１１およびセンサ１２１の動き量を算出する。
一般に、人間は首を回転させて視野を変更しようとするときに、まず目の眼球を動かして視線をその方向に移動させてから、首を動かす特性がある。そこで、第２動き量算出部４６４は、視線検出部４４０が検出したユーザーの視線に関する情報に基づいて、ユーザーの首の動きを判別し、ＩＭＵ４５０が取得したユーザーの頭部の動きを示す情報が、首が動く方向への移動を示す場合、ユーザーの意図的な動きであると判断する。このような場合、第２動き量算出部４６４は、ＩＭＵ４５０が取得したユーザーの頭部の動きを示す情報に基づいて、イメージセンサ１１１およびセンサ１２１の動き量を算出する。例えば、ユーザーが首を回転すると、カメラユニット１３０も回転され、基本的にイメージセンサ１１１およびセンサ１２１も同量、同方向に回転される。移動の場合も同様である。

なお、第２動き量算出部４６４により算出される動き量については、上記の例に限定されない。例えば、視線検出部４４０が検出したユーザーの視線に関する情報、およびＩＭＵ４５０が取得したユーザーの頭部の動きを示す情報に代えて、または加えて、その他の情報を用いてもよい。また、例えば、ＨＭＤ本体４００の動きの条件に応じて、第２動き量算出部４６４により算出される動き量を変更しても良い。例えば、ユーザーの意図的な動きであっても、画像の安定的な生成が著しく困難になる可能性が高い場合には、第２動き量算出部４６４により動き量を算出しない、または、算出した動き量を低減する構成としても良い。

補正量決定部４６５は、第１動き量算出部４６２および第２動き量算出部４６４により算出した動き量を用いて、後述する補正処理部４６６による補正処理の補正量を決定する。

補正量決定部４６５は、まず、第２動き量算出部４６４により算出した動き量に基づいて、ユーザーの動きがあるか否かを判定する。判定は、例えば所定の閾値との比較により行うことができる。
そして、ユーザーの動きがあると判定すると、補正量決定部４６５は、第１実施形態の補正量決定部１６５と同様に、第２動き量算出部４６４によって算出したイメージセンサ１１１およびセンサ１２１の動き量を、第１動き量算出部４６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量から差し引くことにより補正量を決定する。つまり、補正量決定部４６５は、第１動き量算出部４６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量のうち、カメラユニット１３０の移動を引き起こすユーザーの動きに基づく動き量を低減（場合によっては相殺）して補正量を決定する。そして、決定した補正量を用いることで、カメラユニット１３０の移動を引き起こすユーザーの動きについては反映、追従する一方で、ユーザーの意図および動きとは無関係にＲＧＢ画像信号１１３に発生してしまうブレのみを補正することができる。

なお、第１動き量算出部４６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量を低減する際に、補正量決定部４６５は、例えば、第１動き量算出部４６２によって算出したイメージセンサ１１１およびセンサ１２１の画角全体の動き量、および第２動き量算出部４６４によって算出したイメージセンサ１１１およびセンサ１２１の動き量について、回転方向ごとに回転量を単純に加減算することにより低減しても良いし、適宜重みづけを行って低減しても良い。移動の場合も同様である。

このように、第２動き量算出部４６４により算出した動き量に基づいて、ユーザーの動きがあると判定すると、補正量決定部４６５は、第１動き量算出部４６２および第２動き量算出部４６４により算出した動き量に基づいて、補正処理部４６６による補正処理の補正量を決定し、補正処理部４６６に供給する。一方、第２動き量算出部４６４により算出した動き量に基づいて、ユーザーの動きがないと判定すると、補正量決定部４６５は、第１動き量算出部４６２により算出した動き量のみに基づいて、補正処理部４６６による補正処理の補正量を決定し、補正処理部４６６に供給する。

補正処理部４６６は、第１実施形態の補正処理部４６６と同様に、受信部４６１が受信したＲＧＢ画像信号１１３に対して、補正量決定部４６５において決定した補正量に基づく補正処理を行い、出力画像４６７を生成する。出力画像４６７は、カメラユニット１３０の移動を引き起こすユーザーの動きに起因するブレは補正の対象外として補正量が差し引かれ、ユーザーの動きに伴って生じるＨＭＤ本体４００の揺れに起因するブレは補正された画像である。補正処理部４６６は、生成した出力画像４６７を、表示部４７０に出力する。

表示部４７０は、ユーザーの目に近接した位置に配置され、出力画像４６７を表示する。表示部４７０は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬなどの表示素子と、レンズなどの光学装置とを備え、表示素子は、透過型の表示素子であってもよいし、非透過型の表示素子であってもよい。さらに、ＡＲ（Augmented Reality）グラス、ＭＲ（Mixed Reality）グラスなどの装着型デバイスをＨＭＤ本体４００として使用してもよい。

図７は、本発明の第４実施形態に係る処理の例を示すフローチャートである。図示された例では、情報処理装置４６０の受信部４６１がイメージセンサ１１１により生成されたＲＧＢ画像信号１１３を受信する（ステップＳ２０１）とともに、受信部４６１がセンサ１２１により生成されたイベント信号１２３を受信する（ステップＳ２０２）。

そして、ＲＧＢ画像信号１１３およびイベント信号１２３に基づいて、第１動き量算出部４６２が第１の動き量を算出し（ステップＳ２０３）、取得部４６３により取得した情報に基づいて、第２動き量算出部４６４が第２の動き量を算出する（ステップＳ２０４）。補正量決定部４６５がユーザーの動きがあると判定すると（ステップＳ２０５ＹＥＳ）、第１の動き量の算出結果と第２の動き量の算出結果とに基づいて、補正量を決定する（ステップＳ２０６）。

一方、補正量決定部４６５がユーザーの動きがないと判定すると（ステップＳ２０５ＮＯ）、第１の動き量の算出結果のみに基づいて、補正量を決定する（ステップＳ２０７）。
そして、ステップＳ２０６またはステップＳ２０７で決定した補正量にしたがって、補正処理部４６６がＲＧＢ画像信号１１３に対する補正処理を実行する（ステップＳ２０８）。

以上で説明したような本発明の第４実施形態では、ＨＭＤ本体４００の移動を引き起こすユーザーの動きを示す情報を取得し、画像信号とユーザーの動きを示す情報とに基づいて、イメージセンサ１１１およびセンサ１２１の画角全体の動き量を算出する。したがって、ユーザーの動きについては反映、追従する一方で、ユーザーの意図とは無関係に発生したブレのみを補正することができる。このような効果は、特に、ＨＭＤ本体４００をユーザーが装着して移動した場合などに有用である。
なお、第２実施形態で説明されたシステム２０、および第３実施形態で説明されたシステム３０についても、同様に、ＨＭＤなどの装着型デバイスに適用することができる。

また、第１実施形態から第４実施形態で説明されたシステム１０、システム２０、システム３０、システム４０に、ＲＧＢカメラ１１０のイメージセンサ１１１およびＥＤＳ１２０のセンサ１２１以外のセンサをさらに備える構成としても良い。例えば、第１実施形態においてイメージセンサ１１１およびセンサ１２１の近傍にジャイロセンサを配置し、ロボット本体１００自体の移動の有無を検知することにより、制御の安定性を向上させることができる。この場合、エゴモーションの計測に用いられるような高精度のジャイロセンサや計算処理は必要なく、ジャイロセンサの加速度成分を用いた閾値処理でロボット本体１００自体の移動の有無を検知することができる。第２実施形態から第４実施形態についても同様である。

また、第１実施形態から第４実施形態で説明されたシステム１０、システム２０、システム３０、システム４０は、単一の装置内で実装されてもよいし、複数の装置に分散して実装されてもよい。例えば、第１実施形態から第３実施形態において、ロボット本体１００の内部に情報処理装置１６０の全体を実装してもよいし、情報処理装置１６０の少なくとも一部をサーバー装置に分離して実装してもよい。また、例えば、第４実施形態において、情報処理装置４６０の一部または全部をＨＭＤ本体４００の外部に実装してもよい。
さらに、例えば研究や調査などを目的としたデータ分析などの用途を想定し、ＲＧＢ画像信号１１３およびイベント信号１２３と、操作部２００に対するユーザーの操作入力を示す情報またはユーザーの動きを示す情報とを時系列上で対応付けられたデータとして保存した上で、事後的に補正処理を行う構成としてもよい。

以上、添付図面を参照しながら本発明のいくつかの実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０・２０・３０・４０…システム、１００…ロボット本体、１１０・４１０…ＲＧＢカメラ、１１１…イメージセンサ、１１２・１２２…処理回路、１１３…ＲＧＢ画像信号、１２０…ＥＤＳ、１２１…センサ、１２３…イベント信号、１３０…カメラユニット、１４０…３軸カメラ駆動部、１５０…ロボット駆動部、１６０・４６０…情報処理装置、１６１・４６１…受信部、１６２・４６２…第１動き量算出部、１６３…受付部、１６４・４６４…第２動き量算出部、１６５・４６５…補正量決定部、１６６・４６６…補正処理部、１６７・４６７…出力画像、１６８…画像出力部、１６９…画像生成部、２００…操作部、３００…表示装置、４００…ＨＭＤ本体、４４０…視線検出部、４５０…ＩＭＵ、４７０…表示部。

Claims (19)

1. 画像センサが取得した画像信号を受信する受信部と、
   前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、
   前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
   前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
   を備える画像処理装置。
2. 前記算出部は、前記画像信号に基づいて第１の動き量を算出し、前記操作入力に基づいて第２の動き量を算出し、前記第２の動き量を前記第１の動き量から差し引くことにより前記画角全体の動き量を算出する、請求項１に記載の画像処理装置。
3. 前記画像センサは、画素ごとに入射する光の強度変化を検出したときに非同期的に前記画像信号を生成するイベント駆動型のビジョンセンサを含む、請求項１または請求項２に記載の画像処理装置。
4. 前記画像センサは、所定のタイミングで全ピクセルを同期的にスキャンすることによって前記画像信号を生成するカメラをさらに含み、
   前記受信部は、前記ビジョンセンサおよび前記カメラの両方から前記画像信号を受信し、
   前記算出部は、少なくとも前記ビジョンセンサが生成した前記画像信号と、前記操作入力とに基づいて、前記画角全体の動き量を算出し、
   前記補正処理部は、前記動き量に基づいて、前記カメラが生成した前記画像信号から構築される画像に対して前記補正処理を行う、請求項３に記載の画像処理装置。
5. 前記補正処理部は、前記ビジョンセンサが生成した前記画像信号に対して補間処理を行って前記画像を構築し、構築した前記画像に対して前記補正処理を行う、請求項３に記載の画像処理装置。
6. 前記操作入力は、前記装置のうち、前記画像センサを一体化して同時に変位および回転可能な部分を駆動させるためのユーザーの操作入力である、請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 画像センサが取得した画像信号を受信する受信部と、
   前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する取得部と、
   前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
   前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
   を備える画像処理装置。
8. 前記算出部は、前記画像信号に基づいて第１の動き量を算出し、前記ユーザーの動きを示す情報に基づいて第２の動き量を算出し、前記第２の動き量を前記第１の動き量から差し引くことにより前記画角全体の動き量を算出する、請求項７に記載の画像処理装置。
9. 前記画像センサは、画素ごとに入射する光の強度変化を検出したときに非同期的に前記画像信号を生成するイベント駆動型のビジョンセンサを含む、請求項７または請求項８に記載の画像処理装置。
10. 前記画像センサは、所定のタイミングで全ピクセルを同期的にスキャンすることによって前記画像信号を生成するカメラをさらに含み、
    前記受信部は、前記ビジョンセンサおよび前記カメラの両方から前記画像信号を受信し、
    前記算出部は、少なくとも前記ビジョンセンサが生成した前記画像信号と、前記ユーザーの動きを示す情報とに基づいて、前記画角全体の動き量を算出し、
    前記補正処理部は、前記動き量に基づいて、前記カメラが生成した前記画像信号から構築される画像に対して前記補正処理を行う、請求項９に記載の画像処理装置。
11. 前記補正処理部は、前記ビジョンセンサが生成した前記画像信号に対して補間処理を行って前記画像を構築し、構築した前記画像に対して前記補正処理を行う、請求項９に記載の画像処理装置。
12. 前記装置は、前記ユーザーの頭部に装着可能な装置であり、
    前記取得部は、前記ユーザーの動きを示す情報として、前記ユーザーの頭部の動きを示す情報を取得する、請求項７から請求項１１のいずれか１項に記載の画像処理装置。
13. 前記取得部は、前記ユーザーの動きを示す情報として、前記ユーザーの視線に関する情報をさらに取得する、請求項１２に記載の画像処理装置。
14. 画像信号を取得する画像センサと、
    前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける受付部と、
    前記操作入力に基づいて、前記画像センサを搭載した装置を駆動させる駆動部と、
    前記画像信号を受信する受信部と、
    前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正処理部と
    を有する端末装置と
    を備えるシステム。
15. 画像信号を取得する画像センサと、
    前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する取得部と、
    前記画像信号を受信する受信部と、
    前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する算出部と、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う補正部と
    を有する端末装置と
    を備えるシステム。
16. 画像センサが取得した画像信号を受信するステップと、
    前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付けるステップと、
    前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出するステップと、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行うステップと
    を含む画像処理方法。
17. 画像センサが取得した画像信号を受信するステップと、
    前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得するステップと、
    前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出するステップと、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行うステップと
    を備える画像処理方法。
18. 画像センサが取得した画像信号を受信する機能と、
    前記画像センサを搭載した装置を駆動させるためのユーザーの操作入力を受け付ける機能と、
    前記画像信号と前記操作入力とに基づいて、前記画像センサの画角全体の動き量を算出する機能と、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う機能と
    をコンピュータに実現させる画像処理プログラム。
19. 画像センサが取得した画像信号を受信する機能と、
    前記画像センサを搭載し、ユーザーの体に装着可能な装置の移動を引き起こす前記ユーザーの動きを示す情報を取得する機能と、
    前記画像信号と前記ユーザーの動きを示す情報とに基づいて、前記画像センサの画角全体の動き量を算出する機能と、
    前記動き量に基づいて、前記画像信号から構築される画像に対して補正処理を行う機能と
    をコンピュータに実現させる画像処理プログラム。
    

Images