JP6645949B2 - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、撮影画像を利用した情報処理を行う情報処理装置、撮影機能を有するヘッドマウントディスプレイ、撮影画像を利用して画像を表示する情報処理システム、および撮影画像を用いた情報処理方法に関する。

ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出して、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理を行ったりする技術は、小型の携帯端末からレジャー施設まで、その規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

臨場感のある画像表現を実現したり、情報処理を高精度に行ったりするためには、撮影から結果出力までの即時性が重要となる。被写体の動きを即座に表示画像に反映させる場合や、ユーザが装着するヘッドマウントディスプレイに撮像装置を設け、視野に対応する画像を表示させる場合などは特に、ごく僅かな処理の遅延が違和感や使い勝手の悪さを生む。即時性の追求のため、データ転送量や処理負荷を軽減させようとすると、情報処理に十分な精度が得られないことも考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた情報処理や表示において、即時性と処理の精度を両立させる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備えた撮像装置から、撮影された動画像のデータを取得する撮影画像取得部と、動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正する補正部と、補正された位置座標を用いて画像解析を行い、その結果を出力データに反映させる解析処理部と、を備えたことを特徴とする。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備え、撮影が完了した行から順次、撮影画像のデータを出力する撮像部と、画素の行ごとに撮影画像のデータを取得し、取得が完了した行から順次、表示する表示部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備え、撮影が完了した行から順次、撮影画像のデータを出力する撮像部と、撮像部から、撮影された動画像のデータを取得し、当該動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正する補正部と、補正された位置座標を用いて画像解析を行う解析処理部と、画像解析の結果を利用して表示画像のデータを生成し行ごとに出力する出力データ生成部と、表示画像を、出力された行から順次表示する表示部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は情報処理装置が、画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備えた撮像装置から、撮影された動画像のデータを取得するステップと、動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正するステップと、補正された位置座標を用いて画像解析を行うステップと、解析結果を反映したデータを出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を用いた情報処理や表示において、即時性と処理の精度を両立させることができる。

本実施の形態の情報処理システムの構成例を示す図である。 本実施の形態の表示装置をヘッドマウントディスプレイとしたときの外観形状の例を示す図である。 本実施の形態におけるローリングシャッターによる撮影データの取得順と画像平面の関係を説明するための図である。 グローバルシャッターとローリングシャッターによる撮影画像の解析の差を説明するための図である。 転送時間を考慮したときの撮影から表示までの時間経過を説明するための図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態における情報処理装置の機能ブロックの構成を示す図である。 本実施の形態において補正部が行う補正処理の手法を説明するための図である。 本実施の形態において補正部が、補正したオプティカルフローを求める手法を説明するための図である。 本実施の形態において純粋な露光時間を考慮した場合の補正処理について説明するための図である。 本実施の形態における撮影画像、画像解析に用いる画像、および表示画像の、時間的な関係を模式的に示す図である。

図１は本実施の形態の情報処理システムの構成例を示す。情報処理システム１は、実空間を撮影する撮像装置１２、撮影画像に基づき情報処理を行う情報処理装置１０、情報処理装置１０が出力した画像を表示する表示装置１６を含む。情報処理装置１０はインターネットなどのネットワーク１８と接続可能としてもよい。

情報処理装置１０と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、情報処理装置１０、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されてもよい。例えばそれらを装備した携帯端末やヘッドマウントディスプレイなどで情報処理システム１を実現してもよい。いずれにしろ撮像装置１２、情報処理装置１０、表示装置１６の外観形状は図示するものに限らない。

撮像装置１２は、対象物を所定のフレームレートで撮影するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子と、その出力データにデモザイク処理、レンズ歪み補正、色補正などを施し、撮影画像のデータを生成する画像処理機構を含む。当該画像処理機構は、画像を縮小することで複数解像度の画像データを生成する機構を含んでいてもよい。また撮像装置１２は、２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラとしてもよい。

撮像装置１２は、撮影、生成した画像のデータを、画像の上端の画素列から順にストリーム形式で情報処理装置１０に送信する。撮像装置１２が複数解像度の画像データを生成する場合などは、情報処理装置１０からの要求に従った解像度や領域のデータのみを送信してもよい。情報処理装置１０は、撮像装置１２から送信されたデータに対し画像解析を行い、その結果に基づき情報処理を行ったり、撮像装置１２に対するデータ要求に反映させたりする。さらに情報処理装置１０は、表示装置１６に表示画像や音声などの出力データを送信する。

ここで出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々であってよい。情報処理装置１０は例えば、撮像装置１２から送信された撮影画像のデータをそのまま表示装置１６に送信し、撮影画像が即時に表示されるようにしてもよい。あるいは画像解析により撮影画像に写る対象物の位置や姿勢を取得し、それに基づき撮影画像に何らかの加工を施したり、画像解析の結果に基づき電子ゲームを進捗させてゲーム画面を生成したりしてもよい。このような態様の代表的なものとして、仮想現実（VR:Virtual Reality）や拡張現実（AR:Augmented Reality）が挙げられる。

表示装置１６は、画像を出力する液晶、プラズマ、有機ＥＬなどのディスプレイと、音声を出力するスピーカーを備え、情報処理装置１０から送信された出力データを画像や音声として出力する。表示装置１６は、テレビ受像器、各種モニター、携帯端末の表示画面、カメラの電子ファインダなどでもよいし、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。

図２は表示装置１６をヘッドマウントディスプレイとしたときの外観形状の例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大するレンズを備えてよい。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

この例でヘッドマウントディスプレイ１００は、撮像装置１２として、筐体１０８の前面にステレオカメラ１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。この場合、情報処理装置１０は、ＳＬＡＭ（Simultaneous Localization and Mapping）の技術を用いて撮影画像を解析することにより、周囲環境に対するユーザ頭部の位置や姿勢を特定できる。その情報を利用して、例えば仮想世界に対する視野を決定し左眼視用、右眼視用の表示画像を生成し表示させれば、あたかも眼前に仮想世界が広がっているようなＶＲを実現できる。このとき情報処理装置１０は、ヘッドマウントディスプレイ１００と通信を確立できる外部装置としてもよいし、ヘッドマウントディスプレイ１００に内蔵してもよい。

このように本実施の形態の情報処理システム１は、様々な態様への適用が可能であるため、各装置の構成や外観形状もそれに応じて適宜決定してよい。以後、実空間の撮影から画像表示までの即時性と、撮影画像の解析精度を両立させる手法に主眼を置いて説明する。その目的において本実施の形態では、撮像装置１２として、行ごとに撮影のタイミングがずれるローリングシャッターカメラを採用する。

図３は、ローリングシャッターによる撮影データの取得順と画像平面の関係を説明するための図である。同図上段は、撮像面の縦方向（ｙ軸）と時間軸とがなす平面１４０に、横方向（ｘ軸）の画素列からなる各行の露光時間１４２とデータ読み出し時間１４４を表している。ローリングシャッターカメラは「ライン露光順次読み出し」方式のカメラであり、図示するように撮像面の一行ごとに露光時間をずらし、露光完了直後に各行のデータを読み出すことにより１フレーム分のデータを取得する。

一般的にはそのように取得した行ごとのデータを、ｘ軸およびｙ軸がなす平面１４６に展開し、同一時刻の画像フレームとして扱うことにより解析や表示がなされる。しかしながら厳密には、撮影画像の上方に写る物と下方に移る物とでは、実際の観測時刻が露光時間のずれに応じて異なるため、解析結果にはそれに起因した誤差が含まれ得る。当該誤差は、対象物あるいは撮像面の動きが速くなるほど大きくなる。このような誤差を解消するため、ＣＣＤなどの撮像素子を用いたグローバルシャッターカメラを採用することが考えられる。

グローバルシャッターカメラは「同時露光一括読み出し」方式のカメラであり、全ての行を同じタイミングで露光するため、１フレームに写る物は、その観測時刻に差が生じない。図４は被写体に動きがあるときの画像解析の差を説明するための図である。同図は（ａ）がグローバルシャッターカメラ、（ｂ）がローリングシャッターカメラで同じ被写体（あるいはそれに含まれる特徴点）を撮影したときの、観測時刻およびｙ軸方向の位置を、連続する複数のフレームについて表している。すなわち最小単位の実線矩形（長方形または平行四辺形）が１フレーム分の露光を表す。

まず（ａ）に示すグローバルシャッターの場合、全ての行について同期間に露光がなされるため、データ処理上で定義される各フレームの基準時刻ｔ_０、ｔ_１、ｔ_２、・・・と、実際の観測時刻との間に、ｙ軸方向の位置に依存したずれは生じない。一方、（ｂ）に示すローリングシャッターの場合は上述のとおり、行によって露光タイミングが異なるため、各フレームの基準時刻ｔ_０、ｔ_１、ｔ_２、・・・に対し実際の観測時刻には、ｙ軸方向の位置に依存したずれが生じる。

同図の場合、撮像面において最も上の行の露光時間を基準時刻としているため、被写体が下にあるほど誤差が大きくなる。このような撮影画像を、基準時刻ｔ_０、ｔ_１、ｔ_２、・・・のデータとしてそれぞれ一括して解析すると、白丸で示すように、被写体の移動方向によって実際より速く認識されたり遅く認識されたりする誤差が発生する。画像解析の内容によっては、移動速度のみならず、位置や姿勢の解析結果に誤差が生じたり、検出対象を誤認識したりすることも考えられる。

一方、グローバルシャッターであっても、そのデータ読み出しや転送は行単位で順番になされるため、画像解析や表示における即時性の観点では不利となり得る。図５は転送時間を考慮したときの撮影から表示までの時間経過を説明するための図である。（ａ）はグローバルシャッターカメラで撮影した画像を、（ｂ）はローリングシャッターカメラで撮影した画像を、それぞれ表示装置１６に表示させる際の１フレーム分のデータ処理のタイミングを示している。なおデータの転送経路には情報処理装置１０が介在してよいが、同図では省略している。

（ａ）に示すグローバルシャッターの場合、矩形１１０ａに太線で示すように、時刻ｔｇ_０において全ての行の露光が同時になされる。一方、撮像装置１２からの出力は、矩形１１０ａ内に点線で示すように、伝送帯域の制限によって上の行から順番になされる。例えば画像上方の行は矢印ａで示す早いタイミングで出力され、下方の行は矢印ａ’で示す、それより遅いタイミングで出力される。つまり下方の行はデータ出力までにΔｔだけ待機する必要がある。その結果、撮像装置１２が全ての行のデータを出力するのには、ｔｇ_１−ｔｇ_０の時間を要する。

そのようにして出力されたデータは、情報処理装置１０を介して表示装置１６のフレームバッファに格納され表示される。矩形１１２ａ内の点線は、表示装置１６において各行のデータが格納されるタイミングを表している。この場合も、画像上方の行は矢印ａで示すような早いタイミングで格納され、下方の行が矢印ａ’で示す、それより遅いタイミングで格納される。つまり上方の行は全てのデータが格納されるまでにΔｔ’だけ待機する必要がある。その結果、表示装置１６が全ての行のデータをフレームバッファに格納するには、ｔｇ_３−ｔｇ_２の時間を要する。

なお同図では、フレームバッファへの格納が完了する時刻をｔｇ_３としているが、フレームバッファを前提とした表示装置の場合、実際の表示までにはさらに、駆動方式に応じた調整時間が発生する。図示する例は撮影画像をそのまま表示するシンプルな態様であるが、情報処理装置１０において何らかの加工や描画をする場合であっても、伝送帯域に制限がある限り、データを順に送る時間、およびフレームバッファに溜めていく時間として、撮影から表示までには少なくともｔｇ_３−ｔｇ_０の時間を要する。また情報処理装置１０においてフレームバッファを設け、画像解析などを行う場合も同様の待機時間が生じる。

一方、（ｂ）に示すローリングシャッターの場合、露光自体が上の行から順番になされるため、矩形１１０ｂに太線で示すように、全ての行を露光するのにｔｒ_１−ｔｒ_０の時間を要する。しかしながら、露光が完了した行から即時にデータが出力されるため、矢印ｂ、ｂ’に例示されるように、撮影から出力までの時間は行によらない。すなわちグローバルシャッターにおいて発生していた待機時間Δｔは生じない。

このようなローリングシャッターの特徴を踏まえ、好適には、フレームバッファでの１フレーム分のデータ格納を待たず、行ごとに即時出力できるラインバッファ対応のディスプレイを表示装置１６として採用する。すると矩形１１２ｂに示すように、撮像装置１２からの出力タイミングと同期するように、時刻ｔｒ_２からｔｒ_３までの時間で順次表示が進捗する。結果として、フレームバッファを前提とした表示装置において発生していた待機時間Δｔ’は生じない。

このような待機時間Δｔ、Δｔ’を考慮すると、撮像から表示までの時間差は、（ｂ）に示すローリングシャッターカメラとラインバッファ対応の表示装置の組み合わせが最短となる。すなわち表示画面の走査による時間差を前提として、撮影側でもあえて観測時間差を行ごとに設けることにより、最新の情報を画像として表示させることができる。なお入力されたデータを即時表示する方式のディスプレイとして、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）を採用してもよい。

また同図は最も理解しやすい例として、撮像装置１２と表示装置１６の処理のタイミングを示していたが、より新しいデータすなわち情報を処理対象とすることが望ましいのは、撮影画像を用いて情報処理を行う情報処理装置１０においても同様である。すなわち入力されたデータをメモリなどに待機させる時間を極力短くするような連携した動作を各装置で実現することは、表示や情報処理の即時性や精度の面で格段の効果を奏する。また同時に、メモリ容量を節約する効果も得られる。

このような特有の知見に基づき、本実施の形態では、撮影にローリングシャッターカメラを採用し、撮像装置１２、情報処理装置１０、および表示装置１６において、データを即時出力することを基本とする。一方、画像解析においては、１フレームにおける観測の時間差が解消されるようにデータを補正することにより、観測データの即時利用と解析精度を両立させる。補正は基本的に、特徴点が観測された時刻と位置に基づき、各フレームの基準時刻における位置を推定することによって行う。具体的な演算手法については後述する。

図６は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、撮像装置１２や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図７は情報処理装置１０の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図６で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５２、取得した画像を解析する画像解析部５４、解析結果を利用するなどして出力すべきデータを生成する出力データ生成部５６を含む。撮影画像取得部５２は、図６の入力部３８、ＣＰＵ２３、メインメモリ２６などで実現され、撮像装置１２から撮影画像のフレームデータを順次取得する。詳細には上述したように、１フレームのうち露光が完了した行から順にストリーム形式でデータを取得する。取得したデータは画像解析部５４および出力データ生成部５６に供給する。

このときも好適には、取得した行のデータから順次供給していく。ただし画像解析部５４が実施する画像解析の内容によっては、メインメモリ２６などに２次元の画像データとして格納しておき、画像解析部５４が適宜参照できるようにしてもよい。また撮影画像取得部５２は、画像解析部５４による画像解析の結果に基づき、取得する撮影画像のデータを指定して撮像装置２に要求してもよい。

画像解析部５４は、図６のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、撮影画像のデータを用いて所定の画像解析を行い、その結果を出力データ生成部５６に供給する。画像解析部５４が行う解析の内容は特に限定されない。例えば上述のＳＬＡＭや対象物の追跡処理など、元から動きを想定した解析でもよいし、対象物検出、対象物認識、デプスマップ取得など一般的になされる画像解析のいずれでもよい。いずれにしろ上述したようにフレーム内での観測時間の差を解消する補正により、解析処理の精度を向上させることができる。

詳細には画像解析部５４は、特徴抽出部６０、補正部６２、補正データ記憶部６４、および解析処理部６６を含む。特徴抽出部６０は、画像解析に用いる特徴を撮影画像から抽出する。具体的な抽出対象や処理アルゴリズムは、実施する画像解析によって様々であるが、例えばエッジ検出、コーナー検出、輪郭線検出、テクスチャ等による領域分割などが挙げられる。このような特徴抽出は一般的な技術でよいため詳細な説明は省略する。

補正部６２は、特徴として抽出された点、線、あるいは領域の境界線が、各フレームの基準時刻における正確な位置を表すように補正する。補正に必要なデータは補正データ記憶部６４に格納しておき、適宜参照する。当該データとして、前のフレームまでに抽出された特徴の位置情報や、観測時刻のずれ時間に係るパラメータを画像平面上の離散的な位置に対応づけた２次元マップなどが挙げられる。当該パラメータは、撮像装置１２でなされるレンズ歪み補正を考慮して計算してもよい。

レンズ歪み補正や露光の進捗速度などに基づき事前に算出できるパラメータについて、２次元マップやルックアップテーブルなどの形であらかじめ準備しておくことにより、補正処理を効率化できる。解析処理部６６は、位置が補正された特徴のデータを用いて、上に例示したような画像解析のうち所定の解析を実施する。

出力データ生成部５６は、図６のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６、出力部３６などで実現され、出力すべき表示画像や音声のデータを生成して表示装置１６に出力する。どのようなデータを生成するかは、情報処理装置１０の使用目的やユーザが選択するアプリケーションなどによって様々でよい。撮影画像をそのまま表示させる態様においては、撮影画像取得部５２から取得したデータストリームをそのまま出力してもよい。撮影画像に何らかの加工を施す場合も、行ごとに処理を完了させ即時出力するなどして遅延時間を抑えることが望ましい。

図８は、補正部６２が行う補正処理の手法を説明するための図である。同図は図４と同様、横方向を時間軸、縦方向を撮影画像の縦軸（ｙ軸）とし、最小単位の実線矩形（平行四辺形）が、ローリングシャッターカメラによる１つのフレームの露光処理を表す。また黒丸は特徴点の観測時刻と位置を表し、同図の場合、各フレームに２つの特徴点が写っているとしている。例えばｎ番目のフレームｆ_ｎにおいて、点線で示した露光のタイミングで、ｙ_ｎ、ｙ_ｎ’の位置に２つの特徴点が観測されている。

なお同図はｙ軸と時間軸の２次元空間を示しているが、物体の位置情報は当然、画像平面の横軸（ｘ軸）とｙ軸からなる２次元上の座標である。また最も上の行の露光時刻を基準時刻とし、フレーム間での基準時刻の間隔をｄとすると、各フレームｆ_ｎ−１、ｆ_ｎ、ｆ_ｎ＋１、ｆ_ｎ＋２、・・・の基準時刻は図示するように、ｄ・（ｎ−１）、ｄ・ｎ、ｄ・（ｎ＋１）、ｄ・（ｎ＋２）、・・・となる。ここで間隔ｄは、ｙ軸方向の露光の進捗速度と反比例の関係を有するとともに、フレームの撮影周期と捉えることもできる。補正部６２は、１つ前のフレームｆ_ｎ−１からの特徴点の移動量に基づき、基準時刻における位置の補正値を補間により求める。

同図では補正後の位置を白抜きの四角で示している。例えばフレームｆ_ｎで抽出された特徴点１２０に着目すると、それが観測される時刻の、基準時刻ｄ・ｎからの遅延時間Ｒ_ｎは、画像平面の縦方向の位置ｙ_ｎに依存し、次の式で与えられる。
Ｒ_ｎ＝ｄ・ｙ_ｎ／Ｖ
ここでＶは画像の縦方向の長さである。直前のフレームｆ_ｎ−１を考慮すると、特徴点１２０は、基準時刻ｄ・ｎより（ｄ−Ｒ_ｎ−１）だけ前の時刻と、Ｒ_ｎだけ後の時刻で観測される。

それらの時刻で観測される特徴点１２０の位置座標をそれぞれ（ｘ_ｎ−１，ｙ_ｎ−１）、（ｘ_ｎ，ｙ_ｎ）とすると、その間の基準時刻ｄ・ｎにおける当該特徴点１２０の位置座標（ｘｃ_ｎ，ｙｃ_ｎ）は次のように求められる。

ここでＬ_ｎ＝１／（Ｖ−ｙ_ｎ−１＋ｙ_ｎ）とおくと、式１は次のように表現できる。

補正部６２は、式２を用いて、撮影画像を構成する各フレームの特徴点の位置座標を、当該フレームの基準時刻における値に補正する。特徴が線や領域であっても、当該線や境界線を構成する点の位置座標を補正することで、基準時刻における形状に補正できる。これにより、フレーム内で統一された時刻での像に基づき、画像解析を正確に行える。

なお上記補正には直前のフレームにおける同じ特徴点の位置座標を用いるため、補正部６２は補正データ記憶部６４に、特徴点の識別情報と、少なくとも直前のフレームにおける位置座標とを対応づけて格納しておく。図８の例では、前後の２つのフレームで観測された特徴点の位置座標の変化を線形補間したが、補間のアルゴリズムはこれに限らない。すなわち３つ以上のフレームで観測された位置座標を考慮してもよいし、それらを用いてスプライン補間など曲線で補間してもよい。

また図８の例は最も上の行の露光時刻を基準時刻としたため、およそ全ての特徴点の観測時刻がそれより遅くなることを想定している。一方、中央の行や最も下の行の露光時刻など、基準時刻は自由に設定することができる。この場合、当然、基準時刻に露光される行より上に位置する特徴点の観測時刻は、基準時刻より早くなるが、これまで述べた「遅延時間」を基準時刻からの「ずれ時間」に置き換えることにより、同様の計算で補正を実現できる。以下の計算においても同様である。

上記計算は、撮像素子の直交する２次元配列と、撮影画像の画素配列が対応することを前提としている。この場合、図８の点線のように、ｙ軸方向の位置と観測時刻が比例関係になるため、基準時刻からの遅延時間Ｒ_ｎが上述のとおりｙ_ｎの一次関数として求められる。一方、撮像装置１２においてレンズ歪み補正がなされている場合、出力される撮影画像の各画素は、当該画素値を観測した撮像素子の位置からｘ軸方向およびｙ軸方向にずれ、そのずれ量は画像上の位置によって異なる。

その結果、レンズ歪み補正後の画像における特徴点の位置座標と実際の撮影時刻との関係も、画像平面上の位置によって変化する。このため補正部６２は、撮像装置１２におけるレンズ歪み補正を加味して補正を行ってもよい。具体的には、上述の遅延時間Ｒ_ｎ＝ｄ・ｙ_ｎ／Ｖのうち、１フレーム分の露光時間に対する遅延時間の割合の成分であるｙ_ｎ／Ｖに相当するパラメータｍ（ｘ，ｙ）を、画像平面上の複数の位置（ｘ，ｙ）に対し計算しておく。

具体的には下記のように、各位置（ｘ，ｙ）に対しレンズ歪み補正の逆補正Ｍを作用させて補正前の座標（ｘ_ｍ，ｙ_ｍ）を求めたうえ、そのうちのｙ座標ｙ_ｍの、Ｖに対する割合を計算する。
（ｘ_ｍ，ｙ_ｍ）＝（ｘ，ｙ）・Ｍ
ｍ（ｘ，ｙ）＝ｙ_ｍ／Ｖ

レンズ歪み補正時に、画像平面の直交メッシュに対し補正量を設定した補正マップを用いている場合、パラメータｍ（ｘ，ｙ）を２次元平面に表した遅延マップを、同様のメッシュに対し容易に生成できる。補正部６２は、フレームｆ_ｎから抽出された特徴点の位置座標（ｘ_ｎ，ｙ_ｎ）に基づき、補正データ記憶部６４に格納された遅延マップを参照し、必要に応じて内挿することで、当該特徴点を観測した時刻の遅延割合を示すパラメータｍ（ｘ_ｎ，ｙ_ｎ）を取得する。

すると、フレームｆ_ｎの基準時刻ｄ・ｎからの、当該特徴点の観測時刻の遅延時間Ｒ_ｎは、次のように求められる。
Ｒ_ｎ＝ｄ・ｍ（ｘ_ｎ，ｙ_ｎ）
この場合、Ｌ_ｎ＝１／（１−ｍ（ｘ_ｎ−１，ｙ_ｎ−１）＋ｍ（ｘ_ｎ，ｙ_ｎ））として、補正後の位置座標（ｘｃ_ｎ，ｙｃ_ｎ）は式２の代わりに次のように求められる。

図９は、補正部６２が、補正したオプティカルフローを求める手法を説明するための図である。図の形式および特徴点の動きは図８で示したものと同様である。物体や特徴点の移動ベクトルを示すオプティカルフローは一般に、移動体を検出、追跡したり形状変化を特定したりする際の重要な情報である。図９においてオプティカルフローを示すベクトル１３０は、ｙ軸と時間軸のなす２次元空間において示されているが、実際にはｘ軸およびｙ軸からなる画像平面上での単位時間あたりの移動量を表す。

補正部６２は、式２または式３により補正した特徴点の位置座標（ｘｃ_ｎ，ｙｃ_ｎ）を用いて、正確にオプティカルフローを求める。具体的には、フレームｆ_ｎにおける特徴点のオプティカルフロー、すなわち画像平面でのベクトル（Ｖｘ_ｎ，Ｖｙ_ｎ）は次式のように求められる。

式４は一旦、特徴点の位置座標（ｘ_ｎ，ｙ_ｎ）を式２または式３により補正してからベクトルを求める手法であるが、前後のフレームにおける同じ特徴点の位置座標から直接求めたベクトル１３２で次のように近似し、処理を簡略化してもよい。

なお式５では、観測時刻の遅延時間の割合にパラメータｍを用いているが、ｙ_ｎ／Ｖといった一次式で代用してもよい。またオプティカルフローは、解析処理部６６が画像解析の途中で必要に応じて求めてもよい。これまで述べた例では、各行の露光時間が基準時刻の間隔ｄ、すなわちフレームの撮影周期に等しいとしていたが、より厳密には露光時間は、撮影周期を上限として、撮影環境等に応じて変化し得る。

図１０は純粋な露光時間を考慮した場合の補正処理について説明するための図である。図の形式は図８で示したものと同様であるが、各行の露光時間ｅ_ｎは、基準時刻の間隔ｄより短い。この場合、画像の縦方向に対する露光の進行が、これまで説明した例より早くなるため、同じ観測位置でも遅延時間Ｒ_ｎが短くなる。具体的には次のようになる。
Ｒ_ｎ＝ｄ・｛ｍ（ｘ_ｎ，ｙ_ｎ）−ｓｈ_ｎ｝

ここでｓｈ_ｎはフレームｆ_ｎにおける露光時間ｅ_ｎを考慮したシャッター補正値であり、次のように定義される。
ｓｈ_ｎ＝（１−ｅ_ｎ／ｄ）／２
当該遅延時間Ｒ_ｎを式３に代入すると、補正後の位置座標は次のように求められる。

ただし連続するフレーム間で露光時間ｅ_ｎ−１とｅ_ｎの差、ひいてはシャッター補正値ｓｈ_ｎ−１とｓｈ_ｎの差が無視できる程度であれば、次のように近似してもよい。

さらに、連続するフレーム間で遅延時間の割合の変化が無視できる程度であれば、次のように近似してもよい。
Ｌ_ｎ≒１
これらは、露光時間を極端に変化させる状況やオプティカルフローが顕著に大きい状況が発生しない限り、妥当な近似といえる。同様の理由で、予測されるシャッター補正値の平均的な値を定数として設定しておけば、露光時間を純粋に考慮した場合であっても、撮影画像上での特徴点の位置座標と、それによって定まる遅延時間の割合を示すパラメータｍ（ｘ_ｎ，ｙ_ｎ）を用いて補正処理を容易に行える。

図１１は、本実施の形態における撮影画像、画像解析に用いる画像、および表示画像の、時間的な関係を模式的に示している。同図左側は撮像装置１２による撮影画像、右側は表示装置１６による表示画像を、フレームｆ_ｎ−１、ｆ_ｎ、ｆ_ｎ＋１の３フレーム分、示している。撮像装置１２にローリングシャッターを用いた場合、図の縦方向を時間軸として、各時刻で観測され読み出される行ごとのデータを時間軸方向に並べると、図示するように画像平面に対応することになる。

同図では簡単な例として、黒い玉２００が下側に移動する模様を撮影しているとする。なお玉２００の位置を明確にするため、その右側には静止物２０２を配置している。上述したように、各フレームにおいて玉２００が観測される時刻は、フレームの最も上の行の露光時刻である基準時刻ｄ・（ｎ−１）、ｄ・ｎ、ｄ・（ｎ＋１）からそれぞれ、Ｒ_ｎ−１、Ｒ_ｎ、Ｒ_ｎ＋１だけ遅延する。情報処理装置１０は撮像装置１２から、このような撮影画像のデータを、上の行から順にストリーム形式で取得する。

撮影画像をそのまま表示させるシンプルな態様の場合、情報処理装置１０は取得したストリームを順次、表示装置１６に出力する。表示装置１６をラインバッファに対応するディスプレイとすると、当該データは出力された順に画面の上段から下段にかけて即時表示される。これにより原理的には全ての行において、撮影から表示までの遅延時間が、転送に要した時間ΔＴに統一される。結果として、できうる限りで最も新しいデータが表示されることになる。

なお情報処理装置１０において何らかの加工や画像生成をする場合であっても、処理を画像平面の上段から進めて即時出力することにより、より新しい画像を表示できる。一方、情報処理装置１０において画像解析を行う場合、前処理として特徴点の位置やオプティカルフローを補正することにより、１つのフレームを同一時刻のデータとして扱う一般的なアルゴリズムをそのまま利用できるようにする。つまり各基準時刻に合わせた画像２０４ａ、２０４ｂを疑似的に生成する。

図示する画像２０４ａ、２０４ｂでは、基準時刻ｄ・ｎおよびｄ・（ｎ＋１）の前後で観測された、玉２００の像を点線で示し、それらを時間的に補間することで得られた補正後の玉の位置を網掛けで示している。ただし実際には補正対象を、画像解析に必要な特徴点に限定することにより、補正処理による遅延の発生を抑える。このようにして統一された時刻における特徴点の位置を用いて精度よく解析した結果は、その後の表示画像に反映させてもよいし、撮像装置１２へのデータ要求に用いてもよい。

例えば所定の対象物の位置や動きを正確に取得することにより、当該対象物が写る領域を予測して撮像装置１２に通知してもよい。これに応じて撮像装置１２が、通知された領域の高解像度の画像データと、その他の領域の低解像度の画像データを送信するようにし、それらを合成して表示させたり、さらなる解析に利用したりすれば、全体としてデータの転送量を抑えることができる。あるいはＳＬＡＭなどにより視野の動きを正確に求め、違和感のないＶＲやＡＲを実現することもできる。

本実施の形態では、画像解析に用いる特徴点を補正対象とし、画像自体は時間差を含んだまま出力することを基本とする。すなわち表示処理と解析処理で撮影画像の取り扱いが独立している。この特性を利用すれば、画像解析の種類や目的によっては、特徴点の補正やそれを用いた解析処理の頻度を、撮影や表示のフレームレートより低く抑え、全体的な処理の負荷を軽減させることもできる。

以上述べた本実施の形態によれば、撮像装置としてローリングシャッターカメラを利用し、実際の観測から出力までに要する時間を短くするとともに、その撮影画像を解析する際は、フレーム内で生じている観測時間差を解消するように補正する。これにより、従来用いられているアルゴリズムをそのまま利用して、精度のよい画像解析を行える。

また画像解析に用いる特徴に限定して補正したり、補正に用いるパラメータをあらかじめ算出しておいたりすることで、補正処理を効率化し、時間的な影響を少なくできる。パラメータの算出結果は、画像平面の離散的な位置に対応づけた２次元マップとして準備することで、ランダムアクセスが可能になるとともに、レンズ歪み補正など固有の操作がなされた画像であっても、容易かつ厳密な補正を実現できる。

また、ローリングシャッターによる撮像装置と、入力された画素列を即時表示可能な構造の表示装置とを組み合わせてシステムを構築することにより、撮影から表示までの経路におけるデータの滞りを最小限にし、常に最新の画像を表示できるようにする。このようなシステムに上述の画像解析手法を導入することにより、撮影画像を用いた情報処理や表示の即時性と処理の精度を両立させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １６ 表示装置、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、４０ 記録媒体駆動部、 ５２ 撮影画像取得部、 ５４ 画像解析部、 ５６ 出力データ生成部、 ６０ 特徴抽出部、 ６２ 補正部、 ６４ 補正データ記憶部、 ６６ 解析処理部。

Claims (10)

1. 画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備えた撮像装置から、撮影された動画像のデータを、撮影が完了した行から順次取得する撮影画像取得部と、
   前記動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正する補正部と、
   補正された位置座標を用いて画像解析を行うことにより、前記基準時刻に対応する解析結果を得る解析処理部と、
   前記時間ずれを有する前記動画像のデータに、前記基準時刻に対応する解析結果を反映させたうえで、前記撮影画像取得部が取得した行から順次、当該動画像のデータを表示装置に出力するデータ出力部と、
   を備えたことを特徴とする情報処理装置。
2. 前記補正部は、前記撮像装置において１フレームを撮影する際の縦方向の撮影進捗速度と補正対象の特徴点の位置座標に基づき、当該特徴点が観測された時刻の、前記基準時刻からのずれ時間を特定することにより、当該位置座標を補正することを特徴とする請求項１に記載の情報処理装置。
3. 画像平面における離散的な位置に、前記ずれ時間の特定に用いる所定のパラメータを対応づけた２次元マップを格納した補正データ記憶部をさらに備え、
   前記補正部は、前記２次元マップを参照して、前記補正対象の特徴点の位置座標に対応する前記パラメータを取得することにより、前記ずれ時間を特定することを特徴とする請求項２に記載の情報処理装置。
4. 前記所定のパラメータは、前記撮像装置においてなされるレンズ歪み補正を元に戻す補正のための成分を含むことを特徴とする請求項３に記載の情報処理装置。
5. 前記補正部は、補正対象のフレームより前のフレームにおける特徴点の位置座標と、補正対象のフレームの特徴点の位置座標を、前記ずれ時間に基づき補間することにより、前記位置座標を補正することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
6. 前記補正部は、フレームごとの露光時間の変化に応じて、前記ずれ時間を調整することを特徴とする請求項２から５のいずれかに記載の情報処理装置。
7. 前記データ出力部は、前記解析処理部による解析結果に基づき、前記動画像に加工を施したデータを、前記表示装置に出力することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. 画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備え、撮影が完了した行から順次、撮影画像のデータを出力する撮像部と、
   前記撮像部から、撮影された動画像のデータを取得し、当該動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正する補正部と、
   補正された位置座標を用いて画像解析を行うことにより、前記基準時刻に対応する解析結果を得る解析処理部と、
   前記時間ずれを有する前記動画像のデータに、前記基準時刻に対応する解析結果を反映させたうえで、前記撮像部から取得した行から順次、当該動画像のデータを出力する出力データ生成部と、
   前記動画像を、出力された行から順次表示する表示部と、
   を備えたことを特徴とする情報処理システム。
9. 画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備えた撮像装置から、撮影された動画像のデータを、撮影が完了した行から順次取得するステップと、
   前記動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正するステップと、
   補正された位置座標を用いて画像解析を行うことにより、前記基準時刻に対応する解析結果を得るステップと、
   前記時間ずれを有する前記動画像のデータに、前記基準時刻に対応する解析結果を反映させたうえで、前記撮像装置から取得した行から順次、当該動画像のデータを出力するステップと、
   を含むことを特徴とする情報処理装置による情報処理方法。
10. 画素の行ごとに時間ずれを設けて画像を撮影するローリングシャッターを備えた撮像装置から、撮影された動画像のデータを、撮影が完了した行から順次取得する機能と、
    前記動画像のフレームにおける特徴点の位置座標を、当該フレームの基準時刻における位置座標に補正する機能と、
    補正された位置座標を用いて画像解析を行うことにより、前記基準時刻に対応する解析結果を得る機能と、
    前記時間ずれを有する前記動画像のデータに、前記基準時刻に対応する解析結果を反映させたうえで、前記撮像装置から取得した行から順次、当該動画像のデータを出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images