JP7261642B2 - 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ - Google Patents

Description

この発明は、撮影画像を処理する画像処理方法、画像処理装置、および撮影画像を表示するヘッドマウントディスプレイに関する。

動画を撮影し、それをリアルタイムで処理して何らかの情報を得たり、表示に用いたりする技術は様々な分野で利用されている。例えば遮蔽型のヘッドマウントディスプレイの前面に実空間を撮影するカメラを設け、その撮影画像をそのまま表示させれば、ユーザは周囲の状況を確認しながら動作することができる。また撮影画像に仮想オブジェクトを重畳して表示させれば、拡張現実や複合現実を実現できる。

あるいは監視カメラや車載カメラで撮影された画像を解析し、写っている人や物を認識したりその動きを検出したりすることも一般的になされる。またその画像をリアルタイムで管理室など別の場所に送信して表示させたり、録画して後から表示させたりすることもある。魚眼カメラを利用して広い画角の画像を取得する場合は、それを解析や表示に適した形式に変換する処理も必要になる。このように、撮影画像に対しなすべき処理の種類は、その用途によって多岐にわたる。

これらの態様においては、カメラの性能を向上させ撮影画像が高品質になるほど、表示時の画像も高品質にできる一方、撮影から表示へ至るまでに伝送すべきデータ量や、画像解析など各種処理の負荷が増大する。その結果、消費電力、必要なメモリ容量、ＣＰＵ時間などのリソースの消費量が増加するとともに、表示や解析までに看過できない時間を要することもある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を利用した表示や各種処理において、結果への影響を抑えつつリソースの消費量を軽減させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像処理方法に関する。この画像処理方法は画像処理装置が、イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定するステップと、指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得するステップと、を含むことを特徴とする。

本発明の別の態様は画像処理装置に関する。この画像処理装置は、イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定する画像解析部と、指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得する信号処理部と、を備えたことを特徴とする。

本発明のさらに別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像処理装置と、その信号処理部に撮影画像を供給する前記イメージセンサと、前記撮影画像を用いて前記画像処理装置が生成した画像を表示する表示パネルと、を備えることを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、撮影画像を利用した表示や各種処理において、結果への影響を抑えつつリソースの消費量を軽減させることができる。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態のコンテンツ処理システムの構成例を示す図である。 本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。 本実施の形態のステレオカメラが搭載するイメージセンサの構造の概略を示す図である。 本実施の形態における撮影画像のビニングの態様の例を説明するための図である 本実施の形態における、部分的なビニングによるデータサイズの削減量を説明するための図である。 本実施の形態において、ビニング処理の演算例を説明するための図である。 本実施の形態の画像処理用集積回路の回路構成を示す図である。 本実施の形態における画像処理用集積回路のうち、主に信号処理回路と画像補正回路の構成をより詳細に示す図である。 本実施の形態において、部分的にビニングされた撮影画像のデータと、補正回路が生成する画像の関係を説明するための図である。 本実施の形態において、補正回路が変位ベクトルマップによって表示画像を生成する手法を説明するための図である。 本実施の形態において、部分的にビニングされた画像のデータと、ビニング処理部が生成する画像の関係を説明するための図である。 本実施の形態において補正回路が、ビニングされた画素の拡張と同時に行う補正の一例として、レンズ歪みの補正について説明するための図である。 本実施の形態における信号処理部が、部分的にビニングされた撮影画像のデータをイメージセンサから取得する際のタイミングチャートの例を示す図である。 本実施の形態における信号処理部が、部分的にビニングされた撮影画像のデータをイメージセンサから取得する際のタイミングチャートの別の例を示す図である。

本実施の形態は、表示、解析、録画、転送など撮影画像を処理対象とする技術であれば、その利用目的は特に限定されず、カメラの形式や表示の態様も、目的に応じて様々であってよい。以後、代表的な例として、カメラを備えたヘッドマウントディスプレイについて主に説明する。

図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備えてよい。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。例えばステレオカメラ１１０が撮影した画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供できる。以後、このようなモードを「シースルーモード」と呼ぶ。

コンテンツの画像を表示していない期間、ヘッドマウントディスプレイ１００が自動でシースルーモードへ移行することにより、ユーザはコンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードへの移行タイミングはこのほか、ユーザが明示的に移行操作を行ったときなどでもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、コントローラを見つけて手に取るなど必要な作業を行える。

ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかは、コンテンツの画像としても利用できる。例えば写っている実空間と対応するような位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。このように撮影画像を表示に含めるか否かによらず、撮影画像の解析結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることができる。

例えば、撮影画像にステレオマッチングを施すことにより対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。また物体認識や物体深度測定なども行える。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。

なお上述のとおり、本実施の形態において画像を撮影する装置は、ヘッドマウントディスプレイ１００に設けたカメラに限らず、視野に変化のない定点カメラでもよいし、人が把持して視野を変化させられる手持ちのカメラや携帯端末、乗り物など動く物に設置されたカメラなどでもよい。またステレオカメラに限らず、単眼カメラでも３つ以上の多眼カメラでもよい。さらに撮影画像を表示する装置もヘッドマウントディスプレイに限らず、設置型のディスプレイ、携帯型のディスプレイ、プロジェクターなど一般的な表示装置のいずれでもよい。

図２は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ Ｔｙｐｅ－Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。

コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。

ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。

図３は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおりステレオカメラ１１０と表示パネル１２２を備える。ただし上述のとおりカメラはステレオカメラ１１０に限らず、単眼カメラ１１１や４つのカメラ１１２のいずれかまたは組み合わせであってもよい。以後の説明も同様である。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ１００を装着したユーザの目の前に画像を表示する。また内部には画像処理用集積回路１２０を備える。

画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェースなどが備えられてよいが、ここでは図示を省略している。

拡張現実や複合現実を遮蔽型のヘッドマウントディスプレイで実現する場合、一般にはステレオカメラ１１０などによる撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示するシステムにおいてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。

送信された撮影画像は、仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、本実施の形態ではシースルーモードとして、コンテンツの処理とは異なるデータの経路を設ける。すなわち矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で適宜処理し、そのまま表示パネル１２２に表示させる。このとき画像処理用集積回路１２０は、撮影画像を表示に適した形式に補正する処理のみ実施する。

矢印Ａの経路によれば、矢印Ｂと比較しデータの伝送経路が格段に短縮するため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。さらに本実施の形態では、画像処理用集積回路１２０での補正処理を、ステレオカメラ１１０における１フレーム分の撮影を待たずに撮影と並行して実施し、表示パネル１２２に順次出力する。

これらの構成により、ユーザの顔の向きに対応する撮影画像を即座に表示でき、ディスプレイを介さずに周囲を見ているのと同様の状態を作り出すことができる。なお矢印Ａの経路はシースルーモードに限らず、コンテンツ処理装置２００が生成した画像と撮影画像を合成する際にも利用できる。すなわちコンテンツ処理装置２００からは合成すべき画像のデータのみを送信し、ヘッドマウントディスプレイ１００の画像処理用集積回路１２０において撮影画像と合成したうえ表示パネル１２２に出力する。

図４は、ステレオカメラ１１０が搭載するイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は入射光を光電変換する撮像素子２８をマトリクス状に配列させてなる。光電変換により発生し電荷蓄積層に蓄積された電荷を読み出すための、トランジスタ等既存の機構を含む各画素は、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスコードなどによって構成され各画素を行単位で駆動する。

行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。

本実施の形態のイメージセンサ１７０は、制御部１７８による各走査線の駆動タイミングを制御することにより、電荷を読み出す単位としての「画素」の面積やアスペクト比を可変とする。すなわち画素部１７２に配列する同じ面積の撮像素子を最小単位として、隣接する複数の撮像素子が蓄積した電荷を加算して読み出す。そしてその平均値を画素値として出力することで、それら複数の撮像素子により構成される領域を１つの画素領域とする。イメージセンサが、隣接する複数の撮像素子の電荷をまとめて読み出す手法は一般に「ビニング」と呼ばれる。

本実施の形態では、画像上の領域によってビニングの態様を変化させることにより、データ量の削減とともに、行走査部１７４、水平選択部１７６、列走査部１８０や、イメージセンサと画像処理用集積回路を接続するインターフェースの消費電力を削減しながら、用途に応じて適切な解像度の画像を容易に生成できるようにする。

図５は、本実施の形態における撮影画像のビニングの態様の例を説明するための図である。図の（ａ）、（ｂ）、（ｃ）はそれぞれ、画素の配列を示しており、わかりやすさのため、隣接する画素を白と黒で区別している。（ａ）はビニングしない場合の画素の配列を示している。すなわち、図示する画像平面の全領域において、１つの画素が表す領域の面積および形状（アスペクト比）は同一である。

（ｂ）は画像平面の一部にビニングする領域設けた場合の画素の配列を示している。具体的には、画像平面のうち周縁に近い領域６０ａ～６０ｈにビニングする領域を設ける。これにより、中心領域については情報量を維持でき、当該データを表示に用いても品質劣化が認識されにくくなる。

人が一点を注視している場合、高い解像度で見える範囲は弁別視野と呼ばれ、注視点から５°程度の狭い角度範囲である。その外側には眼球運動だけで比較的よく見える有効視野が水平方向に３０°、垂直方向に２０°の範囲にある。そこから外側へ向かうほど、人の視力は急激に低下するため、例えばヘッドマウントディスプレイ１００に表示される画像のうち、周縁から内側の所定領域の解像度をビニングにより低下させても認識されにくい。

またイメージセンサ１７０の画素部１７２に搭載する画素の数は一般に、撮影画像に求められる解像度に基づいて決定される。魚眼レンズの場合、歪み率が高い周縁部において、撮影対象が最も凝縮されたうえで画素部１７２に投影される。そのため魚眼レンズを用いたときに撮影画面全体の必要解像度を達成するために必要な画素の数は、歪み率が高い周縁部において単位撮影面積あたりに割り当てられる画素数で決定される。この場合、歪み率が低い中心部においては、単位撮影面積あたりに割り当てられる画素数が必要解像度からみて過剰となる。

したがって魚眼レンズを用いた撮影画像の場合、レンズ歪み率が低い中心部の解像度をビニングにより低下させても認識されにくい。一方、広角レンズにおいては、歪み率が高い周縁部において、撮影対象がもっとも伸張されたうえで画素部１７２に投影される。したがって広角レンズを用いた撮影画像の場合、レンズ歪みが高い周縁部領域の解像度を低下させても認識されにくい。このように様々な状況を踏まえて、解像度の低下が認識されにくい領域をビニング対象として決定する。

また電荷をまとめて読み出す撮像素子の単位を変化させることにより、ビニング後の１つの画素が表す領域の面積およびアスペクト比を、画像平面上の位置によって変化させる。図の例では、画像平面の四隅の領域６０ａ、６０ｃ、６０ｆ、６０ｇでは、２×２画素を１画素にまとめている。また画像平面の上端および下端の領域６０ｂ、６０ｈでは、１×２画素を１画素に、左端および右端の領域６０ｄ、６０ｅでは、２×１画素を１画素にまとめている。なお画素数の表記は、「横方向の画素数×縦方向の画素数」としている。以後の説明も同様である。

このようにまとめる画素の単位を可変とすることで、部分的なビニングを容易な制御で実現できる。例えば２行の画素をまとめる場合、１行目で読み出した電荷を図示しないレジスタに格納しておき、２行目の電荷の読み出しとともにレジスタの値を加算することが考えられる。２列の画素をまとめる場合は、それぞれの電荷を当該行の走査とともに読み出し、加算することが考えられる。

そのような処理を適宜組み合わせることにより、様々な単位で画素値を加算できるとともに、ビニングしない領域も容易に設けられる。その他、イメージセンサにおけるビニングには様々な手法が考えられることは当業者には理解されるところである。ただし本実施の形態では、加算した画素値を、加算対象の画素の数で除算することにより、画素の面積が異なっても画素値としては領域によらず同等に扱える撮影画像のデータを取得する。

イメージセンサ１７０の制御部１７８は、（ｂ）に示したような、加算対象の画素の分布の設定に基づき、電荷の格納、読み出しタイミングを制御する。ここで、加算対象の画素の分布は可変としてもよい。例えば撮影画像を表示する場合、ヘッドマウントディスプレイ１００に、ユーザが注視している画面上の位置を検出する注視点検出器を設け、注視点から所定値以上離れた領域をビニングの対象としてもよい。

このような場合、画像処理用集積回路１２０またはコンテンツ処理装置２００が、イメージセンサ１７０の制御部１７８に対し、加算対象の画素の分布を指定してもよい。このときイメージセンサ１７０の制御部１７８は、当該指定に係る情報を図示しないレジスタに格納する。なお加算対象の画素の分布を固定とする場合、撮像素子自体の面積を（ｂ）に示すように変化させ、物理的に画素の面積やアスペクト比を異ならせてもよい。

（ｃ）は、（ｂ）に示すような部分的なビニングによってイメージセンサから出力される、データ上の画素の配列を示している。すなわちビニングによって複数の画素がまとめられ１つの画素として扱われた結果、画素値の羅列としての撮影画像のデータは、ビニングしない（ａ）の場合より縮小されることになる。言い換えれば、イメージセンサは、撮影画像のデータにおいて、隣接する複数の画素が表す領域を１つの画素値で表すことにより画素数を減少させて、１画素が表す領域面積が等しい、表示画像と異なる画像を生成する。これにより、伝送および処理の対象となるデータのサイズを削減できる。

図６は、部分的なビニングによるデータサイズの削減量を説明するための図である。（ａ）はビニング前、（ｂ）はビニング後の画素数を面積で示している。（ａ）に示すようにビニング前の画素数、すなわち撮像素子の数をｗ×ｈとする。このうち左端および右端における画素数ｘの幅の領域と、上端および下端における画素数ｙの幅の領域の少なくともいずれかを含む領域をビニングの対象とする。

また図５で示したように、四隅の領域は画素数を、縦横双方向に１／２（「１／４」と表記）に縮小し、上端および下端の領域は縦方向に１／２（「Ｖ１／２」と表記）、左端および右端の領域は横方向に１／２（「Ｈ１／２」と表記）に縮小する。するとビニング後の画素数は（ｂ）に示すように、（ｗ－ｘ）×（ｈ－ｙ）となる。このようなデータの削減を、撮影された動画像の全てのフレームで実施することにより、必要なビットレートを格段に抑えることができる。この効果は、フレームレートが高くなるほど顕著になる。

図７は、ビニング処理の演算例を説明するための図である。一般に撮像素子は赤、緑、青の３原色のいずれかのフィルタを透過した光を電荷として検出するため、図５で示した画素の配列は、実際には所定の色の配列を有している。一般的な色の配列であるベイヤ配列では、図示するように、２×２の４画素のうち対角線上の２画素が緑、残りの２画素がそれぞれ赤および青となっている。

したがってビニング時は、同じ色を表す離散的な画素同士をまとめる必要がある。例えば（ａ）に示すように縦方向に１／２縮小する場合は、太線で示したように２×４画素を１セットとして縮小する。そして縦方向に１つおきに配置される同色の画素の値（Ｒ１とＲ３、Ｇｒ１とＧｒ３、Ｇｂ１とＧｂ３、Ｂ１とＢ３）を平均することで、ビニング後の２×２画素の値とする。すなわちビニング後の赤Ｒ’、緑Ｇｒ’、Ｇｂ’、青Ｂ’の値を次のように求める。
Ｒ’＝（Ｒ１＋Ｒ３）／２
Ｇｒ’＝（Ｇｒ１＋Ｇｒ３）／２
Ｇｂ’＝（Ｇｂ１＋Ｇｂ３）／２
Ｂ’＝（Ｂ１＋Ｂ３）／２

（ｂ）に示すように横方向に１／２縮小する場合は、太線で示したように４×２画素を１セットとして縮小する。そして横方向に１つおきに配置される同色の画素の値（Ｒ１とＲ２、Ｇｒ１とＧｒ２、Ｇｂ１とＧｂ２、Ｂ１とＢ２）を平均することで、ビニング後の２×２画素の値とする。すなわちビニング後の赤Ｒ’、緑Ｇｒ’、Ｇｂ’、青Ｂ’の値を次のように求める。
Ｒ’＝（Ｒ１＋Ｒ２）／２
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２）／２
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２）／２
Ｂ’＝（Ｂ１＋Ｂ２）／２

（ｃ）に示すように縦横双方向に１／２縮小する場合は、太線で示したように４×４画素を１セットとして縮小する。そして縦横双方向に１つおきに配置される同色の画素の値を平均することで、ビニング後の２×２画素の値とする。すなわちビニング後の赤Ｒ’、緑Ｇｒ’、Ｇｂ’、青Ｂ’の値を次のように求める。
Ｒ’＝（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）／４
Ｇｒ’＝（Ｇｒ１＋Ｇｒ２＋Ｇｒ３＋Ｇｒ４）／４
Ｇｂ’＝（Ｇｂ１＋Ｇｂ２＋Ｇｂ３＋Ｇｂ４）／４
Ｂ’＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／４

本実施の形態では、このように部分的にビニングされた撮影画像のデータを取得し、用途に応じて異なる処理を施す。具体的には、撮影画像のデータを表示に用いる場合は、ビニング対象とされた領域の画素密度を元に戻す。画像解析に用いたり圧縮符号化したりする場合は、最も縮小されている領域に合わせるように、さらに擬似的なビニングを施す。これにより、空間分解能が高い、人の視覚刺激に対しては情報量を維持する一方、画像解析や圧縮符号化においては必要最低限の解像度で処理の負荷を軽減させる。

図８は、本実施の形態の画像処理用集積回路１２０の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。画像処理用集積回路１２０は、入出力インターフェース３０、ＣＰＵ３２、信号処理回路４２、画像補正回路３４、画像解析回路４６、符号化回路４８、およびディスプレイコントローラ４４を備える。

入出力インターフェース３０は有線または無線通信によりコンテンツ処理装置２００と通信を確立し、データの送受信を実現する。ＣＰＵ３２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。信号処理回路４２は、ステレオカメラ１１０の左右のイメージセンサから撮影画像のデータを取得し、それぞれにデモザイク処理などの必要な処理を施す。

信号処理回路４２はさらに、部分的にビニングされた撮影画像のデータに、さらに擬似的なビニングを施すことで、１画素が表す領域を画像平面で統一する。以後、信号処理回路４２が実施する擬似的なビニングも単に「ビニング」と呼ぶ。信号処理回路４２は、さらなるビニングをしなかった（部分的にビニングされた）画像のデータを画像補正回路３４へ、さらなるビニングをした画像のデータを画像解析回路４６および符号化回路４８の少なくともいずれかへ供給する。

この際、信号処理回路４２は、画素値が決定した画素列順にデータを供給する。ただし撮影画像の用途によっては、信号処理回路４２はデータの供給先を取捨選択してよい。画像補正回路３４は、部分的にビニングされた画像のデータを用いて、１画素が表す領域面積を等しくした所定解像度の表示画像を生成する。このため画像補正回路３４は、ビニング後の画素を均等に配列してなる仮想的な画像を表示画像に補正するために必要な、画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを内部に保持する。

ここで「仮想的な画素」とは、仮に１画素が表す領域が全てビニング前の１画素の領域と等しいとしたときの画像である。そして部分的にビニングされた画像の画素を変位させてその位置の色を決定し、それらを適宜補間することにより表示画像の全画素値を決定する。画像補正回路３４は、表示画像の上の行から順に、画素値の決定とともにディスプレイコントローラ４４にデータを供給する。

画像補正回路３４からディスプレイコントローラ４４へのデータ送出には、実際には図示しないハンドシェークコントローラなどを利用し、両者の通信を適切に制御する。ディスプレイコントローラ４４は、送出されたデータを順次電気信号に変換して、適切なタイミングで表示パネル１２２の画素を駆動させることにより画像を表示させる。なお信号処理回路４２と画像補正回路３４は、ステレオカメラ１１０が撮影する左右の画像のそれぞれに対し設けてよい。

画像解析回路４６は、全領域がビニングされた画像を解析することにより所定の情報を取得する。例えば左右の撮影画像を用いてステレオマッチングにより被写体の距離を求め、それを画像平面に画素値として表したデプスマップを生成する。ＳＬＡＭによりヘッドマウントディスプレイの位置や姿勢を取得してもよい。このほか、画像解析の内容として様々に考えられることは当業者には理解されるところである。画像解析回路４６は、取得した情報を、入出力インターフェース３０を介して順次、コンテンツ処理装置２００に送信する。

符号化回路４８は、全領域がビニングされた画像のデータを、所定の方式により圧縮符号化する。圧縮符号化されたデータは、入出力インターフェース３０を介してコンテンツ処理装置２００に送信する。あるいは、図示しない外部記憶装置に格納してもよいし、ネットワークなどを介して外部の装置に送信してもよい。コンテンツ処理装置２００に送信する場合、コンテンツ処理装置２００側で画像を解析してもよい。

図９は、本実施の形態の画像処理装置の機能ブロックの構成を示している。図示する画像処理装置１４０は例えばヘッドマウントディスプレイ１００に内蔵され、その回路構成は図８で示した画像処理用集積回路１２０に該当する。画像処理装置１４０は、信号処理部１４２、画像補正部１３４、画像解析部１４６、および符号化部１４８を含む。

信号処理部１４２は図８のＣＰＵ３２、信号処理回路４２で実現され、前処理部５０、デモザイク部５２、およびビニング処理部５４を備える。前処理部５０はイメージセンサ１７０が出力した、部分的にビニングがなされた撮影画像のデータを取得し、データの欠陥補正やノイズ除去処理など、必要な前処理を実施する。ノイズの除去には、暗電流によって生じるノイズであるブラックレベルの補正が含まれる。前処理部５０は、撮影画像の１フレーム分の画素のデータがイメージセンサ１７０から出力されるのを待たずに処理を開始し、その結果たるデータを後段の機能ブロックに供給する。その他の各機能ブロックも同様である。

デモザイク部５２は、前処理がなされた撮影画像にデモザイク処理を施す。すなわち各画素が１色の情報を有するデータを補間することにより、全画素が３色の情報を有するデータとする。補間の手法としては様々なものが提案されており、デモザイク部５２はそのいずれを採用してもよい。デモザイク部５２は、デモザイク後の画像のデータを画像補正部１３４に供給する。この画像は部分的にビニングされたままの画像である。

ビニング処理部５４は、デモザイク処理前の画像を前処理部５０から取得し、さらにビニングすることで、１画素が表す領域の面積やアスペクト比を画像平面で統一する。すなわち元の撮影画像において最も縮小された画素に、他の画素を合わせて、画素数を減少させる。デモザイク前の画像を処理対象とすることで、図７で示したようなイメージセンサ１７０の演算手法と同じ手法によりビニングを実施する。これにより、イメージセンサ１７０がビニング対象とした領域と、ビニング処理部５４が後からビニングした領域で画像に微妙な差が生じ、境界が不自然になるのを防止する。

上述のとおり、ビニング処理部５４によりさらなるビニングがなされた画像のデータは、必要に応じて画像解析部１４６や符号化部１４８に供給する。画像解析部１４６は図８のＣＰＵ３２、画像解析回路４６、入出力インターフェース３０で実現され、全領域がビニングされた画像に対し上述した画像解析を実施したうえ、その結果をコンテンツ処理装置２００に転送したり記憶装置に格納したりする。

１画素を表す領域の面積およびアスペクト比が、画像の全領域で統一されていることにより、像の形状は本来のものと同様となり、画像解析部１４６は各種画像解析を精度よく行える。解析結果を用いてコンテンツ処理装置２００が生成した仮想オブジェクトのデータをヘッドマウントディスプレイ１００が取得して、画像補正部１３４が生成した補正後の撮影画像に合成し表示させてもよい。

さらに画像解析部１４６が実施した画像解析の結果に基づき、イメージセンサ１７０において、ビニングする領域の面積やアスペクト比、すなわち電荷を加算して読み出すべき画素の分布を指定してもよい。この場合、画像解析部１４６は、イメージセンサ１７０に指定信号を送信するインターフェースを含む。例えば画像解析部１４６は、画像認識処理を実施し、所定の対象物の像以外の領域、または当該像から所定距離以上離れた領域をビニング対象として指定する。

あるいは画像解析部１４６は、ヘッドマウントディスプレイ１００に表示される画像のうち周縁から内側の所定範囲の領域、ユーザの注視点から所定距離以上離れた領域をビニング対象として指定してもよい。さらに、イメージセンサ１７０を備えるカメラが、歪み率が高い魚眼レンズを備える場合は、撮影画像のうちレンズ歪み率が所定値より低い領域をビニング対象として指定してもよい。歪み率が高い広角レンズを備える場合は、撮影画像のうちレンズ歪み率が所定値より高い領域をビニング対象として指定してもよい。上述のとおりこれらの領域は、解像度を下げてもユーザに認識されにくい。

なお所定の対象物の像以外の領域や当該像から所定距離以上離れた領域、ユーザの注視点から所定距離離れた領域、魚眼レンズを使用した際のレンズ歪み率が所定値より低い領域、広角レンズを使用した際のレンズ歪み率が所定値より高い領域、の指定は、ヘッドマウントディスプレイに限らず、一般的な平板型のディスプレイを含むシステムにも適用できる。また上記の指定規則は、１つのみ適用してもよいし、いずれか２つ以上を適用してもよい。さらに指定は画像処理装置１４０の画像解析部１４６以外に、コンテンツ処理装置２００が行ってもよいし、イメージセンサ１７０の制御部１７８内にあらかじめ設定しておいてもよい。

符号化部１４８は図８のＣＰＵ３２、符号化回路４８、入出力インターフェース３０で実現され、全領域がビニングされた画像を圧縮符号化し、コンテンツ処理装置２００に転送したり記憶装置に格納したりする。符号化部１４８においても、１画素を表す領域の面積およびアスペクト比が、画像の全領域で統一されていることにより、方式によらずビニングの影響なく符号化圧縮できる。さらに画像解析部１４６および符号化部１４８の双方において、必要以上の解像度の画像を処理対象とせずにすむため、それらの処理の負荷を抑えられる。

画像補正部１３４は図８のＣＰＵ３２、画像補正回路３４、ディスプレイコントローラ４４で実現され、部分的にビニングされた撮影画像を補正して表示画像を生成する補正部１３６、画像のデータを一時的に格納する部分画像記憶部１３８、変位ベクトルマップを格納する変位ベクトルマップ記憶部１４４を備える。補正部１３６は上述のとおり、撮影画像のデータが表す仮想的な画像における各画素を、変位ベクトルマップが示す変位ベクトル分だけ変位させることにより表示画像を生成する。

変位ベクトルマップにおいて変位ベクトルを設定する対象は、仮想的な画像平面の全ての画素でもよいし、所定間隔の離散的な画素のみでもよい。後者の場合、補正部１３６はまず、変位ベクトルが設定されている画素について変位先を求め、それらの画素との位置関係に基づき、残りの画素の変位先を補間により求める。補正部１３６は、ビニングされた領域の解像度（画素密度）を増加させる以外に、ヘッドマウントディスプレイ１００の接眼レンズを介して見たときに歪みのない画像が視認されるように歪みを与える補正、色収差補正、表示パネル１２２のサイズに合わせる補正などを同時に実施してよい。

この場合も、画像平面の位置に対してそれぞれの補正に必要な変位ベクトルをあらかじめ求め、それらを合計することにより最終的な変位ベクトルマップを生成する。いずれにしろ補正部１３６は、変位ベクトルマップ記憶部１４４に格納された変位ベクトルマップを参照して画素を変位させる。そして補正前の撮影画像の変位元の画素の値を読み出すことにより、表示画像の変位先の画素値を決定する。

この際、撮影画像上の読み出し先の位置から所定範囲内にある複数の画素の値を読み出し、バイリニア、トライリニアなどにより補間することで表示画像の画素値を導出する。なお補正部１３６は、デモザイク処理がなされる前の、各画素が１色の情報を有する画像データを前処理部５０から取得してもよい。この場合、補正部１３６は、撮影画像における対象色成分の画素のみを読み出し、表示画像平面で補間することにより、デモザイク処理も同時に実施してよい。色収差を補正する場合、補正部１３６は、赤、緑、青の原色ごとに変位ベクトルマップを準備し、撮影画像の色成分ごとに異なるマップを参照する。

補正部１３６は、そのようにして決定した画素値を部分画像記憶部１３８に格納していく。そして上の行から順に、１行分の画素値が決定するとともに表示パネル１２２へデータを出力していく。なお補正部１３６は、変位ベクトルマップを参照する代わりに、上述のような画素の変位量および変位方向を補正時に直接計算してもよい。あるいは補正部１３６は、撮影画像のうち所定の画素について変位ベクトルマップを参照して変位させ、それらの間の画素は変位先を計算により求めてもよい。

図１０は、部分的にビニングされた撮影画像のデータと、補正部１３６が生成する画像の関係を説明するための図である。図５の（ｂ）で説明したように、撮像面は部分的なビニングにより、画像平面７０に示すように１画素が表す領域の面積やアスペクト比が様々となる。イメージセンサ１７０からは、図５の（ｃ）で説明したように、画像平面７２のような仮想的な画像のデータが出力される。

図示する例では、画像平面７０においてビニング前の画素、ひいては撮像素子の数が１６×１６個であるが、ビニングにより実質、８×８画素の画像となる。当該画像では、ビニングされた領域において像が縮小されている。画像平面７２の下には、横方向をｘ、縦方向をｙとして、各画素の塗りつぶしパターンが示す倍率を示している。画像平面７０における領域７６ａ、７６ｂ、７６ｃは、仮想的な画像平面７２における画素７８ａ、７８ｂ、７８ｃに対応する。補正部１３６は、仮想的な画像平面７２から画像平面７４を有する表示画像を生成する。

具体的には縦横双方向に１／２に縮小された領域は、１画素を２×２画素に拡張する。縦方向に１／２に縮小された領域は、１画素を１×２画素に拡張する。横方向に１／２に縮小された領域は、１画素を２×１画素に拡張する。これにより、補正回路３６は、画像平面７０において１画素が表す最小の領域の面積およびアスペクト比に、全ての画素の領域を合わせる。例えば仮想的な画像平面７２における画素７８ａ、７８ｂ、７８ｃから、領域８０ａ、８０ｂ、８０ｃをそれぞれ生成する。

その結果、生成される画像平面７４は、イメージセンサ１７０におけるビニング前の画素、ひいては撮像素子の数と同じ１６×１６画素で構成される。補正部１３６は上述のとおり、仮想的な画像平面７２の各画素を独立して拡張し元の画素の色を反映させるのではなく、それぞれの変位先を決定して補間することにより色を決定する。したがって画像平面７４には、元の撮影画像の画像平面７０における像が、ビニングされた状態より詳細に表現される。

図１１は、補正部１３６が変位ベクトルマップによって表示画像を生成する手法を説明するための図である。同図では、図１０に示した仮想的な画像平面７２と、生成される画像平面７４を重ねて表している。この例では、中央の４×４画素はビニングされないため位置は変わらない。その他の領域は矢印で示すように対応する画素の位置が変化する。図では画像平面７２の画素領域の中心を始点とし、画像平面７４の対応する領域の中心を終点とする矢印で位置の対応を示している。

図示するように、イメージセンサ１７０がビニングする際にまとめる画素の個数や配列に応じて矢印が決定する。変位ベクトルマップは、当該矢印により表される変位ベクトルを画像平面上に表したものである。補正部１３６は変位ベクトルマップを参照して画素の変位先を特定することで、画像平面７４における変位先の色を決定し、さらにそれを補間することで全ての画素値を決定する。これにより、イメージセンサ１７０から出力された、部分的にビニングされた撮影画像のデータから、ビニングされていない領域に合わせた解像度の通常の画像を生成できる。すなわち、補正回路３６は、変位ベクトルにより画素を変位させたうえ補間することにより、画素数を増加させる。

なお図では画像平面７２の全ての画素に対し、それらを始点とする変位ベクトルを示しているが、実際には上述のとおり、所定の間隔を有する画素に対し、離散的に変位ベクトルを設定してよい。この場合、変位ベクトルが設定されていない画素の変位先は、変位ベクトルが設定されている画素の変位先を線形補間、バイリニア、トライリニアなどで補間することで決定してよい。

図１２は、部分的にビニングされた画像のデータと、ビニング処理部５４が生成する画像の関係を説明するための図である。画像平面７０、７２は図１０で示したのと同様、イメージセンサ１７０によってビニングされた撮影画像と、その出力データが示す仮想的な画像の平面である。当該画像では、ビニングされた領域において像が縮小されている。

ビニング処理部５４は定性的には、最も縮小されている画素に合わせてその他の画素を縮小することで、１画素が表す画像平面上の領域の面積やアスペクト比を統一する。すなわち画像平面７０において１画素が表す最大の領域の面積およびアスペクト比に、全ての画素の領域を合わせる。この例では、縦横双方向に１／２に縮小されている画素に合わせ、縦方向のみに１／２縮小されている領域は１画素を横方向に１／２縮小し、横方向のみに１／２縮小されている領域は１画素を縦方向に１／２縮小する。ビニング対象外であった領域は、１画素を縦横双方向に１／２縮小する。

例えば仮想的な画像平面７２における領域８４ａ、８４ｂ、８４ｃが縮小され、画素８６ａ、８６ｂ、８６ｃとなる。ただしビニング処理部５４は、デモザイク前のデータに対し当該処理を実施するため、実際には図７で説明したように、イメージセンサ１７０と同様の演算により各色の画素値を決定する。いずれにしろこの処理により、本来の撮影画像の画像平面７０を全体的に縮小した画像を生成できる。この画像を解析対象としたり、圧縮符号化したりすることにより、部分的に縮小された状態でない通常の画像と同じ扱いでの処理が可能となる。

図１３は、補正部１３６が、ビニングされた画素の拡張と同時に行う補正の一例として、レンズ歪みの補正について説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ１１０はそれを撮影することにより、左視点の撮影画像１６ａ、右視点の撮影画像１６ｂを取得する。ステレオカメラ１１０の視差により、撮影画像１６ａ、１６ｂには、同じ被写体の像の位置に水平方向のずれが生じている。

また、カメラのレンズにより、被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪み（第１の歪み）を補正し、歪みのない左視点の画像１８ａ、右視点の画像１８ｂを生成する（Ｓ１０）。ここで元の画像１６ａ、１６ｂにおける位置座標（ｘ，ｙ）の画素が、補正後の画像１８ａ、１８ｂにおける位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されたとすると、その変位ベクトル（Δｘ，Δｙ）は次の一般式で表せる。

ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ_１、ｋ_２、ｋ_３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態においてレンズ歪みの補正に用いる式を式１に限定する趣旨ではない。平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ１００において、接眼レンズを介して見た時に歪みのない画像１８ａ、１８ｂが視認されるためには、接眼レンズによる歪み（第２の歪み）と逆の歪みを与えておく必要がある。

例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。したがって歪みのない画像１８ａ、１８ｂを接眼レンズに対応するように歪ませ、表示パネル１２２のサイズに合わせて左右に接続することにより、最終的な表示画像２２が生成される（Ｓ１２）。表示画像２２の左右の領域における被写体の像と、補正前の歪みのない画像１８ａ、１８ｂにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。

したがって式１の変位ベクトル（Δｘ，Δｙ）の逆ベクトルにより、表示画像２２における歪みのある像を生成できる。ただし当然、レンズに係る変数は接眼レンズの値とする。したがって、このような２つのレンズを踏まえた歪みの除去と付加による画素の変位成分を変位ベクトルに含めることにより、部分的にビニングされた画像のデータから、ヘッドマウントディスプレイ１００の表示形式に適した表示画像２２を一度の処理で生成できる。

本システムの動作中に、ビニングする領域の面積やアスペクト比を動的に変更する場合、垂直同期信号、水平同期信号のタイミングおよびピクセルクロックの動作周波数を、動的に変更することが考えられる。しかし、これらのタイミング制御信号を動的に変更するには、イメージセンサや信号処理回路を一時停止させ、再設定する必要がある。よって、連続的な撮影画像の取得ができない。

図１４は、信号処理部１４２が、部分的にビニングされた撮影画像のデータをイメージセンサ１７０から取得する際のタイミングチャートの例を示している。このタイミングチャートは、簡単のため８×１２画素からなる１フレーム分の撮影画像のデータを取得するタイミングでシステムが稼働中において、動的なビニング設定がなされ、８×８画素からなる１フレームのデータを取得する例を示している。ビニングする画素の分布は図１０の画像平面７０と同様としている。図の最上段は垂直同期信号（Ｖｓｙｎｃ）、２段目は水平同期信号（Ｈｓｙｎｃ）である。この例では、水平同期信号のアクティブ期間のうち「Ｌｉｎｅ０」～「Ｌｉｎｅ７」と記載した期間に撮影画像の１行目から８行目のデータをそれぞれ取得する。

図の下方に拡大表示するように、各行の取得期間においては、８画素分のピクセルクロック（Ｐｉｘｅｌ Ｃｌｏｃｋ）に対し、画像平面の左端から順に各画素のデータを取得する。すなわち１、２行目（H Line 0-1）は、縦横双方向に１／２に縮小してなる２画素分のデータ、縦方向にのみ１／２に縮小してなる４画素分のデータ、縦横双方向に１／２に縮小してなる２画素分のデータを、この順で取得する。３～６行面（H Line 2-5）は、横方向にのみ１／２に縮小してなる２画素分のデータ、ビニングされていない４画素分のデータ、横方向にのみ１／２に縮小してなる２画素分のデータを、この順で取得する。

さらに７、８行目（H Line 6-7）は、縦横双方向に１／２に縮小してなる２画素分のデータ、縦方向にのみ１／２に縮小してなる４画素分のデータ、縦横双方向に１／２に縮小してなる２画素分のデータを、この順で取得する。ビニングにより、１行を構成する画素数および１フレームを構成する行数が少なくなり、水平方向、垂直方向ともに、データ取得に必要な時間を短縮することもできる。この例では、１行分のデータを各ピクセルクロックに対し連続して取得する一方、水平同期信号に対しては、撮影画像の画素の行数に応じて、アクティブ期間のうちデータを取得しない期間９０を選択的に設ける。これにより、画素の数の変動に対し同期が維持されるようにする。

なおアクティブ期間のうちデータを取得しない期間９０は、ピクセルクロックに対して設けてもよい。すなわち、水平同期信号の１期間あたりのピクセルクロックのサイクル数を１２とし、１２×１２画素からなる１フレーム分の撮影画像のデータを取得するタイミングであらかじめシステムを稼動させておき、動的なビニング設定が８×８画素である場合は、アクティブ期間のうちデータを取得しない期間９０を、ピクセルクロックに対しても設けることができる。

イメージセンサの制御部と信号処理回路は、撮影画像の画素の行数および列数に応じて、アクティブ期間のうちデータを取得しない期間９０を選択的に設けることで、撮影画像の転送を一時停止することなく、任意のビニングがなされた各フレームのデータを継続して転送することができる。

図１５は、信号処理部１４２が、部分的にビニングされた撮影画像のデータをイメージセンサ１７０から取得する際のタイミングチャートの別の例を示している。取得対象の画像のビニング構成および図の表し方は図１４と同じである。この例では図１４と同様、１行分のデータを各ピクセルクロックに対し連続して取得する。さらにこの例では各行のデータも、水平同期信号に対し連続して取得する。この場合、水平同期信号のサイクル数は、動的なビニング指定に基づいて変動するが、その代わりに、撮影画像の画素の行数に応じて、垂直ブランキング期間９２を調整する。このようにして画素の減少に対し同期を維持してもよい。

以上述べた本実施の形態によれば、撮影により表示や解析を行う技術において、撮影画像の一部の領域をビニングし、解像度が領域によって異なる画像データを取得したうえ、使用目的によって解像度を高い側または低い側に合わせる。具体的には、人が見る表示画像を生成する際は解像度を高い側に合わせる。注視されやすい画像の中心領域をビニング対象から外しておくことにより、視覚上での画質への影響を最小限に抑えつつ、伝送されるデータのサイズを低減させることができ、消費電力を抑えることができる。

また撮影画像を解析したり圧縮符号化したりする際は、解像度を低い側に合わせる。これにより、必要以上に高い解像度の画像を処理することによる無駄を回避でき、リソース消費量を削減できる。このように、部分的にビニングされた撮影画像を高解像度側に合わせる処理経路と、低解像度側に合わせる処理経路を設け、使用目的によって切り替えたり双方を用いたりすることにより、様々な処理の結果への影響を最低限にしつつリソース消費量を軽減させることができる。

またビニングする領域を、撮影画像の解析結果や人の視覚特性、カメラが備えるレンズの特性などに基づき決定する。これにより、解像度を下げてもユーザが視認しにくい領域をビニングの対象にでき、見た目への影響を最小限に上記効果を発揮できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

３０ 入出力インターフェース、 ３２ ＣＰＵ、 ３４ 画像補正回路、 ３６ 補正回路、 ３８ バッファメモリ、 ４０ 変位ベクトルマップ用メモリ、 ４２ 信号処理回路、 ４４ ディスプレイコントローラ、 ５０ 前処理部、 ５２ デモザイク部、 ５４ ビニング処理部、 １００ ヘッドマウントディスプレイ、 １１０ ステレオカメラ、 １２０ 画像処理用集積回路、 １２２ 表示パネル、 １３６ 補正部、 １３８ 部分画像記憶部、 １４０ 画像処理装置、 １４２ 信号処理部、 １４４ 変位ベクトルマップ記憶部、 １４６ 画像解析部、 １４８ 符号化部、 ２００ コンテンツ処理装置。

Claims (19)

1. 画像処理装置が、
   イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定するステップと、
   前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得するステップと、
   前記撮影画像の画素を均等に配列してなる仮想的な画像を、前記撮影画像において１画素が表す領域面積を等しくした表示画像に補正するステップと、
   を含むことを特徴とする画像処理方法。
2. 補正した画像を表示パネルに表示させるステップをさらに含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記補正するステップは、前記撮影画像において１画素が表す領域面積を等しくした表示画像に補正するために必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、補正することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記補正するステップは、前記変位ベクトルにより画素を変位させたうえ補間することにより、画素数を増加させることを特徴とする請求項３に記載の画像処理方法。
5. 前記補正するステップは、前記取得するステップで取得した撮影画像のデータのうち、１画素が表す最小の領域の面積およびアスペクト比に、全ての画素の領域を合わせることを特徴とする請求項１から４のいずれかに記載の画像処理方法。
6. 前記撮影画像のデータにおいて、隣接する複数の画素が表す領域を１つの画素値で表すことにより画素数を減少させて、１画素が表す領域面積が等しい、前記表示画像と異なる画像を生成するステップをさらに含むことを特徴とする請求項１から５のいずれかに記載の画像処理方法。
7. 前記生成するステップは、取得した撮影画像のデータにおいて１画素が表す領域面積を異ならせた演算と同じ演算により、隣接する複数の画素が表す領域を１つの画素値で表すことを特徴とする請求項６に記載の画像処理方法。
8. 前記生成するステップは、取得した撮影画像のデータのうち、１画素が表す最大の領域の面積およびアスペクト比に、全ての画素の領域を合わせることを特徴とする請求項６に記載の画像処理方法。
9. 前記補正するステップは、デモザイク後の撮影画像から前記表示画像を生成し、
   前記生成するステップは、デモザイク前の撮影画像の画素数を減少させることを特徴とする請求項６から８のいずれかに記載の画像処理方法。
10. 前記変位ベクトルは、撮像装置のレンズによる第１の歪みを解消するのに必要な変位ベクトルと、接眼レンズを介して鑑賞される表示画像に与えるべき第２の歪みを付加するのに必要な変位ベクトルを含み、
    前記補正するステップはさらに、前記第１の歪みを解消し、前記第２の歪みを付加する補正を行うことを特徴とする請求項３または４に記載の画像処理方法。
11. 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、前記撮影画像の画素の行数に応じて、前記水平同期信号のアクティブ期間のうちデータを取得しない期間を設けることを特徴とする請求項１から１０のいずれかに記載の画像処理方法。
12. 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、各行の画素の数に応じて、ピクセルクロックのアクティブ期間のうちデータを取得しない期間を設けることを特徴とする請求項１から１０のいずれかに記載の画像処理方法。
13. 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、前記撮影画像の画素の行数に応じて、垂直ブランキング期間を調整することを特徴とする請求項１から１０のいずれかに記載の画像処理方法。
14. 前記指定するステップは、前記撮影画像のうち所定の対象物の像以外の領域、ヘッドマウントディスプレイにおいて表示される画像の周縁から内側に所定範囲の領域、ユーザの注視点から所定距離以上離れた領域、撮像装置が備える魚眼レンズにおいてレンズ歪み率が所定値以上低い領域、および前記撮像装置が備える広角レンズにおいてレンズ歪みが高い領域、の少なくともいずれかを、電荷を加算して読み出すべき画素の領域として指定することを特徴とする請求項１から１１のいずれかに記載の画像処理方法。
15. 前記補正するステップは、補正後の画素のデータを順にメモリに格納し、
    前記表示させるステップは、前記表示画像の全画素数より少ない所定数の画素のデータが前記メモリに格納される都度、当該データを前記表示パネルに出力することを特徴とする請求項２に記載の画像処理方法。
16. 前記補正するステップは、前記取得するステップが取得した、各画素が１色の情報を有する撮影画像の各画素を、前記撮影画像において１画素が表す領域面積を等しくした表示画像に補正するために必要な画素の変位量および変位方向を表す変位ベクトルにより色ごとに変位させたうえ補間することにより、前記補正とともにデモザイク処理を実施することを特徴とする請求項１に記載の画像処理方法。
17. イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定する画像解析部と、
    前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得する信号処理部と、
    前記撮影画像の画素を均等に配列してなる仮想的な画像を、前記撮影画像において１画素が表す領域面積を等しくした表示画像に補正する画像補正部と、
    を備えたことを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置と、
    前記信号処理部に撮影画像を供給する前記イメージセンサと、
    前記撮影画像を用いて前記画像処理装置が生成した画像を表示する表示パネルと、
    を備えたことを特徴とするヘッドマウントディスプレイ。
19. イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定する機能と、
    前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得する機能と、
    前記撮影画像の画素を均等に配列してなる仮想的な画像を、前記撮影画像において１画素が表す領域面積を等しくした表示画像に補正する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images