JPWO2019171522A1

JPWO2019171522A1 - ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法

Info

Publication number: JPWO2019171522A1
Application number: JP2020504577A
Authority: JP
Inventors: 征志中田
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2018-03-08
Filing date: 2018-03-08
Publication date: 2021-02-04
Also published as: US11190714B2; US20200412983A1; WO2019171522A1

Abstract

撮影画像２０２の平面において、表示画像に対するユーザの注視点に対応する注視対応点２０４を特定し、それに基づき着目領域２０６を決定する。空間撮像部は、撮像面２０８のうち、着目領域２０６を含む行、または画素ブロックを決定し、それに含まれる画素列のデータを、他の領域より先に読み出し、出力する。

Description

本発明は、解析あるいは表示に用いる画像を撮影する撮像センサ、撮影画像を用いて画像を表示するヘッドマウントディスプレイ、撮影画像を用いてユーザの注視点を検出する注視点検出器、および画素データ読み出し方法に関する。

撮影された画像を即時解析したり表示に用いたりする技術は広く実用化されている。例えばヘッドマウントディスプレイなどのウェアラブルディスプレイにおいて、ユーザの視線に対応する視野で実空間を撮影し、所定の加工を施して表示することにより、拡張現実や仮想現実を実現する技術が知られている。ヘッドマウントディスプレイに限らず、その場で撮影された画像を処理し表示に用いる態様では多くの場合、そのリアルタイム性が重要となる。

一方、画像処理の精度や表示の精細さを追求するほど、元の撮影画像のデータ量が増える傾向となる。これに伴い、撮像装置、画像処理装置、表示装置間の伝送帯域や各装置の処理性能などに起因して、撮影から表示までに看過できない遅延が生じる可能性が高くなる。その結果、臨場感が損なわれたりユーザにストレスを与えたりすることがあり得る。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いた画像解析や表示を低遅延に行える技術を提供することにある。

本発明のある態様は電子機器に関する。この電子機器は、マトリクス状に配置された画素からなる撮像面に対し、所定の基準により着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、所定の処理が施された画素のデータを順次出力する出力回路と、を備えたことを特徴とする。

ここで「電子機器」は撮像センサ、撮像装置、情報端末、携帯端末、ゲーム機器、ウェアラブルディスプレイ、パーソナルコンピュータなど、撮像機能を備えた機器であればその種類は限定されない。

本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、撮像センサと、当該撮像センサによる撮影画像に基づき生成された画像を表示する表示パネルと、表示画像に対するユーザの注視点を検出する注視点検出器と、を備えたヘッドマウントディスプレイであって、撮像センサは、注視点に対応する、撮像面における注視対応点に基づき着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、所定の処理が施された画素のデータを順次出力する出力回路と、を備えたことを特徴とする。

本発明のさらに別の態様は注視点検出器に関する。この注視点検出器は、表示画面を見るユーザの眼球を撮影する撮像センサと、撮影画像に基づき表示画面上の注視点の位置座標を取得する画像解析部と、を備えた注視点検出器であって、撮像センサは、前のタイミングにおける撮影画像に基づき着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、所定の処理が施された画素のデータを順次出力する出力回路と、を備えたことを特徴とする。

本発明のさらに別の態様は画素データ読み出し方法に関する。この画素データ読み出し方法は、マトリクス状に配置された画素からなる撮像面に対し、所定の基準により着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御するステップと、当該制御に従う順序で画素のデータを読み出し、所定の処理を施すステップと、所定の処理が施された画素のデータを順次出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を用いた画像解析または画像表示技術において、解析や表示を低遅延に行える。

本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態の画像表示システムの構成例を示す図である。本実施の画像処理装置の内部回路構成を示す図である。本実施の形態における画像処理装置およびヘッドマウントディスプレイの機能ブロックの構成を示す図である。本実施の形態におけるヘッドマウントディスプレイの注視点検出部の構成例を示す図である。本実施の形態の空間撮像部が、撮影画像のうち、表示画像における注視点に対応する領域のデータを優先して読み出す処理を説明するための図である。本実施の形態における注視点検出部と空間撮像部のハードウェアとしての構成例を示す図である。図６の（ａ）の態様を実現する空間用撮像センサの構成例を示す図である。図６の（ｂ）の態様を実現する空間用撮像センサの構成例を示す図である。本実施の形態において着目領域のデータを先に読み出し出力することによる効果を説明するための図である。本実施の形態において着目領域のデータを先に読み出し出力することによる別の効果を説明するための図である。本実施の形態のうち、優先画素列とその他の領域で読み出し頻度を異ならせる態様における、データの読み出し位置とタイミングの関係を例示する図である。本実施の形態において、優先画素列の解像度に対し、その他の領域の解像度を低くする手法を説明するための図である。本実施の形態において、優先画素列の決定機能を拡張させた、空間撮像部の機能ブロックの構成を示す図である。本実施の形態において、注視点の動きに応じて着目領域の範囲を調整する手法を説明するための図である。

本実施の形態は、撮像装置から出力される画像データを用いて、低遅延に所定の処理を行ったり当該画像を表示したりする技術に関する。この限りにおいて撮像装置、画像処理装置、表示装置の形態は特に限定されないが、以後、撮像装置と表示装置を備えたヘッドマウントディスプレイ、および画像処理装置からなるシステムを例に説明する。図１は、本実施の形態のヘッドマウントディスプレイの外観例を示している。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。

出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大するレンズを備えてよい。表示パネルを左右に分割してなる各領域に、両眼の視差に対応するステレオ画像を表示することにより立体視を実現してもよい。

ヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。この例でヘッドマウントディスプレイ１００は、筐体１０８の前面に空間撮像部１１０を備え、ユーザの視線に対応する視野で周囲の実空間を動画撮影する。図示する例では空間撮像部１１０は、ユーザの左右の目に対応する左右の視点から前方の空間を撮影するステレオカメラにより構成される。ただし空間撮像部１１０をこれに限る趣旨ではなく、単眼カメラでもよいし、３つ以上の多眼カメラでもよい。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の内部に、表示パネルの画面に対しユーザが注視している箇所を検出する注視点検出器を備える。ヘッドマウントディスプレイ１００はまた、加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の動き、姿勢、位置などを導出するための各種センサの少なくともいずれかを備えてもよい。

図２は、本実施の形態の画像表示システムの構成例を示している。ヘッドマウントディスプレイ１００は無線通信により画像処理装置１０に接続される。ただしＵＳＢなどによる有線接続としてもよい。画像処理装置１０は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションを画像処理装置１０に提供してもよい。

画像処理装置１０は、ヘッドマウントディスプレイ１００の空間撮像部１１０が撮影した画像のデータを継続的に取得し、それに応じた視野で表示画像を生成してヘッドマウントディスプレイ１００に出力する。ここで表示画像の内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々でよい。

例えば画像処理装置１０は、空間撮像部１１０による撮影画像に何らかの加工を施したり、実物体の像とインタラクションする仮想オブジェクトを重畳描画したりしてよい。あるいは撮影画像や、ヘッドマウントディスプレイ１００のモーションセンサによる計測値などに基づき、ユーザの視野に対応する視野で仮想世界を描画してもよい。これらの態様の代表的なものとして、仮想現実（VR:Virtual Reality）や拡張現実（AR:Augmented Reality）が挙げられる。あるいは、撮影画像をそのまま表示画像とすることで、ヘッドマウントディスプレイ１００の画面を介して実世界が見えるシースルーの形態を実現してもよい。

このように、ヘッドマウントディスプレイ１００から画像処理装置１０へ撮影画像を伝送し、画像処理装置１０が表示画像を生成したうえヘッドマウントディスプレイ１００へ伝送する、といった一連の処理を所定のフレームレートで繰り返す場合、各装置でなされる処理やデータ伝送の速度が重要となる。すなわちいずれかの処理に遅れが生じると、ユーザの頭部の動きと表示画像に時間的なずれが生じ、ユーザに違和感を与えたり映像酔いを引き起こしたりすることがある。

そのため従来、伝送帯域を拡張したり、圧縮率を高め伝送するデータ量を削減したりする対策がとられているが、表示画像の質や情報処理の精度を追求するほど扱うデータ量が増加するため、これらの対策が十分とはいえない場合がある。本実施の形態では、撮影された画像のデータ読み出しの段階で処理を工夫することにより、画像平面での領域に対し時間的な優先順位を与える。具体的には空間撮像部１１０は、表示画像上でユーザが注視している箇所を特定し、それに対応する、撮影画像上の領域のデータを他の領域より優先して読み出し出力する。

ここで「優先して読み出す」処理は、撮像素子により検出された光を変換されてなる電荷の読み出しの段階で実施してもよいし、電荷を表すアナログ信号をデジタル信号に変換し、メモリに記録した後の読み出しの段階で実施してもよい。いずれにしろ空間撮像部１１０における後段の処理も、読み出し順あるいはそれに近い順で実施することにより、画像処理装置１０には、優先度の高い画素のデータが先に伝送される。画像処理装置１０における画像解析、表示画像生成、ヘッドマウントディスプレイ１００への伝送、表示、の全ての処理、またはそのうちの一部についても当該優先度を踏襲する順序で処理を実施してよい。

これにより、ユーザが注視している領域について、画像解析の確実性や表示の即時性を保証できる。また当該領域以外の領域については、一部の処理を省略したり詳細度、解像度を軽減させたりすることにより、見た目への影響を最小限に、さらなる高速化を実現できる。なお本実施の形態は上述のとおり、ヘッドマウントディスプレイ１００に空間撮像部１１０を設ける以外の態様でも同様に効果を発揮する。

例えば空間撮像部は、画像処理装置１０側に設けてもよいし、画像処理装置１０とネットワークを介して接続した別個体の撮像装置としてもよい。さらに空間撮像部をロボットの目として実装し、それに対応する視野で画像を表示してもよい。表示装置は、ユーザの注視点が得られれば、ヘッドマウントディスプレイ１００に限らず、平板型ディスプレイなどでもよい。画像処理装置１０と表示装置は、それらを一体的に備える携帯端末などでもよい。当該携帯端末に、さらに撮像装置を設けてもよい。

図３は、画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなりヘッドマウントディスプレイ１００と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、ヘッドマウントディスプレイ１００へデータを出力する出力部３６、ヘッドマウントディスプレイ１００や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４は、画像処理装置１０およびヘッドマウントディスプレイ１００の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図３で示した各種回路や、注視点検出装置、撮像素子、制御回路、信号処理回路、表示パネル、マイクロプロセッサ、メモリなどにより実現でき、ソフトウェア的には、記録媒体からメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

ヘッドマウントディスプレイ１００は、表示画面に対するユーザの注視点を検出する注視点検出部１２０、空間を撮影し注視点の情報に基づく順序でデータを出力する空間撮像部１１０、画像処理装置１０から表示画像のデータを取得する表示画像データ取得部１２２、および当該表示画像を表示する表示部１２４を備える。注視点検出部１２０は、ヘッドマウントディスプレイ１００の表示画面に対するユーザの注視点の位置座標を取得する。後述するように注視点を検出する技術としては様々なものが実用化されており、本実施の形態ではそのいずれを採用してもよい。

空間撮像部１１０は上述のとおり表示画像に用いる動画像を撮影し、各フレームのうち注視点に対応する領域の画素のデータを優先して出力する。空間撮像部１１０は基本的に、当該領域以外の画素のデータについても出力するが、場合によって解像度や出力レートに差を設けてもよい。空間撮像部１１０は図１に示したように、ステレオカメラとしてもよい。表示画像データ取得部１２２は、画像処理装置１０から表示画像のデータを継続的に取得する。このときの取得順も、注視点に対応する領域を先としてよい。

表示部１２４は、表示画像を所定のレートで表示する。表示部１２４は液晶ディスプレイ、有機ＥＬディスプレイなど、表示パネルと制御機構を有する一般的なディスプレイでよい。ただし表示素子の駆動順を適切に制御することにより、空間撮像部１１０の出力順に対応する順序で、表示画像が出力されるようにしてもよい。この場合、表示画像のうちユーザが注視している領域が先に更新されることになる。

画像処理装置１０は、撮影画像のデータをヘッドマウントディスプレイ１００から取得する撮影画像データ取得部５０、撮影画像に対し所定の解析処理を実施する画像解析部５２、解析結果などを用いて表示画像を生成する表示画像生成部５４、および表示画像のデータをヘッドマウントディスプレイ１００へ供給する出力部５６を備える。撮影画像データ取得部５０は、ヘッドマウントディスプレイ１００の空間撮像部１１０が出力する撮影画像のデータを取得する。

上述のとおり空間撮像部１１０は、撮影画像のうちユーザの注視点に対応する領域の画素のデータを時間的に優先して出力するため、撮影画像データ取得部５０のデータ取得順も当該領域が先となる。画像解析部５２は、撮影画像を所定の内容で解析する。例えば画像解析部５２は、顔検出、顔認識、ジェスチャ認識、視覚追跡、位置検出などのいずれかを実施してよい。あるいは画像解析部５２は、Visual SLAM(Simultaneous Localization and Mapping)により、ヘッドマウントディスプレイ１００の姿勢を取得してもよい。

このとき画像解析部５２は、ヘッドマウントディスプレイ１００から先に送信された領域を優先して解析してよい。ユーザの注視点に対応する領域以外の領域については、解析処理を省略したり、解析の詳細度を下げたりしてもよい。これにより少なくとも、ユーザが注視している領域については確実に解析結果が得られるようにする。表示画像生成部５４は、解析結果を利用するなどして表示画像のデータを生成する。この場合も、ヘッドマウントディスプレイ１００から先に送信された、撮影画像上の領域に対応する領域を優先して生成してよい。

表示画像生成部５４の処理は、画像表示の目的によって様々でよく、上述のとおり撮影画像の一部に画像を描画してもよいし、撮影画像からSLAMなどによって得られる視野に応じて、表示画像全体を描画してもよい。なお頭部の位置や姿勢に係る情報は、ヘッドマウントディスプレイ１００が備える図示しないモーションセンサの計測値に基づいて取得してもよい。また撮影画像をそのまま表示画像として出力してもよい。この場合、画像解析部５２は処理を省略してもよい。

いずれにしろ表示画像生成部５４は、表示画像のデータを、生成した画素順に出力部５６に供給する。例えば撮影画像データ取得部５０が取得した画素順に、画像解析、表示画像生成を実施する場合、出力部５６には結果的に、空間撮像部１１０から出力された順序を踏襲する順序で、表示画像の画素のデータが供給される。出力部５６は、供給された表示画像のデータを、ヘッドマウントディスプレイ１００に順次送信する。

図５は、ヘッドマウントディスプレイ１００の注視点検出部１２０の構成例を示している。同図下段はヘッドマウントディスプレイ１００と、それを装着したユーザの頭部４７２を、上から見た様子を模式的に表している。ヘッドマウントディスプレイ１００には上段で示したような表示画像４７６が表示され、ユーザが左右の目４７４ａ、４７４ｂでそれを見ている。この例では注視点検出部１２０として、赤外線ＬＥＤ４７８ａ、４７８ｂ、赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂ、および画像解析装置４８２を設けている。

赤外線ＬＥＤ４７８ａ、４７８ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂに赤外線を照射する。赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂはそれぞれ、ユーザの左右の目４７４ａ、４７４ｂを撮影し、そのデータを画像解析装置４８２に供給する。画像解析装置４８２は、左右の目の撮影画像から、赤外線の角膜における反射位置と瞳孔の位置とを特定し、その位置関係からユーザの視線を特定する。この手法は角膜反射法として視線検出技術の分野で実用化されている。

なお視線を検出する手法はこれに限らず、例えば可視光カメラで左右の目を撮影し、そのうち目頭と虹彩の位置関係から視線を特定する技術など一般的な手法のいずれを採用してもよい。画像解析装置４８２は、そのように検出した視線と、表示画像４７６が表示されている表示パネルとの交点４８４ａ、４８４ｂをユーザの注視点とし、その位置座標を検出する。当該注視点の位置座標の情報は、例えば所定のレートで空間撮像部１１０に供給される。

図６は、空間撮像部１１０が、撮影画像のうち、表示画像における注視点に対応する領域のデータを優先して読み出す処理を説明するための図である。同図上段の撮影画像２０２は、空間撮像部１１０により撮影される画像を示している。空間撮像部１１０をステレオカメラで構成する場合、同様の撮影画像が左右の視点から撮影される。撮影画像２０２は、図５で示した表示画像４７６の元となる画像である。

同図では表示画像４７６と撮影画像２０２を同じとしているが、それに限る趣旨ではない。すなわち表示画像４７６は、撮影画像２０２に仮想オブジェクトを重畳させたものでもよいし、全体をコンピュータグラフィックスで描画したものでもよい。いずれにしろ、撮影画像２０２の平面の位置座標は、表示画像４７６の平面の位置座標と対応づけられている。

撮影画像２０２において、ユーザの注視点に対応する位置を注視対応点２０４とする。空間撮像部１１０は、注視点検出部１２０から取得した注視点の位置座標から、撮影視野における注視対応点２０４の位置座標を特定する。そして当該注視対応点２０４を含む所定範囲の領域（着目領域２０６と呼ぶ）から、優先して画素値（アナログ信号またはデジタル信号）を読み出す。着目領域２０６は、注視対応点２０４を中心として画像平面上の所定サイズの領域としてもよいし、注視対応点２０４に結像している人などの被写体の像の大きさによって、そのサイズを調整してもよい。また着目領域２０６の形状は矩形に限らず、円形、楕円形などでもよし、被写体の像の形状に依存させてもよい。

図の下段（ａ）、（ｂ）は、画素値の読み出し順を例示している。一般的な撮像装置では、画素のマトリクスよりなる撮像面において、左端の画素から右方向への読み出しを、最上段から下方向へ繰り返すラスタ順に、画素値の読み出しを進捗させる。同図（ａ）における実線および破線の矢印は、そのような画素の行を模式的に示している。ただし本実施の形態では、実線矢印で示す画素列を先に読み出す。

すなわち（ａ）における撮像面２０８のうち、まず着目領域２０６を含む行を、それぞれ左端の画素から右端まで読み出す。ここで行の読み出し順は、該当行のうち最も上の行から下方向としてもよいし、注視対応点２０４から近い行ほど先に読み出すようにしてもよい。すなわち画像の右に１から５の番号で示すように、注視対応点２０４に最も近い行（１）を最初に読み出し、その上下（２、３）の行、さらにその上下の行（４、５）というように、注視対応点２０４から近い順に上下交互に読み出す。

（ｂ）の場合、撮像面を複数のブロックに分け、着目領域２０６を含むブロックを先に読み出す。この態様は後述するように、ブロックごとに画素値を読み出す処理回路を設けることを前提としている。以後、実線で示すように、着目領域２０６を含み優先して読み出す画素列を「優先画素列」と呼ぶことがある。（ａ）、（ｂ）いずれの場合も、優先画素列のデータを読み出し終えたら、点線矢印のようにその他の領域のデータを読み出す。当該領域についても、注視対応点２０４に近い行やブロックほど優先的に読み出すようにしてもよいし、撮像面の左上から順に読み出すようにしてもよい。

また当該領域のデータの読み出し頻度を、優先画素列の読み出し頻度より低くしてもよい。上述した従来技術では、注視点に関わりなく読み出し順が固定のため、着目領域２０６のデータを読み出すタイミングは注視点の位置に依存する。一方、（ａ）、（ｂ）に示すように着目領域２０６のデータを優先して読み出し出力することにより、注視点の位置に依存せず、当該データの読み出しタイミングを見積もることができる。また優先画素列に対しそれ以外の領域の読み出し頻度を下げることにより、ユーザが注視している領域の画像解析や、対応する領域の表示を即座に行える。

図７は、注視点検出部１２０と空間撮像部１１０のハードウェアとしての構成例を示している。まず（ａ）の例では、注視点検出部１２０として、眼球を撮影する眼球用撮像センサ２１０、眼球の撮影画像から注視点を取得するアプリケーションプロセッサ２１２を備え、空間撮像部１１０として、空間を撮影し注視点に基づく順序で画素値を出力する空間用撮像センサ２１４を備える。この構成は図５と同様であり、眼球用撮像センサ２１０は、赤外線カメラまたはＰＳＤセンサ４８０ａ、４８０ｂに対応し、アプリケーションプロセッサ２１２は画像解析装置４８２に対応する。

この構成では、眼球用撮像センサ２１０からアプリケーションプロセッサ２１２への撮影画像のデータ伝送に、ＭＩＰＩ（Mobile Industry Processor Interface）のアーキテクチャを用いることができる。またアプリケーションプロセッサ２１２から空間用撮像センサ２１４への注視点に係る情報の伝送に、ｉ２Ｃ（Inter-Integrated Circuit）やｉ３Ｃのアーキテクチャを用いることができる。一方、（ｂ）の構成は、注視点検出部１２０として注視点検出センサ２１６を備え、空間撮像部１１０として空間用撮像センサ２１４を備える。

ここで注視点検出センサ２１６は、（ａ）の眼球用撮像センサ２１０と、当該センサにより撮影された眼球の像に基づき注視点を取得するロジック回路、すなわち（ａ）のアプリケーションプロセッサ２１２の機能を有するロジック回路を積層させたセンサである。空間用撮像センサ２１４は（ａ）と同様である。この場合、例えばｉ２Ｃやｉ３Ｃのアーキテクチャにより、注視点検出センサ２１６から空間用撮像センサ２１４へ、注視点に係る情報を直接伝送する。

図８は、図６の（ａ）の態様を実現する空間用撮像センサの構成例を示している。空間用撮像センサ２１４ａは、画素部２２０、垂直走査回路２２２、水平転送走査回路２２４、タイミング制御回路２２６、およびアナログデジタル変換器（ＡＤＣ：Analog-Digital Converter）群２３０、デジタルアナログ変換器（ＤＡＣ：Ditital-Analog Converter）２３８、水平転送線２４０、アンプ回路２４２、信号処理回路２４４、および出力回路２４６を含む。

画素部２２０は、光電変換を行うフォトダイオードを含む画素をマトリクス状に配置した構成を有する。各画素は入射光量に応じた信号電荷を保持する。垂直走査回路２２２は、図示しない画素駆動配線を介して各画素に駆動パルスを供給することにより、行単位で画素を駆動する。これにより行内の画素のアナログ信号は、列ごとに設けられた垂直信号線によってＡＤＣ群２３０に供給される。

ＡＤＣ群２３０は、アナログデジタル変換回路として、ＤＡＣ２３８により生成される参照電圧と、行線ごとに画素から垂直信号線を経由して得られるアナログ信号とを比較する比較器２３２、比較時間をカウントするカウンタ２３４、カウント結果を保持するラッチ２３６からなるＡＤＣが画素列ごとに配置された構成を有する。垂直信号線により読み出されたアナログ信号は、比較器２３２でスロープ波形を有する参照電圧と比較され、両者が一致したときのカウント値が取得されることにより、デジタル信号に変換される。各ラッチ２３６の出力は、水平転送線２４０に接続される。

水平転送走査回路２２４は例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、ラッチ２３６に格納された一行分のデジタル信号を、水平転送線２４０によりアンプ回路２４２、信号処理回路２４４へと入力させる。タイミング制御回路２２６は、垂直同期信号、水平同期信号、マスタクロックに基づいて、垂直走査回路２２２、ＡＤＣ群２３０、水平転送走査回路２２４の動作の基準となるクロック信号や制御信号を生成し出力する。

信号処理回路２４４は、読み出し処理回路として、入力された各画素のデジタル信号に、欠陥補正、デモザイク処理、ガンマ補正など所定の処理を施し撮影画像のデータを生成する。出力回路２４６は、信号処理回路２４４が生成した撮影画像のデータを適宜バッファリングし、行ごとに出力する。これらの基本的な構成は、一般的な撮像センサと同様でよい。一方、本実施の形態では上述のとおり、垂直走査回路２２２により駆動する画素行の順序を変化させることにより、優先画素列のデータが先に出力されるようにする。

このためタイミング制御回路２２６は、注視点検出部１２０から注視点の情報を取得し、当該注視点に対応する、画素部２２０における画素の位置を、注視対応点として取得する。そしてタイミング制御回路２２６は着目領域、ひいては優先画素列を決定し、当該画素列が先に駆動されるように垂直走査回路２２２を制御する。すなわちタイミング制御回路２２６は、撮像センサから出力された画素のデータを用いてヘッドマウントディスプレイ１００に表示された画像に対するユーザの注視点の位置座標に対応する、前記撮像面における注視対応点に基づき着目領域を決定する。

そしてタイミング制御回路２２６は、着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御している。これにより、優先画素列の画素値から先にアナログデジタル変換がなされ、水平転送線２４０により信号処理回路２４４に転送される。信号処理回路２４４、出力回路２４６において、データが入力された順に適宜処理して出力することにより、撮影画像のデータは、優先画素列から順に、画像処理装置１０に出力される。この場合、タイミング制御回路２２６は、着目領域の位置に基づき、データの読み出し対象から除外する領域を決定してもよい。

なお、図示するように画素部２２０をラスタ順に走査するローリングシャッター方式に代えて、全ての画素の電荷を一度に読み出しデジタル変換するグローバルシャッター方式を採用する場合、優先画素列を先に読み出す対象は、全ての画素のデジタル値を格納した図示しないメモリとする。グローバルシャッターは画素の電荷読み出し段階では、画像平面上での位置に依存した時間差が生じない。このためメモリに格納された画像には、被写体の高速移動に起因して像が歪むフォーカルプレーン現象が発生しないという特性を有する。ただしメモリからの出力は画素列単位となるため、優先画素列を先に出力することにより、同様の効果が得られる。

図９は、図６の（ｂ）の態様を実現する空間用撮像センサの構成例を示している。このセンサの構成自体は、例えば特開２０１６−１８４８４３号公報に開示される既存技術であるため、ここでは概略のみを説明する。空間用撮像センサ２１４ｂは、画素部２５０と読み出し制御回路２５４を積層させた構造を有する。画素部２５０は、光電変換を行うフォトダイオードを含む画素をマトリクス状に配置した構成を有する。光電変換により取得された、画素値を表すアナログ信号は、読み出し制御回路２５４に出力される。

ここで画素部２５０の平面は、１以上の画素からなる、Ｍ×Ｎ個の画素ブロック２５２に区分される。読み出し制御回路２５４は読み出し処理回路として、画素ブロック２５２ごとに設けた、Ｍ×Ｎ個の信号処理部２５６により構成される。各信号処理部２５６は、対応する画素ブロック２５２の画素を対象として、図８で説明したのと同様のアナログデジタル変換やその後の信号処理を、互いに独立して行う。すなわち信号処理部２５６は、撮像面２０８を縦方向および横方向に分割してなる画素ブロック２５２ごとに、データの読み出し対象か否かを制御する。

同図右下に拡大して示すように、読み出し制御回路２５４の信号処理部２５６はそれぞれ、論理演算部２６２を備える。論理演算部２６２は、一行分の信号処理部２５６に共通の水平制御線２５８および、一列分の信号処理部２５６に共通の垂直制御線２６０からそれぞれ制御信号を取得し、それらを論理演算する。水平制御線２５８および垂直制御線２６０の制御信号は、制御回路２６４により与えられる。論理演算部２６２による演算結果は、対応する信号処理部２５６を動作させるか否かの決定に用いられる。

例えば、論理演算の結果がＬレベルのときに信号処理部２５６を動作させ、Ｈレベルのときにスタンバイ状態となるような回路構成とする。ここで論理演算部２６２をＯＲゲートで構成すると、水平制御信号と垂直制御信号の双方がＬレベルのときに演算結果がＬレベルとなり、信号処理部２５６が動作する。したがって制御回路２６４は、走査させたい信号処理部２５６を含む水平制御線２５８および垂直制御線２６０にＬレベルの制御信号を与え、それ以外の制御線にＨレベルの制御信号を与える。

このため制御回路２６４は、注視点検出部１２０から注視点の情報を取得し、当該注視点に対応する、画素部２５０における画素の位置を取得する。そして制御回路２６４は、着目領域、ひいては優先画素列（画素ブロック）を決定し、当該画素列が先に駆動されるように、各制御線に与える信号のレベルを決定する。図９に示すセンサの構成は制御線や演算回路が余計に必要となる一方、優先画素列の範囲を絞り込み、着目領域の実体に近づけることができるため、より効果を発揮しやすくなる。これを踏まえ、処理や表示に求められる精度や応答性、製造コストなど多角的な観点から、適切なセンサ構造を選択する。

図１０は、着目領域のデータを先に読み出し出力することによる効果を説明するための図である。同図は、画像の上端を０としたときの縦方向の位置座標（ｙ座標）を縦軸とし、時間を横軸として、データが読み出される位置とタイミングの関係を矢印で示している。また太線２７０は、注視対応点のｙ座標の時間変化を例示している。（ａ）に示す従来技術では、矢印２７２に示すように、画像の上端の行から画素の読み出しが開始され、時間Δｔで１フレーム分の読み出しが完了する。この場合、丸印２７４などで示されるように、注視対応点を中心とする着目領域のデータが読み出されるタイミングは、注視対応点の位置によって様々となる。

一方、（ｂ）に示す本実施の形態では、矢印２７６ａに示すように、まず注視対応点を中心とする優先画素列のデータを読み出し、それに続けて、矢印２７６ｂ、２７６ｃに示すように、その他の領域の画素列のデータを読み出す。なお同図ではわかりやすさのため、優先画素列およびその他の領域をそれぞれ、上の行から順に読み出す例を示しているが、実際には上述したように、注視対応点を基準に読み出し順を決定してよい。いずれにしろこの態様によれば、丸印２７８などに示されるように、注視対応点を中心とする着目領域のデータが読み出されるタイミングが、その位置によらず周期的となる。

つまり所定の垂直走査周期で最初に出力される画像のデータが、高い優先度を有する領域の情報であることが明確化されるため、画像処理装置１０における解析処理や表示画像生成処理において、当該データに対しより多くの時間をかけることができる。また画像の複雑さや解析処理の内容などに起因して、所定のフレームレートでの表示が困難な状況において、着目領域のデータについては確実に伝送や処理を実施したうえ、その他の領域の処理を簡略化することにより、表示に遅延を生じさせないように制御することができる。

図１１は、着目領域のデータを先に読み出し出力することによる別の効果を説明するための図である。従来、本実施の形態の着目領域と同様の重要な領域について処理の詳細度を確保し、それ以外の領域は低い詳細度で処理したり表示したりすることにより、データサイズを軽減させ、伝送速度を向上させる手法が提案されている。図１１の（ａ）は、従来の読み出し順で、当該手法を適用した場合を示している。図の表し方は図１０と同様である。

ただし注視点に係る情報は、フレームレートと同様の頻度で与えられるとする。つまり実際の注視対応点は点線２８０で示すように変化するのに対し、取得できる注視対応点は太線２８２のように変化するとする。ここで矢印２８４に示すように、画像の上端の行から下方向に画素のデータを読み出すと、丸印２８６などで示すタイミングで読み出した画素のデータが着目領域として扱われる。ところが実際の注視対応点は時間経過とともに移動しているため、着目領域として読み出したデータに、実際の注視対応点が含まれていない可能性がある。

一方、（ｂ）に示す本実施の形態では、矢印２８８に示すように、与えられた注視点に対応する優先画素列のデータをまず読み出す。したがって丸印２９０のタイミングで読み出した画像のデータは、実際の注視対応点近傍のものとなる。このため当該画像のデータの解像度や処理の詳細度を高くし、その後に読み出される画像のデータについて解像度や詳細度を低くすれば、実際の注視対応点を含む着目領域について高品質な画像を表示できるとともに、データサイズを抑え表示までの速度を向上させることができる。なおこの場合も、重要なデータが周期的に出力されることによる効果は同様に得られる。

図１０、１１で説明した例は、優先画素列とその他の領域のデータの読み出し順のみを入れ替えたため、１フレームの読み出しに要する時間は従来技術と同様であった。一方、読み出し順とともに読み出し頻度にも差を設けることにより、優先画素列についてはより新しい像を用いた解析や表示を行いつつ、伝送データサイズや処理の負荷を抑えるようにしてもよい。図１２は、優先画素列とその他の領域で読み出し頻度を異ならせる態様における、データの読み出し位置とタイミングの関係を例示している。

図の表し方は図１０、１１と同様である。すなわち太線２９１は、注視対応点のｙ座標の時間変化を示している。なおこの態様では、少なくとも優先画素列のみを読み出す頻度と同じ頻度で、注視点の情報が取得されるとする。この例では、優先画素列のデータを、その他の領域の３倍の頻度で読み出すことを想定している。すなわち矢印２９２ａに示すように、まず注視対応点を中心とする優先画素列のデータを読み出し、それに続けて、矢印２９２ｂ、２９２ｃに示すように、その他の領域の画素列のデータを読み出す。

次に矢印２９２ｄ、２９２ｅ、２９２ｆに示すように、各時点での注視対応点を中心とする優先画素列のデータを繰り返し読み出す。その後、矢印２９２ｇ、２９２ｈに示すように、直前の優先画素列以外の領域の画素列のデータを読み出す。これにより、注視点が動いている場合のほか、静止していても形状や色が変化している場合などに、最新の情報を解析や表示に反映させることができる。

なお図１２に示す態様では、優先画素列の画素の電荷が高頻度で読み出されることにより、電荷蓄積時間がその他の領域より短くなり、得られる輝度が低くなってしまうことが考えられる。そこで空間撮像部１１０は、優先画素列のデータに、読み出し頻度に比例するゲイン値を乗算させたうえで出力してもよい。また図示する例は、優先画素列とそれ以外の領域の画素列という２つの領域分けにより、読み出し頻度を２通りに設定した。一方、優先画素列の外側に第２の優先画素列を設定するなどして、領域を３つ以上に分けてもよい。この場合、読み出し頻度はそれぞれに設定し、当該頻度に比例するゲイン値をそれぞれに与える。

また読み出し頻度が高く蓄積電荷を示すアナログ信号が小さいと、ＳＮ比が低下することが考えられる。そこで空間撮像部１１０は、前のタイミングで読み出された優先画素列のデータを用いて、ノイズ除去処理を実施したうえで出力してもよい。例えば前の複数のタイミングで読み出された同じ画素のデータの平均値を取得し、現時点で読み出されたデータと比較する。平均値との差が所定のしきい値以下の場合は、当該平均値を現時点でのデータとする。このようなノイズ除去処理は、３ＤＮＲ（Noise Reduction）として知られているが、本実施の形態では特に、高頻度に読み出される優先画素列について実施する。

ゲイン値の乗算とノイズ除去処理は同時に行ってもよい。また平均値をとる代わりに、前の複数のタイミングにおける同じ画素のデータを現時点で読み出されたデータに加算して出力することにより、ゲインとノイズ除去の双方を同時に実現してもよい。ここで加算するデータの数は、データの読み出し頻度に比例させてもよい。ただし撮像面に対し移動している被写体を表す画素については、加算処理対象から除外することにより、画像がにじんだり詳細度が失われたりするのを防止する。すなわち空間撮像部１１０は、撮像面２０８に対する被写体の動きの有無によって、読み出し頻度に応じて画素のデータを加算するか否かを決定する。ここで被写体の移動は、既存の動き検出処理により検出できる。当該検出処理は、画像処理装置１０が実施し、ヘッドマウントディスプレイ１００にフィードバックしてもよいし、空間撮像部１１０において実施してもよい。

本実施の形態ではさらに、優先画素列とその他の領域で、解像度に差を設けるようにしてもよい。図１３は、優先画素列の解像度に対し、その他の領域の解像度を低くする手法を説明するための図である。これまで述べたように撮影画像平面３０２において、優先画素列３０４とそれ以外の領域が、注視対応点３１０に応じて決定される。同図では優先画素列３０４とそれ以外の領域の画素の一部を、画素ブロック３０６、３０８として拡大して示している。

撮像素子にベイヤ配列のカラーフィルタを設けた場合、２×４個の画素からなる画素ブロック３０６、３０８から、例えば２画素分の赤色の輝度Ｒａ、Ｒｂ、４画素分の緑色の輝度Ｇ１ａ、Ｇ２ａ、Ｇ１ｂ、Ｇ２ｂ、２画素分の青色の輝度Ｂａ、Ｂｂのアナログ信号がそれぞれ読み出される。優先画素列３０４内の画素については、このように読み出されたアナログ信号をそのままデジタル信号に変換したうえ、各種処理を施し出力する。

一方、優先画素列３０４以外の領域について、空間撮像部１１０は、近傍の同じ色の画素の信号を加算したうえで読み出しつつデジタル変換することにより、解像度を低下させる。言い換えれば空間撮像部１１０は、撮像面２０８における着目領域の位置に基づき、各画素が保持するアナログ信号を所定距離にある所定数の画素で加算したうえでデジタル信号に変換する領域を決定する。例えば同じ列において１画素おきにある同じ色の２つの画素のアナログ信号を加算する。すなわち次の演算により加算後の赤色の輝度Ｒｃ、緑色の輝度Ｇ１ｃ、Ｇ２ｃ、青色の輝度Ｂｃを決定する。
Ｒｃ＝Ｒａ＋Ｒｂ
Ｇ１ｃ＝Ｇ１ａ＋Ｇ１ｂ
Ｇ２ｃ＝Ｇ２ａ＋Ｇ２ｂ
Ｂｃ＝Ｂａ＋Ｂｂ

上記演算により、列方向の２画素分の情報が加算され１画素の情報となる。結果として２×４画素の画素ブロック３０８の情報は、２×２画素の画素ブロック３１２の情報に圧縮される。ただし加算する画素の数は３つ以上でもよい。この加算処理は、例えば図８で示したＡＤＣによって実現できる。

すなわち加算対象の２つの画素のうち一方のアナログ信号が参照電圧と一致した際、カウンタ２３４におけるカウント値をリセットせずに、他方のアナログ信号を読み出して参照電圧との比較を繰り返す。そして再度一致したときのカウント値を変換後のデジタル値とすれば、加算とデジタル変換を同時に実現できる。このような加算処理を一部の領域のみに実施する場合、図９に示すように画素ブロックごとに独立した制御が可能な撮像センサを用いることが考えられる。

なお図１３の態様においても、優先画素列の周囲に第２の優先画素列を設定するなど、画像平面を３つ以上の領域に分け、解像度を３段階以上に変化させてもよい。いずれの場合も、全ての領域で同じ解像度とするより、データ伝送サイズを小さくできるとともに、重要でない領域について解析処理の負荷を軽減させたり表示を簡略化させたりでき、表示までの時間をより軽減できる。また図１２で示した態様と組み合わせ、優先画素列は高頻度かつ高解像度で読み出し、それ以外の領域は低頻度かつ低解像度で読み出すようにしてもよい。これにより伝送サイズや処理の負荷をさらに抑えつつ、着目領域については質の高い処理や表示を行える。

なお撮影画像平面３０２のうち注視対応点３１０からある程度離れている周縁領域３１４は、ユーザの認識上で重要性が低く、画像解析や、場合によっては表示においても必要とされない可能性が高くなる。したがって空間撮像部１１０は、当該周縁領域３１４に含まれる画素のデータ読み出しを省略するようにしてもよい。例えば空間撮像部１１０は、注視対応点３１０やそれに基づく着目領域からの距離が所定値以上の領域を周縁領域３１４として決定し、該当する画素を含む行や画素ブロックが駆動されないようにする。

なお図では周縁領域３１４を、撮影画像平面３０２の４辺を含む枠状の領域としたが、それに限らず、撮影画像平面３０２の上端部分と下端部分などでもよい。また、優先画素列３０４以外の領域を全て周縁領域３１４としてもよい。これらの構成により、無駄なデータの読み出しや伝送を省略でき、より高速な解析や表示を実現できる。

これまで述べた例では、注視点検出部１２０が検出したあるタイミングでの注視点から、撮影画像における注視対応点、ひいては優先画素列を一意に定めていた。一方、優先画素列の決定に様々な情報を加味することにより、処理の精度を高めてもよい。図１４は、優先画素列の決定機能を拡張させた、空間撮像部１１０の機能ブロックの構成を示している。図示する機能ブロックは、図８や図９の制御回路や信号処理回路の一部として実装してもよいし、少なくとも一部の機能を、別途設けたマイクロプロセッサに実装してもよい。

空間撮像部１１０は、注視点検出部１２０から注視点に係る情報を取得する注視点情報取得部３２０、注視点から注視対応点を求め、それに基づき優先画素列を決定する優先画素列決定部３２２、優先画素列から先に画素のデータを読み出し所定の処理を施す画素データ取得部３２８、および、画像処理装置１０へデータを出力する出力部３３０を備える。空間撮像部１１０はさらに、注視点に係る情報を一時的に格納する注視点情報格納部３２４、および、注視点ひいては注視対応点を推定する注視点推定部３２６を備える。

注視点情報取得部３２０、優先画素列決定部３２２の基本的な動作は、図８のタイミング制御回路２２６や図９の制御回路２６４について説明したのと同様でよい。また画素データ取得部３２８および出力部３３０の動作は、図８の画素部２２０、ＡＤＣ群２３０、信号処理回路２４４、出力回路２４６など、あるいは図９の画素部２５０、読み出し制御回路２５４などと同様でよい。

一方、図示する例の注視点情報取得部３２０は、注視点検出部１２０から取得した注視点の位置に係る情報を、注視点情報格納部３２４に格納する。これは注視点検出部１２０において、ユーザが瞬きするなどして眼球が撮影できず、注視点が不定となることに備えたものである。この場合、注視点検出部１２０からは有効な注視点の情報が得られないため、注視点情報取得部３２０はその旨を注視点推定部３２６に通知する。

すると注視点推定部３２６は、その時点で最後に得られた注視点の情報を注視点情報格納部３２４から読み出し、それを現時点での注視点として優先画素列決定部３２２に供給する。この場合、注視点情報格納部３２４には、少なくとも最後に得られた注視点の情報を格納しておけばよい。あるいは注視点推定部３２６は、最後に得られた注視点の情報に加え、それより前のタイミングで得られた注視点の情報を注視点情報格納部３２４から読み出し、その時間変化に基づき、現時点での注視点の位置を推定してもよい。

例えば過去の注視点の時間変化を、所定の直線または曲線で外挿することにより、それ以後の注視点の変化を推定する。この場合、注視点情報格納部３２４には、例えば所定数のフレーム分の注視点の情報を格納しておく。これらの構成により、瞬きなどにより注視点が不定となっても、継続して優先画素列を決定できる。なおこの態様は、注視点が不定の場合以外にも効果を発揮する。

例えば図１２で示したように優先画素列のデータの読み出し頻度を高くする場合、対応する頻度で注視点を取得する必要がある。この場合、注視点検出部１２０からの情報供給が低頻度であっても、注視点推定部３２６が過去の注視点の変化に基づき、優先画素列の読み出し開始のタイミングに合わせて注視点を推定できる。この処理は、図１２の太線２９１を推定する処理に対応する。

注視点の推定は、過去の注視点の変化以外の情報に基づき行ってもよい。例えば空間撮像部１１０の被写空間に新たな被写体が進入した場合や、被写空間のある位置から音がした場合、人はそちらの方向に目を向ける可能性が高い。これを利用し、注視点推定部３２６は、撮影画像に基づき被写体の進入を検出したり、図示しないマイクロフォンにより音のする方向を特定したりする。そして、当該方向に対応する画像上の領域を、次の注視点として優先画素列決定部３２２に通知する。この処理は、それらの事象が発生したタイミングのみで行ってもよいし、被写体や音の状態に応じて所定期間、継続してもよい。

そのような注視点、ひいては注視対応点の動きに応じて、着目領域の範囲を調整してもよい。図１５は、注視点の動きに応じて着目領域の範囲を調整する手法を説明するための図である。撮影画像平面３４０において、注視対応点３４２は図６で示した注視対応点２０４と同様の位置にある。図６の例では、注視対応点２０４を中心に着目領域２０６を決定した。図１５の場合、それまでの注視対応点の経路を考慮して着目領域３４４を決定する。

例えば注視対応点３４２へ至る単位時間に、注視対応点移動ベクトル３４６のように注視対応点が移動したとすると、同様の動きが継続する確率が高いとして、対応する方向に着目領域を拡張する。すなわち着目領域３４４の４辺のうち、注視対応点移動ベクトル３４６に対向する２辺と注視対応点３４２との距離（ｈ，ｖ）を、注視対応点移動ベクトル３４６の要素（Ｘ，Ｙ）と同じ比率で拡張する。あるいは着目領域のサイズは変化させず、注視対応点移動ベクトル３４６の要素（Ｘ，Ｙ）と同じ比率で水平方向および垂直方向に平行移動させてもよい。

着目領域の調整は、このように実際の注視点の移動履歴（移動経路）に基づいてもよいし、上述のように被写空間における被写体の動きや音に基づき決定してもよい。また、表示画像上でのオブジェクトの動きや、ヘッドマウントディスプレイ１００のスピーカーから出力される音声の定位などに基づき決定してもよい。それらの情報を適宜組み合わせて用いてもよい。このようにすると、注視点が不定であったり誤差が大きかったりしても、また、注視点の動きが大きくても、実際の注視点に対応する注視対応点を着目領域に精度よく含めることができる。

以上述べた本実施の形態によれば、撮影画像を用いた画像表示技術において、表示された画像に対するユーザの注視点に基づき、撮影画像平面におけるデータの読み出し順序を制御する。これにより、画像解析や表示において特に重要となる撮影画像上の領域を、フレームの最初に画像処理装置や表示装置に伝送でき、それらの装置における各種処理を他の領域より優先して実施できる。また当該領域のデータ読み出し周期が一定となることから、後続の処理にかけることのできる時間を容易に見積もることができる。

さらに注視点が検出されるタイミングに合わせて、その近傍の領域のデータを即時に出力できるため、着目領域に対し局所的に画像解析を行ったり解像度を高くしたりする場合に、実際の着目領域からの位置ずれを小さくできる。また着目領域を含む画素列の読み出し頻度を他より高くしたり、データの読み出し時に、他の領域の解像度を低下させたりすることにより、重要な領域のデータを確実かつ高画質で伝送しつつ、伝送データサイズを軽減させることができる。

また、それまでの注視点の移動履歴や被写空間での被写体や音の変化、表示画像や出力音声の変化などに応じて、注視点を推定したり着目領域の範囲を調整したりする。これにより、注視点の検出精度によらず、着目領域のデータ読み出しを的確に行える。以上のことにより、撮影画像を用いた画像表示において、見た目の画質や処理精度を維持したまま、画像の撮影から表示までの時間を短縮でき、遅延が少ない高品質な表示を実現できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、表示画像に用いる画像を撮影する空間用撮像センサを例に説明したが、同じ機構を、注視点検出部の眼球用撮像センサに適用してもよい。この場合、眼球を撮影することにより得られた、前のタイミングの瞳孔の位置に係る情報を、自装置にフィードバックする。そして次のタイミングにおける眼球の撮影画像のうち、瞳孔の位置を中心とした所定範囲の領域のデータを、その他の領域より先に読み出す。

この場合も、瞳孔の像のデータを確実かつ周期的に読み出し出力できる。読み出したデータは、図７（ａ）のアプリケーションプロセッサ２１２や（ｂ）の注視点検出センサ２１６のロジック回路に即時に入力する。これにより、撮影画像における瞳孔の像の位置によらず、注視点の位置座標を周期的に導出できる。図１０から図１５で示した態様の全てあるいは一部を、眼球用撮像センサに適用することにより、本実施の形態と同様の効果が得られる。また眼球用撮像センサと空間用撮像センサの双方に適用することにより、より高速かつ高い精度で、撮影から表示までの処理を実現してもよい。

また本実施の形態では主に、可視光を表す一般的な画像を撮影する撮像センサについて説明したが、センサの種類はそれに限らない。すなわち２次元の画素値として得られる情報であれば、当該画素値が表す物理量の種類は特に限定されない。例えば上述の注視点検出に用いる赤外線センサ、ＰＳＤセンサのほか、被写体の距離情報を取得するデプスセンサ、複数の波長帯の情報を取得するマルチスペクトルセンサなどでもよい。

また本実施の形態では、優先画素列の決定要因を表示画像に対する注視点としたが、センサの検出対象や使用目的によって、優先画素列の決定要因は様々でよい。例えば単に、対象物の像が表れている箇所でもよいし、特徴的な画素値を示している箇所などでもよい。いずれの場合も、重要と考えられる領域のデータを先に読み出して出力することにより、本実施の形態と同様の効果が得られる。

１０画像処理装置、２３ＣＰＵ、２４ＧＰＵ、２６メインメモリ、５０撮影画像データ取得部、５２画像解析部、５４表示画像生成部、５６出力部、１００ヘッドマウントディスプレイ、１１０空間撮像部、１２０注視点検出部、１２２表示画像データ取得部、１２４表示部、２１０眼球用撮像センサ、２１２アプリケーションプロセッサ、２１４空間用撮像センサ、２１６注視点検出センサ、２１４空間用撮像センサ、３２０注視点情報取得部、３２２優先画素列決定部、３２４注視点情報格納部、３２６注視点推定部、３２８画素データ取得部、３３０出力部。

以上のように本発明は、撮像装置、ヘッドマウントディスプレイ、センサ、画像処理装置、コンテンツ再生装置など各種装置と、それを含むシステムなどに利用可能である。

Claims

マトリクス状に配置された画素からなる撮像面に対し、所定の基準により着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、
当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、
前記所定の処理が施された画素のデータを順次出力する出力回路と、
を備えたことを特徴とする電子機器。
前記読み出し処理回路は、前記制御に従う順序で、各画素が保持するアナログ信号をデジタル信号に変換するアナログデジタル変換回路を備えることを特徴とする請求項１に記載の電子機器。
前記制御回路は、前記電子機器から出力された画素のデータを用いて表示装置に表示された画像に対するユーザの注視点の位置座標に対応する、前記撮像面における注視対応点に基づき、前記着目領域を決定することを特徴とする請求項１または２に記載の電子機器。
前記読み出し処理回路は、前記撮像面を縦方向および横方向に分割してなる画素ブロックごとに、データの読み出し対象か否かを制御する信号処理部を備え、
前記制御回路は、前記撮像面における前記着目領域との位置関係に基づき、データを読み出す画素列の順序を、前記画素ブロックごとに決定することを特徴とする請求項１から３のいずれかに記載の電子機器。
前記読み出し処理回路は、前記撮像面における前記着目領域の位置に基づき、各画素が保持するアナログ信号を所定距離にある所定数の画素で加算したうえでデジタル信号に変換する領域を決定することを特徴とする請求項２に記載の電子機器。
前記制御回路は、前記撮像面において前記着目領域の位置に基づき決定した領域ごとに、画素のデータを読み出す頻度を異ならせるように制御することを特徴とする請求項１から５のいずれかに記載の電子機器。
前記読み出し処理回路は、前記頻度に応じたゲイン値を、読み出した画素のデータに乗算することを特徴とする請求項６に記載の電子機器。
前記読み出し処理回路は、前のタイミングで読み出された同じ画素のデータを、前記頻度に応じた数だけ加算することを特徴とする請求項６に記載の電子機器。
前記読み出し処理回路は、前記撮像面に対する被写体の動きの有無によって、前記頻度に応じて画素のデータを加算するか否かを決定することを特徴とする請求項８に記載の電子機器。
前記制御回路は、前記撮像面における前記着目領域の位置に基づき、データの読み出し対象から除外する領域を決定することを特徴とする請求項１から９のいずれかに記載の電子機器。
前のタイミングにおける前記注視点の位置座標の情報を格納する注視点情報格納部と、
前記前のタイミングにおける前記注視点の位置座標を用いて、以後の注視点の位置座標を推定する注視点推定部と、
をさらに備え、
前記制御回路は、推定された注視点を用いて前記着目領域を決定することを特徴とする請求項３に記載の電子機器。
前のタイミングにおける前記注視点の位置座標の情報を格納する注視点情報格納部をさらに備え、
前記制御回路は、前記注視点の移動経路に基づき、前記着目領域の範囲を調整することを特徴とする請求項３に記載の電子機器。
被写空間における被写体の動きまたは音に基づき、以後の注視点の位置座標を推定する注視点推定部をさらに備え、
前記制御回路は、推定された注視点を用いて前記着目領域を決定することを特徴とする請求項３に記載の電子機器。
前記制御回路は、前記表示装置に表示された画像におけるオブジェクトの動きまたは出力された音の定位に基づき、前記着目領域の範囲を調整することを特徴とする請求項３に記載の電子機器。
撮像センサと、当該撮像センサによる撮影画像に基づき生成された画像を表示する表示パネルと、表示画像に対するユーザの注視点を検出する注視点検出器と、を備えたヘッドマウントディスプレイであって、
前記撮像センサは、
前記注視点に対応する、撮像面における注視対応点に基づき着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、
当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、
前記所定の処理が施された画素のデータを順次出力する出力回路と、
を備えたことを特徴とするヘッドマウントディスプレイ。
表示画面を見るユーザの眼球を撮影する撮像センサと、撮影画像に基づき前記表示画面上の注視点の位置座標を取得する画像解析部と、を備えた注視点検出器であって、
前記撮像センサは、
前のタイミングにおける撮影画像に基づき着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御する制御回路と、
当該制御に従う順序で画素のデータを読み出し、所定の処理を施す読み出し処理回路と、
前記所定の処理が施された画素のデータを順次出力する出力回路と、
を備えたことを特徴とする注視点検出器。
マトリクス状に配置された画素からなる撮像面に対し、所定の基準により着目領域を決定するとともに、当該着目領域の位置に依存した順序で、各画素が保持するデータが読み出されるように制御するステップと、
当該制御に従う順序で画素のデータを読み出し、所定の処理を施すステップと、
前記所定の処理が施された画素のデータを順次出力するステップと、
を含むことを特徴とする、撮像センサによる画素データ読み出し方法。