WO2020008511A1 - 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法 - Google Patents

Abstract

画像処理装置は撮影画像８２とデプス画像８０を取得する。領域分割部はデプス画像８０が表す距離値をしきい値判定することにより撮影画像の平面を領域分割する（領域分割画像８４）。圧縮部は領域分割結果に従い、撮影画像８２の解像度や画素値を表す階調数などの詳細度を領域によって異ならせた撮影画像８６のデータを生成し出力する。

Description

電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法

　本発明は、撮影画像を出力する画像処理装置、撮影画像を利用した処理を行うコンテンツ処理装置、それらを含むコンテンツ処理システム、および、それらでなされる画像処理方法に関する。

　ユーザの頭部など体の一部をビデオカメラで撮影し、目、口、手などの所定の領域を抽出し、その領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。また、ビデオカメラで撮影された口や手の動きをアプリケーションの操作指示として受け取るユーザインタフェースシステムも知られている。このように、実世界を撮影しその動きに反応する仮想世界を表示させたり、何らかの情報処理を行ったりする技術は、小型の携帯端末からレジャー施設まで、その規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

　臨場感のある画像表現を実現したり、情報処理を高精度に行ったりするためには、撮影画像や表示画像の解像度やフレームレートを増加させることが望ましい。しかしながらそれにより処理すべきデータ量が増大するため、即時性、応答性の面で課題が生じる。すなわち高解像度化、高フレームレート化を図っても、装置間のデータ伝送速度が十分でなければ、撮影から表示までのレイテンシが増大してしまう。実世界での動きを情報処理や表示画像に即時に反映させる態様では特に、レイテンシの増大が顕在化しやすい。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影画像を用いたコンテンツ処理システムにおいて、伝送に起因するレイテンシを抑制することができる技術を提供することにある。

　本発明のある態様は電子機器に関する。この電子機器は、被写空間における可視光の輝度分布を表す撮影画像を取得する撮影画像取得部と、可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するセンサ画像取得部と、計測値に設けた境界条件に基づき前記撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより撮影画像のデータを削減するデータ圧縮部と、データの削減がなされた撮影画像と領域に係る情報を出力する出力部と、を備えたことを特徴とする。

　ここで「電子機器」は、情報処理端末、情報処理装置、ネットワークで各種装置に接続可能なサーバなど、画像処理を実施する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。あるいは「電子機器」は、撮像装置であってもよいし、その一部を構成する集積回路でもよい。

　本発明の別の態様はコンテンツ処理装置に関する。このコンテンツ処理装置は、被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、領域に係る情報を取得するデータ取得部と、領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生する画像再生部と、再生された撮影画像のデータを用いて出力データを生成し出力する出力部と、を備えたことを特徴とする。

　ここで「コンテンツ処理装置」は、ヘッドマウントディスプレイ、情報端末、情報処理装置、ネットワークで各種装置に接続可能なサーバなど、コンテンツを処理する装置そのもの、およびそれらの装置の一部を構成する集積回路などのいずれでもよい。

　本発明のさらに別の態様はコンテンツ処理システムに関する。このコンテンツ処理システムは、被写空間における可視光の輝度分布を表す撮影画像を送信する電子機器と、撮影画像を用いて出力データを生成するコンテンツ処理装置と、を備えたコンテンツ処理システムであって、電子機器は、撮影画像を取得する撮影画像取得部と、可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するセンサ画像取得部と、計測値に設けた境界条件に基づき撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより撮影画像のデータを削減するデータ圧縮部と、データの削減がなされた撮影画像と前記領域に係る情報を出力する出力部と、を備え、コンテンツ処理装置は、データの削減がなされた撮影画像と領域に係る情報を取得するデータ取得部と、領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生する画像再生部と、再生された撮影画像のデータを用いて出力データを生成し出力する出力部と、を備えたことを特徴とする。

　本発明のさらに別の態様は画像データ出力方法に関する。この画像データ出力方法は電子機器が、被写空間における可視光の輝度分布を表す撮影画像を取得するステップと、可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するステップと、計測値に設けた境界条件に基づき撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより撮影画像のデータを削減するステップと、データの削減がなされた撮影画像と領域に係る情報を出力するステップと、を含むことを特徴とする。

　本発明のさらに別の態様は画像処理方法に関する。この画像処理方法はコンテンツ処理装置が、被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、領域に係る情報を取得するステップと、領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生するステップと、再生された撮影画像のデータを用いて出力データを生成し出力するステップと、を備えたことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、撮影画像を用いたコンテンツ処理システムにおいて、伝送に起因するレイテンシを抑制することができる。

本実施の形態を適用できるコンテンツ処理システムの構成例を示す図である。 本実施の形態における画像処理装置の内部回路構成を示す図である。 本実施の形態における画像処理装置とコンテンツ処理装置の機能ブロックの構成を示す図である。 本実施の形態における、画像処理装置のデータ圧縮部による処理の流れの例を模式的に示す図である。 本実施の形態における、コンテンツ処理装置の画像再生部による処理の流れの例を模式的に示す図である。 本実施の形態における、コンテンツ処理装置の画像再生部による処理の流れの別の例を模式的に示す図である。 本実施の形態において被写体の属性に従いデータの削減率を異ならせる場合の、画像処理装置のデータ圧縮部による処理の流れを模式的に示す図である。 本実施の形態において、被写体認識機能により被写体の像を送信対象から除外する態様における、画像処理装置のデータ圧縮部による処理の流れを模式的に示す図である。 図８で示した流れで生成されたデータを、コンテンツ処理装置の画像再生部が再生する流れを模式的に示す図である。

　図１は本実施の形態を適用できるコンテンツ処理システムの構成例を示す。コンテンツ処理システム１は、実空間を撮影する撮像装置１２、被写体の情報を取得するセンサ１８、撮影画像のデータを出力する画像処理装置１０、撮影画像を用いて所定の情報処理を実施するコンテンツ処理装置１４、および情報処理の結果を出力する表示装置１６を含む。画像処理装置１０とコンテンツ処理装置１４は、ネットワーク８を介して通信を確立する。ネットワーク８はインターネットなどの広域通信網でもよいし、ＬＡＮ（Local Area Network）などのローカルなネットワークでもよい。

　画像処理装置１０と撮像装置１２、画像処理装置１０とセンサ１８、コンテンツ処理装置１４と表示装置１６は、有線ケーブルで接続されてよく、また無線ＬＡＮなどにより無線接続されてもよい。あるいはそれらの装置の２つ以上が一体的に形成されていてもよい。例えば画像処理装置１０、撮像装置１２、およびセンサ１８を合わせて、ネットワーク８への伝送機能を有する撮像装置あるいは電子機器としてもよいし、コンテンツデータを配信するサーバの一部としてもよい。また撮像装置１２、センサ１８、画像処理装置１０、表示装置１６を合わせてヘッドマウントディスプレイとしてもよい。

　このように撮像装置１２、センサ１８、画像処理装置１０、コンテンツ処理装置１４、および表示装置１６の外観形状や接続形態は図示するものに限らない。また画像処理装置１０やコンテンツ処理装置１４には、図示しない入力装置が接続されていてもよい。さらにネットワーク８には、後述するように被写体候補の画像を格納するデータベースを保持する、図示しないサーバーが接続されていてもよい。

　撮像装置１２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど一般的なイメージセンサを備え、被写空間における可視光の輝度分布を表す静止画または動画を撮影する。センサ１８は、撮像装置１２が撮影する被写体あるいは被写空間に係る所定の情報を取得する。ここでセンサ１８が最終的に取得する情報は、撮像装置１２が取得する可視光の輝度分布とは異なるものとする。

　例えばセンサ１８は、被写体までの距離を画素値として表したデプス画像を生成するデプスカメラであってよい。この場合、センサ１８は、被写空間に近赤外線などの参照光を照射する機構と、その反射光を検出するＣＭＯＳセンサとで構成され、照射から検出までの時間や、反射光の分布のひずみなどにより被写体までの距離を導出する。前者の手法はＴｏＦ（Time of Flight）方式、後者の手法はパターン照射方式として一般に知られる技術である。

　あるいはセンサ１８を、所定の間隔で左右に配置した２つのカメラからなるステレオカメラとしてもよい。この場合、センサ１８は、２つのカメラが撮影した一対の輝度画像から対応点を抽出し、その位置のずれを視差として三角測量の原理により被写体までの距離を導出する。ステレオカメラを用いた測距技術も一般に知られている。なおこの場合、ステレオカメラの一方が撮像装置１２であってもよい。

　あるいはセンサ１８は、可視光線以外の波長を含む数十の波長帯の電磁波を検出するマルチスペクトルカメラ、それ以上の数の波長帯の電磁波を検出するハイパースペクトルカメラであってもよい。いずれにしろセンサ１８が検出する物理量は、撮像装置１２の視野に対応する平面に分布として表せる、実空間に係るデータであれば、その種類は限定されない。以後、センサ１８が取得した、被写空間に係る計測値の分布を「センサ画像」と呼ぶことがある。

　画像処理装置１０は、撮像装置１２による撮影画像、およびセンサ１８によるセンサ画像を圧縮するなどして伝送形態としたうえ、ネットワーク８を介してコンテンツ処理装置１４に送信する。ここで画像処理装置１０は、センサ画像が表す計測値に設けた境界条件に基づき撮影画像を領域分割し、領域によって詳細度に差を設ける。定性的には、画像平面において重要な領域とそれ以外の領域を分け、後者の領域について、解像度を下げる、画素値を表す階調数を下げる、といった手段でデータを削減することにより、伝送すべきデータ量を軽減させる。　画像処理装置１０は、そのようにデータを削減した撮影画像と、分割した領域に係る情報、例えばセンサ画像そのものを出力する。

　コンテンツ処理装置１４は、送信されたデータを用いて表示画像を生成する。このときコンテンツ処理装置１４は、センサ画像など領域に係る情報を用いてデータが削減された領域を特定したうえ、そのデータ形式を復元することにより、画像全体で共通のデータ形式とする。データ削減の手段が不可逆な場合、当該領域の詳細度が完全に復元されるものではないが、少なくとも重要な領域については詳細度が維持される。以後、そのようにデータ形式を復元する処理を「再生」と呼ぶ。

　コンテンツ処理装置１４は再生した撮影画像を用いて情報処理を実施したり、表示画像や音声などの出力データを生成したりする。コンテンツ処理装置１４はこの際にも、センサ画像を利用できる。換言すれば、情報処理に必要なセンサ画像を、データ削減のための領域分割にも利用することにより、伝送すべきデータの量を効率的に軽減できる。

　なおコンテンツ処理装置１４が生成する出力データの内容は特に限定されず、ユーザがシステムに求める機能や起動させたアプリケーションの内容などによって様々であってよい。例えばコンテンツ処理装置１４は、センサ１８が生成したデプス画像に基づき被写体の実空間での位置を特定することで、被写体とインタラクションする仮想オブジェクトを撮影画像上に描画する。あるいは被写体の動きをコマンド入力に変換することでゲームを進捗させ、そのゲーム画面を生成してもよい。

　表示装置１６は、画像を出力する液晶、プラズマ、有機ＥＬなどのディスプレイと、音声を出力するスピーカーを備え、コンテンツ処理装置１４から供給された出力データを画像や音声として出力する。表示装置１６は、テレビ受像器、各種モニター、携帯端末の表示画面、カメラの電子ファインダなどでもよいし、ユーザの頭に装着してその眼前に画像を表示するヘッドマウントディスプレイでもよい。

　図２は画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、外部の機器へデータを出力する出力部３６、撮像装置１２、センサ１８や図示しない入力装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

　ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なおコンテンツ処理装置１４の内部回路構成も同様でよい。

　図３は画像処理装置１０とコンテンツ処理装置１４の機能ブロックの構成を示している。同図に示す各機能ブロックは、ハードウェア的には、図２で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　画像処理装置１０は、撮像装置１２から撮影画像のデータを取得する撮影画像取得部５０、センサ１８からセンサ画像のデータを取得するセンサ画像取得部５２、センサ画像を用いて撮影画像のデータを圧縮するデータ圧縮部５４、および、圧縮後の撮影画像とセンサ画像のデータを出力する出力部５６を含む。撮影画像取得部５０、センサ画像取得部５２はいずれも、図２の入力部３８、ＣＰＵ２３、メインメモリ２６などで実現され、前者は撮影画像のデータを、後者はセンサ画像のデータを取得する。すなわち撮影画像取得部５０は、被写空間における可視光の輝度分布を表す撮影画像を取得する。またセンサ画像取得部５２は、可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得する。

　好適には、センサ画像取得部５２は撮影画像における像と対応するようなセンサ画像（例えばデプス画像）を取得する。したがって撮影画像を動画とする場合、センサ１８からも所定のレートでセンサ画像を取得することが望ましい。ただし撮影画像とセンサ画像の取得レートは同一でなくてもよい。データ圧縮部５４は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、撮影画像のデータサイズを圧縮する。詳細にはデータ圧縮部５４は、領域分割部５８と圧縮部６０を備える。

　領域分割部５８は、センサ画像に基づき撮影画像の平面を所定の規則で領域分割する。例えばセンサ画像をデプス画像とした場合、当該デプス画像においてしきい値より小さい画素値を有する領域とそれ以外の領域とに分割する。これにより被写体の距離に応じて重要性を切り分け、しきい値より遠い被写体、あるいは逆に近い被写体の詳細度を下げることができる。

　遠い被写体と近い被写体のどちらの詳細度を下げるかは、撮影状況に応じて決定する。例えば近距離から音楽イベントを撮影する場合、アーティストより後方にいる被写体の詳細度を下げることが考えられる。また公園などで遠くにいる子供を撮影する場合は、近景の詳細度を下げることが考えられる。

　領域分割の基準は、センサ画像の種類や撮影状況、被写体の種類などによって様々に考えられる。例えば距離のほか、色、形状、温度、波長帯のいずれか、またはそれらの組み合わせによって領域を分割してもよい。またセンサ画像取得部５２が撮像装置１２の内部パラメータを取得することにより、領域分割部５８は、当該内部パラメータに基づき領域分割してもよい。内部パラメータとしては、絞り値、焦点距離、フォーカス位置、撮像面の対角長などが挙げられる。

　これらのパラメータにより、撮影画像のうちピントが合っている領域が判明する。それ以外の領域は元から像が鮮明でないことから、データを削減しても影響は小さいと考えられる。したがって領域分割部５８は、ピントが合っている領域を、焦点深度の範囲などに基づき決定することで領域分割する。この手法はすなわち、被写界深度の範囲より近い、あるいは遠い被写体の像を検出していることになるため、実質的に被写体の距離に基づく領域分割と同等である。このような撮像装置１２の内部パラメータによる基準と、センサ画像による基準を適宜組み合わせて領域分割してもよい。

　またそのような基準に対し境界条件を１つ設定し、重要か否かで２種類の領域に分けてもよいし、境界条件を２つ以上設定することで、重要度に対応する３種類以上の領域に分けてもよい。いずれにしろ領域分割部５８には、分割の基準とするパラメータとその境界条件をあらかじめ設定しておく。あるいはユーザによる設定や撮影画像の解析結果などによりそれらを可変としてもよい。

　圧縮部６０は撮影画像のうち、領域分割部５８が分割してなる領域の少なくともいずれかで詳細度を下げることによりデータを削減する。各領域に対するデータの削減量や削減方法などの規則はあらかじめ設定しておく。あるいはユーザによる設定や撮影画像の解析結果などによりそれらを可変としてもよい。例えば撮像面から近い被写体が重要となる状況では、分割された領域のうち、デプス画像において所定のしきい値より小さい画素値を有する領域については元の撮影画像のデータをそのまま維持し、それ以外の領域について、解像度を低下させたり画素値を表す階調数を低下させたりする。

　遠い被写体が重要となる状況では当然、デプス画像において所定のしきい値より大きい画素値を有する領域については元の撮影画像のデータをそのまま維持し、それ以外の領域について、解像度を低下させたり画素値を表す階調数を低下させたりする。境界条件を２つ以上とした場合は、解像度や階調数の低下の度合いを２段階以上に変化させる。なお最重要とされた領域のデータは元の状態を維持することに限定されず、場合によっては低い低減率で解像度や階調数を低下させてもよい。またデータを削減する手段として、圧縮符号化する際の演算手法や量子化の粒度を変化させてもよい。

　出力部５６は、図２のＣＰＵ２３、メインメモリ２６、通信部３２などで実現され、データ圧縮部５４により圧縮された撮影画像のデータを、センサ画像のデータとともに出力する。なお出力部５６は、撮影画像やセンサ画像のデータを、一般的な手段によりさらに圧縮符号化したりパケット化したりして出力してもよい。出力先は、コンテンツ処理装置１４でもよいし、コンテンツ処理装置１４が読み取り可能な記録媒体でもよい。あるいは画像処理装置１０の記憶部３４に一旦格納しておき、コンテンツ処理装置１４からの要求に応じて送信するようにしてもよい。

　コンテンツ処理装置１４は、撮影画像とセンサ画像のデータを取得するデータ取得部６２、撮影画像を再生する画像再生部６４、撮影画像を用いて所定の情報処理を実施する情報処理部６６、および、情報処理の結果生成された表示画像や音声のデータを出力する出力部６８を含む。

　データ取得部６２は、図２の通信部３２、ＣＰＵ２３、メインメモリ２６などで実現され、画像処理装置１０から圧縮後の撮影画像とセンサ画像のデータを取得する。すなわちデータ取得部６２は、被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、当該領域に係る情報を取得する。撮影画像が動画であれば、両者を所定のレートで順次取得する。記録媒体を介する場合、データ取得部６２は記録媒体駆動部４０によりそれらの画像データを順次読み出す。記録媒体を用いる場合も、本実施の形態によればデータの記憶容量を抑えることができる。なお取得した画像のデータが一般的な手法により圧縮符号化されている場合、データ取得部６２はそれを復号しておく。ただしこの段階では、撮影画像は領域によって解像度や画素値の階調数（輝度空間）が異なっている。

　画像再生部６４は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、領域によって解像度や階調数が異なる撮影画像を再生する。より詳細には画像再生部６４は、領域分割部７０と再生部７２を含む。領域分割部７０は、画像処理装置１０の領域分割部５８の処理と同様に、センサ画像に基づき撮影画像の平面を所定の規則で領域分割する。分割規則は当然、画像処理装置１０の領域分割部５８が用いる規則と共通とする。

　再生部７２は、圧縮後の撮影画像のデータのうちデータが削減されている領域を、領域分割部７０による領域分割の結果から特定し、当該データを元の表現形式に戻すことで撮影画像を再生する。例えば解像度を低下させた場合は、元の解像度に対応する数の画素数になるようにデータを挿入する。画素値の階調数を低下させた場合は、元の階調数での値に換算する。これにより、一部の領域で詳細度が低いとしても画像の形式としては元の状態に戻すことができる。

　情報処理部６６は、図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、再生された撮影画像を用いて所定の情報処理を実施し、出力データを生成する。この際、デプス画像などのセンサ画像も利用してよい。上述のとおり情報処理部６６が行う処理の内容は特に限定されない。出力部６８は図２のＣＰＵ２３、メインメモリ２６、出力部３６などで実現され、そのようにして生成された表示画像などの出力データを表示装置１６に出力する。なおコンテンツ処理装置１４の画像再生部６４は、ゲームや表示に係る処理を実施する装置とは独立した画像再生装置としてもよい。

　図４は、画像処理装置１０のデータ圧縮部５４による処理の流れの例を模式的に示している。まずデータ圧縮部５４は、撮影画像８２と、センサ画像の一例であるデプス画像８０のデータを取得する。デプス画像８０は上述のとおり、撮影画像８２に表れている被写体の像の画素値として、撮像面から被写体までの距離を表す値を保持する画像である。図示する例では、距離が小さいほど大きな輝度で表している。また最終的に、図示するようにデプス画像８０の画角が撮影画像８２と対応づけられれば、センサ１８による当初の計測視野は、撮像装置１２の視野と一致していなくてもよい。

　領域分割部５８は、デプス画像８０が表す距離値を、あらかじめ設定されたしきい値と比較することにより、撮影画像８２の画像平面を領域分割する（Ｓ１０）。例えばしきい値より小さい領域を重要性の高い像とし、それ以外を重要性の低い像とする。図４では前者を白抜きの領域８５ａ、後者を網掛けの領域８５ｂとして表した領域分割画像８４によって分割の結果を表現している。ただし領域分割情報の形式をこれに限る趣旨ではない。

　圧縮部６０は、領域分割画像８４を参照し、撮影画像８２のうち重要性の低い領域８５ｂについてデータを削減した、圧縮後の撮影画像８６を生成する（Ｓ１２、Ｓ１４）。図では領域８５ｂに対応する領域のデータが削減されたことをグレーで示している。出力部５６は、このように画像平面上の位置によって詳細度が異なるデータを、従来技術と同様に、適宜圧縮符号化、パケット化して出力する。領域によって解像度や画素値の階調数に差が生じているため、コンテンツ処理装置１４では、そのような差を踏まえた処理が必要となる。

　図５は、コンテンツ処理装置１４の画像再生部６４による処理の流れの例を模式的に示している。まず画像再生部６４は、圧縮後の撮影画像８６とセンサ画像の一例であるデプス画像８０のデータを取得する。この例での圧縮後の撮影画像８６は、重要性の高い領域８５ａ以外の領域８５ｂの解像度を低下させた画像である。図では領域８５ｂの解像度が低いことを、画素領域の境界を表す格子の間隔の広さで示している。なお図示するように解像度を低下させない領域は、重要性の高い領域８５ａを包含していれば、厳密に一致していなくてもよい。

　また画像再生部６４が取得した段階では、撮影画像８６のデータは図示するような画像を構成する状態とはなっていない。すなわち画素値を表すデータ列が、例えば画像の左上の位置から順次取得されるため、１画素の領域が異なれば、画像平面上の位置座標との対応が定まらない。一方、このようなデータを送信対象とすることで、画像を表す画素数が少なくなり、１フレームの送信時間を短縮できる。

　領域分割部７０は、画像処理装置１０の領域分割部５８と同様に、デプス画像８０が表す距離値を、あらかじめ設定されたしきい値と比較することにより、撮影画像８２の画像平面を領域分割する（Ｓ２０）。なお上述のとおり情報処理部６６においてデプス画像を利用した情報処理を実施する場合に、当該デプス画像８０を領域分割にも利用することで、画像処理装置１０から送信すべきデータが増えることはない。デプス画像に限らず、情報処理の目的で用いる画像を流用して領域分割に用いることにより、データ削減効果が大きくなる。

　一方、情報処理として撮影画像のみを必要とする場合など、場合によっては領域分割画像８８を画像処理装置１０から送信するようにしてもよい。再生部７２は、領域分割画像８８など分割領域の情報を参照し、データが削減された領域、同図の場合は解像度が低い領域の解像度を元に戻す（Ｓ２２、Ｓ２４）。例えば縦横に１／Ｎの解像度に低下させた場合、１画素をＮ行Ｎ列の画素群のデータに変換する。当該画素群の画素値は、元の１画素の画素値と同じとしてもよいし、周囲の画素の値に基づき補間により求めてもよい。補間には従来技術を適用できる。これにより、元の撮影画像と同じ解像度の再生画像９０を生成できる。

　図６は、コンテンツ処理装置１４の画像再生部６４による処理の流れの別の例を模式的に示している。まず画像再生部６４は、圧縮後の撮影画像のデータ９２とセンサ画像の一例であるデプス画像８０のデータを取得する。この例で撮影画像のデータ９２は、各画素の画素値を表す階調数が領域によって異なる。同図ではこのことを、画素列を表すストリーム中の長さで示している。すなわち重要性の高い領域８５ａの画素値（例えば画素値９２ａ）は元の階調数で表し、それ以外の領域８５ｂの画素値（例えば画素値９２ｂ）はそれより小さい階調数で表す。

　この場合も、ストリームデータにおける画素ごとのデータ長が変動することにより、画像平面上の位置座標との対応が定まらない一方、画像全体を表すデータサイズが減ることにより、１フレームの送信時間を短縮できる。領域分割部７０は図５と同様、デプス画像８０が表す距離値を、あらかじめ設定されたしきい値と比較することにより、撮影画像８２の画像平面を領域分割する（Ｓ３０）。

　再生部７２は、領域分割画像８８など分割領域の情報を参照し、階調数を低減させた領域における階調表現を元に戻す（Ｓ３２、Ｓ３４）。例えば階調数を１／Ｍに低減させた場合、すなわち元の画素値に１／Ｍを乗算して輝度を表した場合、取得した画素値をＭ倍にすることで輝度空間を元に戻す。これにより、元の撮影画像と同じ輝度空間で画素値を表した再生画像９４を生成できる。

　解像度の低減や階調数の低減など、データ量を削減する手段は、いずれかのみを実施してもよいし、同時に複数の手段を講じてもよい。例えば重要性の低い領域については解像度を低下させたうえ、その画素値の階調数を下げてもよい。重要性を３段階以上に分ける場合は、重要性が低いほど多くの手段でデータを削減してもよい。あるいは手段は変化させずに、解像度の低減率や階調の低減率などデータ削減の割合を段階的に高めてもよい。さらに被写体自体の属性に従い、データの削減手段や削減率を異ならせてもよい。

　この場合、画像処理装置１０の圧縮部６０には被写体認識機能を設ける。図７は、被写体の属性に従いデータの削減率を異ならせる場合の、画像処理装置１０のデータ圧縮部５４による処理の流れを模式的に示している。図４と同様、画像処理装置１０のデータ圧縮部５４は、撮影画像８２とセンサ画像の一例であるデプス画像８０のデータを取得する。そして領域分割部５８は、デプス画像８０が表す距離値をしきい値判定することにより、撮影画像８２の画像平面を領域分割する（Ｓ４０）。その結果、例えば撮像面に近い被写体の像の領域８５ａとそれ以外の領域８５ｂからなる領域分割画像８４が生成される。

　一方、圧縮部６０は、撮影画像８２に対し被写体認識処理を施し、画像として写っている被写体を認識する（Ｓ４２）。例えば顔検出処理により、撮影画像８２における顔の像の領域１０４ａ、１０４ｂを取得する。なお被写体を認識する技術は顔検出に限らず、実用化されているいかなる技術を導入してもよい。また用いる技術によって、使用する画像も限定されない。例えばデプス画像８０を用いてもよいし、マルチスペクトル画像やハイパースペクトル画像を用いてもよい。

　それらの画像を用いて被写体が生体か否かを区別してもよいし、像の形状、色、模様などの外観の特徴に基づき、画像処理装置１０やサーバー等にあらかじめ準備したデータベースを参照することにより被写体を同定してもよい。さらにそのような像の特徴から被写体が何であるかを導き出す深層学習機能をサーバーまたは画像処理装置１０に設けることにより、被写体認識の精度を高めてもよい。

　そして圧縮部６０は、領域分割部５８が分割した領域の情報と、被写体認識の結果に基づき、各領域のデータ削減率を決定する。図示する例では、撮像面から遠い領域８５ｂに人の顔の像の領域１０４ｂが含まれている。この場合、顔の像の領域１０４ｂについては、領域８５ｂのその他の領域よりデータの削減率を抑える。すなわち生体の像の詳細度を、その周囲の領域の詳細度より高くする。結果として、撮像面に近い被写体の像の領域８５ａ（＝１０４ａ）、撮像面から遠いが顔が写っている領域１０４ｂ、およびその他の領域１０４ｃ、という３つの領域が形成されることになる。

　圧縮部６０は最終的な領域分割画像１０２を参照し、撮影画像８２のデータを段階的に削減した、圧縮後の撮影画像１０６を生成する（Ｓ４６、Ｓ４８）。図ではデータ削減率が高いほど濃いグレーで示している。この場合、コンテンツ処理装置１４の再生部７２にも被写体認識の機能を設け、圧縮部６０と同様の動作により顔の像の領域１０４ａ、１０４ｂを検出すれば、図７と逆の処理により撮影画像８２を再生できる。なおコンテンツ処理装置１４の被写体認識機能も、像の特徴に基づきサーバーに問い合わせたり深層学習したりして被写体を同定する機能を含んでよい。

　このようにすると、センサ１８が取得できる距離値などの情報以外に、実際の被写体を加味して重要性を決定し、それに応じてデータの削減率を調整できる。図示する例では、撮像面からの距離が遠くても、人の顔であればある程度の詳細度を維持することができ、それを用いた情報処理や表示への影響を抑えつつ、データを削減できる。なお生体を他より重要としたり、特定の形状や色の被写体を重要とするなど、重要性の設定は様々に考えられることは当業者には理解されるところである。

　これまで述べた例は主に、解像度や画素値の階調数を削減することをデータ削減手段としていた。一方、被写体認識機能によりサーバーなどから像の提供が可能な場合、送信対象から被写体の像そのものを削除することにより、データ量をさらに削減してもよい。図８は、被写体認識機能により被写体の像を送信対象から除外する態様における、画像処理装置１０のデータ圧縮部５４による処理の流れを模式的に示している。

　まず画像処理装置１０のデータ圧縮部５４は、図７と同様、撮影画像８２とセンサ画像の一例であるデプス画像８０のデータを取得する。そして領域分割部５８は、デプス画像８０が表す距離値をしきい値判定することにより、撮影画像８２の画像平面を領域分割する（Ｓ５０）。その結果、たとえば撮像面に近い被写体の像の領域８５ａとそれ以外の領域８５ｂからなる領域分割画像８４が生成される。

　一方、圧縮部６０は、撮影画像８２に対し被写体認識処理を施し、画像として写っている被写体を認識する（Ｓ５２）。その結果、例えば顔の像の領域１１２ａとジュース缶の像の領域１１２ｂが検出される。検出手法は上述同様、特に限定されない。ここで圧縮部６０は、被写体認識の一環として、あるいは被写体認識後、色、模様、形などが合致すると思われる物がデータベース１２０ａに登録されているか否かを確認する（Ｓ５４）。データベース１２０ａは被写体候補の物の画像あるいは３次元モデル、特徴量、識別情報などを対応づけたデータを保持し、画像処理装置１０の内部、あるいはネットワーク８を介して接続可能なサーバーに準備しておく。

　合致しているか否かの判定には、実用化されている照合技術のいずれを採用してもよい。圧縮部６０は、領域分割部５８が分割した領域の情報と、被写体認識の結果に基づき、各領域のデータ削減率を決定する。ここで圧縮部６０は、認識した被写体がデータベース１２０ａに登録されていた場合、当該被写体の像の領域１１２ｂの画素値を無効データに変換する。例えば当該領域の画素値を全て「０」など所定の値とする。結果として、撮像面に近い被写体の像の領域８５ａ（＝１１２ａ）、撮像面から遠いがデータベース１２０ａに画像が登録されている被写体の像の領域１１２ｂ、およびその他の領域１１２ｃ、という３つの領域が形成されることになる。

　なお撮像面に近い被写体であっても、場合によってはデータベース１２０ａに登録された画像で代用することとして送信対象から除外してもよい。圧縮部６０は最終的な領域分割画像１１０を参照し、撮影画像８２のデータを削減した、圧縮後の撮影画像１１４を生成する（Ｓ５６、Ｓ５８）。この際、データベース１２０ａに被写体が登録されていることにより送信対象から除外した像については、その被写体の識別情報と位置に係る情報を表したメタデータ１１６を同時に生成する。図示する例では「ＡＡジュース」という商品名と、３次元空間での位置座標を示すメタデータ１１６を生成している。

　なお画像の再生時に、データベースから画像またはモデルデータを取得して画像平面に描画できれば、メタデータとして表す情報の形式はこれに限らない。例えば画像平面上での位置、画像の縮尺率、表示角度、彩度や明度の変化率などを含めてもよい。またデータベースに被写体の３次元モデルを格納する場合、メタデータ１１６に被写体の姿勢の情報を含めてもよい。当該姿勢の情報は、圧縮部６０が撮影画像８２における像の形状などから推定できる。あるいはモーションセンサを内蔵した被写体を撮影する環境においては、圧縮部６０が当該モーションセンサの計測値を取得して、その姿勢を導出しメタデータに含めてもよい。

　図９は、図８で示した流れで生成されたデータを、コンテンツ処理装置１４の画像再生部６４が再生する流れを模式的に示している。まず画像再生部６４は、圧縮後の撮影画像１１４のデータとメタデータ１１６、およびセンサ画像の一例であるデプス画像８０のデータを取得する。領域分割部７０は、画像処理装置１０の領域分割部５８と同様に、デプス画像８０が表す距離値をしきい値判定することにより、撮影画像１１４の画像平面を領域分割する（Ｓ６０）。

　再生部７２は、領域分割画像８８など分割領域の情報を参照し、データ量が削減された領域８５ｂのデータを、図５や図６で説明した手法により再生する（Ｓ６２、Ｓ６４）。さらに再生部７２は、メタデータ１１６に基づきデータベース１２０ｂに対し問い合わせを行い、撮影画像１１４のうち無効データが代入されている領域の画像を描画することで、撮影画像の再生画像１２２を生成する（Ｓ６６）。データベース１２０ｂに被写体の３次元モデルを格納している場合は、メタデータ１１６に示された３次元の位置座標に基づき透視変換を行い画像平面に像を描画する。データベース１２０ｂに被写体の２次元画像を格納している場合は、それを画像平面にマッピングする。

　データベース１２０ｂは、コンテンツ処理装置１４の内部、あるいはネットワーク８を介して接続可能なサーバーに準備しておく。当然、画像処理装置１０が参照するデータベース１２０ａとコンテンツ処理装置１４が参照するデータベース１２０ｂは同じ情報を格納し、例えば同一サーバーの同一データベースであってもよい。また、動画像のように同一の被写体が多数のフレームにおいて連続して表れる場合、コンテンツ処理装置１４に一旦、当該被写体のデータを取得しておけば、その後はデータベース１２０ｂを参照することなく高速な描画が可能となる。

　以上述べた本実施の形態によれば、撮影画像を用いて情報処理を行うシステムにおいて、被写体の重要性を示唆する情報を撮影とともに取得し、その結果に基づいて領域ごとに画像の詳細度に差を設ける。これにより、重要な部分については情報量を維持したまま、撮影画像のデータを削減できる。結果として、１フレームあたりのデータ伝送量を軽減でき、伝送に要する時間を短縮できる。例えばヘッドマウントディスプレイに搭載された撮像装置のように、視点の位置や方向が変化しやすい撮影環境においても、重要な領域の詳細度を維持したまま、撮影画像の視野に即座に反応する画像を表示できる。

　また、データベースに被写体候補のモデルデータや画像を登録しておき、実際の撮影画像に対する被写体認識により特定された被写体が登録されている場合は、撮影画像からその像を削除したうえで送信する。コンテンツ処理装置においてデータベースを参照して被写体のデータを取得し、送信された撮影画像に描画することにより、１フレームあたりのデータ伝送量をさらに削減できる。このようにして伝送速度を上げることにより、情報処理の時間を確保できるため、当該情報処理や表示画像の精度を向上させることができる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　１　コンテンツ処理システム、　１０　画像処理装置、　１２　撮像装置、　１４　コンテンツ処理装置、　１６　表示装置、　１８　センサ、　２３　ＣＰＵ、　２４　ＧＰＵ、　２６　メインメモリ、　３２　通信部、　３４　記憶部、　３６　出力部、　３８　入力部、４０　記録媒体駆動部、　５０　撮影画像取得部、　５２　センサ画像取得部、　５４　データ圧縮部、　５６　出力部、　５８　領域分割部、　６０　圧縮部、　６２　データ取得部、　６４　画像再生部、　６６　情報処理部、　６８　出力部、　７０　領域分割部、　７２　再生部。

　以上のように本発明は、撮像装置、ヘッドマウントディスプレイ、センサ、画像処理装置、コンテンツ再生装置など各種装置と、それを含むシステムなどに利用可能である。

Claims (16)

1. 　被写空間における可視光の輝度分布を表す撮影画像を取得する撮影画像取得部と、
   　前記可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するセンサ画像取得部と、
   　前記計測値に設けた境界条件に基づき前記撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより前記撮影画像のデータを削減するデータ圧縮部と、
   　データの削減がなされた撮影画像と前記領域に係る情報を出力する出力部と、
   　を備えたことを特徴とする電子機器。
2. 　前記センサ画像取得部は、被写体までの距離を画素値として表したデプス画像を取得し、
   　前記データ圧縮部は、被写体までの距離に基づき前記撮影画像を領域に分割することを特徴とする請求項１に記載の電子機器。
3. 　前記センサ画像取得部は前記撮影画像における焦点に係る情報を取得し、
   　前記データ圧縮部は、ピントが合っている領域を決定することにより前記撮影画像を領域に分割することを特徴とする請求項１に記載の電子機器。
4. 　前記データ圧縮部は、前記領域の少なくともいずれかにおいて、解像度または画素値を表す階調数を低下させることにより、前記撮影画像のデータを削減することを特徴とする請求項１から３のいずれかに記載の電子機器。
5. 　前記センサ画像取得部は、可視光外の波長帯を含むマルチスペクトル画像またはハイパースペクトル画像を取得することを特徴とする請求項１に記載の電子機器。
6. 　前記データ圧縮部は、前記撮影画像または前記計測値の分布を表す画像に基づき被写体認識を実施し、認識された被写体の像の詳細度を決定することを特徴とする請求項１から５のいずれかに記載の電子機器。
7. 　前記データ圧縮部は、前記被写体認識の結果、判明した生体の像の詳細度を、その周囲の領域の詳細度より高くすることを特徴とする請求項６に記載の電子機器。
8. 　前記データ圧縮部は、前記被写体認識の結果判明した、データベースに登録済みの被写体の像を前記撮影画像から削除したうえ、前記データベースに格納された画像を用いて前記撮影画像に描画するために必要な情報をメタデータとして生成し、
   　前記出力部は、前記メタデータをさらに出力することを特徴とする請求項６に記載の電子機器。
9. 　前記データ圧縮部は、前記撮影画像または前記計測値の分布を表す画像に基づき被写体を推定する深層学習機能を利用して、前記被写体認識を実施することを特徴とする請求項６からの８のいずれかに記載の電子機器。
10. 　被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、前記領域に係る情報を取得するデータ取得部と、
    　前記領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生する画像再生部と、
    　再生された撮影画像のデータを用いて出力データを生成し出力する出力部と、
    　を備えたことを特徴とするコンテンツ処理装置。
11. 　前記画像再生部は、解像度または画素値を表す階調数が低い領域について、その他の領域に合わせるように、画素の挿入または画素値の変換を実施することを特徴とする請求項１０に記載のコンテンツ処理装置。
12. 　被写空間における可視光の輝度分布を表す撮影画像を送信する電子機器と、前記撮影画像を用いて出力データを生成するコンテンツ処理装置と、を備えたコンテンツ処理システムであって、
    　前記電子機器は、
    　前記撮影画像を取得する撮影画像取得部と、
    　前記可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するセンサ画像取得部と、
    　前記計測値に設けた境界条件に基づき前記撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより前記撮影画像のデータを削減するデータ圧縮部と、
    　データの削減がなされた撮影画像と前記領域に係る情報を出力する出力部と、
    　を備え、
    　前記コンテンツ処理装置は、
    　前記データの削減がなされた撮影画像と前記領域に係る情報を取得するデータ取得部と、
    　前記領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生する画像再生部と、
    　再生された撮影画像のデータを用いて出力データを生成し出力する出力部と、
    　を備えたことを特徴とするコンテンツ処理システム。
13. 　被写空間における可視光の輝度分布を表す撮影画像を取得するステップと、
    　前記可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得するステップと、
    　前記計測値に設けた境界条件に基づき前記撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより前記撮影画像のデータを削減するステップと、
    　データの削減がなされた撮影画像と前記領域に係る情報を出力するステップと、
    　を含むことを特徴とする、電子機器による画像データ出力方法。
14. 　被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、前記領域に係る情報を取得するステップと、
    　前記領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生するステップと、
    　再生された撮影画像のデータを用いて出力データを生成し出力するステップと、
    　を備えたことを特徴とする、コンテンツ処理装置による画像処理方法。
15. 　被写空間における可視光の輝度分布を表す撮影画像を取得する機能と、
    　前記可視光の輝度分布と異なる、被写空間に係る計測値の分布を表す画像を取得する機能と、
    　前記計測値に設けた境界条件に基づき前記撮影画像を領域に分割し、当該領域によって詳細度に差を設けることにより前記撮影画像のデータを削減する機能と、
    　データの削減がなされた撮影画像と前記領域に係る情報を出力する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。
16. 　被写空間における可視光の輝度分布を表す撮影画像のうち領域によって詳細度の異なる画像のデータと、前記領域に係る情報を取得する機能と、
    　前記領域に係る情報に基づき、画像全体で共通の形式を有する撮影画像のデータを再生する機能と、
    　再生された撮影画像のデータを用いて出力データを生成し出力する機能と、
    　をコンピュータに実現させることを特徴とするコンピュータプログラム。

Images