JP6808740B2 - 全方位画像撮像方法及びその方法を行う装置 - Google Patents

Description

本発明は、全方位画像撮像方法及びその方法を行う装置に関し、より詳細には、ウェアラブルデバイスに位置した複数の画像撮像部をベースに全方位画像（または３６０度の画像）を撮像する方法及びその方法を行う装置に関する。

全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）画像システムとは、特定の時点を基準に全方位（３６０度）の画像情報を記録することが可能な画像システムをいう。既存の画像システムに比べて非常に広い視野角（ｆｉｅｌｄ−ｏｆ−ｖｉｅｗ）の画像を得ることができるので、最近、コンピュータビジョン、移動ロボットなどの研究分野に加え、監視システム、仮想現実システム、ＰＴＺ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、ビデオ会議などの実用分野に至るまで、その応用の幅がますます広がっている。

全方位画像を得るために様々な方法が採用できる。例えば、単一のビューポイント（ｓｉｎｇｌｅ ｖｉｅｗ ｐｏｉｎｔ）を満足する光軸（ｏｐｔｉｃａｌ ａｘｉｓ）を基準に１台のカメラを回転させて得た画像を接合して全方位画像が生成できる。或いは、複数台のカメラを環状構造に配列してそれぞれのカメラから得た画像を組み合わせる方法が採用されてもよい。ユーザーは、さまざまな全方位画像を得るための全方位画像処理装置（または全方位画像処理カメラ）を用いて全方位画像を生成することができる。

ところが、現在の全方位画像処理装置は、携帯が不便なので、ユーザーが日常生活の中で自然に全方位画像を得ることができないという問題点を持つ。例えば、現在の全方位画像処理装置は、より安定的に全方位画像を得るために、一定の場所に設置し（または取り付け（ｍｏｕｎｔ））或いはユーザーが両手で全方位画像処理装置を持って全方位画像を撮像する。または、ハンドヘルド（ｈａｎｄ ｈｅｌｄ）方式で撮影が行われる場合、３６０度カメラの特性上、撮影者も一緒に撮影されて撮影者のイメージが全方位画像に含まれることもある。

よって、ユーザーが全方位画像処理装置を用いて全方位画像を容易かつ自然に取得することが難しい。

本発明は、上述した問題点をすべて解決することをその目的とする。
また、本発明は、ユーザーの全方位画像処理装置の簡便な携帯、及び両手が自由な状態での全方位画像の撮像を他の目的とする。

また、本発明は、互いに異なる位置に配置された複数台のカメラそれぞれによって撮像された複数の画像をステッチ（ｓｔｉｔｃｈｉｎｇ／補正）して自然な全方位画像を生成することを別の目的とする。

上記の目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によれば、全方位画像処理装置は、全方位画像の生成のための複数の画像を生成するように実現された複数の画像撮像部と、前記複数の画像を処理するために実現されたプロセッサとを含み、前記複数の画像は、前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し得る。

本発明の他の態様によれば、全方位画像処理方法は、複数の画像撮像部が全方位画像の生成のための複数の画像を生成する段階と、前記複数の画像を処理して全方位画像を生成する段階とを含むことができるが、前記複数の画像は、前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し得る。

本発明によれば、ユーザーが全方位画像処理装置を手軽に携帯し、両手が自由な状態で全方位画像を撮像することができる。

また、本発明によれば、全方位画像処理装置上で互いに異なる位置に配置された複数のカメラそれぞれによって撮像された複数の画像をステッチ（ｓｔｉｔｃｈｉｎｇ）／補正して自然な全方位画像が生成できる。

本発明の実施形態に係る全方位画像処理装置を示す概念図である。 本発明の実施形態に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。 本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。 本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。 本発明の実施形態に係る全方位画像処理装置の固定方法を示す概念図である。 本発明の実施形態に係る全方位画像処理装置の画像処理方法を示す概念図である。 本発明の実施形態に係る全方位画像処理装置の画像撮像部を示す概念図である。 本発明の実施形態に係る全方位画像処理装置を示すブロック図である。 本発明の実施形態に係る全方位画像処理装置を示すブロック図である。 本発明の実施形態に係る全方位画像処理方法を示す概念図である。

後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施形態を例示として図示する添付図面を参照する。これらの実施形態は、当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないことを理解しなければならない。例えば、本明細書に記載されている特定の形状、構造及び特性は、本発明の精神及び範囲を逸脱することなく一実施形態から他の実施形態に変更されて実現できる。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神及び範囲を逸脱することなく変更可能であることが理解されるべきである。従って、後述する詳細な説明は限定的な意味を有するものではなく、本発明の範囲は請求の範囲が請求する範囲及びそれと均等な全ての範囲を包括するものと理解されるべきである。図面において類似する参照符号は、多くの側面にわたって同一または類似する構成要素を示す。

以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好適な実施形態について添付図面を参照して詳細に説明する。

本発明の実施形態では、全方位画像処理装置は、全方位（または３６０度の画像）を撮像することができるカメラを含む意味で使用できる。
図１は本発明の実施形態に係る全方位画像処理装置を示す概念図である。
図１には全方位画像処理装置の構造が示されている。

図１を参照すると、全方位画像処理装置１００は、ウェアラブル構造でユーザーの首にかけることが可能なネックレスと同様の形状であり得る。全方位画像処理装置１００は、図１に示すように、一面の開放されたネックレスの形状であってもよく、一面の開放されていないネックレスの形状であってもよい。以下、本発明の実施形態では、全方位画像処理装置１００が一面の開放されたＵ字形状を有することを仮定する。このようなＵ字形状の全方位画像処理装置１００は、ユーザーの首にウェアラブル装置（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）の形でかけられて全方位画像を撮影することができる。

本発明の実施形態では、説明の便宜上、全方位画像処理装置１００がネックレスタイプ（または一面の開放されたネックレス型、Ｕ字型）であって、ユーザーの首に掛けられる場合が仮定される。しかし、全方位画像処理装置１００は、単にユーザーの首にかける形ではないこともある。例えば、全方位画像処理装置１００は、掛けたり付着したりすることが可能な様々な形でユーザーの他の身体部位または外部物体（またはオブジェクト）／装置／構造物などに設置され、全方位画像を取得することもできる。

ユーザーは、ウェアラブル装置として実現された全方位画像処理装置１００を首にかけて両手が自由な状態で全方位画像を生成するための複数の画像を取得することができる。

全方位画像処理装置１００は複数の画像撮像部を含むことができる。複数の画像撮像部それぞれは、全方位画像処理装置に特定の間隔（または予め設定された間隔）で位置して画角／撮像線に基づいた画像を個別に撮像することができる。複数の画像撮像部それぞれの位置は全方位画像処理装置１００で固定的であってもよいが、複数の画像撮像部それぞれは移動可能であり、複数の画像撮像部それぞれの位置は変化することも可能である。

例えば、全方位画像処理装置１００は、３つの画像撮像部を含むことができ、３つの画像撮像部は、一定の画角（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）（例えば、１２０度乃至１８０度）で全方位画像を撮像することができる。３つの画像撮像部は、第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０であり得る。

以下、説明の便宜上、３つの画像撮像部が全方位画像処理装置１００に含まれている構造について開示する。しかし、３つではなく、複数（例えば、２、４、５、６つなど）の画像撮像部が全方位画像処理装置１００に含まれており、全方位画像を撮像することもでき、このような形態も本発明の権利範囲に含まれる。

第１画像撮像部１１０、第２画像撮像部１２０及び第３画像撮像部１３０は、画角に基づいて画像を撮像することができる。同一の時間リソース上で第１画像撮像部１１０によって第１画像が生成され、第２画像撮像部１２０によって第２画像が生成され、第３画像撮像部１３０によって第３画像が生成され得る。第１画像撮像部１１０、第２画像撮像部１２０、第３画像撮像部１３０それぞれの画角は１２０度以上であり、第１画像、第２画像及び第３画像では重畳した撮像領域が存在しうる。以降、全方位画像処理装置１００によって同一の時間リソース上で撮像された第１画像、第２画像及び第３画像をステッチ／補正して全方位画像が生成できる。複数の画像に対するステッチ及び／または補正手続きは、全方位画像処理装置自体で行われてもよく、全方位画像処理装置１００と通信可能なユーザー装置（スマートフォン）をベースに行われてもよい。すなわち、生成された複数の画像に対する追加の画像処理手続きは、全方位画像処理装置１００及び／または他の画像処理装置（スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）など）によって行われてもよい。

以下、全方位画像処理装置の具体的な特徴及び全方位画像生成方法を具体的に開示する。
図２は本発明の実施形態に係る全方位画像処理装置に位置した複数の画像撮像部の特性を示す概念図である。

図２には、Ｕ字型の全方位画像処理装置に位置した複数の画像撮像部の特徴が示されている。図２に示された画像撮像部の位置は例示的なものである。複数の画像撮像部それぞれは、全方位画像の生成のための複数の画像を撮像するために、全方位画像処理装置上のさまざまな位置に配置できる。

図２には全方位画像処理装置の背面部が示されている。
全方位画像処理装置に含まれている第１画像撮像部２１０及び第２画像撮像部２２０は、全方位画像処理装置における曲率のある曲がった部分に位置することができる。具体的には、ユーザーがウェアラブル装置として全方位画像処理装置を首にかける場合、首の後ろ部分と接触する曲がった領域に第１画像撮像部２１０及び第２画像撮像部２２０が位置することができる。例えば、Ｕ字型の全方位画像処理装置の最大曲率ポイント（例えば、Ｕ字型の中間部分）を基準に第１画像撮像部２１０及び第２画像撮像部２２０が一定の距離上に位置することができる。

第１画像撮像部２１０は、ユーザーの視線（ｌｉｎｅ ｏｆ ｓｉｇｈｔ）方向を基準に、背面左側の四角領域を含む領域を撮像することができる。第２画像撮像部２２０は、ユーザーの視線を基準に、背面右側の四角領域を含む領域を撮像することができる。具体的には、第１画像撮像部２１０は、第１画角を有し、第１画角に該当する領域に対する撮像を行うことができる。第２画像撮像部２２０は、第２画角を有し、第２画角に該当する領域に対する撮像を行うことができる。例えば、第１画角及び第２画角は１２０乃至１８０度であり得る。

第１画像撮像部２１０及び第２画像撮像部２２０による撮像が行われる場合、第１画角と第２画角によって重畳する第１重畳領域２１５が発生することがある。その後、重畳領域を考慮したステッチをベースに全方位画像が生成できる。

また図２には全方位画像処理装置の前面部が示されている。
全方位画像処理装置の前面部には第３画像撮像部２３０が位置することができる。具体的には、第３画像撮像部２３０は、全方位画像処理装置の末端部（Ｕ字型の端（末端）部分）に位置することができる。ユーザーが全方位画像処理装置をウェアラブル装置として首にかける場合、Ｕ字型の全方位画像処理装置の末端部分は、ユーザーの前面方向（ユーザーの視線方向）に位置することができる。全方位画像処理装置は第１末端部と第２末端部とを含み、第３画像撮像部２３０は第１末端部又は第２末端部のいずれかに位置することができる。

第３画像撮像部２３０は、ユーザーの視線の方向と同じ方向に撮像を行うことにより、ユーザーの視線に該当する領域に対する撮像を行うことができる。

具体的に、第３画像撮像部２３０は、第３画角を有し、第３画角に該当する領域に対する撮像を行うことができる。例えば、第３画角は１２０度乃至１８０度であり得る。第３画像撮像部２３０による撮像が行われる場合、第１画像撮像部２１０の第１画角と第３画像撮像部２３０の第３画角による第２重畳領域２２５が発生することがある。第３画像撮像部２３０による撮像が行われる場合、第２画像撮像部２２０の第２画角と第３画像撮像部２３０の第３画角による第３重畳領域２３５が発生することがある。

首にかけるウェアラブル装置の構造上、首に全方位画像処理装置が掛けられる場合、第１画像撮像部２１０、第２画像撮像部２２０は、地面を基準に第３画像撮像部２３０よりも相対的に高い所に位置することができる。また、第３画像撮像部２３０は一方の末端部にのみ位置する。

既存の全方位画像処理装置では、同一の高さに位置した複数の画像撮像部が一定の角度をもって実現されるが、これに対し、本発明の実施形態に係る全方位画像処理装置は、複数の画像撮像部間の角度も異なり、位置した高さも互いに異なり得る。よって、複数の画像撮像部それぞれによって生成された複数の画像に対する第１重畳領域２１５、第２重畳領域２２５及び第３重畳領域２３５の大きさ／形状が互いに異なり得る。

以降、第１重畳領域２１５／第２重畳領域２２５／第３重畳領域２３５を考慮した第１画像撮像部２１０、第２画像撮像部２２０及び第３画像撮像部２３０それぞれによって生成された第１画像、第２画像及び第３画像の画像処理手続き（ステッチ／補正など）をベースに、全方位画像が生成できる。

第１画角、第２画角、第３画角の大きさは同一に設定されてもよいが、互いに異なるように設定されてもよく、このような実施形態も本発明の権利範囲に含まれる。

図３は本発明の実施形態に係る複数の画像撮像部の撮像線を示す概念図である。
図３には、全方位画像処理装置に設置された複数の画像撮像部それぞれの撮像線が示されている。地面はＸ軸とＺ軸がなすＸＺ平面と平行であると仮定する場合、撮像線は、Ｘ軸／Ｙ軸／Ｚ軸で表現される空間上で全方位画像処理装置に含まれている複数の画像撮像部それぞれのレンズの中央を垂直に貫通する線として定義できる。

既存の全方位画像処理装置は、同一の高さに複数の画像撮像部を一定の角度（例えば、１２０度）で実現できる。このような場合、既存の全方位画像処理装置に含まれている複数の画像撮像部の複数の撮像線は、地面（またはＸＺ平面）に対して平行であり、複数の撮像線間で一定の角度（例えば、１２０度）を持つ複数の線であり得る。

本発明の実施形態に係る全方位画像処理装置は、前述したように、複数の画像撮像部の高さ（または複数の画像撮像部の実現された位置）及び複数の画像撮像部間の角度（または撮像線同士がなす角度）が撮像の際に互いに異なってもよい。よって、本発明の実施形態に係る全方位画像処理装置の撮像線の特性は、従来の全方位画像処理装置の撮像線の特性とは異なる。

図３に示された複数の画像撮像部それぞれの撮像線は、ウェアラブルデバイスの特性による複数の画像撮像部それぞれの撮像線間の特性（例えば、高さ、角度）の差を示すための例示であり得る。また、図３に示された撮像線は、全方位画像処理装置を着用したユーザーによる動きがないか、或いは全方位画像処理装置が特定の状態で固定された場合の撮像線であり得る。

図３の上段には、第１画像撮像部３１０及び第２画像撮像部３２０の撮像線が示されている。
第１画像撮像部３１０及び第２画像撮像部３２０は、第３画像撮像部３３０より相対的に高い位置に実現できる。全方位画像処理装置を着用したユーザーの立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置における、第１画像撮像部３１０及び第２画像撮像部３２０が位置した曲率のある部分（Ｕ字における曲線／中央部分）が相対的に上がり、第３画像撮像部３３０が位置した脚部分（Ｕ字における末端部分）が相対的に下方に下がることができる。

例えば、第１画像撮像部３１０の第１撮像線３１５は、ＸＺ平面と平行であるが、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を持つことができる。

第２画像撮像部３２０の第２撮像線３２５は、ＸＺ平面と平行であるが、Ｙ軸のポイントａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を持つことができる。

図３の下段を参照すると、第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、Ｙ軸の座標ｂで、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を持つことができる。ｂはａよりも小さい値であり得る。第３画像撮像部３３０の第３撮像線３３５は、ＸＺ平面と平行であり、ユーザーの視線と同様に前面（例えば、ＸＹ平面に対して垂直な方向）を向くように実現できる。

つまり、第１撮像線３１５及び第２撮像線３２５はＹ軸を基準に同一の高さを有し、第３撮像線３３５はＹ軸を基準に第１撮像線及び第２撮像線よりも相対的に低い位置に位置することができる。図３に示された第１撮像線３１５、第２撮像線３２５及び第３撮像線３３５は、互いに異なる特性を持つ撮像線に対する１つの例示であり、他の様々な撮像線が定義され、全方位画像が撮像され得る。

図４は本発明の実施形態による複数の画像撮像部の撮像線を示す概念図である。
図４には、図３とは異なる複数の画像撮像部の撮像線が示されている。同様に、図４においても、地面がＸ軸とＺ軸のなすＸＺ平面に対して平行であると仮定する。

図４の上段には、第１画像撮像部４１０及び第２画像撮像部４２０の撮像線が示されている。

第１画像撮像部４１０及び第２画像撮像部４２０は、第３画像撮像部４３０より相対的に高い位置に実現できる。同様に、ユーザーの立っている方向がＹ軸方向であると仮定する場合、首にかけるウェアラブルデバイスの構造上、全方位画像撮像装置は、第１画像撮像部４１０及び第２画像撮像部４２０が位置した曲率のある部分（Ｕ字における曲線部分）が相対的に上がり、第３画像撮像部４３０が位置した脚部分（Ｕ字における末端部分）が相対的に下方に下がった形態で画像を撮像することができる。

例えば、第１画像撮像部４１０の第１撮像線４１５は、ＸＺ平面と平行であるが、Ｙ軸の座標ａで、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を持つことができる。

第２画像撮像部４２０の第２撮像線４１５は、ＸＺ平面と平行であるが、Ｙ軸の座標ａで、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を持つことができる。

図４の下段には第３画像撮像部４３０の撮像線が示されている。
第３画像撮像部４３０の第３撮像線４３５は、ＸＺ平面と平行でなくてもよく、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を持つことができる。

第３画像撮像部４３０は、全方位画像処理装置の末端部に位置するため、撮像線は、ＸＺ平面と平行せず、ＸＺ平面と一定の角度（例えば、０乃至３０度）を持つことができる。

つまり、第１撮像線４１５と第２撮像線４２５は、Ｙ軸を基準に同一の高さを有し、第３撮像線４３５は、Ｙ軸を基準に第１撮像線４１５及び第２撮像線４２５よりも相対的に低い位置に位置することができる。また、第１撮像線４１５及び第２撮像線４２５はＸＺ平面と平行であるが、第３撮像線４３５はＸＺ平面と平行でなくてもよい。

本発明の他の実施形態として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を持つことができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を持つことができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を持つことができる。

本発明の別の実施形態として、例えば、第１画像撮像部の第１撮像線は、ＸＺ平面と第１´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第１角度、Ｙ軸と第２角度、Ｚ軸と第３角度を持つことができる。また、第２画像撮像部の第２撮像線は、ＸＺ平面と第２´角度をなし、Ｙ軸の座標ａを開始点として、Ｘ軸と第４角度、Ｙ軸と第５角度、Ｚ軸と第６角度を持つことができる。第３画像撮像部の第３撮像線は、ＸＺ平面と第３´角度をなし、Ｙ軸の座標ｂを開始点として、Ｘ軸と第７角度、Ｙ軸と第８角度、Ｚ軸と第９角度を持つこともできる。

つまり、複数の画像撮像部それぞれの撮像線が既存の同じＹ軸ポイントで地面と同一の角度を持つ画像処理装置とは異なり、本発明の実施形態に係る全方位画像処理装置は、複数の画像撮像部それぞれの撮像線が互いに異なるＹ軸ポイントに位置し、地面（またはＸＺ平面）とは互いに異なる角度を持つことができる。

図５は本発明の実施形態に係る全方位画像処理装置の固定方法を示す概念図である。
図５には、全方位画像処理装置を着用したユーザーが移動する場合、全方位画像処理装置の揺れ（全方位画像処理装置によって撮像された画像のブレ）を減少させるための固定構造が示されている。

図５の上段を参照すると、全方位画像処理装置には、さらに、ユーザーと全方位画像処理装置を固定するための固定構造５１０が実現できる。

例えば、全方位画像処理装置に、鉗子５１０など、特定のオブジェクトを掴んで固定することが可能な構造が実現できる。ユーザーは鉗子５１０をベースに全方位画像処理装置と服とを連結して全方位画像処理装置の過度な動きを防止することができる。

または、図５の下段を参照すると、ユーザーの首に密着して着用される内部固定構造５２０が実現でき、内部固定構造５２０は、連結部をベースに全方位画像処理装置に連結できる。内部固定構造５２０は、ユーザーが首に内部固定構造を着用するときの利便さのために、一面が開放可能な形態で実現できる。

図６は本発明の実施形態に係る全方位画像処理装置の画像処理方法を示す概念図である。
図６には、複数の画像撮像部それぞれによって撮像された画像をステッチして全方位画像を生成するための方法が示されている。

図６を参照すると、前述したように、複数の画像撮像部の撮像線の特性（高さ、地面となす角度）は同一でなくてもよい。複数の画像撮像部の撮像線の特性差により、撮像される画像の特性度の差を持つことができる。

第１画像撮像部６１０、第２画像撮像部６２０、第３画像撮像部６３０それぞれの撮像線がＸＺ平面（または地面）となす角度は、ユーザーの行為（例えば、体を後ろに反らす行為、体を前屈する行為など）によって異なり得る。例えば、第１画像撮像部６１０及び第２画像撮像部６２０の撮像線がＸＺ平面（または地面）に対して正の角度をもって上方を眺める形態であり、第３画像撮像部６３０の撮像線がＸＺ平面（地面）に対して負の角度をもって下方を眺める形態であり得る。

このような場合、第１画像撮像部６１０によって撮像された第１画像６１５及び第２画像撮像部６２０によって撮像された第２画像６２５は、Ｙ軸の正の方向に行くほど広い逆台形の撮像領域を持つことができる。逆に、第３画像撮像部６３０によって撮像された第３画像６３５は、Ｙ軸の負の方向に行くほど広い台形の撮像領域を持つことができる。

全方位画像処理装置によって撮像された逆台形の第１画像６１５、第２画像６２５及び台形の第３画像６３５がステッチされ、全方位画像が生成され得る。前述したように、第１画像６１５と第２画像６２５との第１重畳領域６５０、第１画像６１５と第３画像６３５との第２重畳領域６６０、第２画像６２５と第３画像６３５との第３重畳領域６７０は、互いに異なる形態を持つことができる。つまり、従来の全方位画像処理装置とは異なり、複数の画像撮像部で撮像される画像の形態が異なることができ、撮像される画像の形態が異なる場合、重畳領域の特性も互いに異なることができる。本発明の実施形態によれば、このような互いに異なる形態の第１重畳領域６５０、第２重畳領域６６０及び第３重畳領域６７０がステッチされて全方位画像が生成され得る。

例えば、全方位画像処理装置で撮像された複数の画像をステッチするために、重畳領域内の特徴点が使用できる。例えば、第１画像６１５と第２画像６２５をステッチするために、第１画像６１５に含まれる第１重畳領域６５０内のオブジェクトから第１特徴点が抽出できる。第２画像６２５に含まれる第１重畳領域６５０内の同じオブジェクトから第２特徴点が抽出できる。以降、第１画像６１５と第２画像６２５のステッチのために、第１特徴点と第２特徴点間のマッチングが行われ得る。

例えば、本発明の実施形態に係る全方位画像処理装置では、ＳＩＦＴ（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）ベースの特徴点抽出及び画像ステッチが行われ得る。ＳＩＦＴの場合、ＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ Ｏｆ Ｇａｕｓｓｉａｎ）を介して周囲よりも輝度値が暗いまたは明るい領域の中央の位置を探して特徴点を検出し、それぞれの特徴点に対して周辺の画素を用いて主方向成分と１２８次元または６４次元ベクトルを介してデスクリプタ（Ｄｅｓｃｒｉｐｔｏｒ）を形成することができる。その後、特徴点のデスクリプタに基づいて特徴点に対するマッチングが行われ、画像ステッチが行われ得る。ＳＩＦＴベースの特徴点抽出は、特徴点抽出及び画像ステッチのための一つの例示であり、他の様々な方法が特徴点抽出及び画像ステッチのために使用できる。

また、本発明の実施形態によれば、より速い画像処理のために、一部のオブジェクトに対する特徴点を抽出することもできる。例えば、全方位画像処理装置は、重畳領域上から特徴点の抽出が難しい背景（山や空など）よりは優先的に特徴点抽出が容易なオブジェクトに対して特徴点を抽出し、特徴点に対するマッチングを行うことができる。

また、本発明の実施形態によれば、全方位画像処理装置は、一定時間の間、特定の重畳領域で特徴点を探し難い場合（例えば、有効な特徴点が臨界数以下の場合）、画像撮像部間の重畳する画角を変更してより特徴点抽出が容易なオブジェクトが重畳領域に含まれるようにすることもできる。

図７は本発明の実施形態に係る全方位画像処理装置の画像撮像部を示す概念図である。
図７には、全方位画像処理装置に実現された画像撮像部の動作が具体的に示されている。画像撮像部が全方位画像処理装置上の特定の位置で実現され、画像撮像部のレンズも固定されて撮像線が固定されることも可能であるが、画像撮像部が全方位画像処理装置上で移動することも可能であり、画像撮像部内のレンズが眺める方向（撮像線の方向）も変化することも可能である。

図７を参照すると、全方位画像処理装置上で複数の画像撮像部の位置が変わり得る。例えば、全方位画像処理装置に画像撮像部７００の移動のための構造７５０が実現できる。例えば、レール／溝などの画像撮像部７００の移動のための構造７５０が実現され、画像撮像部７００は、画像撮像部の移動のための構造７５０上で移動することができる。

例えば、全方位画像処理装置は、重畳領域の調整のために、画像撮像部７００の位置を変化させることができる。例えば、画像のステッチの便宜のために、画像撮像部７００の位置が変化し、重畳領域が調整できる。

或いは、ユーザーの動きを考慮して、全方位画像処理装置の画像撮像部７００の位置を変化させることも可能である。ウェアラブル装置の特性上、ユーザーが動く状態で全方位画像処理装置が全方位画像の生成のために画像撮像を行うことができる。ユーザーの継続的な動きに起因するイメージ間の違和感／画像ブレを補正するために、ユーザーの動き特性を考慮して、画像撮像部７００の位置を変化させることも可能である。

同様に、重畳領域の調整のために、画像撮像部７００に含まれるレンズの撮像線７２０の方向を変化させることも可能である。例えば、画像のステッチの便宜のために、画像撮像部７００に含まれるレンズの撮像線７２０の方向が変化し、重畳領域が調整できる。

同様に、ユーザーの動きを考慮して、画像撮像部７００に含まれるレンズの撮像線７２０の方向を変化させることも可能である。ウェアラブル装置の特性上、ユーザーが動く状態で全方位画像処理装置が全方位画像を生成することができる。ユーザーの継続的な動きに起因するイメージ間の違和感／画像ブレを補正するために、ユーザーの動き特性を考慮して、画像撮像部７００に含まれるレンズの撮像線７２０を変化させることも可能である。

図８は本発明の実施形態に係る全方位画像処理装置を示すブロック図である。
図８には、全方位画像処理装置で直接的な画像処理手続き（ステッチ及び補正など）が行われず、別途のユーザー装置（例えば、スマートフォン）で画像処理手続きが行われる場合における全方位画像処理装置の機能別構成部が示されている。

図８を参照すると、画像処理システムは、全方位画像撮像部８００、センサー部８１０、画像処理部８２０、保存部８３０、通信部８４０、プロセッサ８５０を含むことができる。

全方位画像撮像部８００は全方位画像を撮像するために実現できる。全方位画像撮像部８００は、全方位画像の撮像のための複数の画像撮像部を含むことができる。前述したように、複数の画像撮像部は第１画像撮像部、第２画像撮像部及び第３画像撮像部を含むことができる。

センサー部８１０は、ユーザーの動き情報のセンシングを実現する。全方位画像処理装置は、ウェアラブル装置としてユーザーの動きに応じて画像ブレが発生するおそれがある。センサー部８１０によってセンシングされて生成されたユーザーの動き情報は、別途の画像処理のためのユーザー装置（例えば、スマートフォン）に伝送されて画像ブレを補正するために活用できる。

また、センサー部８１０は、現在の撮影環境のセンシングを実現してもよい。例えば、センサー部８１０は、複数の画像撮像部それぞれの撮像を行うときに、複数の画像撮像部それぞれによって撮像された画像の撮像環境（例えば、撮像明るさ（または輝度）など）に対する情報をセンシングすることもできる。センシングされた結果は、別途の画像処理のためのユーザー装置（例えば、スマートフォン）に伝送されて複数の画像間の輝度を補正するために活用できる。

現在の撮影環境は、別途のセンシング部８１０によってセンシングされなくてもよく、画像処理のためのユーザー装置上で画像に対する特性情報を抽出して複数の画像間の画像特性（例えば、輝度）の差異を補正することもできる。

画像処理部８２０は、複数の画像撮像部によって撮像された複数の画像の処理を実現する。画像処理部８２０は、複数の画像撮像部によって撮像された画像を収集し、通信部８４０へ伝達することができる。

保存部８３０は、複数の画像撮像部によって撮像された画像の保存を実現する。

通信部８４０は、全方位画像処理装置と外部装置との通信を実現する。例えば、通信部８４０は、全方位画像処理装置とユーザー装置（例えば、スマートフォンまたはＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置）へ、複数の画像撮像部で撮像された画像に対する情報、センシング部８１０で生成されたセンシング情報の伝送を実現する。

プロセッサ８５０は、全方位画像撮像部８００、センサー部８１０、画像処理部８２０、保存部８３０及び通信部８４０の動作の制御を実現する。

駆動部（図示せず）は、複数の画像撮像部及び／または画像撮像部のレンズの駆動を実現する。

図８では、全方位画像処理装置が、複数の画像撮像部で撮像された複数の画像をユーザー装置（例えば、スマートフォン）へ伝送し、ユーザー装置で複数の画像に対する画像処理（例えば、画像に対するステッチ／補正）をベースにして全方位画像を生成することが仮定される。しかし、全方位画像処理装置自体で画像処理を介して全方位画像を生成することも可能である。

図９は本発明の実施形態に係る全方位画像処理装置を示すブロック図である。
図９には全方位画像処理装置の機能別構成部が示されている。

図９を参照すると、画像処理システムは、全方位画像撮像部９００、センサー部９１０画像処理部９２０、補正部９２５、保存部９３０、通信部９４０及びプロセッサ９５０を含むことができる。

全方位画像撮像部９００は全方位画像の撮像を実現する。全方位画像撮像部９００は全方位画像の撮像のための複数の画像撮像部を含むことができる。前述したように、複数の画像撮像部は第１画像撮像部、第２画像撮像部及び第３画像撮像部を含むことができる。

センサー部９１０は、ユーザーの動きをセンシングして動き情報の生成を実現する。全方位画像処理装置は、ウェアラブル装置であって、ユーザーの動きに応じて画像ブレが発生することがある。画像処理部９２０は、センサー部９１０によってセンシングされて生成されたユーザーの動き情報に基づいて画像ブレを補正することができる。

また、センサー部９１０は、撮影環境をセンシングして撮影環境情報の生成を実現する。全方位画像処理装置に位置した複数の画像撮像部の撮影環境は、光（例えば、太陽）の位置によって異なり得る。センサー部９１０は、複数の撮像部それぞれに対する撮像を行うときに、複数の撮像部それぞれによって撮像された画像の撮像環境（例えば、撮像明るさ（または輝度など）についての情報をセンシングすることもできる。センシングされた結果は、全方位画像処理装置で複数の画像間の輝度を補正するために活用できる。

画像処理部９２０は、複数の画像撮像部で撮像された複数の画像を処理して全方位画像の生成を実現する。前述したように、画像処理部９２０は、重畳領域から特徴点を抽出し、特徴点をマッチングして画像をステッチする方法に基づいて全方位画像を生成することができる。

画像処理部９２０は補正部９２５をさらに含むことができる。画像処理部９２０によって生成された全方位画像は、補正部９２５によって補正された画像であり得る。補正部９２５は、全方位画像に対する補正を行うことができる。例えば、補正部９２５は、センシングされたユーザーの動き情報に基づいて画像に対する補正を行うことができる。また、補正部９２５は、複数の画像撮像部それぞれによって生成された画像の輝度に対する補正を行うことができる。輝度の異なる画像間のステッチは画像の違和感を誘発するおそれがある。したがって、補正部９２５は、複数の画像それぞれの輝度情報に基づいて画像間の輝度を補正して違和感のない全方位画像を生成することができる。また、補正部９２５は、ユーザーの動き情報を考慮して、複数の画像に発生した動き／ブレに対する補正を行うことができる。

保存部９３０は、全方位画像撮像部によって撮像された画像の保存、或いは画像処理部によって生成された全方位画像の保存を実現する。

通信部９４０は、全方位画像処理装置と外部装置との通信を実現する。例えば、通信部９４０は、全方位画像処理装置とユーザー装置（例えば、スマートフォンまたはＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）マシン）へ全方位画像を伝送することができる。

プロセッサ９５０は、全方位画像撮像部９００、センサー部９１０、画像処理部９２０、補正部９２５、保存部９３０及び通信部９４０の動作の制御を実現する。

駆動部（図示せず）は、複数の画像撮像部及び／または画像撮像部のレンズの駆動を実現する。

図９では、本発明の実施形態に係る全方位画像処理装置自体で画像処理を介して全方位画像を生成する方法について示すが、全方位画像処理装置では、一部の画像処理のみが行われ、残りの画像処理は全方位画像処理装置に接続されたユーザー装置（例えば、スマートフォン）で行われてもよい。

図１０は本発明の実施形態に係る全方位画像処理方法を示す概念図である。
図１０では、ユーザー装置で全方位画像を生成するための画像処理（ステッチ、補正）が行われる場合が仮定されるが、前述したように、画像処理は、全方位画像処理装置及び／または全方位画像処理装置に接続されたユーザー装置で行われてもよく、このような実施形態も本発明の権利範囲に含まれる。

図１０を参照すると、全方位画像処理装置によって全方位画像を生成するための画像関連情報（または画像関連データ）が生成される（段階Ｓ１０００）。

例えば、全方位画像処理装置の複数の画像撮像部によって複数の画像情報が生成できる。また、センサー部によってユーザーの動き情報／撮影環境情報が生成できる。複数の画像撮像部のうち、少なくとも一つの画像撮像部の位置は、複数の画像撮像部のうち少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置よりも地面を基準に相対的に低い位置であり得る。

複数の画像は、複数の画像撮像部それぞれの複数の撮像線に基づいて生成できる。複数の撮像線それぞれは、複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり得る。前述したように、複数の撮像線のうちの少なくとも一つの撮像線と地面との角度は、複数の撮像線のうち、前記少なくとも一つの撮像線を除いた残りの撮像線と地面との角度とは異なり得る。

複数の画像のうちの少なくとも一つは第１形状であり、複数の画像のうち少なくとも一つを除いた残りの画像は第２形状であり得る。全方位画像は、第１形状及び第２形状がなす重畳領域上から特徴点を抽出した後、第１形状及び第２形状をステッチ（ｓｔｉｔｃｈｉｎｇ）して生成できる。

次に、全方位画像処理装置が画像関連情報をユーザー装置へ伝送する（段階Ｓ１０１０）。
全方位画像処理装置は、生成された画像関連情報を通信部を介してユーザー装置へ伝送することができる。

次に、ユーザー装置が画像関連情報に基づいて画像処理を介して全方位画像を生成する（段階Ｓ１０２０）。
ユーザー装置は、画像関連情報に基づいて全方位画像を生成するための画像処理を行うことができる。具体的には、複数の画像に対するステッチ／補正が行われ得る。

具体的には、センサー部は、３軸加速度センサー（３Ｄ（ｄｉｍｅｎｓｉｏｎ）ａｃｃｅｌｅｒｏｍｅｔｅｒ）と３軸ジャイロセンサー（３Ｄ ｇｙｒｏｓｃｏｐｅ）を含むことができる。つまり、センサー部は６軸加速度・ジャイロセンサーを含むことができる。固定された位置にある複数の画像撮像部に対して６軸加速度・ジャイロセンサーからの距離とズレに対する値が決定できる。例えば、仮想原点（Ｖｉｒｔｕａｌ Ｏｒｉｇｉｎ）の座標を（０，０）に設定すると、６軸加速度・ジャイロセンサーと個別イメージセンサーは特定の座標値に設定できる。全方位画像処理装置の揺れ発生について、演算部は仮想原点座標を基準に複数の画像撮像部の動き平均（ｍｏｖｉｎｇ ａｖｅｒａｇｅ）を算出することができる。動き平均は、仮想原点を基準に６軸加速度ジャイロセンサーから抽出した情報に基づいて算出できる。このようなユーザー装置は、動き平均値に基づいて複数の画像に対するイメージ安定化（ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ）を行うことができる。

画像処理手続きにおいて、複数の画像撮像部によって撮像された複数の画像の露出／カラー値の平均が取得され、画像の露出／カラー値についての情報を複数の画像撮像部にフィードバックして、複数の画像が類似範囲の露出／カラーを持つように画像補正が行われ得る。また、ＶＲ画像を見るユーザーの凝視方向を計算し、これに基づいて凝視している部分に重みを置いてカラー及び露出の差異値を計算することもできる。複数の画像撮像部によって撮像された複数の画像に基づいて可変的に入力画像間のカラー及び露出誤差が補正できる。つまり、ユーザーが凝視する部分を知ることができない一般画像とは異なり、ＶＲ環境では、ユーザーが凝視する方向を知ることができる。したがって、ユーザーの凝視点を基準に球状空間での重要度を計算し、画像に対するカラー／露出補正の際に重要度値に重みを付けて全体画像を補正することにより、全方位画像が生成できる。

以上説明した本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行できるプログラム命令の形で実現され、コンピュータ可読記録媒体に記録できる。前記コンピュータ可読記録媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたもの、またはコンピュータソフトウェア分野の当業者に公知になって使用可能なものであり得る。コンピュータ可読記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープなどの磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどの、プログラム命令を保存及び実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリターなどを用いてコンピュータによって実行できる高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を実行するために一つ以上のソフトウェアモジュールに変更でき、その逆も同様である。

以上、本発明について具体的な構成要素などの特定の事項及び限定された実施形態及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は、前記実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正及び変更を図ることができる。

したがって、本発明の思想は上述した実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等な物またはこれから等価的に変更されたすべての範囲も本発明の思想の範疇に属すると理解すべきである。

Claims (7)

1. 全方位画像処理装置であって、
   全方位画像の生成のための複数の画像を生成するように実現された複数の画像撮像部と、
   前記複数の画像を処理するために実現されたプロセッサとを含んでなり、
   前記複数の画像は前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   前記全方位画像処理装置は、ユーザーの首に着用する一面が開放されたＵ字形状のウェアラブル装置であり、
   前記複数の画像撮像部は第１画像撮像部、第２画像撮像部および第３画像撮像部を含み、
   前記第１画像撮像部および前記第２画像撮像部は前記Ｕ字形状の中間部分を基準としてそれぞれ一定の距離ずつ離れた位置に位置し、
   前記第３画像撮像部は前記Ｕ字形状の末端部分に位置し、
   前記第１画像撮像部は前記ユーザーの視線方向を基準の前面として後面の左側領域を含む領域を撮像し、
   前記第２画像撮像部は前記視線方向を基準の前面として後面の右側領域を含む領域を撮像し、
   前記第３画像撮像部は前記視線方向を含む領域を撮像することを特徴とする、全方位画像処理装置。
2. 全方位画像処理装置であって、
   全方位画像の生成のための複数の画像を生成するように実現された複数の画像撮像部と、
   前記複数の画像を処理するために実現されたプロセッサとを含んでなり、
   前記複数の画像は前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   前記全方位画像処理装置は、ユーザーの首に着用する一面が開放されたＵ字形状のウェアラブル装置であり、
   前記複数の画像撮像部は第１画像撮像部、第２画像撮像部、第３画像撮像部を含み、
   前記複数の撮像線は第１撮像線、第２撮像線および第３撮像線を含み、
   前記第１画像撮像部は前記第１撮像線に基づいて撮像を遂行し、
   前記第２画像撮像部は前記第２撮像線に基づいて撮像を遂行し、
   前記第３画像撮像部は前記第３撮像線に基づいて撮像を遂行し、
   前記複数の撮像線のうち前記第１撮像線および前記第２撮像線と前記ｘｚ平面との角度と前記第３撮像線と前記ｘｚ平面との角度が異なり、
   前記第３画像撮像部の位置は、前記第１画像撮像部および前記第２画像撮像部の位置より前記ｙ軸を基準として相対的に低い位置に位置することを特徴とする、全方位画像処理装置。
3. 全方位画像処理装置であって、
   全方位画像の生成のための複数の画像を生成するように実現された複数の画像撮像部と、
   前記複数の画像を処理するために実現されたプロセッサとを含んでなり、
   前記複数の画像は前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   前記複数の画像のうち少なくとも一つの画像は第１形状であり、前記複数の画像のうち前記少なくとも一つの画像を除いた残りの画像は第２形状であり、
   前記全方位画像は前記第１形状および前記第２形状がなす重畳領域上から特徴点を抽出した後、前記第１形状および前記第２形状をステッチ（ｓｔｉｔｃｈｉｎｇ／補正）して生成され、
   前記複数の画像撮像部は第１画像撮像部、第２画像撮像部、第３画像撮像部を含み、
   前記第１形状は逆台形であり、
   前記第２形状は台形であり、
   前記第１画像撮像部は前記第１形状の第１画像を生成し、
   前記第２画像撮像部は前記第１形状の第２画像を生成し、
   前記第３画像撮像部は前記第２形状の第３画像を生成し、
   前記第１画像と前記第２画像の第１重畳領域、前記第２画像と前記第３画像の第２重畳領域、前記第３画像と前記第１画像の第３重畳領域それぞれは互いに異なる形態を有し、
   前記全方位画像は前記第１重畳領域、前記第２重畳領域、前記第３重畳領域のステッチに基づいて生成されることを特徴とする、全方位画像処理装置。
4. 全方位画像処理方法であって、
   複数の画像撮像部が全方位画像の生成のための複数の画像を生成する段階と、
   前記複数の画像を処理して全方位画像を生成する段階とを含んでなり、
   前記複数の画像は、前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   ユーザーの首に着用する一面が開放されたＵ字形状のウェアラブル装置の全方位画像処理方法であり、
   前記ウェアラブル装置の前記複数の画像撮像部は、第１画像撮像部、第２画像撮像部および第３画像撮像部を含み、
   前記第１画像撮像部および前記第２画像撮像部は前記Ｕ字形状の中間部分を基準としてそれぞれ一定の距離ずつ離れた位置に位置し、
   前記第３画像撮像部は前記Ｕ字形状の末端部分に位置し、
   前記第１画像撮像部は前記ユーザーの視線方向を基準の前面として後面の左側領域を含む領域を撮像し、
   前記第２画像撮像部は前記視線方向を基準の前面として後面の右側領域を含む領域を撮像し、
   前記第３画像撮像部は前記視線方向を含む領域を撮像することを特徴とする、全方位画像処理方法。
5. 全方位画像処理方法であって、
   複数の画像撮像部が全方位画像の生成のための複数の画像を生成する段階と、
   前記複数の画像を処理して全方位画像を生成する段階とを含んでなり、
   前記複数の画像は、前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   ユーザーの首に着用する一面が開放されたＵ字形状のウェアラブル装置の全方位画像処理方法であり、
   前記ウェアラブル装置の前記複数の画像撮像部は、第１画像撮像部、第２画像撮像部、第３画像撮像部を含み、
   前記複数の撮像線は第１撮像線、第２撮像線および第３撮像線を含み、
   前記第１画像撮像部は前記第１撮像線に基づいて撮像を遂行し、
   前記第２画像撮像部は前記第２撮像線に基づいて撮像を遂行し、
   前記第３画像撮像部は前記第３撮像線に基づいて撮像を遂行し、
   前記複数の撮像線のうち前記第１撮像線および前記第２撮像線と前記ｘｚ平面との角度と前記第３撮像線と前記ｘｚ平面との角度が異なり、
   前記第３画像撮像部の位置は、前記第１画像撮像部および前記第２画像撮像部の位置より前記ｙ軸を基準として相対的に低い位置に位置することを特徴とする、全方位画像処理方法。
6. 全方位画像処理方法であって、
   複数の画像撮像部が全方位画像の生成のための複数の画像を生成する段階と、
   前記複数の画像を処理して全方位画像を生成する段階とを含んでなり、
   前記複数の画像は、前記複数の画像撮像部それぞれの複数の撮像線に基づいて生成され、
   前記複数の撮像線それぞれは、前記複数の画像撮像部それぞれに含まれている複数のレンズそれぞれの中心を垂直に通過する仮想の線であり、
   前記複数の撮像線のうち少なくとも一つの撮像線とｘｙｚ座標軸空間上のｘｚ平面との角度と前記複数の撮像線のうち該少なくとも一つの撮像線を除いた残りの撮像線と前記ｘｚ平面との角度が異なり、
   前記複数の画像撮像部のうち少なくとも一つの画像撮像部の位置は、前記複数の画像撮像部のうち該少なくとも一つの画像撮像部を除いた残りの画像撮像部の位置より前記ｘｙｚ座標軸空間上のｙ軸を基準として相対的に低い位置に位置し、
   前記複数の画像のうち少なくとも一つの画像は第１形状であり、前記複数の画像のうち前記少なくとも一つの画像を除いた残りの画像は第２形状であり、
   前記全方位画像は前記第１形状および前記第２形状がなす重畳領域上で特徴点を抽出した後、前記第１形状および前記第２形状をステッチ（ｓｔｉｔｃｈｉｎｇ／補正）して生成され、
   前記複数の画像撮像部は第１画像撮像部、第２画像撮像部、第３画像撮像部を含み、
   前記第１形状は逆台形であり、
   前記第２形状は台形であり、
   前記第１画像撮像部は前記第１形状の第１画像を生成し、
   前記第２画像撮像部は前記第１形状の第２画像を生成し、
   前記第３画像撮像部は前記第２形状の第３画像を生成し、
   前記第１画像と前記第２画像の第１重畳領域、前記第２画像と前記第３画像の第２重畳領域、前記第３画像と前記第１画像の第３重畳領域それぞれは互いに異なる形態を有し、
   前記全方位画像は前記第１重畳領域、前記第２重畳領域、前記第３重畳領域のステッチに基づいて生成されることを特徴とする、全方位画像処理方法。
7. 請求項４乃至請求項６のいずれか一項に記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ可読記録媒体。

Images