JP6673459B2 - 画像処理装置、画像処理システム及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

従来、パノラマ画像を表示する方法が知られている。そして、パノラマ画像表示において、パノラマ画像の表示に対するユーザの指示を受け付けるためのユーザインタフェース（以下「ＵＩ」という。）が知られている。

例えば、通信端末が、パノラマ画像における所定領域画像に関するサムネイルを表示し、所定のサムネイルを選択する指示を受け付けることで、受け付けたサムネイルに関する所定領域画像を表示する。これにより、ユーザが所望のパノラマ画像又はパノラマ画像においてユーザが所望する所定領域画像をユーザが容易に探せるようにする方法が知られている（例えば、特許文献１等）。

また、コンピュータが、まず、画像の一部の領域であって、画像上の任意の視点を中央に含む部分画像を画像から生成し、画像と、複数の部分画像のサムネイルを一覧で示す視点一覧画像とを表示する。次に、コンピュータが、部分画像と、当該部分画像に対するユーザのコメントとを関連付けたコメント情報をサーバ装置から受信し、視点一覧画像が示す部分画像のサムネイルごとに、それぞれのコメントの件数を表示する。このようにして、注目度が高い画像内の視点をユーザが把握できるようにする方法が知られている（例えば、特許文献２等）。

他にも、ユーザが受信装置を用いて画像管理システムから画像データをダウンロードする際に、受信装置が、対応する画像識別情報に基づいて付加情報管理システムから付加情報をダウンロードする。このようにして、ユーザが画像データを補正する等の画像処理を行うのに、メタデータを用いることができるようにする方法が知られている（例えば、特許文献３等）。

しかしながら、従来の方法では、撮像した画像等に、新たに画像が加えられると、不自然な画像になり、違和感のある画像が生成される場合が多いという問題がある。

本発明の１つの側面は、撮像した画像等に新たに画像を加えても、違和感の少ない画像を生成することができる画像処理装置を提供することを目的とする。

上述した課題を解決するために、本発明の一態様における、画像処理装置は、第１画像を入力する入力部と、前記第１画像に加える第２画像を選択する選択部と、前記第２画像を前記第１画像に基づいて変換して変換画像を生成する変換部と、前記第１画像と、前記変換画像とを合成して合成画像を生成する合成部とを備え、前記変換部は、前記第１画像が有する曲率が反映されるように前記第２画像を変換することを特徴とする。

撮像した画像等に、新たに画像を加えても、違和感の少ない画像を生成することができる画像処理装置を提供できる。

本発明の一実施形態に係る画像処理システムの全体構成の一例を説明する図である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その１）である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その２）である。 本発明の一実施形態に係る撮影装置の一例を説明する図（その３）である。 本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。 本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。 本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。 本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するシーケンス図である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その１）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その２）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その３）である。 本発明の一実施形態に係る全天球画像の一例を説明する図（その４）である。 本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その１）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その２）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その３）である。 本発明の一実施形態に係る初期画像の一例を説明するための図（その４）である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。 本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その１）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その２）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その３）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その４）である。 本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図（その５）である。 本発明の一実施形態に係る編集モードにおける画像及びＧＵＩの一例を示す図である。 本発明の一実施形態に係るスタンプ画面の一例を示す図である。 本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その１）である。 本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その２）である。 本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その３）である。 本発明の一実施形態に係るスタンプのサイズを変更した場合の一例を示す図である。 本発明の一実施形態に係るスタンプの角度を変更した場合の一例を示す図である。 本発明の一実施形態に係るテキスト画面の一例を示す図である。 本発明の一実施形態に係るテキストを配置する画面の一例を示す図である。 本発明の一実施形態に係る合成画像を示す画面の一例を示す図である。 本発明の一実施形態に係るスマートフォンによる処理の一例を示すフローチャートである。 本発明の一実施形態に係るスマートフォンによる第２画像を加える処理の一例を示す図である。 本発明の一実施形態に係るスマートフォンによって第２画像の配置が制限される範囲の一例を示す図である。 本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

＜画像処理システムの全体構成例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を説明する図である。図示する例では、画像処理システム１０は、撮影装置１と、画像処理装置の例であるスマートフォン２とを有する。

撮影装置１は、複数の光学系を有するカメラ等である。例えば、撮影装置１は、複数の光学系を用いて撮影した画像に基づいて、全方位等の広い範囲を示す画像（以下「全天球画像」という。）を生成する。次に、撮影装置１は、全天球画像等をスマートフォン２に出力する。そして、スマートフォン２は、全天球画像等の入力される画像を画像処理する。以下、入力される画像、すなわち、第１画像が全天球画像である例で説明する。なお、以下の説明では、パノラマ画像は、例えば、全天球画像である。

また、この例では、撮影装置１及びスマートフォン２は、有線又は無線で接続される。例えば、スマートフォン２は、撮影装置１が出力する全天球画像を示すデータ等を撮影装置１からダウンロードする。なお、接続は、ネットワーク等を介してもよい。

なお、全体構成は、図示する構成に限られない。例えば、撮影装置１及びスマートフォン２は、一体の装置であってもよい。また、画像処理システム１０は、撮影装置１及びスマートフォン２以外に更に情報処理装置等を有してもよい。

＜撮影装置例＞
撮影装置１（図１）は、例えば、以下に説明するような装置である。

図２乃至図４は、本発明の一実施形態に係る撮影装置の一例を説明する図である。なお、図２乃至図４は、撮影装置１の外観の一例を示す図である。具体的には、図２は、撮影装置１の正面図の一例である。一方で、図３は、撮影装置１の左側面図の一例である。さらに、図４は、撮影装置１の平面図の一例である。

そして、撮影装置１は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２と、スイッチ１Ｈ３とを有する。この例では、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２等の光学系が撮影に用いられ、それぞれの光学系を用いて撮影されたそれぞれの画像に基づいて、撮影装置１は、全天球画像を生成する。なお、全天球画像の生成方法の詳細は、後述する。

また、スイッチ１Ｈ３は、いわゆるシャッタボタンであり、ユーザが撮影装置１に対して撮影の指示を行うための入力装置の例である。

撮影装置１は、例えば、図２に示すように、ユーザが手で持ち、スイッチ１Ｈ３がユーザによって押されると、撮影装置１は、撮影を行う。具体的には、撮影装置１は、以下のようにして撮影に用いられる。

図５は、本発明の一実施形態に係る撮影装置による撮影の一例を説明する図である。図示するように、ユーザは、撮影装置１を手で持ち、図３に示すスイッチ１Ｈ３を押すことによって撮影を行う。このようにすると、撮影装置１は、図示するように、前面撮影素子１Ｈ１（図２）と、後面撮影素子１Ｈ２（図２）とによって、撮影装置１の全方位を撮影することができる。このようにして撮影される画像は、例えば、以下のような画像である。

図６は、本発明の一実施形態に係る撮影装置によって撮影された画像の一例を説明する図である。具体的には、図６（ａ）は、前面撮影素子１Ｈ１（図２）によって撮影される画像の一例である。一方で、図６（ｂ）は、後面撮影素子１Ｈ２（図２）によって撮影される画像の一例である。そして、図６（ｃ）は、前面撮影素子１Ｈ１によって撮影される画像、すなわち、図６（ａ）に示す画像と、後面撮影素子１Ｈ２によって撮影される画像、すなわち、図６（ｂ）に示す画像とに基づいて生成される画像の一例である。

まず、前面撮影素子１Ｈ１によって撮影される画像は、図６（ａ）に示すように、撮影装置１の前方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。また、図示するように、前面撮影素子１Ｈ１によって撮影される画像は、前面撮影素子１Ｈ１が広い範囲を撮影するための光学系、例えば、いわゆる魚眼レンズを用いる場合には、歪曲収差を有する。すなわち、図６（ａ）に示す画像は、撮影装置１の一方の広い範囲を示し、かつ、歪曲収差を有する、いわゆる半球画像（以下「半球画像」という。）である。

なお、各光学系のそれぞれの画角は、１８０°以上かつ２００°以下の範囲が望ましい。特に、画角が１８０°以上を超える場合には、図６（ａ）に示す半球画像と、図６（ｂ）に示す半球画像とを合成する際、重畳する画像領域があるため、撮影装置は、全天球画像を生成しやすい。

一方で、後面撮影素子１Ｈ２によって撮影される画像は、図６（ｂ）に示すように、撮影装置１の後方側の広い範囲、例えば、画角で１８０°の範囲を撮影範囲とする画像である。このように、後面撮影素子１Ｈ２によって撮影される画像は、図６（ａ）と同様の半球画像である。

次に、撮影装置１は、歪補正処理及び合成処理等の処理を行い、図６（ａ）に示す前方側の半球画像と、図６（ｂ）に示す後方側の半球画像とに基づいて、図６（ｃ）に示す画像を生成する。すなわち、図６（ｃ）に示す画像は、いわゆるメルカトル（Ｍｅｒｃａｔｏｒ）図法又は正距円筒図法等の方法で生成される画像、すなわち、全天球画像の例である。

なお、第１画像は、撮影装置１によって生成される画像に限られない。例えば、第１画像は、他のカメラ等で撮影される画像又は他のカメラで撮影される画像に基づいて生成された画像でもよい。なお、第１画像は、図６に示すような、いわゆる全方位カメラ又はいわゆる広角レンズのカメラ等によって、広い視野角の範囲を撮影した画像であるのが望ましい。

また、以下の説明では、第１画像は、全天球画像を例に説明するが、第１画像は、全天球画像に限られない。例えば、第１画像は、コンパクトカメラ、一眼レフカメラ又はスマートフォン等で撮影された画像でもよい。なお、画像は、水平又は垂直に伸びるパノラマ画像等でもよい。

＜撮影装置のハードウェア構成例＞
図７は、本発明の一実施形態に係る撮影装置のハードウェア構成の一例を説明するブロック図である。図示するように、撮影装置１は、撮影ユニット１Ｈ４と、画像処理ユニット１Ｈ７、撮影制御ユニット１Ｈ８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ９と、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１Ｈ１０とを有する。また、撮影装置１は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１１と、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１Ｈ１２と、操作Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１Ｈ１３とを有する。さらに、撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４と、無線Ｉ／Ｆ１Ｈ１５と、アンテナ１Ｈ１６とを有する。また、撮影装置１が有するハードウェアは、バス１Ｈ１７で接続され、バス１Ｈ１７を介してデータ又は信号を入出力する。

撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１と、後面撮影素子１Ｈ２とを有する。また、前面撮影素子１Ｈ１に対応してレンズ１Ｈ５、後面撮影素子１Ｈ２に対応してレンズ１Ｈ６がそれぞれ設置される。

前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、いわゆるカメラユニットである。具体的には、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の光学センサをそれぞれ有する。そして、前面撮影素子１Ｈ１は、レンズ１Ｈ５を通して入射する光を変換し、半球画像等を示す画像データを生成する。同様に、後面撮影素子１Ｈ２は、レンズ１Ｈ６を通して入射する光を変換し、半球画像等を示す画像データを生成する。

次に、撮影ユニット１Ｈ４は、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２が生成するそれぞれの画像データを画像処理ユニット１Ｈ７へ出力する。なお、出力される画像データは、例えば、図６（ａ）に示す前方の半球画像及び図６（ｂ）に示す後方の半球画像等である。

さらに、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うため、レンズ以外に、絞り又はローパスフィルタ等の他の光学要素を更に有してもよい。また、前面撮影素子１Ｈ１及び後面撮影素子１Ｈ２は、高画質の撮影を行うために、いわゆる欠陥画素補正又はいわゆる手振れ補正等を行ってもよい。

画像処理ユニット１Ｈ７は、撮影ユニット１Ｈ４から入力される画像データに基づいて、図６（ｃ）に示す全天球画像を生成する。なお、全天球画像を生成する処理の詳細は、後述する。

撮影制御ユニット１Ｈ８は、撮影装置１が有するハードウェアを制御する制御装置である。

ＣＰＵ１Ｈ９は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。例えば、ＣＰＵ１Ｈ９は、あらかじめインストールされるプログラムに基づいて、各処理を実行する。

ＲＯＭ１Ｈ１０、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、記憶装置の例である。具体的には、ＲＯＭ１Ｈ１０は、例えば、ＣＰＵ１Ｈ９に処理を実行させるためのプログラム、データ又はパラメータ等を記憶する。また、ＳＲＡＭ１Ｈ１１及びＤＲＡＭ１Ｈ１２は、例えば、ＣＰＵ１Ｈ９がプログラムに基づいて処理を実行するのに用いられるプログラム、プログラムが使用するデータ、プログラムが生成するデータ等を記憶する。なお、撮影装置１は、ハードディスク等の補助記憶装置を更に有してもよい。

操作Ｉ／Ｆ１Ｈ１３は、スイッチ１Ｈ３等の入力装置と接続され、撮影装置１に対するユーザの操作を入力する処理を行うインタフェースである。例えば、操作Ｉ／Ｆ１Ｈ１３は、スイッチ等の入力装置、入力装置を接続するためのコネクタ、ケーブル、入力装置から入力される信号を処理する回路、ドライバ及び制御装置等である。なお、操作Ｉ／Ｆ１Ｈ１３は、ディスプレイ等の出力装置を更に有してもよい。また、操作Ｉ／Ｆ１Ｈ１３は、入力装置と、出力装置とが一体となったいわゆるタッチパネル等でもよい。さらに、操作Ｉ／Ｆ１Ｈ１３は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを有し、フラッシュメモリ等の記録媒体を撮影装置１に接続してもよい。これによって、操作Ｉ／Ｆ１Ｈ１３は、撮影装置１から記録媒体にデータを入出力してもよい。

なお、スイッチ１Ｈ３は、シャッタに係る操作以外の操作を行うための電源スイッチ及びパラメータ入力スイッチ等でもよい。

ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、無線又は有線で、外部装置と撮影装置１を接続させる。例えば、撮影装置１は、ネットワークＩ／Ｆ１Ｈ１４によって、ネットワークに接続し、スマートフォン２（図１）へデータを送信する。なお、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、ＵＳＢ等の有線で他の外部装置と接続するハードウェアでもよい。すなわち、ネットワークＩ／Ｆ１Ｈ１４、無線Ｉ／Ｆ１Ｈ１５及びアンテナ１Ｈ１６は、コネクタ及びケーブル等でもよい。

バス１Ｈ１７は、撮影装置１が有するハードウェア間で、データ等を入出力するのに用いられる。すなわち、バス１Ｈ１７は、いわゆる内部バスである。具体的には、バス１Ｈ１７は、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｂｕｓ Ｅｘｐｒｅｓｓ）等である。

なお、撮影装置１は、撮影素子が２つである場合に限られない。例えば、３つ以上の撮影素子を有してもよい。さらに、撮影装置１は、１つの撮影素子の撮影角度を変えて、複数の部分画像を撮影してもよい。また、撮影装置１は、魚眼レンズを用いる光学系に限られない。例えば、広角レンズを用いてもよい。

なお、撮影装置１が行う処理は、他の装置が行ってもよい。例えば、処理の一部又は全部は、撮影装置１がデータ及びパラメータ等を送信し、スマートフォン２又はネットワークで接続される他の情報処理装置が行ってもよい。このようにして、画像処理システムは、複数の情報処理装置を有し、処理を分散、冗長又は並列に行ってもよい。

＜情報処理装置のハードウェア構成例＞
図８は、本発明の一実施形態に係るスマートフォンのハードウェア構成の一例を説明するブロック図である。図示するように、情報処理装置の一例であるスマートフォン２は、補助記憶装置２Ｈ１と、主記憶装置２Ｈ２と、入出力装置２Ｈ３と、状態センサ２Ｈ４と、ＣＰＵ２Ｈ５と、ネットワークＩ／Ｆ２Ｈ６とを有する。また、スマートフォン２が有するハードウェアは、バス２Ｈ７で接続され、バス２Ｈ７を介してデータ又は信号を入出力する。

補助記憶装置２Ｈ１は、データ、パラメータ又はプログラム等を記憶する。具体的には、補助記憶装置２Ｈ１は、例えば、ハードディスク、フラッシュＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。なお、補助記憶装置２Ｈ１が記憶するデータは、ネットワークＩ／Ｆ２Ｈ６で接続されるファイルサーバ等が一部又は全部を冗長又は代わりに記憶してもよい。

主記憶装置２Ｈ２は、処理を実行するためのプログラムが使用する記憶領域となる、いわゆるメモリ（Ｍｅｍｏｒｙ）等である。すなわち、主記憶装置２Ｈ２は、データ、プログラム又はパラメータ等を記憶する。具体的には、主記憶装置２Ｈ２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ等である。なお、主記憶装置２Ｈ２は、記憶及び取出を行う制御装置を更に有してもよい。

入出力装置２Ｈ３は、画像又は処理結果等を表示する出力装置及びユーザによる操作を入力する入力装置である。具体的には、入出力装置２Ｈ３は、いわゆるタッチパネル、周辺回路及びドライバ等である。そして、入出力装置２Ｈ３は、例えば、所定のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）及び画像処理された画像等をユーザに表示する。一方で、入出力装置２Ｈ３は、例えば、表示されるＧＵＩ又は画像をユーザが操作すると、ユーザによる操作を入力する。

状態センサ２Ｈ４は、スマートフォン２の状態を検出するセンサである。具体的には、状態センサ２Ｈ４は、ジャイロ（ｇｙｒｏ）センサ又は角度センサ等である。例えば、状態センサ２Ｈ４は、スマートフォン２が有する辺のうち、一辺が水平に対して所定の角度以上であるか否かを判定する。すなわち、状態センサ２Ｈ４は、スマートフォン２が縦方向の姿勢の状態であるか横方向の姿勢の状態であるかを検出する。

ＣＰＵ２Ｈ５は、各処理を実現するための演算及びデータの加工を行う演算装置並びにハードウェアの制御を行う制御装置である。なお、ＣＰＵ２Ｈ５は、並列、冗長又は分散して処理するために、複数のＣＰＵ、デバイス又は複数のコア（ｃｏｒｅ）から構成されてもよい。また、スマートフォン２は、画像処理を行うため、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を内部又は外部に有してもよい。

ネットワークＩ／Ｆ２Ｈ６は、無線又は有線で、ネットワークを介して外部装置と接続する。具体的には、ネットワークＩ／Ｆ２Ｈ６は、データ等を入出力するためのアンテナ、周辺回路及びドライバ等である。例えば、スマートフォン２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、撮影装置１（図１）等から画像データを入力する。一方で、スマートフォン２は、ＣＰＵ２Ｈ５及びネットワークＩ／Ｆ２Ｈ６によって、撮影装置１等へデータ等を出力する。

なお、情報処理装置は、スマートフォンに限られない。すなわち、情報処理装置は、スマートフォン以外のコンピュータでもよい。例えば、情報処理装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）、タブレット、携帯電話器又はこれらの組み合わせ等でもよい。

＜画像処理システムによる全体処理例＞
図９は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を説明するシーケンス図である。例えば、画像処理システム１０は、以下のような処理を行い、合成画像を生成する。

ステップＳ０７０１では、撮影装置１は、全天球画像を生成する処理を行う。なお、全天球画像は、例えば、撮影装置１による以下のような処理によって、あらかじめ撮影される図６（ａ）及び図６（ｂ）に示す半球画像等から生成される。

図１０乃至図１３は、本発明の一実施形態に係る全天球画像の一例を説明する図である。なお、図１０は、図６（ａ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。以下、光軸に対して水平方向の入射角を「θ」、光軸に対して垂直方向の入射角を「φ」という。さらに、図１１は、図１０と同様に、図６（ｂ）に示す半球画像を光軸に対して水平方向及び垂直方向の入射角が等位となる箇所を線で結んで示す図である。

また、図１２は、メルカトル図法によって処理された画像の一例を説明する図である。具体的には、図１２に示す画像は、例えば、図１０及び図１１に示す画像をあらかじめ生成されるＬＵＴ（ＬｏｏｋＵｐＴａｂｌｅ）等で対応させ、正距円筒図法によって処理されると、生成される画像である。そして、図１２に示す状態となった後、図１０及び図１１に示すそれぞれの画像を図１３に示すように合成すると、全天球画像が、撮影装置によって生成される。このように、合成処理は、例えば、図１２に示す状態の半球画像を２つ用いて、全天球画像を生成する処理である。なお、合成処理は、図１３に示すように、図１２に示す状態の半球画像を単に連続して配置する処理に限られない。例えば、全天球画像の水平方向中心がθ＝１８０°でない場合には、合成処理では、撮影装置は、まず、図６（ａ）に示す半球画像を前処理し、全天球画像の中心に配置する。次に、撮影装置は、生成する画像の左右部分に、図６（ｂ）に示す半球画像を前処理した画像を左右部分に配置できる大きさに分割し、半球画像を合成して図６（ｃ）に示す全天球画像を生成してもよい。

なお、全天球画像を生成する処理は、正距円筒図法による処理に限られない。例えば、φ方向において、図１１に示す半球画像が有する画素の並びと、図１０に示す半球画像が有する画素並びとが、上下が逆であり、かつ、θ方向においてそれぞれの画素の並びが左右が逆である、いわゆる天地逆転となる場合がある。このように、天地逆転である場合には、撮影装置は、前処理において、図１１に示す半球画像を図１０のφ方向及びθ方向の画素の並びと揃えるために、１８０°Ｒｏｌｌ回転させる処理等を行ってもよい。

また、全天球画像を生成する処理は、図１０及び図１１に示す半球画像が有するそれぞれの歪曲収差を補正する歪補正処理等が行われてもよい。さらに、全天球画像を生成する処理は、例えば、シェーディング補正、ガンマ補正、ホワイトバランス、手振れ補正、オプティカル・ブラック補正処理、欠陥画素補正処理、エッジ強調処理又はリニア補正処理等が行われてもよい。なお、合成処理は、例えば、半球画像の撮影範囲と、他方の半球画像の撮影範囲とが重複する場合には、重複する撮影範囲に撮影される被写体の画素を利用して補正を行うと、精度良く半球画像を合成することができる。

このような全天球画像を生成する処理によって、撮影装置１は、撮影される複数の半球画像から全天球画像を生成する。なお、全天球画像は、別の処理によって生成されてもよい。以下、図示する方法で生成される全天球画像を用いる例で説明する。

図９に戻り、ステップＳ０７０２では、スマートフォン２は、ステップＳ０７０１によって生成される全天球画像をネットワーク等を介して取得する。以下、スマートフォン２が、図１３に示す全天球画像を取得する場合を例に説明する。

ステップＳ０７０３では、スマートフォン２は、ステップＳ０７０２で取得される全天球画像から全天球パノラマ画像を生成する。なお、全天球パノラマ画像は、以下のような画像である。

図１４は、本発明の一実施形態に係る全天球パノラマ画像の一例を説明する図である。例えば、図９に示すステップＳ０７０３では、スマートフォン２は、取得される図１３に示す全天球画像から図１４に示す全天球パノラマ画像を生成する。なお、全天球パノラマ画像は、図示するように、全天球画像を球形状に張り付けた画像である。

全天球パノラマ画像を生成する処理は、例えば、ＯｐｅｎＧＬ ＥＳ（ＯｐｅｎＧＬ（登録商標） ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｓｙｓｔｅｍｓ）等のＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）で実現される。具体的には、全天球パノラマ画像は、まず、全天球画像が有する画素が三角形に分割され、次に、各三角形の頂点Ｐ（以下「頂点Ｐ」という。）をつなぎ合わせて、ポリゴンとして貼り付けて生成される。

図９に戻り、ステップＳ０７０４では、スマートフォン２は、ユーザに画像を選択させる操作を入力する。具体的には、まず、ステップＳ０７０４では、スマートフォン２は、例えば、ステップＳ０７０３で生成される全天球パノラマ画像を縮小した画像、いわゆるサムネイル（ｔｈｕｍｂｎａｉｌ）画像を表示する。すなわち、複数の全天球パノラマ画像がスマートフォン２に記憶されている場合には、スマートフォン２は、複数の全天球パノラマ画像から以降の処理の対象とする全天球パノラマ画像をユーザに選択させるため、サムネイル画像を一覧で出力する。そして、ステップＳ０７０４では、スマートフォン２は、例えば、ユーザによるサムネイル画像の一覧から、１つのサムネイル画像を選択する操作を入力する。以下、ステップＳ０７０４で選択された全天球パノラマ画像が処理対象となって、処理が行われる。

ステップＳ０７０５では、スマートフォン２は、ステップＳ０７０４で選択される全天球パノラマ画像に基づいて、初期画像を生成する。なお、初期画像は、例えば、以下のような画像である。

図１５乃至図１８は、本発明の一実施形態に係る初期画像の一例を説明するための図である。具体的には、まず、図１５は、本発明の一実施形態に係る初期画像の一例を説明するための３次元座標系を説明する図である。以下、図１５に示すようなＸＹＺ軸の３次元座標系で説明する。この例では、スマートフォン２は、原点の位置に仮想カメラ３を設置するとし、仮想カメラ３からの視点で各画像を生成する。例えば、全天球パノラマ画像は、図１５に示す座標系では、立体球ＣＳのように表現される。なお、仮想カメラ３は、設置される位置、つまり、原点から立体球ＣＳである全天球パノラマ画像に対して、全天球パノラマ画像を見るユーザの視点に相当する。

なお、図１６は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を説明するための図である。具体的には、図１６は、図１５を三面図で示す例である。すなわち、図１５及び図１６は、同一の状態を示す。したがって、図１６では、図示するように、原点に仮想カメラ３が設置されるとする。

次に、図１７は、本発明の一実施形態に係る仮想カメラによる所定領域の一例を投影図である。なお、図１７では、所定領域Ｔは、仮想カメラ３の視野角を立体球ＣＳに投影した領域である。以下、図示するように、所定領域Ｔについてスマートフォン２が画像を生成する例で説明する。すなわち、スマートフォン２は、所定領域Ｔに基づいて画像を生成する。なお、所定領域Ｔは、例えば、以下のように決定される。

図１８は、本発明の一実施形態に係る仮想カメラによる所定領域を決定するための情報の一例を説明するための図である。この例では、所定領域Ｔは、例えば、所定領域情報（ｘ，ｙ，α）によって決定される。具体的には、視野角αは、図１８に示すように、仮想カメラ３の画角を示す角度である。また、視野角αによって示される所定領域Ｔにおける対角線画角２Ｌに対して、所定領域Ｔの中心点ＣＰの座標は、所定領域情報の（ｘ，ｙ）で示される。

次に、仮想カメラ３から中心点ＣＰまでの距離は、下記（１）式で示される。

初期画像は、あらかじめ設定される、いわゆる初期設定に基づいて所定領域Ｔを決定し、決定される所定領域Ｔに基づいて生成される画像である。例えば、初期設定は、（ｘ，ｙ，α）＝（０，０，３４）等のようにユーザ等によって設定される。

そして、画角を変える操作、いわゆるズーム操作が入力されると、スマートフォン２は、以下のようにズーム処理を行う。なお、ズーム処理は、入力されるユーザによる操作に基づいて、所定の領域を拡大又は縮小した画像を生成する処理である。以下、ズーム操作によって入力される操作量を「変化量ｄｚ」という。まず、ズーム操作が入力されると、スマートフォン２は、入力されるユーザによる操作に基づいて、変化量ｄｚを取得する。そして、スマートフォン２は、変化量ｄｚに基づいて、下記（２）式を計算する。

なお、上記（２）式における「α」は、図１８に示す仮想カメラ３の視野角αである。また、上記（２）式で示す「ｍ」は、ズーム量を調整するための係数であり、あらかじめユーザによって設定される値である。さらに、上記（２）式における「α０」は、初期状態における仮想カメラ３の視野角α、すなわち、ステップＳ０７０５によって生成される初期画像における視野角αである。

次に、スマートフォン２は、上記（２）式に基づいて計算される視野角αを投影行列に用いて、図１７に示す所定領域Ｔの範囲を決定する。

なお、変化量ｄｚ２となるズーム操作をユーザが更に行うと、スマートフォン２は、下記（３）式を計算する。

上記（３）式に示すように、視野角αは、それぞれのズーム操作による変化量を合計した値に基づいて計算される。このように、複数のズーム操作が行われても、全天球の視野角αの計算から行うことで、スマートフォン２は、一貫した操作性を保つことができる。

なお、ズーム処理は、上記（２）式又は上記（３）式に基づく処理に限られない。例えば、ズーム処理は、仮想カメラ３（図１６）の視野角α及び視点位置の変更を組み合わせて実現してもよい。具体的には、以下のようなズーム処理が行われてもよい。

図１９は、本発明の一実施形態に係る別のズーム処理の一例を説明するための図である。なお、図は、別のズーム処理を説明するためのモデル図である。また、立体球ＣＳは、図１０に示す立体球ＣＳと同様である。さらに、以下の説明では、立体球ＣＳの半径を「１」とする例で説明する。

まず、図示する原点は、仮想カメラ３の初期位置である。そして、仮想カメラ３は、光軸、すなわち、図１５に示すＺ軸上を移動して位置を変更する。次に、仮想カメラ３の移動量ｄは、原点からの距離で示す。例えば、仮想カメラ３が原点に位置する場合、すなわち、初期状態の場合では、移動量ｄは、「０」となる。

仮想カメラ３の移動量ｄ及び視野角αに基づいて、図１７に示す所定領域Ｔとなる範囲は、画角ωで示す。例えば、図示する画角ωは、仮想カメラ３が原点に位置する場合、すなわち、ｄ＝０の場合の画角である。そして、仮想カメラ３が原点に位置する場合、すなわち、ｄ＝０の場合では、画角ω及び視野角αは、一致する。一方で、仮想カメラ３が原点から離れる、すなわち、ｄの値が「０」より大きくなると、画角ω及び視野角αは、異なる範囲を示す。そして、別のズーム処理は、例えば、以下のように、画角ωを変更する処理である。

図２０は、本発明の一実施形態に係る別のズーム処理の一例を説明するための表である。なお、説明表４は、画角ωの範囲が６０°乃至３００°の場合の例を示す。説明表４に示すように、スマートフォン２は、ズーム指定値ＺＰに基づいて、視野角α及び仮想カメラ３の移動量ｄのうち、どちらを優先的に変更するかを決定する。

なお、「範囲」は、ズーム指定値ＺＰに基づいて決定する範囲である。また、「出力倍率」は、別のズーム処理によって決定される画像パラメータに基づいて計算された画像の出力倍率である。さらに、「ズーム指定値ＺＰ」は、出力させる画角に対応する値である。

このように、別のズーム処理は、ズーム指定値ＺＰに基づいて移動量ｄ及び視野角αの決定する処理を変更する。具体的には、別のズーム処理の行う処理は、説明表４に示すように、ズーム指定値ＺＰに基づいて、図示する４つの方法のいずれかに決定される。この例では、ズーム指定値ＺＰの範囲は、「Ａ〜Ｂ」、「Ｂ〜Ｃ」、「Ｃ〜Ｄ」及び「Ｄ〜Ｅ」の４つの範囲に区分される例である。

また、「画角ω」は、別のズーム処理によって決定した画像パラメータに対応する画角ωである。さらに、「変更するパラメータ」は、ズーム指定値ＺＰに基づいて４つの方法でそれぞれ変更するパラメータを説明する記載である。「備考」は、「変更するパラメータ」についての備考である。

説明表４において、「ｖｉｅｗＷＨ」は、出力領域の幅又は高さを示す値である。例えば、出力領域が横長であると、「ｖｉｅｗＷＨ」は、幅の値を示す。一方で、出力領域が縦長であると、「ｖｉｅｗＷＨ」は、高さの値を示す。すなわち、「ｖｉｅｗＷＨ」は、出力領域の長手方向のサイズを示す値である。

また、説明表４において「ｉｍｇＷＨ」は、出力画像の幅又は高さを示す値である。例えば、出力領域が横長であると、「ｖｉｅｗＷＨ」は、出力画像の幅の値を示す。一方で、出力領域が縦長であると、「ｖｉｅｗＷＨ」は、出力画像の高さの値を示す。すなわち、「ｖｉｅｗＷＨ」は、出力画像の長手方向のサイズを示す値である。

さらに、説明表４において、「ｉｍｇＤｅｇ」は、出力画像の表示範囲の角度を示す値である。具体的には、出力画像の幅を示す場合には、「ｉｍｇＤｅｇ」は、３６０°である。一方で、出力画像の高さを示す場合には、「ｉｍｇＤｅｇ」は、１８０°である。

図２１乃至図２５は、本発明の一実施形態に係る別のズーム処理の「範囲」の一例を説明するための図である。図示する例は、上記の別のズーム処理が行われた場合に、画像に表示される「範囲」及び画像の例を示す。以下、図示する例を用いて、いわゆるズームアウトの場合を例に説明する。なお、図２１乃至図２５の各図における左図は、出力される画像の一例を示す。一方で、図２１乃至図２５の各図における右図は、出力される際における仮想カメラ３の状態の一例を図１１と同様のモデル図で示す図である。

具体的には、図２１は、図２０に示す説明表４における「範囲」が「Ａ〜Ｂ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。このように、ズーム指定値ＺＰが「Ａ〜Ｂ」の値となると、仮想カメラ３（図１９）の視野角αは、例えばα＝６０°と固定される。さらに、ズーム指定値ＺＰが「Ａ〜Ｂ」であり、仮想カメラ３の移動量ｄが、図２１に示すように、視野角αが固定された状態で変更されるとする。以下、視野角αが固定された状態で、仮想カメラ３の移動量ｄが大きくなるように変更する例で説明する。このようにすると、画角ωは、広がる。つまり、ズーム指定値ＺＰを「Ａ〜Ｂ」とし、かつ、視野角αを固定し、仮想カメラ３の移動量ｄを大きくすると、ズームアウト処理が実現できる。なお、ズーム指定値ＺＰが「Ａ〜Ｂ」である場合には、仮想カメラ３の移動量ｄは、「０」から立体球ＣＳの半径までである。具体的には、図２１乃至図２５に示す場合では、立体球ＣＳの半径が「１」であるため、仮想カメラ３の移動量ｄは、「０〜１」の値となる。また、仮想カメラ３の移動量ｄは、ズーム指定値ＺＰに対応する値となる。

次に、図２２は、説明表４（図２０）における「範囲」が「Ｂ〜Ｃ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｂ〜Ｃ」は、「Ａ〜Ｂ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｂ〜Ｃ」とし、さらに、仮想カメラ３の移動量ｄは、仮想カメラ３が立体球ＣＳの外縁に位置する値に固定されるとする。このようにすると、図２２に示すように、仮想カメラ３の移動量ｄは、立体球ＣＳの半径である「１」に固定される。また、ズーム指定値ＺＰが「Ｂ〜Ｃ」であり、仮想カメラ３の移動量ｄが固定された状態で、視野角αが変更されるとする。以下、仮想カメラ３の移動量ｄが固定された状態で視野角αが大きくなるように変更する例で説明する。このようにすると、画角ωは、図２１から、図２２に示すように、広がる。つまり、ズーム指定値ＺＰを「Ｂ〜Ｃ」とし、かつ、仮想カメラ３の移動量ｄを固定し、視野角αを大きくすると、ズームアウト処理が実現できる。なお、ズーム指定値ＺＰが「Ｂ〜Ｃ」である場合には、視野角αは、「ω／２」で計算される。また、ズーム指定値ＺＰが「Ｂ〜Ｃ」である場合には、視野角αの範囲は、「Ａ〜Ｂ」である場合に固定される値である「６０°」から、「１２０°」までとなる。

ズーム指定値ＺＰが「Ａ〜Ｂ」又は「Ｂ〜Ｃ」であると、画角ωは、ズーム指定値ＺＰと一致する。また、ズーム指定値ＺＰが「Ａ〜Ｂ」及び「Ｂ〜Ｃ」の場合には、画角ωは、値が増加する。

図２３は、説明表４（図２０）における「範囲」が「Ｃ〜Ｄ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｃ〜Ｄ」は、「Ｂ〜Ｃ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｃ〜Ｄ」とし、さらに、視野角αは、例えばα＝１２０°と固定されるとする。次に、図２３に示すように、ズーム指定値ＺＰが「Ｃ〜Ｄ」であり、仮想カメラ３の移動量ｄが、視野角αが固定された状態で変更されるとする。以下、視野角αが固定された状態で仮想カメラ３の移動量ｄが大きくなるように変更する例で説明する。このようにすると、画角ωは、広がる。また、仮想カメラ３の移動量ｄは、説明表４（図２０）で示すズーム指定値ＺＰに基づく式によって計算される。なお、ズーム指定値ＺＰが「Ｃ〜Ｄ」の場合には、仮想カメラ３の移動量ｄは、最大表示距離ｄｍａｘ１まで変更される。なお、最大表示距離ｄｍａｘ１は、スマートフォン２（図１）における出力領域で、立体球ＣＳを最大に表示できる距離である。また、出力領域は、例えば、スマートフォン２が画像等を出力する画面のサイズ等である。さらに、最大表示距離ｄｍａｘ１は、例えば、図２４に示すような状態である。さらにまた、最大表示距離ｄｍａｘ１は、下記（４）式で計算される。

なお、上記（４）式において、「ｖｉｅｗＷ」は、スマートフォン２における出力領域の幅を示す値である。また、上記（４）式において、「ｖｉｅｗＨ」は、スマートフォン２における出力領域の高さを示す値である。以下、同様に記載する。このように、最大表示距離ｄｍａｘ１は、スマートフォン２における出力領域、すなわち、「ｖｉｅｗＷ」及び「ｖｉｅｗＨ」の値等に基づいて計算される。

図２４は、説明表４（図２０）における「範囲」が「Ｄ〜Ｅ」となるズーム指定値ＺＰが入力されると、出力される画像及び「範囲」の例を示す。なお、「Ｄ〜Ｅ」は、「Ｃ〜Ｄ」よりズーム指定値ＺＰが大きい値である。そして、ズーム指定値ＺＰを「Ｄ〜Ｅ」とし、さらに、視野角αは、例えばα＝１２０°と固定されるとする。次に、図２４に示すように、ズーム指定値ＺＰが「Ｃ〜Ｄ」であり、仮想カメラ３の移動量ｄが、視野角αが固定された状態で変更されるとする。また、仮想カメラ３の移動量ｄは、限界表示距離ｄｍａｘ２まで変更される。なお、限界表示距離ｄｍａｘ２は、スマートフォン２における出力領域で、立体球ＣＳが内接して表示される距離である。具体的には、限界表示距離ｄｍａｘ２は、下記（５）式で計算される。なお、限界表示距離ｄｍａｘ２は、例えば、図２５に示すような状態である。

上記（５）式で示すように、限界表示距離ｄｍａｘ２は、スマートフォン２における出力領域である「ｖｉｅｗＷ」及び「ｖｉｅｗＨ」の値に基づいて計算される。また、限界表示距離ｄｍａｘ２は、スマートフォン２が出力できる最大の範囲、すなわち、仮想カメラ３の移動量ｄを大きくできる限界の値を示す。そして、スマートフォン２は、ズーム指定値ＺＰが説明表４（図２０）で説明した範囲に収まる値、すなわち、仮想カメラ３の移動量ｄの値が限界表示距離ｄｍａｘ２以下となるように、入力される値を制限してもよい。このような制限によって、スマートフォン２は、出力領域である画面に出力画像をフィットさせた状態又は所定の出力倍率で画像をユーザに出力できる状態となり、ズームアウトを実現できる。そして、「Ｄ〜Ｅ」の処理によって、スマートフォン２は、ユーザに出力されている画像が全天球パノラマであることを認識させることができる。

なお、ズーム指定値ＺＰが「Ｃ〜Ｄ」又は「Ｄ〜Ｅ」であると、画角ωは、ズーム指定値ＺＰと異なる値となる。また、説明表４及び図２１乃至図２５で示す各範囲間では、画角ωは、連続しているが、広角側へのズームアウトによって、画角ωは、一様に増加しなくともよい。すなわち、例えば、ズーム指定値ＺＰが「Ｃ〜Ｄ」であると、画角ωは、仮想カメラ３の移動量ｄに伴い、増加する。一方で、ズーム指定値ＺＰが「Ｄ〜Ｅ」であると、画角ωは、仮想カメラ３の移動量ｄに伴い、減少する。なお、ズーム指定値ＺＰが「Ｄ〜Ｅ」である場合における仮想カメラ３の移動量ｄの減少は、立体球ＣＳが有する外側の領域が写り込むためである。このように、ズーム指定値ＺＰが２４０°以上の広視野域を指定する場合等では、スマートフォン２は、仮想カメラ３の移動量ｄを変更することによって、ユーザに違和感の少ない画像を出力し、かつ、画角ωを変化させることができる。

また、ズーム指定値ＺＰが広角方向に変更されると、画角ωは、広くなる場合が多い。このように、画角ωが広くなる場合では、スマートフォン２は、仮想カメラ３の視野角αを固定し、仮想カメラ３の移動量ｄを大きくする。このようにすると、スマートフォン２は、仮想カメラ３の視野角αを固定することによって、仮想カメラ３の視野角αの増加を少なくすることができる。さらに、仮想カメラ３の視野角αの増加を少なくすることによって、スマートフォン２は、歪みの少ない画像をユーザに出力することができる。

仮想カメラ３の視野角αを固定し、スマートフォン２が、仮想カメラ３の移動量ｄを大きくする、すなわち、仮想カメラ３を遠ざける方向に動かすと、スマートフォン２は、広角表示の開放感をユーザに与えることができる。また、仮想カメラ３を遠ざける方向に動かす動きは、人間が広範囲を確認する際の動きと類似であるため、スマートフォン２は、仮想カメラ３を遠ざける方向に動かす動きによって、違和感の少ないズームアウトを実現できる。

ズーム指定値ＺＰが「Ｄ〜Ｅ」であると、画角ωは、ズーム指定値ＺＰが広角方向に変更するに伴い、減少する。このように、ズーム指定値ＺＰが「Ｄ〜Ｅ」である場合には、スマートフォン２は、画角ωを減少させることで、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることができる。そして、スマートフォン２は、ユーザに立体球ＣＳから遠ざかっていく感覚を与えることで、ユーザに違和感の少ない画像を出力することができる。

以上のように、説明表４（図２０）で説明する別のズーム処理によって、スマートフォン２は、ユーザに違和感の少ない画像を出力することができる。

なお、スマートフォン２は、説明表４で説明する仮想カメラ３の移動量ｄ又は視野角αのみに、変更する場合に限られない。すなわち、スマートフォン２は、説明表４において、優先的に仮想カメラ３の移動量ｄ又は視野角αを変更する形態であればよく、例えば、調整のため、固定となる値を十分小さい値に変更してもよい。また、スマートフォン２は、ズームアウトを行うに限られない。例えば、スマートフォン２は、ズームインを行ってもよい。

図９に戻り、ステップＳ０７０６では、スマートフォン２は、例えば、画像を編集する状態（以下「編集モード」という。）に切り替えるユーザによる操作を入力する。そして、編集モードに切り替わると、スマートフォン２は、編集用の画面を出力する。

ステップＳ０７０７では、スマートフォン２は、編集用の画面を出力する。以下の説明は、以下のような画面が出力される例で説明する。

図２６は、本発明の一実施形態に係る編集モードにおける画像及びＧＵＩの一例を示す図である。例えば、スマートフォンは、図示するような編集用の画面（以下「編集画面」という。）を出力する。なお、編集画面は、図示するように、第１画像の例である初期画像ＩｍｇＦと、編集用のアイコン（以下単に「アイコンＩＣＮ」という。）とを示す。このように出力されるアイコンＩＣＮ等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて、ユーザは、画像を編集する。例えば、以下のように、編集がユーザによる操作によって行われる。具体的には、図２６に示す編集画面において、いわゆるスタンプを選択する画面（以下「スタンプ画面」という。）に切り替えるスタンプボタンＩＣＮＳがユーザによる操作によって押されたとする。このようにすると、例えば、以下のようなスタンプ画面がスマートフォンによって出力される。

図２７は、本発明の一実施形態に係るスタンプ画面の一例を示す図である。図２６に示す編集画面と比較すると、図示するスタンプ画面は、画面の下部に、スタンプ選択メニューＳＥＬＳを表示する点が異なる。この例では、スタンプ選択メニューＳＥＬＳから、第２画像の例である、１つのスタンプを示す画像（以下「第１スタンプ画像」という。）が、ユーザの操作によって選択される。すなわち、スタンプ選択メニューＳＥＬＳによって、ユーザは、初期画像ＩｍｇＦに対して重ねる第２画像の種類を選択する操作を入力することができる。例えば、ユーザによる操作によって、図示する第１スタンプ画像ＩｍｇＳ１が選択されるとする。このようにすると、スマートフォンは、以下のような画面を出力する。

図２８は、本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その１）である。図示する画面は、図２７に示す画面と比較すると、スタンプ選択メニューＳＥＬＳ（図２７）から選択された第１スタンプ画像ＩｍｇＳ１が、初期画像ＩｍｇＦに表示される点が異なる。また、この画面では、ユーザは、第１スタンプ画像ＩｍｇＳ１に係る編集を行うことができる。具体的には、例えば、ユーザは、第１スタンプ画像ＩｍｇＳ１を初期画像ＩｍｇＦ上に表示する位置を指定することができる。すなわち、ユーザは、初期画像ＩｍｇＦ上のどの位置に第１スタンプ画像ＩｍｇＳ１を出力させるか決定する配置を行うことができる。

なお、スタンプ等の第２画像は、選択されると、前の第２画像の選択が確定されるのが望ましい。つまり、第２画像は、１つずつ選択されるのが望ましい。図示するように、第１スタンプ画像ＩｍｇＳ１が選択されるとする。なお、選択において、上記のような編集が行われてもよい。次に、第１スタンプ画像ＩｍｇＳ１の位置等が確定すると、ユーザは、次のスタンプを選択することができる。以下、第１スタンプ画像ＩｍｇＳ１の次に選択されるスタンプを示す画像を「第２スタンプ画像ＩｍｇＳ２」という。また、以下、次のスタンプが選択されると、前のスタンプが確定する例で説明する。

図２９は、本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その２）である。例えば、第２スタンプ画像ＩｍｇＳ２に対する編集が行える場面では、第１スタンプ画像ＩｍｇＳ１の配置等は、確定している状態であるのが望ましい。すなわち、この例では、第１スタンプ画像ＩｍｇＳ１に対する配置を変更する等の編集は、制限される。一方で、第２スタンプ画像ＩｍｇＳ２に対する配置を変更する等の編集は、可能である。つまり、例えば、ユーザは、以下のような操作が可能である。

図３０は、本発明の一実施形態に係るスタンプを配置する画面の一例を示す図（その３）である。図示する例では、第２スタンプ画像ＩｍｇＳ２が選択されているため、第１スタンプ画像ＩｍｇＳ１は、確定している。そのため、第１スタンプ画像ＩｍｇＳ１に対して、位置を変更する編集等は、制限される。一方で、第２スタンプ画像ＩｍｇＳ２は、確定前であるため、位置を変更する等が可能である。そのため、例えば、図２９に示す第２スタンプ画像ＩｍｇＳ２の位置から、図３０に示す第２スタンプ画像ＩｍｇＳ２の位置に変更することが可能である。このように、変更の対象となる、すなわち、確定前の状態である第２画像は、１つずつであるのが望ましい。なお、上記の例では、変更の対象となっている第２画像は、図示するように、白枠で示す例である。このようにすると、ユーザは、第２画像に係る操作が行いやすい。すなわち、スマートフォンは、第２画像を１つずつ選択させることによって、ユーザの使い勝手を向上させることができる。なお、確定後であっても、第２画像を削除する変更は、可能であってもよい。

なお、編集は、第２画像の位置を変更するに限られない。例えば、編集は、第２画像の種類、サイズ、位置、角度又はこれらの組み合わせを設定する操作等でもよい。具体的には、例えば、第２画像のサイズが変更されると、以下のような出力となる。

図３１は、本発明の一実施形態に係るスタンプのサイズを変更した場合の一例を示す図である。図３０と比較すると、図３１に示す第２スタンプ画像ＩｍｇＳ２は、サイズが異なる。具体的には、図３１に示す第２スタンプ画像ＩｍｇＳ２は、図３０に示す第２スタンプ画像ＩｍｇＳ２より大きく出力されるように、サイズを拡大した場合の例である。なお、サイズの変更は、縮小が行われてもよい。また、第２画像の角度を変更する操作が行われると、以下のような出力となる。

図３２は、本発明の一実施形態に係るスタンプの角度を変更した場合の一例を示す図である。図３１と比較すると、図３２に示す第２スタンプ画像ＩｍｇＳ２は、角度が異なる。具体的には、図３２に示す第２スタンプ画像ＩｍｇＳ２は、図３１に示す第２スタンプ画像ＩｍｇＳ２が時計回りに回転するように角度が変更された場合の例である。

なお、第２画像は、スタンプに限られない。例えば、第２画像は、以下のようなテキストが含まれてもよい。

図３３は、本発明の一実施形態に係るテキスト画面の一例を示す図である。例えば、第２画像は、図示するようなテキストを示す画像（以下「テキスト画像ＩｍｇＴ」という。）であってもよい。なお、テキスト画像ＩｍｇＴに表示される文字、記号、図形、数字又はこれらの組み合わせ（以下「文字等」という。）は、例えば、テキスト選択メニューＴＥＳＬから、ユーザによる操作によって選択される。また、文字等は、太文字、斜体、色付き、フォントの選択、文字等のサイズの変更といった装飾ができてもよい。なお、テキスト画像ＩｍｇＴに対して、スタンプと同様に、編集が行われてもよい。例えば、以下のように、テキスト画像ＩｍｇＴの位置が変更される編集が行われてもよい。

以上のような編集が行われた後、次の第２画像が選択されると、前に選択されていた第２画像は、確定する。具体的には、確定した第２画像は、以下のようになる。

図３４は、本発明の一実施形態に係るテキストを配置する画面の一例を示す図である。まず、図３４は、確定前の一例を示す。具体的には、図３３と比較すると、図３４では、テキスト画像ＩｍｇＴの位置が異なる。すなわち、図３４は、図３０と同様に、テキスト画像ＩｍｇＴの位置を変更する操作が入力された場合の例を示す。また、図示するように、テキスト画像ＩｍｇＴが示す文字等の色が黒色に変更される編集等が行われてもよい。そして、次のスタンプ等が選択されたり、終了とされる操作が入力されたりすると、スマートフォンは、テキスト画像ＩｍｇＴを確定させ、例えば、以下のような画面を出力する。

図３５は、本発明の一実施形態に係る合成画像を示す画面の一例を示す図である。例えば、図３４に示すテキスト画像ＩｍｇＴが確定される場合を例に示す。この例では、図３４と比較すると、図３５に示すように、テキスト画像ＩｍｇＴが確定されると、変換画像ＩｍｇＣＣが生成される。なお、スタンプ画像が確定された場合も、同様にスマートフォンによって変換が行われる。

なお、変換画像ＩｍｇＣＣは、例えば、初期画像が有する曲率が反映されるように変換される。すなわち、初期画像は、図１５に示す立体球ＣＳである。そのため、曲率を有する。そこで、スマートフォンは、第２画像が配置された位置に基づいて、第１画像の曲率を特定し、特定される曲率を第２画像に反映するように第２画像を変換して変換画像ＩｍｇＣＣを生成する。このように変換されると、変換画像ＩｍｇＣＣが第１画像に加えられても、違和感が少ない。

したがって、まず、撮影される第１画像に、ユーザが、新たに第２画像を加える操作を行い、加えられた第２画像が確定されるとする。次に、スマートフォンは、第１画像の曲率等に合わせるように、第２画像を変換して変換画像ＩｍｇＣＣを生成する。このようにして、スマートフォンは、加えられる画像を撮像した画像等に合わせて変換する。さらに、第１画像に変換画像ＩｍｇＣＣを合成して、合成画像ＩｍｇＣＯを生成する。具体的には、第２画像を加える、すなわち、合成画像ＩｍｇＣＯを生成するには、スマートフォンは、以下のような処理を行う。

図３６は、本発明の一実施形態に係るスマートフォンによる処理の一例を示すフローチャートである。なお、図示する処理は、図９において、ステップＳ０７０８及びステップＳ０７０９に相当する。なお、以下の説明では、立体球ＣＳ（図１５）上の３次元座標（ｒ，θ，φ）を３Ｄポリゴン座標という。

ステップＳ２４０１では、スマートフォンは、第２画像の位置、サイズ及び角度等を取得する。まず、ステップＳ２４０１及び図９に示すステップＳ０７０８では、スマートフォンは、図２６乃至図３５に示す画面等を出力し、ユーザによる操作を入力する。そして、第２画像が確定されると、ステップＳ２４０１では、スマートフォンは、第２画像の位置、サイズ及び角度等を取得する。例えば、位置は、画面における座標（ｘ，ｙ）で示される。また、サイズは、第２画像の縦及び横のそれぞれの画素数等である。なお、サイズは、ある大きさを基準とする倍率でもよい。さらに、角度は、画面における水平方向（ｘ軸）に対する第２画像の角度等である。

ステップＳ２４０２では、スマートフォンは、第２画像の位置に対応する３Ｄポリゴン座標系を計算する。すなわち、スマートフォンは、画面上の座標に相当する座標（ｘ，ｙ）に対応する立体球ＣＳ（図１５）上の３次元座標（ｒ，θ，φ）を計算する。このように、３Ｄ球体ポリゴン、すなわち、立体球ＣＳのように、３６０°画像等を表示する際に使用される３Ｄオブジェクト上に、画面上の座標（ｘ，ｙ）がどの位置に投影されるかが、スマートフォンによって計算される。

ステップＳ２４０３では、スマートフォンは、画面サイズ及び画面上における第２画像のサイズに基づいて、３Ｄポリゴン座標における第２画像のサイズを計算する。すなわち、ステップＳ２４０３では、スマートフォンは、３次元座標（ｒ，θ，φ）における第２画像のサイズを計算する。この計算は、ステップＳ２４０１で取得される画面上の座標（ｘ，ｙ）における第２画像のサイズに基づいて行われる。

ステップＳ２４０４では、スマートフォンは、３Ｄポリゴン座標における第２画像の座標、サイズ及び角度に基づいて矩形ポリゴンを生成する。なお、矩形ポリゴンは、変換画像を第１画像に加えるため生成される矩形の３Ｄオブジェクトである。例えば、矩形ポリゴンは、ＯｐｅｎＧＬ（登録商標）によって生成される。

ステップＳ２４０５では、スマートフォンは、ステップＳ２４０４で生成される矩形ポリゴンに第２画像を描画させる。なお、描画は、例えば、ＯｐｅｎＧＬ（登録商標）によって実現される。このようにすると、スマートフォンは、変換画像を生成できる。

以上のような処理が行われると、以下のような処理結果となる。

図３７は、本発明の一実施形態に係るスマートフォンによる第２画像を加える処理の一例を示す図である。図は、図３６の処理結果を示す概念図である。この例では、スマートフォン２（図１）の画面ＰＮＬ上における第２画像Ｉｍｇ２の中心の位置は、座標（ｘ，ｙ）で示すとする。まず、第２画像Ｉｍｇ２の位置、サイズ及び角度等は、スマートフォン２により、ステップＳ２４０１（図３６）によって取得される。

次に、ステップＳ２４０２（図３６）では、スマートフォン２は、３Ｄ球体ポリゴン３ＤＰ上の３次元座標（ｒ，θ，φ）を計算する。すなわち、図示するように、ユーザの視点から見て、座標（ｘ，ｙ）が３Ｄ球体ポリゴン３ＤＰ上のどこに位置するかをスマートフォン２は、計算する。そして、ステップＳ２４０２で計算された位置に、第２画像Ｉｍｇ２を加えるため、スマートフォンは、矩形ポリゴンＲＰＬを生成する。

まず、スマートフォン２は、矩形ポリゴンＲＰＬのサイズをステップＳ２４０３（図３６）で計算する。そして、ステップＳ２４０４（図３６）では、スマートフォン２は、計算されたサイズとなるように、矩形ポリゴンＲＰＬを生成する。続いて、ステップＳ２４０５（図３６）では、矩形ポリゴンＲＰＬに第２画像Ｉｍｇ２を描画させる。このようにすると、スマートフォン２は、図３５に示すように、第１画像に合う曲率を有する変換画像を生成することができる。

なお、第２画像の選択が行われている場合には、第１画像は、固定されるのが望ましい。すなわち、第１画像は、拡大、縮小又は表示している箇所の変更等ができる場合が多い。その場合であっても、第２画像の選択が行われている場合には、第１画像は、一定のサイズ及び同じ箇所を示すのが望ましい。第２画像の編集等が行われている場合に、第１画像が変更されてしまうと、ユーザが操作しにくい場合が多い。そこで、第２画像の選択が行われている場合には、スマートフォンは、第１画像を固定し、第１画像の表示が変更されないようにする。このようにすると、スマートフォンは、ユーザの操作性を向上させることができる。

また、スマートフォンは、第２画像の位置をユーザが指定できる範囲を制限するのが望ましい。図３６で示すように、スマートフォンは、３Ｄ球体ポリゴン上の３次元座標（ｒ，θ，φ）を計算する。したがって、３次元座標（ｒ，θ，φ）の計算が難しい位置に、第２画像が配置されると、スマートフォンは、ステップＳ２４０２（図３６）等を行うのが難しくなる。なお、３次元座標（ｒ，θ，φ）の計算が難しい位置は、半球画像が画素を有しない位置等である。具体的には、以下のような位置である。

図３８は、本発明の一実施形態に係るスマートフォンによって第２画像の配置が制限される範囲の一例を示す図である。例えば、図６（ａ）に示す半球画像を例に説明する。この例では、第２画像の配置が制限される範囲（以下「制限範囲ＡＲ」という。）は、図示する範囲である。例えば、スマートフォンは、制限範囲ＡＲが画面上に出力されないように、第２画像を選択する画面において、表示される第１画像を制限してもよい。このようにすると、ユーザは、制限範囲ＡＲに相当する位置に第２画像を配置する操作を行うのが難しくなる。このようにして、スマートフォンは、第２画像の位置をユーザが指定できる範囲を制限し、第２画像を第１画像に重ねやすくできる。

また、スマートフォンは、第２画像を選択する画面において、極点となる箇所、例えば、図３８における「φ＝９０°」及び「φ＝−９０°」となる箇所の付近を表示するのを制限するのがより望ましい。極点が表示されると、ユーザが意図しない画像が表示されることがある。そのため、スマートフォンは、極点となる箇所が画面上に出力されないようにするのがより望ましい。なお、スマートフォンは、極点に近い箇所に、第２画像が配置されるのを制限してもよい。このように、スマートフォンは、高さ方向、すなわち、φ方向について、第２画像を選択する操作を制限してもよい。

＜機能構成例＞
図３９は、本発明の一実施形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。図示するように、画像処理装置の例であるスマートフォン２は、入力部２Ｆ１と、選択部２Ｆ２と、変換部２Ｆ３と、合成部２Ｆ４とを備える。

入力部２Ｆ１は、第１画像Ｉｍｇ１を入力する。例えば、第１画像Ｉｍｇ１として、全天球パノラマ画像等を入力する場合には、入力部２Ｆ１は、撮影装置１（図７）及びネットワークＩ／Ｆ２Ｈ６（図８）等によって実現される。

選択部２Ｆ２は、第１画像Ｉｍｇ１に加えるスタンプ等の第２画像Ｉｍｇ２を選択する。また、選択部２Ｆ２は、第２画像Ｉｍｇ２に対する編集等のユーザによる操作を受け付けてもよい。例えば、選択部２Ｆ２は、入出力装置２Ｈ３（図８）等によって実現される。

変換部２Ｆ３は、選択部２Ｆ２によって選択される第２画像Ｉｍｇ２を入力部２Ｆ１によって入力される第１画像Ｉｍｇ１に基づいて変換して変換画像ＩｍｇＣＣを生成する。例えば、変換部２Ｆ３は、図３６及び図３７に示すように、第２画像Ｉｍｇ２を変換して変換画像ＩｍｇＣＣを生成する。また、変換部２Ｆ３は、例えば、ＣＰＵ２Ｈ５（図８）等によって実現される。

合成部２Ｆ４は、入力部２Ｆ１によって入力される第１画像Ｉｍｇ１と、変換部２Ｆ３によって第２画像Ｉｍｇ２から変換された変換画像ＩｍｇＣＣとを合成して合成画像ＩｍｇＣＯを生成する。例えば、合成部２Ｆ４は、ＣＰＵ２Ｈ５等によって実現される。

まず、スマートフォン２は、入力部２Ｆ１によって、第１画像Ｉｍｇ１を入力する。そして、第１画像Ｉｍｇ１には、ユーザの操作によって、スタンプ又はテキスト等の第２画像Ｉｍｇ２が加えられる。この第２画像Ｉｍｇ２は、選択部２Ｆ２によって選択される。次に、スマートフォン２は、第２画像Ｉｍｇ２を第１画像Ｉｍｇ１に合わせて変換し、変換画像ＩｍｇＣＣを生成する。

第１画像Ｉｍｇ１は、全天球画像等である場合がある。そのため、広角レンズ又は魚眼レンズ等の光学系で撮影された画像である場合がある。このような第１画像Ｉｍｇ１は、歪曲収差等によって、曲率を有する場合が多い。これに対して、第２画像Ｉｍｇ２は、スタンプ等であるため、有する曲率が少ない場合が多い。そのため、単に、第２画像Ｉｍｇ２を第１画像Ｉｍｇ１に加えると、第１画像Ｉｍｇ１と、第２画像Ｉｍｇ２とは、有する曲率が異なるため、２つの画像が不連続であったり、つながりが不自然になったりする場合が多い。つまり、単に、第２画像Ｉｍｇ２を変換せず、第１画像Ｉｍｇ１に加えると、違和感のある画像となる場合が多い。

一方で、変換部２Ｆ３によって、第１画像Ｉｍｇ１に基づいて変換されて生成される変換画像ＩｍｇＣＣは、変換によって、第１画像Ｉｍｇ１に近い曲率を有する。そのため、合成部２Ｆ４によって、第１画像Ｉｍｇ１と、変換画像ＩｍｇＣＣとを合成しても、合成画像ＩｍｇＣＯは、違和感の少ない画像となる。このようにして、画像処理装置は、撮像した画像等に、新たに画像が加えても違和感の少ない画像を生成することができる。

なお、本発明に係る実施形態は、プログラミング言語等で記述されるプログラムによって実現されてもよい。すなわち、本発明に係る実施形態は、画像処理装置等のコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。なお、プログラムは、フラッシュメモリ、ＳＤ（登録商標）カード又は光学ディスク等の記録媒体に記憶して頒布することができる。また、プログラムは、インターネット等の電気通信回線を通じて頒布することができる。

なお、本発明に係る実施形態における画像は、静止画に限られない。例えば、画像は、動画でもよい。

また、本発明に係る実施形態において、処理の一部又は全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）等のプログラマブル・デバイス（ＰＤ）で処理され、実現されてもよい。さらに、本発明に係る実施形態において、処理の一部又は全部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で処理され、実現されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されない。すなわち、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本国際出願は、２０１６年２月２４日に出願された日本国特許出願２０１６−０３３６４２号に基づく優先権を主張するものであり、その全内容を本国際出願に援用する。

１０ 画像処理システム
１ 撮影装置
２ スマートフォン
Ｉｍｇ１ 第１画像
Ｉｍｇ２ 第２画像
ＩｍｇＣＣ 変換画像
ＩｍｇＣＯ 合成画像

特開２０１４−６８８０号公報 特開２０１５−１８０１３号公報 特開２０１４−３０１０４号公報

Claims (10)

1. 第１画像を入力する入力部と、
   前記第１画像に加える第２画像を選択する選択部と、
   前記第２画像を前記第１画像に基づいて変換して変換画像を生成する変換部と、
   前記第１画像と、前記変換画像とを合成して合成画像を生成する合成部と
   を備え、
   前記変換部は、
   前記第１画像が有する曲率が反映されるように前記第２画像を変換する
   画像処理装置。
2. 前記第１画像は、撮影装置で撮像された画像又は複数の撮影装置で撮像された複数の画像に基づいて生成された画像である請求項１に記載の画像処理装置。
3. 前記選択部は、前記選択で、前記第２画像の種類、サイズ、位置、角度又はこれらの組み合わせを編集する操作を入力する請求項１に記載の画像処理装置。
4. 前記選択部は、前記第２画像が選択されると、前に選択されていた第２画像の選択を確定させる請求項１に記載の画像処理装置。
5. 前記選択部は、前記第２画像の位置が指定される範囲を制限する請求項１に記載の画像処理装置。
6. 前記選択部は、前記第２画像を選択させる画面では、前記第１画像が示す範囲を制限する請求項１に記載の画像処理装置。
7. 前記範囲は、高さ方向についてである請求項６に記載の画像処理装置。
8. 前記第２画像を選択させる画面では、前記第１画像が固定される請求項１に記載の画像処理装置。
9. 撮影装置と、前記撮影装置と接続される１以上の情報処理装置とを有する画像処理システムであって、
   第１画像を入力する入力部と、
   前記第１画像に加える第２画像を選択する選択部と、
   前記第２画像を前記第１画像に基づいて変換して変換画像を生成する変換部と、
   前記第１画像と、前記変換画像とを合成して合成画像を生成する合成部と
   を備え、
   前記変換部は、
   前記第１画像が有する曲率が反映されるように前記第２画像を変換する
   画像処理システム。
10. コンピュータに画像処理方法を実行させるためのプログラムであって、
    前記コンピュータが、第１画像を入力する入力手順と、
    前記コンピュータが、前記第１画像に加える第２画像を選択する選択手順と、
    前記コンピュータが、前記第２画像を前記第１画像に基づいて変換して変換画像を生成する変換手順と、
    前記コンピュータが、前記第１画像と、前記変換画像とを合成して合成画像を生成する合成手順と
    を実行させ、
    前記変換手順では、
    前記第１画像が有する曲率が反映されるように前記第２画像を変換する
    プログラム。