JP7144571B2 - 情報機器、及びカメラ画像共有システム - Google Patents

Description

本発明は、カメラとディスプレイ付きの情報機器、及び複数のカメラの撮影画像を共有するカメラ画像共有システムに関する。

ＣＰＵ（Central Processing Unit）とメモリ等で構成される情報機器に、無線ネットワーク機能、カメラ機能、ディスプレイ機能を一体化した情報機器が広く利用されている。具体的には、スマートフォン、タブレットＰＣ（Personal Computer）により、いつでもどこでもカメラで撮影し、撮影した画像をネットワーク経由でＳＮＳ（Social Network Service）でシェアできる。さらにアウトカメラに加え、自撮り用のインカメラを備えた情報機器もある。

複数のカメラで撮影した画像を合成する方法として、特許文献１には、複数のカメラ画像を階層的に取り扱い、ユーザが第一階層の画像の一部を切り抜き、切り抜かれた領域に第二階層の画像を表示し、複数の画像を合成して表示させる方法が開示されている。

特開２０１４－０５７２５８号公報

特許文献１では、ユーザが第一階層の画像の一部を切り抜き、切り抜かれた領域に第二階層の画像を表示させるため、合成画像を得るための操作に手間と時間が必要となる。特にカメラ画像の数が多い場合には、ユーザにとってこの操作は煩わしいものとなる。

本発明の目的は、複数のカメラ撮影画像を合成するのに特別なユーザ操作が必要なく、合成する画像の選択が容易である情報機器、及びカメラ画像共有システムを提供することにある。

本発明は、カメラとディスプレイを有する情報機器において、通信手段によりカメラ画像共有サービス提供装置に接続し、カメラの撮影画像とその特徴量をアップロードするとともに、他の情報機器の撮影画像とその特徴量をダウンロードする。また、オートフレーミングサービス提供装置に接続し、複数の撮影画像を合成するための複数のフレーミングパターンをダウンロードする。情報機器のフレーミング手段は、カメラの撮影画像の特徴量を算出し、算出した特徴量とダウンロードした他の情報機器の撮影画像の特徴量に基づいて、ダウンロードした複数のフレーミングパターンから１つのフレーミングパターンを選択して、前記カメラと他の情報機器の撮影画像を合成する。合成した前記カメラと他の情報機器の撮影画像をディスプレイに表示する。

本発明によれば、複数のカメラ撮影画像を合成するのに特別なユーザ操作が必要なく、合成する画像の選択が容易な情報機器、及びカメラ画像共有システムを提供することができる。

実施例１に係る情報機器の外観を示す図である。 情報機器の構成を示すブロック図である。 情報機器とサービス提供装置で構成されるカメラ画像共有システムの構成を示す図である。 情報機器の撮影処理の動作フローを示す図である。 情報機器の再生処理の動作フローを示す図である。 情報機器のＳＮＳ処理の動作フローを示す図である。 情報機器のオートフレーミング処理の動作フローを示す図である。 オートフレーミング処理に用いるカメラ画像の特徴量の例を示す図である。 情報機器の表示画面の例（撮影時）を示す図である。 情報機器の表示画面の例（オートフレーミング処理）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。 情報機器の表示画面の例（フレーミングパターン変更）を示す図である。 情報機器の表示画面の例（フレーミングパターン変更）を示す図である。 情報機器の表示画面の例（異なる合成画面）を示す図である。 実施例２に係るユーザ管理データベースの例を示す図である。 オートフレーミングサービス提供装置の動作フローを示す図である。 フレーミングパターンの評価指標値の例を示す図である。 実施例３に係る情報機器の撮影動作フローを示す図である。 情報機器の表示画面の例（横画面撮影時）を示す図である。 情報機器の表示画面の例（縦画面撮影時）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（画像の選択方法）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。 情報機器の表示画面の例（再生時）を示す図である。

以下、本発明の実施形態を図面を参照しながら説明する。本発明は、カメラ機能を有する情報機器とカメラ画像共有サービス提供装置を含む画像共有システムに関するものであるが、各装置について分けて説明する。

実施例１では、カメラとディスプレイを有する情報機器について説明する。
図１は、実施例１に係る情報機器１の外観を示す図で、（ａ）は前面図、（ｂ）は背面図である。情報機器１は、カメラ機能とディスプレイ機能を一体化した情報機器であって、例えば、スマートフォン、タブレットＰＣなどが相当する。その構成は、１ａはリターン釦、１ｂはホーム釦、１ｃはマルチタスク釦、２はアウト（ＯＵＴ）カメラ、２ａはオートフォーカス（ＡＦ）センサ、２ｂ／２ｃはＲＧＢセンサ／ＬＥＤフラッシュ、３はイン（ＩＮ）カメラ、４はタッチセンサ一体型のディスプレイ、４ａは光センサ、５は受話口である。背面側にあるアウト（ＯＵＴ）カメラ２では外部の被写体を撮影し、前面側（ディスプレイ４側）にあるイン（ＩＮ）カメラ３では自撮りすることができる。以下、情報機器１のことを単に「カメラ」とも呼ぶことにする。

図２は、情報機器（カメラ）１の構成を示すブロック図である。ＯＵＴカメラ２は、イメージセンサ２０１とカメラプロセッサ２０２から成る。ＯＵＴカメラ２での撮影に際し、ＡＦセンサ２ａはオートフォーカス機能を、ＲＧＢセンサ２ｂはオートホワイトバランス機能を、ＬＥＤフラッシュ２ｃは暗い撮影環境でのフラッシュ機能をサポートする。ＲＧＢセンサ２ｂとＬＥＤフラッシュ２ｃは、排他的に動作可能であり、図１（ｂ）で示すように、ＯＵＴカメラ２が配置される背面の１つの窓を共有している。またＩＮカメラ３は、イメージセンサ３０１とカメラプロセッサ３０２から成り、図１（ａ）に示すように前面に配置され、情報機器１のユーザの自撮りを主な目的として使用される。

光センサ４ａは、周囲の明るさを検知してディスプレイ４のバックライトを制御し、写し出す表示画面をユーザにとって見えやすい明るさに設定する。位置センサ１０８は、ＧＰＳ（Global Positioning System）により情報機器１の位置情報を取得する。

ビデオプロセッサ１０９は、ネットワークからダウンロードする画像データやＳＤＣ（ＳＤカード）１０５ｂから読み出す画像データを処理して、グラフィックプロセッサ１１０に送る。グラフィックプロセッサ１１０は、これら画像データのほか、ＣＰＵ１０２で処理するＨＴＭＬ（Hyper Text Markup Language）データ等をグラフィックデータに変換して、ディスプレイ４に表示させる。

モバイル通信インタフェース（ＩＦ）１０１ａは、３ＧやＬＴＥ（Long Term Evolution）といった通信方式をカバーし、無線ＬＡＮインタフェース（ＩＦ）１０１ｂとともに、画像データ等の大容量データをダウンロードするのに好適な無線ネットワーク機能を提供する。無線ネットワークとしては、これら以外の方式のものであってもよい。

ＣＰＵ１０２、ＲＡＭ（Random Access Memory）１０３、ＦＲＯＭ（Flash ROM）１０４は、情報機器１の中心的な演算及びプログラム実行の役割を担っている。ＦＲＯＭ１０４には、画像及び音声の処理やＨＴＭＬブラウザなどのプログラムが格納され、必要に応じてＲＡＭ１０３に展開し、ＣＰＵ１０２で実行する。ＲＡＭ１０３には、一時的に画像及びＨＴＭＬのテータも蓄えられる。

特にＦＲＯＭ１０４には、本実施例の特徴であるカメラ共有アプリ１０４ａやＳＮＳアプリ１０４ｄのプログラムが格納される。これらのプログラムもまた、ＲＡＭ１０３に展開され、ＣＰＵ１０２で実行される。ここにカメラ共有アプリ１０４ａは、モバイル通信ＩＦ１０１ａや無線ＬＡＮＩＦ１０１ｂを介しインターネット９との間で画像データを送受信する画像通信プロセス１０４ｂと、ディスプレイ４に複数のカメラ画像を合成表示する枠組みを定義するオートフレーミングプロセス１０４ｃを含む。

ＳＤＩＦ１０５ａはＳＤＣ（ＳＤカード）１０５ｂに、様々なデータを格納することができる。例えば、前記ＯＵＴカメラ２やＩＮカメラ３で撮影した画像データを、ＦＲＯＭ１０４の他、ＳＤＣ１０５ｂに蓄えることにより大容量の蓄積が可能となる。ＵＳＢＩＦ１０６は、ＵＳＢデバイスを接続したり、外部から電源供給を受けたりするインタフェースである。

マイクロフォン１０７ａ、受話スピーカ５は音声通話に用いられ、スピーカ１０７ｂは、音楽データを聞くのに用いられる。

図３は、複数の情報機器１とサービス提供装置で構成されるカメラ画像共有システムの構成を示す図である。ある特定のエリア７（例えばイベント会場）に、情報機器（カメラ）１を所持した複数のユーザ６（Ａ～Ｆ）が存在している状態を想定する。各ユーザＡ～Ｆは、カメラ画像共有サービス提供装置１３に登録されていることを前提としているが、登録方法は限定されるものではない。各カメラ１は、それぞれのユーザ６がシャッタを押し撮影が行われる毎に、インターネット９経由でカメラ画像共有サービス提供装置１３にカメラの撮影画像と該撮影画像の特徴量をアップロードする。以降では、ユーザＡの撮影動作に注目して、カメラ画像共有サービス提供装置１３を利用する場合を説明している。

各カメラ１とインターネット９は、モバイル通信の基地局あるいは無線ＬＡＮのアクセスポイント８で接続される。また、インターネット９には、オートフレーミングサービス提供装置１０、カメラ画像共有サービス提供装置１３、ＳＮＳサービス提供装置１６が接続されている（以下、各「・・・サービス提供装置」を単に「・・・サービス」と記す）。

カメラ画像共有サービス１３は、ユーザ管理データベース（ＤＢ）１４と、カメラの撮影画像データやその特徴量を格納する画像ストレージ１５を有する。オートフレーミングサービス１０は、フレーミング処理部１１と、フレーミング処理部１１で生成したフレーミングパターンを記述したフレーミングテーブル１２を有する。ここにフレーミングパターンとは、複数のカメラ画像を合成する際の各画像の配置や大きさなどの表示ルールを記述したものである。オートフレーミングサービス１０は、カメラ画像共有サービス１３に連動したサービスとする。本例では、カメラ画像共有サービス１３が有するユーザ管理ＤＢ１４に登録されたユーザに対して、カメラ画像共有サービス１３とオートフレーミングサービス１０の提供を行い、複数のユーザが撮影したカメラ画像を共有し、これら複数の画像を好適に合成（オートフレーミング処理）することをサポートするシステムとなっている。

次に、情報機器（カメラ）１の撮影／再生／ＳＮＳの動作フローを、それぞれ図４Ａ～４Ｃに分けて説明する。
図４Ａは、情報機器１の撮影処理の動作フロー（Ｓ１００）を示す図である。この処理では、オートフレーミング処理により、自カメラの撮影画像とこれに合成する他カメラの画像を選択して保存する。

ユーザは情報機器（カメラ）１のＯＵＴカメラ２もしくはＩＮカメラ３を起動する（Ｓ１０１）。本実施例では、複数のカメラ１のカメラ画像を共有するという目的で、ＯＵＴカメラ２の利用を想定しているが、ＩＮカメラ３であってもよい。カメラが起動されると、カメラの各種設定（オートフォーカス、オートホワイトバランス、自動露光、オートフラッシュ、撮像ピクセル数のデフォルト値設定など）を自動的に設定する（Ｓ１０２）。もちろん、一部を手動で設定してもよい。カメラ設定が終わると、カメラは撮影を開始し、撮影した画像をディスプレイ４に表示する（Ｓ１０３）。ただし、この時点ではユーザはシャッタを押していない状態である。

次にユーザは、カメラ画像共有サービス釦（図７Ａの符号４１２）を押してカメラ共有アプリ１０４ａを起動し、カメラ画像共有サービス１３にログインする（Ｓ１０４）。この時、オートフレーミングサービス１０も同時に開始し、フレーミングテーブル１２の一部をダウンロードし、カメラ１にて保存済みのフレーミングテーブル１２ａを更新する（Ｓ１０５）。

続いて、他カメラの画像データをカメラ画像共有サービス１３からダウンロードする（Ｓ１０６）。ダウンロードする他カメラの画像データは、共有するのに適したカメラのみに制限する。すなわち、位置センサ１０８で取得した位置情報を用いて自カメラの周辺に存在するカメラに限定し、例えば、自カメラを基準に前後、左右、斜めの合計８方向に対して、近い位置にあるカメラを選定する。さらに、撮影時刻については、現在時刻から遡って所定時間以内に撮影された最新の画像データのみに限定する。これらの他カメラの画像データは、その画像の特徴量とともにダウンロードされる。

また、自カメラの撮影画像について、撮影画像に写っている人物の有無、人数、人物もしくは塊のある物体の大きさ、それらの画像内の位置などの特徴量を算出する（Ｓ１０７）。

次に、自カメラの画像と他カメラの画像の特徴量を用いて、オートフレーミングプロセス１０４ｃによりオートフレーミング処理を行う（Ｓ１０８）。この処理では、どのカメラの画像をディスプレイ４のどの位置にどの程度の大きさで表示するか、複数の画像の表示が重なる場合どちらの画像を前面に表示するかなどの表示ルールとなるフレーミングパターンを自動で決定する。決定されたフレーミングパターンに従いグラフィックプロセッサ１１０は、自カメラと他カメラの画像を合成した表示画面を作成し、ディスプレイ４に表示する（Ｓ１０９）。オートフレーミング処理（Ｓ１０８）については、図５、図６を用いて詳細に説明する。

ユーザは、ディスプレイ４に表示された複数カメラ画像の合成画面を見て、自カメラ画像と合成したい他カメラ画像を選択する（Ｓ１１０）。他カメラ画像を選択した後、ユーザがカメラ１のシャッタ釦（図７Ａ，７Ｂの符号４１３）を押すと撮影処理が行われ、自カメラの撮影画像はＳＤＣ１０５ｂなどのストレージ媒体に保存される（Ｓ１１１）。この時、選択された他カメラ画像は既にダウンロードされているものであり、新たに保存されることはないが、自カメラの画像データに紐付けされる。さらに、シャッタが押されたタイミングで、自カメラで撮影した画像データとその特徴量、及びＳ１１０での画像選択に基づくフレーミングパターンの情報が、カメラ画像共有サービス１３にアップロードされる（Ｓ１１２）。これらのアップロードされたデータは、他カメラのユーザがカメラ画像共有サービス１３を利用する時にも使用される。

ユーザは撮影を継続するか否かを選択し（Ｓ１１３）、継続するときはＳ１０６に戻り、他カメラの画像のダウンロードから繰り返し行う。このようにして、カメラ１の位置の移動、時間の経過により、ダウンロードすべき他カメラの画像を必要に応じて更新する。なお、既にダウンロード済みのデータが有効であれば、重複してダウンロードする必要はない。

図４Ｂは、情報機器１の再生処理の動作フロー（Ｓ１２０）を示す図である。この処理では、撮影した自カメラ画像に他カメラ画像を合成して再生表示する。ユーザが再生釦（図７Ｂの符号４１５）を押すと（Ｓ１２１）、撮影して保存済みの自カメラ画像と、これに紐付けられた他カメラ画像がストレージ媒体から読み出される（Ｓ１２２）。これら読み出された画像に対してオートフレーミングプロセス１０４ｃによりオートフレーミング処理を行い（Ｓ１２３）、その合成画面がディスプレイ４に再生表示される（Ｓ１２４）。また、合成時に選択されたフレーミングパターンの情報がアップロードされる（Ｓ１２５）。

なお再生時において、ユーザの指示でフレーミングパターンを変更したとき、例えば、自カメラ画像以外の画像を優先して画面最前面に表示させたような場合には（Ｓ１２６）、Ｓ１２３のオートフレーミング処理に戻り、Ｓ１２５にて、変更されたフレーミングパターンの情報が再度アップロードされる。

図４Ｃは、情報機器１のＳＮＳ処理の動作フロー（Ｓ１３０）を示す図である。ここでは、ＳＮＳ（Social Network Service）サービス１６を利用して撮影画像やコメントをアップロードする。

ユーザは、ＳＮＳ釦（図７Ｃなどの符号４０１）を押してＳＮＳアプリ１０４ｄを起動し（Ｓ１３１）、ＳＮＳサービス１６にログインする（Ｓ１３２）。そしてカメラ画像やコメントなどのアップロードを行う（Ｓ１３３）。なお、前記したカメラ画像の再生処理（図４Ｂ）からＳＮＳ処理に移行させる場合には、再生画面をＳＮＳに容易にアップロードすることができる。つまり、オートフレーミング処理（Ｓ１２３）と、合成画面の再生表示（Ｓ１２４）が行われた画面を、そのままアップロードすることができる（後述する図７Ｃ、図７Ｄ）。ＳＮＳを継続する場合は（Ｓ１３４）、Ｓ１３３に戻り画像やコメントなどのアップロードを繰り返して行う。

図５は、情報機器１のオートフレーミング処理（Ｓ１４０）の動作フローを示す図であり、図４ＡのステップＳ１０８に対応する。ただしここでは、Ｓ１０８での処理に限定せず、オートフレーミング処理の基本的な説明を行う。

カメラ画像共有サービス１３へのログインとともに、オートフレーミング処理（Ｓ１４０）を開始する。自カメラは撮影を継続しており、撮影画像は例えば毎秒数コマから数十コマ程度でリフレッシュされている。リフレッシュが継続される画像の中から１コマの画像をキャプチャして（Ｓ１４１）、キャプチャした画像に対して特徴量の算出を行う（Ｓ１４２）。また他カメラに対しては、Ｓ１０６にてカメラ画像共有サービス１３からダウンロードした特徴量を用いる（Ｓ１４３）。

図６は、オートフレーミング処理に用いるカメラ画像の特徴量の例を示す図である。自カメラ画像の場合、写っている人数、人群の塊の大きさと位置、人の顔の大きさ、ユーザ自身が写っているか否か、フォーカス距離、フォーカスしている物体の位置と大きさなどである。一方他カメラ画像では、これらに加え、各々のカメラの位置（自カメラからの方角と距離）、撮影時刻などを特徴量として追加する。

次に、自カメラ及び他カメラの特徴量に基づいて、自カメラが保存しているフレーミングテーブル１２ａからフレーミングパターンを選択する（Ｓ１４４）。その手法は、特徴量を要素とする検索用のインデックスベクトルを用いて、該インデックスベクトルに重み付け距離で近いインデックススベクトルを持つフレーミングパターンを、フレーミングテーブル１２ａから自動的に選択する。なお、フレーミングテーブル１２ａは、カメラ画像共有サービス１３を開始するとＳ１０５にて更新されている。選択されたフレーミングパターンを用いて、グラフィックプロセッサ１１０は、自カメラを含む複数カメラの画像を合成した表示画面を作成する（Ｓ１４５）。作成した合成画面は、ディスプレイ４に表示される。

図７Ａ～図７Ｆは、情報機器（カメラ）１の表示画面の例である。ここでは、ユーザＡの所持するカメラ１における表示画面を示す。
図７Ａは、図４Ａの撮影画像表示状態（Ｓ１０３）での表示画面を示す。カメラ１のディスプレイ４には、ユーザＡのカメラの撮影画像４１と、ユーザがＡであることを示すユーザマーク４１１、カメラ画像共有サービス釦４１２、シャッタ釦４１３、設定釦４１４が表示されている。ユーザＡは、カメラ画像共有サービス釦４１２を押すことで、カメラ画像共有サービス１３へのログインを開始する。

図７Ｂは、図４Ａのオートフレーミング処理（Ｓ１０８）による合成画面の表示状態（Ｓ１０９）を示す。ユーザＡのカメラの撮影画像４１の他に、ユーザＢのカメラの撮影画像４２、ユーザＣのカメラの撮影画像４３、ユーザＤのカメラの撮影画像４４、ユーザＥのカメラの撮影画像４５、ユーザＦのカメラの撮影画像４６が表示されている。これらのカメラの撮影画像は、カメラ画像共有サービス１３からダウンロードしたものであり（図４ＡのＳ１０６）、カメラＡの撮影画像４１が現時刻の画像であるのに対して、他の撮影画像は少し前の時刻にシャッタが押され、カメラ画像共有サービス１３にアップロードされたものである。各撮影画像には、それぞれのユーザマーク４２１、４３１、４４１、４５１、４６１が表示されている。さらに各撮影画像には、ユーザＡの撮影画像４１と紐付け保存するか否かを選択（Ｓ１１０）する選択釦４２２、４３２、４４２、４５２、４６２が表示されている。このような合成表示を行うことで、同じイベントにおけるユーザＡの撮影画像４１と他のユーザＢ～Ｆの撮影画像４２～４６とを一緒に見ることができ、イベントの臨場感を分かりやすく伝えることができる。

続いて図７Ｂの例では、ユーザＢの撮影画像４２とユーザＣの撮影画像４３とが合成用に選択（紐付け）されており、ユーザＡがシャッタ釦４１３を押すと、Ａの撮影画像４１と特徴量がストレージ媒体に保存されるとともに、Ｂの撮影画像４２とＣの撮影画像４３、および各々の特徴量が紐付けされて保存される（Ｓ１１１）。

図７Ｃは、図４Ｂの再生時のオートフレーミング処理（Ｓ１２３）による合成画面の表示状態（Ｓ１２４）を示す。この場合のオートフレーミング処理（Ｓ１２３）は、ユーザＡの撮影画像４１と、これに紐付けされたユーザＢの撮影画像４２とユーザＣの撮影画像４３に対して行なわれる。ユーザＡの撮影画像４１が、他の画像より優先して前面に表示されている。また、ＳＮＳ釦４０１を押せばＳＮＳアプリ１０４ｄが起動し、この画面をアップロードすることができる。

図７Ｄは、図７Ｃの状態でフレーミングパターンを変更した場合を示す。ここでは、ユーザＡがユーザＢの撮影画像４２をタップし、Ｂの撮影画像４２を優先させて、再度オートフレーミング処理を実行した後の表示画面である。一般に、自分（ユーザＡ）のＯＵＴカメラでは自分自身の周りの様子を撮影するが、自分自身を撮影する訳ではない。一方、他人のカメラでは自分自身（ユーザＡ）を撮影している可能性がある。図７Ｄの例では、Ｂの撮影画像４２にユーザＡが写っている場合であり、ユーザＡは、Ｂの撮影画像４２をタップして、ユーザＡが写っているＢの撮影画像４２を拡大して前面に表示させている。

図７Ｅは、図７Ｃの状態でフレーミングパターンを変更した他の場合を示す。ここでは、ユーザＡの撮影画像４１をタップし、全画面に拡大表示させた例である。

図７Ｃ～７Ｅの表示画面は、いずれもＳＮＳサービス１６にアップロード可能である。特に図７Ｃや図７Ｄのように、Ａの撮影画像をＢとＣの撮影画像と一緒にＳＮＳにアップロードすることにより、イベント会場の様子を臨場感のある画像として、他のＳＮＳユーザに伝えることができる。

図７Ｆは、図７Ｂとは異なる合成画面の例を示す。この例では、隣接する撮影画像がその境界で互いに重なりを有する場合、重なる部分の画像を斜めにカットして合成している。これにより、画像が重なって見えなくなる領域が特定の画像に偏らないように、すなわち各画像の境界を均等に表示している。

以上、実施例１によれば、複数のカメラ画像を合成した表示画面を得るために、特別なユーザ操作を必要とすることなく、合成するカメラ画像の選択が容易な情報機器、及び画像共有システムを提供することができる。さらに、イベント等で複数のカメラの状況を一目で確認できるとともに、複数のカメラ画像を合成した画面をＳＮＳにアップロードして、臨場感のある画像をユーザ間で共有することが可能となる。

実施例２では、カメラ画像共有システムにおける、カメラ画像共有サービス提供装置（カメラ画像共有サービス）１３とオートフレーミングサービス提供装置（オートフレーミングサービス）１０の動作について説明する。

図８は、カメラ画像共有サービス提供装置１３のユーザ管理データベース（ＤＢ）１４の例を示す図である。ユーザ管理ＤＢ１４に登録されているユーザは、予めカメラ画像を共有あるいは交換することを目的に、グループ名が「イベントＴ」というユーザグループを形成している。ユーザ管理ＤＢ１４には、「さくら」をはじめＮ名のユーザが登録され、そのユーザニックネーム、モバイル番号、ＩＰアドレス、パスワード、メールアドレスのデータが記述されている。これらのユーザが使用する情報機器（カメラ）は特定のものである必要はなく、カメラ機能とディスプレイ機能を有する情報機器であれば利用可能である。例えば、メールアドレスとパスワードを入力してカメラ画像共有サービス１３にログインし、サービスの提供を受けることができる。

図９は、オートフレーミングサービス提供装置１０におけるフレーミング処理部１１の動作フローを示す図である。ここでのフレーミング処理（Ｓ２００）は、ユーザのカメラ画像の特徴量を収集し、グループ化（紐付け）されている複数のカメラ画像の特徴量を要素としてインデックスベクトルを求める。そして、複数のカメラ画像を合成表示するのに好適なフレーミングパターンを求め、インデックスベクトルに対応させてフレーミングテーブル１２に登録する処理である。

カメラ１から画像データと特徴量をアップロード受信すると（Ｓ２０１）、フレーミングテーブル１２の更新を開始する（Ｓ２０２）。まず、アップロードされた特徴量を、カメラ特徴量データベース１１ａに登録する（Ｓ２０３）。さらに、アップロードされているカメラの位置情報から、例えば図３のユーザＡのカメラに対しその周辺に位置するカメラ（ユーザＢ、Ｃ、Ｄ、Ｅ、Ｆ）を検索し、それらの特徴量をカメラ特徴量データベース１１ａから読み出す（Ｓ２０４）。

次に、読み出した特徴量を用いて、フレーミングパターン候補を作成する（Ｓ２０５）。フレーミングパターンとは、各カメラ画像を合成する際の表示ルール（配置と大きさなど）であって、図１０に示すフレーミングパターンの評価指標に基づいて作成する（Ｓ２０６）。作成した候補が評価指標を満足する場合には、フレーミングテーブル１２に追加登録し（Ｓ２０７）、処理を終了する（Ｓ２０８）。作成した候補が評価指標を満足しない場合には、Ｓ２０５に戻りフレーミングパターンの候補を修正して再度作成し、評価を繰り返す。

図１０は、フレーミングパターンの評価指標の例を示す図である。条件として、ディスプレイ４にどのカメラ画像も表示されないブランクエリアをできるだけ小さくすること、各々のカメラ画像に写っている中心被写体（例えば人物）が視認しやすい程度の大きさであること（そのために、カメラ画像の拡大／縮小、トリミング処理を行う）が挙げられる。さらに、カメラの位置情報を使い、現実のカメラの相対位置関係を維持しながら、距離に応じた表示がなされること、具体的にはＡのカメラから近いカメラ画像は比較的大きく、遠いカメラ画像は小さく表示すること、が求められる。これらを満足することで、イベント会場の臨場感を再現する合成画面を作成できる。

また、フレーミングパターン候補の作成（Ｓ２０５）にあたっては、過去のフレーミングパターンの選択実績をフィードバックする。フレーミングテーブル１２には過去に遡って多量の選択実績のあるフレーミングパターンが登録されており、単一のグループに閉じるものではなく、広くオートフレーミングサービス１０を利用するカメラの実績が蓄えられている。これら多量の実績に対して、ＡＩ（Artificial Intelligence）学習処理を行うことによって、より好適なフレーミングパターンを含むフレーミングテーブル１２を作成することができる。

実施例２によれば、インターネット９上にあるオートフレーミングサービス提供装置１０から好適なフレーミングパターンの提供を受けることができ、情報機器１では画像合成のためのユーザ操作が軽減する。また情報機器１の小型化、軽量化にも繋がる。

実施例３では、情報機器１においてＯＵＴカメラ２とＩＮカメラ３を同時に取り扱い、それらの画像のオートフレーミング処理を行う場合について説明する。情報機器１（カメラ）の構成は実施例１（図２）に示した構成と同様であり、ＯＵＴカメラ２とＩＮカメラ３の画像のオートフレーミング処理は、ＦＲＯＭ１０４に格納したオートフレーミングプロセス１０４ｃにより実行する。

図１１は、実施例３における情報機器１の撮影動作フローを示す図である。実施例１（図４Ａ）の動作フロー（Ｓ１００）と同じ機能のステップについては、同一の番号を付与しており、図４Ａの動作フローとは異なるステップを中心に説明する。

カメラ起動を行うと（Ｓ１０１）、ＯＵＴカメラ２とＩＮカメラ３の設定を行う（Ｓ１０２ａ）。カメラの特徴量算出（Ｓ１０７ａ）では、ＯＵＴカメラ２とＩＮカメラ３各々のカメラ画像の特徴量を計算し、オートフレーミング処理（Ｓ１０８ａ）では、ＯＵＴカメラ２とＩＮカメラ３の２つのカメラ画像を対象とする。なお、情報機器１がＯＵＴカメラ２、ＩＮカメラ３以外のカメラを備える場合には、備える全てのカメラ画像を対象としてよい。オートフレーミング処理の結果、ＯＵＴカメラ２とＩＮカメラ３のカメラ画像を合成した画面が表示される（Ｓ１０９）。ユーザはこの中から撮影する画像を選択して（Ｓ１１０ａ）、撮影保存（シャッタ押し）を行う（Ｓ１１１）。

なお、本実施例においても、カメラ画像共有サービス１３の利用が可能であり、そのパスを破線で示している。任意のタイミングでログインし（Ｓ１０４）、フレーミングテーブル１２や他ユーザのカメラ画像をダウンロードして（Ｓ１０６）、オートフレーミング処理（Ｓ１０８）を行う。これを撮影保存し、カメラ画像データや特徴量、さらには選択したフレームパターンをアップロード（Ｓ１１２）する。

なお、再生処理とＳＮＳ処理に関しては、実施例１（図４Ｂ，図４Ｃ）の動作フローと同様である。

図１２～図１４は、情報機器（カメラ）１の表示画面の例である。
図１２Ａと図１２Ｂは、撮影時の合成画面の表示状態を示し、図１１におけるステップＳ１０９に対応する。図１２Ａは、横画面でカメラ撮影を行い、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を横方向に並べて表示するフレーミングパターンが適用されている（Ｓ１０８ａ）。撮影画像の選択（Ｓ１１０ａ）では、選択釦４８２をチェックし、ＯＵＴカメラ２の画像４８を選択している。

図１２Ｂは、縦画面でカメラ撮影を行い、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を縦方向に並べて表示するフレーミングパターンが適用されている。撮影画像の選択では、選択釦４８２と４７２をチェックし、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７の両方を選択している。この状態でシャッタ釦４１３を押すと（Ｓ１１１）、ＯＵＴカメラ２とＩＮカメラ３の両方の画像が同時に撮影保存される。

図１３Ａ～図１３Ｃは、合成するカメラ画像の選択操作方法を示す図である。本例ではカメラ画像の選択は選択釦ではなくシャッタ釦４１３で行い、選択したいカメラ画像の位置にシャッタ釦４１３を移動（ドラッグ）させる。

図１３Ａでは、シャッタ釦４１３をＩＮカメラ３の画像４７上に移動させ、画像４７の外枠が太線でハイライト表示され選択されていることを示す。図１３Ｂでは、シャッタ釦４１３をＯＵＴカメラ２の画像４８上に移動させ、画像４８がハイライト表示され選択されていることを示す。また図１３Ｃでは、シャッタ釦４１３を画像４８と画像４７の境界線上に移動させ、画像４８と画像４７をハイライト表示して、ＯＵＴカメラ２とＩＮカメラ３の両方の画像を選択している。

本例では、シャッタ釦４１３で撮影保存する画像を選択するという簡単な操作方法を採用している。さらに、シャッタ釦４１３を移動（ドラッグ）して、シャッタ釦４１３から指を離すときシャッタが切れるようにしておけば、カメラ画像を選択するという操作とシャッタを切るという操作がユーザの一連の操作で可能となり、使い勝手が一層向上する。

図１４Ａと図１４Ｂは、撮影保存したカメラ画像を再生表示した状態を示す。図４Ｂの再生時の動作フローで、オートフレーミング処理（Ｓ１２３）の後、合成画面の表示（Ｓ１２４）に対応する。図１４Ａ、図１４Ｂの例では、ともにカメラ画像の中心付近の被写体をクローズアップして表示している。ただし、図１４Ａでは、ＯＵＴカメラ２の画像４８とＩＮカメラ３の画像４７を同等に扱うフレーミングパターンを適用しているのに対し、図１４Ｂでは、ＯＵＴカメラ２の画像４８を主となるように表示するフレーミングパターンを適用している。

以上、実施例３によれば、ＯＵＴカメラとＩＮカメラの画像を合成した表示画面を得るのに特別なユーザ操作を必要とすることなく、撮影するカメラの選択が容易な情報機器、及びカメラ画像共有システムを提供することができる。さらに、カメラ画像の選択操作とシャッタ操作がシームレスなＧＵＩ（グラフィカルユーザインタフェース）の提供も可能となる。

以上各実施例を説明したが、本発明はこれらに限るものでなく、例えば、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。さらに、文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものではない。

また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実装してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。

１：情報機器（カメラ）、２：ＯＵＴカメラ、３：ＩＮカメラ、４：ディスプレイ、９：インターネット、１０：オートフレーミングサービス提供装置、１１：フレーミング処理部、１２：フレーミングテーブル、１３：カメラ画像共有サービス提供装置、１４：ユーザ管理ＤＢ、１５：画像ストレージ、１６：ＳＮＳサービス提供装置、１０１ａ：モバイル通信ＩＦ、１０１ｂ：無線ＬＡＮＩＦ、１０２：ＣＰＵ、１０３：ＲＡＭ、１０４：ＦＲＯＭ、１０４ａ：カメラ共有アプリ、１０４ｂ：画像通信プロセス、１０４ｃ：オートフレーミングプロセス、１０４ｄ：ＳＮＳアプリ、１０５ｂ：ＳＤＣ、１０８：位置センサ、１０９：ビデオプロセッサ、１１０：グラフィックプロセッサ。

Claims (18)

1. 第一のカメラとディスプレイを有する情報機器であって、
   ネットワークを介して画像を取得あるいは送信する通信手段と、
   前記第一のカメラの撮影画像と前記通信手段を介して取得した外部の第二のカメラの撮影画像を合成するフレーミング手段を備え、
   前記合成した画面を前記ディスプレイに表示し、前記第一のカメラの撮影画像と紐付けて表示される画像として前記ディスプレイに表示された画面からユーザにより選択された前記画像が前記第二のカメラの撮影画像であることを示す紐付け情報をストレージ媒体に保存し、
   さらに、前記第一のカメラの撮影画像とユーザにより選択された前記第二のカメラの撮影画像とを合成した画像を前記通信手段を介して送信することを特徴とする情報機器。
2. 請求項１に記載の情報機器であって、
   前記通信手段は、前記第二のカメラの撮影画像とともに該撮影画像の特徴量を取得し、
   前記フレーミング手段は、前記第一のカメラの撮影画像の特徴量を算出し、
   該算出した特徴量と前記取得した前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定することを特徴とする情報機器。
3. 請求項２に記載の情報機器であって、
   前記通信手段は、撮影画像を合成するための複数のフレーミングパターンの集合を取得し、
   前記フレーミング手段は、前記取得したフレーミングパターンの集合から前記特徴量に基づいて１つのフレーミングパターンを選択することを特徴とする情報機器。
4. 請求項１に記載の情報機器であって、
   前記通信手段が前記第二のカメラの撮影画像を取得するとき、前記フレーミング手段は、前記第二のカメラの位置情報と撮影時刻情報により取得する撮影画像を限定することを特徴とする情報機器。
5. 請求項１に記載の情報機器であって、
   前記第一のカメラの撮影時に、該第一のカメラの撮影画像と、該撮影画像の特徴量及び位置情報を、前記通信手段により前記ネットワークに送信することを特徴とする情報機器。
6. 請求項１に記載の情報機器であって、
   前記通信手段は、前記第二のカメラの撮影画像とともに該撮影画像の特徴量を取得し、
   前記フレーミング手段は、前記第一のカメラの撮影画像の特徴量を算出し、
   該算出した特徴量と前記紐付けされた前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定し、
   該決定したフレーミングパターンに従い、前記第一のカメラの撮影画像と前記紐付けされた前記第二のカメラの撮影画像とを合成した画面を前記ディスプレイに表示することを特徴とする情報機器。
7. 請求項２に記載の情報機器であって、
   前記フレーミング手段で決定したフレーミングパターンの情報を、前記通信手段により前記ネットワークに送信することを特徴とする情報機器。
8. 請求項６に記載の情報機器であって、
   前記ディスプレイに表示された合成画面に対し、ユーザが任意の撮影画像をタップすることで、前記フレーミング手段は前記フレーミングパターンの決定を変更することを特徴とする情報機器。
9. 請求項１に記載の情報機器であって、
   前記フレーミング手段は、前記ディスプレイに表示される複数の撮影画像がその境界で重なりを有する場合、各撮影画像の境界が均等に表示されるように各撮影画像の表示境界を変更することを特徴とする情報機器。
10. 第一のカメラとディスプレイを有する情報機器を用いた情報処理方法であって、
    ネットワークを介して画像を取得あるいは送信する通信手段と、
    前記第一のカメラの撮影画像と前記通信手段を介して取得した外部の第二のカメラの撮影画像を合成するフレーミング手段を用いて、
    前記合成した画面を前記ディスプレイに表示し、前記第一のカメラの撮影画像と紐付けて表示される画像として前記ディスプレイに表示された画面からユーザにより選択された前記画像が前記第二のカメラの撮影画像であることを示す紐付け情報をストレージ媒体に保存し、
    さらに、前記第一のカメラの撮影画像とユーザにより選択された前記第二のカメラの撮影画像とを合成した画像を前記通信手段を介して送信することを特徴とする情報処理方法。
11. 請求項１０に記載の情報処理方法であって、
    前記通信手段を用いて、前記第二のカメラの撮影画像とともに該撮影画像の特徴量を取得し、
    前記フレーミング手段を用いて、前記第一のカメラの撮影画像の特徴量を算出し、
    該算出した特徴量と前記取得した前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定することを特徴とする情報処理方法。
12. 請求項１１に記載の情報処理方法であって、
    前記通信手段を用いて、撮影画像を合成するための複数のフレーミングパターンの集合を取得し、
    前記フレーミング手段を用いて、前記取得したフレーミングパターンの集合から前記特徴量に基づいて１つのフレーミングパターンを選択することを特徴とする情報処理方法。
13. 請求項１０に記載の情報処理方法であって、
    前記通信手段を用いて前記第二のカメラの撮影画像を取得するとき、前記フレーミング手段を用いて、前記第二のカメラの位置情報と撮影時刻情報により取得する撮影画像を限定することを特徴とする情報処理方法。
14. 請求項１０に記載の情報処理方法であって、
    前記第一のカメラの撮影時に、該第一のカメラの撮影画像と、該撮影画像の特徴量及び位置情報を、前記通信手段を用いて前記ネットワークに送信することを特徴とする情報処理方法。
15. 請求項１０に記載の情報処理方法であって、
    前記通信手段を用いて、前記第二のカメラの撮影画像とともに該撮影画像の特徴量を取得し、
    前記フレーミング手段を用いて、前記第一のカメラの撮影画像の特徴量を算出し、
    該算出した特徴量と前記紐付けされた前記第二のカメラの撮影画像の特徴量に基づいて、前記第一のカメラと前記第二のカメラの撮影画像を合成するためのフレーミングパターンを決定し、
    該決定したフレーミングパターンに従い、前記第一のカメラの撮影画像と前記紐付けされた前記第二のカメラの撮影画像とを合成した画面を前記ディスプレイに表示することを特徴とする情報処理方法。
16. 請求項１１に記載の情報処理方法であって、
    前記フレーミング手段を用いて決定したフレーミングパターンの情報を、前記通信手段を用いて前記ネットワークに送信することを特徴とする情報処理方法。
17. 請求項１５に記載の情報処理方法であって、
    前記ディスプレイに表示された合成画面に対し、ユーザが任意の撮影画像をタップすることで、前記フレーミング手段により前記フレーミングパターンの決定を変更することを特徴とする情報処理方法。
18. 請求項１０に記載の情報処理方法であって、
    前記フレーミング手段を用いて、前記ディスプレイに表示される複数の撮影画像がその境界で重なりを有する場合、各撮影画像の境界が均等に表示されるように各撮影画像の表示境界を変更することを特徴とする情報処理方法。

Images