JP4955596B2 - 画像出力方法、装置およびプログラム - Google Patents

Description

本発明は、画像の被写体に対応する吹き出しなどのグラフィックの配置に関する。

特許文献１では、音声認識により文字列を取得し画像を合成する。この際、声のトーンによってフォントを変更したり、声が大きい人物の文字列を前面に合成したり、先に話し始めた人物の文字列を前面に合成する。

特許文献２では、人物を抽出しコメント表示用の吹き出しをつける。また人物の性別・年齢・表情によって吹き出しの形状を変更する。
特開２００３−２９６７４７号公報 特開２００７−１２２５３３号公報

特許文献１および２とも、平面的な吹き出しやコメントの挿入を想定しており、立体感に欠ける。本発明の目的は、立体的な吹き出しや文字などのグラフィックを被写体に対応づけて画像に付加し、画像の興趣性を高めることにある。

本発明に係る画像出力方法は、画像を取得するステップと、取得した画像内の複数の被写体に対応する距離情報を取得するステップと、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、各被写体までの距離の遠近の比較の結果に基づいて複数の被写体の各々に対応づける複数のグラフィック同士の視覚的な優劣関係を決定するステップと、視覚的な優劣関係に基づいて複数のグラフィックを複数の被写体の各々に対応づけて画像に配置するステップと、グラフィックの配置された画像を出力するステップと、を含む。

好ましくは、各被写体までの距離の遠近の比較に基づいて遠い距離の被写体に対応するグラフィックにおいて近い距離の被写体に対応するグラフィックと重複する部分を除去するステップを含む。

好ましくは、各被写体は人物を含む。

本発明に係る画像出力方法は、画像を取得するステップと、取得した画像内の複数の被写体に対応する距離情報を取得するステップと、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、各被写体までの距離の遠近の比較に基づいて複数の被写体に含まれる特定の第１の被写体に対応づけるグラフィックと第１の被写体以外の第２の被写体との視覚的な優劣関係を決定するステップと、優劣関係に基づいてグラフィックを第１の被写体に対応づけて画像に配置するステップと、グラフィックの配置された画像を出力するステップと、を含む。

好ましくは、各被写体までの距離の遠近の比較の結果、第１の被写体が第２の被写体よりも遠い距離にある場合、第１の被写体に対応するグラフィックを第２の被写体と重複しない位置に配置するステップを含む。

好ましくは、各被写体までの距離の遠近の比較の結果、第１の被写体が第２の被写体よりも遠い距離にある場合、第１の被写体に対応するグラフィックにおいて第２の被写体と重複する部分を除去するステップを含む。

好ましくは、第１の被写体は人物を含み、第２の被写体は人物以外の物体を含む。

本発明に係る画像出力方法は、画像を取得するステップと、取得した画像内の複数の被写体に対応する距離情報を取得するステップと、複数の被写体が人物か否かを判別するステップと、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、各被写体までの距離の遠近の比較および各被写体が人物か否かの判別に基づいて複数の被写体の各々に対応づける複数のグラフィック同士の視覚的な優劣関係を決定するステップと、視覚的な優劣関係に基づいて複数のグラフィックを複数の被写体の各々に対応づけて画像に配置するステップと、グラフィックの配置された画像を出力するステップと、を含む。

好ましくは、複数の被写体に含まれる第１の被写体および第２の被写体が人物と判別され、かつ各被写体までの距離の遠近の比較の結果、第１の被写体が第２の被写体よりも遠い距離にある場合、第１の被写体に対応するグラフィックを第２の被写体と重複しない位置に配置するステップを含む。

好ましくは、複数の被写体に含まれる第１の被写体が人物と判別され、複数の被写体に含まれる第２の被写体が人物でないと判別され、かつ各被写体までの距離の遠近の比較の結果、第１の被写体が第２の被写体よりも遠い場合、第１の被写体に対応するグラフィックを第２の被写体と重複する位置に配置するステップを含む。

好ましくは、各被写体までの距離に応じたサイズを各被写体に対応するグラフィックに割り当てるステップを含む。

好ましくは、画像の構造線に沿ってグラフィックを配置するステップを含む。

好ましくは、グラフィックは吹き出しおよび／または文字を含む。

本発明に係る画像出力装置は、画像を取得する手段と、取得した画像内の複数の被写体に対応する距離情報を取得する手段と、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、各被写体までの距離の遠近の比較の結果に基づいて複数の被写体の各々に対応づける複数のグラフィック同士の視覚的な優劣関係を決定する手段と、視覚的な優劣関係に基づいて複数のグラフィックを複数の被写体の各々に対応づけて画像に配置する手段と、グラフィックの配置された画像を出力する手段と、を含む。

本発明に係る画像出力装置は、画像を取得する手段と、取得した画像内の複数の被写体に対応する距離情報を取得する手段と、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、各被写体までの距離の遠近の比較に基づいて複数の被写体に含まれる特定の第１の被写体に対応づけるグラフィックと第１の被写体以外の第２の被写体との視覚的な優劣関係を決定する手段と、優劣関係に基づいてグラフィックを第１の被写体に対応づけて画像に配置する手段と、グラフィックの配置された画像を出力する手段と、を含む。

本発明に係る画像出力装置は、画像を取得する手段と、取得した画像内の複数の被写体に対応する距離情報を取得する手段と、複数の被写体が人物か否かを判別する手段と、複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、各被写体までの距離の遠近の比較および各被写体が人物か否かの判別に基づいて複数の被写体の各々に対応づける複数のグラフィック同士の視覚的な優劣関係を決定する手段と、視覚的な優劣関係に基づいて複数のグラフィックを複数の被写体の各々に対応づけて画像に配置する手段と、グラフィックの配置された画像を出力する手段と、を含む。

上記の画像出力方法をコンピュータに実行させるプログラムも本発明に含まれる。

被写体の距離情報に基づいて被写体に対応する吹き出しや文字などの各種グラフィックの配置を行うことで、より立体的な視覚効果を与えることができる。

図１は、本発明を適用したフォトアルバム作成装置１０の概略構成を示すブロック図である。フォトアルバム作成装置１０は、例えば、ＣＤやＤＶＤなどの各種の記録メディア４０やメモリカード４２などに格納された動画データや静止画像データ（動画をキャプチャした静止画も含む）を読み込み、これを素材としてフォトアルバム（表示装置に画像を所定のレイアウトとデザインで表示させるデータまたは所定のレイアウトとデザインで画像が印刷された紙などの印刷媒体）を作成する。このフォトアルバム作成装置１０は、マウス、タッチパッド、トラッグボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやキーボードやタッチパネルなどの各種操作デバイスを含む操作部２６（またはインターネット経由で外部から接続してきた端末のキーボードその他の代替物でも可。以下同様）によって操作される。

フォトアルバム作成装置１０は、フォトアルバム作成装置１０全体を制御するＣＰＵ１２と、記録メディア４０にデータを読み書きするドライブ１４と、メモリカード４２にデータを読み書きするカードスロット１６と、フォトアルバム作成装置１０を制御するプログラムや動画・静止画などが記憶されるハードディスクドライブ（記憶媒体）１８（以下、ＨＤＤ１８と称す）と、ＣＰＵ１２が種々の処理を行う際に作業用メモリとして機能するＲＡＭ２０と、ＲＡＭ２０などに格納された画像の一覧その他画像編集に関係する各種のグラフィカルユーザインターフェース、操作部２６からの移動方向および移動速度の指示を含む入力操作に従って上記ウィンドウ上を移動するポインタの映像信号をディスプレイ５０（またはインターネット経由で外部から接続してきた端末のディスプレイその他の代替物でも可。以下同様）に出力して表示させるビデオエンコーダ２２と、インターネットその他のネットワークやデジタルカメラ１５などの各種電子機器に接続するための通信Ｉ／Ｆ２８と、それぞれ専門の処理を受け持つデータ記録部（操作履歴記録手段）３０、とから構成されている。また、これらの各部は、バス３６を介してそれぞれ接続されており、ＣＰＵ１２は、ＨＤＤ１８に記憶されたオペレーションプログラムに従って、装置の各部を統括的に制御する。

また、フォトアルバム作成装置１０には、プリンタドライバ３８を介して、指示された静止画像を普通紙や印画紙などの紙媒体で構成される台紙に所定の配置でプリントするプリンタ４４が接続されている。あるいは所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体としてディスプレイ５０や記録メディア４０やインターネット経由で接続されたパソコンなどに出力することもできる。要するに、作成されたフォトアルバムの出力先は、ディスプレイ５０、記録メディア４０、プリンタ４４、インターネットなど特定のものに限定されない。以下、説明の簡略のため、フォトアルバムの出力先はディスプレイ５０とするが、それ以外にも出力可能であるとする。また、本願明細書では、所望の画像が所望の位置に配置されうる電子的媒体の作成フォームも台紙と呼ぶ。

カードスロット１６は、例えば、コンパクトフラッシュ（登録商標）やＳＤカード、及びスマートメディアなどのメモリカード４２を着脱自在に保持し、これらに記録された静止画像データなどの読み込み、もしくは書き込みを行う。これにより、デジタルスチルカメラなどで撮像された静止画像データを読み込むことができる。なお、マルチドライブ１４やカードスロット１６の他に、例えば、ＵＳＢやＩＥＥＥ１３９４などの通信ポートを設けて、デジタルスチルカメラやＰＤＡなどの電子機器と有線で直接通信できるようにしてもよい。

ＨＤＤ１８には、フォトアルバムの素材となる１または複数の静止画像データの他に、フォトアルバムの生成の際にこれらの静止画像データと合成される装飾画像データなどが記憶されている。装飾画像には、画像に挿入する文字（漢字、カタカナ、ひらがな、アルファベット、記号、絵文字その他の意味を持った可読的な符号ないしその組合せ。以下同様）を構成するキャラクタデータおよび当該文字を包含する吹き出し、立て札、掲示板その他文字を配置するのに適したオブジェクトのグラフィックデータや、対象となる画像の不要な部分を覆うマスク画像や、イラストなどである。こうした装飾画像は、素材となる静止画像の背景を飾ったり、ワンポイントの装飾を加えるなど、フォトアルバムに彩を与える。以下、説明の簡略のため、グラフィックデータは文字あるいは吹き出しとするが、当然ながらそれ以外であってもよい。

また、各静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式でＨＤＤ１８に記憶されている。これらの画像ファイルには、静止画像データを格納するデータ領域と、そのデータの内容などを示すメタデータ（典型的にはＥＸＩＦタグ情報）を格納するタグ領域とが用意されている。以下、静止画像データを単に「画像」と称す。

メタデータには、画像内の被写体までの距離を示す情報が記録されている。この距離情報は、測距手段を備えた撮像装置により記録される。なお、測距手段とは、例えば、撮像素子（ＣＣＤ）から出力された信号中の高周波成分に基づいて被写体像の鮮鋭度を示すＡＦ評価値（焦点評価値）を検出し、この焦点評価値が極大となるようにレンズの合焦位置を設定した際のレンズ位置から被写体像までの距離を算出する手段である。あるいは、ピントを合わせた被写体に光を発して被写体に反射して戻ってきた光を受光し、発光部と受光部のなす角から被写体までの距離を検出する三角測距センサである。

動画データは、モーションＪＰＥＧ、ＭＰＥＧ４などの圧縮記録規格に対応している。

通信Ｉ／Ｆ２８は、フォトアルバム作成装置１０をインターネットに接続して、インターネット上のホームページをディスプレイ５０に表示させたり、電子メール（以下、メールと称す）を介した画像データの送受信を行う。この通信Ｉ／Ｆ２８は、ブロードバンド対応のモデムなどである。通信Ｉ／Ｆ２８は、光通信ネットワークやケーブルネットワークなどを介してインターネットに接続するものでもよい。なお、フォトアルバム生成部３４の生成したフォトアルバムをインターネット経由で特定の端末に配信することもできる。配信側の端末は、当該フォトアルバムをモニタやプリンタに出力して、自由にこれを利用できる。また、通信Ｉ／Ｆ２８は、ネットワークアダプタに限らず、ＵＳＢなどの周辺機器接続用汎用インターフェースとして利用できる。

データ記録部３０、フォトアルバム生成部３４は、いわゆるコプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１２の処理動作を補助する。データ記録部３０は、ポインタの滞留領域・滞留位置座標・滞留時間や、入力操作の時間・回数などの操作部２６に対する操作入力の履歴情報を記録していく。

フォトアルバム作成装置１０が店頭プリント端末の場合、フォトアルバム生成部３４が作成したフォトアルバムは、ディスプレイ５０に出力されプレビュー表示されたものであるが、内容が確定すればユーザ指示に応じてプリンタ４４により印刷媒体に出力するか、またはＤＶＤなど当該フォトアルバムを映像データとして記録可能な記録メディア４０に転写できる。また、フォトアルバム作成装置１０が、インターネット経由で外部から接続してきた端末からフォトアルバム注文を受け付ける場合は、フォトアルバムのプレビューをディスプレイ５０でなく当該端末で表示可能なＷｅｂページなどに変換して当該端末に送信してもよい。あるいは、記録媒体や印刷媒体に出力することを前提とせず、携帯電話やデジカメなどの各種電子機器のフォトアルバム表示機能の一つとしてこの完成フォトアルバムを表示してもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する他の電子機器（例えば携帯電話やＰＤＡ）であれば、本発明の実施は可能である。また、図示の個々のブロックが必ずしも１つの電子機器に一体的に構成されている必要はなく、各ブロックがそれぞれ別の電子機器の構成の一部であり、なおかつネットワーク等の何らかの通信手段でそれらの電子機器相互の情報送受信が確保されていれば、本発明の実施は可能である。

以下、フォトアルバム生成部３４（あるいはＣＰＵ１２でも可。以下同様）による画像へのグラフィック合成処理の内容を説明する。なお文字で示される意味の内容、吹き出しの形状は任意であり、操作部２６への入力操作で文章の内容と吹き出し形状を指定できるようにしてもよい。

１つ目の態様としては、距離情報に応じて被写体に対応する吹き出しおよび／または文字のサイズを調整する。例えば、図２に示すように、距離情報が遠い被写体Ｘ１に対応する吹き出しおよび文字のサイズは相対的に小さくし、距離情報が近い被写体Ｘ２に対応する吹き出しおよび文字のサイズは相対的に大きくする。

具体的には、フォトアルバム生成部３４は、吹き出しを対応づけるべき人物被写体Ｘ１・Ｘ２を各種の方法（顔検出など）で検出する。ＨＤＤ１８が小サイズと大サイズのフォントやキャラクタデータを格納しており、かつ大サイズ・小サイズのキャラクタに対応する大サイズ・小サイズの吹き出しデータを格納している場合、フォトアルバム生成部３４は、距離情報が遠い被写体Ｘ１に対応する吹き出しおよび文字のサイズは「小」に決定し、所望の小サイズの文字データと小サイズの吹き出しデータＢ１をＨＤＤ１８から読み出して、被写体Ｘ１の近傍に配置する。また、フォトアルバム生成部３４は、距離情報が近い被写体Ｘ２に対応する吹き出しおよび文字のサイズは「大」に決定し、所望の大サイズの文字データと大サイズの吹き出しデータＢ２をＨＤＤ１８から読み出して、被写体Ｘ１の近傍に配置する。この際、文字は対応する吹き出しの中に配置する。そして、この吹き出しと文字が配置された画像を、ディスプレイ５０に出力する。こうすると、近い被写体ほど大きく吹き出しや文字が出力され、被写体の遠近に合った文字・吹き出し合成ができる。

図示は省略するが、吹き出しはなくてもよく、この場合、距離情報が遠い被写体Ｘ１に対応する文字のサイズは小さくし、距離情報が近い被写体Ｘ２に対応する文字のサイズは大きくする。なお、当然ながら対応関係にある吹き出しＢ１と被写体Ｘ１、吹き出しＢ２と被写体Ｘ２は重ならないようにすることが好ましい。

２つ目の態様としては、距離情報に応じて複数の被写体に対応する吹き出しおよび／または文字の重複部分の優劣を調整する。例えば、図３（ａ）に示すように、距離情報が遠い被写体Ｘ１に対応する吹き出しＢ１よりも、距離情報が近い被写体Ｘ２に対応する吹き出しＢ２を前面に出した状態を示すグラフィックＧ１（図３（ｂ）参照）を吹き出し同士の重複部分に配置し、重なる吹き出しに視覚的な優劣をつける。この際、距離情報が遠い被写体Ｘ１に対応する吹き出しおよび文字のサイズは小さくし、距離情報が近い被写体Ｘ２に対応する吹き出しおよび文字のサイズは大きくしてもよい。

具体的には、フォトアルバム生成部３４は、吹き出しを対応づけるべき人物被写体Ｘ１・Ｘ２を各種の方法で検出する。フォトアルバム生成部３４は、距離情報が遠い被写体Ｘ１に対応する所望の吹き出しＢ１および文字データ、距離情報が近い被写体Ｘ２に対応する所望の吹き出しＢ２および文字のキャラクタデータをＨＤＤ１８から読み出して、それぞれ被写体Ｘ１、被写体Ｘ２の近傍に配置する。そして、双方の被写体に対応する吹き出し・文字の重複部分の座標を特定し、その部分に関してのみ、被写体Ｘ２に対応する吹き出しＢ２・文字を出力し、被写体Ｘ１に対応する吹き出しＢ１・文字を出力しない（図３（ｂ）参照）。こうすると、近い被写体ほど優先的に吹き出しや文字が出力され、被写体の遠近に合った文字・吹き出し合成ができる。

図示は省略するが、吹き出しはなくてもよく、この場合、距離情報が近い被写体Ｘ２に対応する文字を前面に配置し、距離情報が遠い被写体Ｘ１に対応する文字が前面の文字と重複する部分は見せないようにし、前面の文字を優先的に表示する。

３つ目の態様としては、距離情報に応じて特定の被写体に対応する吹き出しと当該特定の被写体以外の他の被写体との重複部分に、視覚的な優劣を設けて調整する。

例えば、図４（ａ）に示すように、被写体Ｘ３の距離情報が被写体Ｘ４の距離情報よりも遠い場合、被写体Ｘ３に対応する吹き出しＢ３は、被写体Ｘ４と重ならない位置（被写体Ｘ４の存在しない領域）に配置する。こうすると、近い被写体の方が遠い被写体の吹き出しよりも優先して出力され、被写体の遠近感に合った文字・吹き出し合成ができる。

具体的には、フォトアルバム生成部３４は、公知の物体検出・人物検出手法で人物被写体Ｘ３・人物以外の物体である被写体Ｘ４を検出し、Ｘ４の存在しない領域（被写体非存在領域）を特定する。そして、被写体非存在領域に、ＨＤＤ１８から読み出した吹き出しＢ３と文字を被写体Ｘ３の位置に対応づけて配置する（図４（ａ）参照）。なお、当然ながら対応関係にある吹き出しＢ３と被写体Ｘ３は重ならないようにすることが好ましい。また被写体Ｘ３の距離に合わせて文字データの大きさを決定してもよい。

一方、被写体Ｘ３の距離情報が被写体Ｘ４の距離情報よりも近い場合、被写体Ｘ３に対応する吹き出しは、被写体Ｘ４と重なる位置の配置を許容する。つまり、図４（ｂ）に示すように、被写体Ｘ４に重ねて吹き出しを配置してもよいが、図４（ｃ）に示すように、被写体Ｘ４が物体Ｘ４’と十分に離れている場合は、吹き出しＢ３を物体Ｘ４’と重ねる必要はない。

４つ目の態様としては、距離情報に応じて特定の被写体に対応する吹き出しおよび／または文字と当該特定の被写体以外の他の被写体との重複部分に、視覚的な優劣を設けて調整する。

例えば図５に示すように、人物の被写体Ｘ５が看板の被写体Ｘ６よりも遠い位置にあるのに、被写体Ｘ５に対応する吹き出しＢ５を看板Ｘ６よりも前に出すと、看板が見えにくくなり、実際の風景に会わない吹き出しになってしまう。そこで、図６（ａ）に示すように、看板Ｘ６と重複する吹き出しＢ５の部分に切欠き領域Ｇ２を設けて看板Ｘ６との重複を回避したものを、新たな吹き出しのグラフィックＢ５’とする（図６（ｂ）参照）。

具体的には、フォトアルバム生成部３４は、人物被写体Ｘ５と人物でない被写体Ｘ６を検出し、距離情報が遠い被写体Ｘ５に対応する吹き出しおよび文字データをＨＤＤ１８から読み出して、被写体Ｘ５の近傍に配置する。そして、人物被写体Ｘ５に対応する吹き出し・文字と距離情報が近い被写体Ｘ６の重複部分の座標を特定し、その部分に関してのみ、被写体Ｘ５に対応する吹き出し・文字を出力しないようにし、被写体Ｘ６の出力を優先する（図６（ｂ）参照）。なお被写体Ｘ５の距離に合わせて文字データの大きさを決定してもよい。こうすると、近い物体被写体の方が遠い人物被写体の吹き出しよりも優先して出力され、被写体の遠近感に合った文字・吹き出し合成ができる。

図示は省略するが、吹き出しはなくてもよく、この場合、遠い被写体に対応する文字が物体の重複する部分については、文字が物体の影で覆われたようなグラフィックを付加するとよい。

５つ目の態様としては、ある人物被写体に対応づける吹き出し・文字が他の人物被写体と重なる場合、吹き出しおよび／または文字と当該他の人物被写体の出力の優劣を調整する。図７は吹き出し／文字位置決定処理のフローチャートである。この処理をフォトアルバム生成部３４（あるいはＣＰＵ１２でも可。以下同様。）に実行させるプログラムはＨＤＤ１８その他のコンピュータ読み取り可能な記録媒体に記録されている。

Ｓ１では、画像のメタデータなどから距離情報を取得する。

Ｓ２では、画像から人物抽出を行う。例えば、ＨＤＤ１８に格納された一般化された人物の特徴量（顔の特徴量）を読み出し、当該特徴量と画像から取得された特徴量とを比較して、画像内の人物の存在領域を抽出する。なお、人物以外の物体（車、建物、電柱、看板、動物、植物など）も人物と同様、その物体ごとの特徴量と画像から取得された特徴量との比較で抽出できる。

Ｓ３では、抽出した人物の前に人物および物体のうち少なくとも一方が存在するか否かを判断する。これは、物体の距離情報と人物被写体の距離情報とを比較して行う。人物の前に物体が存在する場合はＳ４、人物の前に物体が存在しない場合はＳ６に進む。

Ｓ４では、抽出した人物の前に存在するするのは人物であるか否かを判断する。人物である場合はＳ５、人物でない（すなわち人物以外の物体）である場合はＳ６に進む。

Ｓ５では、人物に対応する吹き出しおよび／または文字を、当該人物に重ならない位置に配置する。これは図４（ａ）と同様の処理となる。

Ｓ６では、人物に対応する吹き出しおよび／または文字が、物体と重なる位置の配置を許容する。つまり、物体に重ねて吹き出しおよび／または文字を配置してもよいし、重ねなくてもよい。これは図４（ｂ）・（ｃ）と同様の処理となる。

Ｓ７では、吹き出しを対応づけるべき全ての人物について上記Ｓ２〜Ｓ６を実施したか否かを判断する。上記処理を実施していない人物があれば、その人物について上記処理を繰り返す。全ての人物に上記処理を実施していれば、この処理を終了する。

こうすると、近い物体被写体ないしその吹き出しの方が遠い人物被写体ないしその吹き出しよりも優先して出力され、被写体の遠近感に合った文字・吹き出し合成ができる。

ここで、上記１〜５つ目の態様において、画像内の構造線に合わせて吹き出しおよび／または文字の傾きを調整してもよい。例えば図８に示すように、画像から２つの構造線Ｌ１、Ｌ２が検出された場合、図９に示すように、上側の構造線Ｌ１に沿って、被写体Ｘ７に対応する吹き出しＢ７と文字を配置する。無論、下側の構造線Ｌ２に沿って吹き出しＢ７を配置してもよいが、長い方の構造線に合わせた方が統一感があり見栄えがよい。

あるいは、図１０に示すように、吹き出しの傾きに応じて文字の大きさを徐々に変化させてもよい。また、図示は省略するが、吹き出しはなくてもよく、単に文字の配列の傾きとサイズを構造線Ｌ１に合わせてもよい。

具体的には、フォトアルバム生成部３４は、画像から構造線を検出する。これは例えば、特許公開２００８−４２８００号公報・特開平６−３１４３３９号公報に記載された方法のように、画像に対して微分処理を施して画像中のエッジ成分を抽出し、抽出されたエッジ成分の点列に対してハフ変換を施し、ハフ変換の関数値にしたがうヒストグラムを作成し、そのヒストグラムの頻度のピーク点を検出して、画像中からその検出されたピーク点に対応する直線成分を抽出し、これを構造線とする。

そして、検出された人物被写体Ｘ５に対応する吹き出しおよび文字データをＨＤＤ１８から読み出して、被写体Ｘ５の近傍に配置する。その際、吹き出しの外枠が検出された構造線に沿うよう配置する（図９参照）。

好ましくは、同公報に記載された方法などで消失点Ｐを検出し、消失点Ｐに近い方から遠い方にかけて、文字サイズが大きくなるよう各文字データのサイズを決定し、そのサイズの文字データをＨＤＤ１８から読み出し、吹き出しＢ内に配置する（図１０）。

このように、構造線に沿って文字や吹き出しを配置することで、画像と文字や吹き出しの統一感が高まる。

６つ目の態様としては、台紙に複数の画像を配置する場合、複数の画像のうち最も大きい被写体に対応する吹き出しおよび／または文字を大きくする。

例えば図１１のように、同じ台紙上に２枚の画像Ｉ１およびＩ２が配置されており、画像Ｉ１には被写体Ｘ１−１およびＸ１−２が存在し、画像Ｉ２には被写体Ｘ２−１が存在しているとする。フォトアルバム生成部３４は、各画像から抽出された被写体のサイズを比較し、サイズに従って被写体を序列化する。そして、大きいサイズの被写体から順に大きいサイズの吹き出しおよび／または文字を割り当てる。この結果、台紙上で大きい方の被写体Ｘ２−１には大きいサイズの吹き出しＢ２−１およびその吹き出しのサイズに適合した大きいサイズの文字を配置し、小さい方の被写体Ｘ１−２には小さいサイズの吹き出しＢ１−１およびその吹き出しのサイズに適合した小さいサイズの文字を配置する。

具体的には、フォトアルバム生成部３４は、画像内の各被写体とそのサイズを検出した上、サイズが小さい被写体Ｘ１−２の吹き出し・文字サイズは「小」に決定し、所望の小サイズの文字データと吹き出しデータをＨＤＤ１８から読み出して、被写体Ｘ１−２の近傍に配置する。サイズが大きい被写体Ｘ２−１の吹き出し・文字サイズは「大」に決定し、所望の大サイズの文字データと吹き出しデータをＨＤＤ１８から読み出して、被写体Ｘ２−１の近傍に配置する。そして、この吹き出しと文字が配置された画像を、ディスプレイ５０に出力する。

このように、被写体の大きさに応じたサイズて吹き出しや文字の配置を行うことで、吹き出しと文字に画像の内容に応じたアクセントを与えることができる。

フォトアルバム作成装置の構成図 距離情報に応じて人物被写体に対応する吹き出しおよび／または文字のサイズが調整された一例を示す図 距離情報に応じて人物被写体に対応する吹き出しおよび／または文字の表示優劣が調整された一例を示す図 距離情報に応じて人物被写体に対応する吹き出しおよび／または文字の表示と物体被写体との優劣が調整（物体側を優先）された一例を示す図 距離情報に応じて人物被写体に対応する吹き出しの表示優劣が調整（人物側を優先）された一例を示す図 距離情報に応じて人物被写体に対応する吹き出しの表示優劣が調整された一例を示す図 吹き出し／文字位置決定処理のフローチャート 構造線の一例を示す図 構造線に沿って配置された吹き出し／文字の一例を示す図 構造線に沿って配置された吹き出し／文字の他の一例を示す図 被写体のサイズに応じたサイズの割り当てられた吹き出しおよび／または文字の一例を示す図

符号の説明

１０：フォトアルバム作成装置、１８：ＨＤＤ、３４：フォトアルバム生成部

Claims (17)

1. 画像を取得する手段と、
   前記取得した画像内の複数の被写体に対応する距離情報を取得する手段と、
   前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、
   前記各被写体までの距離の遠近の比較に基づいて遠い距離の被写体に対応するグラフィックにおいて近い距離の被写体に対応するグラフィックと重複する部分を除去する手段と、
   前記グラフィックを前記複数の被写体の各々に対応づけて前記画像に配置する手段と、
   前記グラフィックの配置された画像を出力する手段と、
   を含む画像出力装置。
2. 前記各被写体は人物を含む請求項１に記載の画像出力装置。
3. 画像を取得する手段と、
   前記取得した画像内の複数の被写体に対応する距離情報を取得する手段と、
   前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、
   前記各被写体までの距離の遠近の比較の結果、前記複数の被写体に含まれる特定の第１の被写体が前記第１の被写体以外の第２の被写体よりも遠い距離にある場合、前記第１の被写体に対応するグラフィックを前記第２の被写体と重複しない位置に配置する手段と、
   前記グラフィックを前記第１の被写体に対応づけて前記画像に配置する手段と、
   前記グラフィックの配置された画像を出力する手段と、
   を含む画像出力装置。
4. 画像を取得する手段と、
   前記取得した画像内の複数の被写体に対応する距離情報を取得する手段と、
   前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、
   前記各被写体までの距離の遠近の比較の結果、前記複数の被写体に含まれる特定の第１の被写体が前記第１の被写体以外の第２の被写体よりも遠い距離にある場合、前記第１の被写体に対応するグラフィックにおいて前記第２の被写体と重複する部分を除去する手段と、
   前記グラフィックを前記第１の被写体に対応づけて前記画像に配置する手段と、
   前記グラフィックの配置された画像を出力する手段と、
   を含む画像出力装置。
5. 前記第１の被写体は人物を含み、前記第２の被写体は人物以外の物体を含む請求項３または４に記載の画像出力装置。
6. 画像を取得する手段と、
   前記取得した画像内の複数の被写体に対応する距離情報を取得する手段と、
   前記複数の被写体が人物か否かを判別する手段と、
   前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較する手段と、
   前記複数の被写体に含まれる第１の被写体および第２の被写体が人物と判別され、かつ前記各被写体までの距離の遠近の比較の結果、前記第１の被写体が前記第２の被写体よりも遠い距離にある場合、前記第１の被写体に対応するグラフィックを前記第２の被写体と重複しない位置に配置する手段と、
   前記グラフィックを前記複数の被写体の各々に対応づけて前記画像に配置する手段と、
   前記グラフィックの配置された画像を出力する手段と、
   を含む画像出力装置。
7. 前記複数の被写体に含まれる第１の被写体が人物と判別され、前記複数の被写体に含まれる第２の被写体が人物でないと判別され、かつ前記各被写体までの距離の遠近の比較の結果、前記第１の被写体が前記第２の被写体よりも遠い場合、前記第１の被写体に対応するグラフィックを前記第２の被写体と重複する位置に配置する手段を含む請求項６に記載の画像出力装置。
8. 前記各被写体までの距離の遠近の比較の結果、前記第１の被写体が前記第２の被写体よりも近い距離にある場合、前記第１の被写体に対応するグラフィックが前記第２の被写体と重複して配置されることを許容する手段を含む請求項３〜６のいずれかに記載の画像出力装置。
9. 前記各被写体までの距離に応じたサイズを前記各被写体に対応するグラフィックに割り当てる手段を含む請求項１〜８のいずれかに記載の画像出力装置。
10. 前記画像の直線成分である構造線に沿って前記グラフィックを配置する手段を含む請求項１〜９のいずれかに記載の画像出力装置。
11. 前記グラフィックは吹き出しおよび／または文字を含む請求項１〜１０のいずれかに記載の画像出力装置。
12. フォトアルバム生成部を備えた画像出力装置において、
    前記フォトアルバム生成部が、
    記憶媒体にメタデータ付き画像を取得するステップと、
    前記記憶媒体に取得した画像内の複数の被写体に対応する距離情報を前記メタデータから取得するステップと、
    前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、
    前記各被写体までの距離の遠近の比較に基づいて遠い距離の被写体に対応するグラフィックにおいて近い距離の被写体に対応するグラフィックと重複する部分を除去するステップと、
    前記複数のグラフィックを前記複数の被写体の各々に対応づけて前記画像に配置するステップと、
    前記グラフィックの配置された画像を、プリンタ、ディスプレイ、記録メディアまたはネットワークに出力するステップと、
    を実行する画像出力方法。
13. フォトアルバム生成部を備えた画像出力装置において、
    前記フォトアルバム生成部が、
    記憶媒体にメタデータ付き画像を取得するステップと、
    前記記憶媒体に取得した画像内の複数の被写体に対応する距離情報を前記メタデータから取得するステップと、
    前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、
    前記各被写体までの距離の遠近の比較の結果、前記複数の被写体に含まれる特定の第１の被写体が前記第１の被写体以外の第２の被写体よりも遠い距離にある場合、前記第１の被写体に対応するグラフィックを前記第２の被写体と重複しない位置に配置するステップと、
    前記グラフィックを前記第１の被写体に対応づけて前記画像に配置するステップと、
    前記グラフィックの配置された画像を、プリンタ、ディスプレイ、記録メディアまたはネットワークに出力するステップと、
    を実行する画像出力方法。
14. フォトアルバム生成部を備えた画像出力装置において、
    前記フォトアルバム生成部が、
    記憶媒体にメタデータ付き画像を取得するステップと、
    前記記憶媒体に取得した画像内の複数の被写体に対応する距離情報を前記メタデータから取得するステップと、
    前記複数の被写体が人物か否かを判別するステップと、
    前記複数の被写体の各々に対応する距離情報に基づいて各被写体までの距離の遠近を比較するステップと、
    前記各被写体までの距離の遠近の比較の結果、前記複数の被写体に含まれる特定の第１の被写体が前記第１の被写体以外の第２の被写体よりも遠い距離にある場合、前記第１の被写体に対応するグラフィックにおいて前記第２の被写体と重複する部分を除去するステップと、
    前記グラフィックを前記複数の被写体の各々に対応づけて前記画像に配置するステップと、
    前記グラフィックの配置された画像を、プリンタ、ディスプレイ、記録メディアまたはネットワークに出力するステップと、
    を実行する画像出力方法。
15. 前記フォトアルバム生成部が、前記各被写体までの距離の遠近の比較の結果、前記第１の被写体が前記第２の被写体よりも近い距離にある場合、前記第１の被写体に対応するグラフィックが前記第２の被写体と重複して配置されることを許容するステップを実行する請求項１３または１４に記載の画像出力方法。
16. 前記フォトアルバム生成部が、前記画像の直線成分である構造線に沿って前記グラフィックを配置するステップを実行する請求項１３〜１５のいずれかに記載の画像出力方法。
17. 請求項１〜１１のいずれかに記載の画像出力装置としてコンピュータを機能させるためのプログラム。

Images