JP4790670B2 - 画像表示システムおよび画像表示方法 - Google Patents

Description

本発明は、画像表示システムおよび画像表示方法に関し、詳しくは撮像装置等で撮影した画像を表示する画像表示システムおよび画像表示方法に関する。

近年、デジタルカメラ等の撮像装置の画像送信の容易さを利用して、ＰＣ通信やインターネット、携帯電話回線などの通信機能を利用して画像を送信し、その環境下で画像を楽しむ画像鑑賞法が普及している。こうした通信機能を利用すると、例えば、遠く離れた機器に画像を送信するばかりか、それと連携して新しいコンテンツを作成するような楽しみ方の応用が可能となる。さらに、画像を配信したり、画像を投稿するなど、従来にはない楽しみ方が広がってきている。したがって、従来のような写真をアルバムで鑑賞する鑑賞法に縛られることなく、その状況に適した再生機器を利用して、画像を楽しむことが可能となってきている。なお、デジタルカメラの普及につれて、画像保存がフィルムから、画像データの記憶素子や記憶装置に代わり、しかも、これらの記憶手段の大容量化が進んできている。

また、前述したインターネットを利用しているものとして通信カラオケがあり、音楽と画像が一体となって、利用者が楽しめるような工夫がなされている。また、動画投稿サイトに掲示された人気画像や、また、放送で送られてくるコンテンツなどは、短時間に多くの人が楽しめるような工夫がなされている。さらに、近年、最も人気のあるコンシューマー用商品のひとつが、プラズマや液晶の大画面のテレビ（ＴＶ）であり、これらはネットワークに接続して、テレビ放送のみならず、インターネットを介した画像を楽しむことができるようになっている。

このような状況の中で、既存のカラオケのコンテンツと画像を合成して楽しむことは、種々提案されている。例えば、特許文献１には、ユーザーがデジタルカメラで撮影した画像をカラオケの背景画像として使用することのできるカラオケ装置が開示されている。このカラオケ装置は、画像を記憶したメモリカードをカラオケ用のマイクに挿入すると、画像を読み出し、モニタテレビに映しだす。

また、特許文献２には、カラオケで歌っているプレイヤーの顔等をビデオカメラで取り込み、背景の指定された位置に嵌め込み合成表示を行なうカラオケ装置が開示されている。さらに、特許文献３には、歌唱者が歌唱している姿をビデオカメラで撮影し、この画像と背景画像を合成して表示すると共に、この画像をプリントするカラオケ装置が開示されている。

さらに、特許文献４には、出演者の生の画像と背景画像を合成し、その際、ミラー反転処理を行なうことのできる画像合成装置が開示されている。さらに、特許文献５には、演奏曲を再生する際に、歌手の顔をカラオケの歌唱者顔に置き換えて表示するようにしたカラオケ装置が開示されている。

特開２００４−２７１９５９号公報 特開平１１−１７５０７９号公報 特開平１０−２５４４６２号公報 特開平９−２７５５２４号公報 特開平６−１１０４８０号公報

このように、カラオケ装置において、画像を合成する技術は種々提案されている。しかし、特許文献１に開示のカラオケ装置では、カメラの他に特別な装置が必要であり、カメラ単体で画像を楽しむことができない。また特許文献２乃至特許文献５に開示されたカラオケ装置は背景画像等と歌唱者の画像等と画像を合成して表示するが、デジタルカメラ等の撮像装置において撮影した画像を楽しむものではなかった。

本願発明は、このような事情を鑑みてなされたものであり、既に作成されている画像コンテンツを有効利用して、デジタルカメラ等の撮像装置において撮影した画像を、自然で、鑑賞者に喜ばれる態様にして鑑賞できる画像表示システムおよび画像表示方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像表示システムは、画面に表示された画像とカメラにより撮影した画像を合成して表示する画像表示システムであって、第１画像を撮影して第１画像データを生成する撮像部と、上記第１画像データを記録する記録部と、画面に表示された第２画像を上記撮像部により撮影し、上記第２画像を表す第２画像データに類似する第３画像データを、上記記録部に記録した上記第１画像データの中から検索する検索部と、上記検索部で検索した上記第３画像データを表す第３画像を上記画面に表示する表示制御部を備える。

上記目的を達成するため第２の発明に係わる画像表示方法は、画面に表示された画像とカメラにより撮影した画像を合成して表示する画像表示方法であって、第１画像を撮影して第１画像データを生成するステップと、上記第１画像データを記録するステップと、画面に表示された第２画像を撮像部により撮影し、上記第２画像を表す第２画像データに類似する第３画像データを、上記記録した上記第１画像データの中から検索するステップと、上記検索した上記第３画像データを表す第３画像を上記画面に表示するステップを備える。

上記目的を達成するため第３の発明に係わる画像表示システムは、撮像装置と表示装置とからなる画像表示システムであって、上記撮像装置は、第１画像を撮影して第１画像データを生成する撮像部と、上記第１画像データを記録する記録部と、上記表示装置は、テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを受信可能な受信部と、この受信部で受信した上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを表示する表示部と、上記撮像装置と通信を行なうための表示装置側通信部と、を備え、上記撮像装置は、さらに、上記表示装置と通信を行うための撮像装置側通信部と、上記撮像部によって撮影した上記表示部の画面の画像に基づいて、上記記録部に記録された上記第１画像データの中から上記画像に類似する類似画像を検索する検索部と、を備え、上記検索された類似画像を上記撮像装置側通信部を介して上記表示装置側通信部に送信し、上記表示部に上記類似画像を表示する。

第４の発明に係わる画像表示システムは、上記第３の発明において、上記類似画像の上記表示装置への送信は、上記撮像部によって撮影した上記表示部の画面の画像が変化した際に、次の類似画像を送信する。
また、第５の発明に係わる画像表示システムは、上記第３の発明において上記表示装置側通信部と上記撮像装置側通信部の間は、赤外光通信または無線ＬＡＮである。
さらに、第６の発明に係わる画像表示システムは、上記第３の発明において、上記表示部には、上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを表示すると共に、上記類似画像を表示する２画面表示が可能である。
さらに、第７の発明に係わる画像表示システムは、上記第３の発明において、上記撮像部によって撮影した上記表示部の画面の画像に基づいて、上記類似画像を表示するスペースを最大限にするように上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つの表示領域の位置と大きさを制御する。

上記目的を達成するため第８の発明に係わる撮像装置は、撮像装置で撮影した撮影画像データを記録する記録部と、表示装置の画面を撮像し、画面画像データを生成する撮像部と、上記画面画像データと類似する撮影画像データを上記記録部の中から検索する検索部と、この検索部によって検索された上記類似する撮影画像データを上記表示装置に送信する送信部を備える。

上記目的を達成するため第９の発明に係わる撮像装置は、テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを受信可能な受信部と、この受信部で受信した上記両コンテンツの内の少なくとも１つを表示可能な表示部と、撮像装置で撮影した撮影画像データを受信する受信部と、この受信部によって上記撮影画像データを受信すると、上記両コンテンツの内の少なくとも１つと共に、上記撮影画像データに基づく画像を表示する表示切替部を具備する。

上記目的を達成するため第１０の発明に係わる画像表示装置は、カメラにより撮影した撮影画像を記録する記録部と、コンテンツ画像を表示する表示部と、コンテンツ画像と類似する撮影画像を、上記記録部の内から検索する検索部と、上記検索部で検索した上記撮影画像を、上記コンテンツ画像と共に、表示する表示制御部を備える。

第１１の発明に係わる画像表示装置は、上記第１０の発明において、上記表示制御部は、上記コンテンツ画像のシーンが変化に応じて、類似画像を切り換える。
また、第１２の発明に係わる画像表示装置は、上記第１１の発明において、上記コンテンツ画像における画像の一致度が小さくなったとき、又は上記コンテンツ画像の音声の一致度が小さくなったときに、上記シーンが変化したと判定する。
さらに、第１３の発明に係わる画像表示装置は、上記第１０の発明において、上記類似画像を表示する際には、上記コンテンツ画像を小さくすると共に移動させ、上記類似画像の表示領域を確保する。

本発明によれば、既に作成されている画像コンテンツを有効利用して、デジタルカメラ等の撮像装置において撮影した画像を、自然で、鑑賞者に喜ばれる態様にして鑑賞できる画像表示システムおよび画像表示方法を提供することができる。

以下、図面に従って本発明を適用した画像表示システムを用いて好ましい実施形態について説明する。本発明の一実施形態に係る画像表示システムは、カメラとテレビとから構成される。カメラ内には撮影した画像データを記録する記録部が備えられ、テレビとカメラには通信機能が備わっており、カメラは画像データをテレビに送信することができる。また、カメラは、テレビの画面を撮像し、テレビ画面の状況に応じて、撮影画像を検索・加工・編集して、テレビに送信することができる。さらに、テレビは送信されてきた画像と、テレビ放送の画像を２画面で表示することができる。

図１は、本発明の一実施形態に係わるデジタルカメラ１０とテレビ２０のブロック図である。カメラ１０の内部には、制御部１、撮像部２、収音部３、記録部４、再生部５、操作判定部６、被写体判定部７が設けられている。制御部１は、ＭＰＵ（Micro Processing Unit）等によって構成され、前述の撮像部２から被写体判定部７等の各部と接続されており、これら各部から信号を入力すると共に制御信号を出力し、カメラ１０全体を制御する。撮像部２は、被写体像を結像するためのレンズ光学系を有し、このレンズ光学系によって結像された被写体像を光電変換し、画像信号を出力する。

収音部３は、マイク等から構成され、テレビ２０のスピーカーから流れる音声等を収音し、音声データに変換する。記録部４は、撮像部２によって出力される画像信号に基づく画像データを記録メディアに記録する。再生部５は、記録部４の記録メディアに記録されている画像データを読出し、液晶表示部５ａに表示する。

操作判定部６は、カメラ１０に設けられている、操作スイッチ、操作ダイヤル等の操作部材の状態を検出し、操作状態を判定する。被写体判定部７は、画面の中のコントラストや明るさの分布、さらに色合いなどを検出する各検出部を有して撮像画像の特徴を分析する。また、被写体判定部７は、画像から人間の顔の特徴を有する陰影パターンによって、画面内の顔の位置や大きさを判定する顔検出部を有している。ＴＶ通信部８は、例えば、赤外線通信や無線ＬＡＮ、またはブルートゥース技術等の通信機能を有し、テレビ２０と通信を行なうことができる。

テレビ２０の内部には、受信部１１、再生部１２、表示切替部１５、カメラ通信部１６、操作判定部１７、表示＆スピーカー部１８を有している。受信部１１は、放送局３０から送信されるコマーシャル（広告放送）等の放送コンテンツや、インターネット３１を介してサーバー等から各種インターネットコンテンツを受信し、再生部１２に出力する。カメラ通信部１６は、カメラ１０のＴＶ通信部と、赤外線通信や無線ＬＡＮ、またはブルートゥース技術等によって通信を行い、カメラ１０から画像データ等を受信し、表示切替部１５に出力する。

操作判定部１７は、テレビ２０のチャンネル切り替え等、カメラの操作部材やリモコンからの信号を受け、ユーザーの操作指示を検出し、判定する。表示切替部１５は、カメラ通信部１６によって受信した画像データと、受信部１１によって受信した放送コンテンツやインターネットコンテンツの表示切替を行なう。表示切替にあたっては、操作判定部１７で判定された操作部材等による操作指示に従って行なう。

再生部１２は、表示切替部１５によって切り換えられた、放送コンテンツや撮像画像の画像データを再生する。表示＆スピーカー部１８は、再生部１２によって再生された映像・画像をモニタ画面２１に表示し、音声をスピーカーに流す。表示モニタ２１は、図１に示すように、２画面に画面分割が可能である。

このように構成されている本実施形態におけるカメラ１０とテレビ２０の動作について説明する。テーブルの上に置かれたカメラ１０は、テレビ２０に向けられている。テレビ２０は、放送局３０からの放送コンテンツやインターネット３１に接続されたサーバー上などに存在するインターネットコンテンツを受信部１１で受信し、再生部１２でそれを再生し、表示部やスピーカー１８などで表示する。

このような放送コンテンツやインターネットコンテンツ等の再生コンテンツは、音声や画像が一体となっており、見る人が飽きないように工夫されている。画像の切換も適切なテンポでなされていることから、この画像に合わせて、カメラ１０内の記録部４から再生コンテンツの画像と類似する画像を検索し、この類似画像を、テレビ２０のモニタ画面２１で再生する。これにより、単に、同じテンポで画像が送られるスライドショーなどより、変化のある画像送り、音声の流用などもでき、はるかに変化に富んだ画像再生を楽しむことが可能となる。また、このような画像再生は、ユーザーがいちいち意識して読み出すものではないので、意外な画像が検索されて再生されて、忘れていた思い出をよみがえらせることができる。

このような動作を行うために、カメラ１０は、撮影用の撮像部２とマイク等からなる収音部３を、テレビ２０の前で動作させる。撮像部２で得た画像と、収音部３で得た音声データを分析し、その結果に従って記録部４から類似画像等を検索し、ＴＶ通信部８から検索画像をテレビ２０に送信する。

操作判定部６は、撮影時のみならず、再生時おいても、ユーザーの操作を受け付け、カメラ１０の制御を行っており、再生部５の液晶表示部５ａにて、撮影画像を確認してから、テレビ２０に送信する画像を限定するようにしても良い。

テレビ２０のモニタ画面２１に再生された放送画像やネット画像は、カメラ１０の撮像部２によって画像として取得される。被写体判定部７は、これらの放送画像やネット画像の特徴を判定する。カメラ１０内に記録されている画像は、撮影時にこの判定部７で画像の特徴が判定されており、顔の大きさや位置や、画面の明るさやコントラストの分布、色の分布によって検索可能となっている。このため、テレビ２０で再生される放送画像やネットに類似する画像を即座に特定することが可能となっている。

このようにして、カメラ１０側で選定された類似画像は、送信部８によって、テレビ２０に送信される。テレビ２０は、この類似画像を受信部１６で受信し、類似画像を再生部１２を介して、モニタ画面２１に表示する。テレビ２０の基本動作は、ユーザーの操作を判定部１７で判定し、受信部１１が受信した放送画像やネット画像等のコンテンツを再生するものだが、このようにカメラ１０から類似画像が送信された場合は、この類似画像も同時表示する。再生部１２は、前述したように、大画面を分割して見ることが可能であるので、そのうちの一方の画面にカメラ１０から送信された画像を表示する。

以上のカメラ１０とテレビ２０等からなる画像表示システムにおける画像鑑賞について図２乃至図４を用いて説明する。家族みんなが集まっている大画面のテレビ２０の前で、図３に示すように、カメラ１０が置かれており、カメラ１０の撮像部２は、テレビ２０の画面モニタ２０の方をモニタするように置かれている。

この時、カメラ１０は、テレビ２０のテレビ画像（画面モニタ２１）をモニタしながら、シーンの切り替わりを判定し、カメラ１０内の撮影画像を検索し、検索された画像の送信を行い、テレビ２０に撮影画像を表示する。この様子を図２に示す。図２（ａ）は、コマーシャル（広告放送）の画像の一例であり、風景やグラスや、宴席での語らいなどのシーンが表示される。こうしたシーンの移り変わりをカメラ１０は判定し、図２（ｂ）に示すように、類似画像を検索し、これの表示を行なう。

例えば、コマーシャル画像に、顔がないか、或いは小さい画像で、上部が明るい画像は風景と判断し、カメラ１０内に記憶されている同様の画像をテレビ１０に送信し、表示する。また、顔がなく、被写体が大写しになっているシーンでは、そのことを判定すると、カメラ１０内から同様の画像を検索して送信する。

さらに、コマーシャル画像が、顔であると判定すると、テレビ２０に顔のある画像を表示するようにする。もちろん、顔の大きさや位置を反映させてもよい。また、画像のみならず、テレビ２０から流される音声によって、その切り替わりを判定したり、送信画像を切り替えてもよい。その様子を図４に一覧表示する。

図４に示されるように、音声の区切りに応じて、再生画像の切り替えを行い、また、女性の声であれば、女性の画像を表示し、また男性の声であれば男性の画像を表示する。また、軽快な音楽であれば、子供の画像を表示し、静かな音楽であれば、家族の画像を表示し、その他の画像であれば、風景画像を表示する。

次に、カメラ１０のカメラ制御について、図５に示すフローチャートを用いて説明する。まず、撮影モードか否かの判定を行なう（Ｓ１）。このカメラ１０は、被写体像をライブビュー表示（スルー画表示ともいう）し、レリーズ操作によって撮影・記録する撮影モードと、記録された画像を再生表示する再生モードと、テレビ２０に撮影画像を再生表示するＴＶ再生モードを有している。

ステップＳ１おける判定の結果、撮影モードであった場合には、ライブビュー表示を行なう（Ｓ２）。ライブビュー表示は、撮像部２によって取得した画像データに基づいて液晶表示部５ａに被写体画像を動画表示する。続いて、レリーズ釦が全押し操作されたか、すなわちレリーズ操作されたかの判定を行なう（Ｓ３）。判定の結果、レリーズ操作されていなかった場合には、ステップＳ１に戻り、前述の動作を繰り返す。

一方、ステップＳ３における判定の結果、レリーズ操作されていた場合には、撮影を行い（Ｓ４）、記録する（Ｓ５）。すなわち、撮像部２によって画像データを取得し、この画像データを圧縮処理した後、記録部４によって記録メディアに記録する。記録が終わると、リターンし、ステップＳ１から繰り返す。

ステップＳ１における判定の結果、撮影モードではなかった場合には、次に、再生モードか否かの判定を行なう（Ｓ１１）。判定の結果、再生モードであった場合には、再生表示を行なう（Ｓ１２）。再生表示は、記録部４の記録メディアに記録されている撮影画像の画像データを読出し、伸張処理した後、再生部５の液晶表示部５ａに表示する。

続いて、サムネイル表示を行なうか否かの判定を行なう（Ｓ１３）。ユーザーがサムネイル表示を望む場合には、デジタルカメラ１０の背面等に設けられているスイッチ等を操作してサムネイル表示モードに設定するので、このステップではこのモードに設定されたか否かの判定を行なう。判定の結果、サムネイル表示モードであった場合には、サムネイル表示を行なう（Ｓ１４）。このサムネイル表示は、記録部４内の記録メディアに記録されている全画像データを読出し、通常より小さい画像で表示パネル８に複数駒の画像を同時に表示する。

次に、テレビ２０に表示する画像群、すなわちテレビ２０のモニタ画面２１の表示候補の選択を行なうか否かの判定を行なう（Ｓ１５）。これは、前述のサムネイル表示の選択と同様にカメラ１０のスイッチの操作により表示候補（送信候補）の選択モードが設定されているか否かにより判定する。判定の結果、表示候補（送信候補）の選択が設定されていた場合には、表示候補の選択を行なう（Ｓ１６）。表示候補の選択は、サムネイル表示されている撮影画像の中から、テレビ２０に送信し、モニタ画面２１にモニタ画像として表示したい画像を、タッチパネルや十字キーを利用して選択する。

次に、表示候補選択が終了したか否かを判定し（Ｓ１７）、判定の結果、終了した場合には、候補指示を行なう（Ｓ１８）。この候補指示は、選択された撮影画像に対して、送信候補信号が付加され、後述するステップＳ２６において、テレビ２０に対して選択された撮影画像を送信する。候補指示が終わると、または、ステップＳ１３、Ｓ１５、Ｓ１７においてＮＯであった場合には、リターンする。

ステップＳ１１における判定の結果、再生モードでなかった場合には、次に、テレビ２０でのＴＶ再生モードか否かの判定を行なう（Ｓ２１）。再生モードでもない場合は、テレビ２０と赤外通信（無線ＬＡＮやブルートゥースでもよい）を行えるようになっている。判定の結果、ＴＶ再生モードでなかった場合には、ステップＳ１に戻るが、一方、ＴＶ再生モードであった場合には、撮像と収音動作を実行する（Ｓ２２）。

続いて、ステップＳ２２で取得した撮像画像と収音データに基づいて、テレビコマーシャル（ＣＭ）か否かの判定を行なう（Ｓ２３）。ここで、コマーシャル（ＣＭ）の判定方法としては、ステレオ音声からモノラル音声への変化や、急に音が大きくなったり、音楽始まったりといった音量の不連続な変化等を検出することによって行なう。判定の結果、コマーシャルでなかった場合には、ステップＳ２２に戻り、コマーシャルであった場合には、ステップＳ２２以下において、カメラ１０で撮像した撮像画像をテレビ２０に表示させる。本実施形態において、コマーシャル放送になったときに撮影画像の送信を行うようにしているのは、ドラマの途中などで、撮影画像の再生が起こるとドラマ等の鑑賞に障る可能性があるからである。

ステップＳ２３において、コマーシャル放送であると判定されると、テレビ画像は縮小し、２画面表示を行う旨を信号送信する(Ｓ２４)。２画面のうちの１画面はテレビ画像であり、他の１画面は、カメラ１０から送信する撮影画像である。

続いて、テレビ画像の画像判定を行なう（Ｓ２５）。この画像判定は、撮像部２で取得したテレビ１０の画像データに基づいて、被写体判定部７によってテレビ１０の画像の分析を行ない、この分析結果に基づいて、記録部４に記録されている撮影画像であって、ステップＳ１８において表示候補として指定された画像の中から類似する画像を検索し、選択する。この画像判定が終わると、ステップＳ２５において選択された候補画像の送信を行なう（Ｓ２６）。候補画像の送信は、カメラ１０のＴＶ通信部８によって行なわれる。

次に、コマーシャル放送の中で、シーン変化があったか否かの判定を行なう（Ｓ２７）。このシーン変化の判定方法の詳細については、図６を用いて後述する。判定の結果、シーンの変化がなければ、この状態でシーンが変化するまで待機状態となる。判定の結果、シーンが変化すると、画像判定を行い、次の候補画像を送信する（Ｓ２８）。ここでの画像判定は、ステップＳ２５と同様にして、類似画像を検索し、この類似画像をテレビ２０に送信する。

続いて、終了か否かの判定を行なう（Ｓ２９）。この終了判定は、コマーシャルが終わるか、または、ユーザーが表示終了の操作を行ったか否かの判定である。判定の結果、終了でなければ、ステップＳ２７に戻り、一方、終了の場合には、テレビ１０に１画面化の指示信号を送信する。テレビ１０に送信すると同時に、カメラ１０の背面に設けられた液晶表示部５ａに対応する画像を表示してもよい。１画面化の指示を出すと、ステップＳ１に戻り、前述のステップを繰り返す。

次に、ステップＳ２７のシーン変化判定について、図６に示すフローチャートを用いて説明する。このフローに入ると、まず、第１所定時間が経過したかを判定する（Ｓ５１）。このステップは、シーン判定を所定時間置きに行うべく、設けられたステップで、第１所定時間が経過するごとに、Ｓ５２以下に進む。第１所定時間が経過すると、画像取得（Ｓ５２）と、音声取得（Ｓ５３）を行う。画像取得は撮像部２によって行い、音声取得は収音部３によって行なう。

続いて、前回取得画像と今回取得画像の比較を行ない（Ｓ５４）、両画像の一致度が大きいか否かの判定を行なう（Ｓ５５）。判定の結果、一致度が高くない場合には、シーン変化判定、すなわち、シーン変化が大きかったと判定する（Ｓ５９）。これは、画像の一致度が大きくない、すなわち、前回と今回では画像が異なっていることから、シーンが変化したと判定できるからである。

ステップＳ５５における判定の結果、一致度が大きい場合には、次に、前回取得音声と比較し（Ｓ５６）、前回取得音声と今回取得音声の比較を行なう（Ｓ５７）。画像が変化していない場合であっても、新たな登場人物の声が聞こえる場合もあり、音声が変わっている場合には、シーンが変化していると扱う。判定の結果、一致度が低い場合には、第３所定時間が経過しても、なお一致度が小さければ（Ｓ６１）、シーン変化と判定し（Ｓ５９）、一方、第３所定時間が経過していなければ、元のフローに戻る。ここで、第３所定時間の間が経過するのを待つのは、頻繁・小刻みにシーン変化があると、撮影画像が頻繁に切り替わり、見苦しくなるからである。

また、ステップＳ５７における判定の結果、音声についても一致度が大きい場合には、次に、第２所定時間が経過したか否かを判定する（Ｓ５８）。第２所定時間が経過していない場合には、元のフローに戻り、一方、第２所定時間が経過すると、シーン変化判定（Ｓ５９）を行なっている。音声と画像の両方に変化がない状況があまりにも長い場合には、シーン変化があったものとしている。

これは、シーン変化があった場合には、ステップＳ２８（図５）において、次の、候補画像を送信しているが、シーンが長いと同じ画像を表示し続けることになり、単調になることを防止するためである。なお、第１、第２および第３所定時間は、それぞれ、例えば、５秒、２０秒、１０秒とするが、この時間は適宜変更してもよい。

次に、テレビ２０の制御動作について、図７に示すフローチャートを用いて説明する。このテレビ２０には、カメラ１０から画像データの入力のための通信を行なうカメラ通信モードと、通常のテレビ２０の番組指定等のプログラム指定モードと、インターネットに接続し、インターネットに接続し、インターネットコンテンツの再生等を行なうネット接続モードと、カメラ１０にテレビ側のコンテンツを送信する送信モード等がある。

このフローに入ると、まず、カメラ通信モードか否かの判定を行なう（Ｓ１０１）。前述したように、カメラ１０はテレビ２０に画像データ等を送信する際には、赤外線などの無線通信の信号を発するので、このステップでは、この信号を感知しているか否か検知する。判定の結果、通信信号を受信していれば、その信号を解析する（Ｓ１０２）。

信号解析の結果に基づいて、受信信号が、テレビ２０のモニタ画面２１の画像を１画面にし、また２画面するか、さらに画像を縮小・拡大する等、画面を制御する画面表示制御信号であるか否かの判定を行なう（Ｓ１０３）。判定の結果、画面表示制御信号であれば、この制御信号に従って、モニタ画面２１の画像の制御を行う（Ｓ１０４）。

ステップＳ１０３における判定の結果、画面制御でなかった場合には、画像受信であったか否かの判定を行なう（Ｓ１０５）。これは、カメラ１０がテレビ２０に送信している表示用の撮影画像を受信しているか否かの判定である。判定の結果、画像受信であれば、受信した撮影画像の表示を行なう（Ｓ１０６）。このとき、モニタ画面２１上には、コマーシャル放送の画像とカメラ１０から送信された撮影画像が、２画面で表示される。ステップＳ１０４またはステップＳ１０６を行うと、ステップＳ１０１に戻り、前述の動作を繰り返す。

ステップＳ１０１における判定の結果、カメラ通信モードではなかった場合には、プログラム指定か否かの判定を行なう（Ｓ１１１）。このステップは一般的なテレビの仕様として、ユーザーが視聴を望むプログラムを指定しているか否かの判定である。判定の結果、プログラム指定を行なっていれば、ステップＳ１１２において、その番組の再生表示を行ない（Ｓ１１２）、ステップＳ１１５にジャンプする。

ステップＳ１１１における判定の結果、プログラム指定モードでなかった場合には、ネット接続か否かの判定を行なう（Ｓ１１３）。判定の結果、ネット接続であれば、ネットに接続し、コンテンツ再生を行う（Ｓ１１４）。続いて、放送コンテンツまたはインターネットコンテンツの記録動作を行うか否かの判定を行なう（Ｓ１１５）。判定の結果、記録の指示がなされていた場合には、コンテンツをテレビ２０内の記録部に記録を行う。続いて、終了か否かの判定を行い（Ｓ１１７）、終了でなければ、ステップＳ１１１に戻り、一方、終了であれば、リターンする。

ステップＳ１１３における判定の結果、ネット接続モードでなければ、次に、記録コンテンツの送信モードであるか否かの判定を行ない（Ｓ１２１）、判定の結果、送信モードであれば、コンテンツをカメラ１０に赤外線通信等により送信する。これのステップは、ステップＳ１１６において記録されたコンテンツをカメラ１０に送信するモードであり、テレビ２０に記録されているコンテンツをカメラ１０で再生可能としている。ユーザーは、カメラ１０の記録部４に記録しておくことにより、テレビ２０から離れても、これらのコンテンツを楽しむことができる。また、これらのコンテンツを見ながら、撮影を行えば、プロの効果を真似した撮影が可能となる。

次に、ステップＳ１０４における画面表示制御を行うために、カメラ１０で行われる画像位置制御について、図８および図９を用いて説明する。本実施形態においては、カメラ１０がテレビ２０のコマーシャル画像等のシーンの変化を検出し、これに合わせて撮影画像の切り換えを行なっている。このため、カメラ１０が正しくテレビ２０のモニタ画面２１に向いていないと、正確な判定ができない。このため、テレビ画像を正しく判定できるように、テレビ２０における画像位置の制御をカメラ１０側から行うようにしたものである

図８は、図３のように、カメラ１０をテレビ２０の前に置いた状態で、カメラ１０が正しく、テレビ２０の画像をモニタできるように、テレビ画像の再生位置や大きさを制御する様子を示す。図８（ａ）は、カメラ１０に制御され、テレビ２０がコマーシャル等の画像２２ａの位置をずらしている様子を示し、図８（ｂ）は、テレビの再生画像の移動をカメラ１０がモニタしている様子を示している。

図８（ｂ）の状態では、カメラ１０の液晶表示部５ａに表示されている、コマーシャル画像等の画像２２ｂが、これ以上右にシフトすると、カメラ１０によってテレビ画像のモニタができない様子を示している。つまり、テレビ画像をモニタしながら、画像送信の制御を行うには、このあたりで、テレビ画像の位置を止めた方がよいことを示している。

次に、画像位置制御のルーチンについて、図９に示すフローチャートを用いて説明する。なお、本実施形態においては、カメラ１０は、テレビ２０に対して赤外線などによって制御信号を送信し、テレビ２０側に画像位置の制御を行わせているが、テレビ２０のリモコン部に対して送信するようにしてもよい。

まず、この画像位置制御を開始すると、画像を判定するのに、十分な余裕があるか否かを判定する（Ｓ７２）。すなわち、モニタ画面２１上に表示される画像２２ａが、カメラ１０がシーンの変化等の判定を行なうに十分な大きさであるか否かを判定する。画像２２ａが、あまり小さすぎると、判定不能となってしまうからである。

ステップＳ７１における判定の結果、余裕があるようであれば、カメラ１０の撮影画像を表示するスペースを確保するために、画像２２ａの画像を縮小させる（Ｓ７３）。続いて、画像２２ａの縮小画像が、シーン変化を分析できる限界に達したか否かを判定する（Ｓ７４）。達していない場合には、ステップＳ７３に戻り、限界に達するまで、テレビ画像の縮小を繰り返す。

ステップＳ７４における判定の結果、限界に達すると、次に、移動に余裕があるか否かの判定を行なう（Ｓ７５）。縮小された画像２２ａが中央付近にあると、カメラ１０の撮影画像を表示するスペースを十分確保できないために、ステップＳ７７において限界に達したと判定されるまで、ステップＳ７６において移動させる。

一方、ステップＳ７５において移動余裕がないと判断された場合、またはステップＳ７１において、画像判定余裕なしと判定された場合には、カメラの位置が近すぎたり、逆に遠すぎたりし、或いはカメラ１０の向きが悪いので、警告を発する（Ｓ７２）。

ステップＳ７７において、画像２２ａが限界に達したと判定されると、空き領域にカメラ画像の表示を行う（Ｓ７８）。すなわち、テレビ画像２２ａをモニタ画面２１の端によせ、空いた領域に、カメラ１０内に記録され、ステップＳ１８において候補指示のなされた撮影画像を転送し、表示する（Ｓ７８）。これによって、カメラ１０がテレビ画像を参考にしながら、同時に、テレビ１０に撮影画像を再生させることが可能となる。

このように本発明の一実施形態においては、家族団らんの場や、多くの人が集まりやすいテレビを利用し、このテレビの画面にカメラ１０によって撮像された撮影画像を表示するようにしている。このため、多くの人によって楽しむことができる。

また、撮影画像の表示にあたって、コマーシャル放送のシーンの変化に応じて、撮影画像を切り換えるようにしている。コマーシャル放送は、短時間であっても、変化に富み、視聴者を飽きさせないことから、このコマーシャル放送にリンクさせることによって、撮影画像の再生も、スライドショーのような単調な再生表示になることはない。

さらに、カメラ１０とテレビ２０の間は、赤外線通信や無線通信や無線ＬＡＮ等で接続するようにしているので、接続が簡単であり、また特別な装置を必要とせず、安価となる。なお、多少、線がもつれるが、有線ケーブル等で、両者を接続するようにしても、勿論構わない。

さらに、本実施形態では、コマーシャル放送中に、カメラ画像を表示しているが、その際に、いきなりカメラ画像を全面に表示することなく、２画面のうちの１画面を利用して再生表示するようにしている。このため、鑑賞者、いずれを見るかを選択することができる。

さらに、本実施形態においては、カメラ１０側において、テレビ１０のモニタ画面２１の画像に基づいて、コマーシャル等のテレビ画像の画像判定を行なうことができるか否かを監視している。そして、この監視結果に基づいて、テレビ画像を最小限の大きさと位置で表示させることにより、カメラ１０の撮影画像を大きく表示することを可能としている。

なお、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係わる画像表示システムにおけるブロック図である。 本発明の一実施形態に係わる画像表示システムにおける類似画像の選択について説明する図である。 本発明の一実施形態に係わる画像表示システムにおいて音声に応じて再生画像を切り替えを説明する図である。 本発明の一実施形態に係わる画像表示システムにおけるサーバーを主とするブロック図である。 本発明の一実施形態に係わる画像表示システムおけるカメラ制御を示すフローチャートである。 本発明の一実施形態に係わる画像表示システムおけるシーン変化のサブルーチンを示すフローチャートである。 本発明の一実施形態に係わる画像表示システムにおけるテレビの動作を示すフローチャートである。 本発明の一実施形態に係わる画像表示システムにおいて、テレビ画像の再生位置や大きさを制御する様子を示す図であって、図８（ａ）はテレビが画像２２ａの位置をずらしている様子を示し、図８（ｂ）は、テレビの再生画像の移動をカメラがモニタしている様子を示している。 本発明の一実施形態に係わる画像表示システムにおける画像位置制御のサブルーチンを示すフローチャートである。

符号の説明

１・・・制御部、２・・・撮像部、３・・・収音部、４・・・記録部、５・・・再生部、５ａ・・・液晶表示部、６・・・操作判定部、７・・・被写体判定部、８・・・ＴＶ通信部、１０・・・カメラ、１１・・・受信部、１２・・・再生部、１５・・・表示切替部、１６・・・カメラ通信部、１７・・・操作判定部、１８・・・表示＆スピーカー部、２０・・・テレビ、２１・・・モニタ画面、２２ａ・・・画像（テレビ側）、２２ｂ・・・画像（カメラ側）、３０・・・放送局、３１・・・インターネット

Claims (13)

1. 画面に表示された画像とカメラにより撮影した画像を合成して表示する画像表示システムであって、
   第１画像を撮影して第１画像データを生成する撮像部と、
   上記第１画像データを記録する記録部と、
   画面に表示された第２画像を上記撮像部により撮影し、上記第２画像を表す第２画像データに類似する第３画像データを、上記記録部に記録した上記第１画像データの中から検索する検索部と、
   上記検索部で検索した上記第３画像データを表す第３画像を上記画面に表示する表示制御部と、
   を備えたことを特徴とする画像表示システム。
2. 画面に表示された画像とカメラにより撮影した画像を合成して表示する画像表示方法であって、
   第１画像を撮影して第１画像データを生成するステップと、
   上記第１画像データを記録するステップと、
   画面に表示された第２画像を撮像部により撮影し、上記第２画像を表す第２画像データに類似する第３画像データを、上記記録した上記第１画像データの中から検索するステップと、
   上記検索した上記第３画像データを表す第３画像を上記画面に表示するステップと、
   を備えたことを特徴とする画像表示方法。
3. 撮像装置と表示装置とからなる画像表示システムにおいて、
   上記撮像装置は、
   第１画像を撮影して第１画像データを生成する撮像部と、
   上記第１画像データを記録する記録部と、
   上記表示装置は、
   テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを受信可能な受信部と、
   この受信部で受信した上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを表示する表示部と、
   上記撮像装置と通信を行なうための表示装置側通信部と、
   を備え、
   上記撮像装置は、さらに、
   上記表示装置と通信を行うための撮像装置側通信部と、
   上記撮像部によって撮影した上記表示部の画面の画像に基づいて、上記記録部に記録された上記第１画像データの中から上記画像に類似する類似画像を検索する検索部と、
   を備え、上記検索された類似画像を上記撮像装置側通信部を介して上記表示装置側通信部に送信し、上記表示部に上記類似画像を表示することを特徴とする画像表示システム。
4. 上記類似画像の上記表示装置への送信は、上記撮像部によって撮影した上記表示部の画面の画像が変化した際に、次の類似画像を送信することを特長とする請求項３に記載の画像表示システム。
5. 上記表示装置側通信部と上記撮像装置側通信部の間は、赤外光通信または無線ＬＡＮであることを特徴とする請求項３に記載の画像表示システム。
6. 上記表示部には、上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを表示すると共に、上記類似画像を表示する２画面表示が可能であることを特徴とする請求項３に記載の画像表示システム。
7. 上記撮像部によって撮影した上記表示部の画面の画像に基づいて、上記類似画像を表示するスペースを最大限にするように上記テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つの表示領域の位置と大きさを制御することを特徴とする請求項３に記載の画像表示システム。
8. 撮像装置で撮影した撮影画像データを記録する記録部と、
   表示装置の画面を撮影し、画面画像データを生成する撮像部と、
   上記画面画像データと類似する撮影画像データを上記記録部の中から検索する検索部と、
   この検索部によって検索された上記類似する撮影画像データを上記表示装置に送信する送信部と、
   を備えることを特徴とする撮像装置。
9. テレビ放送コンテンツ及びインターネットコンテンツの少なくとも１つを受信可能な受信部と、
   この受信部で受信した上記両コンテンツの内の少なくとも１つを表示可能な表示部と、
   撮像装置で撮影した撮影画像データを受信する受信部と、
   この受信部によって上記撮影画像データを受信すると、上記両コンテンツの内の少なくとも１つと共に、上記撮影画像データに基づく画像を表示する表示切替部と、
   を具備することを特徴とする画像表示装置。
10. カメラにより撮影した撮影画像を記録する記録部と、
    コンテンツ画像を表示する表示部と、
    コンテンツ画像と類似する撮影画像を、上記記録部の内から検索する検索部と、
    上記検索部で検索した上記撮影画像を、上記コンテンツ画像と共に、表示する表示制御部と、
    を備えたことを特徴とする画像表示装置。
11. 上記表示制御部は、上記コンテンツ画像のシーンが変化に応じて、類似画像を切り換えることを特徴とする請求項１０に記載の画像表示装置。
12. 上記コンテンツ画像における画像の一致度が小さくなったとき、又は上記コンテンツ画像の音声の一致度が小さくなったときに、上記シーンが変化したと判定することを特徴とする請求項１１に記載の画像表示装置。
13. 上記類似画像を表示する際には、上記コンテンツ画像を小さくすると共に移動させ、上記類似画像の表示領域を確保することを特徴とする請求項１０に記載の画像表示装置。