JP4479679B2 - 撮影画像表示システム、画像受信装置及びその制御方法 - Google Patents

撮影画像表示システム、画像受信装置及びその制御方法 Download PDF

Info

Publication number
JP4479679B2
JP4479679B2 JP2006068557A JP2006068557A JP4479679B2 JP 4479679 B2 JP4479679 B2 JP 4479679B2 JP 2006068557 A JP2006068557 A JP 2006068557A JP 2006068557 A JP2006068557 A JP 2006068557A JP 4479679 B2 JP4479679 B2 JP 4479679B2
Authority
JP
Japan
Prior art keywords
image
blur
shake
amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006068557A
Other languages
English (en)
Other versions
JP2007251299A (ja
Inventor
道博 長石
和洋 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006068557A priority Critical patent/JP4479679B2/ja
Priority to US11/685,253 priority patent/US7801428B2/en
Publication of JP2007251299A publication Critical patent/JP2007251299A/ja
Application granted granted Critical
Publication of JP4479679B2 publication Critical patent/JP4479679B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影画像を受信して表示する撮影画像表示システム、画像受信装置及びその制御方法に関する。
従来より、通常の会話に加えて、相手の映像を見ることができるテレビ電話機能を具備した携帯型電話装置が知られている(例えば、特許文献1参照)。テレビ電話の場合、撮影側と鑑賞側とが異なるため、撮影側のぶれや鑑賞側のぶれの影響で鑑賞側にぶれた画像が表示されてしまい、特に小さい文字をはっきり表示することは難しかった。
また、従来の画像ぶれ防止技術として、プロジェクタ装置がスクリーンに映像を投射している場合に、プロジェクタ装置、スクリーン又は鑑賞者のぶれを各々検出し、少なくともいずれかの位置を物理的に移動してぶれを補正する技術が知られている(例えば、特許文献2参照)。
特開2002−27050号公報 特開平7−36423号公報
しかし、従来の画像ぶれ防止技術は、プロジェクタ装置、スクリーン又は鑑賞者を物理的に移動させる機構が必要となり、装置構成が大規模になってしまう。このため、テレビ電話等の携帯装置への適用が困難であった。
本発明は、上述した事情に鑑みてなされたものであり、構成の複雑化を回避しつつ、鑑賞側でぶれを低減した画像を表示することができる撮影画像表示システム、画像受信装置及びその制御方法を提供することにある。
上述課題を解決するため、本発明は、撮影画像表示システムにおいて、撮影画像と撮影時のぶれ量とを送信する撮影装置と、前記撮影装置から送信された撮影画像とぶれ量とを受信する画像受信装置とを備え、前記画像受信装置は、当該装置のぶれ量を検出するぶれ量検出手段と、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、前記ぶれ補正手段が補正した撮影画像を表示する表示手段とを備えることを特徴とする。
この発明によれば、送信側の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、撮影装置と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。
また、本発明は、画像受信装置において、通信相手から撮影画像と撮影時のぶれ量とを受信する受信手段と、当該装置のぶれ量を検出するぶれ量検出手段と、受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、前記ぶれ補正手段が補正した撮影画像を表示する表示手段とを備えることを特徴とする。
この発明によれば、通信相手の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、通信相手と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。
また、上記構成において、前記ぶれ量検出手段は、ジャイロセンサ又は加速度センサであることが好ましい。また、上記構成において、前記画像受信装置は、撮影する撮影手段と、撮影画像を前記通信相手に送信する送信手段と、前記通信相手との間で音声通話を行うための通話手段とを備える携帯型テレビ電話装置として構成されていることが好ましい。この構成によれば、テレビ電話の場合に、鑑賞側でぶれを低減した画像を表示することができる。
また、本発明は、通信相手から撮影画像と撮影時のぶれ量とを受信して表示する画像受信装置の制御方法において、当該装置のぶれ量を検出し、受信したぶれ量と前記検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を表示することを特徴とする。
この発明によれば、通信相手の処理負担を軽減しつつ、鑑賞側でぶれを低減した画像を表示することができる。また、物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、構成の複雑化を回避することができる。受信したぶれ量と、自装置のぶれ量との差に基づいて受信した撮影画像にぶれ補正処理を行うので、通信相手と画像受信装置のいずれにぶれが生じている状況でも、鑑賞側でぶれを低減した画像を表示することができる。
本発明に係る撮影画像表示システム、画像受信装置及びその制御方法によれば、構成の複雑化を回避しつつ、鑑賞側でぶれを低減した画像を表示することができる。
以下、図面を参照して本発明の実施形態を詳述する。
図1は本発明の撮影画像表示システムの構成を示す図である。
この撮影画像表示システム1は、移動通信ネットワークNWを介して携帯電話機2間で電話やテレビ電話を可能にするシステムであり、携帯電話機2の構成を主に示している。なお、この携帯電話機2は、従来の携帯電話機と同様に、移動通信ネットワークNWを経由して固定電話用通信ネットワーク(不図示)に接続される一般電話との間で電話も可能である。
上記各携帯電話機2は、略同一に構成され、以下、説明の便宜上、テレビ電話を1対1で行っている場合の一方の携帯電話機2を送信側装置(撮影装置に相当する)2Aと表記し、他方の携帯電話機を受信側装置(画像受信装置に相当する)2Bと表記し、これらを特に区別する必要がない場合は、携帯電話機2と表記する。
携帯電話機2は、操作部10、通話部20、通信部30、角速度検出部40、撮影部50及び制御部60を備え、また、リムーバブルメディア70が着脱自在に装着されている。
操作部10は、携帯電話機2が備える複数の操作子の操作を制御部60に通知するものである。通話部20は、他の携帯電話機2や一般電話との間で音声通話を行うための通話手段として機能するものであり、音声入力部21と、音声出力部22とを備えている。音声入力部21は、当該携帯電話機2のユーザの音声を収音するマイクを備え、このマイクを介して入力した音声を制御部60に出力する。また、音声出力部22は、当該携帯電話機2のユーザに向けて音声を放音するスピーカを備え、このスピーカを介して着信音等の合成音声や電話相手から送信された音声を放音する。
通信部30は、移動通信ネットワークNWに規定された通信方式に従ってアンテナ31を介して他の携帯電話機2等と無線通信を行うものであり、RF部やベースバンド処理部等を備えている。
角速度検出部40は、当該携帯電話機2のぶれ量を検出するぶれ量検出手段として機能するものである。この角速度検出部40は、図2に示すように、撮影対象のフレームFLの上下方向(以下、X軸と定義する)の角速度を検出するX軸ジャイロセンサ41と、左右方向(以下、Y軸と定義する)の角速度を検出するY軸ジャイロセンサ42とを有している。この角速度検出部40は、2つのジャイロセンサ41、42によりX軸及びY軸の各角速度に応じた電圧値の角速度検出信号SVを制御部60に出力する。
撮影部50は、動画や静止画を撮影する撮影手段として機能するものであり、カメラコントロール回路51、撮影カメラ52、撮影部RAM53及び表示パネル54を備えている。カメラコントロール回路51は、制御部60の制御の下、撮影部50の各部を制御するものである。また、撮影カメラ52は、撮影データD1をカメラコントロール回路41に所定のサンプリングレートで順次出力するものであり、CCDやCMOS等の光電変換素子がマトリクス状或いはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサにて取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するA/D変換回路等を備えて構成されている。
撮影部RAM53は、撮影データを一時的に格納するバッファとして機能するものである。また、表示パネル54は、撮影画像や設定画面等の各種情報を表示する表示手段として機能し、例えば液晶ディスプレイパネルや有機ELパネル等のフラットディスプレイパネルにて構成されている。リムーバブルメディア70は撮影データ等を格納するものである。
このような構成の下、撮影カメラ52から出力された撮影データD1は、カメラコントロール回路51にて所定の処理がなされた後、撮影部RAM53に一時的に格納され、撮影画像を保存する場合にはリムーバブルメディア70に格納される。また、撮影部RAM53に格納された撮影データは表示パネル54に表示する際に用いられると共に、テレビ電話の際には、この撮影データが通信部20を介して通信先の携帯電話機2(2B)に無線送信される。また、リムーバブルメディア70に格納された撮影データは、撮影画像を表示(再生)する際に用いられる。
図3はカメラコントロール回路51のブロック図である。
カメラコントロール回路51は、ぶれデータ演算部80と、撮影画像処理部81と、補正画像作成部82と、補正画像出力部83とを備えている。
ぶれデータ演算部80は、角速度検出部40から出力される角速度検出信号SVに演算処理を行い、撮影データD1のサンプリング周期でぶれ量に相当するぶれデータB1を取得し、補正画像作成部82又は制御部60に選択的に出力する。すなわち、ぶれデータ演算部80は、撮影データD1の1フレーム毎にぶれデータB1を取得する。
なお、このぶれデータB1は角速度の情報でもよいが、撮影カメラ52の焦点距離や被写体までの距離から計算したフレーム上のずれ量(例えばドット数)の情報を適用してもよい。また、角速度の情報をぶれデータB1として送信する場合は、このぶれデータB1に、撮影カメラ52の焦点距離や被写体までの距離といった撮影状況を示す基礎データを含めることが好ましい。
撮影画像処理部81は、撮影カメラ52より送られた撮影データD1又は通信部30を介して他の携帯電話機2(2A)から受信した撮影データD2を入力して撮影部RAM53に記憶させる。補正画像作成部82は、撮影部RAM53に記憶された撮影データにぶれ補正処理を行うぶれ補正手段として機能するものであり、ぶれデータ演算部80が取得したぶれデータB1を入力し、或いは、テレビ電話時は、ぶれデータB1に加え、通信部30を介して他の携帯電話機2(2A)から受信したぶれデータB2を入力し、これらぶれデータB1、B2に基づいて撮影部RAMに記憶された撮影データにぶれ補正処理を行う。
また、補正画像出力部83は、ぶれ補正処理が行われた場合は補正後の撮影データを、ぶれ補正処理が行われなかった場合は補正されなかった撮影データを、表示パネル54等に出力する。
制御部60は、携帯電話機2の各部を制御するコンピュータとして機能するものであり、図1に示すように、各種プログラムの実行や演算処理をするCPU61と、このCPU61が実行する制御プログラム100や各種データを格納する書換可能なフラッシュROM(以下、単に「ROM」という)62と、上記CPU61の演算結果や各種データを一時的に格納するためのワークエリアとして機能するRAM63とを備えている。また、上記ROM62に格納された制御プログラム100には、テレビ電話用のぶれ補正プログラムが含まれており、このぶれ補正プログラムを実行することで、ぶれを補正した動画表示を実現する。
この制御プログラム100は、磁気記録媒体、光記録媒体又は半導体記録媒体等のコンピュータ読み取り可能な記録媒体110(図1参照)に記録して配布することが可能である。さらに、パーソナルコンピュータと本携帯電話機2とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体110の制御プログラム100を本携帯電話機2に出力することで、ROM62に制御プログラム100を格納することも可能である。
次に、テレビ電話用のぶれ補正プログラム実行時の動作を説明する。なお、このぶれ補正プログラムはテレビ電話時に実行されるものである。ここで、テレビ電話時の携帯電話機2の動作は、自機2の撮影時のぶれ量を示すぶれデータを撮影データと共に通信相手の携帯電話機2に送信する点と、通信相手から送信された撮影データと撮影時のぶれ量を示すぶれデータとを受信して撮影画像の手ぶれ補正を行う点とが大きく異なり、それ以外は、音声と動画像(撮影画像)を互いに送受信してテレビ電話を実現する公知の携帯電話機の動作と略同様である。
これらの動作は、テレビ電話中の両方の携帯電話機2が行うものであるが、以下、説明を判りやすくするため、送信側装置2Aから撮影データB2とぶれデータB2とが移動通信ネットワークNWを介して受信側装置2Bに送信され、受信側装置2Bが、その撮影データB2とぶれデータB2とを受信する場合について詳細に説明する。
図4は、受信側装置2Bにおけるぶれ補正プログラム実行時の動作を示すフローチャートである。なお、前提として、送信側装置2Aからは、ぶれ補正されていない動画の撮影データB2と、撮影時のぶれデータB2とが略リアルタイムで受信側装置2Bに送信されているものとする。
受信側装置2Bにおいて、まず、制御部60は、テレビ電話の開始時にぶれ補正レベルを設定する(ステップS1)。このぶれ補正レベルは、ユーザが設定するレベルであり、制御部60はこのぶれ補正レベルに応じてカメラコントロール回路51で行うぶれ補正処理の内容を変更する。
詳述すると、本実施形態では、ぶれ補正レベルを「低」、「中」、「高」の三段階に区分けし、「高」に設定された場合には、撮影データ中の複数フレームの画像を参照し、フレームや被写体の動きを分析し、この動きをなくすように画像シフト等の画像補正を行って手ぶれを補正するぶれ補正処理を適用し、「中」に設定された場合には、表示のフレームレートを落とす、又は、解像度を下げる等の簡略的なぶれ補正処理を適用し、「低」に設定された場合には、ぶれ補正しないこととしている。すなわち、ぶれ補正レベルが下がるほど、ぶれ補正による処理負担が軽減される。
次に、制御部60は、通信先の送信側装置2Aから撮影データD2とぶれデータB2とを受信する処理を開始し(ステップS2、S3)、また、ぶれ量取得処理を開始することにより(ステップS4)、角速度検出部40の角速度検出信号SVから当該受信側装置2BのぶれデータB1を取得する。なお、この場合、制御部60は、撮影カメラ52により受信側装置2Bにおける撮影データD1の取得も開始しており、この撮影データD1とぶれデータB1とを通信部30を介して送信側装置2Aに送信している。
続いて、制御部60は、送信側装置2Aから撮影データD2とぶれデータB2とを受信すると、ぶれデータB2からぶれデータB1を引いた差分を求めることにより、送信側装置2Aと受信側装置2Bとの相対ぶれ量を示す差分データBDを取得する(ステップS5)。この場合、送信側装置2AのぶれデータB2が、角速度の情報と基礎データ(撮影時の焦点距離や被写体までの距離)とを含むデータの場合には、これら情報からフレーム上のずれ量を算出し、このずれ量と、受信側装置2BのぶれデータB1から算出したフレーム上のずれ量との差分を差分データBDとすることが好ましい。
そして、制御部60は、カメラコントロール回路51により取得した差分データBDに基づき受信した撮影データD1にぶれ補正処理を行い、送信側装置2Aと受信側装置2Bとの相対ぶれ量に基づいてぶれ補正を行う(ステップS6)。すなわち、本実施形態では、制御部60及びカメラコントロール回路51がぶれ補正手段として機能している。
この場合、上述したように、ぶれ補正レベルによってぶれ補正処理の内容が変更されるため、ぶれ補正レベルが「高」の場合には、送信側装置2Aと受信側装置2Bとの相対ぶれ量を正確になくすことが可能なぶれ補正処理が実行され、相対ぶれ量をなくした撮影画像を取得することができる。
一方、ぶれ補正レベルが「中」の場合には、送信側装置2Aと受信側装置2Bとの相対ぶれ量に応じて、このぶれが目立たない程度にフレームレートを落とす、又は、解像度を下げる等の簡略的なぶれ補正処理が実行され、処理負担を軽減しつつぶれが目立たない撮影画像を取得することができる。
また、ぶれ補正レベルが「低」の場合には、ぶれ補正処理が行われず、このため、送信側装置2A及び受信側装置2Bの両方に殆どぶれがない場合、或いは、ユーザがぶれを気にしない場合に、ぶれ補正処理を行って無用な処理負担をかけてしまう場合を回避することができる。
次いで、制御部60は、通信先の送信側装置2Aからのデータ受信(撮影データD2及びぶれデータB2の受信)が終了したか否か(ステップS7)、つまり、テレビ電話が終了したか否かを判定し、終了していない場合は(ステップS7:NO)、ステップS2の処理に移行して撮影データD2の次のフレームに対してぶれ補正処理を行う一方、終了した場合は(ステップS7:YES)、処理を終了する。
以上の構成により、テレビ電話の間は、上記ステップS2〜S6の処理が順次循環的に繰り返され、通信先の送信側装置2Aから送られてきた撮影データD2のフレーム毎に、送信側装置2Aと受信側装置2Bとの相対ぶれ量をなくすぶれ補正処理が実行され、この補正後の撮影データD2の画像が、表示パネル54に表示される。これにより、送信側装置2Aにだけぶれが生じている場合には、送信側装置2Aのぶれを補正した画像が表示され、また、受信側装置2Bだけにぶれが生じている場合には、受信側装置2Bがぶれている状態でも殆どぶれない画像が表示され、送信側装置2A及び受信側装置2Bのいずれにもぶれが生じている場合にも、受信側装置2Bがぶれている状態でも殆どぶれない画像が表示される。従って、受信側装置2Bのユーザは、送信側装置2A及び受信側装置2Bのいずれがぶれている状況でも、ぶれのない画像を視認することができる。
以上説明したように、本実施形態によれば、通信先の送信側装置2Aから撮影データD2とぶれデータB2とを受信し、このぶれデータB2と当該受信側装置2BのぶれデータB1との差に基づいて撮影データD2にぶれ補正処理を行うので、送信側装置2A及び受信側装置2Bのいずれにぶれが生じている状況でも、受信側装置2Bのユーザ側(鑑賞側)において、ぶれのない画像を表示することができる。これにより、見かけ上の解像度が向上し、撮影画像に小さい文字が含まれている場合でも、その文字をはっきり表示することが可能になる。
しかも、本構成では、ぶれ補正処理を受信側装置2Aだけが行うので、送信側装置2Aの処理負担が少なくて済む。つまり、画像を双方向で送受信して表示するテレビ電話の場合、送信対象の撮影データをぶれ補正する処理が不要で、送信側の処理負担を軽減することができ、画像表示のリアルタイム性が向上する。
また、本構成では、撮影画像のぶれ補正を画像処理によって行うので、従来のプロジェクタ装置やスクリーン等のぶれ量を検出する機構や、プロジェクタ装置やスクリーン等を物理的に移動する機構が必要な従来の画像ぶれ防止装置に比して、部品点数が少なくて済み、構成の複雑化を回避することができる。
このため、携帯電話機の小型化及び薄型化を容易に図ることができ、また、小型のジャイロセンサ41、42を使用すれば、より一層の小型化及び薄型化が可能となる。
さらに、本構成では、ユーザが設定可能なぶれ補正レベルを設け、このぶれ補正レベルが下がるほど、処理負担が少ないぶれ補正処理を行うようにしたので、送信側装置2A及び受信側装置2Bの双方に殆どぶれがない場合に、ぶれ補正処理を行って無駄な処理負担をかけてしまう場合を回避することができる。
また、ぶれ補正に要する処理負担が大きいと、補正後の撮影画像のフレームレートが下がってしまい、いわゆるコマ落ちが生じてしまうおそれがあるが、本構成では、ユーザがぶれ補正レベルを低く設定することにより、ぶれ補正の処理負担を下げ、コマ落ちのない動画、或いは、コマ落ちを低減した動画を表示することが可能になる。
なお、このぶれ補正レベルは、ユーザが設定した過去の履歴、若しくは、送信側装置2A及び受信側装置2Bの相対ぶれ量(差分データBD)等に基づいて自動的に設定するようにしてもよい。この場合、例えば、送信側装置2Aから送信された基礎データを参照し、送信側装置2Aの撮影カメラ52が広角で被写体までの距離が遠い場合には、相対ぶれ量が比較的大きい場合でも撮影画像中のぶれが殆ど判らないため、ぶれ補正レベルを「低」に設定してぶれ補正をしないようにしてもよい。
(応用例)
上述の実施の形態では、受信側装置2Bが、自装置2Bのぶれ量を検出し、送信側装置2Aのぶれ量と自装置2Bのぶれ量との差に基づいて通信先からの撮影画像にぶれ補正を行う場合について説明したが、これに限らず、受信側装置2B側のぶれ量の検出処理を省略し、受信側装置2Bが、送信側装置2Aのぶれ量だけに基づいて通信先からの撮影画像にぶれ補正を行うようにしてもよい。この場合、受信側の処理負担を軽減することが可能になる。
また、上述の実施形態において、送信側装置2Aが、自装置2Aで検出したぶれ量に基づいて自装置2Aの撮影画像をぶれ補正した後、ぶれ補正後の撮影画像を受信側装置2Bに送信するようにしてもよい。この場合、受信側装置2Aは、受信した撮影画像に自装置2Aのぶれ量を補正するぶれ補正処理を実行してもよいし、ぶれ補正処理を行わずに、受信した撮影画像をそのまま表示してもよい。これによって、受信側装置2Aの処理負担を軽減しつつ送信側装置2Aのぶれを補正した画像を表示することができる。
また、上述の各実施形態では、受信側装置2B又は送信側装置2Aがぶれ補正処理を行う場合について説明したが、図5に示すように、移動通信ネットワークNWに接続されるサーバ90を設け、このサーバ90が、送信側装置2Aから送信された撮影画像とぶれ量とを受信し、受信した撮影画像にそのぶれ量を補正するぶれ補正処理を実行した後、補正後の撮影画像を受信側装置2Bに送信するようにしてもよい。この場合、受信側装置2Aは、受信した撮影画像に自装置2Aのぶれ量を補正するぶれ補正処理を実行してもよいし、ぶれ補正処理を行わずに、受信した撮影画像をそのまま表示してもよい。
これによって、サーバ90がぶれ補正処理を行う分だけ、携帯電話機2側の処理負担を軽減することができ、また、サーバ90の高い処理能力でぶれ補正処理を行うので、コマ落ちのないぶれ補正画像を得ることが可能になる。
また、上述の実施形態では、上下方向(X軸)及び左右方向(Y軸)のぶれをジャイロセンサで検出する場合を説明したが、これに限らず、さらに、奥行き方向(Z軸)のぶれを検出してもよいし、また、上記いずれか1つの方向の手ぶれを検出してもよい。また、ジャイロセンサに限らず、加速度センサ等の他のぶれ量検出手段を適用してもよい。
また、上述の各実施形態では、1対1でテレビ電話を行う携帯電話機に本発明を適用する場合について述べたが、同時に複数の携帯電話機とテレビ電話を行うことができる携帯電話機に適用することも可能である。この場合、複数の通信相手からの撮影画像毎に上記ぶれ補正処理を各々実行し、補正後の各撮影画像を、表示パネル24の表示画面を通信相手の数だけ画面分割し、各分割画面に各々表示すればよい。さらに、この場合に、複数の通信相手毎にぶれ補正レベルを設定可能に構成すれば、ユーザが適宜ぶれ補正レベルを低く設定することにより、処理負担を軽減することができる。
また、上述の各実施形態では、テレビ電話機能を有する携帯型電話装置に本発明を適用する場合を説明したが、これに限らず、双方向で撮影画像を受信して表示する機能を具備するPDAやノート型パソコン等の携帯型電子機器、或いは、一方向で撮影画像を受信して表示する撮影画像表示システムに適用することができる。例えば、撮影画像表示システムには、撮影画像を送信する撮影装置と、この撮影装置から送信された撮影画像を表示する画像受信装置とからなるシステムに広く適用でき、撮影画像をメールで添付してメール受信側で再生するメールシステム等のリアルタイム性を必要としない撮影画像表示システムにも適用が可能である。
本発明の撮影画像表示システムの構成を示す図である。 フレームとぶれの軸との関係を説明するための図である。 カメラコントロール回路のブロック図である。 受信側装置の動作を示すフローチャートである。 変形例に係る撮影画像表示システムの構成を示す図である。
符号の説明
1…撮影画像表示システム、2…携帯電話機、2A…送信側装置(撮影装置)、2B…受信側装置(画像受信装置)、10…操作部、20…通話部(通話手段)、30…通信部(送信手段、受信手段)、40…角速度検出部(ぶれ量検出手段)、41、42…ジャイロセンサ、50…撮影部(撮影手段)、54…表示パネル(表示手段)、60…制御部、100…制御プログラム、110…記録媒体、D1、D2…撮影データ、B1、B2…ぶれデータ、NW…移動通信ネットワーク(通信ネットワーク)。

Claims (5)

  1. 撮影画像と撮影時のぶれ量とを送信する撮影装置と、
    前記撮影装置から送信された撮影画像とぶれ量とを受信する画像受信装置とを備え、
    前記画像受信装置は、
    当該装置のぶれ量を検出するぶれ量検出手段と、
    受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、
    前記ぶれ補正手段が補正した撮影画像を表示する表示手段と
    を備えることを特徴とする撮影画像表示システム。
  2. 通信相手から撮影画像と撮影時のぶれ量とを受信する受信手段と、
    当該装置のぶれ量を検出するぶれ量検出手段と、
    受信したぶれ量と、前記ぶれ量検出手段により検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行うぶれ補正手段と、
    前記ぶれ補正手段が補正した撮影画像を表示する表示手段と
    を備えることを特徴とする画像受信装置。
  3. 前記ぶれ量検出手段は、ジャイロセンサ又は加速度センサであることを特徴とする請求項2に記載の画像受信装置。
  4. 前記画像受信装置は、撮影する撮影手段と、撮影画像を前記通信相手に送信する送信手段と、前記通信相手との間で音声通話を行うための通話手段とを備える携帯型テレビ電話装置として構成されていることを特徴とする請求項2又は3に記載の画像受信装置。
  5. 通信相手から撮影画像と撮影時のぶれ量とを受信して表示する画像受信装置の制御方法において、
    当該装置のぶれ量を検出し、受信したぶれ量と前記検出したぶれ量との差を求め、この差に基づいて受信した撮影画像にぶれ補正処理を行い、補正後の撮影画像を表示することを特徴とする画像受信装置の制御方法。
JP2006068557A 2006-03-14 2006-03-14 撮影画像表示システム、画像受信装置及びその制御方法 Expired - Fee Related JP4479679B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006068557A JP4479679B2 (ja) 2006-03-14 2006-03-14 撮影画像表示システム、画像受信装置及びその制御方法
US11/685,253 US7801428B2 (en) 2006-03-14 2007-03-13 Shot image display system, image receiving device, control method for image receiving device, and server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006068557A JP4479679B2 (ja) 2006-03-14 2006-03-14 撮影画像表示システム、画像受信装置及びその制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009245469A Division JP2010022061A (ja) 2009-10-26 2009-10-26 撮影画像表示システム、画像受信装置、その制御方法及びサーバ

Publications (2)

Publication Number Publication Date
JP2007251299A JP2007251299A (ja) 2007-09-27
JP4479679B2 true JP4479679B2 (ja) 2010-06-09

Family

ID=38517944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006068557A Expired - Fee Related JP4479679B2 (ja) 2006-03-14 2006-03-14 撮影画像表示システム、画像受信装置及びその制御方法

Country Status (2)

Country Link
US (1) US7801428B2 (ja)
JP (1) JP4479679B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245849B2 (en) 2017-05-18 2022-02-08 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019883A1 (en) * 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
JP4816569B2 (ja) * 2006-07-06 2011-11-16 セイコーエプソン株式会社 画像表示システム
JP5005389B2 (ja) * 2007-03-02 2012-08-22 三菱電機株式会社 リモート撮像システム
US8310556B2 (en) * 2008-04-22 2012-11-13 Sony Corporation Offloading processing of images from a portable digital camera
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
JP5507865B2 (ja) * 2009-03-12 2014-05-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5868618B2 (ja) * 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
US9547160B2 (en) 2013-01-05 2017-01-17 Light Labs Inc. Methods and apparatus for capturing and/or processing images
US9423588B2 (en) 2013-10-18 2016-08-23 The Lightco Inc. Methods and apparatus for supporting zoom operations
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9686471B2 (en) 2013-11-01 2017-06-20 Light Labs Inc. Methods and apparatus relating to image stabilization
US9554031B2 (en) 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US10931866B2 (en) 2014-01-05 2021-02-23 Light Labs Inc. Methods and apparatus for receiving and storing in a camera a user controllable setting that is used to control composite image generation performed after image capture
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
WO2016004422A1 (en) 2014-07-04 2016-01-07 The Lightco Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US9912865B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for supporting burst modes of camera operation
EP3235243A4 (en) 2014-12-17 2018-06-20 Light Labs Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
US9930233B2 (en) 2015-04-22 2018-03-27 Light Labs Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
US10051182B2 (en) 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
US9749549B2 (en) * 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
JP6758093B2 (ja) * 2016-05-26 2020-09-23 日本電産サンキョー株式会社 振れ補正機能付き撮像システム
KR101973095B1 (ko) 2017-05-31 2019-04-26 주식회사 동운아나텍 카메라 모듈에서의 데이터 전송방법
JP7500236B2 (ja) * 2020-03-19 2024-06-17 キヤノン株式会社 撮像装置、撮像装置の制御方法、撮像システム、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736423A (ja) 1993-07-23 1995-02-07 Olympus Optical Co Ltd 画像ブレ防止装置
JPH11196397A (ja) 1997-12-26 1999-07-21 Canon Inc 表示装置及び通信システム
JP2000156849A (ja) 1998-06-29 2000-06-06 Toshiba Corp 携帯情報端末装置
JP2002027050A (ja) 2000-07-11 2002-01-25 Seiko Epson Corp 携帯テレビ電話装置
JP4389371B2 (ja) 2000-09-28 2009-12-24 株式会社ニコン 画像修復装置および画像修復方法
JP2002112100A (ja) * 2000-09-28 2002-04-12 Nikon Corp 撮像装置
JP4346859B2 (ja) * 2002-03-27 2009-10-21 富士フイルム株式会社 画像撮像装置、画像撮像装置における画像表示方法およびプログラム
JP2004248171A (ja) 2003-02-17 2004-09-02 Fuji Photo Film Co Ltd 動画記録装置、動画再生装置、及び動画記録再生装置
JP2005309560A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
JP2005309559A (ja) * 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11245849B2 (en) 2017-05-18 2022-02-08 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
JP2007251299A (ja) 2007-09-27
US7801428B2 (en) 2010-09-21
US20070217774A1 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
JP4479679B2 (ja) 撮影画像表示システム、画像受信装置及びその制御方法
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
CN108353131B (zh) 获取图像的方法和终端设备
US20160119560A1 (en) Imaging device, imaging method, and image processing device
CN107040723B (zh) 一种基于双摄像头的成像方法、移动终端及存储介质
JPWO2013190946A1 (ja) 撮像装置およびその動作制御方法
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
CN110620871B (zh) 视频拍摄方法及电子设备
CN115134505B (zh) 预览画面生成方法及装置、电子设备、存储介质
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP7131541B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2010022061A (ja) 撮影画像表示システム、画像受信装置、その制御方法及びサーバ
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP4443990B2 (ja) 電子機器
JP2007233135A (ja) 撮影装置及びその操作子設定方法
JP6237201B2 (ja) 撮像装置、撮像システム、撮像方法及びプログラム
JP3845407B2 (ja) 携帯端末および撮像記録方法
US20230328375A1 (en) Imaging apparatus, focus control method, and focus control program
CN114827447B (zh) 图像抖动校正方法和装置
JP5928228B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP2010272995A (ja) 携帯端末および携帯端末の動作方法
CN118283411A (zh) 一种图像采集方法、装置及存储介质
JP2003283819A (ja) 画像補正方法および装置並びにプログラム
JP2007158892A (ja) 画像送受信システム、携帯型画像受信装置、画像送信装置及びプログラム
JP2006238033A (ja) 電子機器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees