JP4367747B2

JP4367747B2 - Mobile terminal device

Info

Publication number: JP4367747B2
Application number: JP2003088031A
Authority: JP
Inventors: 元宣佐野
Original assignee: Sony Ericsson Mobile Communications Japan Inc
Current assignee: Sony Corp
Priority date: 2003-03-27
Filing date: 2003-03-27
Publication date: 2009-11-18
Anticipated expiration: 2023-03-27
Also published as: JP2004297516A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のカメラを有する携帯端末装置に関する。
【０００２】
【従来の技術】
近年、自分の顔を撮影するための正面カメラと自分の目の前の風景や人物等を撮影するための背面カメラ等のように、複数のカメラを備えたテレビ電話端末が提供されるようになり、このようなテレビ電話端末は、通常、複数のカメラによって撮影された画像データを合成して通話相手のテレビ電話端末に送信する（例えば、特許文献１を参照）。
【０００３】
【特許文献１】
特開平６−６２４３６号公報
【０００４】
【発明が解決しようとする課題】
ところで、複数のカメラを利用して撮影を行っている際、あるカメラが撮影している対象に何らかの大きな変化が起きることがある。しかしながら、従来までのテレビ電話端末によれば、変化が起きた際、その変化を撮影したカメラの画像データが必ずしも通話相手のテレビ電話端末に送信されているとは限らない。従って、従来までのテレビ電話端末によれば、決定的な瞬間の画像が通話相手に送信されていないことがある。
【０００５】
また、仮に変化を撮影したカメラの画像画が送信されていたとしても、他のカメラの画像データと合成された結果、変化を撮影したカメラの画像がサブ画面のデータとして送信され、通話相手がその変化をはっきりと確認することができない場合がある。なお、この場合、大きな変化を撮影したカメラの画像データが通話相手のテレビ電話端末上で大きく表示されるように、送信者が画像データの合成処理の設定を変更する方法が考えられるが、この方法によれば、設定を変更している間に発生した変化が終わり、決定的な瞬間を逃してしまうことが十分に予想される。
【０００６】
さらに、テレビ電話端末を急激に大きく動かした場合には、通常、画像がぶれてしまうために、画像データを通話相手に送信しても無意味なものとなるが、従来までのテレビ電話端末によれば、ぶれた画像であってもそのまま通話相手のテレビ電話端末に送信してしまう。
【０００７】
本発明は、上記課題を解決するためになされたものであり、その目的は、大きな変化を撮影したカメラの画像データを大きな画面の画像データとして通話相手に確実に送信すると共に、ぶれた画像を通話相手に送信することを防止することが可能な、携帯端末装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明に係る携帯端末装置の特徴は、複数のカメラを備える携帯端末であって、各カメラが撮影した画像データと前の画像データとの間の画像の変化量を画像を複数に分割した各分割領域毎に検出する検出部と、複数のカメラが撮影した画像データを、表示面積を基準とするメイン・サブ関係を有する一つの画像データに合成し、複数のカメラが撮影した各画像のうち、検出された変化量が特定の分割領域に多く発生している画像をメイン画像に切り替える合成部とを備えることにある。
【０００９】
すなわち、本発明に係る携帯端末装置は、合成部が、複数のカメラが撮影した各画像のうち、検出部にて検出された変化量が特定の分割領域に多く発生している画像をメイン画像に切り替える。これにより、決定的瞬間を撮影したカメラの画像データを大きな画面のメイン画像のデータとして通話相手のテレビ電話端末に確実に送信することができると共に、ぶれた画像の画像データが通話相手のテレビ電話端末に送信されることを防止できる。
【００１０】
【発明の実施の形態】
本発明は、図１に示すような折り畳み式の携帯電話機に適用することができる。以下、図面を参照して、本発明の一実施形態となる携帯電話機の構成及び動作について詳しく説明する。
【００１１】
［携帯電話機の概観］
始めに、図１を参照して、本発明の一実施形態となる携帯電話機の概観の構成について説明する。
【００１２】
本発明の一実施形態となる携帯電話機１は、図１に示すように、下部筐体部材３と上部筐体部材４とがヒンジ部２を介して回動自在に連結された構成となっている。
【００１３】
折り畳んだ際に内側となる下部筐体部材３の表面には、例えば「０」から「９」までの数字の入力、文字の入力、記号の入力、発信や受信の指示入力、電源のオン／オフの指示入力等の入力操作時に使用される複数のキーボタン５と、カメラを利用した撮影を指示するための撮影指示キー７が設けられている。
【００１４】
また、下部筐体部材３の下端（ヒンジ部２側の端部の反対側の端部）には、マイクロフォン８が設けられ、マイクロフォン８は入力された音声を電気信号に変換して通信部２１（図２を参照）に出力する。また、下部筐体部材３の側面にはジョグダイアル９が設けられ、ユーザはジョグダイアル９を操作することにより各種入力操作を行うことができる。
【００１５】
折り畳んだ際に内側となる上部筐体部材４の表面には、主に携帯電話機１のユーザの画像を撮影するための正面カメラ６ａと、電話番号データや文字データ等の入力データを削除する際に操作されるクリアキー１０と、数字、英文字、仮名文字等、文字入力作業の際の文字種を変更するための文字種変換キー１１と、各種情報を可視表示する表示部１２とが設けられている。
【００１６】
また、上部筐体部材４の上端（ヒンジ部２側の端部の反対側の端部）には、スピーカ１３とホイップアンテナ１４が設けられ、マイクロフォン８は電気信号を可聴可能な音声に変換して出力する。また、ホイップアンテナ１４は高周波信号を送受信する。また、折り畳んだ際に外側となる上部筐体部材４の背面には、携帯電話機１のユーザが回りの風景や人物を撮影するための背面カメラ６ｂと、各種情報を可視表示するサブ表示部１５が設けられている。
【００１７】
［携帯電話機の内部構成］
次に、図２を参照して、上記携帯電話機１の内部構成について説明する。なお、図２中、正面カメラ６ａ、背面カメラ６ｂ、マイクロフォン８、スピーカ１３、及びホイップアンテナ１４は、図１に示すそれと同じであるので、以下ではその説明を省略する。また、表示部２９は図１に示す表示部１２及びサブ表示部１５、操作部３０は、図１に示す、キーボタン５、撮影指示キー７、ジョグダイアル９、クリアキー１０、及び文字種変換キー１１に対応するので、以下ではその説明を省略する。
【００１８】
上記携帯電話機１は、図２に示すように、主な内部構成要素として、通信部２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、制御部２４、撮影制御部２５、及び画像処理部２６を備え、これらの内部構成要素は、データライン２７若しくは制御ライン２８を介して互いに電気的に接続されている。
【００１９】
上記通信部２１は、画像データ、音声データ、メールデータ等の各種データを高周波データに変換し、ホイップアンテナ１４を介して高周波データを送信先に送信する。また、通信部２１は、ホイップアンテナ１４が受信した高周波データを取り込み、取り込んだ高周波データに対し復調処理及び復号処理を施す。
【００２０】
上記ＲＯＭ２２は、制御部２４が各部を制御するための制御プログラム（図示せず）等の各種コンピュータプログラムと、各種の初期設定値、各種データを記憶する。なお、このＲＯＭ２２は、ＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Only Memory)のような書き換え可能なＲＯＭであってもよい。
【００２１】
上記ＲＡＭ２３は、制御部２４が各種処理を行う際のワーキングエリアとして機能し、制御部２４が実行する処理と関係するデータを随時格納する。上記制御部２４は、ＲＯＭ２２内に格納されているコンピュータプログラムを実行することにより、コンピュータプログラム内のコードに従って携帯電話機１内の各部の動作を制御すると共に、各種の演算処理を行う。
【００２２】
上記撮影制御部２５は、制御部２４からの撮影指示に応じて正面カメラ６ａと背面カメラ６ｂを用いて撮影処理を実行し、撮影処理により得られた画像データを画像処理部２６に出力する。
【００２３】
上記画像処理部２６は、後述する合成処理を実行することにより、正面カメラ６ａが撮影した画像データと背面カメラ６ｂが撮影した画像データとを通話相手のテレビ電話端末が受信可能な形態になるように合成する。ここで、この実施形態では、画像処理部２６は、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像が図３に示すメイン画面３１とサブ画面３２に表示されるように画像データを合成する。そして、画像処理部２６は、後述するように、メイン画面３１及びサブ画面３２に表示する画像を画像の変化量に応じて切り換える。なお、図３から明らかなように、メイン画面３１の表示面積はサブ画面３２の表示面積よりも大きくなるように構成されている。
【００２４】
上記データライン２７は、テキストデータ、画像データ、音声データ等の種々の形態のデータを伝送する信号線である。上記制御ライン２８は、操作部３０、通信部２１、制御部２４等から出力される制御信号を伝送する信号線である。
【００２５】
［画像合成処理］
次に、通話相手のテレビ電話端末との間でテレビ電話通話を行い、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像データを合成して通話相手のテレビ電話端末に送信する際の携帯電話機１内部の動作（画像合成処理）について説明する。
【００２６】
〔第１の実施形態〕
始めに、図４に示すフローチャートを参照して、第１の実施形態となる画像合成処理の流れについて詳しく説明する。
【００２７】
図４に示すフローチャートは、通話相手のテレビ電話端末との間で通信回線が確立されることで開始となり、この画像合成処理はステップＳ１の処理に進む。
【００２８】
ステップＳ１の処理では、画像処理部２６が、正面カメラ６ａと背面カメラ６ｂが撮影した画像をそれぞれの直前の画像（数フレーム前の画像）と比較し、撮影した画像に一定値ａ以上の差異が検出されたか否かを判別する。そして、一定値ａ以上の差異が検出されるのに応じて、画像処理部２６は、画像合成処理をステップＳ２の処理に進める。なお、画像間の差異は、ＲＧＢフォーマット、ＹＵＶフォーマット、ＭＰＥＧ４フォーマット等のフォーマットのデジタル形態の画像データの差分を算出することにより検出することができる。
【００２９】
ステップＳ２の処理では、画像処理部２６が、正面カメラ６ａと背面カメラ６ｂが撮影したそれぞれの画像を直前の画像と比較して、撮影した画像に一定値ｂ（＞ａ）以上の差異が検出されたか否かを判別する。そして、判別の結果、一定値ｂ以上の差異が検出されない場合、画像処理部２６は、画像合成処理をステップＳ４の処理に進める。一方、一定値ｂ以上の差異が検出された場合には、画像処理部２６は画像合成処理をステップＳ３の処理に進める。なお、正面カメラ６ａ及び背面カメラ６ｂが撮影した画像の両方に差異が検出された場合には、画像処理部２６は、差異が大きい方の画像に対して後述する処理を実行する。
【００３０】
ステップＳ３の処理では、画像処理部２６が、一定値ｂ以上の差異が検出された画像を、携帯電話機１を動かすことにより大きくぶれた画像であると判断し、一定値ｂ以上の差異が検出された画像を撮影したカメラの画像データを合成処理に用いず、他のカメラの画像データのみを合成して通信部２１に入力する。これにより、このステップＳ３の処理は完了し、この画像合成処理はステップＳ３の処理からステップＳ７の処理に進む。
【００３１】
ステップＳ４の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像を、何か決定的なことが撮影された画像、若しくは、携帯電話機１を動かすことにより小さくぶれた画像のいずれかであると判断し、検出された差異が画像の特定領域のみで発生しているか否かを判別する。そして、判別の結果、検出された差異が特定領域のみで発生していない場合、画像処理部２６は、一定値ｂ以下の差異が検出された画像を、携帯電話機１を動かすことにより小さくぶれた画像であると判断し、画像合成処理をステップＳ１の処理に戻す。一方、検出された差異が特定領域のみで発生している場合には、画像処理部２６は、一定値ｂ以下の差異が検出された画像を、何か決定的なことが撮影された画像であると判断し、この画像合成処理をステップＳ５の処理に進める。なお、このステップＳ４の処理（領域判別処理）の詳細については後述する。
【００３２】
ステップＳ５の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像がメイン画面３１の画像として合成されているか否かを判別する。そして、判別の結果、メイン画面３１の画像として合成されている場合、画像処理部２６はこの画像合成処理をステップＳ１の処理に戻す。一方、メイン画面３１の画像として合成されていない場合には、画像処理部２６はこの画像合成処理をステップＳ６の処理に進める。
【００３３】
ステップＳ６の処理では、画像処理部２６が、一定値ｂ以下の差異が検出された画像がメイン画面３１の画像となるように、正面カメラ６ａと背面カメラ６ｂが撮影した画像データを合成し、合成された画像データを通信部に入力する。これにより、このステップＳ６の処理は完了し、この画像合成処理はステップＳ６の処理からステップＳ７の処理に進む。
【００３４】
ステップＳ７の処理では、通信部２１が、画像処理部２６が合成した画像データを通話相手のテレビ電話端末に送信する。これにより、このステップＳ７の処理は完了し、この画像合成処理は再びステップＳ１の処理に戻る。
【００３５】
〔第２の実施形態〕
次に、図５に示すフローチャートを参照して、第２の実施形態となる画像合成処理の流れについて詳しく説明する。なお、第２の実施形態となる画像合成処理は、第１の実施形態のステップＳ３の処理がステップＳ１１及びステップＳ１２の処理に置き換わったものであるので、以下では、ステップＳ１１及びステップＳ１２の処理についてのみ詳しく説明する。
【００３６】
ステップＳ１１の処理は、ステップＳ２の処理において撮影した画像に一定値ｂ以上の差異が検出されたと判別されるの応じて開始となり、画像処理部２６は、ステップＳ１１の処理として、一定値ｂ以上の差異が検出された画像がメイン画面３１の画像として合成されているか否かを判別する。そして、判別の結果、メイン画面３１の画像として合成されていない場合、画像処理部２６はこの画像合成処理をステップＳ１の処理に戻す。一方、メイン画面３１の画像として合成されている場合には、画像処理部２６は画像合成処理をステップＳ１２の処理に進める。
【００３７】
ステップＳ１２の処理では、画像処理部２６が、一定値ｂ以上の差異が検出された画像がサブ画面３２の画像となるように、正面カメラ６ａと背面カメラ６ｂが撮影した画像データを合成し、合成された画像データを通信部２１に入力する。これにより、このステップＳ１２の処理は完了し、この画像合成処理はステップＳ１２の処理からステップＳ７の処理に進む。
【００３８】
なお、上記第１及び第２の実施形態となる画像合成処理において、一定値ｂ以上の差異が検出された画像を合成しない処理（ステップＳ３の処理）、又は、一定値ｂ以上の差異が検出された画像をサブ画面３２の画像として合成する処理（ステップＳ１２の処理）を実行した場合、画像処理部２６は、検出された差異の変化に応じて合成処理の内容を元の状態に戻してもよい。以下、図６に示すフローチャートを参照して、この処理を実行する場合の画像合成処理について説明する。
【００３９】
図６に示すフローチャートは、ステップＳ３の処理又はステップＳ１２の処理が完了するのに応じて開始となり、画像合成処理はステップＳ２１の処理に進む。
【００４０】
ステップＳ２１の処理では、画像処理部２６が、合成しなかった又はサブ画面３２の画像として合成した画像に一定値ｂ以上の差異が検出されたか否かを判別する。そして、一定値ｂ以上の差異が検出されなくなるのに応じて、画像処理部２６は画像合成処理をステップＳ２２の処理に進める。
【００４１】
ステップＳ２２の処理では、画像処理部２６が、画像のぶれがおさまったと判断し、一定値ｂ以上の差異が検出される前と同じ合成方法で、一定値ｂ以上の差異が検出されなくなった画像をメイン画面３１の画像として画像データを合成する。これにより、このステップＳ２２の処理は完了し、この画像合成処理はステップＳ２２の処理からステップＳ７の処理に進む。
【００４２】
〔領域判別処理〕
次に、図７を参照して、上記ステップＳ４の領域判別処理について詳しく説明する。
【００４３】
図７（ａ），（ｂ）はそれぞれ、互いに異なる画像を９つの領域に分割した様子を示し、破線が記載された領域は一定値ｃ以上の差異が検出された領域を表す。
【００４４】
いま、図７（ａ）が画像では、領域５，６において一定値ｃ（ａ＜ｃ＜ｂ）以上の差異が検出され、その他の領域では差異が検出されていない。これにより、差異が検出された場合が領域５，６に集中していることから、領域５，６において何らかの決定的なことが起こったと判断することができる。一方、図７（ｂ）が示す画像では、差異が特定の領域に集中しないので、カメラが動くことにより画像がぶれたと判断することができる。しかしながら、差異が一定値ｂ未満であるために、画像処理部２６は、発生したぶれは通話相手が見ることが可能な小さなものであると判断し、画像合成方法は変更しない。
【００４５】
［実施形態の効果］
以上の説明から明らかなように、本発明の一実施形態となる携帯電話機１によれば、画像処理部２６が、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像に生じた差異を検出し、検出結果に基づいてメイン画面３１及びサブ画面３２の画像として合成する画像を切り換える。これにより、決定的瞬間を撮影したカメラの画像データを大きな画面の画像データとして通話相手のテレビ電話端末に確実に送信することができると共に、ぶれた画像の画像データが通話相手のテレビ電話端末に送信されることを防止できる。
【００４６】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ａ以上の差異が検出された場合、画像処理部２６は、その画像を決定的瞬間を撮影した画像であると判断し、一定値ａ以上の差異が検出された画像がメイン画面３１の画像となるように、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像を合成する。これにより、決定的瞬間を撮影した画像をメイン画面３１の画像として確実に通話相手のテレビ電話端末に送信することができる。
【００４７】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ｂ（＞ａ）以上の差異が検出された場合、画像処理部２６は、その画像をぶれた画像であると判断し、一定値ｂ以上の差異が検出された画像がサブ画面３２の画像となるように、正面カメラ６ａ及び背面カメラ６ｂにより撮影した画像を合成する。これにより、ぶれた画像がメイン画面３１の画像として通話相手のテレビ電話端末に送信されることを防止すできる。
【００４８】
また、本発明の一実施形態となる携帯電話機１によれば、正面カメラ６ａ又は背面カメラ６ｂにより撮影した画像に一定値ｂ（＞ａ）以上の差異が検出された場合、画像処理部２６は、その画像をぶれた画像であると判断し、その画像の画像データを用いないで画像合成処理を行う。これにより、ぶれた画像が通話相手のテレビ電話端末に送信されることを防止できる。
【００４９】
［その他の実施形態］
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、上記実施形態では、カメラは正面カメラ６ａと背面カメラ６ｂの２台であったが、本発明は３台以上のカメラについても適用することができる。このように、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【００５０】
【発明の効果】
本発明によれば、決定的瞬間が撮影された画像データを確実に送信することができると共に、ぶれた画像の画像データが送信されることを防止できる。
【図面の簡単な説明】
【図１】本発明の一実施形態となる携帯電話機の構成を示す模式図である。
【図２】図１に示す携帯電話機の内部構成を示す模式図である。
【図３】カメラで撮影した画像データの合成例を示す図である。
【図４】本発明の第１の実施形態となる画像合成処理の流れを示すフローチャート図である。
【図５】本発明の第２の実施形態となる画像合成処理の流れを示すフローチャート図である。
【図６】本発明の第１及び第２の実施形態となる画像合成処理の応用例を示すフローチャート図である。
【図７】領域判別処理を説明するための図である。
【符号の説明】
１…携帯電話機、２…ヒンジ部、３…下部筐体部材、４…上部筐体部材、５…キーボタン、６ａ…正面カメラ、６ｂ…背面カメラ、７…撮影指示キー、８…マイクロフォン、９…ジョグダイアル、１０…クリアキー、１１…文字種変換キー、１２，２９…表示部、１３…スピーカ、１４…ホイップアンテナ、１５…サブ表示部、２１…通信部、２２…ＲＯＭ、２３…ＲＡＭ、２４…制御部、２５…撮像制御部、２６…画像処理部、２７…データライン、２８…制御ライン、３０…操作部、３１…メイン画面、３２…サブ画面[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mobile terminal device having a plurality of cameras.
[0002]
[Prior art]
In recent years, videophone terminals having a plurality of cameras have been provided, such as a front camera for photographing one's face and a rear camera for photographing a landscape or a person in front of one's eyes. Thus, such a videophone terminal normally combines image data photographed by a plurality of cameras and transmits it to the videophone terminal of the other party (for example, see Patent Document 1).
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 6-62436
[Problems to be solved by the invention]
By the way, when taking a picture using a plurality of cameras, some big change may occur in an object taken by a certain camera. However, according to the conventional videophone terminal, when a change occurs, the image data of the camera that captured the change is not necessarily transmitted to the videophone terminal of the other party. Therefore, according to the conventional videophone terminal, the image of the decisive moment may not be transmitted to the other party.
[0005]
Also, even if an image of the camera that captured the change was transmitted, as a result of combining with the image data of the other camera, the image of the camera that captured the change is transmitted as sub-screen data, The change may not be clearly identified. In this case, the sender can change the setting of the image data composition processing so that the image data of the camera that captured the large change is displayed on the videophone terminal of the other party. According to the method, it is fully expected that the changes that occur while changing the settings will end and miss a decisive moment.
[0006]
In addition, if the videophone terminal is moved abruptly, the image will usually be blurred, so it would be meaningless to send the image data to the other party. According to this, even a blurred image is transmitted as it is to the other party's videophone terminal.
[0007]
The present invention has been made in order to solve the above-mentioned problems, and the object of the present invention is to reliably transmit image data of a camera that has captured a large change as image data of a large screen to a call partner and to display a blurred image. An object of the present invention is to provide a portable terminal device capable of preventing transmission to a call partner.
[0008]
[Means for Solving the Problems]
A feature of the mobile terminal device according to the present invention is a mobile terminal including a plurality of cameras, each of which is obtained by dividing an image into a plurality of image change amounts between image data captured by each camera and previous image data. The detection unit for each divided region and the image data captured by a plurality of cameras are combined into one image data having a main / sub relationship based on the display area, and each of the images captured by the plurality of cameras And a synthesizing unit that switches an image in which a large amount of detected change is generated in a specific divided region to a main image .
[0009]
That is, in the mobile terminal device according to the present invention, the main image is an image in which the amount of change detected by the detection unit is generated in a specific divided region among the images captured by the plurality of cameras. Switch to . As a result, the image data of the camera that captured the decisive moment can be reliably transmitted to the videophone terminal of the other party as the main image data of a large screen, and the image data of the blurred image is transmitted to the videophone of the other party. It can be prevented from being sent to the terminal.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The present invention can be applied to a foldable mobile phone as shown in FIG. Hereinafter, a configuration and operation of a mobile phone according to an embodiment of the present invention will be described in detail with reference to the drawings.
[0011]
[Overview of mobile phone]
First, with reference to FIG. 1, an overview configuration of a mobile phone according to an embodiment of the present invention will be described.
[0012]
As shown in FIG. 1, a mobile phone 1 according to an embodiment of the present invention has a configuration in which a lower housing member 3 and an upper housing member 4 are rotatably connected via a hinge portion 2. Yes.
[0013]
On the surface of the lower casing member 3 which is the inner side when folded, for example, input of numbers from “0” to “9”, input of characters, input of symbols, input of instructions for transmission and reception, power on / off A plurality of key buttons 5 used at the time of an input operation such as an off instruction input, and a photographing instruction key 7 for instructing photographing using the camera are provided.
[0014]
A microphone 8 is provided at the lower end of the lower casing member 3 (the end opposite to the end on the hinge 2 side), and the microphone 8 converts the input sound into an electrical signal to convert the communication unit 21. (See FIG. 2). Further, a jog dial 9 is provided on the side surface of the lower housing member 3, and the user can perform various input operations by operating the jog dial 9.
[0015]
On the surface of the upper casing member 4 that is inside when folded, a front camera 6a for mainly taking images of the user of the mobile phone 1 and when deleting input data such as telephone number data and character data A clear key 10, which is operated, a character type conversion key 11 for changing the character type in the character input operation, such as numerals, English characters, kana characters, and the like, and a display unit 12 for visually displaying various information. Yes.
[0016]
In addition, a speaker 13 and a whip antenna 14 are provided at the upper end of the upper casing member 4 (the end opposite to the end on the hinge 2 side), and the microphone 8 converts an electric signal into an audible sound. Output. The whip antenna 14 transmits and receives high frequency signals. In addition, on the back surface of the upper casing member 4 that is outside when folded, a rear camera 6b for the user of the mobile phone 1 to photograph a surrounding landscape and a person, and a sub-display unit 15 that visually displays various information. Is provided.
[0017]
[Internal configuration of mobile phone]
Next, the internal configuration of the mobile phone 1 will be described with reference to FIG. In FIG. 2, the front camera 6a, the rear camera 6b, the microphone 8, the speaker 13, and the whip antenna 14 are the same as those shown in FIG. The display unit 29 is the display unit 12 and the sub display unit 15 shown in FIG. 1, and the operation unit 30 is the key button 5, the shooting instruction key 7, the jog dial 9, the clear key 10, and the character type conversion key 11 shown in FIG. The description thereof will be omitted below.
[0018]
As shown in FIG. 2, the mobile phone 1 includes, as main internal components, a communication unit 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, a control unit 24, a photographing control unit 25, and An image processing unit 26 is provided, and these internal components are electrically connected to each other via a data line 27 or a control line 28.
[0019]
The communication unit 21 converts various data such as image data, audio data, and mail data into high-frequency data, and transmits the high-frequency data to the transmission destination via the whip antenna 14. In addition, the communication unit 21 takes in the high frequency data received by the whip antenna 14 and performs demodulation processing and decoding processing on the taken in high frequency data.
[0020]
The ROM 22 stores various computer programs such as a control program (not shown) for the control unit 24 to control each unit, various initial setting values, and various data. The ROM 22 may be a rewritable ROM such as an EEPROM (Electrically Erasable and Programmable Read Only Memory).
[0021]
The RAM 23 functions as a working area when the control unit 24 performs various processes, and stores data related to the processes executed by the control unit 24 as needed. The control unit 24 executes the computer program stored in the ROM 22, thereby controlling the operation of each unit in the mobile phone 1 according to the code in the computer program and performing various arithmetic processes.
[0022]
The shooting control unit 25 executes shooting processing using the front camera 6 a and the rear camera 6 b in response to a shooting instruction from the control unit 24, and outputs image data obtained by the shooting processing to the image processing unit 26.
[0023]
The image processing unit 26 performs composition processing described later so that the videophone terminal of the other party can receive the image data captured by the front camera 6a and the image data captured by the rear camera 6b. To synthesize. Here, in this embodiment, the image processing unit 26 synthesizes the image data so that images taken by the front camera 6a and the rear camera 6b are displayed on the main screen 31 and the sub screen 32 shown in FIG. Then, as will be described later, the image processing unit 26 switches the images to be displayed on the main screen 31 and the sub screen 32 according to the amount of image change. As is clear from FIG. 3, the display area of the main screen 31 is configured to be larger than the display area of the sub-screen 32.
[0024]
The data line 27 is a signal line for transmitting various types of data such as text data, image data, and audio data. The control line 28 is a signal line that transmits a control signal output from the operation unit 30, the communication unit 21, the control unit 24, and the like.
[0025]
[Image composition processing]
Next, inside the mobile phone 1 when a videophone call is made with the videophone terminal of the other party, and the image data taken by the front camera 6a and the rear camera 6b are combined and transmitted to the videophone terminal of the other party Will be described.
[0026]
[First Embodiment]
First, the flow of image composition processing according to the first embodiment will be described in detail with reference to the flowchart shown in FIG.
[0027]
The flowchart shown in FIG. 4 starts when a communication line is established with the videophone terminal of the other party, and the image composition process proceeds to step S1.
[0028]
In the process of step S1, the image processing unit 26 compares the images captured by the front camera 6a and the rear camera 6b with the immediately preceding images (images several frames before), and the difference between the captured images is a certain value a or more. Whether or not is detected is determined. Then, in response to the detection of a difference equal to or greater than the predetermined value a, the image processing unit 26 advances the image composition process to the process of step S2. Note that a difference between images can be detected by calculating a difference between digital image data in a format such as an RGB format, a YUV format, or an MPEG4 format.
[0029]
In step S2, the image processing unit 26 compares the images captured by the front camera 6a and the rear camera 6b with the immediately preceding image, and detects a difference of a certain value b (> a) or more in the captured image. It is determined whether or not it has been done. Then, as a result of the determination, when a difference equal to or greater than the predetermined value b is not detected, the image processing unit 26 advances the image composition process to the process of step S4. On the other hand, when a difference of a certain value b or more is detected, the image processing unit 26 advances the image composition process to the process of step S3. Note that if a difference is detected in both the images taken by the front camera 6a and the rear camera 6b, the image processing unit 26 performs processing to be described later on the image having the larger difference.
[0030]
In the process of step S3, the image processing unit 26 determines that an image in which a difference of a certain value b or more is detected is an image greatly blurred by moving the mobile phone 1, and a difference of a certain value b or more is detected. The image data of the camera that captured the captured image is not used for the synthesis process, but only the image data of the other camera is synthesized and input to the communication unit 21. Thereby, the process of step S3 is completed, and the image composition process proceeds from the process of step S3 to the process of step S7.
[0031]
In the process of step S4, the image processing unit 26 detects an image in which a difference of a certain value b or less is detected, an image in which something decisive is taken, or an image that is slightly blurred by moving the mobile phone 1. It is determined whether or not the detected difference occurs only in a specific area of the image. If the detected difference does not occur only in the specific area as a result of the determination, the image processing unit 26 blurs the image in which the difference equal to or less than the predetermined value b is detected by moving the mobile phone 1. It is determined that the image is an image, and the image composition process is returned to the process of step S1. On the other hand, when the detected difference occurs only in the specific region, the image processing unit 26 is an image in which something definitive is photographed as an image in which the difference equal to or less than the predetermined value b is detected. If it is determined that there is, the image composition process proceeds to step S5. Note that details of the processing in step S4 (region discrimination processing) will be described later.
[0032]
In the process of step S <b> 5, the image processing unit 26 determines whether or not an image in which a difference equal to or less than the predetermined value b is detected is combined as an image on the main screen 31. If the image is synthesized as an image of the main screen 31 as a result of the determination, the image processing unit 26 returns the image synthesis process to the process of step S1. On the other hand, when the image is not synthesized as the image on the main screen 31, the image processing unit 26 advances the image synthesis process to the process of step S6.
[0033]
In the process of step S6, the image processing unit 26 synthesizes the image data captured by the front camera 6a and the rear camera 6b so that an image in which a difference of a certain value b or less is detected becomes the image of the main screen 31. The synthesized image data is input to the communication unit. Thereby, the process of step S6 is completed, and the image composition process proceeds from the process of step S6 to the process of step S7.
[0034]
In step S7, the communication unit 21 transmits the image data synthesized by the image processing unit 26 to the videophone terminal of the other party. Thereby, the process of step S7 is completed, and the image composition process returns to the process of step S1 again.
[0035]
[Second Embodiment]
Next, the flow of image composition processing according to the second embodiment will be described in detail with reference to the flowchart shown in FIG. Note that the image composition processing according to the second embodiment is obtained by replacing the processing of step S3 of the first embodiment with the processing of step S11 and step S12. Therefore, hereinafter, the processing of step S11 and step S12 is performed. Only will be described in detail.
[0036]
The process of step S11 starts when it is determined that a difference of a certain value b or more is detected in the image captured in the process of step S2, and the image processing unit 26 performs the process of step S11 as a certain value b or more. It is determined whether or not the image from which the difference is detected is synthesized as the image of the main screen 31. If the image is not synthesized as an image on the main screen 31 as a result of the discrimination, the image processing unit 26 returns the image synthesis process to the process of step S1. On the other hand, when the image is synthesized as an image of the main screen 31, the image processing unit 26 advances the image synthesis process to the process of step S12.
[0037]
In the process of step S12, the image processing unit 26 synthesizes image data captured by the front camera 6a and the rear camera 6b so that an image in which a difference of a certain value b or more is detected becomes an image of the sub screen 32. The synthesized image data is input to the communication unit 21. Thereby, the process of step S12 is completed, and the image composition process proceeds from the process of step S12 to the process of step S7.
[0038]
In the image compositing process according to the first and second embodiments, a process that does not synthesize an image in which a difference of a certain value b or more is detected (step S3) or a difference of a certain value b or more is detected. When the process of combining the processed image as the image of the sub screen 32 (the process of step S12) is executed, the image processing unit 26 returns the content of the combining process to the original state in accordance with the detected change in difference. Also good. Hereinafter, with reference to the flowchart shown in FIG. 6, an image composition process when this process is executed will be described.
[0039]
The flowchart shown in FIG. 6 starts when the process of step S3 or the process of step S12 is completed, and the image composition process proceeds to the process of step S21.
[0040]
In the process of step S <b> 21, the image processing unit 26 determines whether or not a difference equal to or greater than a predetermined value b is detected in an image that has not been combined or has been combined as an image on the sub screen 32. Then, in response to the fact that a difference greater than or equal to the predetermined value b is no longer detected, the image processing unit 26 advances the image composition process to the process of step S22.
[0041]
In the process of step S22, the image processing unit 26 determines that the blurring of the image has stopped, and an image in which a difference greater than a certain value b is no longer detected by the same synthesis method as before the difference greater than a certain value b is detected. Is combined with the image data of the main screen 31. Thereby, the process of step S22 is completed, and the image composition process proceeds from the process of step S22 to the process of step S7.
[0042]
[Area determination processing]
Next, with reference to FIG. 7, the region determination processing in step S4 will be described in detail.
[0043]
FIGS. 7A and 7B each show a state in which different images are divided into nine regions, and a region with a broken line indicates a region where a difference of a certain value c or more is detected.
[0044]
Now, in the image of FIG. 7A, a difference of a certain value c (a <c <b) or more is detected in the regions 5 and 6, and no difference is detected in the other regions. Thereby, since the case where the difference is detected is concentrated in the areas 5 and 6, it can be determined that some decisive thing has occurred in the areas 5 and 6. On the other hand, in the image shown in FIG. 7B, since the difference does not concentrate on a specific area, it can be determined that the image is blurred by the movement of the camera. However, since the difference is less than the predetermined value b, the image processing unit 26 determines that the generated blur is small that can be seen by the other party and does not change the image composition method.
[0045]
[Effect of the embodiment]
As is clear from the above description, according to the mobile phone 1 according to an embodiment of the present invention, the image processing unit 26 detects and detects a difference generated in images taken by the front camera 6a and the back camera 6b. Based on the result, the images to be synthesized as the images of the main screen 31 and the sub screen 32 are switched. As a result, the image data of the camera that captured the decisive moment can be reliably transmitted as a large screen image data to the videophone terminal of the other party of the call, and the image data of the blurred image is transmitted to the videophone terminal of the other party. It can be prevented from being transmitted.
[0046]
In addition, according to the mobile phone 1 according to an embodiment of the present invention, when a difference of a certain value a or more is detected in an image captured by the front camera 6a or the rear camera 6b, the image processing unit 26 displays the image. It is determined that the image is a photograph of a decisive moment, and the images photographed by the front camera 6a and the rear camera 6b are combined so that an image in which a difference of a certain value a or more is detected becomes the image of the main screen 31. As a result, an image obtained by photographing a decisive moment can be reliably transmitted as an image of the main screen 31 to the videophone terminal of the other party.
[0047]
Further, according to the mobile phone 1 according to an embodiment of the present invention, when a difference of a certain value b (> a) or more is detected in an image taken by the front camera 6a or the rear camera 6b, the image processing unit 26 Then, it is determined that the image is a blurred image, and the images photographed by the front camera 6a and the rear camera 6b are synthesized so that an image in which a difference of a certain value b or more is detected becomes an image of the sub screen 32. Thereby, it is possible to prevent the blurred image from being transmitted as the image of the main screen 31 to the videophone terminal of the other party.
[0048]
Further, according to the mobile phone 1 according to an embodiment of the present invention, when a difference of a certain value b (> a) or more is detected in an image taken by the front camera 6a or the rear camera 6b, the image processing unit 26 Then, it is determined that the image is a blurred image, and image synthesis processing is performed without using image data of the image. Thereby, it is possible to prevent the blurred image from being transmitted to the videophone terminal of the other party.
[0049]
[Other Embodiments]
As mentioned above, although the embodiment to which the invention made by the present inventors was applied has been described, the present invention is not limited by the description and the drawings that form part of the disclosure of the present invention according to this embodiment. For example, in the above embodiment, there are two cameras, the front camera 6a and the rear camera 6b, but the present invention can also be applied to three or more cameras. As described above, it should be added that other embodiments, examples, operation techniques, and the like made by those skilled in the art based on this embodiment are all included in the scope of the present invention.
[0050]
【The invention's effect】
According to the present invention, it is possible to reliably transmit image data in which a decisive moment is captured, and to prevent transmission of image data of a blurred image.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a configuration of a mobile phone according to an embodiment of the present invention.
2 is a schematic diagram showing an internal configuration of the mobile phone shown in FIG. 1. FIG.
FIG. 3 is a diagram illustrating a synthesis example of image data captured by a camera.
FIG. 4 is a flowchart showing a flow of image composition processing according to the first embodiment of the present invention.
FIG. 5 is a flowchart showing a flow of image composition processing according to the second embodiment of the present invention.
FIG. 6 is a flowchart showing an application example of image composition processing according to the first and second embodiments of the present invention.
FIG. 7 is a diagram for explaining region discrimination processing;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Mobile phone, 2 ... Hinge part, 3 ... Lower housing member, 4 ... Upper housing member, 5 ... Key button, 6a ... Front camera, 6b ... Rear camera, 7 ... Shooting instruction key, 8 ... Microphone, 9 ... jog dial, 10 ... clear key, 11 ... character type conversion key, 12, 29 ... display unit, 13 ... speaker, 14 ... whip antenna, 15 ... sub display unit, 21 ... communication unit, 22 ... ROM, 23 ... RAM, 24 DESCRIPTION OF SYMBOLS ... Control part, 25 ... Imaging control part, 26 ... Image processing part, 27 ... Data line, 28 ... Control line, 30 ... Operation part, 31 ... Main screen, 32 ... Sub-screen

Claims

A mobile terminal device comprising a plurality of cameras,
A detection unit that detects an image change amount between image data captured by each camera and previous image data for each divided region obtained by dividing the image into a plurality of regions ;
The image data captured by the plurality of cameras is combined into one image data having a main / sub relationship based on the display area, and the detected amount of change among the images captured by the plurality of cameras is A portable terminal device comprising: a combining unit that switches an image frequently generated in a specific divided region to a main image .

2. The mobile phone according to claim 1, wherein when the amount of change in the image data serving as the main image exceeds a predetermined threshold, the combining unit switches the main image to an image of image data captured by another camera. Terminal device.

The mobile terminal device according to claim 1, further comprising: a transmission unit that transmits the image data synthesized by the synthesis unit via an electric communication line.