JP3926091B2 - Captured image transmission device - Google Patents

Captured image transmission device Download PDF

Info

Publication number
JP3926091B2
JP3926091B2 JP2000306210A JP2000306210A JP3926091B2 JP 3926091 B2 JP3926091 B2 JP 3926091B2 JP 2000306210 A JP2000306210 A JP 2000306210A JP 2000306210 A JP2000306210 A JP 2000306210A JP 3926091 B2 JP3926091 B2 JP 3926091B2
Authority
JP
Japan
Prior art keywords
image data
captured image
transmission
detected
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000306210A
Other languages
Japanese (ja)
Other versions
JP2002118733A (en
Inventor
順司 助野
修司 外田
喜子 幡野
和宏 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000306210A priority Critical patent/JP3926091B2/en
Publication of JP2002118733A publication Critical patent/JP2002118733A/en
Application granted granted Critical
Publication of JP3926091B2 publication Critical patent/JP3926091B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Telephonic Communication Services (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像した画像データ（撮像画像データ）を送信する撮像画像送信装置に関するものである。
【０００２】
【従来の技術】
上記の撮像画像送信装置は、例えばテレビ電話システムを構成するテレビ電話装置に設けられている。近年、通信網の発達とデータ圧縮技術の進歩により、音声とともに画像までも伝送することができるテレビ電話システムが徐々に普及しつつある。従来の音声のみを送受信する電話システムとは異なり、テレビ電話システムでは、通信相手およびその背景などの撮像画像をテレビ電話装置のモニタ画面上で確認しながら会話することができる。
【０００３】
図２６はテレビ電話装置を用いたテレビ電話システムのブロック構成図である。また、図２７は図２６のテレビ電話装置に設けられている従来の撮像画像送信装置のブロック構成図である。図２７において、図２６と同じものには同じ符号を付してある。
【０００４】
図２６のテレビ電話システムでは、電話網などの通信網４０を介して２つのテレビ電話装置１（１Ａおよび１Ｂ）が配置されており、テレビ電話装置１Ａと１Ｂとの間で音声および画像の送受信が実施される。テレビ電話装置１Ａを使用する通話者２を２Ａ、通話者２Ａの背景３を３Ａ、通話者２Ａが使用するテレビ電話装置１Ａの送受話器４を４Ａとし、テレビ電話装置１Ｂを使用者する通話者２を２Ｂ、通話者２Ｂの背景３を３Ｂ、通話者２Ｂが使用するテレビ電話装置１Ｂの送受話器４を４Ｂとする。テレビ電話装置１Ａのモニタ画面５Ａには、通話者２Ｂおよびその背景３Ｂが映し出され、テレビ電話装置１Ｂのモニタ画面５Ｂには、通話者２Ａおよびその背景３Ａが映し出される。
【０００５】
テレビ電話装置１（１Ａまたは１Ｂ）は、操作部１１と、モニタ１２と、撮像部１３と、送受話器４（４Ａまたは４Ｂ）と、システム制御部１５と、音声データ符号化／復号部１６と、画像データ符号化／復号部１７と、伝送制御部１８と、インターフェース部１９とを備えている。
【０００６】
操作部１１は、通話者２（２Ａまたは２Ｂ）によって、通信網に接続して通信を開始するためのオフフック操作、ダイヤル操作、通信を終了するためのオンフック操作、テレビ電話装置１においての音声データの符号化／復号処理、画像データの符号化／復号処理などを制御するための操作などがなされる。モニタ１２は、相手テレビ電話装置１（１Ｂまたは１Ａ）から送信された相手通話者２（２Ｂまたは２Ａ）およびその背景３（３Ｂまたは３Ａ）の画像を画面に映し出す。撮像部１３は、通話者２およびその背景３などを撮像し、撮像画像データを画像データ符号化／復号部１７に出力する。送受話器４（４Ａまたは４Ｂ）は、通話者２（２Ａまたは２Ｂ）の音声をテレビ電話装置１（１Ａまたは１Ｂ）に入力するとともに、相手テレビ電話装置１（１Ｂまたは１Ａ）から送信された相手通話者２（２Ｂまたは２Ａ）の音声をテレビ電話装置１から出力する。
【０００７】
システム制御部１５は、操作部１１からの入力内容に従って、音声データの符号化／復号処理、画像データの符号化／復号処理、およびテレビ電話装置１全体の制御を実施する。音声データ符号化／復号部１６は、送受話器４から入力された音声信号を符号化するとともに、受信された音声データを復号して送受話器１４に送出する。画像データ符号化／復号部１７は、撮像部１３から入力された撮像画像データを符号化するとともに、受信された画像データを復号してモニタ１２に送出する。伝送制御部１８は、音声データ符号化／復号部１６および画像データ符号化／復号部１７から出力された音声データおよび画像データを通信網４０に伝送するための信号に変換するとともに、通信網４０から伝送された信号から音声データおよび画像データとを抽出してそれぞれ音声データ符号化／復号部１６および画像データ符号化／復号部１７に出力する。インターフェース部１９は、伝送制御部１８から入力された信号を通信網４０に伝送するために信号レベルおよび信号形式などを調整するとともに、通信網４０から受信した信号をテレビ電話装置１内部にて処理できるように信号レベルおよび信号形式などを調整する。
【０００８】
図２７の撮像画像送信装置において、操作部１１には、通話者がオフフック操作およびオンフック操作をするためのフックキー１１１が設けられている。また、画像データ符号化部１４は、図２６の画像データ符号化／復号部１７に設けられている符号化ブロックである。画像データ符号化部１４の内部構成は、例えば「ISO-IEC/JTC1/SC29/WG11 MPEG 92/NO245 Test Model 2」に準拠したものである。この画像データ符号化部１４は、例えば、入力された撮像画像データに空間軸方向のＤＣＴ離散コサイン変換などの時間軸方向の冗長度を減少させるための処理を施し、この撮像画像データを量子化し、量子化された撮像画像データに可変長符号化を施すことによって、撮像画像データの情報量を圧縮する。
【０００９】
図２６のテレビ電話システムおよび図２７の従来の撮像画像符号化装置の動作を以下に説明する。まず、通話者２Ａがテレビ電話装置１Ａのフックキー１１１を操作すると、テレビ電話装置１Ａのシステム制御部１５は、伝送制御部１８およびインターフェース部１９などによりテレビ電話装置１を通信網４０に接続する。次に、通話者２Ａが相手通話者２Ｂ（相手テレビ電話装置１Ｂ）のダイヤル番号をダイヤル操作すると、テレビ電話装置１Ａとテレビ電話装置１Ｂの間に通信網４０を介して通信路が開設される。すると、テレビ電話装置１Ａのモニタ画面５Ａに通話者２Ｂの画像がその背景３Ｂの画像とともに映し出されるとともに、テレビ電話装置１Ｂのモニタ画面５Ｂに通話者２Ａの画像がその背景３Ａの画像ととともに映し出される。このようにして、通話者２Ａと通話者２Ｂの間で音声および画像の送受信が可能になる。
【００１０】
そして、通信中に通話者２Ａがフックキー１１１を操作すると、テレビ電話装置１Ａのシステム制御部１５は、伝送制御部１８およびインターフェース部１９などによりテレビ電話装置１Ａを通信網４０から切り離す。すると、テレビ電話装置１Ｂのシステム制御部１５もテレビ電話装置１Ｂを通信網４０から切り離し、テレビ電話装置１Ａおよび１Ｂのモニタ画面１２に映し出されていた相手通話者およびその背景の画像が消滅する。このようにして、通話者２Ａと２Ｂとの通信が終了する。
【００１１】
【発明が解決しようとする課題】
テレビ電話装置では、通話者側の様子を撮像画像によって遠隔の相手通話者に伝えることができるとともに、相手通話者側の様子を撮像画像によって知ることができるという利点がある。その反面、従来の撮像画像送信装置では、通話者側の撮像画像をいつでもそのまま相手通話者に送信するため、相手に見せたくない撮像画像（撮像画像の部分領域）まで送信されてしまうことがある。
【００１２】
例えば、通話中に、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどは、音声は保留できるが、これらの動作や背景の撮像画像は送信されて相手のテレビ電話装置のモニタ画面に映し出されることになる。これらの撮像画像は、通話者からすれば、他人に見せたくない画像であり、これらの他人に見せたくない撮像画像までもが送信されてしまうことは、通話者のプライバシーが保護されないこととなり、望ましいことではない。また、相手通話者からすれば、上記の動作や背景の画像は有意義な画面ではない。
【００１３】
上記の不都合を解消するために、例えば、撮像画像送信装置を通話者の保留操作によって撮像画像データの送信を停止できるように構成することが考えられる。しかし、撮像画像データの送信停止期間が長くなり、相手通話者のモニタ画面に画像が映し出されない期間が長くなると、相手通話者は、上記の保留操作によるものなのか、テレビ電話装置の故障や通信網のトラブルなどにものなのかを区別できず、不安に感じる場合がある。
【００１４】
本発明は、このような従来の課題を解決するためになされたものであり、撮像画像をそのまま送信したくないときに、そのままの撮像画像に換えてあらかじめ準備した画像あるいは画像処理を施した撮像画像を簡単な操作で送信できる撮像画像送信装置を提供することを目的とするものである。
【００１５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の請求項１に記載の撮像画像送信装置は、
撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとは上記移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件が異なる第２の動きを検出する動き検出部と
を備え、
上記システム制御部は、
上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記撮像画像データに変更する
ことを特徴とする。
【００１６】
請求項２に記載の撮像画像送信装置は、請求項１において、
上記画像データ処理部は、上記送信画像データの全領域の内の第１の領域に上記撮像画像データを挿入し、上記全領域から上記第１の領域を除いた第２の領域に上記準備された画像データを挿入し、上記全領域においての上記第１の領域の割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記第１の動きまたは上記第２の動きが検出されたときに上記第１の領域の割合を変更することによって上記送信画像データを変更する
ことを特徴とする。
【００１７】
請求項３に記載の撮像画像送信装置は、請求項２において、
上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第１の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１の領域の割合がＭ［％］であるときに上記第２の動きが検出されると上記第１の領域の割合を１００［％］に変更する
ことを特徴とする。
【００１８】
請求項４に記載の撮像画像送信装置は、請求項２において、
上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第１の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１の領域の割合がＭ［％］であるときに上記第２の動きが検出されると上記第１の領域の割合を１００［％］まで時間とともに漸増させる
ことを特徴とする。
【００１９】
請求項５に記載の撮像画像送信装置は、請求項２において、
上記システム制御部は、上記第１の動きが検出されるごとに上記第１の領域の割合を減少させ、上記第２の動きが検出されるごとに上記第１の領域の割合を増加させる
ことを特徴とする。
【００２０】
請求項６に記載の撮像画像送信装置は、請求項１において、
上記画像データ処理部は、上記撮像画像データのドットである第１のドットと上記準備された画像データのドットである第２のドットとを合成して上記送信画像データのそれぞれのドットを生成し、上記送信画像データのドットにおいての上記第１のドットの成分割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記第１の動きまたは上記第２の動きが検出されたときに上記第１のドットの成分割合を変更することによって上記送信画像データを変更する
ことを特徴とする。
【００２１】
請求項７に記載の撮像画像送信装置は、請求項６において、
上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第１の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１のドットの成分割合がＭ［％］であるときに上記第２の動きが検出されると上記第１のドットの成分を１００［％］に変更する
ことを特徴とする。
【００２２】
請求項８に記載の撮像画像送信装置は、請求項６において、
上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第１の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１のドットの成分割合がＭ［％］であるときに上記第２の動きが検出されると上記第１のドットの成分割合を１００［％］まで時間とともに漸増させる
ことを特徴とする。
【００２３】
請求項９に記載の撮像画像送信装置は、請求項５において、
上記システム制御部は、
上記第１の動きが検出されるごとに上記第１のドットの成分割合を減少させ、上記第２の動きが検出されるごとに上記第１のドットの成分割合を増加させる
ことを特徴とする。
【００２４】
請求項１０に記載の撮像画像送信装置は、
撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記送信画像データを撮像画像データに変更するための実画像送出キーと
を備え、
上記画像データ符号化部は、上記送信画像データとして上記撮像画像データが入力されているときにこの撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第３の動きを検出し、
上記画像データ処理部は、上記送信画像データの全領域の内の第１の領域に上記撮像画像データを挿入し、上記全領域から上記第１の領域を除いた第２の領域に上記準備された画像データを挿入し、上記制御信号に従って上記全領域においての上記第１の領域の割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記送信画像データが撮像画像データであるときに上記第３の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記実画像送出キーが操作されると上記送信画像データを上記撮像画像データに変更し、
上記第３の動きが検出されたときまたは上記実画像送出キーが操作されたときに上記第１の領域の割合を変更することによって上記送信画像データを変更する
ことを特徴とする。
【００２６】
請求項１１に記載の撮像画像送信装置は、請求項１０において、
上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第３の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１の領域の割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１の領域の割合を１００［％］に変更する
ことを特徴とする。
【００２７】
請求項１２に記載の撮像画像送信装置は、請求項１０において、
上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第３の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１の領域の割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１の領域の割合を１００［％］まで時間とともに漸増させる
ことを特徴とする。
【００２８】
請求項１３に記載の撮像画像送信装置は、
撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記送信画像データを撮像画像データに変更するための実画像送出キー
を備え、
上記画像データ符号化部は、上記送信画像データとして上記撮像画像データが入力されているときにこの撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第３の動きを検出し、
上記画像データ処理部は、上記撮像画像データのドットである第１のドットと上記準備された画像データのドットである第２のドットとを合成して上記送信画像データのそれぞれのドットを生成し、上記送信画像データのドットにおいての上記第１のドットの成分割合を０〜１００［％］の間で変更することによって、上記合成画像データを生成し、
上記システム制御部は、上記送信画像データが撮像画像データであるときに上記第３の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記実画像送出キーが操作されると上記送信画像データを上記撮像画像データに変更し、
上記第３の動きが検出されたときまたは上記実画像送出キーが操作されたときに上記第１のドットの成分割合を変更することによって上記送信画像データを変更する
ことを特徴とする。
【００２９】
請求項１４に記載の撮像画像送信装置は、請求項１３において、
上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第３の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１のドットの成分割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１のドットの成分を１００［％］に変更する
ことを特徴とする。
【００３０】
請求項１５に記載の撮像画像送信装置は、請求項１３において、
上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第３の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１のドットの成分割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１のドットの成分割合を１００［％］まで時間とともに漸増させる
ことを特徴とする。
【００３１】
請求項１６に記載の撮像画像送信装置は、
撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部と、
上記量子化係数を設定する量子化係数設定部と、
上記量子化係数の設定を制御するシステム制御部と、
上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとは上記移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件が異なる第２の動きを検出する動き検出部と
を備え、
上記システム制御部は、
上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると、上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、
上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると、上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする。
【００３２】
請求項１７に記載の撮像画像送信装置は、
撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部と、
上記量子化係数を設定する量子化係数設定部と、
上記量子化係数を制御するシステム制御部と
を備え、
上記データ符号化部は、上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとはあらかじめ設定された条件が異なる第２の動きを検出し、
上記システム制御部は、
上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、
上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする。
【００３３】
請求項１８に記載の撮像画像送信装置は、請求項１６または１７において、
上記システム制御部は、
上記量子化係数が、上記符号化された撮像画像データにモザイク処理が施されない値Ｎに設定されているときに、上記第１の動きが検出されると、上記量子化係数を、上記符号化された撮像画像データにモザイク処理が施される値Ｍ（＞Ｎ）に変更し、
上記量子化係数が上記Ｍに設定されているときに、上記第２の動きが検出されると、上記量子化係数を上記Ｎに変更する
ことを特徴とする。
【００３４】
請求項１９に記載の撮像画像送信装置は、請求項１６または１７において、
上記システム制御部は、
上記量子化係数が、上記符号化された撮像画像データにモザイク処理が施されない値Ｎに設定されているときに、上記第１の動きが検出されると、上記量子化係数を、上記符号化された撮像画像データにモザイク処理が施される値Ｍ（＞Ｎ）まで時間とともに漸増させ、
上記量子化係数が上記Ｍに設定されているときに、上記第２の動きが検出されると、上記量子化係数を上記Ｎまで時間とともに漸減させる
ことを特徴とする。
【００３５】
請求項２０に記載の撮像画像送信装置は、請求項１６または１７において、
上記システム制御部は、
上記第１の動きが検出されるごとに上記量子化係数の値を増加させ、
上記第２の動きが検出されるごとに上記量子化係数の値を減少させる
ことを特徴とする。
【００３６】
請求項２１に記載の撮像画像送信装置は、請求項１６または１７において、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と
をさらに備え、
上記画像データ符号化部は、上記送信画像データを設定された量子化係数で符号化して出力し、
上記システム制御部は、
上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記送信画像データを上記準備された画像データまたは上記合成画像データに変更するとともに、上記量子化係数を変更することによって上記符号化された送信画像データにモザイク処理を施し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記送信画像データを上記撮像画像データに変更するとともに、上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする。
【００３８】
請求項２２に記載の撮像画像送信装置は、請求項１、１０、１３、１６、１７のいずれか１項において、
上記動き検出部または上記画像データ符号化部は、上記第１の動きおよび上記第２の動きあるいは上記第３の動きの他に、上記第１の動きおよび上記第２の動きを含むあるいは上記第３の動きを含んで、上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第４の動きを検出し、
上記システム制御部は、上記第４の動きが所定の期間検出されないと、送信画像データまたは撮像画像データの符号化を停止させ、上記符号化を停止しているときに上記第４の動きが検出されると、上記符号化を再開する
ことを特徴とする。
【００４３】
【発明の実施の形態】
実施の形態１．
図１は本発明の実施の形態１の撮像画像送信装置のブロック構成図である。図１において、図２７と同じものには同じ符号を付してある。この実施の形態１の撮像画像送信装置１００は、図２６のテレビ電話装置１に設けられているものとする。また、図２は図１のシステム制御部１５０の内部ブロック構成図、図３は図１の画像データ処理部１７０の内部ブロック構成図、図４は図１の画像データ符号化部１４の内部ブロック構成図、図５は図１の動き検出部１６０の内部ブロック構成図である。
【００４４】
図１の撮像画像送信装置１００は、操作部１１０と、撮像部１３と、画像データ符号化部１４と、システム制御部１５０と、動き検出部１６０と、画像データ処理部１７０と、画像データ記憶部１８０とを備えている。従って、撮像画像送信装置１００は、上記従来の撮像画像送信装置１０（図２７参照）において、動き検出部１６０と画像データ処理部１７０と画像データ記憶部１８０とを設け、操作部１１およびシステム制御部１５をそれぞれ操作部１１０およびシステム制御部１５０に変更したものである。
【００４５】
この実施の形態１の撮像画像送信装置１００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、あらかじめ準備された画像データが記憶されている画像データ記憶部１８０と、上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを生成する画像データ処理部１７０と、上記送信画像データを符号化して出力する画像データ符号化部１４と、上記合成処理を制御するシステム制御部１５０と、上記撮像画像データから撮像対象または上記撮像部の第１の動きおよび第２の動きを検出する動き検出部１６０とを備え、システム制御部１５０が、上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記撮像画像データに変更することを特徴とする。
【００４６】
［撮像部１３］
撮像部１３は、例えばＣＣＤカメラからなり、撮像対象を撮像して撮像画像データを画像データ処理部１７０に出力する。上記の撮像対象は、撮像画像送信装置１００を設けたテレビ電話装置を操作する通話者およびその背景の画像である。通話者は、この撮像部１３を動かすことが可能である。また、画像データ記憶部１８０に記憶させるあらかじめ準備した画像を撮像することも可能である。
【００４７】
［画像データ記憶部１８０］
画像データ記憶部１８０には、画像データ処理部１７０において合成処理されるあらかじめ準備された画像データが記憶されている。この画像データ記憶部１８０には、撮像部１３であらかじめ撮像され、画像データ処理部１７０を介して入力された画像データを記憶することができる。また、上記準備された画像データを複数枚記憶しておくことが可能であり、例えば、撮像部１３によってあらかじめ撮影しておいた通話者の自画像、草花などの自然物の画像、山や海などの風景画像、任意のグラフィック画像、任意の絵画や写真、全白画像、全グレー画像、全黒画像などを記憶させておくことができる。画像データ記憶部１８０に記憶されている画像データからいずれか１枚がシステム制御部１５０によって選択され、この選択された画像データが、撮像部１３から入力される撮像画像データと合成処理されるあらかじめ準備された画像データとして、画像データ処理部１７０に出力される。
【００４８】
［システム制御部１５０］
システム制御部１５０は、操作部１１０からの入力内容などに従って、動き検出部１６０、画像データ処理部１７０、画像データ符号化部１４を制御する。このシステム制御部１５０は、画像データ処理部１７０においての合成処理を制御しており、動き検出部１６０によって上記第１の動きまたは上記第２の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の合成処理を変更する。また、システム制御部１５０は、画像データ処理部１７０の出力画像データを画像データ記憶部１８０に書き込む動作、および画像データ記憶部１８０に準備された画像データを画像データ処理部１７０に読み出す動作を制御する。
【００４９】
図２において、システム制御部１５０には、合成領域制御データ１５１と、準備画像制御データ１５２とが設けられている。合成領域制御データ１５１は、画像データ処理部１７０においての合成処理、および動きの検出などによる上記合成処理の変更を、通話者があらかじめ設定した手順に従って制御するためのデータである。通話者は、操作部１１０を操作して、合成処理およびその変更手順の設定を変更することが可能である。準備画像制御データ１５２は、画像データ記憶部１８０に画像データを記憶させる動作、および画像データ記憶部１８０に記憶されている画像（図２では画像１８１，１８２，１８３，…）から通話者によってあらかじめ選択された１枚の画像データを画像データ処理部１７０に送る動作を制御するためのデータである。通話者は、操作部１１０を操作して、画像データ処理部１７０に送る画像データを変更することが可能である。
【００５０】
［画像データ処理部１７０］
画像データ処理部１７０は、撮像部１３から入力された撮像画像データと、画像データ記憶部１８０から入力されたあらかじめ準備された画像データとを、システム制御部１５０から入力される制御信号に従って合成処理し、撮像画像データ、準備された画像データ、またはこれらの合成画像データを送信画像データとして出力する。上記の合成処理は、撮像画像データと準備された画像データのいずれかのみを送信画像データとして選択する処理を含む。上記の合成処理の手順は、上記第１の動きまたは上記第２の動きが検出されたとき、および通話者が操作部１１０の実画像送出キー１１２または処理画像送出キー１１３を操作したときに、システム制御部１５０によって変更される。なお、画像データ処理部１７０の出力画像データをあらかじめ準備した画像データとして画像データ記憶部１８０に記憶させることができるように、画像データ処理部１７０の出力画像データは画像データ記憶部１８０にも入力される。
【００５１】
この画像データ処理部１７０は、システム制御部１５０からの制御信号に含まれる撮像画像領域の割合（面積の割合）ｍなどに従って、送信画像データの全領域において撮像画像領域および準備画像領域（撮像画像領域でない送信画像領域）を設定し、撮像画像データを撮像画像領域に挿入し、準備画像データを準備画像領域に挿入することによって、送信画像データを生成する。システム制御部１５０は、第１の動きまたは第２の動きが検出されたときに撮像画像領域の割合ｍを０〜１００［％］の間で変更することによって、送信画像データを変更する。
【００５２】
図３において、（ａ）は画像データ処理部１７０の内部構成、（ｂ）は画像データ処理部１７０を構成している画像データ合成回路１７２の内部構成である。図３（ａ）において、画像データ処理部１７０は、合成領域設定回路１７１と、画像データ合成回路１７２と、画像データ選択回路１７３とを備えている。
【００５３】
合成領域設定回路１７１は、システム制御部１５０からの制御信号に含まれる撮像画像領域の割合ｍなどに従って、送信画像の全領域においての撮像画像領域の位置および面積、ならびに準備画像領域の位置および面積を設定し、この撮像画像領域および準備画像領域の設定に従って画像データ合成回路１７２を制御する。
【００５４】
画像データ合成回路１７２は、撮像画像データと準備された画像データの合成画像データを生成し、画像データ選択回路１７３に出力する。図３（ｂ）において、画像データ合成回路１７２は、フェーダ１７５，１７６と、加算器１７７とを備えている。フェーダ１７５は、撮像部１３から入力された撮像画像データを減衰させ、加算部１７７に出力する。フェーダ１７６は、画像データ記憶部１８０から入力された準備画像データを減衰させ、加算部１７７に出力する。加算器１７７は、フェーダ１７５から入力された撮像画像データとフェーダ１７６から入力された準備画像データとを加算して合成画像データを生成し、この合成画像データを画像データ選択回路１７３に出力する。フェーダ１７５，１７６の抵抗値は、合成領域設定回路１７１からの制御信号に従って変化する。撮像画像領域に撮像画像のドットを挿入し、準備画像領域に準備画像データのドットを挿入して合成画像データを生成するため、生成する合成画像データのドットが撮像画像領域のドットであるか準備画像領域のドットであるかに従って、フェーダ１７５，１７６の抵抗値は０または∞になる。なお、撮像画像データのドットと準備画像データのドットとを加算して合成画像データのドットを生成する場合には、合成画像ドットにおいての撮像画像ドットと準備画像ドットの成分割合に従ってフェーダ１７５，１７６の抵抗値は変化する。
【００５５】
画像データ選択回路１７３は、システム制御部１５０からの制御信号に従って、撮像部１３から入力された撮像画像データ、画像データ記憶部１８０から入力された準備された画像データ、または画像データ合成回路１７２から入力された合成画像データのいずれかを選択し、送信画像データとして画像データ符号化部１４に出力する。
【００５６】
画像データ処理部１７０においての合成処理（送信画像データの生成手順）を、図３および図６を参照して説明する。図６は画像データ処理部１７０においての合成処理を説明する図である。以下の説明において、画像データ記憶部１８０に準備された画像は、グラフィック画像であるものとする。
【００５７】
図６において、寸法Ｐは、撮像画像、グラフィック画像、および合成画像の横寸法である。また、寸法Ｑは、撮像画像、グラフィック画像、および合成画像の縦寸法である。撮像画像、グラフィック画像、および合成画像の左上隅の座標（以下、基準位置座標とも称する）は（０，０）、右下隅の座標は（Ｐ，Ｑ）である。ここで、画像の全領域または部分領域を、その領域の左上隅の座標（Ａ，Ｂ）および右下隅を座標（Ｃ，Ｄ）を用いて、（Ａ，Ｂ）−（Ｃ，Ｄ）と表現するものとすると、撮像画像、グラフィック画像、および合成画像の全領域は、（０，０）−（Ｐ，Ｑ）である。
【００５８】
図３の合成領域設定回路１７１は、合成画像においての撮像画像領域の割合（面積割合）ｍ［％］をもとに撮像画像領域の横寸法ｐおよび縦寸法ｑを求め、撮像画像領域の基準位置座標（ａ，ｂ）および寸法ｐ，ｑから、合成画像においての撮像画像領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）を求め、この撮像画像領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）に従って画像データ合成回路１７２のフェーダ１７５，１７６を制御する。上記の撮像画像領域の割合ｍおよび基準位置座標（ａ，ｂ）は、システム制御部１５０から入力される制御信号に含まれている。
【００５９】
画像データ合成回路１７２において、生成する合成画像のドットが撮像画像領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）内のドットであれば、フェーダ１７５の抵抗値は０、フェーダ１７６の抵抗値は∞になり、撮像画像のドットが合成画像のドットとして加算器１７７から画像データ選択回路１７３に出力され、生成する合成画像のドットが上記の撮像画像領域内のドットでなければ（準備画像領域のドットであれば）、フェーダ１７５の抵抗値は∞、フェーダ１７６の抵抗値は０になり、グラフィック画像のドットが合成画像のドットとして出力される。従って、生成された合成画像データは、全領域（０，０）−（Ｐ，Ｑ）の内の撮像画像領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）に、撮像画像データの領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）の撮像画像ドットを挿入し、合成画像データの全領域から撮像画像領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）を除いた準備画像領域に、グラフィック画像データの領域（ａ，ｂ）−（ａ＋ｐ，ｂ＋ｑ）を除いた領域のグラフィック画像ドットを挿入したものとなる。
【００６０】
画像データ選択回路１７３は、合成画像においての撮像画像領域の割合ｍが１００［％］であれば、撮像部１３から入力された撮像画像データを送信画像データとして画像データ符号化部１４に出力し、上記撮像画像領域の割合ｍがＭ（Ｍは０［％］＜Ｍ＜１００［％］）であれば、画像データ合成回路１７２から入力された合成画像データを送信画像データとして出力し、上記撮像画像領域の割合ｍが０［％］であれば、画像データ記憶部１８０から入力されたグラフィック画像データを送信画像データとして出力する。
【００６１】
［画像データ符号化部１４］
画像データ符号化部１４は、画像データ処理部１７０から入力された送信データに、離散コサイン変換（ＤＣＴ）などの処理を施し、量子化し、可変長符号化することにより、上記の送信画像データを圧縮して符号化し、この符号化した送信画像データを伝送制御部１８に出力する。
【００６２】
図４において、画像データ符号化部１４は、ＤＣＴ回路１４１と、量子化回路１４２と、可変長符号化回路１４３と、送信バッファ１４４とを備えている。
ＤＣＴ回路１４１は、画像データ処理部１７０から入力された送信画像データに空間軸方向の離散コサイン変換などの時間軸方向の冗長度を減少させるための処理を施す。量子化回路１４２は、ＤＣＴ回路１４１から入力された送信画像データを量子化する。可変長符号化回路１４３は、量子化回路１４２から入力された送信画像データを可変長符号化し、送信バッファ１４４に送る。送信バッファ１４４は、圧縮して符号化された送信画像データを伝送制御部１８に送る。
【００６３】
［操作部１１０］
操作部１１０には、通話者が、オフフック操作、ダイヤル操作、オンフック操作、撮像画像送信装置１００の動作や制御手順の設定などをするための複数のキーが設けられている。この操作部１１０には、オフフック操作およびオンフック操作をするためのフックキー１１１の他に、実画像送出キー１１２と、処理画像送出キー１１３と、動き検出処理キー１１４とが設けられている。
【００６４】
処理画像送出キー１１３は、上記の送信画像データが撮像画像データであるときに、上記の送信画像データを上記あらかじめ準備された画像データまたは上記の合成画像データに変更するためのキーである。逆に、実画像送出キー１１２は、上記の送信画像データが上記あらかじめ準備された画像データまたは上記の合成画像データであるときに、上記の送信画像データを撮像画像データに変更するためのキーである。
【００６５】
動き検出処理キー１１４は、動きの検出による上記合成処理の変更を有効にするか否かを選択するためのキーである。システム制御部１５０は、動き検出処理キー１１４がＯＮのときには、第１の動きまたは第２の動きが検出されると上記の合成処理を変更するが、動き検出処理キー１１４がＯＦＦのときには、第１の動きまたは第２の動きが検出されても上記の合成処理を変更しない。通話者（使用者）は、動き検出処理キー１１４を操作することによって、第１の動きまたは第２の動きを検出したときに合成処理を変更するか否かを簡単に設定することができる。
【００６６】
［動き検出部１６０］
動き検出部１６０は、撮像部１３から入力された撮像画像データから、撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、システム制御部１５０に通知する。上記撮像対象の動きとは、撮像対象の撮像部１３に対する相対的変位であり、上記撮像部１３の動きとは、撮像部１３の撮像対象に対する相対的変位である。具体的には、上記撮像対象の動きは、撮像対象の撮像部１３に対する相対的な移動方向、移動距離、移動の速さ（単位時間当たりの移動距離）、移動速度（移動の速さと移動方向）、移動加速度などであり、上記撮像部１３の動きは、撮像部１３の撮像対象に対する相対的な移動方向、移動距離、移動の速さ、移動速度、移動加速度などである。従って、上記撮像対象の動きと上記撮像部１３の動きは等価である。また、上記第１の動きおよび上記第２の動きは、移動対象または撮像部１３の動きの内、移動方向や移動の速さなどがあらかじめ設定した条件を満たす動きである。上記第１の動きと上記第２の動きとは、例えば移動方向あるいは移動の速さが異なる。撮像対象または撮像部１３の動きの移動方向や移動の速さは、撮像画像データのフレーム画像から動きベクトルを検出すれば、この動きベクトルから直接的に求めることができる。
【００６７】
図５において、動き検出部１６０は、水平方向射影データ算出部１６１ａと、垂直方向射影データ算出部１６１ｂと、平均値算出部１６２ａ，１６２ｂと、減算器１６３ａ，１６３ｂと、メモリ１６４ａ，１６４ｂと、水平方向相関算出部１６５ａと、垂直方向相関算出部１６５ｂと、動きベクトル合成部１６６と、動き判別部１６７とを備えている。水平方向射影データ算出部１６１ａと、平均値算出部１６２ａと、減算器１６３ａと、メモリ１６４ａと、水平方向相関算出部１６５ａとは、水平方向動きベクトル検出部を構成しており、垂直方向射影データ算出部１６１ｂと、平均値算出部１６２ｂと、減算器１６３ｂと、メモリ１６４ｂと、垂直方向相関算出部１６５ｂとは、垂直方向動きベクトル検出部を構成している。
【００６８】
水平方向動きベクトル検出部において、水平方向射影データ算出部１６１ａは、撮像部１３から入力された現フレームの撮像画像データから、現フレームの水平方向射影データを算出する。上記の水平方向射影データは、撮像画像データの水平方向の和である。平均値算出部１６２ａは、上記水平方向射影データの平均値を算出する。減算器１６３ａは、上記水平方向射影データから上記水平方向射影データ平均値を減算し、この平均値を減算した水平方向射影データを水平方向相関算出部１６５ａおよびメモリ１６４ａに出力する。
【００６９】
メモリ１６４ａは、現フレームについての上記平均値を減算した水平方向射影データを記憶するとともに、記憶してあった前フレームについての平均値を減算した水平方向射影データを水平方向相関算出部１６５ａに出力する。従って、メモリ１６４ａに入力された平均値を減算した水平方向射影データは、１フレーム遅延されて水平方向相関算出部１６５ａに出力される。
【００７０】
水平方向相関算出部１６５ａは、現フレームについての平均値を減算した水平方向射影データと、前フレームについての平均値を減算した水平方向射影データから、水平方向の相関を算出し、相関が最大となるずれ量を水平方向動きベクトルとして出力する。上記の相関の算出手順としては、前フレームについての平均値を減算した水平方向射影データに対して、現フレームについての平均値を減算した水平方向射影データを１データずつずらしながら積和演算をとり、積和演算の値が最大値となるずれ量を相関が最大となるずれ量として求め、このずれ量を水平方向の動きベクトルとして出力する。
【００７１】
また、上記水平方向動きベクトル検出部と同じように、垂直方向動きベクトル検出部において、垂直方向射影データ算出部１６１ｂは、撮像部１３から入力される現フレームの撮像画像データから、垂直方向射影データを算出する。上記の垂直方向射影データは、撮像画像データの垂直方向の和である。平均値算出部１６２ｂは、上記垂直方向射影データの平均値を算出する。減算器１６３ｂは、上記垂直方向射影データから上記垂直方向射影データ平均値を減算し、この平均値を減算した垂直方向射影データを垂直方向相関算出部１６５ｂおよびメモリ１６４ｂに出力する。
【００７２】
メモリ１６４ｂは、現フレームについての上記平均値を減算した垂直方向射影データを記憶するとともに、記憶してあった前フレームについての平均値を減算した垂直方向射影データを垂直方向相関算出部１６５ｂに出力する。従って、メモリ１６４ｂに入力された平均値を減算した垂直方向射影データは、１フレーム遅延されて垂直方向相関算出部１６５ｂに出力される。
【００７３】
垂直方向相関算出部１６５ｂは、現フレームについての平均値を減算した垂直方向射影データと、前フレームについての平均値を減算した垂直方向射影データから、垂直方向の相関を算出し、相関が最大となるずれ量を垂直方向動きベクトルとして出力する。上記の相関の算出手順としては、前フレームについての平均値を減算した垂直方向射影データに対して、現フレームについての平均値を減算した垂直方向射影データを１データずつずらしながら積和演算をとり、積和演算の値が最大値となるずれ量を相関が最大となるずれ量として求め、このずれ量を垂直方向の動きベクトルとして出力する。
【００７４】
動きベクトル合成部１６６は、上記水平方向動きベクトル検出部によって検出された水平方向動きベクトルと、上記垂直方向動きベクトル検出部によって検出された垂直方向動きベクトルとを、図７のように合成して動きベクトルを求め、この動きベクトルを動き判別部１６７に出力する。
【００７５】
動き判別部１６７は、動きベクトル合成部１６６から入力された動きベクトルが、あらかじめ設定されている第１の動きまたは第２の動きの条件を満たすものであるか否かを判別することによって、第１の動きを検出したか否かおよび第２の動きを検出したか否かを判別し、システム制御部１５０に通知する。
【００７６】
動き検出部１６０においての第１の動きおよび第２の動きの検出手順を、図５および図８を参照して説明する。図８は動き検出部１６０においての第１の動きおよび第２の動きの判別手順を説明する図である。
【００７７】
図８では、ｒ−θ座標またはｘ−ｙ座標の原点に動きベクトルの始点を位置させ、そのときの動きベクトルの終点の位置によって第１の動きを検出したか否か、および第２の動きを検出したか否かを判別する。
【００７８】
図８（ａ）では、ｒ−θ座標において、ｒ＜ｒ０なる領域を領域Ｓとし、ｒ≧Ｒなる領域を上下左右に４分割して、それぞれ上領域Ｕ、下領域Ｄ、左領域Ｌ、右領域Ｒとする。ｒ＜ｒ０なる領域Ｓは、ｒ−θ座標の原点を含んであり、撮像対象または撮像部１３に動きがないときに動きベクトルの終点が位置する領域であり、使用者が意図しない手ぶれや振動による動きベクトルの終点が位置する可能性が高い領域である。このため、領域Ｓを動きを無視する領域とし、動きベクトルの終点が領域Ｓに位置する場合は第１の動きおよび第２の動きを検出しなかったと判別することによって、誤動作を防止する。従って、終点がｒ≧ｒ０なる分割された領域Ｕ，Ｄ，Ｌ，Ｒに達する動きベクトルを対象にして、第１の動きおよび第２の動きを判別する。例えば、終点が領域ＵまたはＤに達する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域ＬまたはＲに達する動きベクトルが検出されたときに第２の動きが検出されたものと判別する。また、例えば、通話者が撮像部１３を上下に振ることなどにって、領域Ｕに達する動きベクトルと領域Ｄに達する動きベクトルとが連続的に検出されたときに第１の動きが検出されたものと判別し、通話者が撮像部１３を左右に振ることなどにって、領域Ｌに達する動きベクトルと領域Ｒに達する動きベクトルとが連続的に検出されたときに第２の動きが検出されたものと判別する。この図８（ａ）では、第１の動きと第２の動きとは、動きの方向（移動方向が異なる）。
【００７９】
図８（ｂ）では、ｒ−θ座標において、ｒ＜ｒ０なる領域を動きを無視する領域Ｓ、ｒ０≦ｒ≦ｒ１なる領域をＭ１、ｒ１≦ｒなる領域をＭ２とする。そして、例えば、終点が領域Ｍ１に位置する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域Ｍ２に達する動きベクトルが検出されたときに第２の動きが検出されたものと判別する。この図８（ｂ）では、第１の動きと第２の動きとは、動きの速さ（移動の速さが異なる）。
【００８０】
図８（ｃ）では、ｒ−θ座標において、ｒ＜ｒ０なる領域を動きを無視する領域Ｓとし、ｒ０≦ｒ≦ｒ１なる領域を上下左右に４分割して領域Ｕ１，Ｄ１，Ｌ１，Ｒ１とし、ｒ１≦ｒなる領域を上下左右に４分割して領域Ｕ２，Ｄ２，Ｌ２，Ｒ２とする。そして、例えば、終点が領域Ｕ１またはＤ１に位置する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域Ｌ２またはＲ２に達する動きベクトルが検出されたときに第２の動きが検出されたものと判別する。また、例えば、終点が領域Ｕ１，Ｕ２，Ｄ１，Ｄ２に位置する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域Ｌ１，Ｌ２，Ｒ１，Ｒ２に位置する動きベクトルが検出されたときに第２の動きが検出されたものと判別する場合と、終点が領域Ｕ１，Ｄ１，Ｌ１，Ｒ１に位置する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域Ｕ２，Ｄ２，Ｌ２，Ｒ２に達する動きベクトルが検出されたときに第２の動きが検出されたものと判別する場合とを、通話者が切り換えられるようにする。
【００８１】
図８（ｄ）では、ｘ−ｙ座標において、−ａ＜ｘ＜ａかつ−ｂ＜ｙ＜ｂなる領域を動きを無視する領域Ｓ、−ａ≦ｘ≦ａかつｙ≧ｂなる領域をＵ、−ａ≦ｘ≦ａかつｙ≦−ｂなる領域をＤ、ｘ≦−ａかつ−ｂ≦ｙ≦ｂなる領域をＬ、ｘ≧ａかつ−ｂ≦ｙ≦ｂかつなる領域をＲとする。そして、例えば、終点が領域ＵまたはＤに位置する動きベクトルが検出されたときに第１の動きが検出されたものと判別し、終点が領域ＬまたはＲに達する動きベクトルが検出されたときに第２の動きが検出されたものと判別する。
【００８２】
第１または第２の動きが検出されたときの画像データ処理部１７０においての合成処理の具体的な変更手順は、例えば以下の（Ａ）〜（Ｄ）による。
（Ａ）送信画像データとして撮像画像データが画像データ処理部１７０から出力されているときに、第１の動きが検出されると、送信画像データを準備画像データに切り換え、送信画像データとして準備画像データが画像データ処理部１７０から出力されているときに、第２の動きが検出されると、送信画像データを撮像画像データに切り換える。
（Ｂ）送信画像データにおいての撮像画像領域の割合ｍが１００［％］であるときに（送信画像データとして撮像画像データが画像データ処理部１７０から出力されているときに）、第１の動きが検出されると、撮像画像領域の割合ｍをＭ（Ｍは０≦Ｍ＜１００なるあらかじめ設定された値）［％］に変更し、撮像画像領域の割合ｍがＭ［％］であるときに、第２の動きが検出されると、撮像画像領域の割合ｍを１００［％］に変更する。
（Ｃ）送信画像データにおいての撮像画像領域の割合が１００［％］であるときに（送信画像データとして撮像画像データが画像データ処理部１７０から出力されているときに）、第１の動きが検出されると、上記撮像画像データの領域の割合ｍをＭ［％］まで時間とともに漸減させ、上記撮像画像データの領域の割合ｍがＭ［％］であるときに、第２の動きが検出されると、上記撮像画像データの領域の割合ｍを１００［％］まで時間とともに漸増させる。
（Ｄ）第１の動きが検出されるごとに、撮像画像データにおいての撮像画像領域の割合ｍを減少させ、第２の動きが検出されるごとに、撮像画像領域の割合ｍを増加させる。あるいは、第１の動きが検出されるごとに、送信画像データにおいての撮像画像領域の割合ｍを減少させ、第２の動きが検出されると、撮像画像領域の割合ｍを１００［％］にする（送信画像データを撮像画像データにする）。
【００８３】
上記（Ａ）の手順では、例えば、通話者が撮像部１３を上下にｎ回（ｎは正の整数）振ると、「お待ち下さい」というグラフィック画像に切り換え、撮像部１３を左右にｍ回（ｍは正の整数）振ると、撮像画像に戻す。この場合、所定時間内のｎ回の上下の動きは、第１の動きに相当し、所定時間内のｍ回の連続的な左右の動きは、第２の動きに相当する。
【００８４】
また、上記（Ｂ）の手順では、例えば、通話者が撮像部１３を上下に振ると、送信画像においての撮像画像領域の割合ｍを１００［％］から５０［％］に瞬時に変更して、送信画像を５０［％］の撮像画像と５０［％］のグラフィック画像からなる合成画像とし、撮像部１３を左右に振ると、撮像画像領域の割合ｍを５０［％］から１００［％］に瞬時に変更して、送信画像を撮像画像に切り換える。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【００８５】
また、上記（Ｃ）の手順では、例えば、通話者が撮像部１３を速く振る（動きベクトルは大きい）と、送信画像においての撮像画像領域の割合ｍを１００［％］から０［％］まで時間とともに漸減させて、送信画像を撮像画像からグラフィック画像に切り換え、撮像部１３をゆっくり振る（動きベクトルが小さい）と、撮像画像領域の割合ｍを０［％］から１００［％］まで時間とともに漸増させて、送信画像をグラフィック画像から撮像画像に切り換える。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【００８６】
また、上記（Ｄ）の手順では、例えば、通話者が撮像部１３を上下に振る度に、送信画像においての撮像画像領域の割合ｍを減少させ（送信画像においてのグラフィック画像領域の割合を増加させ）、逆に撮像部１３を左右に振る度に、撮像画像領域の割合ｍを増加させる（グラフィック画像領域の割合を減少させる）。また、例えば、通話者が撮像部１３を上下に振る度に、送信画像においての撮像画像領域の割合ｍを減少させ、撮像部１３を左右に振ると、撮像画像に戻す。これらの場合には、１回の上下の動きは、第１の動きに相当し、１回の左右の動きは、第２の動きに相当する。
【００８７】
上記（Ｃ）の手順の具体例を、図９および図１０を参照して説明する。図９は動きが検出されたときに送信画像においての撮像画像領域の割合を漸増または漸減させる場合の送信画像の寸法Ｐ，Ｑにおいての撮像画像の寸法ｐ，ｑの割合ｕ（＝ｐ／Ｐ＝ｑ／Ｑ）の時間変化特性図の一例である。撮像画像領域の割合ｍ＝ｕ×ｕである。また、図１０は図９のそれぞれのタイミングでの送信画像の図である。図９においては、時間ｔ＝Ｔ０までは、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝０［％］であり、送信画像はあらかじめ準備されたグラフィック画像になっている。そして、時間ｔ＝Ｔ０において、第２の動きが検出されたことをシステム制御部１５０が認識すると、システム制御部１５０は、時間ｔ＝Ｔ０〜Ｔ４において撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）を漸増させ、時間ｔ＝Ｔ４において撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝１００［％］とし、送信画像を撮像画像に切り換える。次に、時間ｔ＝Ｔ５において、第１の動きが検出されたことをシステム制御部１５０が認識すると、システム制御部１５０は、時間ｔ＝Ｔ５〜Ｔ９において撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）を漸減させ、時間ｔ＝Ｔ９において撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝１００［％］とし、送信画像を再びグラフィック画像に切り換える。
【００８８】
図９の時間ｔ＝Ｔ０において第２の動きが検出されたことをシステム制御部１５０が認識するまでは、図１０（ａ）のようにグラフィック画像のみからなる送信画像が撮像画像送信装置１００から出力される。このとき、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝０［％］である。
【００８９】
時間ｔ＝Ｔ０において第２の動きが検出されたことをシステム制御部１５０が認識し、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）の漸増を開始し、時間ｔ＝Ｔ１になると、撮像画像寸法の割合ｕ＝２５［％］（撮像画像領域の割合ｍ＝６．２５［％］）となり、図１０（ｂ）のように９３．７５［％］のグラフィック画像と６．２５［％］の撮像画像の合成画像からなる送信画像（全領域の内、グラフィック画像の領域が９３．７５［％］であり、撮像画像の領域が６．２５［％］である送信画像）が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ１は、第２の動きの検出による合成処理の全変更時間ｔ＝Ｔ０〜ｔ＝Ｔ４の１／４に相当する。
【００９０】
さらに時間ｔ＝Ｔ２になると、撮像画像寸法の割合ｕ＝５０［％］（撮像画像領域の割合ｍ＝２５［％］）となり、図１０（ｃ）のように７５［％］のグラフィック画像と２５［％］の撮像画像の合成画像からなる送信画像が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ２は、上記合成処理の全変更時間の１／２に相当する。
【００９１】
さらに時間ｔ＝Ｔ３になると、撮像画像寸法の割合ｕ＝７５［％］（撮像画像領域の割合ｍ＝５６．２５［％］）となり、図１０（ｄ）のように４３．７５［％］のグラフィック画像と５６．２５［％］の撮像画像の合成画像からなる送信画像が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ３は、上記合成処理の全変更時間の３／４に相当する。
【００９２】
そして時間ｔ＝Ｔ４になると、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝１００［％］となり、図１０（ｅ）のように撮像画像のみからなる送信画像が撮像画像送信装置１００から出力される。この時間ｔ＝Ｔ４から第１の動きが検知されたことを撮像画像送信装置１００が認識する時間ｔ＝Ｔ５までは、撮像画像が送信画像として送信される。
【００９３】
時間ｔ＝Ｔ５において第１の動きが検出されたことをシステム制御部１５０が認識するまでは、図１０（ｆ）のように撮像画像のみからなる送信画像が撮像画像送信装置１００から出力される。このとき、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝１００［％］である。
【００９４】
時間ｔ＝Ｔ５において第１の動きが検出されたことをシステム制御部１５０が認識し、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）の漸減を開始し、時間ｔ＝Ｔ６になると、撮像画像寸法の割合ｕ＝７５［％］（撮像画像領域の割合ｍ＝５６．２５［％］）となり、図１０（ｇ）のように４３．７５［％］のグラフィック画像と５６．２５［％］の撮像画像の合成画像からなる送信画像が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ５〜ｔ＝Ｔ６は、第１の動きの検出による合成処理の全変更時間ｔ＝Ｔ５〜ｔ＝Ｔ９の１／４に相当する。
【００９５】
さらに時間ｔ＝Ｔ７になると、撮像画像寸法の割合ｕ＝５０［％］（撮像画像領域の割合ｍ＝２５［％］）となり、図１０（ｈ）のように７５［％］のグラフィック画像と２５［％］の撮像画像の合成画像からなる送信画像が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ５〜ｔ＝Ｔ７は、上記合成処理の全変更時間の１／２に相当する。
【００９６】
さらに時間ｔ＝Ｔ８になると、撮像画像寸法の割合ｕ＝２５［％］（撮像画像領域の割合ｍ＝６．２５［％］）となり、図１０（ｉ）のように９３．７５［％］のグラフィック画像と６．２５［％］の撮像画像の合成画像からなる送信画像が撮像画像送信装置１００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ１は、第２の動きの検出による合成処理の全変更時間ｔ＝Ｔ０〜ｔ＝Ｔ４の３／４に相当する。
【００９７】
そして時間ｔ＝Ｔ９になると、撮像画像寸法の割合ｕ（撮像画像領域の割合ｍ）＝０［％］となり、図１０（ｊ）のようにグラフィック画像のみからなる送信画像が撮像画像送信装置１００から出力される。この時間ｔ＝Ｔ９から第２の動きが再び検知されるまでは、グラフィック画像が送信画像として送信される。
【００９８】
上記のように実施の形態１では、撮像画像データを送信しているときに第１の動きを検出すると、撮像画像領域の割合ｍを変更することによって、送信画像データを撮像画像データから準備画像データあるいは撮像画像データと準備画像データの合成画像データに変更し、準備画像データまたは合成画像データを送信しているときに第２の動きを検出すると、撮像画像領域の割合ｍを変更することによって、送信画像データを再び撮像画像データに変更することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データを送信しないようにすることができるので、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きを検出したときに、合成画像によって部分的ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【００９９】
また、図９および図１０の合成処理の変更手順では、送信画像においての撮像画像の割合ｍを漸減させまたは漸増させることにより、第１の動きが検出されたときに送信画像においての撮像画像領域が徐々に狭くなり、第２の動きが検出されたときに撮像画像領域が徐々に広くなるので、受信画像が瞬時に切り換えられることによって相手通話者が受ける軽いショックを軽減させることができる。
【０１００】
また、あらかじめ準備した画像には、上記のような無機質な幾何学模様のグラフィック画像の他に、通話者が以前撮像した自身の画像（ポートレート）や任意の風景画あるいは写真やイラストなどを用いることができるので、待たされている相手が感じる不快感を軽減させることができる。
【０１０１】
この実施の形態１では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときの上記（Ａ）〜（Ｄ）の手順のいずれかと同じように合成処理を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときの上記（Ａ）〜（Ｄ）の手順のいずれかと同じように合成処理を変更することも可能である。この場合、例えば、送信画像として撮像画像が送信されている最中に資料や他の人を探す必要が生じ、その様子を相手見られたくないときには、通話者は、第１の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは処理画像送信キー１１３を操作することによって、送信画像を準備画像または合成画像に切り換え、上記の資料や他の人が見つかったら、通話者は、第２の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは実画像送信キー１１２を操作することによって、送信画像を再び撮像画像に切り換える。
【０１０２】
また、この実施の形態１では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときの上記（Ａ）〜（Ｄ）の手順のいずれかと同じように合成処理を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときの上記（Ａ）〜（Ｄ）の手順のいずれかと同じように合成処理を変更することも可能である。例えば、オフフックされ通信を開始するときには、図９のｔ＝Ｔ０〜ｔ＝Ｔ４のように送信画像においての撮像画像領域の割合ｍを漸増させることによって、送信画像を図１０の（ａ）〜（ｅ）のように変更し、オンフックされ通信を終了するときには、図９のｔ＝Ｔ５〜ｔ＝Ｔ９のように送信画像においての撮像画像領域の割合ｍを漸減させることによって、送信画像を図１０の（ｆ）〜（ｊ）のように変更する。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データを送信しないようにすることができるので、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０１０３】
以上のように実施の形態１によれば、動き検出部１６０によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、撮像画像を送信しているときに第１の動きが検出されると、送信画像においての撮像画像領域の割合を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更し、上記送信画像が準備画像または上記合成画像であるときに上記第２の動きが検出されると、上記撮像画像領域の割合を変更することによって送信画像を撮像画像に変更することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きを検出したときに、合成画像によって部分的ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１０４】
なお、動きベクトルを検出する手順は、上記実施の形態１において説明した手順に限定されるものではない。さらに、第１の動きおよび第２の動きを検出する手順は、上記実施の形態１において説明した動きベクトルによる手順に限定されるものではない。また、送信画像においての撮像画像領域の設定は、上記実施の形態１において撮像画像領域の基準位置座標および縦横の寸法によるものに限定されるものではなく、例えば、送信画像の全領域の中央に撮像画像領域の中心を一致させるものとし、撮像画像領域の角度および半径によって撮像画像領域を設定することも可能である。また、上記（Ｃ）の手順は、図９のように撮像画像領域の割合ｍを直線的に変化させる手順に限定されるものではなく、例えば２次関数曲線などに従って撮像画像領域の割合ｍを変化させることも可能である。
【０１０５】
実施の形態２．
図１１は本発明の実施の形態２の撮像画像送信装置のブロック構成図である。図１１において、図１と同じものには同じ符号を付してある。この実施の形態２の撮像画像送信装置２００は、図２６のテレビ電話装置１に設けられているものとする。また、図１２は図１１のシステム制御部２５０の内部ブロック構成図、図１３は図１１の画像データ処理部２７０の内部ブロック構成図である。図１２において図２と同じものには同じ符号を付してあり、図１３において図３と同じものには同じ符号を付してある。
【０１０６】
図１１の撮像画像送信装置２００は、操作部１１０と、撮像部１３と、画像データ符号化部１４と、システム制御部２５０と、動き検出部１６０と、画像データ処理部２７０と、画像データ記憶部１８０とを備えている。従って、撮像画像送信装置２００は、上記実施の形態１の撮像画像送信装置１００（図１参照）において、システム制御部１５０（図２参照）および画像データ処理部１７０（図３参照）を、それぞれシステム制御部２５０（図１２参照）および画像データ処理部２７０（図１３参照）に変更したものである。
【０１０７】
この実施の形態２の撮像画像送信装置２００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、あらかじめ準備された画像データが記憶されている画像データ記憶部１８０と、上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを生成する画像データ処理部２７０と、上記送信画像データを符号化して出力する画像データ符号化部１４と、上記合成処理を制御するシステム制御部２５０と、上記撮像画像データから撮像対象または上記撮像部の第１の動きおよび第２の動きを検出する動き検出部１６０とを備え、システム制御部２５０が、上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記撮像画像データに変更することを特徴とする。
【０１０８】
上記実施の形態１では、画像データ処理部１７０は、システム制御部１５０からの制御信号に含まれる撮像画像領域の割合ｍに従って送信画像データの全領域に撮像画像領域および準備画像領域を設定し、上記の撮像画像領域に撮像画像データを挿入し、上記の準備画像領域に準備画像データを挿入することによって、送信画像データを生成するものであり、システム制御部１５０は、第１の動きまたは第２の動きが検出されたときに撮像画像領域の割合ｍを０〜１００［％］の間で変更することによって、送信画像データを変更するものであった。
【０１０９】
これに対し、この実施の形態２では、画像データ処理部２７０は、撮像画像データのドット（撮像画像ドット）と準備画像データ（準備画像ドット）のドットとを、システム制御部２５０からの制御信号に含まれる送信画像データのドット（送信画像ドット）においての撮像画像ドットの成分割合ｖに従って合成することによって、送信画像データを生成し、システム制御部２５０は、第１の動きまたは第２の動きが検出されたときに撮像画像ドットの成分割合ｖを０〜１００［％］の間で変更することによって、送信画像データを変更する。
【０１１０】
［システム制御部２５０］
システム制御部２５０は、操作部１１０からの入力内容などに従って、動き検出部１６０、画像データ処理部２７０、画像データ符号化部１４を制御する。このシステム制御部２５０は、画像データ処理部２７０においての合成処理を制御しており、動き検出部１６０によって上記第１の動きまたは上記第２の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の合成処理を変更する。また、システム制御部２５０は、画像データ処理部２７０の出力画像データを画像データ記憶部１８０に書き込む動作、および画像データ記憶部１８０に準備された画像データを画像データ処理部２７０に読み出す動作を制御する。このシステム制御部２５０は、動き検出処理キー１１４がＯＮのときには、第１の動きまたは第２の動きが検出されると上記の合成処理を変更するが、動き検出処理キー１１４がＯＦＦのときには、第１の動きまたは第２の動きが検出されても上記の合成処理を変更しない。
【０１１１】
図１２において、システム制御部２５０には、合成割合制御データ２５１と、準備画像制御データ１５２とが設けられている。合成割合制御データ２５１は、画像データ処理部２７０においての合成処理、および動きの検出などによる上記合成処理の変更を、通話者があらかじめ設定した手順に従って制御するためのデータである。通話者は、操作部１１０を操作して、合成処理およびその変更手順の設定を変更することが可能である。
【０１１２】
上記実施の形態１のシステム制御部１５０の合成領域制御データ１５１は、送信画像の全領域においての撮像画像領域の割合を制御するデータであった。これに対し、この合成割合制御データ２５１は、送信画像ドットにおいての撮像画像ドットの成分割合を制御するためのデータである。
【０１１３】
［画像データ処理部２７０］
画像データ処理部２７０は、撮像部１３から入力された撮像画像データと、画像データ記憶部１８０から入力されたあらかじめ準備された画像データとを、システム制御部２５０から入力される制御信号に従って合成処理し、撮像画像データ、準備された画像データ、またはこれらの合成画像データを送信画像データとして出力する。上記の合成処理は、撮像画像データと準備された画像データのいずれかのみを送信画像データとして選択する処理を含む。上記の合成処理の手順は、上記第１の動きまたは上記第２の動きが検出されたとき、および通話者が操作部１１０の実画像送出キー１１２または処理画像送出キー１１３を操作したときに、システム制御部２５０によって変更される。なお、画像データ処理部２７０の出力画像データをあらかじめ準備した画像データとして画像データ記憶部１８０に記憶させることができるように、画像データ処理部２７０の出力画像データは画像データ記憶部１８０にも入力される。
【０１１４】
この画像データ処理部２７０は、システム制御部２５０からの制御信号に含まれる撮像画像ドットの成分割合ｖに従って、送信画像ドットにおいての撮像画像ドットと準備画像ドットの成分比率ｖ［％］：１００−ｖ［％］を設定し、撮像画像ドットと準備画像ドットとを上記の成分比率で合成（加算）することによって、送信画像データを生成する。
【０１１５】
図１３において、画像データ処理部２７０は、合成割合設定回路２７１と、画像データ合成回路１７２と、画像データ選択回路１７３とを備えている。従って、画像データ処理部２７０は、図３の画像データ処理部１７０において、合成領域設定回路１７１を合成割合設定回路２７１に変更したものである。
【０１１６】
合成割合設定回路２７１は、システム制御部２５０からの制御信号に含まれる撮像画像ドットの成分割合ｖに従って、送信画像ドットにおいての撮像画像ドットと準備画像ドットの成分比率ｖ［％］：１００−ｖ［％］を設定し、この成分比率の設定に従って画像データ合成回路１７２を制御する。
【０１１７】
上記実施の形態１の画像データ処理部１７０では、画像データ合成回路１７２のフェーダ１７５，１７６（図３（ｂ）参照）の抵抗値は、合成領域設定回路１７１によって０または∞に制御されていた。これに対し、この画像データ処理部２７０では、上記フェーダ１７５，１７６（図３（ｂ）参照）の抵抗値は、合成領域割合回路２７１によって、撮像画像ドットの成分割合および準備画像ドットの成分割合に応じた値に制御される。ただし、上記の成分割合が１００［％］または０［％］のときには、フェーダ１７５，１７６の抵抗値は０または∞になる。
【０１１８】
画像データ処理部２７０の合成処理において、送信画像ドットにおいての撮像画像ドットの成分割合をｖ［％］とすると、準備画像のドットの成分割合は１００−ｖ［％］である。任意の位置の送信画像ドットの信号レベルをＣとし、その送信画像ドットにおいての撮像画像ドット成分の信号レベルをＡ、その送信画像ドットにおいての準備画像ドット成分の信号レベルをＢとすると、上記送信画像ドットの信号レベルＣは、Ｃ＝Ａ×（０．０１ｖ）＋Ｂ×｛１−（０．０１ｖ）｝である。
【０１１９】
第１または第２の動きが検出されたときの画像データ処理部２７０においての合成処理の具体的な変更手順は、例えば以下の（Ｅ）〜（Ｈ）による。
（Ｅ）送信画像データとして撮像画像データが画像データ処理部２７０から出力されているときに、第１の動きが検出されると、送信画像データを準備画像データに切り換え、送信画像データとして準備画像データが画像データ処理部２７０から出力されているときに、第２の動きが検出されると、送信画像データを撮像画像データに切り換える。
（Ｆ）送信画像ドットにおいての撮像画像ドットの成分割合が１００［％］であるときに（送信画像データとして撮像画像データが画像データ処理部２７０から出力されているときに）、第１の動きが検出されると、撮像画像ドットの成分割合ｖをＭ（Ｍは０≦Ｍ＜１００なるあらかじめ設定された値）［％］に変更し、撮像画像ドットの成分割合ｖがＭ［％］であるときに、第２の動きが検出されると、撮像画像ドットの成分割合ｖを１００［％］に変更する。
（Ｇ）送信画像ドットにおいての撮像画像ドットの成分割合ｖが１００［％］であるときに（送信画像データとして撮像画像データが画像データ処理部２７０から出力されているときに）、第１の動きが検出されると、撮像画像ドットの成分割合ｖをＭ［％］まで時間とともに漸減させ、撮像画像ドットの成分割合ｖがＭ［％］であるときに、第２の動きが検出されると、撮像画像ドットの成分割合ｖを１００［％］まで時間とともに漸増させる。
（Ｈ）第１の動きが検出されるごとに、撮像画像ドットにおいての撮像画像ドットの成分割合ｖを減少させ、第２の動きが検出されるごとに、撮像画像ドットの成分割合ｖを増加させる。あるいは、第１の動きが検出されるごとに、送信画像データにおいての撮像画像ドットの成分割合ｖを減少させ、第２の動きが検出されると、撮像画像ドットの成分割合ｖを１００［％］にする（送信画像データを撮像画像データにする）。
【０１２０】
上記（Ｅ）の手順では、例えば、通話者が撮像部１３を上下にｎ回（ｎは正の整数）振ると、「お待ち下さい」というグラフィック画像に切り換え、撮像部１３を左右にｍ回（ｍは正の整数）振ると、撮像画像に戻す。この場合、所定時間内のｎ回の上下の動きは、第１の動きに相当し、所定時間内のｍ回の連続的な左右の動きは、第２の動きに相当する。
【０１２１】
また、上記（Ｆ）の手順では、例えば、通話者が撮像部１３を上下に振ると、送信画像ドットにおいての撮像画像ドットの成分割合ｖを１００［％］から５０［％］に瞬時に変更して、送信画像ドットを５０［％］の撮像画像ドット成分と５０［％］のグラフィック画像ドット成分からなる合成画像ドットとし、撮像部１３を左右に振ると、撮像画像ドットの成分割合ｖを５０［％］から１００［％］に瞬時に変更して、送信画像を撮像画像に切り換える。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【０１２２】
また、上記（Ｇ）の手順では、例えば、通話者が撮像部１３を速く振る（動きベクトルは大きい）と、送信画像ドットにおいての撮像画像ドットの成分割合ｖを１００［％］から０［％］まで時間とともに漸減させて、送信画像を撮像画像からグラフィック画像に切り換え、撮像部１３をゆっくり振る（動きベクトルが小さい）と、撮像画像ドットの成分割合ｖを０［％］から１００［％］まで時間とともに漸増させて、送信画像をグラフィック画像から撮像画像に切り換える。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【０１２３】
また、上記（Ｈ）の手順では、例えば、通話者が撮像部１３を上下に振る度に、送信画像ドットにおいての撮像画像ドットの成分割合を減少させ（グラフィック画像ドットの成分割合を増加させ）、逆に撮像部１３を左右に振る度に、撮像画像ドットの成分割合を増加させる（グラフィック画像ドットの成分割合を減少させる）。また、例えば、通話者が撮像部１３を上下に振る度に、送信画像ドットにおいての撮像画像ドットの成分割合を減少させ、撮像部１３を左右に振ると、撮像画像に戻す。これらの場合には、１回の上下の動きは、第１の動きに相当し、１回の左右の動きは、第２の動きに相当する。
【０１２４】
上記（Ｇ）の手順の具体例を、図１４および図１５を参照して説明する。図１４は動きが検出されたときに送信画像においての撮像画像ドットの成分割合ｖを漸増または漸減させる場合の上記撮像画像ドットの成分割合ｖの時間変化特性図の一例である。また、図１５は図１４のそれぞれのタイミングでの送信画像の図である。図１４においては、時間ｔ＝Ｔ０までは、撮像画像ドットの成分割合ｖ＝０［％］であり、送信画像はあらかじめ準備されたグラフィック画像になっている。そして、時間ｔ＝Ｔ０において、第２の動きが検出されたことをシステム制御部２５０が認識すると、システム制御部２５０は、時間ｔ＝Ｔ０〜Ｔ４において撮像画像ドットの成分割合ｖを漸増させ、時間ｔ＝Ｔ４において撮像画像ドットの成分割合ｖ＝１００［％］とし、送信画像を撮像画像に切り換える。次に、時間ｔ＝Ｔ５において、第１の動きが検出されたことをシステム制御部２５０が認識すると、システム制御部２５０は、時間ｔ＝Ｔ５〜Ｔ９において撮像画像ドットの成分割合ｖを漸減させ、時間ｔ＝Ｔ９において撮像画像ドットの成分割合ｖ＝１００［％］とし、送信画像を再びグラフィック画像に切り換える。
【０１２５】
図１４の時間ｔ＝Ｔ０において第２の動きが検出されたことをシステム制御部２５０が認識するまでは、図１５（ａ）のようにグラフィック画像のみからなる送信画像が撮像画像送信装置２００から出力される。このとき、撮像画像ドットの成分割合ｖ＝０［％］である。
【０１２６】
時間ｔ＝Ｔ０において第２の動きが検出されたことをシステム制御部２５０が認識し、撮像画像ドットの成分割合ｖの漸増を開始し、時間ｔ＝Ｔ１になると、撮像画像ドットの成分割合ｖ＝２５［％］となり、図１５（ｂ）のように７５［％］のグラフィック画像ドット成分と２５［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ１は、第２の動きの検出による合成処理の全変更時間ｔ＝Ｔ０〜ｔ＝Ｔ４の１／４に相当する。
【０１２７】
さらに時間ｔ＝Ｔ２になると、撮像画像ドットの成分割合ｖ＝５０［％］となり、図１５（ｃ）のように５０［％］のグラフィック画像ドット成分と５０［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ２は、上記合成処理の全変更時間の１／２に相当する。
【０１２８】
さらに時間ｔ＝Ｔ３になると、撮像画像ドットの成分割合ｖ＝７５［％］となり、図１０（ｄ）のように２５［％］のグラフィック画像ドット成分と７５［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ３は、上記合成処理の全変更時間の３／４に相当する。
【０１２９】
そして時間ｔ＝Ｔ４になると、撮像画像ドットの成分割合ｖ＝１００［％］となり、図１０（ｅ）のように撮像画像のみからなる送信画像が撮像画像送信装置２００から出力される。この時間ｔ＝Ｔ４から第１の動きが検知されたことを撮像画像送信装置２００が認識する時間ｔ＝Ｔ５までは、撮像画像が送信画像として送信される。
【０１３０】
時間ｔ＝Ｔ５において第１の動きが検出されたことをシステム制御部２５０が認識するまでは、図１５（ｆ）のように撮像画像のみからなる送信画像が撮像画像送信装置２００から出力される。このとき、撮像画像ドットの成分割合ｖ＝１００［％］である。
【０１３１】
時間ｔ＝Ｔ５において第１の動きが検出されたことをシステム制御部２５０が認識し、撮像画像ドットの成分割合ｖの漸減を開始し、時間ｔ＝Ｔ６になると、撮像画像ドットの成分割合ｖ＝７５［％］となり、図１５（ｇ）のように２５［％］のグラフィック画像ドット成分と７５［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ５〜ｔ＝Ｔ６は、第１の動きの検出による合成処理の全変更時間ｔ＝Ｔ５〜ｔ＝Ｔ９の１／４に相当する。
【０１３２】
さらに時間ｔ＝Ｔ７になると、撮像画像ドットの成分割合ｖ＝５０［％］となり、図１５（ｈ）のように５０［％］のグラフィック画像ドット成分と５０［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ５〜ｔ＝Ｔ７は、上記合成処理の全変更時間の１／２に相当する。
【０１３３】
さらに時間ｔ＝Ｔ８になると、撮像画像ドットの成分割合ｖ＝２５［％］となり、図１５（ｉ）のように７５［％］のグラフィック画像ドット成分と２５［％］の撮像画像ドット成分の合成画像ドットからなる送信画像が撮像画像送信装置２００から出力される。時間ｔ＝Ｔ０〜ｔ＝Ｔ１は、第２の動きの検出による合成処理の全変更時間ｔ＝Ｔ０〜ｔ＝Ｔ４の３／４に相当する。
【０１３４】
そして時間ｔ＝Ｔ９になると、撮像画像ドットの成分割合ｖ＝０［％］となり、図１５（ｊ）のようにグラフィック画像のみからなる送信画像が撮像画像送信装置２００から出力される。この時間ｔ＝Ｔ９から第２の動きが再び検知されるまでは、グラフィック画像が送信画像として送信される。
【０１３５】
上記のように実施の形態２では、撮像画像データを送信しているときに第１の動きを検出すると、撮像画像ドットの成分割合ｖを変更することによって、送信画像データを撮像画像データから準備した画像データあるいは撮像画像データと画像データの合成画像データに変更し、準備画像データまたは合成画像データを送信しているときに第２の動きを検出すると、撮像画像ドットの成分割合ｖを変更することによって、送信画像データを再び撮像画像データに変更することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データを送信しないようにすることができるので、上記実施の形態１と同じように、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに合成画像によって不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１３６】
また、図１４および図１５の合成処理の変更手順では、送信画像ドットにおいての撮像画像ドットの成分割合ｖを漸減させまたは漸増させることにより、第１の動きが検出されたときに撮像画像と重なるグラフィック画像が徐々に鮮明に映し出されるようになり、第２の動きが検出されたときにグラフィック画像と重なる撮像画像が徐々に鮮明に映し出されるようになるので、上記実施の形態１と同じように、受信画像が瞬時に切り換えられることによって相手通話者が受ける軽いショックを軽減させることができる。
【０１３７】
また、この実施の形態２では、準備画像データとして全黒画像を用いることにより、第１の動きが検出されたときに撮像画像をフェードアウトさせ、第２の動きが検出されたときに撮像画像をフェードインさせることができる。
【０１３８】
また、この実施の形態２では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときの上記（Ｅ）〜（Ｈ）の手順のいずれかと同じように合成処理を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときの上記（Ｅ）〜（Ｈ）の手順のいずれかと同じように合成処理を変更することも可能である。この場合、例えば、送信画像として撮像画像が送信されている最中に資料や他の人を探す必要が生じ、その様子を相手見られたくないときには、通話者は、第１の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは処理画像送信キー１１３を操作することによって、送信画像を準備画像または合成画像に切り換え、上記の資料や他の人が見つかったら、通話者は、第２の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは実画像送信キー１１２を操作することによって、送信画像を再び撮像画像に切り換える。
【０１３９】
また、この実施の形態２では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときの上記（Ｅ）〜（Ｈ）の手順のいずれかと同じように合成処理を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときの上記（Ｅ）〜（Ｈ）の手順のいずれかと同じように合成処理を変更することも可能である。例えば、オフフックされ通信を開始するときには、図１４のｔ＝Ｔ０〜ｔ＝Ｔ４のように送信画像ドットにおいての撮像画像ドットの成分割合ｖを漸増させることによって、送信画像を図１５の（ａ）〜（ｅ）のように変更し、オンフックされ通信を終了するときには、図１４のｔ＝Ｔ５〜ｔ＝Ｔ９のように送信画像ドットにおいての撮像画像ドットの成分割合ｖを漸減させることによって、送信画像を図１５の（ｆ）〜（ｊ）のように変更する。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データを送信しないようにすることができるので、上記実施の形態１と同じように、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０１４０】
以上のように実施の形態２によれば、動き検出部１６０によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、撮像画像を送信しているときに第１の動きが検出されると、送信画像ドットにおいての撮像画像ドットの成分割合を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更し、上記送信画像が準備画像または上記合成画像であるときに上記第２の動きが検出されると、上記撮像画像ドットの成分割合を変更することによって送信画像を撮像画像に変更することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに合成画像によって不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１４１】
なお、上記（Ｇ）の手順は、図１４のように撮像画像ドットの成分割合ｖを直線的に変化させる手順に限定されるものではなく、例えば２次関数曲線などに従って撮像画像ドットの成分割合ｖを変化させることも可能である。また、画像データ処理部２７０の合成処理において、複数枚の準備画面のドットと撮像画像ドットとを合成することも可能である。
【０１４２】
実施の形態３．
図１６は本実施の形態３の撮像画像送信装置のブロック構成図である。図１６において、図１または図１１と同じものには同じ符号を付してある。この実施の形態３の撮像画像送信装置３００は、図２６のテレビ電話装置１に設けられているものとする。また、図１７は図１６のシステム制御部３５０の内部ブロック構成図、図１８は図１６の画像データ処理部３７０の内部ブロック構成図である。図１７において図２または図１２と同じものには同じ符号を付してあり、図１８において図３または図１３と同じものには同じ符号を付してある。
【０１４３】
図１６の撮像画像送信装置３００は、操作部１１０と、撮像部１３と、画像データ符号化部１４と、システム制御部３５０と、動き検出部１６０と、画像データ処理部３７０と、画像データ記憶部１８０とを備えている。従って、撮像画像送信装置３００は、上記実施の形態１の撮像画像送信装置１００（図１参照）において、システム制御部１５０（図２参照）および画像データ処理部１７０（図３参照）を、それぞれシステム制御部３５０（図１７参照）および画像データ処理部３７０（図１８参照）に変更したものである。
【０１４４】
この実施の形態３の撮像画像送信装置３００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、あらかじめ準備された画像データが記憶されている画像データ記憶部１８０と、上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを生成する画像データ処理部３７０と、上記送信画像データを符号化して出力する画像データ符号化部１４と、上記合成処理を制御するシステム制御部３５０と、上記撮像画像データから撮像対象または上記撮像部の第１の動きおよび第２の動きを検出する動き検出部１６０とを備え、システム制御部３５０が、上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記撮像画像データに変更することを特徴とする。
【０１４５】
この実施の形態３では、画像データ処理部３７０は、撮像画像領域の割合ｍに従って送信画像データの全領域に撮像画像領域および準備画像領域を設定し、上記の撮像画像領域に、撮像画像領域の撮像画像ドットの成分割合ｖ１に従って合成した撮像画像ドットと準備画像ドットの合成画像ドットを挿入するとともに、上記の準備画像領域に、準備画像領域の撮像画像ドットの成分割合ｖ２に従って合成された合成画像ドットを挿入することによって、送信画像データを生成し、システム制御部３５０は、第１の動きまたは第２の動きが検出されたときに、撮像画像領域の割合ｍを０［％］≦ｍ≦１００［％］の間で変更し、撮像画像領域の撮像画像ドットの成分割合ｖ１を０［％］＜ｖ１≦１００［％］の間で変更し、準備画像領域の撮像画像ドットの成分割合ｖ２を０［％］≦ｖ２＜１００［％］の間で変更することによって、送信画像データを変更する。ｖ１＝０［％］のときには、撮像画像領域の合成画像ドットは撮像画像ドットとなり、ｖ２＝０［％］のときには、準備画像領域の合成画像ドットは準備画像ドットとなる。例えば、０［％］＜ｖ１＜１００［％］、ｖ２＝０［％］であれば、送信画像の撮像画像領域は、撮像画像ドットと準備画像ドットの合成画像ドットからなり、送信画像の準備画像領域は、準備画像ドットからなる。
【０１４６】
［システム制御部３５０］
システム制御部３５０は、操作部１１０からの入力内容などに従って、動き検出部１６０、画像データ処理部３７０、画像データ符号化部１４を制御する。このシステム制御部３５０は、画像データ処理部３７０においての合成処理を制御しており、動き検出部１６０によって上記第１の動きまたは上記第２の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の合成処理を変更する。また、システム制御部３５０は、画像データ処理部３７０の出力画像データを画像データ記憶部１８０に書き込む動作、および画像データ記憶部１８０に準備された画像データを画像データ処理部２７０に読み出す動作を制御する。このシステム制御部３５０は、動き検出処理キー１１４がＯＮのときには、第１の動きまたは第２の動きが検出されると上記の合成処理を変更するが、動き検出処理キー１１４がＯＦＦのときには、第１の動きまたは第２の動きが検出されても上記の合成処理を変更しない。
【０１４７】
図１７において、システム制御部３５０には、合成内容制御データ３５１と、準備画像選択データ１５２とがあらかじめ設定されている。合成内容制御データ３５１は、画像データ処理部３７０においての合成処理、および動きの検出などによる上記合成処理の変更を、通話者があらかじめ設定した手順に従って制御するためのデータである。通話者は、操作部１１０を操作して、合成処理およびその変更手順の設定を変更することが可能である。
【０１４８】
この合成内容制御データ３５１は、送信画像においての撮像画像領域の割合ｍ、撮像画像領域の撮像画像ドットの成分割合ｖ１、および準備画像領域の撮像画像ドットの成分割合ｖ２を制御するためのデータである。従って、合成内容制御データ３５１は、上記実施の形態１の合成領域制御データ１５１と、上記実施の形態２の合成割合制御データ２５１との組合せのデータであるとも言える。
【０１４９】
［画像データ処理部３７０］
画像データ処理部３７０は、撮像部１３から入力された撮像画像データと、画像データ記憶部１８０から入力されたあらかじめ準備された画像データとを、システム制御部３５０から入力される制御信号に従って合成処理し、撮像画像データ、準備された画像データ、またはこれらの合成画像データを送信画像データとして出力する。上記の合成処理は、撮像画像データと準備された画像データのいずれかのみを送信画像データとして選択する処理を含む。上記の合成処理の手順は、上記第１の動きまたは上記第２の動きが検出されたとき、および通話者が操作部１１０の実画像送出キー１１２または処理画像送出キー１１３を操作したときに、システム制御部３５０によって変更される。なお、画像データ処理部３７０の出力画像データをあらかじめ準備した画像データとして画像データ記憶部１８０に記憶させることができるように、画像データ処理部３７０の出力画像データは画像データ記憶部１８０にも入力される。
【０１５０】
この画像データ処理部３７０は、システム制御部３５０からの制御信号に含まれる撮像画像領域の割合ｍに従って、送信画像データの全領域において撮像画像領域および準備画像領域を設定し、上記制御信号に含まれる撮像画像領域の撮像画像ドットの成分割合ｖ１に従って、撮像画像領域においての撮像画像ドットと準備画像ドットの成分比率ｖ１［％］：１００−ｖ１［％］を設定し、上記制御信号に含まれる準備画像領域の撮像画像ドットの成分割合ｖ２に従って、撮像領域においての撮像画像ドットと準備画像ドットの成分比率ｖ２［％］：１００−ｖ２［％］を設定し、撮像画像領域の成分比率ｖ１［％］：１００−ｖ１［％］で合成した撮像画像ドットと準備画像ドットの合成画像ドットを撮像画像領域に挿入し、上記準備画像領域の成分比率ｖ２［％］：１００−ｖ２［％］で合成した撮像画像ドットと準備画像ドットの合成画像ドットを準備画像領域に挿入することによって、送信画像データを生成する。
【０１５１】
図１８において、画像データ処理部３７０は、合成内容設定回路３７１と、画像データ合成回路１７２と、画像データ選択回路１７３とを備えている。従って、画像データ処理部３７０は、図３の画像データ処理部１７０において、合成領域設定回路１７１を合成内容設定回路３７１に変更したものであり、図１３の画像データ処理部２７０において、合成割合設定回路２７１を合成内容設定回路３７１に変更したものである。上記の合成内容設定回路３７１は、図３の合成領域設定回路１７１と、図１３の合成割合設定回路２７１とを有する。
【０１５２】
合成内容設定回路３７１は、合成領域設定回路１７１において、システム制御部１５０からの制御信号に含まれる撮像画像領域の割合ｍなどに従って、送信画像の全領域においての撮像画像領域の位置および面積、ならびに準備画像領域の位置および面積を設定するとともに、合成割合設定回路２７１において、上記の制御信号に含まれる撮像画像ドットの成分割合ｖ１，ｖ２に従って、それぞれ撮像画像領域においての撮像画像ドットと準備画像ドットの成分比率ｖ１［％］：１００−ｖ１［％］、および準備画像領域においての撮像画像ドットと準備画像ドットの成分比率ｖ２［％］：１００−ｖ２［％］を設定し、上記撮像画像領域および準備画像領域の設定、ならびに上記成分比率の設定に従って、画像データ合成回路１７２を制御する。
【０１５３】
上記のように実施の形態３では、撮像画像データを送信しているときに第１の動きを検出すると、撮像画像領域の割合ｍ、ならびに撮像画像領域での撮像画像ドットの成分割合ｖ１、および準備画像領域での撮像画像ドットの成分割合ｖ２を変更することによって、送信画像データを撮像画像データから準備した画像データあるいは撮像画像データと画像データの合成画像データに変更し、準備画像データまたは合成画像データを送信しているときに第２の動きを検出すると、撮像画像領域の割合ｍ、ならびに撮像画像領域での撮像画像ドットの成分割合ｖ１、および準備画像領域での撮像画像ドットの成分割合ｖ２を変更することによって、送信画像データを再び撮像画像データに変更することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データを送信しないようにすることができるので、上記実施の形態１と同じように、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、部分的かつ不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１５４】
この実施の形態３では、第１の動きまたは第２の動きを検出したときに、撮像画像領域の割合ｍおよび撮像画像ドットの成分割合ｖ１，ｖ２を全て変更するか、撮像画像領域の割合ｍおよび撮像画像ドットの成分割合ｖ１のみを変更するか、撮像画像領域の割合ｍおよび撮像画像ドットの成分割合ｖ２のみを変更するかについては、任意に設定することが可能である。
【０１５５】
また、この実施の形態３では、撮像画像領域において合成画像と、準備画像領域においての合成画像（ｖ２＝０［％］のときには準備画像）に、別々の準備画像データを用いることが可能である。
【０１５６】
また、この実施の形態３では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときと同じ手順で合成処理を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときと同じ手順で合成処理を変更することも可能である。
【０１５７】
また、この実施の形態３では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときと同じ手順で合成処理を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときと同じ手順で合成処理を変更することも可能である。
【０１５８】
以上のように実施の形態３によれば、動き検出部１６０によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、撮像画像を送信しているときに第１の動きが検出されると、送信画像においての撮像画像領域の割合および撮像画像ドットの成分割合を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更し、上記送信画像が準備画像または上記合成画像であるときに上記第２の動きが検出されると、上記撮像画像領域の割合および上記撮像画像ドットの成分割合を変更することによって送信画像を撮像画像に変更することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、部分的かつ不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１５９】
実施の形態４．
図１９は本発明の実施の形態４の撮像画像送信装置のブロック構成図である。図１９において、図１と同じものには同じ符号を付してある。この実施の形態４の撮像画像送信装置４００は、図２６のテレビ電話装置１に設けられているものとする。また、図２０は図１９のシステム制御部４５０の内部ブロック構成図である。図２０において図２と同じものには同じ符号を付してある。
【０１６０】
図１９の撮像画像送信装置４００は、操作部１１０と、撮像部１３と、画像データ符号化部４４０と、システム制御部４５０と、画像データ処理部１７０と、画像データ記憶部１８０とを備えている。従って、撮像画像送信装置４００は、上記実施の形態１の撮像画像送信装置１００（図１参照）において、システム制御部１５０（図２参照）および画像データ符号化部１４（図４参照）を、それぞれシステム制御部４５０（図２０参照）および動き検出回路４４５を設けた画像データ符号化部４４０に変更し、動き検出回路１６０（図５）を削除したものである。
【０１６１】
この実施の形態４の撮像画像送信装置４００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、あらかじめ準備された画像データが記憶されている画像データ記憶部１８０と、上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを生成する画像データ処理部１７０と、上記送信画像データを符号化して出力する画像データ符号化部４４０と、上記合成処理を制御するシステム制御部４５０とを備え、データ符号化部４４０が、上記送信画像データとして上記撮像画像データが入力されているときに、動き検出回路４４５によって上記撮像画像データから撮像対象または上記撮像部の第３の動きを検出し、システム制御部４５０が、上記送信画像データが撮像画像データであるときに上記第３の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更することを特徴とする。
【０１６２】
上記第３の動きは、例えば、上記実施の形態１で説明した第１の動きまたは第２の動きのいずれか、あるいは第１の動きおよび第２の動きである。
【０１６３】
上記実施の形態１の撮像画像送信装置１００は、動き検出部１６０を設け、この動き検出部１６０によって撮像画像データから第１の動きおよび第２の動きを検出し、第１の動きまたは第２の動きが検出されると、合成処理を変更することによって送信画像データを変更するものであった。
【０１６４】
これに対し、この実施の形態４の撮像画像送信装置４００は、動き検出部１６０に相当する動き検出回路４４５を画像データ符号化部４４０に設け、この動き検出回路４４５によって画像データ符号化部４４０に入力される撮像画像データから上記第３の動きを検出し、第３の動きが検出されると、合成処理を変更することによって送信画像データを変更する。
【０１６５】
この実施の形態４では、画像データ符号化部４４０に撮像画像データが入力されているときでないと、動き検出回路４４５は上記第３の動きを検出できない（入力された合成画像データから上記第３の動きを検出するのは困難である）。このため、システム制御部４５０は、画像データ符号化部４４０に撮像画像データが入力されているときに（送信画像データが撮像画像データであるときに）、動き検出回路４４５によって上記第３の動きが検出されると、上記実施の形態１において説明した（Ａ）〜（Ｄ）の手順において第１の動きが検出されたときと同じようにして、撮像画像領域の割合ｍを変更することによって、送信画像データを撮像画像データから準備画像データまたは準備画像データと撮像画像データの合成画像データに変更する。また、システム制御部４５０は、通話者によって実画像送出キー１１２が操作されると、上記実施の形態１において説明した（Ａ）〜（Ｄ）の手順において第２の動きが検出されたときと同じようにして、撮像画像領域の割合ｍを変更することによって、送信画像データを準備画像データまたは上記合成画像データから撮像画像データに変更する。
【０１６６】
［画像データ符号化部４４０］
画像データ符号化部４４０は、上記実施の形態１の画像データ符号化部１４において、動き検出回路４４５を設けたものである。
【０１６７】
［動き検出回路４４５］
動き検出回路４４５は、例えば上記実施の形態１の動き検出部１６０（図５参照）と同じような構成になっており、画像データ処理部１７０から入力された撮像画像データから、撮像対象または撮像部１３の第３の動きを検出し、システム制御部４５０に通知する。
【０１６８】
［システム制御部４５０］
システム制御部４５０は、操作部１１０からの入力内容などに従って、画像データ処理部１７０および画像データ符号化部４４０を制御する。このシステム制御部４５０は、画像データ処理部１７０においての合成処理を制御しており、動き検出回路４４５によって上記第３の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の合成処理を変更する。また、システム制御部４５０は、画像データ処理部１７０の出力画像データを画像データ記憶部１８０に書き込む動作、および画像データ記憶部１８０に準備された画像データを画像データ処理部１７０に読み出す動作を制御する。このシステム制御部４５０は、動き検出処理キー１１４がＯＮのときには、第３の動きが検出されると上記の合成処理を変更するが、動き検出処理キー１１４がＯＦＦのときには、第３の動きが検出されても上記の合成処理を変更しない。
【０１６９】
図２０において、システム制御部４５０には、合成領域制御データ４５１と、準備画像選択データ１５２とが設けられている。合成領域制御データ４５１は、上記実施の形態１の合成領域制御データ１５１と同じように、画像データ処理部１７０においての合成処理、および第３の動きの検出または実画像送出キー１１２の操作などによる上記合成処理の変更を、通話者があらかじめ設定した手順に従って制御するためのデータである。通話者は、操作部１１０を操作して、合成処理およびその変更手順の設定を変更することが可能である。
【０１７０】
上記のように実施の形態４では、撮像画像データを送信しているときに第３の動きを検出すると、撮像画像領域の割合ｍを変更することによって、送信画像データを撮像画像データから準備画像データあるいは撮像画像データと準備画像データの合成画像データに変更し、準備画像データまたは合成画像データを送信しているときに実画像送出キー１１２が操作されると、撮像画像領域の割合ｍを変更することによって、送信画像データを再び撮像画像データに変更することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データを送信しないようにすることができるので、上記実施の形態１と同じように、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第３の動きが検出されたときに、部分的ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１７１】
さらに、動き検出回路４４５を画像データ符号化部４４０に設けることによって、上記実施の形態１のように動き検出部１６０を個別に設ける必要がないので、撮像画像送信装置を上記実施の形態１よりも簡単な構成にすることができる。
【０１７２】
また、この実施の形態４では、通話者が処理画像送信キー１１３を操作したときに、第３の動きを検出したときと同じ手順で合成処理を変更することも可能である。
【０１７３】
また、この実施の形態４では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、実画像送出キー１１２が操作されたときと同じ手順で合成処理を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第３の動きを検出したときと同じ手順で合成処理を変更することも可能である。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データにモザイク処理を施して送信することができるので、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０１７４】
以上のように実施の形態４によれば、画像データ符号化部４４０に設けた動き検出回路４４５によって撮像対象または撮像部１３の第３の動きを検出し、撮像画像を送信しているときに第３の動きが検出されると、送信画像においての撮像画像領域の割合を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更し、上記送信画像が準備画像または上記合成画像であるときに実画像送出キー１１２が操作されると、上記撮像画像領域の割合を変更することによって送信画像を撮像画像に変更することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第３の動きが検出されたときに、部分的かつ不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１７５】
なお、上記実施の形態４の撮像画像送信装置は、上記実施の形態１の撮像画像送信装置において、動き検出回路を画像データ符号化部に設けたものであるが、上記実施の形態２または３の撮像画像送信装置において、動き検出回路を画像データ符号化部に設けることも可能である。
【０１７６】
実施の形態５．
図２１は本発明の実施の形態５の撮像画像送信装置のブロック構成図である。図２１において、図１と同じものには同じ符号を付してある。この実施の形態５の撮像画像送信装置５００は、図２６のテレビ電話装置に設けられているものとする。また、図２２は図２０の画像データ符号化部５４０の内部ブロック構成図である。図２２において図４と同じものには同じ符号を付してある。
【０１７７】
図２１の撮像画像送信装置５００は、操作部１１０と、撮像部１３と、画像データ符号化部５４０と、システム制御部５５０と、動き検出部１６０と、量子化係数設定部５９０とを備えている。従って、撮像画像送信装置５００は、上記実施の形態１の撮像画像送信装置１００（図１参照）において、画像データ符号化部１４（図４参照）およびシステム制御部１５０（図２参照）をそれぞれ画像データ符号化部５４０およびシステム制御部５５０に変更し、量子化係数設定部５９０を設け、画像データ処理部１７０および画像データ記憶部１８０を削除して撮像画像データを画像データ符号化部５４０に直接入力する構成としたものである。
【０１７８】
この実施の形態５の撮像画像送信装置５００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部５４０と、上記量子化係数を設定する量子化係数設定部５９０と、上記量子化係数の設定を制御するシステム制御部５５０と、上記撮像画像データから撮像対象または上記撮像部の第１の動きまたは第２の動きを検出する動き検出部１６０とを備え、システム制御部５５０が、上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると、上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると、上記量子化係数を変更することによって上記モザイク処理を停止することを特徴とする。
【０１７９】
［画像データ符号化部５４０］
図２２において、画像データ符号化部５４０は、ＤＣＴ回路１４１と、量子化回路５４２と、可変長符号化回路１４３と、送信バッファ１４４とを備えている。従って、画像データ符号化部５４０は、図４の画像データ符号化部１４において、量子化回路１４２を量子化回路５４２に変更したものである。
【０１８０】
［量子化回路５４２］
量子化回路５４２は、図４の量子化回路１４２において、量子化係数設定部５９０から入力される量子化係数の設定信号に従って量子化係数を可変設定できるようにしたものである。
【０１８１】
［量子化係数設定部５９０］
量子化係数設定部５９０は、システム制御部５５０からの制御信号に従って量子化回路５４２の量子化係数を設定する。
【０１８２】
［システム制御部５５０］
システム制御部５５０は、操作部１１０からの入力内容などに従って、動き検出部１６０、画像データ符号化部５４０、量子化設定部５９０を制御する。このシステム制御部５５０は、量子化設定部５９０においての量子化回路５４２の量子化係数の設定を制御しており、動き検出部１６０によって上記第１の動きまたは上記第２の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の量子化係数の設定を変更する。
【０１８３】
システム制御部５５０には、量子化係数の設定、および動きの検出などによる上記量子化係数の設定の変更を、通話者があらかじめ設定した手順に従って制御するためのデータが設けられている。通話者は、操作部１１０を操作して、量子化係数の設定値およびその変更手順の設定を変更することが可能である。
【０１８４】
ここで、画像データ符号化部の量子化回路の量子化係数を変更できるようにした理由について説明する。上記の量子化係数を適当な大きな値に変更すると、符号化された撮像画像データ（画像データ符号化部５４０から出力される撮像画像データ）にモザイク処理を施すことができる。量子化係数の値が大きくなるほど、復号画像においてのモザイク目が大きくなるため、モザイク効果は大きくなる。逆に、量子化係数の値が小さくなるほど、復号画像においてのモザイク目は小さくなり、量子化係数を適当な小さな値に設定することによって、復号画像は撮像画像をほぼ忠実に再現したものとなる。上記実施の形態１〜３においての量子化係数は、上記の適当な小さな値に設定され、この値に固定されている。
【０１８５】
このように、量子化係数の値と符号化された撮像画像データ（送信画像データ）においてのモザイク効果（復号画像のモザイク効果）とは比例する。そこで、量子化係数の値を変更することによって、撮像画像データにおいてのモザイク効果を変化させることができ、上記実施の形態２の合成処理と同じように、撮像画像データの明瞭さを変更することができる。
【０１８６】
第１または第２の動きが検出されたときの量子化係数の設定の具体的な変更手順は、例えば以下の（Ｉ）〜（Ｌ）による。
（Ｉ）量子化係数が、符号化された撮像画像データ（送信画像データ）にモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎに設定されているときに、第１の動きが検出されると、量子化係数をモザイク処理が施される値Ｍ（＞Ｎ）に変更し、量子化係数が上記Ｍに設定されているときに、第２の動きが検出されると、量子化係数を上記Ｎに変更する。
（Ｊ）量子化係数が、符号化された撮像画像データ（送信画像データ）にモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎに設定されているときに、第１の動きが検出されると、量子化係数を、モザイク処理が施される値Ｍ（＞Ｎ）まで時間とともに漸増させ、量子化係数が上記Ｍに設定されているときに、第２の動きが検出されると、量子化係数を上記Ｎまで時間とともに漸減させる。
（Ｋ）第１の動きが検出されるごとに、量子化係数を増加させ、第２の動きが検出されるごとに、量子化係数を減少させる。あるいは、第１の動きが検出されるごとに、量子化係数を増加させ、第２の動きが検出されると、量子化係数を、符号化された撮像画像データ（送信画像データ）にモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎに変更する。
【０１８７】
また、上記（Ｉ）の手順では、例えば、通話者が撮像部１３を上下に振ると、量子化係数をモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎからモザイク処理が施される値Ｍ（＞Ｎ）に瞬時に変更し、撮像部１３を左右に振ると、量子化係数を上記Ｍから上記Ｎに瞬時に変更する。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【０１８８】
また、上記（Ｊ）の手順では、例えば、通話者が撮像部１３を速く振る（動きベクトルは大きい）と、量子化係数をモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎからモザイク処理が施されるＭ（＞Ｎ）まで時間とともに漸増させ、撮像部１３をゆっくり振る（動きベクトルが小さい）と、量子化係数を上記Ｍから上記Ｎまで時間とともに漸減させる。この場合には、撮像部１３を速く振る動きは、第１の動きに相当し、撮像部１３をゆっくり振る動きは、第２の動きに相当する。
【０１８９】
なお、上記（Ｊ）の手順に例においては、量子化係数を、上記実施の形態１の図９のように直線的に変化させることも可能であるし、２次関数などの曲線に従って変化させることも可能である。
【０１９０】
また、上記（Ｋ）の手順では、例えば、量子化係数の下限値を、モザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎ、量子化係数の上限値を、大きなモザイク目のモザイク処理が施される値Ｍとし、通話者が撮像部１３を上下に振る度に、量子化係数を増加させ、逆に撮像部１３を左右に振る度に、量子化係数を減少させる。また、例えば、通話者が撮像部１３を上下に振る度に、量子化係数を増加させ、撮像部１３を左右に振ると、量子化係数を上記Ｎに変更する。これらの場合には、１回の上下の動きは、第１の動きに相当し、１回の左右の動きは、第２の動きに相当する。
【０１９１】
上記のように実施の形態５では、撮像画像データ（送信画像データ）にモザイク処理が施されていないときに第１の動きを検出すると、量子化係数を変更することによって、上記撮像画像データにモザイク処理を施し、撮像画像データ（送信画像データ）にモザイク処理が施されているときに第２の動きを検出すると、量子化係数を変更することによって、上記モザイク処理を停止することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データにモザイク処理を施してすることができるので、上記実施の形態１と同じように、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、量子化係数を変更することによって撮像画像データにモザイク処理を施すことにより、不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１９２】
また、上記（Ｊ）の変更手順では、量子化係数を漸減させまたは漸増させることにより、第１の動きが検出されたときにモザイク目が徐々に粗くなって撮像画像が徐々にぼやけて映し出されるようになり、第２の動きが検出されたときにモザイク目が徐々に細かくなって撮像画像が徐々に鮮明に映し出されるようになるので、上記実施の形態１と同じように、受信画像（復号画像）が瞬時に変化することによって相手通話者が受ける軽いショックを軽減させることができる。
【０１９３】
さらに、上記実施の形態１の撮像画像送信装置１００が、従来の撮像画像送信装置に、動き検出部１６０、画像データ処理部１７０、および画像データ記憶部１８０を設けた構成であるのに対し、実施の形態５の撮像画像送信装置５００は、従来の撮像画像送信装置に、動き検出部１６０および量子化係数設定部５９０を設けた構成である。量子化係数設定部５９０は、画像データ処理部１７０および画像データ記憶部１８０からなるユニットよりも小規模な回路で実現できるので、この実施の形態５では、小規模な回路の追加で撮像画像送信装置にプライバシー保護機能を追加することができる。
【０１９４】
また、通話者（使用者）は、操作部１１０を操作して量子化係数の設定を変更することによって、モザイクの目の大きさを容易に変更することができる。
【０１９５】
また、この実施の形態５では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときの上記（Ｉ）〜（Ｋ）の手順のいずれかと同じように量子化係数を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときの上記（Ｉ）〜（Ｋ）の手順のいずれかと同じように量子化係数を変更することも可能である。この場合、例えば、送信画像としてモザイク処理されていない撮像画像が送信されている最中に資料や他の人を探す必要が生じ、その様子を相手見られたくないときには、通話者は、第１の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは処理画像送信キー１１３を操作することによって、送信画像にモザイク処理を施し、上記の資料や他の人が見つかったら、通話者は、第２の動きを撮像画像送信装置１００に検出させる動作または操作をするか、あるいは実画像送信キー１１２を操作することによって、上記のモザイク処理を停止させる。
【０１９６】
また、この実施の形態５では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときの上記（Ｉ）〜（Ｋ）の手順のいずれかと同じように量子化係数を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときの上記（Ｉ）〜（Ｋ）の手順のいずれかと同じように量子化係数を変更することも可能である。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データにモザイク処理を施して送信することができるので、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０１９７】
以上のように実施の形態５によれば、動き検出部１６０によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、モザイク処理されていない撮像画像を送信しているときに第１の動きが検出されると、量子化係数を変更することによって送信画像にモザイク処理を施し、モザイク処理された撮像画像が送信されているときに第２の動きが検出されると、量子化係数を変更することによって上記モザイク処理を停止することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、量子化係数を変更することによって撮像画像データにモザイク処理を施すことにより、不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０１９８】
さらに実施の形態５によれば、量子化係数設定部５９０は小規模な回路で実現できるので、小規模な回路の追加で撮像画像送信装置にプライバシー保護機能を追加することができる。
【０１９９】
実施の形態６．
図２３は本発明の実施の形態６の撮像画像送信装置のブロック構成図である。図１９において、図２１と同じものには同じ符号を付してある。この実施の形態６の撮像画像送信装置６００は、図２６のテレビ電話装置に設けられているものとする。また、図２４は図２３の画像データ符号化部６４０の内部ブロック構成図である。図２４において図２１または図２２と同じものには同じ符号を付してある。
【０２００】
図２３の撮像画像送信装置６００は、撮像部１３と、操作部１１０と、内部に動き検出回路を設けた画像データ符号化部６４０と、システム制御部５５０と、量子化係数設定部５９０とを備えている。従って、撮像画像送信装置６００は、上記実施の形態５の撮像画像送信装置５００（図２１参照）において、画像データ符号化部５４０（図２２参照）を内部に動き検出回路６４５を設けた画像データ符号化部６４０（図２４参照）に変更し、動き検出回路１６０を削除したものである。
【０２０１】
この実施の形態６の撮像画像送信装置６００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部６４０と、上記量子化係数を設定する量子化係数設定部５９０と、上記量子化係数の設定を制御するシステム制御部５５０とを備え、データ符号化部６４０が、動き検出回路４４５によって上記撮像画像データから撮像対象または上記撮像部の第１の動きまたは第２の動きを検出し、システム制御部５５０が、上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると、上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると、上記量子化係数を変更することによって上記モザイク処理を停止することを特徴とする。
【０２０２】
上記実施の形態５の撮像画像送信装置５００は、動き検出部１６０を設け、この動き検出部１６０によって撮像画像データから第１の動きおよび第２の動きを検出し、第１の動きまたは第２の動きが検出されると、量子化係数を変更するものであった。上記第１の動きおよび第２の動き、ならびに動き検出回路４４５においてのこれらの動きの検出手順は、上記実施の形態１で説明したものと同じである。
【０２０３】
これに対し、この実施の形態６の撮像画像送信装置６００は、動き検出部１６０に相当する動き検出回路６４５を画像データ符号化部６４０に設け、この動き検出回路６４５によって画像データ符号化部６４０に入力される撮像画像データから上記第１の動きおよび上記第２の動きを検出し、第１の動きまたは第２の動きが検出されると、上記実施の形態５と同じ変更手順によって量子化係数を変更する。
【０２０４】
［画像データ符号化部６４０］
図２４において、画像データ符号化部６４０は、ＤＣＴ回路１４１と、量子化回路５４２と、可変長符号化回路１４３と、送信バッファ１４４と、動き検出回路６４５とを備えている。従って、画像データ符号化部６４０は、図２２の画像データ符号化部５４０において、動き検出回路６４５を設けたものである。
【０２０５】
［動き検出回路６４５］
動き検出回路６４５は、例えば上記実施の形態１の動き検出部１６０（図５参照）と同じような構成になっており、画像データ符号化部６４０に入力された撮像画像データから、撮像対象または撮像部１３の第１の動きおよび第２の動きをを検出し、システム制御部５５０に通知する。
【０２０６】
この実施の形態６では、システム制御部５５０は、画像データ符号化部６４０に設けられた動き検出回路６４５によって第１の動きまたは第２の動きが検出されると、上記実施の形態５において説明した（Ｉ）〜（Ｋ）の手順と同じようにして、量子化係数を変更することによって、送信される撮像画像データにモザイク処理を施し、またはこのモザイク処理を停止させる。
【０２０７】
上記のように実施の形態６では、撮像画像データ（送信画像データ）にモザイク処理が施されていないときに第１の動きを検出すると、量子化係数を変更することによって、上記撮像画像データにモザイク処理を施し、撮像画像データ（送信画像データ）にモザイク処理が施されているときに第２の動きを検出すると、量子化係数を変更することによって、上記モザイク処理を停止することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データにモザイク処理を施してすることができるので、上記実施の形態５と同じように、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、量子化係数を変更することによって撮像画像データにモザイク処理を施すことにより、不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０２０８】
さらに、動き検出回路６４５を画像データ符号化部６４０に設けることによって上記実施の形態５のように動き検出部１６０を個別に設ける必要がなく、量子化係数設定部５９０は上記実施の形態１の画像データ処理部１７０および画像データ記憶部１８０からなるユニットよりも小規模な回路で実現できるので、撮像画像送信装置を簡単な構成にすることができ、かつ小規模な回路の追加で撮像画像送信装置にプライバシー保護機能を追加することができる。
【０２０９】
また、この実施の形態６では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときと同じ手順で量子化係数を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときと同じ手順で量子化係数を変更することも可能である。この場合、例えば、送信画像としてモザイク処理されていない撮像画像が送信されている最中に資料や他の人を探す必要が生じ、その様子を相手見られたくないときには、通話者は、第１の動きを撮像画像送信装置６００に検出させる動作または操作をするか、あるいは処理画像送信キー１１３を操作することによって、送信画像にモザイク処理を施し、上記の資料や他の人が見つかったら、通話者は、第２の動きを撮像画像送信装置６００に検出させる動作または操作をするか、あるいは実画像送信キー１１２を操作することによって、上記のモザイク処理を停止させる。
【０２１０】
また、この実施の形態６では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときと同じ手順で量子化係数を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときと同じ手順で量子化係数を変更することも可能である。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データにモザイク処理を施して送信することができるので、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０２１１】
以上のように実施の形態６によれば、画像データ符号化部６４０に設けた動き検出回路６４５によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、モザイク処理されていない撮像画像を送信しているときに第１の動きが検出されると、量子化係数を変更することによって送信画像にモザイク処理を施し、モザイク処理された撮像画像が送信されているときに第２の動きが検出されると、量子化係数を変更することによって上記モザイク処理を停止することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。また、第１の動きが検出されたときに、量子化係数を変更することによって撮像画像データにモザイク処理を施すことにより、不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができる。
【０２１２】
さらに実施の形態６によれば、動き検出回路６４５を画像データ符号化部６４０に設けることによって動きを検出する手段を個別に設ける必要がなく、量子化係数設定部５９０は小規模な回路で実現できるので、撮像画像送信装置を簡単な構成にすることができ、かつ小規模な回路の追加で撮像画像送信装置にプライバシー保護機能を追加することができる。
【０２１３】
実施の形態７．
図２５は本発明の実施の形態７の撮像画像送信装置のブロック構成図である。図２５において、図１および図２１と同じものには同じ符号を付してある。この実施の形態７の撮像画像送信装置７００は、図２６のテレビ電話装置に設けられているものとする。
【０２１４】
図２５の撮像画像送信装置７００は、操作部１１０と、撮像部１３と、画像データ符号化部５４０と、システム制御部７５０と、動き検出部１６０と、画像データ処理部１７０と、画像データ記憶部１８０と、量子化係数設定部５９０とを備えている。従って、撮像画像送信装置７００は、上記実施の形態１の撮像画像送信装置１００（図１参照）において、量子化係数設定部５９０を設け、画像データ符号化部１４およびシステム制御部１５０を、それぞれ画像データ符号化部５４０およびシステム制御部７５０に変更したものである。また、撮像画像送信装置７００は、上記実施の形態５の撮像画像送信装置５００（図２１参照）において、画像データ処理部１７０および画像データ記憶部１８０を設け、システム制御部５５０をシステム制御部７５０に変更したものである。
【０２１５】
この実施の形態７の撮像画像送信装置７００は、撮像対象を撮像して撮像画像データを出力する撮像部１３と、あらかじめ準備された画像データが記憶されている画像データ記憶部１８０と、上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを生成する画像データ処理部１７０と、上記送信画像データを設定された量子化係数で符号化して出力する画像データ符号化部５４０と、上記量子化係数を設定する量子化係数設定部５９０と、上記合成処理および上記量子化係数の設定を制御するシステム制御部７５０と、上記撮像画像データから撮像対象または上記撮像部の第１の動きまたは第２の動きを検出する動き検出部１６０とを備え、システム制御部７５０が、上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記送信画像データを上記準備された画像データまたは上記合成画像データに変更するとともに、上記量子化係数を変更することによって上記符号化された送信画像データにモザイク処理を施し、上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記送信画像データを上記撮像画像データに変更するとともに、上記量子化係数を変更することによって上記モザイク処理を停止することを特徴とする。
【０２１６】
つまり、実施の形態７の撮像画像送信装置７００は、上記実施の形態１の撮像画像送信装置１００に上記実施の形態５の撮像画像送信装置５００を適用したものであり（上記実施の形態５の撮像画像送信装置５００に上記実施の形態１の撮像画像送信装置１００を適用したものであり）、撮像画像データ、データ準備画像、またはこれらの画像データの合成画像データからなる送信画像データを画像データ処理部１７０での合成処理によって生成し、この送信画像データを画像データ符号化部５４０において量子化係数設定部５９０によって設定された量子化係数で符号化して送信し、第１の動きまたは第２の動きが検出されたときに、上記合成処理および上記量子化係数を変更する。
【０２１７】
従って、撮像画像送信装置７００から送信される画像データは、第１の動きが検出されたときには、モザイク処理が施された撮像画像データと準備画像データの合成画像データ（またはモザイク処理が施された準備画像データ）となり、第２の動きが検出されたときには、モザイク処理が施されていない撮像画像データとなる。
【０２１８】
［システム制御部７５０］
システム制御部７５０は、操作部１１０からの入力内容などに従って、動き検出部１６０、画像データ処理部１７０、画像データ符号化部５４０、量子化設定部５９０を制御する。このシステム制御部７５０は、画像データ処理部１７０においての合成処理および量子化設定部５９０においての量子化係数の設定を制御しており、動き検出部１６０によって上記第１の動きまたは上記第２の動きが検出されるか、あるいは操作部１１０の実画像送出キー１１２または処理画像送出キー１１３が操作されると、上記の合成処理および上記の量子化係数の設定を変更する。また、システム制御部７５０は、画像データ処理部１７０の出力画像データを画像データ記憶部１８０に書き込む動作、および画像データ記憶部１８０に準備された画像データを画像データ処理部１７０に読み出す動作を制御する。このシステム制御部７５０は、動き検出処理キー１１４がＯＮのときには、第１の動きまたは第２の動きが検出されると上記の合成処理および上記の量子化係数の設定を変更するが、動き検出処理キー１１４がＯＦＦのときには、第１の動きまたは第２の動きが検出されても上記の合成処理および上記の量子化係数の設定を変更しない。
【０２１９】
システム制御部７５０には、合成処理、量子化係数の設定、ならびに動きの検出などによる上記合成処理の変更および上記量子化係数の設定の変更を、通話者があらかじめ設定した手順に従って制御するためのデータが設けられている。通話者は、操作部１１０を操作して、合成処理の手順、量子化係数の設定値、およびこれらの変更手順の設定を変更することが可能である。
【０２２０】
第１または第２の動きが検出されたときの合成処理および量子化係数の具体的な変更手順は、例えば以下の（Ｌ）〜（Ｎ）による。
（Ｌ）画像データ符号化部５４０に入力される送信画像データの撮像画像領域の割合ｍが１００［％］であり、量子化係数が送信画像データにモザイク処理が施されない値（復号画像が撮像画像をほぼ忠実に再現したものとなる値）Ｎに設定されているときに（画像データ符号化部５４０から送信される画像データがモザイク処理されていない撮像画像データであるときに）、第１の動きが検出されると、撮像画像領域の割合ｍをＭ１（Ｍ１は０≦Ｍ１＜１００なるあらかじめ設定された値）［％］に変更するとともに、量子化係数をモザイク処理が施される値Ｍ２（＞Ｎ）に変更し、画像データ符号化部５４０に入力される送信画像データの撮像画像領域の割合ｍがＭ１［％］であり、量子化係数が上記Ｍ２に設定されているときに（画像データ符号化部５４０から送信される画像データがモザイク処理された合成画像データであるときに）、第２の動きが検出されると、撮像画像領域の割合ｍを１００［％］に変更するとともに、量子化係数を上記Ｎに変更する。
（Ｍ）画像データ符号化部５４０に入力される送信画像データの撮像画像領域の割合ｍが１００［％］であり、量子化係数が送信画像データにモザイク処理が施されない値Ｎに設定されているときに（画像データ符号化部５４０から送信される画像データがモザイク処理されていない撮像画像データであるときに）、第１の動きが検出されると、撮像画像領域の割合ｍをＭ１［％］まで時間とともに漸減させるとともに、量子化係数をモザイク処理が施される値Ｍ２（＞Ｎ）まで時間とともに漸増させ、画像データ符号化部５４０に入力される送信画像データの撮像画像領域の割合ｍがＭ１［％］であり、量子化係数が上記Ｍ２に設定されているときに（画像データ符号化部５４０から送信される画像データがモザイク処理された合成画像データであるときに）、第２の動きが検出されると、撮像画像領域の割合ｍを１００［％］まで時間とともに漸増させるとともに、量子化係数を上記Ｎまで時間とともに漸減させる。
（Ｎ）第１の動きが検出されるごとに、撮像画像領域の割合ｍを減少させるとともに、量子化係数を増加させ、第２の動きが検出されるごとに、撮像画像領域の割合ｍを増加させるとともに、量子化係数を減少させる。あるいは、第１の動きが検出されるごとに、撮像画像領域の割合ｍを減少させるとともに、量子化係数を増加させ、第２の動きが検出されると、撮像画像領域の割合ｍを１００［％］にするとともに、量子化係数をモザイク処理が施されない値Ｎに変更する。
【０２２１】
上記のように実施の形態７では、モザイク処理されていない撮像画像データが送信しているときに第１の動きを検出すると、撮像画像領域の割合ｍおよび量子化係数を変更することによって、画像データ符号化部５４０に入力される送信画像データを合成画像データまたは準備画像データに変更するとともに、この送信画像データにモザイク処理を施し、モザイク処理された合成画像データまたは準備画像データを送信しているときに第２の動きを検出すると、撮像画像領域の割合ｍおよび量子化係数を変更することによって、画像データ符号化部５４０に入力される送信画像データを再び撮像画像データに変更するとともに、上記のモザイク処理を停止することにより、通話者の簡単な動作または操作で、撮像画像を送信しているときに画像の送信を長い間突然停止することなく、服装や髪型の乱れを直したり、雑然とした周囲を整理したり、資料を探索したり、別の人を呼び出すために退席するときなどの相手に送信したくない撮像画像データを送信しないようにすることができるので、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０２２２】
また、上記（Ｍ）の変更手順では、撮像画像の割合ｍを漸減させまたは漸増させるとともに、量子化係数を漸減させまたは漸増させることにより、第１の動きが検出されたときに、送信画像においての撮像画像領域が徐々に狭くなるとともに、モザイク目が徐々に粗くなって撮像画像が徐々にぼやけて映し出されるようになり、第２の動きが検出されたときに、撮像画像領域が徐々に広くなるとともに、モザイク目が徐々に細かくなって撮像画像が徐々に鮮明に映し出されるようになるので、受信画像（復号画像）が瞬時に変化することによって相手通話者が受ける軽いショックを軽減させることができる。
【０２２３】
さらに、この実施の形態７では、第２の動きが検出されたときに、撮像画像と準備画像の合成画像にさらにモザイク処理を施した画像を送信するので、通話者のプライバシーをより確実に保護することができるとともに、第２の動きが検出されたときに撮像画像に換えて送信する画像の設定自由度（通話者の選択自由度）を広げることができる。
【０２２４】
また、この実施の形態７では、通話者が処理画像送信キー１１３を操作したときに、第１の動きを検出したときと同じ手順で合成処理および量子化係数を変更し、通話者が実画像送信キー１１２を操作したときに、第２の動きを検出したときと同じ手順で合成処理および量子化係数を変更することも可能である。この場合、例えば、送信画像としてモザイク処理されていない撮像画像が送信されている最中に資料や他の人を探す必要が生じ、その様子を相手見られたくないときには、通話者は、第１の動きを撮像画像送信装置７００に検出させる動作または操作をするか、あるいは処理画像送信キー１１３を操作することによって、送信画像を合成画像に変更するとともにモザイク処理を施し、上記の資料や他の人が見つかったら、通話者は、第２の動きを撮像画像送信装置６００に検出させる動作または操作をするか、あるいは実画像送信キー１１２を操作することによって、送信画像を撮像画像に戻すとともに上記のモザイク処理を停止させる。
【０２２５】
また、この実施の形態７では、通話者がフックキー１１１によってオフフック操作をして通信を開始するときに、第２の動きを検出したときと同じ手順で合成処理および量子化係数を変更し、通話者がフックキー１１１によってオンフック操作をして通信を終了するときに、第１の動きを検出したときと同じ手順で量子化係数を変更することも可能である。これによって、通信の開始時および終了時において、画像の送信を長い間停止させることなく、相手に送信したくない撮像画像データにモザイク処理を施して送信することができるので、相手にテレビ電話装置の故障や通信回線のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０２２６】
以上のように実施の形態７によれば、動き検出部１６０によって撮像対象または撮像部１３の第１の動きおよび第２の動きを検出し、モザイク処理されていない撮像画像を送信しているときに第１の動きが検出されると、合成処理および量子化係数を変更することによって送信画像を合成画像に変更するとともにモザイク処理を施し、モザイク処理された送信画像が送信されているときに第２の動きが検出されると、合成処理および量子化係数を変更することによって送信画像を撮像画像に戻すとともに上記モザイク処理を停止することにより、通話者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができる。
【０２２７】
さらに実施の形態７によれば、第２の動きが検出されたときに、撮像画像と準備画像の合成画像にさらにモザイク処理を施した画像を送信するので、通話者のプライバシーをより確実に保護することができるとともに、第２の動きが検出されたときに撮像画像に換えて送信する画像の設定自由度（通話者の選択自由度）を広げることができる。
【０２２８】
なお、上記実施の形態７の撮像画像送信装置は、上記実施の形態５の撮像画像送信装置を上記実施の形態１の撮像画像送信装置に適用したものであるが、上記実施の形態５の撮像画像送信装置を上記実施の形態２または３の撮像画像送信装置に適用することも可能である。さらには、上記実施の形態６の撮像画像送信装置を上記実施の形態４の撮像画像送信装置に適用して、上記実施の形態７と同じ効果を得ることも可能である。この場合には、撮像画像送信装置の構成を上記実施の形態７よりも簡単な構成にすることができる。
【０２２９】
実施の形態８．
本発明の実施の形態８の撮像画像送信装置は、上記実施の形態１〜７の撮像画像送信装置において、システム制御部１５０，２５０，３５０，４５０，５５０，７５０が、上記第１の動き、上記第２の動き、または上記第３の動きが検出されている間は、送信画像データまたは撮像画像データの符号化を停止させ、画像を送信しないことを特徴とする。これによって、撮像対象または撮像部１３の動きによって発生する見苦しい撮像画像を送信しないようにすることができる。なお、上記の動きが検出されている期間は短いため、画像の送信が長い期間停止してしまい、相手通話者を不安にさせることはない。
【０２３０】
このように実施の形態８によれば、上記第１の動き、上記第２の動き、または上記第３の動きが検出されている間は符号化を停止し、画像を送信しないことにより、撮像対象または撮像部１３の動きによって発生する見苦しい撮像画像を送信しないようにすることができる。
【０２３１】
実施の形態９．
本発明の実施の形態９の撮像画像送信装置は、上記実施の形態１〜７の撮像画像送信装置において、動き検出部１６０または画像データ符号化部の動き検出回路４４５，６４５が、上記第１の動きおよび上記第２の動きあるいは上記第３の動きの他に、上記第１の動きおよび上記第２の動きを含むあるいは上記第３の動きを含む撮像対象または上記撮像部の第４の動きを検出し、システム制御部１５０，２５０，３５０，４５０，５５０，７５０が、上記第４の動きが所定の期間検出されないと、送信画像データまたは撮像画像データの符号化を停止させ、上記符号化を停止しているときに上記第４の動きが検出されると、上記符号化を再開することを特徴とする。これによって、長い間変化のない相手通話者にとっては無意味な画像を送信しないようにできるともに、効率的な符号化および画像送信ができる。
【０２３２】
上記第４の動きの検出手順は、上記実施の形態１で説明した第１の動きおよび第２の動きの検出手順と同じである。また、第４の動きの検出範囲は、第１の動きおよび第２の動きの検出範囲を説明した図８に準じて設定される。
【０２３３】
実施の形態９においてのシステム制御部は、例えば、内部にタイマ回路を備えており、このタイマ回路によって第４の動きが検出されなくなってからの時間経過を計測し、この経過時間が所定のしきい値に達すると、画像データ符号化部においての画像データの符号化を停止させる。そして、システム制御部は、第４の動きが検出されたことを動き検出部または動き検出回路から通知されると、上記の符号化処理を再開させる。
【０２３４】
このように実施の形態９によれば、第４の動きが所定の期間検出されないと、送信画像データまたは撮像画像データの符号化を停止させ、符号化を停止しているときに第４の動きが検出されると、上記符号化を再開することにより、無意味な画像を送信しないようにできるともに、効率的な符号化および画像送信ができる。
【０２３５】
実施の形態１０．
本発明の実施の形態１０の撮像画像送信装置は、上記実施の形態１〜７の撮像画像送信装置において、画像データ処理部から出力される送信画像データ（撮像画像データ、準備画像データ、または合成画像データ）を映し出すモニタ部、あるいは画像データ符号化部から出力された符号化された送信画像データ（モザイク処理されていない撮像画像データ、モザイク処理された撮像画像データまたは合成画像データなど）を復号して映し出すモニタ部を設けたことを特徴とする。
【０２３６】
このように実施の形態１０によれば、送信される画像を映すモニタ部を設けたことにより、通話者（使用者）は送信される画像を目で見て確認することができる。
【０２３７】
なお、上記実施の形態１〜１０において、操作部１１０に設けられるキーは実画像送出キー１１２および処理画像送出キー１１３に限らず、例えば、いたずら電話装置撃退キーを設け、そのキーが押されたときには、画像データ記憶部部１８０などにあらかじめ記憶してある抗議のメッセージ画像を相手側に送るように構成することも可能である。
【０２３８】
また、上記実施の形態１〜１０において、図２６の通信網４０は有線回線に限るものではなく、無線回線も含むことは言うまでもない。また、図２６の通信網４０は双方向性の通信網であるが、本発明の撮像画像送信装置は、放送網のように、単方向の送信網にも適用可能である。
【０２３９】
また、本発明の撮像画像送信装置は、符号化された画像データを、既存の記憶媒体を介してオフラインで、あるいはリアルタイムではなく時間差をもって相手に送信する撮像画像送信装置にも適用可能である。
【０２４０】
【発明の効果】
以上説明したように、本発明の請求項１に記載の撮像画像送信装置によれば、動き検出部によって撮像対象に対して相対的に変位する撮像部の第１の動きおよび第２の動きを検出し、撮像画像を送信しているときに第１の動きが検出されると、合成処理を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更し、上記送信画像が準備画像または上記合成画像であるときに上記第２の動きが検出されると、合成処理を変更することによって送信画像を撮像画像に変更することにより、使用者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、使用者のプライバシーを保護することができるという効果がある。
【０２４１】
請求項２〜５に記載の撮像画像送信装置によれば、第１の動きが検出されたときに、撮像画像データを挿入する第１の領域の割合を変更することによって上記送信画像データを合成画像データに変更することにより、合成画像によって部分的ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができるという効果がある。
【０２４２】
請求項４に記載の撮像画像送信装置によれば、第１の動きまたは第２の動きが検出されたときに、撮像画像データを挿入する第１の領域の割合を漸減させまたは漸増させることにより、受信画像が瞬時に切り換えられることによって相手が受ける軽いショックを軽減させることができるという効果がある。
【０２４３】
請求項６〜９に記載の撮像画像送信装置によれば、第１の動きが検出されたときに、撮像画像データのドットの成分割合を変更することによって上記送信画像データを合成画像データに変更することにより、第２の動きが検出されたときに合成画像によって不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができるという効果がある。
【０２４４】
請求項８に記載の撮像画像送信装置によれば、第１の動きまたは第２の動きが検出されたときに、撮像画像データのドットの成分割合を漸減させまたは漸増させることにより、受信画像が瞬時に切り換えられることによって相手が受ける軽いショックを軽減させることができるという効果がある。
【０２４５】
請求項１０〜１２に記載の撮像画像送信装置によれば、撮像画像を送信しているときに画像データ符号化部によって撮像対象に対して相対的に変位する撮像部の第３の動きを検出し、第３の動きが検出されると、合成処理を変更することによって送信画像を準備画像または撮像画像と準備画像の合成画像に変更することにより、使用者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、使用者のプライバシーを保護することができるという効果がある。さらに、動きを検出する手段を個別に設ける必要がないので、撮像画像送信装置を簡単な構成にすることができるという効果がある。また、第３の動きが検出されたときに、撮像画像データを挿入する第１の領域の割合を変更することによって上記送信画像データを合成画像データに変更することにより、合成画像によって部分的ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができるという効果がある。
【０２４７】
請求項１２に記載の撮像画像送信装置によれば、第３の動きが検出されたときまたは実画像送出キー操作されたときに、撮像画像データを挿入する第１の領域の割合を漸減させまたは漸増させることにより、受信画像が瞬時に切り換えられることによって相手が受ける軽いショックを軽減させることができるという効果がある。
【０２４８】
請求項１３〜１５に記載の撮像画像送信装置によれば、第３の動きが検出されたときに、撮像画像データのドットの成分割合を変更することによって上記送信画像データを合成画像データに変更することにより、合成画像によって不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができるという効果がある。
【０２４９】
請求項１５に記載の撮像画像送信装置によれば、第３の動きが検出されたときまたは実画像送出キー操作されたときに、撮像画像データのドットの成分割合を漸減させまたは漸増させることにより、受信画像が瞬時に切り換えられることによって相手が受ける軽いショックを軽減させることができるという効果がある。
【０２５０】
請求項１６に記載の撮像画像送信装置によれば、動き検出部によって撮像対象に対して相対的に変位する撮像部の第１の動きおよび第２の動きを検出し、モザイク処理されていない撮像画像を送信しているときに第１の動きが検出されると、量子化係数を変更することによって送信画像にモザイク処理を施し、モザイク処理された撮像画像が送信されているときに第２の動きが検出されると、量子化係数を変更することによって上記モザイク処理を停止することにより、使用者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができるという効果がある。
【０２５１】
請求項１７に記載の撮像画像送信装置によれば、画像データ符号化部によって撮像対象に対して相対的に変位する撮像部の第１の動きおよび第２の動きを検出し、モザイク処理されていない撮像画像を送信しているときに第１の動きが検出されると、量子化係数を変更することによって送信画像にモザイク処理を施し、モザイク処理された撮像画像が送信されているときに第２の動きが検出されると、量子化係数を変更することによって上記モザイク処理を停止することにより、使用者の簡単な動作または操作で、相手に装置の故障や通信網のトラブルなどの不安を感じさせることなく、通話者のプライバシーを保護することができるという効果がある。さらに、動きを検出する手段を個別に設ける必要がないので、撮像画像送信装置を簡単な構成にすることができるという効果がある。
【０２５２】
請求項１８〜２０に記載の撮像画像送信装置によれば、第１の動きが検出されたときに、量子化係数を変更することによって撮像画像データにモザイク処理を施すことにより、不鮮明ながらも撮像画像を送信するので、撮像画像が全く送信されないことによって相手が感じる不快感や不安感を緩和させることができるという効果がある。
【０２５３】
請求項１９に記載の撮像画像送信装置によれば、第１の動きまたは第２の動きが検出されたときに、量子化係数を漸減させまたは漸増させることにより、受信画像が瞬時に切り換えられることによって相手が受ける軽いショックを軽減させることができるという効果がある。
【０２５４】
請求項２１に記載の撮像画像送信装置によれば、第２の動きが検出されたときに、撮像画像と準備画像の合成画像にさらにモザイク処理を施した画像を送信するので、通話者のプライバシーをより確実に保護することができるとともに、第２の動きが検出されたときに撮像画像に換えて送信する画像の設定自由度（通話者の選択自由度）を広げることができるという効果がある。
【０２５６】
請求項２２に記載の撮像画像送信装置によれば、撮像対象に対して相対的に変位する撮像部の第４の動きが所定の期間検出されないと、送信画像データまたは撮像画像データの符号化を停止させ、符号化を停止しているときに第４の動きが検出されると、上記符号化を再開することにより、無意味な画像を送信しないようにできるともに、効率的な符号化および画像送信ができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の実施の形態１の撮像画像送信装置のブロック構成図である。
【図２】 図１のシステム制御部の内部ブロック構成図である。
【図３】 図１の画像データ処理部の内部ブロック構成図である。
【図４】 図１の画像データ符号化部の内部ブロック構成図である。
【図５】 図１の動き検出部の内部ブロック構成図である。
【図６】 図１の送信画像においての合成処理（送信画像データの生成手順）を説明する図である。
【図７】 図１の動き検出部において検出される動きベクトルの説明図である。
【図８】 図１の動き検出部においての第１の動きおよび第２の動きの判別手順を説明する図である。
【図９】 図１の撮像画像送信装置において動きを検出したときの送信画像での撮像画像寸法（撮像画像領域）の割合の時間変化特性図の一例である。
【図１０】 図９のそれぞれのタイミングでの送信画像の図である。
【図１１】 本発明の実施の形態２の撮像画像送信装置のブロック構成図である。
【図１２】 図１１のシステム制御部の内部ブロック構成図である。
【図１３】 図１１の画像データ処理部の内部ブロック構成図である。
【図１４】 図１１の撮像画像送信装置において動きを検出したときの送信画像での撮像画像ドットの成分割合の時間変化特性図の一例である。
【図１５】 図１４のそれぞれのタイミングでの送信画像の図である。
【図１６】 本実施の形態３の撮像画像送信装置のブロック構成図である。
【図１７】 図１６のシステム制御部の内部ブロック構成図である。
【図１８】 図１６の画像データ処理部の内部ブロック構成図である。
【図１９】 本発明の実施の形態４の撮像画像送信装置のブロック構成図である。
【図２０】 図１９のシステム制御部の内部ブロック構成図である。
【図２１】 本発明の実施の形態５の撮像画像送信装置のブロック構成図である。
【図２２】 図２１の画像データ符号化部の内部ブロック構成図である。
【図２３】 本発明の実施の形態６の撮像画像送信装置のブロック構成図である。
【図２４】 図２３の画像データ符号化部の内部ブロック構成図である。
【図２５】 本発明の実施の形態７の撮像画像送信装置のブロック構成図である。
【図２６】 テレビ電話システムのブロック構成図である。
【図２７】 従来の撮像画像送信装置のブロック構成図である。
【符号の説明】
１３ 撮像部、 １４，４４０，５４０，６４０ 画像データ符号化部、 １００，２００，３００，４００，５００，６００，７００ 撮像画像送信装置、１１０ 操作部、 １１１ フックキー、 １１２ 実画像送出キー、 １１３ 処理画像送出キー、 １１４ 動き検出処理キー、 １５０，２５０，３５０，４５０，５５０，７５０ システム制御部、 １８０ 画像データ記憶部、１６０ 動き検出部、 １７０，２７０，３７０ 画像データ処理部、 ４４５，６４５ 動き検出回路、 ５９０ 量子化設定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a captured image transmission apparatus that transmits captured image data (captured image data).
[0002]
[Prior art]
The above-described captured image transmission device is provided, for example, in a videophone device that constitutes a videophone system. In recent years, with the development of communication networks and advances in data compression technology, videophone systems that can transmit both sound and images are gradually becoming widespread. Unlike a conventional telephone system that transmits and receives only sound, the video telephone system allows conversation while confirming captured images of the communication partner and the background on the monitor screen of the video telephone apparatus.
[0003]
FIG. 26 is a block diagram of a videophone system using a videophone device. FIG. 27 is a block diagram of a conventional captured image transmitting apparatus provided in the videophone apparatus of FIG. In FIG. 27, the same components as those in FIG. 26 are denoted by the same reference numerals.
[0004]
In the videophone system of FIG. 26, two videophone devices 1 (1A and 1B) are arranged via a communication network 40 such as a telephone network, and audio and video are transmitted and received between the videophone devices 1A and 1B. Is implemented. The caller 2 who uses the videophone device 1A is 2A, the background 3 of the caller 2A is 3A, the handset 4 of the videophone device 1A used by the caller 2A is 4A, and the caller who uses the videophone device 1B. 2 is 2B, the background 3 of the caller 2B is 3B, and the handset 4 of the videophone 1B used by the caller 2B is 4B. The caller 2B and its background 3B are displayed on the monitor screen 5A of the videophone device 1A, and the caller 2A and its background 3A are displayed on the monitor screen 5B of the videophone device 1B.
[0005]
The videophone device 1 (1A or 1B) includes an operation unit 11, a monitor 12, an imaging unit 13, a handset 4 (4A or 4B), a system control unit 15, and a voice data encoding / decoding unit 16. , An image data encoding / decoding unit 17, a transmission control unit 18, and an interface unit 19.
[0006]
The operation unit 11 is used by the caller 2 (2A or 2B) to connect to the communication network to start communication, dial operation, on-hook operation to end communication, and audio data in the videophone device 1. For example, an operation for controlling the encoding / decoding process, the encoding / decoding process of image data, and the like are performed. The monitor 12 displays an image of the other party 2 (2B or 2A) and the background 3 (3B or 3A) transmitted from the other party videophone device 1 (1B or 1A) on the screen. The imaging unit 13 images the caller 2 and its background 3 and outputs the captured image data to the image data encoding / decoding unit 17. The handset 4 (4A or 4B) inputs the voice of the caller 2 (2A or 2B) to the videophone device 1 (1A or 1B), and the other party transmitted from the other videophone device 1 (1B or 1A). The voice of the caller 2 (2B or 2A) is output from the videophone device 1.
[0007]
The system control unit 15 performs audio data encoding / decoding processing, image data encoding / decoding processing, and overall control of the videophone device 1 in accordance with the input content from the operation unit 11. The voice data encoding / decoding unit 16 encodes the voice signal input from the handset 4, decodes the received voice data, and sends it to the handset 14. The image data encoding / decoding unit 17 encodes the captured image data input from the imaging unit 13, decodes the received image data, and sends it to the monitor 12. The transmission control unit 18 converts the audio data and the image data output from the audio data encoding / decoding unit 16 and the image data encoding / decoding unit 17 into signals for transmission to the communication network 40, and the communication network 40. The audio data and the image data are extracted from the signal transmitted from, and output to the audio data encoding / decoding unit 16 and the image data encoding / decoding unit 17, respectively. The interface unit 19 adjusts the signal level and the signal format in order to transmit the signal input from the transmission control unit 18 to the communication network 40, and processes the signal received from the communication network 40 inside the videophone device 1. Adjust the signal level, signal format, etc. as possible.
[0008]
In the captured image transmitting apparatus of FIG. 27, the operation unit 11 is provided with a hook key 111 for a caller to perform an off-hook operation and an on-hook operation. The image data encoding unit 14 is an encoding block provided in the image data encoding / decoding unit 17 in FIG. The internal configuration of the image data encoding unit 14 conforms to, for example, “ISO-IEC / JTC1 / SC29 / WG11 MPEG 92 / NO245 Test Model 2”. For example, the image data encoding unit 14 performs a process for reducing redundancy in the time axis direction such as DCT discrete cosine transform in the spatial axis direction on the input captured image data, and quantizes the captured image data. Then, the information amount of the captured image data is compressed by performing variable length coding on the quantized captured image data.
[0009]
The operations of the videophone system of FIG. 26 and the conventional captured image encoding apparatus of FIG. 27 will be described below. First, when the caller 2A operates the hook key 111 of the videophone device 1A, the system control unit 15 of the videophone device 1A connects the videophone device 1 to the communication network 40 through the transmission control unit 18, the interface unit 19, and the like. Next, when the caller 2A dials the dial number of the other caller 2B (the other videophone device 1B), a communication path is established between the videophone device 1A and the videophone device 1B via the communication network 40. . Then, the image of the caller 2B is displayed together with the image of the background 3B on the monitor screen 5A of the videophone device 1A, and the image of the caller 2A is displayed together with the image of the background 3A on the monitor screen 5B of the videophone device 1B. It is. In this way, voice and images can be transmitted and received between the caller 2A and the caller 2B.
[0010]
When the caller 2A operates the hook key 111 during communication, the system control unit 15 of the videophone device 1A disconnects the videophone device 1A from the communication network 40 by the transmission control unit 18, the interface unit 19, and the like. Then, the system control unit 15 of the videophone device 1B also disconnects the videophone device 1B from the communication network 40, and the other party and the background image displayed on the monitor screen 12 of the videophone devices 1A and 1B disappear. In this way, communication between the callers 2A and 2B ends.
[0011]
[Problems to be solved by the invention]
The videophone device is advantageous in that the state of the caller can be transmitted to the remote caller by the captured image and the state of the caller can be known from the captured image. On the other hand, in the conventional captured image transmitting apparatus, the captured image on the caller side is always transmitted to the other party as it is, so that the captured image (partial region of the captured image) that is not desired to be shown to the other party may be transmitted. .
[0012]
For example, while you are on a call, you can suspend voices when you have a problem with your clothes or hairstyle, arrange cluttered surroundings, search for materials, or leave to call another person. The captured image of the operation and background is transmitted and displayed on the monitor screen of the other videophone device. These captured images are images that the caller does not want to show to others, and that even the captured images that do not want to be shown to others are transmitted, the privacy of the caller is not protected, This is not desirable. Further, from the viewpoint of the other party's caller, the above operation and background image are not meaningful screens.
[0013]
In order to solve the above inconvenience, for example, it is conceivable to configure the captured image transmission apparatus so that transmission of captured image data can be stopped by a caller's hold operation. However, if the transmission stop period of the captured image data becomes longer and the period during which the image is not projected on the other party's monitor screen becomes longer, the other party's caller may be caused by the above-described hold operation, It may be uneasy to be able to distinguish whether it is a problem of the communication network or not.
[0014]
The present invention has been made to solve such a conventional problem, and when it is not desired to transmit a captured image as it is, an image prepared in advance or subjected to image processing instead of the captured image as it is. It is an object of the present invention to provide a captured image transmission device that can transmit an image with a simple operation.
[0015]
[Means for Solving the Problems]
  In order to achieve the above object, a captured image transmission apparatus according to claim 1 of the present invention provides:
  An imaging unit that captures an imaging target, outputs captured image data, and is movable by a user;
  An image data storage unit in which image data prepared in advance is stored;
  An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
  An image data encoding unit that encodes and outputs the transmission image data;
  A system control unit for controlling the synthesis process;
  From the captured image data, the imaging unit that is displaced relative to the imaging targetAt least one of moving direction, moving distance, moving speed, moving accelerationWhat is a first movement that satisfies a preset condition and what is the first movement?At least one of the moving direction, moving distance, moving speed, moving accelerationA motion detector for detecting a second motion having different preset conditions;
  With
  The system controller is
  If the first motion is detected when the transmission image data is captured image data, the transmission image data is changed to the prepared image data or the composite image data by changing the composition processing. ,
  If the second motion is detected when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data by changing the composition processing. Do
  It is characterized by that.
[0016]
The captured image transmission apparatus according to claim 2 is the apparatus according to claim 1,
The image data processing unit inserts the captured image data into a first area of all areas of the transmission image data, and prepares the second area excluding the first area from the entire area. And generating the transmission image data by changing the ratio of the first area in the entire area between 0 to 100 [%],
The system control unit changes the transmission image data by changing a ratio of the first region when the first movement or the second movement is detected.
It is characterized by that.
[0017]
The captured image transmitting apparatus according to claim 3 is the apparatus according to claim 2,
The system controller is
If the first movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is changed to M (0 ≦ M <100) [%],
If the second movement is detected when the ratio of the first area is M [%], the ratio of the first area is changed to 100 [%].
It is characterized by that.
[0018]
The captured image transmission device according to claim 4 is the method of claim 2,
The system controller is
If the first movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is gradually decreased to M (0 ≦ M <100) [%] with time. ,
If the second movement is detected when the ratio of the first area is M [%], the ratio of the first area is gradually increased to 100 [%] with time.
It is characterized by that.
[0019]
The captured image transmission apparatus according to claim 5 is the image acquisition apparatus according to claim 2,
The system control unit decreases the ratio of the first area every time the first movement is detected, and increases the ratio of the first area every time the second movement is detected.
It is characterized by that.
[0020]
The captured image transmission apparatus according to claim 6 is the apparatus according to claim 1,
The image data processing unit generates the respective dots of the transmission image data by combining the first dots that are the dots of the captured image data and the second dots that are the dots of the prepared image data. The transmission image data is generated by changing the component ratio of the first dot in the dots of the transmission image data between 0 and 100 [%],
The system control unit changes the transmission image data by changing a component ratio of the first dot when the first movement or the second movement is detected.
It is characterized by that.
[0021]
The captured image transmission apparatus according to claim 7 is the image acquisition apparatus according to claim 6,
The system controller is
When the first movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%]. ,
If the second movement is detected when the component ratio of the first dot is M [%], the component of the first dot is changed to 100 [%].
It is characterized by that.
[0022]
The captured image transmission device according to claim 8 is the method of claim 6,
The system controller is
If the first movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%] over time. Decrease,
If the second movement is detected when the component ratio of the first dot is M [%], the component ratio of the first dot is gradually increased to 100 [%] with time.
It is characterized by that.
[0023]
The captured image transmission device according to claim 9 is the method of claim 5,
The system controller is
Each time the first movement is detected, the component ratio of the first dot is decreased, and each time the second movement is detected, the component ratio of the first dot is increased.
It is characterized by that.
[0024]
  The captured image transmission apparatus according to claim 10,
  An imaging unit that captures an imaging target, outputs captured image data, and is movable by a user;
  An image data storage unit in which image data prepared in advance is stored;
  An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
  An image data encoding unit that encodes and outputs the transmission image data;
  A system control unit for controlling the synthesis process;,
An actual image transmission key for changing the transmission image data to captured image data;
  With
  the aboveimageThe data encoding unit, when the captured image data is input as the transmission image data, moves from the captured image data relative to the imaging target, the moving direction, the moving distance, and the movement of the imaging unit Detecting a third movement satisfying a preset condition of at least one of the speed and the movement acceleration,
  The image data processing unit inserts the captured image data into a first area of all areas of the transmission image data, and prepares the second area excluding the first area from the entire area. The transmission image data is generated by changing the ratio of the first area in the entire area between 0% and 100% according to the control signal,
  When the third motion is detected when the transmission image data is captured image data, the system control unit changes the composition processing to change the transmission image data to the prepared image data or the Change to composite image dataAnd
  When the actual image transmission key is operated when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data,
  The transmission image data is changed by changing the ratio of the first area when the third movement is detected or when the real image transmission key is operated.
  It is characterized by that.
[0026]
  Claim 11The captured image transmitting device described inClaim 10In
  The system controller is
  If the third movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is changed to M (0 ≦ M <100) [%],
  When the actual image transmission key is operated when the ratio of the first area is M [%], the ratio of the first area is changed to 100 [%].
  It is characterized by that.
[0027]
  Claim 12The captured image transmitting device described inClaim 10In
  The system controller is
  If the third movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is gradually decreased with time to M (0 ≦ M <100) [%]. ,
  When the actual image transmission key is operated when the ratio of the first area is M [%], the ratio of the first area is gradually increased to 100 [%] with time.
  It is characterized by that.
[0028]
  Claim 13The captured image transmission device described in,
  An imaging unit that images an imaging target and outputs captured image data, and is movable by a user;
  An image data storage unit in which image data prepared in advance is stored;
  An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
  An image data encoding unit that encodes and outputs the transmission image data;
  A system control unit for controlling the synthesis process;
  Real image transmission key for changing the transmission image data to captured image data
  With,
  The image data encoding unit is configured to move a moving direction and a moving distance of the imaging unit that is displaced relative to the imaging target from the captured image data when the captured image data is input as the transmission image data. , Detecting a third movement satisfying a preset condition of at least one of movement speed and movement acceleration,
  The image data processing unit generates the respective dots of the transmission image data by combining the first dots that are the dots of the captured image data and the second dots that are the dots of the prepared image data. The composite image data is generated by changing the component ratio of the first dot in the dots of the transmission image data between 0 and 100 [%],
  The system controller isIf the third motion is detected when the transmission image data is captured image data, the transmission image data is changed to the prepared image data or the composite image data by changing the composition processing. ,
  When the actual image transmission key is operated when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data,
  The transmission image data is changed by changing the component ratio of the first dot when the third movement is detected or when the actual image transmission key is operated.
  It is characterized by that.
[0029]
  Claim 14The captured image transmitting device described inClaim 13In
  The system controller is
  When the third movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%]. ,
  When the actual image transmission key is operated when the component ratio of the first dot is M [%], the component of the first dot is changed to 100 [%].
  It is characterized by that.
[0030]
  Claim 15The captured image transmitting device described inClaim 13In
  The system controller is
  If the third movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%] over time. Decrease,
  When the actual image transmission key is operated when the component ratio of the first dot is M [%], the component ratio of the first dot is gradually increased to 100 [%] with time.
  It is characterized by that.
[0031]
  Claim 16The captured image transmitting device described in
  An imaging unit that captures an imaging target, outputs captured image data, and is movable by a user;
  An image data encoding unit for encoding and outputting the captured image data with a set quantization coefficient;
  A quantization coefficient setting unit for setting the quantization coefficient;
  A system control unit for controlling the setting of the quantization coefficient;
  A first condition that satisfies at least one preset condition of the moving direction, moving distance, moving speed, and moving acceleration of the imaging unit that is displaced relative to the imaging target from the captured image data. A motion detector that detects a second motion that is different from at least one preset condition of the movement direction, the movement distance, the movement speed, and the movement acceleration.
  With
  The system controller is
  When the first motion is detected when the encoded captured image data is not subjected to mosaic processing, the encoded captured image data is subjected to mosaic processing by changing the quantization coefficient. Giving,
  If the second motion is detected when the encoded captured image data is subjected to mosaic processing, the mosaic processing is stopped by changing the quantization coefficient.
  It is characterized by that.
[0032]
  Claim 17The captured image transmitting device described in
  An imaging unit that captures an imaging target, outputs captured image data, and is movable by a user;
  An image data encoding unit for encoding and outputting the captured image data with a set quantization coefficient;
  A quantization coefficient setting unit for setting the quantization coefficient;
  A system control unit for controlling the quantization coefficient;
  With
  The data encoding unit presets at least one of a moving direction, a moving distance, a moving speed, and a moving acceleration of the imaging unit that is displaced relative to the imaging target from the captured image data. Detecting a first movement that satisfies the specified condition, and a second movement that is different from the first movement in a preset condition,
  The system controller is
  If the first motion is detected when the encoded captured image data is not subjected to mosaic processing, the encoded captured image data is subjected to mosaic processing by changing the quantization coefficient. ,
  If the second motion is detected when mosaic processing is performed on the encoded captured image data, the mosaic processing is stopped by changing the quantization coefficient.
  It is characterized by that.
[0033]
  Claim 18The captured image transmitting device described inClaim 16 or 17In
  The system controller is
  If the first motion is detected when the quantized coefficient is set to a value N that is not subjected to mosaic processing on the encoded captured image data, the quantized coefficient is encoded. Change to a value M (> N) to which mosaic processing is applied to the captured image data,
  If the second motion is detected when the quantization coefficient is set to M, the quantization coefficient is changed to N.
  It is characterized by that.
[0034]
  Claim 19The captured image transmitting device described inClaim 16 or 17In
  The system controller is
  If the first motion is detected when the quantized coefficient is set to a value N that is not subjected to mosaic processing on the encoded captured image data, the quantized coefficient is encoded. Gradually increasing with time to a value M (> N) on which the captured image data is subjected to mosaic processing,
  When the second motion is detected when the quantization coefficient is set to M, the quantization coefficient is gradually decreased to N to time.
  It is characterized by that.
[0035]
  Claim 20The captured image transmitting device described inClaim 16 or 17In
  The system controller is
  Each time the first motion is detected, the value of the quantization coefficient is increased,
  Each time the second motion is detected, the value of the quantization coefficient is decreased.
  It is characterized by that.
[0036]
  Claim 21The captured image transmitting device described inClaim 16 or 17In
  An image data storage unit in which image data prepared in advance is stored;
  An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
  Further comprising
  The image data encoding unit encodes and outputs the transmission image data with a set quantization coefficient,
  The system controller is
  If the first motion is detected when the transmission image data is captured image data, the transmission image data is changed to the prepared image data or the synthesized image data, and the quantization coefficient is changed. To perform mosaic processing on the encoded transmission image data,
  If the second motion is detected when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data, and the quantization coefficient is changed. Stop mosaic processing by changing
  It is characterized by that.
[0038]
  Claim 22The captured image transmission device according to claim 1,, 13, 16, 17In any one of the paragraphs
  The motion detection unit or the image data encoding unit includes the first motion and the second motion in addition to the first motion and the second motion or the third motion. Including at least one of a moving direction, a moving distance, a moving speed, and a moving acceleration of the imaging unit that is relatively displaced with respect to the imaging target. Detecting a fourth movement that satisfies the specified condition,
  If the fourth motion is not detected for a predetermined period, the system control unit stops the encoding of the transmission image data or the captured image data, and the fourth motion is detected when the encoding is stopped. The above encoding is resumed.
  It is characterized by that.
[0043]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a block configuration diagram of a captured image transmission apparatus according to Embodiment 1 of the present invention. In FIG. 1, the same components as those in FIG. 27 are denoted by the same reference numerals. It is assumed that the captured image transmission device 100 of the first embodiment is provided in the videophone device 1 of FIG. 2 is an internal block configuration diagram of the system control unit 150 in FIG. 1, FIG. 3 is an internal block configuration diagram of the image data processing unit 170 in FIG. 1, and FIG. 4 is an internal block diagram of the image data encoding unit 14 in FIG. FIG. 5 is a block diagram showing the internal configuration of the motion detection unit 160 shown in FIG.
[0044]
1 includes an operation unit 110, an imaging unit 13, an image data encoding unit 14, a system control unit 150, a motion detection unit 160, an image data processing unit 170, and an image data storage. Part 180. Therefore, the captured image transmission apparatus 100 includes the motion detection unit 160, the image data processing unit 170, and the image data storage unit 180 in the conventional captured image transmission apparatus 10 (see FIG. 27), and the operation unit 11 and system control. The unit 15 is changed to an operation unit 110 and a system control unit 150, respectively.
[0045]
The captured image transmitting apparatus 100 according to the first embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, an image data storage unit 180 that stores previously prepared image data, and the imaging An image data processing unit 170 that synthesizes the image data and the prepared image data and generates transmission image data composed of the captured image data, the prepared image data, or these combined image data; and the transmission image An image data encoding unit 14 that encodes and outputs data, a system control unit 150 that controls the synthesis process, and a first motion and a second motion of the imaging target or the imaging unit are detected from the captured image data A motion detection unit 160 that performs the first control when the transmission image data is captured image data. When the image is detected, the transmission image data is changed to the prepared image data or the synthesized image data by changing the synthesis process, and the transmission image data is changed to the prepared image data or the synthesized image. When the second motion is detected when the data is data, the transmission image data is changed to the captured image data by changing the synthesis process.
[0046]
[Imaging unit 13]
The imaging unit 13 is composed of, for example, a CCD camera, images an imaging target, and outputs captured image data to the image data processing unit 170. The imaging target is a caller who operates the videophone device provided with the captured image transmission device 100 and an image of the background. The caller can move the imaging unit 13. It is also possible to take an image prepared in advance to be stored in the image data storage unit 180.
[0047]
[Image data storage unit 180]
The image data storage unit 180 stores image data prepared in advance to be combined by the image data processing unit 170. The image data storage unit 180 can store image data captured in advance by the imaging unit 13 and input via the image data processing unit 170. It is also possible to store a plurality of the prepared image data. For example, a self-portrait of a caller previously captured by the imaging unit 13, an image of a natural object such as a flower, a mountain or the sea Landscape images, arbitrary graphic images, arbitrary paintings and photographs, all white images, all gray images, all black images, and the like can be stored. Any one of the image data stored in the image data storage unit 180 is selected by the system control unit 150, and the selected image data is combined with the captured image data input from the imaging unit 13 in advance. The prepared image data is output to the image data processing unit 170.
[0048]
[System control unit 150]
The system control unit 150 controls the motion detection unit 160, the image data processing unit 170, and the image data encoding unit 14 according to the input content from the operation unit 110. The system control unit 150 controls the composition processing in the image data processing unit 170, and the motion detection unit 160 detects the first motion or the second motion, or the operation unit 110 performs the actual processing. When the image transmission key 112 or the processed image transmission key 113 is operated, the above composition processing is changed. Further, the system control unit 150 controls the operation of writing the output image data of the image data processing unit 170 to the image data storage unit 180 and the operation of reading the image data prepared in the image data storage unit 180 to the image data processing unit 170. To do.
[0049]
In FIG. 2, the system control unit 150 is provided with composite area control data 151 and preparation image control data 152. The composition area control data 151 is data for controlling the composition process in the image data processing unit 170 and the change of the composition process by motion detection according to a procedure preset by the caller. The caller can operate the operation unit 110 to change the setting of the synthesis process and its change procedure. The preparation image control data 152 is stored in advance by the caller from the operation for storing the image data in the image data storage unit 180 and the images (images 181, 182, 183,... In FIG. 2) stored in the image data storage unit 180. This is data for controlling the operation of sending one selected piece of image data to the image data processing unit 170. The caller can operate the operation unit 110 to change the image data to be sent to the image data processing unit 170.
[0050]
[Image Data Processing Unit 170]
The image data processing unit 170 combines the captured image data input from the imaging unit 13 and the image data prepared in advance input from the image data storage unit 180 according to a control signal input from the system control unit 150. The captured image data, the prepared image data, or the composite image data thereof is output as transmission image data. The above combining process includes a process of selecting only captured image data or prepared image data as transmission image data. The procedure of the composition process is as follows when the first movement or the second movement is detected, and when the caller operates the real image transmission key 112 or the processed image transmission key 113 of the operation unit 110. It is changed by the system control unit 150. The output image data of the image data processing unit 170 is also input to the image data storage unit 180 so that the output image data of the image data processing unit 170 can be stored in the image data storage unit 180 as prepared image data. Is done.
[0051]
The image data processing unit 170 performs a captured image region and a prepared image region (captured image) in the entire region of the transmission image data in accordance with the ratio (area ratio) m of the captured image region included in the control signal from the system control unit 150. The transmission image data is generated by setting the non-region transmission image region), inserting the captured image data into the captured image region, and inserting the preparation image data into the preparation image region. The system control unit 150 changes the transmission image data by changing the ratio m of the captured image area between 0 and 100 [%] when the first movement or the second movement is detected.
[0052]
3A shows the internal configuration of the image data processing unit 170, and FIG. 3B shows the internal configuration of the image data synthesizing circuit 172 constituting the image data processing unit 170. In FIG. 3A, the image data processing unit 170 includes a synthesis area setting circuit 171, an image data synthesis circuit 172, and an image data selection circuit 173.
[0053]
The composite area setting circuit 171 determines the position and area of the captured image area in the entire area of the transmission image and the position and area of the preparation image area in accordance with the ratio m of the captured image area included in the control signal from the system control unit 150. And the image data composition circuit 172 is controlled in accordance with the settings of the captured image area and the preparation image area.
[0054]
The image data composition circuit 172 generates composite image data of the captured image data and the prepared image data, and outputs it to the image data selection circuit 173. In FIG. 3B, the image data synthesis circuit 172 includes faders 175 and 176 and an adder 177. The fader 175 attenuates the captured image data input from the imaging unit 13 and outputs the attenuated image data to the addition unit 177. The fader 176 attenuates the prepared image data input from the image data storage unit 180 and outputs it to the adding unit 177. The adder 177 adds the captured image data input from the fader 175 and the prepared image data input from the fader 176 to generate composite image data, and outputs the composite image data to the image data selection circuit 173. The resistance values of faders 175 and 176 change according to a control signal from synthesis area setting circuit 171. In order to generate composite image data by inserting the dots of the captured image into the captured image area and inserting the dots of the prepared image data into the prepared image area, prepare whether the dots of the generated composite image data are the dots of the captured image area Depending on whether the dot is in the image area, the resistance value of faders 175 and 176 becomes 0 or ∞. In addition, when the dot of the captured image data and the dot of the preparation image data are added to generate the dot of the composite image data, faders 175 and 176 according to the component ratio of the captured image dot and the preparation image dot in the composite image dot. The resistance value of varies.
[0055]
In accordance with a control signal from the system control unit 150, the image data selection circuit 173 receives captured image data input from the imaging unit 13, prepared image data input from the image data storage unit 180, or from the image data synthesis circuit 172. One of the input composite image data is selected and output to the image data encoding unit 14 as transmission image data.
[0056]
A composition process (transmission image data generation procedure) in the image data processing unit 170 will be described with reference to FIGS. FIG. 6 is a diagram for explaining the composition processing in the image data processing unit 170. In the following description, it is assumed that the image prepared in the image data storage unit 180 is a graphic image.
[0057]
In FIG. 6, a dimension P is a horizontal dimension of the captured image, the graphic image, and the composite image. The dimension Q is the vertical dimension of the captured image, graphic image, and composite image. The coordinates of the upper left corner (hereinafter also referred to as reference position coordinates) of the captured image, graphic image, and composite image are (0, 0), and the coordinates of the lower right corner are (P, Q). Here, using the coordinates (A, B) and the coordinates (C, D) of the upper left corner and the coordinates (C, D) of the upper left corner of the entire area or a partial area of the image, (A, B) − (C, D) When expressed, the entire area of the captured image, the graphic image, and the composite image is (0,0)-(P, Q).
[0058]
The composite area setting circuit 171 in FIG. 3 obtains the horizontal dimension p and the vertical dimension q of the captured image area based on the ratio (area ratio) m [%] of the captured image area in the composite image, and obtains a reference for the captured image area. From the position coordinates (a, b) and dimensions p, q, a captured image area (a, b)-(a + p, b + q) in the composite image is obtained, and this captured image area (a, b)-(a + p, b + q) is obtained. Accordingly, the faders 175 and 176 of the image data synthesis circuit 172 are controlled. The ratio m of the captured image region and the reference position coordinates (a, b) are included in the control signal input from the system control unit 150.
[0059]
In the image data synthesis circuit 172, if the dot of the synthesized image to be generated is a dot in the captured image area (a, b) − (a + p, b + q), the fader 175 has a resistance value of 0 and the fader 176 has a resistance value of ∞. The dot of the captured image is output as a composite image dot from the adder 177 to the image data selection circuit 173, and the dot of the composite image to be generated is not a dot in the above-described captured image region (dot in the prepared image region) If so, the resistance value of fader 175 is ∞, the resistance value of fader 176 is 0, and the dots of the graphic image are output as the dots of the composite image. Therefore, the generated composite image data is added to the captured image data area (a, b)-(a + p, b + q) in the entire area (0, 0) − (P, Q). b) The area of the graphic image data is inserted into the prepared image area in which the captured image dot of (a + p, b + q) is inserted and the captured image area (a, b)-(a + p, b + q) is excluded from the entire area of the composite image data. A graphic image dot in an area excluding (a, b) − (a + p, b + q) is inserted.
[0060]
If the ratio m of the captured image area in the composite image is 100 [%], the image data selection circuit 173 outputs the captured image data input from the imaging unit 13 to the image data encoding unit 14 as transmission image data. If the ratio m of the captured image area is M (M is 0 [%] <M <100 [%]), the combined image data input from the image data combining circuit 172 is output as transmission image data, and If the ratio m of the captured image area is 0 [%], the graphic image data input from the image data storage unit 180 is output as transmission image data.
[0061]
[Image Data Encoding Unit 14]
The image data encoding unit 14 performs processing such as discrete cosine transform (DCT) on the transmission data input from the image data processing unit 170, quantizes it, and performs variable length encoding, thereby converting the transmission image data described above. The image data is compressed and encoded, and the encoded transmission image data is output to the transmission control unit 18.
[0062]
4, the image data encoding unit 14 includes a DCT circuit 141, a quantization circuit 142, a variable length encoding circuit 143, and a transmission buffer 144.
The DCT circuit 141 performs processing for reducing redundancy in the time axis direction, such as discrete cosine transform in the spatial axis direction, on the transmission image data input from the image data processing unit 170. The quantization circuit 142 quantizes the transmission image data input from the DCT circuit 141. The variable length coding circuit 143 performs variable length coding on the transmission image data input from the quantization circuit 142 and sends the transmission image data to the transmission buffer 144. The transmission buffer 144 sends the transmission image data compressed and encoded to the transmission control unit 18.
[0063]
[Operation unit 110]
The operation unit 110 is provided with a plurality of keys for a caller to perform off-hook operation, dial operation, on-hook operation, operation of the captured image transmission apparatus 100, setting of a control procedure, and the like. The operation unit 110 is provided with a real image transmission key 112, a processed image transmission key 113, and a motion detection processing key 114, in addition to the hook key 111 for performing an off-hook operation and an on-hook operation.
[0064]
The processed image transmission key 113 is a key for changing the transmission image data to the image data prepared in advance or the composite image data when the transmission image data is captured image data. On the contrary, the real image transmission key 112 is a key for changing the transmission image data to the captured image data when the transmission image data is the image data prepared in advance or the composite image data. is there.
[0065]
The motion detection processing key 114 is a key for selecting whether or not to enable the change of the composition processing by detecting the motion. When the motion detection processing key 114 is ON, the system control unit 150 changes the above synthesis processing when the first motion or the second motion is detected, but when the motion detection processing key 114 is OFF, Even if the first movement or the second movement is detected, the above synthesis process is not changed. The caller (user) can easily set whether or not to change the synthesis process when the first movement or the second movement is detected by operating the movement detection process key 114.
[0066]
[Motion Detection Unit 160]
The motion detection unit 160 detects the first movement and the second movement of the imaging target or the imaging unit 13 from the captured image data input from the imaging unit 13, and notifies the system control unit 150 of the detection. The movement of the imaging target is a relative displacement of the imaging target with respect to the imaging unit 13, and the movement of the imaging unit 13 is a relative displacement of the imaging unit 13 with respect to the imaging target. Specifically, the movement of the imaging target includes the relative moving direction, moving distance, moving speed (moving distance per unit time), moving speed (moving speed and moving direction) of the imaging target with respect to the imaging target. ), Movement acceleration, and the like. The movement of the imaging unit 13 includes a relative moving direction, a moving distance, a moving speed, a moving speed, a moving acceleration, and the like of the imaging unit 13 with respect to the imaging target. Therefore, the movement of the imaging target and the movement of the imaging unit 13 are equivalent. In addition, the first movement and the second movement are movements that satisfy conditions set in advance, such as a movement direction and a movement speed, among movements of the movement target or the imaging unit 13. The first movement and the second movement have different movement directions or movement speeds, for example. If the motion vector is detected from the frame image of the captured image data, the moving direction and speed of the movement of the imaging target or the imaging unit 13 can be directly obtained from the motion vector.
[0067]
In FIG. 5, the motion detection unit 160 includes a horizontal direction projection data calculation unit 161a, a vertical direction projection data calculation unit 161b, average value calculation units 162a and 162b, subtracters 163a and 163b, memories 164a and 164b, A horizontal direction correlation calculation unit 165a, a vertical direction correlation calculation unit 165b, a motion vector synthesis unit 166, and a motion determination unit 167 are provided. The horizontal direction projection data calculation unit 161a, the average value calculation unit 162a, the subtractor 163a, the memory 164a, and the horizontal direction correlation calculation unit 165a constitute a horizontal direction motion vector detection unit, and the vertical direction projection data. The calculation unit 161b, the average value calculation unit 162b, the subtractor 163b, the memory 164b, and the vertical direction correlation calculation unit 165b constitute a vertical direction motion vector detection unit.
[0068]
In the horizontal direction motion vector detection unit, the horizontal direction projection data calculation unit 161 a calculates horizontal direction projection data of the current frame from the captured image data of the current frame input from the imaging unit 13. The horizontal projection data is the sum of the captured image data in the horizontal direction. The average value calculation unit 162a calculates the average value of the horizontal projection data. The subtractor 163a subtracts the horizontal projection data average value from the horizontal projection data, and outputs the horizontal projection data obtained by subtracting the average value to the horizontal correlation calculation unit 165a and the memory 164a.
[0069]
The memory 164a stores the horizontal projection data obtained by subtracting the average value for the current frame, and outputs the horizontal projection data obtained by subtracting the stored average value for the previous frame to the horizontal correlation calculation unit 165a. To do. Accordingly, the horizontal projection data obtained by subtracting the average value input to the memory 164a is delayed by one frame and output to the horizontal correlation calculation unit 165a.
[0070]
The horizontal direction correlation calculation unit 165a calculates the horizontal direction correlation from the horizontal direction projection data obtained by subtracting the average value for the current frame and the horizontal direction projection data obtained by subtracting the average value for the previous frame, and the correlation is maximum. Is output as a horizontal motion vector. As a calculation procedure of the above correlation, a product-sum operation is performed while shifting the horizontal projection data obtained by subtracting the average value for the current frame from the horizontal projection data obtained by subtracting the average value for the previous frame one by one. Then, the shift amount at which the value of the product-sum operation is the maximum value is obtained as the shift amount at which the correlation is maximum, and this shift amount is output as a horizontal motion vector.
[0071]
Similarly to the horizontal direction motion vector detection unit, in the vertical direction motion vector detection unit, the vertical direction projection data calculation unit 161b uses the vertical direction projection data from the captured image data of the current frame input from the imaging unit 13. Is calculated. The vertical projection data is the sum of the captured image data in the vertical direction. The average value calculation unit 162b calculates an average value of the vertical direction projection data. The subtracter 163b subtracts the vertical projection data average value from the vertical projection data, and outputs the vertical projection data obtained by subtracting the average value to the vertical correlation calculation unit 165b and the memory 164b.
[0072]
The memory 164b stores the vertical direction projection data obtained by subtracting the average value for the current frame, and outputs the vertical direction projection data obtained by subtracting the stored average value for the previous frame to the vertical direction correlation calculation unit 165b. To do. Accordingly, the vertical projection data obtained by subtracting the average value input to the memory 164b is delayed by one frame and output to the vertical correlation calculation unit 165b.
[0073]
The vertical direction correlation calculation unit 165b calculates the vertical direction correlation from the vertical direction projection data obtained by subtracting the average value for the current frame and the vertical direction projection data obtained by subtracting the average value for the previous frame. Is output as a vertical motion vector. The above correlation calculation procedure is as follows. For the vertical projection data obtained by subtracting the average value for the previous frame, the product-sum operation is performed while shifting the vertical projection data obtained by subtracting the average value for the current frame one by one. Then, the shift amount at which the value of the product-sum operation is the maximum value is obtained as the shift amount at which the correlation is maximum, and this shift amount is output as a vertical motion vector.
[0074]
The motion vector synthesis unit 166 synthesizes the horizontal motion vector detected by the horizontal motion vector detection unit and the vertical motion vector detected by the vertical motion vector detection unit as shown in FIG. A motion vector is obtained, and this motion vector is output to the motion discrimination unit 167.
[0075]
The motion discriminating unit 167 discriminates whether or not the motion vector input from the motion vector synthesizing unit 166 satisfies the condition of the first motion or the second motion set in advance. It is determined whether or not the first motion is detected and whether or not the second motion is detected, and notifies the system control unit 150 of the determination.
[0076]
A procedure for detecting the first motion and the second motion in the motion detector 160 will be described with reference to FIGS. 5 and 8. FIG. 8 is a diagram for explaining a determination procedure of the first motion and the second motion in the motion detection unit 160.
[0077]
In FIG. 8, the start point of the motion vector is located at the origin of the r-θ coordinate or the xy coordinate, and whether or not the first motion is detected based on the position of the end point of the motion vector at that time, and the second motion Is detected.
[0078]
In FIG. 8A, in the r-θ coordinates, an area where r <r0 is defined as an area S, and an area where r ≧ R is divided into four areas, upper, lower, left, and right, respectively. Let it be the right region R. The region S where r <r0 includes the origin of the r-θ coordinate, and is the region where the end point of the motion vector is located when there is no motion in the imaging target or the imaging unit 13, and camera shake or vibration that is not intended by the user This is a region where the end point of the motion vector is likely to be located. For this reason, the region S is a region in which motion is ignored, and when the end point of the motion vector is located in the region S, it is determined that the first motion and the second motion are not detected, thereby preventing a malfunction. Therefore, the first motion and the second motion are discriminated with respect to the motion vector reaching the divided regions U, D, L, and R where the end point is r ≧ r0. For example, it is determined that a first motion has been detected when a motion vector whose end point reaches the region U or D is detected, and a second vector is detected when a motion vector whose end point reaches the region L or R is detected. It is determined that motion has been detected. For example, the first motion is detected when a motion vector reaching the region U and a motion vector reaching the region D are continuously detected by, for example, a caller shaking the imaging unit 13 up and down. The second motion is detected when the motion vector reaching the region L and the motion vector reaching the region R are continuously detected by, for example, shaking the imaging unit 13 left and right by the caller. It is determined that it has been detected. In FIG. 8A, the first movement and the second movement are directions of movement (moving directions are different).
[0079]
In FIG. 8B, in the r-θ coordinate, an area where r <r0 is assumed to be an area S where motion is ignored, an area where r0 ≦ r ≦ r1 is assumed to be M1, and an area where r1 ≦ r is assumed to be M2. For example, it is determined that the first motion is detected when a motion vector whose end point is located in the region M1 is detected, and the second motion is detected when a motion vector whose end point reaches the region M2 is detected. Is detected. In FIG. 8B, the first movement and the second movement are movement speeds (moving speeds are different).
[0080]
In FIG. 8C, in the r- [theta] coordinate, the region where r <r0 is defined as a region S where motion is ignored, and the region where r0 ≦ r ≦ r1 is divided into four regions vertically and horizontally, and regions U1, D1, L1, R1 And the region of r1 ≦ r is divided into four parts, top, bottom, left and right, to form regions U2, D2, L2, R2. For example, when a motion vector whose end point is located in the region U1 or D1 is detected, it is determined that the first motion is detected, and when a motion vector whose end point reaches the region L2 or R2 is detected. It is determined that the second movement is detected. Further, for example, it is determined that the first motion is detected when a motion vector whose end point is located in the regions U1, U2, D1, and D2 is detected, and the end point is located in the regions L1, L2, R1, and R2. The first motion is detected when the second motion is detected when the motion vector is detected, and when the motion vector whose end point is located in the region U1, D1, L1, R1 is detected. The caller can be switched to the case where it is determined that the second motion has been detected when the motion vector reaching the end points U2, D2, L2, and R2 is detected. To.
[0081]
In FIG. 8D, in the xy coordinates, a region S where -a <x <a and -b <y <b is ignored, and a region S where -a ≦ x ≦ a and y ≧ b is U. , −a ≦ x ≦ a and y ≦ −b is D, L is a region where x ≦ −a and −b ≦ y ≦ b, and R is a region where x ≧ a and −b ≦ y ≦ b. . For example, when a motion vector whose end point is located in the region U or D is detected, it is determined that the first motion is detected, and when a motion vector whose end point reaches the region L or R is detected. It is determined that the second movement is detected.
[0082]
A specific change procedure of the composition processing in the image data processing unit 170 when the first or second motion is detected is, for example, according to the following (A) to (D).
(A) When the captured image data is output from the image data processing unit 170 as the transmission image data and the first motion is detected, the transmission image data is switched to the preparation image data, and the preparation image is transmitted as the transmission image data. When the second motion is detected while data is being output from the image data processing unit 170, the transmission image data is switched to the captured image data.
(B) When the ratio m of the captured image area in the transmission image data is 100 [%] (when the captured image data is output from the image data processing unit 170 as the transmission image data), the first movement Is detected, the ratio m of the captured image area is changed to M (M is a preset value satisfying 0 ≦ M <100) [%], and the ratio m of the captured image area is M [%]. When the second movement is detected, the ratio m of the captured image area is changed to 100 [%].
(C) When the ratio of the captured image area in the transmission image data is 100 [%] (when the captured image data is output from the image data processing unit 170 as the transmission image data), the first movement is When detected, the ratio m of the area of the captured image data is gradually decreased to M [%] with time, and the second motion is detected when the ratio m of the area of the captured image data is M [%]. Then, the ratio m of the area of the captured image data is gradually increased to 100 [%] with time.
(D) Every time the first movement is detected, the ratio m of the captured image area in the captured image data is decreased, and every time the second movement is detected, the ratio m of the captured image area is increased. Alternatively, every time the first movement is detected, the ratio m of the captured image area in the transmission image data is decreased, and when the second movement is detected, the ratio m of the captured image area is set to 100 [%]. (Transmission image data is converted into captured image data).
[0083]
In the above procedure (A), for example, when the caller shakes the image pickup unit 13 up and down n times (n is a positive integer), the graphic image is switched to “Please wait” and the image pickup unit 13 is moved left and right m times ( When m is shaken, the captured image is restored. In this case, n times of up and down movement within a predetermined time correspond to the first movement, and m continuous left and right movements within the predetermined time correspond to the second movement.
[0084]
In the procedure (B), for example, when the caller shakes the imaging unit 13 up and down, the ratio m of the captured image area in the transmission image is instantaneously changed from 100 [%] to 50 [%]. When the transmission image is a composite image composed of a captured image of 50 [%] and a graphic image of 50 [%] and the image capturing unit 13 is shaken left and right, the ratio m of the captured image region is changed from 50 [%] to 100 [%]. The transmission image is switched to the captured image immediately. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0085]
In the procedure (C), for example, when the caller quickly shakes the imaging unit 13 (the motion vector is large), the ratio m of the captured image area in the transmission image is set from 100 [%] to 0 [%]. When the transmission image is gradually decreased with time, the transmission image is switched from the captured image to the graphic image, and the imaging unit 13 is shaken slowly (the motion vector is small), the ratio m of the captured image region is changed from 0 [%] to 100 [%] with time. The transmission image is gradually increased from the graphic image to the captured image. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0086]
In the procedure (D), for example, every time the caller shakes the imaging unit 13 up and down, the ratio m of the captured image area in the transmission image is decreased (the ratio of the graphic image area in the transmission image is increased). Conversely, each time the imaging unit 13 is swung left and right, the ratio m of the captured image area is increased (the ratio of the graphic image area is decreased). Further, for example, every time the caller shakes the imaging unit 13 up and down, the ratio m of the captured image area in the transmission image is decreased, and when the imaging unit 13 is shaken left and right, the captured image is restored. In these cases, one up and down movement corresponds to the first movement, and one right and left movement corresponds to the second movement.
[0087]
A specific example of the procedure (C) will be described with reference to FIGS. FIG. 9 shows the ratio u (= p / P) of the dimensions p and q of the captured image in the dimensions P and Q of the transmission image when the ratio of the captured image area in the transmission image is gradually increased or decreased when motion is detected. = Q / Q) is an example of a time variation characteristic diagram. The ratio of the captured image area is m = u × u. FIG. 10 is a diagram of transmission images at the respective timings in FIG. In FIG. 9, until the time t = T0, the ratio u of the captured image size (ratio m of the captured image area) = 0 [%], and the transmission image is a graphic image prepared in advance. When the system control unit 150 recognizes that the second motion has been detected at time t = T0, the system control unit 150 recognizes the ratio u of the captured image size (the captured image area in the captured image region) at time t = T0 to T4. The ratio m) is gradually increased, and at time t = T4, the ratio u of the captured image size (the ratio m of the captured image area) = 100 [%], and the transmission image is switched to the captured image. Next, when the system control unit 150 recognizes that the first movement has been detected at time t = T5, the system control unit 150 determines the ratio u (captured image area of the captured image size) at time t = T5 to T9. The ratio m) is gradually decreased, and at time t = T9, the ratio u of the captured image size (the ratio m of the captured image area) = 100 [%], and the transmission image is switched to the graphic image again.
[0088]
Until the system control unit 150 recognizes that the second motion has been detected at time t = T0 in FIG. 9, a transmission image including only a graphic image is received from the captured image transmission device 100 as illustrated in FIG. Is output. At this time, the ratio u of the captured image size (ratio m of the captured image area) = 0 [%].
[0089]
The system control unit 150 recognizes that the second movement has been detected at time t = T0, starts to gradually increase the ratio u of the captured image size (ratio m of the captured image area), and when time t = T1, The captured image size ratio u = 25 [%] (captured image area ratio m = 6.25 [%]), and a graphic image of 93.75 [%] and 6.25 [%] as shown in FIG. %] Of the composite image of the captured images (transmission image in which the graphic image area is 93.75 [%] and the captured image area is 6.25 [%] in all areas). It is output from the image transmission device 100. The time t = T0 to t = T1 corresponds to ¼ of the total change time t = T0 to t = T4 of the synthesis process by the second motion detection.
[0090]
Further, at time t = T2, the captured image size ratio u = 50 [%] (captured image area ratio m = 25 [%]), and a graphic image of 75 [%] as shown in FIG. A transmission image composed of a composite image of 25 [%] captured images is output from the captured image transmission apparatus 100. Time t = T0 to t = T2 corresponds to ½ of the total change time of the synthesis process.
[0091]
Further, at time t = T3, the captured image size ratio u = 75 [%] (captured image area ratio m = 56.25 [%]), and 43.75 [%] as shown in FIG. A transmission image composed of a composite image of the graphic image of 56.25 [%] is output from the captured image transmission apparatus 100. The time t = T0 to t = T3 corresponds to 3/4 of the total change time of the synthesis process.
[0092]
At time t = T4, the ratio u of the captured image size (ratio m of the captured image area) = 100 [%], and the transmission image including only the captured image as illustrated in FIG. Is output from. From this time t = T4, until the time t = T5 when the captured image transmitting apparatus 100 recognizes that the first movement has been detected, the captured image is transmitted as a transmission image.
[0093]
Until the system control unit 150 recognizes that the first movement is detected at time t = T5, a transmission image including only the captured image is output from the captured image transmission apparatus 100 as illustrated in FIG. . At this time, the ratio u of the captured image size (ratio m of the captured image area) = 100 [%].
[0094]
The system control unit 150 recognizes that the first movement has been detected at time t = T5 and starts gradually decreasing the ratio u of the captured image size (ratio m of the captured image area). When time t = T6, The captured image size ratio u = 75 [%] (captured image area ratio m = 56.25 [%]), and a graphic image of 43.75 [%] and 56.25 [%] as shown in FIG. %] Is output from the captured image transmission apparatus 100. The time t = T5 to t = T6 corresponds to ¼ of the total change time t = T5 to t = T9 of the synthesis process by the first motion detection.
[0095]
Further, at time t = T7, the captured image size ratio u = 50 [%] (captured image area ratio m = 25 [%]), and a graphic image of 75 [%] as shown in FIG. A transmission image composed of a composite image of 25 [%] captured images is output from the captured image transmission apparatus 100. Time t = T5 to t = T7 corresponds to ½ of the total change time of the synthesis process.
[0096]
Further, at time t = T8, the captured image size ratio u = 25 [%] (captured image area ratio m = 6.25 [%]), and 93.75 [%] as shown in FIG. A transmission image composed of a composite image of the graphic image and 6.25 [%] of the captured image is output from the captured image transmission apparatus 100. The time t = T0 to t = T1 corresponds to 3/4 of the total change time t = T0 to t = T4 of the synthesis process by the second motion detection.
[0097]
At time t = T9, the ratio u of the captured image dimension (ratio m of the captured image area) = 0 [%], and the transmission image including only the graphic image as illustrated in FIG. Is output from. From this time t = T9 until the second movement is detected again, the graphic image is transmitted as the transmission image.
[0098]
As described above, in the first embodiment, when the first movement is detected during transmission of captured image data, the transmission image data is changed from the captured image data to the prepared image by changing the ratio m of the captured image region. If the second motion is detected while the preparation image data or the composite image data is transmitted, the ratio m of the captured image area is changed. By changing the transmission image data to the captured image data again, it is possible to change the clothes and hairstyle without abruptly stopping the transmission of the image for a long time when transmitting the captured image with a simple operation or operation of the caller. Image data that you do not want to send to the other party, such as correcting disturbances, organizing cluttered surroundings, searching for materials, or leaving to call another person It is possible to avoid sending data, without having to feel the anxiety, such as trouble of failure or communication network of the device to the other party, it is possible to protect the privacy of the caller. Further, when the first movement is detected, the captured image is transmitted even though it is a part of the composite image, so that discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0099]
9 and 10, the captured image area in the transmission image when the first movement is detected by gradually decreasing or gradually increasing the ratio m of the captured image in the transmission image. Since the captured image area gradually increases when the second movement is detected, the received image is switched instantaneously, so that a light shock received by the other party can be reduced.
[0100]
In addition to the graphic image having the inorganic geometric pattern as described above, the image prepared in advance uses an image (portrait) of the caller previously captured, an arbitrary landscape image, a photograph, an illustration, or the like. Therefore, it is possible to reduce the discomfort felt by the waiting partner.
[0101]
In the first embodiment, when the caller operates the processed image transmission key 113, the synthesis process is changed in the same manner as any of the procedures (A) to (D) described above when the first movement is detected. Then, when the caller operates the real image transmission key 112, it is also possible to change the compositing process in the same manner as any of the procedures (A) to (D) when the second movement is detected. is there. In this case, for example, when a captured image is being transmitted as a transmission image, it is necessary to search for a document or another person, and when the other party does not want to see the situation, the caller captures the first movement. When the operation or operation to be detected by the transmission apparatus 100 is performed or the processing image transmission key 113 is operated, the transmission image is switched to the preparation image or the composite image. The transmission image is switched to the captured image again by performing an operation or operation for causing the captured image transmission apparatus 100 to detect the second movement, or by operating the real image transmission key 112.
[0102]
Further, in the first embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the same procedure as any of the above steps (A) to (D) when the second movement is detected. In the same manner as any of the procedures (A) to (D) described above when the first movement is detected when the composing process is changed and the caller performs an on-hook operation with the hook key 111 to end the communication. It is also possible to change the composition process. For example, when communication is started off-hook, the transmission image is gradually increased by increasing the ratio m of the captured image area in the transmission image as t = T0 to t = T4 in FIG. When the on-hook and the communication is terminated as shown in e), the ratio m of the captured image area in the transmission image is gradually reduced as shown in t = T5 to t = T9 in FIG. (F) to (j). As a result, at the start and end of communication, image transmission that is not desired to be transmitted to the other party can be prevented without stopping image transmission for a long time. The privacy of the caller can be protected without causing anxiety such as troubles in communication lines.
[0103]
As described above, according to the first embodiment, the first motion and the second motion of the imaging target or the imaging unit 13 are detected by the motion detection unit 160 and the first motion is transmitted when the captured image is transmitted. Is detected, the transmission image is changed to a prepared image or a composite image of the captured image and the preparation image by changing the ratio of the captured image region in the transmission image, and the transmission image is the preparation image or the composite image. Sometimes when the second movement is detected, the transmission image is changed to the captured image by changing the ratio of the captured image area, so that the device can malfunction with the other party by a simple operation or operation of the caller. It is possible to protect the privacy of the caller without causing anxiety such as trouble in the communication network. Further, when the first movement is detected, the captured image is transmitted even though it is a part of the composite image, so that discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0104]
Note that the procedure for detecting a motion vector is not limited to the procedure described in the first embodiment. Furthermore, the procedure for detecting the first motion and the second motion is not limited to the procedure using the motion vector described in the first embodiment. In addition, the setting of the captured image area in the transmission image is not limited to the reference position coordinates and the vertical and horizontal dimensions of the captured image area in the first embodiment, and for example, in the center of the entire area of the transmission image. It is also possible to match the centers of the captured image areas, and to set the captured image area by the angle and radius of the captured image area. Further, the procedure of (C) is not limited to the procedure of linearly changing the ratio m of the captured image area as shown in FIG. 9. For example, the ratio m of the captured image area is set according to a quadratic function curve. It is also possible to change.
[0105]
Embodiment 2. FIG.
FIG. 11 is a block configuration diagram of the captured image transmission apparatus according to the second embodiment of the present invention. In FIG. 11, the same components as those in FIG. The captured image transmission apparatus 200 according to the second embodiment is assumed to be provided in the videophone apparatus 1 shown in FIG. 12 is an internal block configuration diagram of the system control unit 250 in FIG. 11, and FIG. 13 is an internal block configuration diagram of the image data processing unit 270 in FIG. 12 that are the same as those in FIG. 2 are denoted by the same reference numerals, and in FIG. 13 that are the same as those in FIG. 3 are denoted by the same reference numerals.
[0106]
11 includes an operation unit 110, an imaging unit 13, an image data encoding unit 14, a system control unit 250, a motion detection unit 160, an image data processing unit 270, and an image data storage. Part 180. Therefore, the captured image transmission apparatus 200 includes a system control unit 150 (see FIG. 2) and an image data processing unit 170 (see FIG. 3) in the captured image transmission apparatus 100 (see FIG. 1) of the first embodiment. The system control unit 250 (see FIG. 12) and the image data processing unit 270 (see FIG. 13) are changed.
[0107]
The captured image transmission apparatus 200 according to the second embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, an image data storage unit 180 that stores previously prepared image data, and the imaging An image data processing unit 270 that synthesizes the image data and the prepared image data to generate transmission image data composed of the captured image data, the prepared image data, or these combined image data; and the transmission image An image data encoding unit 14 that encodes and outputs data, a system control unit 250 that controls the synthesis process, and a first motion and a second motion of the imaging target or the imaging unit are detected from the captured image data A motion detection unit 160 that performs the first control when the transmission image data is captured image data. When the image is detected, the transmission image data is changed to the prepared image data or the synthesized image data by changing the synthesis process, and the transmission image data is changed to the prepared image data or the synthesized image. When the second motion is detected when the data is data, the transmission image data is changed to the captured image data by changing the synthesis process.
[0108]
In the first embodiment, the image data processing unit 170 sets the captured image region and the preparation image region in the entire region of the transmission image data according to the ratio m of the captured image region included in the control signal from the system control unit 150. The system control unit 150 generates transmission image data by inserting captured image data into the captured image area and inserting the prepared image data into the prepared image area. When the movement 2 is detected, the transmission image data is changed by changing the ratio m of the captured image area between 0 and 100 [%].
[0109]
On the other hand, in the second embodiment, the image data processing unit 270 uses the control signal from the system control unit 250 to change the dots of the captured image data (captured image dots) and the dots of the prepared image data (prepared image dots). The transmission image data is generated by compositing according to the component ratio v of the captured image dot in the transmission image data dots (transmission image dots) included in the transmission image data, and the system control unit 250 performs the first movement or the second movement. The transmission image data is changed by changing the component ratio v of the picked-up image dot between 0 and 100 [%].
[0110]
[System control unit 250]
The system control unit 250 controls the motion detection unit 160, the image data processing unit 270, and the image data encoding unit 14 according to the input content from the operation unit 110. The system control unit 250 controls the composition processing in the image data processing unit 270, and the motion detection unit 160 detects the first motion or the second motion, or the operation unit 110 performs the actual processing. When the image transmission key 112 or the processed image transmission key 113 is operated, the above composition processing is changed. Further, the system control unit 250 controls the operation of writing the output image data of the image data processing unit 270 to the image data storage unit 180 and the operation of reading the image data prepared in the image data storage unit 180 to the image data processing unit 270. To do. When the motion detection processing key 114 is ON, the system control unit 250 changes the above synthesis processing when the first motion or the second motion is detected, but when the motion detection processing key 114 is OFF, Even if the first movement or the second movement is detected, the above synthesis process is not changed.
[0111]
In FIG. 12, the system control unit 250 is provided with composition ratio control data 251 and preparation image control data 152. The composition ratio control data 251 is data for controlling the composition process in the image data processing unit 270 and the change of the composition process by motion detection according to a procedure preset by the caller. The caller can operate the operation unit 110 to change the setting of the synthesis process and its change procedure.
[0112]
The composite area control data 151 of the system control unit 150 according to the first embodiment is data for controlling the ratio of the captured image area in the entire area of the transmission image. On the other hand, the composition ratio control data 251 is data for controlling the component ratio of the captured image dots in the transmission image dots.
[0113]
[Image Data Processing Unit 270]
The image data processing unit 270 combines the captured image data input from the imaging unit 13 and the previously prepared image data input from the image data storage unit 180 in accordance with a control signal input from the system control unit 250. The captured image data, the prepared image data, or the composite image data thereof is output as transmission image data. The above combining process includes a process of selecting only captured image data or prepared image data as transmission image data. The procedure of the composition process is as follows when the first movement or the second movement is detected, and when the caller operates the real image transmission key 112 or the processed image transmission key 113 of the operation unit 110. It is changed by the system control unit 250. The output image data of the image data processing unit 270 is also input to the image data storage unit 180 so that the output image data of the image data processing unit 270 can be stored in the image data storage unit 180 as prepared image data. Is done.
[0114]
The image data processing unit 270, based on the component ratio v of the captured image dots included in the control signal from the system control unit 250, the component ratio v [%] of the captured image dots and the preparation image dots in the transmission image dots: 100−. Transmission image data is generated by setting v [%] and combining (adding) the captured image dots and the preparation image dots at the above component ratios.
[0115]
In FIG. 13, the image data processing unit 270 includes a composition ratio setting circuit 271, an image data composition circuit 172, and an image data selection circuit 173. Therefore, the image data processing unit 270 is obtained by changing the synthesis area setting circuit 171 to the synthesis ratio setting circuit 271 in the image data processing unit 170 of FIG.
[0116]
The composition ratio setting circuit 271 has a component ratio v [%] of the captured image dot to the preparation image dot in the transmission image dot according to the component ratio v of the captured image dot included in the control signal from the system control unit 250: 100−v. [%] Is set, and the image data composition circuit 172 is controlled in accordance with the setting of the component ratio.
[0117]
In the image data processing unit 170 of the first embodiment, the resistance values of the faders 175 and 176 (see FIG. 3B) of the image data synthesis circuit 172 are controlled to 0 or ∞ by the synthesis area setting circuit 171. . On the other hand, in the image data processing unit 270, the resistance values of the faders 175 and 176 (see FIG. 3B) are obtained from the component ratio of the captured image dots and the component ratio of the preparation image dots by the synthesis region ratio circuit 271. It is controlled to a value according to. However, when the component ratio is 100 [%] or 0 [%], the resistance values of the faders 175 and 176 are 0 or ∞.
[0118]
In the composition processing of the image data processing unit 270, assuming that the component ratio of the captured image dot in the transmission image dot is v [%], the component ratio of the dot of the preparation image is 100-v [%]. When the signal level of the transmission image dot at an arbitrary position is C, the signal level of the captured image dot component in the transmission image dot is A, and the signal level of the preparation image dot component in the transmission image dot is B, the transmission The signal level C of the image dot is C = A × (0.01v) + B × {1− (0.01v)}.
[0119]
A specific change procedure of the composition processing in the image data processing unit 270 when the first or second motion is detected is, for example, according to the following (E) to (H).
(E) When the captured image data is output from the image data processing unit 270 as the transmission image data, if the first motion is detected, the transmission image data is switched to the preparation image data, and the preparation image is transmitted as the transmission image data. When the second movement is detected while data is being output from the image data processing unit 270, the transmission image data is switched to the captured image data.
(F) When the component ratio of the captured image dot in the transmission image dot is 100 [%] (when the captured image data is output from the image data processing unit 270 as the transmission image data), the first movement Is detected, the component ratio v of the captured image dot is changed to M (M is a preset value satisfying 0 ≦ M <100) [%], and the component ratio v of the captured image dot is M [%]. When the second movement is detected at a certain time, the component ratio v of the captured image dots is changed to 100 [%].
(G) When the component ratio v of the captured image dot in the transmission image dot is 100 [%] (when the captured image data is output from the image data processing unit 270 as the transmission image data), the first When the movement is detected, the component ratio v of the captured image dot is gradually decreased with time to M [%], and the second movement is detected when the component ratio v of the captured image dot is M [%]. Then, the component ratio v of the captured image dots is gradually increased with time to 100 [%].
(H) The component ratio v of the captured image dot in the captured image dot is decreased every time the first movement is detected, and the component ratio v of the captured image dot is increased each time the second movement is detected. Let Alternatively, every time the first movement is detected, the component ratio v of the captured image dot in the transmission image data is decreased. When the second movement is detected, the component ratio v of the captured image dot is set to 100 [%. (Transmission image data is converted into captured image data).
[0120]
In the procedure (E), for example, when a caller shakes the image pickup unit 13 up and down n times (n is a positive integer), the graphic image is switched to “Please wait” and the image pickup unit 13 is moved left and right m times ( When m is shaken, the captured image is restored. In this case, n times of up and down movement within a predetermined time correspond to the first movement, and m continuous left and right movements within the predetermined time correspond to the second movement.
[0121]
In the procedure (F), for example, when the caller shakes the imaging unit 13 up and down, the component ratio v of the captured image dots in the transmission image dots is instantly changed from 100 [%] to 50 [%]. Then, when the transmission image dot is a composite image dot composed of a captured image dot component of 50 [%] and a graphic image dot component of 50 [%], and the imaging unit 13 is shaken left and right, the component ratio v of the captured image dot The transmission image is changed to a captured image by instantaneously changing from 50 [%] to 100 [%]. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0122]
In the procedure (G), for example, when the caller quickly shakes the imaging unit 13 (the motion vector is large), the component ratio v of the captured image dots in the transmission image dots is changed from 100 [%] to 0 [%]. When the transmission image is switched from the captured image to the graphic image and the image capturing unit 13 is shaken slowly (the motion vector is small), the component ratio v of the captured image dot is changed from 0 [%] to 100 [%]. The transmission image is switched from the graphic image to the captured image by gradually increasing with time. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0123]
In the procedure (H), for example, each time the caller shakes the imaging unit 13 up and down, the component ratio of the captured image dot in the transmission image dot is decreased (the component ratio of the graphic image dot is increased). Conversely, each time the imaging unit 13 is swung left and right, the component ratio of the captured image dot is increased (the component ratio of the graphic image dot is decreased). Further, for example, each time the caller shakes the imaging unit 13 up and down, the component ratio of the captured image dots in the transmission image dots is decreased, and when the imaging unit 13 is shaken left and right, the captured image is restored. In these cases, one up and down movement corresponds to the first movement, and one right and left movement corresponds to the second movement.
[0124]
A specific example of the procedure (G) will be described with reference to FIGS. FIG. 14 is an example of a temporal change characteristic diagram of the component ratio v of the captured image dot when the component ratio v of the captured image dot in the transmission image is gradually increased or decreased when motion is detected. FIG. 15 is a diagram of transmission images at the respective timings of FIG. In FIG. 14, until the time t = T0, the component ratio v = 0 [%] of the captured image dot, and the transmission image is a graphic image prepared in advance. When the system control unit 250 recognizes that the second movement has been detected at time t = T0, the system control unit 250 gradually increases the component ratio v of the captured image dots at time t = T0 to T4. At time t = T4, the component ratio v = 100 [%] of the captured image dot is set, and the transmission image is switched to the captured image. Next, when the system control unit 250 recognizes that the first movement has been detected at time t = T5, the system control unit 250 gradually decreases the component ratio v of the captured image dots at time t = T5 to T9. At time t = T9, the component ratio v = 100 [%] of the captured image dot is set, and the transmission image is switched to the graphic image again.
[0125]
Until the system control unit 250 recognizes that the second motion has been detected at time t = T0 in FIG. 14, a transmission image including only a graphic image is received from the captured image transmission apparatus 200 as illustrated in FIG. Is output. At this time, the component ratio v of the captured image dot is v = 0 [%].
[0126]
The system control unit 250 recognizes that the second movement has been detected at time t = T0, and starts gradually increasing the component ratio v of the captured image dot. When time t = T1, the component ratio v of the captured image dot is started. = 25 [%], and a transmission image composed of a composite image dot of 75 [%] graphic image dot component and 25 [%] captured image dot component is output from the captured image transmission apparatus 200 as shown in FIG. Is done. The time t = T0 to t = T1 corresponds to ¼ of the total change time t = T0 to t = T4 of the synthesis process by the second motion detection.
[0127]
Further, at time t = T2, the component ratio v of the captured image dot v = 50 [%], and the graphic image dot component of 50 [%] and the captured image dot component of 50 [%] as shown in FIG. A transmission image composed of composite image dots is output from the captured image transmission apparatus 200. Time t = T0 to t = T2 corresponds to ½ of the total change time of the synthesis process.
[0128]
Further, at time t = T3, the component ratio v of the captured image dot v = 75 [%], and the graphic image dot component of 25 [%] and the captured image dot component of 75 [%] as shown in FIG. A transmission image composed of composite image dots is output from the captured image transmission apparatus 200. The time t = T0 to t = T3 corresponds to 3/4 of the total change time of the synthesis process.
[0129]
Then, at time t = T4, the component ratio v of the captured image dot v = 100 [%], and a transmission image including only the captured image is output from the captured image transmission apparatus 200 as illustrated in FIG. From this time t = T4, until the time t = T5 when the captured image transmission apparatus 200 recognizes that the first movement has been detected, the captured image is transmitted as a transmission image.
[0130]
Until the system control unit 250 recognizes that the first movement is detected at time t = T5, a transmission image including only the captured image is output from the captured image transmission apparatus 200 as illustrated in FIG. . At this time, the component ratio v of the captured image dot is v = 100 [%].
[0131]
The system control unit 250 recognizes that the first movement has been detected at time t = T5, starts to gradually decrease the component ratio v of the captured image dot, and when time t = T6, the component ratio v of the captured image dot. = 75 [%], and a transmission image composed of a composite image dot of a graphic image dot component of 25 [%] and a captured image dot component of 75 [%] as shown in FIG. Is done. The time t = T5 to t = T6 corresponds to ¼ of the total change time t = T5 to t = T9 of the synthesis process by the first motion detection.
[0132]
Further, at time t = T7, the component ratio v of the captured image dot v = 50 [%], and the graphic image dot component of 50 [%] and the captured image dot component of 50 [%] as shown in FIG. A transmission image composed of composite image dots is output from the captured image transmission apparatus 200. Time t = T5 to t = T7 corresponds to ½ of the total change time of the synthesis process.
[0133]
Further, at time t = T8, the component ratio v of the captured image dot v = 25 [%], and the graphic image dot component of 75 [%] and the captured image dot component of 25 [%] as shown in FIG. A transmission image composed of composite image dots is output from the captured image transmission apparatus 200. The time t = T0 to t = T1 corresponds to 3/4 of the total change time t = T0 to t = T4 of the synthesis process by the second motion detection.
[0134]
At time t = T9, the component ratio v = 0 [%] of the captured image dot is reached, and a transmission image consisting only of a graphic image is output from the captured image transmission apparatus 200 as shown in FIG. From this time t = T9 until the second movement is detected again, the graphic image is transmitted as the transmission image.
[0135]
As described above, in the second embodiment, when the first movement is detected while transmitting the captured image data, the transmission image data is prepared from the captured image data by changing the component ratio v of the captured image dots. When the second motion is detected when the prepared image data or the synthesized image data is transmitted, the component ratio v of the captured image dot is changed. By changing the transmission image data to the captured image data again, it is possible to change the clothes or the like without suddenly stopping the transmission of the image for a long time when transmitting the captured image with a simple operation or operation of the caller. I do not want to send it to the other party, such as fixing my hairstyle disorder, organizing cluttered surroundings, searching for materials, or leaving to call another person. Since the captured image data can be prevented from being transmitted, the privacy of the caller is protected without causing the other party to feel anxiety such as a device failure or a communication network problem as in the first embodiment. be able to. In addition, when the first movement is detected, the captured image is transmitted even though it is unclear with the composite image. Therefore, the discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0136]
14 and 15, the component ratio v of the captured image dots in the transmission image dots is gradually decreased or increased so that the captured image overlaps with the captured image when the first movement is detected. Since the graphic image is gradually projected clearly, and the captured image that is superimposed on the graphic image is gradually projected clearly when the second movement is detected, as in the first embodiment. The light shock received by the other party can be reduced by instantaneously switching the received image.
[0137]
In the second embodiment, by using an all-black image as the preparation image data, the captured image is faded out when the first movement is detected, and the captured image is displayed when the second movement is detected. It can be faded in.
[0138]
In the second embodiment, when the caller operates the process image transmission key 113, the synthesis process is performed in the same manner as any of the procedures (E) to (H) when the first movement is detected. When the caller operates the real image transmission key 112, the synthesis process may be changed in the same manner as any of the procedures (E) to (H) when the second movement is detected. Is possible. In this case, for example, when a captured image is being transmitted as a transmission image, it is necessary to search for a document or another person, and when the other party does not want to see the situation, the caller captures the first movement. When the operation or operation to be detected by the transmission apparatus 100 is performed or the processing image transmission key 113 is operated, the transmission image is switched to the preparation image or the composite image. The transmission image is switched to the captured image again by performing an operation or operation for causing the captured image transmission apparatus 100 to detect the second movement, or by operating the real image transmission key 112.
[0139]
Further, in the second embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the same procedure as any of the steps (E) to (H) described above when the second movement is detected. As described above, when the first movement is detected when the caller ends the communication by performing an on-hook operation with the hook key 111, the same process as in the above steps (E) to (H) is performed. It is also possible to change the composition process. For example, when communication is started off-hook, the transmission image is gradually increased by increasing the component ratio v of the captured image dots in the transmission image dots as t = T0 to t = T4 in FIG. When changing to (e) and on-hooking to end communication, transmission is performed by gradually decreasing the component ratio v of the captured image dot in the transmission image dot as shown in t = T5 to t = T9 in FIG. The image is changed as shown in (f) to (j) of FIG. As a result, at the start and end of communication, it is possible to prevent transmission of captured image data that is not desired to be transmitted to the other party without stopping image transmission for a long time. Thus, the privacy of the caller can be protected without causing the other party to feel uneasy such as a failure of the videophone device or a trouble of the communication line.
[0140]
As described above, according to the second embodiment, the first motion is detected when the motion detection unit 160 detects the first motion and the second motion of the imaging target or the imaging unit 13 and transmits the captured image. Is detected, the transmission image is changed to a preparation image or a composite image of the captured image and the preparation image by changing the component ratio of the captured image dot in the transmission image dots, and the transmission image is the preparation image or the composite image. When the second movement is detected, the transmission image is changed to the captured image by changing the component ratio of the captured image dot, so that the caller can be easily operated or operated by the caller. The privacy of the caller can be protected without causing anxiety such as a device failure or a communication network trouble. In addition, when the first movement is detected, the captured image is transmitted even though it is unclear with the composite image. Therefore, the discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0141]
Note that the procedure of (G) is not limited to the procedure of linearly changing the component ratio v of the captured image dot as shown in FIG. 14, and for example, the component ratio of the captured image dot according to a quadratic function curve or the like. It is also possible to change v. Further, in the combining process of the image data processing unit 270, it is also possible to combine a plurality of preparation screen dots and captured image dots.
[0142]
Embodiment 3 FIG.
FIG. 16 is a block diagram of the captured image transmission apparatus according to the third embodiment. In FIG. 16, the same components as those in FIG. 1 or FIG. It is assumed that the captured image transmission device 300 of the third embodiment is provided in the videophone device 1 of FIG. 17 is an internal block configuration diagram of the system control unit 350 in FIG. 16, and FIG. 18 is an internal block configuration diagram of the image data processing unit 370 in FIG. 17, the same components as those in FIG. 2 or FIG. 12 are denoted by the same reference numerals, and in FIG. 18, the same components as those in FIG. 3 or FIG.
[0143]
16 includes an operation unit 110, an imaging unit 13, an image data encoding unit 14, a system control unit 350, a motion detection unit 160, an image data processing unit 370, and an image data storage. Part 180. Therefore, the captured image transmission apparatus 300 includes the system control unit 150 (see FIG. 2) and the image data processing unit 170 (see FIG. 3) in the captured image transmission apparatus 100 (see FIG. 1) of the first embodiment. The system control unit 350 (see FIG. 17) and the image data processing unit 370 (see FIG. 18) are changed.
[0144]
The captured image transmission apparatus 300 according to the third embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, an image data storage unit 180 that stores image data prepared in advance, and the imaging An image data processing unit 370 that synthesizes the image data and the prepared image data, and generates transmission image data composed of the captured image data, the prepared image data, or these combined image data, and the transmission image An image data encoding unit 14 that encodes and outputs data, a system control unit 350 that controls the synthesis process, and a first motion and a second motion of the imaging target or the imaging unit are detected from the captured image data A motion detection unit 160 that performs the first control when the transmission image data is captured image data. When the image is detected, the transmission image data is changed to the prepared image data or the synthesized image data by changing the synthesis process, and the transmission image data is changed to the prepared image data or the synthesized image. When the second motion is detected when the data is data, the transmission image data is changed to the captured image data by changing the synthesis process.
[0145]
In the third embodiment, the image data processing unit 370 sets the captured image area and the preparation image area in the entire area of the transmission image data according to the ratio m of the captured image area, and the captured image area includes the captured image area. A combined image dot of the captured image dot and the prepared image dot synthesized according to the component ratio v1 of the captured image dot is inserted, and a synthesized image synthesized according to the component ratio v2 of the captured image dot of the prepared image area in the prepared image area Transmission image data is generated by inserting dots, and the system control unit 350 sets the ratio m of the captured image area to 0 [%] ≦ m ≦ when the first movement or the second movement is detected. It changes between 100 [%], changes the component ratio v1 of the picked-up image dots in the picked-up image region between 0 [%] <v1 ≦ 100 [%], and picks up the preparatory image region By changing the component ratio v2 of the image dots between 0 [%] ≦ v2 <100 [%], it changes the transmission image data. When v1 = 0 [%], the composite image dot in the captured image area is a captured image dot, and when v2 = 0 [%], the composite image dot in the prepared image area is a preparation image dot. For example, if 0 [%] <v1 <100 [%] and v2 = 0 [%], the captured image area of the transmission image is composed of composite image dots of the captured image dots and the preparation image dots, and the transmission image is prepared. The image area consists of prepared image dots.
[0146]
[System control unit 350]
The system control unit 350 controls the motion detection unit 160, the image data processing unit 370, and the image data encoding unit 14 according to the input content from the operation unit 110 and the like. The system control unit 350 controls the synthesis process in the image data processing unit 370, and the motion detection unit 160 detects the first motion or the second motion, or the operation unit 110 performs the actual processing. When the image transmission key 112 or the processed image transmission key 113 is operated, the above composition processing is changed. Further, the system control unit 350 controls the operation of writing the output image data of the image data processing unit 370 into the image data storage unit 180 and the operation of reading the image data prepared in the image data storage unit 180 to the image data processing unit 270. To do. The system control unit 350 changes the above synthesis process when the first motion or the second motion is detected when the motion detection processing key 114 is ON, but when the motion detection processing key 114 is OFF, Even if the first movement or the second movement is detected, the above synthesis process is not changed.
[0147]
In FIG. 17, composite content control data 351 and preparation image selection data 152 are set in advance in the system control unit 350. The composition content control data 351 is data for controlling the composition process in the image data processing unit 370 and the modification of the composition process by motion detection according to a procedure set in advance by the caller. The caller can operate the operation unit 110 to change the setting of the synthesis process and its change procedure.
[0148]
The composite content control data 351 is data for controlling the ratio m of the captured image area in the transmission image, the component ratio v1 of the captured image dot in the captured image area, and the component ratio v2 of the captured image dot in the preparation image area. is there. Therefore, it can be said that the composite content control data 351 is a combination of the composite area control data 151 of the first embodiment and the composite ratio control data 251 of the second embodiment.
[0149]
[Image Data Processing Unit 370]
The image data processing unit 370 combines the captured image data input from the imaging unit 13 and the previously prepared image data input from the image data storage unit 180 in accordance with a control signal input from the system control unit 350. The captured image data, the prepared image data, or the composite image data thereof is output as transmission image data. The above combining process includes a process of selecting only captured image data or prepared image data as transmission image data. The procedure of the composition process is as follows when the first movement or the second movement is detected, and when the caller operates the real image transmission key 112 or the processed image transmission key 113 of the operation unit 110. It is changed by the system control unit 350. The output image data of the image data processing unit 370 is also input to the image data storage unit 180 so that the output image data of the image data processing unit 370 can be stored in the image data storage unit 180 as prepared image data. Is done.
[0150]
The image data processing unit 370 sets the captured image region and the preparation image region in the entire region of the transmission image data according to the ratio m of the captured image region included in the control signal from the system control unit 350, and is included in the control signal. In accordance with the component ratio v1 of the captured image dots in the captured image area, a component ratio v1 [%]: 100-v1 [%] of the captured image dots and the preparation image dots in the captured image area is set and included in the control signal. In accordance with the component ratio v2 of the captured image dots in the preparation image area, the component ratio v2 [%]: 100−v2 [%] of the captured image dots and the preparation image dots in the imaging area is set, and the component ratio v1 [ %]: A synthesized image dot of a captured image dot and a prepared image dot synthesized with 100-v1 [%] is inserted into a captured image area, and the prepared image Component ratio v2 [%] of the pass: by inserting the 100-v2 [%] Prepare the image area synthesized image dots synthesized captured image dots and preparation image dots, generates a transmission image data.
[0151]
In FIG. 18, the image data processing unit 370 includes a composition content setting circuit 371, an image data composition circuit 172, and an image data selection circuit 173. Therefore, the image data processing unit 370 is obtained by changing the composition area setting circuit 171 to the composition content setting circuit 371 in the image data processing unit 170 in FIG. 3, and in the image data processing unit 270 in FIG. The circuit 271 is changed to a composite content setting circuit 371. The composite content setting circuit 371 includes the composite region setting circuit 171 shown in FIG. 3 and the composite ratio setting circuit 271 shown in FIG.
[0152]
The composite content setting circuit 371 includes, in the composite region setting circuit 171, the position and area of the captured image region in the entire region of the transmission image according to the ratio m of the captured image region included in the control signal from the system control unit 150, and the like. In addition to setting the position and area of the preparation image area, in the combination ratio setting circuit 271, according to the component ratios v1 and v2 of the image pickup image dot included in the control signal, the image pickup image dot and the preparation image dot in the pickup image area, respectively. Component ratio v1 [%]: 100-v1 [%], and component ratio v2 [%]: 100-v2 [%] of the captured image dots and the prepared image dots in the prepared image area are set. The image data composition circuit 172 is controlled according to the setting of the preparation image area and the setting of the component ratio. That.
[0153]
As described above, in the third embodiment, when the first movement is detected while the captured image data is being transmitted, the ratio m of the captured image area, the component ratio v1 of the captured image dot in the captured image area, and By changing the component ratio v2 of the captured image dot in the prepared image region, the transmission image data is changed from the captured image data to the prepared image data or the combined image data of the captured image data and the image data, and the prepared image data or the combined image data. When the second motion is detected while transmitting image data, the ratio m of the captured image area, the component ratio v1 of the captured image dot in the captured image area, and the component ratio of the captured image dot in the preparation image area By changing the transmission image data to the captured image data again by changing v2, the caller can perform a simple operation or operation, While sending an image, without suddenly stopping the image transmission for a long time, correct the disorder of clothes and hairstyles, sort out cluttered surroundings, search for materials, or call another person Therefore, it is possible to prevent transmission of captured image data that is not desired to be transmitted to the other party, such as when leaving the seat, so that, as in the first embodiment, anxiety such as a device failure or a communication network problem may occur. It is possible to protect the caller's privacy without making the user feel. In addition, when the first movement is detected, the captured image is transmitted although it is partially and unclear, so that discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0154]
In the third embodiment, when the first movement or the second movement is detected, the ratio m of the captured image area and the component ratios v1 and v2 of the captured image dots are all changed, or the ratio m of the captured image area Whether only the component ratio v1 of the captured image dot is changed or only the ratio m of the captured image region and the component ratio v2 of the captured image dot is changed can be arbitrarily set.
[0155]
Further, in the third embodiment, it is possible to use different preparation image data for the composite image in the captured image region and the composite image in the preparation image region (preparation image when v2 = 0 [%]). .
[0156]
Further, in the third embodiment, when the caller operates the processed image transmission key 113, the compositing process is changed in the same procedure as when the first movement is detected, and the caller sets the real image transmission key 112. When the operation is performed, it is also possible to change the synthesis process in the same procedure as when the second movement is detected.
[0157]
In the third embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the compositing process is changed in the same procedure as when the second movement is detected, and the caller changes the hook key 111. When the on-hook operation is performed to end the communication, it is also possible to change the synthesis process in the same procedure as when the first movement is detected.
[0158]
As described above, according to the third embodiment, the first motion and the second motion of the imaging target or the imaging unit 13 are detected by the motion detection unit 160 and the first motion is transmitted when the captured image is transmitted. Is detected, the transmission image is changed to a prepared image or a composite image of the captured image and the prepared image by changing the ratio of the captured image area and the component ratio of the captured image dots in the transmitted image, and the transmission image is prepared. When the second motion is detected when the image or the composite image, the transmission image is changed to the captured image by changing the ratio of the captured image region and the component ratio of the captured image dot, With the simple operation or operation of the caller, it is possible to protect the caller's privacy without making the other party feel uneasy about a device failure or a communication network trouble. In addition, when the first movement is detected, the captured image is transmitted although it is partially and unclear, so that discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0159]
Embodiment 4 FIG.
FIG. 19 is a block configuration diagram of a captured image transmission apparatus according to Embodiment 4 of the present invention. In FIG. 19, the same components as those in FIG. The captured image transmission apparatus 400 of the fourth embodiment is assumed to be provided in the videophone apparatus 1 of FIG. FIG. 20 is an internal block configuration diagram of the system control unit 450 of FIG. In FIG. 20, the same components as those in FIG.
[0160]
A captured image transmission apparatus 400 in FIG. 19 includes an operation unit 110, an imaging unit 13, an image data encoding unit 440, a system control unit 450, an image data processing unit 170, and an image data storage unit 180. Yes. Therefore, the captured image transmission apparatus 400 includes the system control unit 150 (see FIG. 2) and the image data encoding unit 14 (see FIG. 4) in the captured image transmission apparatus 100 (see FIG. 1) of the first embodiment. The image data encoding unit 440 provided with the system control unit 450 (see FIG. 20) and the motion detection circuit 445 is replaced with the motion detection circuit 160 (FIG. 5).
[0161]
The captured image transmission apparatus 400 according to the fourth embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, an image data storage unit 180 that stores previously prepared image data, and the imaging An image data processing unit 170 that synthesizes the image data and the prepared image data and generates transmission image data composed of the captured image data, the prepared image data, or these combined image data; and the transmission image An image data encoding unit 440 that encodes and outputs data and a system control unit 450 that controls the synthesis process are provided, and the data encoding unit 440 receives the captured image data as the transmission image data. Sometimes, the motion detection circuit 445 detects the third motion of the imaging target or the imaging unit from the captured image data. When the third motion is detected when the transmission image data is captured image data, the system control unit 450 changes the composition processing to change the transmission image data to the prepared image data or the It is characterized by changing to composite image data.
[0162]
The third movement is, for example, either the first movement or the second movement described in the first embodiment, or the first movement and the second movement.
[0163]
The captured image transmission apparatus 100 according to the first embodiment includes the motion detection unit 160. The motion detection unit 160 detects the first motion and the second motion from the captured image data, and the first motion or the second motion is detected. When the movement is detected, the transmission image data is changed by changing the synthesis process.
[0164]
On the other hand, in the captured image transmission apparatus 400 according to the fourth embodiment, a motion detection circuit 445 corresponding to the motion detection unit 160 is provided in the image data encoding unit 440, and the motion detection circuit 445 uses the image data encoding unit 440. The third movement is detected from the captured image data input to the transmission image, and when the third movement is detected, the transmission image data is changed by changing the synthesis process.
[0165]
In the fourth embodiment, the motion detection circuit 445 cannot detect the third motion unless the captured image data is input to the image data encoding unit 440 (the third motion from the input composite image data). It is difficult to detect the movement of For this reason, when the captured image data is input to the image data encoding unit 440 (when the transmission image data is captured image data), the system control unit 450 causes the motion detection circuit 445 to execute the third motion. Is detected, by changing the ratio m of the captured image area in the same manner as when the first movement is detected in the procedures (A) to (D) described in the first embodiment. The transmission image data is changed from the captured image data to the prepared image data or the combined image data of the prepared image data and the captured image data. In addition, when the real image transmission key 112 is operated by the caller, the system control unit 450 detects when the second movement is detected in the procedures (A) to (D) described in the first embodiment. Similarly, the transmission image data is changed from the prepared image data or the composite image data to the captured image data by changing the ratio m of the captured image area.
[0166]
[Image Data Encoding Unit 440]
The image data encoding unit 440 is provided with a motion detection circuit 445 in the image data encoding unit 14 of the first embodiment.
[0167]
[Motion detection circuit 445]
The motion detection circuit 445 has a configuration similar to that of the motion detection unit 160 (see FIG. 5) of the first embodiment, for example, and is based on the captured image data input from the image data processing unit 170. The third movement of the unit 13 is detected and notified to the system control unit 450.
[0168]
[System control unit 450]
The system control unit 450 controls the image data processing unit 170 and the image data encoding unit 440 according to the input content from the operation unit 110 and the like. The system control unit 450 controls the composition processing in the image data processing unit 170, and the third motion is detected by the motion detection circuit 445, or the real image transmission key 112 of the operation unit 110 or the processing. When the image transmission key 113 is operated, the above composition processing is changed. Further, the system control unit 450 controls the operation of writing the output image data of the image data processing unit 170 to the image data storage unit 180 and the operation of reading the image data prepared in the image data storage unit 180 to the image data processing unit 170. To do. When the motion detection processing key 114 is ON, the system control unit 450 changes the above-described synthesis processing when the third motion is detected. When the motion detection processing key 114 is OFF, the system control unit 450 changes the third motion. Even if it is detected, the above synthesis processing is not changed.
[0169]
In FIG. 20, the system control unit 450 is provided with composite area control data 451 and preparation image selection data 152. Similar to the synthesis area control data 151 of the first embodiment, the synthesis area control data 451 is obtained by the synthesis process in the image data processing unit 170, the detection of the third movement or the operation of the actual image transmission key 112, and the like. This is data for controlling the change of the synthesis process according to a procedure preset by the caller. The caller can operate the operation unit 110 to change the setting of the synthesis process and its change procedure.
[0170]
As described above, in the fourth embodiment, when the third motion is detected while the captured image data is transmitted, the transmission image data is changed from the captured image data to the prepared image by changing the ratio m of the captured image area. If the actual image transmission key 112 is operated while the preparation image data or the composite image data is transmitted, the ratio m of the captured image area is changed. By changing the transmission image data to the captured image data again, it is possible to change the clothes without suddenly stopping the transmission of the image for a long time when transmitting the captured image with a simple operation or operation of the caller. I want to send it to the other party, such as correcting my hairstyle disorder, organizing cluttered surroundings, exploring materials, or leaving to call another person. Since the captured image data can be prevented from being transmitted, the privacy of the caller is protected without causing the other party to feel anxiety such as a device failure or a communication network problem as in the first embodiment. be able to. Further, when the third movement is detected, the captured image is transmitted even though it is partially, so that the discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0171]
Furthermore, since the motion detection circuit 445 is provided in the image data encoding unit 440, it is not necessary to provide the motion detection unit 160 individually as in the first embodiment. Can also be a simple configuration.
[0172]
Further, in the fourth embodiment, when the caller operates the processed image transmission key 113, it is also possible to change the synthesis process in the same procedure as when the third movement is detected.
[0173]
In the fourth embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the compositing process is changed in the same procedure as when the real image transmission key 112 is operated, so that the caller When the on-hook operation is performed by the hook key 111 and the communication is terminated, it is also possible to change the synthesis process in the same procedure as when the third movement is detected. As a result, at the start and end of communication, it is possible to perform mosaic processing on the captured image data that is not desired to be transmitted to the other party without stopping transmission of the image for a long time. It is possible to protect the caller's privacy without feeling uneasy about the trouble of the communication or the trouble of the communication line.
[0174]
As described above, according to the fourth embodiment, when the motion detection circuit 445 provided in the image data encoding unit 440 detects the third motion of the imaging target or the imaging unit 13 and transmits the captured image. When the third movement is detected, the transmission image is changed to a preparation image or a composite image of the pickup image and the preparation image by changing the ratio of the captured image region in the transmission image, and the transmission image is the preparation image or the above-described image. When the real image transmission key 112 is operated when the image is a composite image, the transmission image is changed to a captured image by changing the ratio of the captured image area, so that the other party can perform a simple operation or operation by the caller. Thus, the privacy of the caller can be protected without causing the user to feel uneasy about a device failure or a communication network problem. In addition, when the third movement is detected, the captured image is transmitted although it is partially and unclear, so that discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated.
[0175]
The captured image transmission apparatus according to the fourth embodiment is the same as the captured image transmission apparatus according to the first embodiment, except that the motion detection circuit is provided in the image data encoding unit. In the captured image transmission apparatus, a motion detection circuit can be provided in the image data encoding unit.
[0176]
Embodiment 5 FIG.
FIG. 21 is a block configuration diagram of the captured image transmission apparatus according to the fifth embodiment of the present invention. In FIG. 21, the same components as those in FIG. Assume that captured image transmission apparatus 500 of the fifth embodiment is provided in the videophone apparatus of FIG. FIG. 22 is an internal block configuration diagram of the image data encoding unit 540 of FIG. 22 that are the same as those in FIG. 4 are denoted by the same reference numerals.
[0177]
21 includes an operation unit 110, an imaging unit 13, an image data encoding unit 540, a system control unit 550, a motion detection unit 160, and a quantization coefficient setting unit 590. Yes. Therefore, the captured image transmission apparatus 500 includes the image data encoding unit 14 (see FIG. 4) and the system control unit 150 (see FIG. 2) in the captured image transmission apparatus 100 (see FIG. 1) of the first embodiment. It changes to the image data encoding part 540 and the system control part 550, the quantization coefficient setting part 590 is provided, the image data processing part 170 and the image data storage part 180 are deleted, and the captured image data is stored in the image data encoding part 540. It is configured to input directly.
[0178]
The captured image transmission apparatus 500 according to the fifth embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, and an image data code that encodes and outputs the captured image data with a set quantization coefficient. A quantization unit 540, a quantization coefficient setting unit 590 for setting the quantization coefficient, a system control unit 550 for controlling the setting of the quantization coefficient, and a first object of the imaging target or the imaging unit from the captured image data A motion detection unit 160 that detects a motion or a second motion, and the system control unit 550 detects the first motion when the encoded captured image data is not subjected to mosaic processing. The mosaic processing is performed on the encoded captured image data by changing the quantization coefficient, and the mosaic processing is performed on the encoded captured image data. When the second motion is detected when, characterized by stopping the mosaic processing by changing the quantization coefficient.
[0179]
[Image Data Encoding Unit 540]
22, the image data encoding unit 540 includes a DCT circuit 141, a quantization circuit 542, a variable length encoding circuit 143, and a transmission buffer 144. Therefore, the image data encoding unit 540 is obtained by changing the quantization circuit 142 to the quantization circuit 542 in the image data encoding unit 14 of FIG.
[0180]
[Quantization circuit 542]
The quantization circuit 542 is configured so that the quantization coefficient can be variably set in accordance with the quantization coefficient setting signal input from the quantization coefficient setting unit 590 in the quantization circuit 142 of FIG.
[0181]
[Quantization coefficient setting unit 590]
The quantization coefficient setting unit 590 sets the quantization coefficient of the quantization circuit 542 according to the control signal from the system control unit 550.
[0182]
[System control unit 550]
The system control unit 550 controls the motion detection unit 160, the image data encoding unit 540, and the quantization setting unit 590 according to the input content from the operation unit 110. The system control unit 550 controls the setting of the quantization coefficient of the quantization circuit 542 in the quantization setting unit 590, and the motion detection unit 160 detects the first motion or the second motion. Alternatively, when the real image transmission key 112 or the processed image transmission key 113 of the operation unit 110 is operated, the setting of the quantization coefficient is changed.
[0183]
The system control unit 550 is provided with data for controlling the setting of the quantization coefficient and the change of the setting of the quantization coefficient by detecting motion according to a procedure preset by the caller. The caller can operate the operation unit 110 to change the set value of the quantization coefficient and the change procedure.
[0184]
Here, the reason why the quantization coefficient of the quantization circuit of the image data encoding unit can be changed will be described. When the quantization coefficient is changed to an appropriate large value, mosaic processing can be performed on the encoded captured image data (captured image data output from the image data encoding unit 540). As the value of the quantization coefficient increases, the mosaic effect in the decoded image increases, and thus the mosaic effect increases. Conversely, the smaller the quantized coefficient value, the smaller the mosaic in the decoded image. By setting the quantized coefficient to an appropriate small value, the decoded image reproduces the captured image almost faithfully. . The quantization coefficient in the first to third embodiments is set to the appropriate small value and is fixed to this value.
[0185]
As described above, the value of the quantization coefficient is proportional to the mosaic effect (the mosaic effect of the decoded image) in the encoded captured image data (transmission image data). Therefore, the mosaic effect in the captured image data can be changed by changing the value of the quantization coefficient, and the clarity of the captured image data can be changed in the same manner as the composition processing in the second embodiment. Can do.
[0186]
The specific change procedure for setting the quantization coefficient when the first or second motion is detected is, for example, according to the following (I) to (L).
(I) The quantization coefficient is set to a value (a value at which a decoded image is a faithful reproduction of a captured image) N that is not subjected to mosaic processing on encoded captured image data (transmission image data). Sometimes, when the first motion is detected, the quantization coefficient is changed to a value M (> N) to be subjected to mosaic processing, and when the quantization coefficient is set to M, the second When motion is detected, the quantization coefficient is changed to N.
(J) The quantization coefficient is set to a value (a value at which the decoded image is a faithful reproduction of the captured image) N that is not subjected to mosaic processing on the encoded captured image data (transmission image data). Sometimes, when the first motion is detected, the quantization coefficient is gradually increased over time to a value M (> N) to which the mosaic processing is performed, and when the quantization coefficient is set to M, When the second motion is detected, the quantization coefficient is gradually decreased to N to the above.
(K) Every time the first motion is detected, the quantization coefficient is increased, and every time the second motion is detected, the quantization coefficient is decreased. Alternatively, each time the first motion is detected, the quantization coefficient is increased, and when the second motion is detected, the quantization coefficient is mosaic-processed into encoded captured image data (transmission image data). Is changed to a value (a value at which the decoded image reproduces the captured image almost faithfully) N.
[0187]
In the above procedure (I), for example, when the caller shakes the imaging unit 13 up and down, the quantization coefficient is not subjected to mosaic processing (a value in which the decoded image reproduces the captured image almost faithfully). ) When the value is instantaneously changed from N to a value M (> N) on which mosaic processing is performed and the imaging unit 13 is moved to the left and right, the quantization coefficient is instantly changed from M to N. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0188]
In the above procedure (J), for example, when the caller shakes the imaging unit 13 quickly (the motion vector is large), the quantization coefficient is not subjected to mosaic processing (the decoded image reproduces the captured image almost faithfully). When the imaging unit 13 is shaken slowly (the motion vector is small) from N to M (> N) on which mosaic processing is performed and the image pickup unit 13 is slowly shaken (the motion vector is small), the quantization coefficient is increased from M to N. Reduce gradually. In this case, the movement of shaking the imaging unit 13 quickly corresponds to the first movement, and the movement of slowly shaking the imaging unit 13 corresponds to the second movement.
[0189]
In the example of the procedure (J), the quantization coefficient can be changed linearly as shown in FIG. 9 of the first embodiment, or is changed according to a curve such as a quadratic function. It is also possible.
[0190]
In the procedure (K), for example, the lower limit value of the quantization coefficient is set to a value (a value at which the decoded image is a faithful reproduction of the captured image) N, and the upper limit value of the quantization coefficient. The value is a value M that is subjected to mosaic processing of a large mosaic, and whenever the caller shakes the imaging unit 13 up and down, the quantization coefficient is increased, and conversely every time the imaging unit 13 is shaken left and right, the quantum is increased. Reduce the conversion factor. For example, each time the caller shakes the imaging unit 13 up and down, the quantization coefficient is increased, and when the imaging unit 13 is shaken left and right, the quantization coefficient is changed to N. In these cases, one up and down movement corresponds to the first movement, and one right and left movement corresponds to the second movement.
[0191]
As described above, in the fifth embodiment, when the first motion is detected when the captured image data (transmission image data) is not subjected to the mosaic process, the quantization coefficient is changed to change the captured image data. When the second motion is detected when the mosaic processing is performed and the captured image data (transmission image data) is subjected to the mosaic processing, the mosaic processing is stopped by changing the quantization coefficient, thereby calling. A simple operation or operation of a person can correct the disorder of clothes and hairstyles, sort out cluttered surroundings, and collect materials without suddenly stopping the transmission of images for a long time when transmitting captured images. Since it is possible to perform mosaic processing on captured image data that is not desired to be transmitted to the other party such as when searching or leaving to call another person, the first embodiment described above In the same way, without having to feel the anxiety, such as trouble of failure or communication network of the device to the other party, it is possible to protect the privacy of the caller. In addition, when the first motion is detected, the captured image data is transmitted although it is unclear by performing mosaic processing on the captured image data by changing the quantization coefficient, so that the captured image is not transmitted at all. It can relieve discomfort and anxiety that the other party feels.
[0192]
Further, in the change procedure (J), by gradually decreasing or increasing the quantization coefficient, when the first movement is detected, the mosaic eye becomes gradually rough and the captured image is gradually blurred. Thus, when the second motion is detected, the mosaic eye gradually becomes finer and the captured image is gradually projected clearly. As in the first embodiment, the received image (decoding is performed). The light shock received by the other party can be reduced by instantaneously changing the image.
[0193]
Furthermore, the captured image transmission device 100 of the first embodiment has a configuration in which the motion detection unit 160, the image data processing unit 170, and the image data storage unit 180 are provided in the conventional captured image transmission device. The captured image transmission apparatus 500 according to Embodiment 5 has a configuration in which a motion detection unit 160 and a quantization coefficient setting unit 590 are provided in a conventional captured image transmission apparatus. Since the quantization coefficient setting unit 590 can be realized by a circuit having a smaller scale than the unit composed of the image data processing unit 170 and the image data storage unit 180, in the fifth embodiment, a captured image is transmitted by adding a small circuit. Privacy protection can be added to the device.
[0194]
In addition, the caller (user) can easily change the size of the mosaic eye by operating the operation unit 110 and changing the setting of the quantization coefficient.
[0195]
In the fifth embodiment, when the caller operates the processed image transmission key 113, the quantization is performed in the same manner as any of the procedures (I) to (K) described above when the first movement is detected. When the coefficient is changed and the caller operates the real image transmission key 112, the quantization coefficient is changed in the same manner as any of the procedures (I) to (K) described above when the second motion is detected. It is also possible. In this case, for example, when a captured image that has not been subjected to mosaic processing is being transmitted as a transmission image, it is necessary to search for a document or another person. When the captured image transmitting apparatus 100 detects or moves the transmission image by performing an operation or operation for detecting the movement of the captured image 100 or operating the processed image transmission key 113, and if the above-mentioned document or another person is found, The person stops the mosaic process by performing an operation or operation for causing the captured image transmission apparatus 100 to detect the second movement or by operating the real image transmission key 112.
[0196]
Further, in the fifth embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the same as any of the procedures (I) to (K) described above when the second movement is detected. In the same way as any of the procedures (I) to (K) described above when the first movement is detected when the caller ends the communication by performing an on-hook operation with the hook key 111 by changing the quantization coefficient as described above. It is also possible to change the quantization coefficient as described above. As a result, at the start and end of communication, it is possible to perform mosaic processing on the captured image data that is not desired to be transmitted to the other party without stopping transmission of the image for a long time. It is possible to protect the caller's privacy without feeling uneasy about the trouble of the communication or the trouble of the communication line.
[0197]
As described above, according to the fifth embodiment, when the first motion and the second motion of the imaging target or the imaging unit 13 are detected by the motion detection unit 160 and a captured image that has not been subjected to mosaic processing is transmitted. When the first motion is detected, mosaic processing is performed on the transmission image by changing the quantization coefficient, and when the second motion is detected when the captured image subjected to the mosaic processing is transmitted, By stopping the above mosaic processing by changing the quantization coefficient, the caller's privacy can be obtained without causing the other party to feel uneasy about the device failure or communication network trouble with a simple operation or operation of the caller. Can be protected. In addition, when the first motion is detected, the captured image data is transmitted although it is unclear by performing mosaic processing on the captured image data by changing the quantization coefficient, so that the captured image is not transmitted at all. It can relieve discomfort and anxiety that the other party feels.
[0198]
Furthermore, according to the fifth embodiment, since the quantization coefficient setting unit 590 can be realized with a small circuit, a privacy protection function can be added to the captured image transmission apparatus by adding a small circuit.
[0199]
Embodiment 6 FIG.
FIG. 23 is a block diagram of a captured image transmission apparatus according to the sixth embodiment of the present invention. 19, the same components as those in FIG. 21 are denoted by the same reference numerals. Assume that captured image transmission apparatus 600 of the sixth embodiment is provided in the videophone apparatus of FIG. FIG. 24 is an internal block configuration diagram of the image data encoding unit 640 of FIG. In FIG. 24, the same components as those in FIG. 21 or FIG.
[0200]
The captured image transmission apparatus 600 of FIG. 23 includes an imaging unit 13, an operation unit 110, an image data encoding unit 640 provided with a motion detection circuit therein, a system control unit 550, and a quantization coefficient setting unit 590. I have. Therefore, the captured image transmission apparatus 600 is the image data in which the motion detection circuit 645 is provided inside the image data encoding unit 540 (see FIG. 22) in the captured image transmission apparatus 500 (see FIG. 21) of the fifth embodiment. It is changed to the encoding unit 640 (see FIG. 24), and the motion detection circuit 160 is deleted.
[0201]
The captured image transmission apparatus 600 according to the sixth embodiment includes an imaging unit 13 that captures an imaged object and outputs captured image data, and an image data code that encodes the captured image data with a set quantization coefficient and outputs the encoded image data. A quantization unit 640, a quantization coefficient setting unit 590 that sets the quantization coefficient, and a system control unit 550 that controls the setting of the quantization coefficient, and the data encoding unit 640 uses the motion detection circuit 445 to perform the above operation. The first or second movement of the imaging target or the imaging unit is detected from the captured image data, and the system control unit 550 performs the first processing when the encoded captured image data is not subjected to mosaic processing. When a motion of 1 is detected, mosaic processing is performed on the encoded captured image data by changing the quantization coefficient, and the encoded captured image data is processed. When the second motion is detected when the mosaic process is performed on data, characterized by stop the mosaic processing by changing the quantization coefficient.
[0202]
The captured image transmission apparatus 500 according to the fifth embodiment includes the motion detection unit 160. The motion detection unit 160 detects the first motion and the second motion from the captured image data, and the first motion or the second motion is detected. When the movement of is detected, the quantization coefficient is changed. The first and second movements and the detection procedure of these movements in the movement detection circuit 445 are the same as those described in the first embodiment.
[0203]
On the other hand, in the captured image transmission apparatus 600 of the sixth embodiment, a motion detection circuit 645 corresponding to the motion detection unit 160 is provided in the image data encoding unit 640, and the image data encoding unit 640 is provided by the motion detection circuit 645. The first motion and the second motion are detected from the captured image data input to the signal, and when the first motion or the second motion is detected, quantization is performed by the same change procedure as in the fifth embodiment. Change the coefficient.
[0204]
[Image Data Encoding Unit 640]
24, the image data encoding unit 640 includes a DCT circuit 141, a quantization circuit 542, a variable length encoding circuit 143, a transmission buffer 144, and a motion detection circuit 645. Therefore, the image data encoding unit 640 is provided with a motion detection circuit 645 in the image data encoding unit 540 of FIG.
[0205]
[Motion detection circuit 645]
The motion detection circuit 645 has, for example, the same configuration as the motion detection unit 160 (see FIG. 5) according to the first embodiment, and the captured image data input to the image data encoding unit 640 is used as an imaging target or The first movement and the second movement of the imaging unit 13 are detected and notified to the system control unit 550.
[0206]
In the sixth embodiment, when the first motion or the second motion is detected by the motion detection circuit 645 provided in the image data encoding unit 640, the system control unit 550 will be described in the fifth embodiment. The mosaic process is applied to the transmitted captured image data or the mosaic process is stopped by changing the quantization coefficient in the same manner as the procedures (I) to (K).
[0207]
As described above, in the sixth embodiment, when the first motion is detected when the captured image data (transmission image data) is not subjected to the mosaic process, the quantized coefficient is changed to change the captured image data. When the second motion is detected when the mosaic processing is performed and the captured image data (transmission image data) is subjected to the mosaic processing, the mosaic processing is stopped by changing the quantization coefficient, thereby calling. A simple operation or operation of a person can correct the disorder of clothes and hairstyles, sort out cluttered surroundings, and collect materials without suddenly stopping the transmission of images for a long time when transmitting captured images. Since the picked-up image data that is not desired to be transmitted to the other party such as when searching or leaving to call another person can be subjected to mosaic processing, Embodiment 5 above In the same way, without having to feel the anxiety, such as trouble of failure or communication network of the device to the other party, it is possible to protect the privacy of the caller. In addition, when the first motion is detected, the captured image data is transmitted although it is unclear by performing mosaic processing on the captured image data by changing the quantization coefficient, so that the captured image is not transmitted at all. It can relieve discomfort and anxiety that the other party feels.
[0208]
Further, by providing the motion detection circuit 645 in the image data encoding unit 640, it is not necessary to provide the motion detection unit 160 individually as in the fifth embodiment, and the quantization coefficient setting unit 590 is the same as that in the first embodiment. Since the image data processing unit 170 and the image data storage unit 180 can be realized with a smaller circuit than the unit comprising the image data storage unit 180, the captured image transmission apparatus can be simplified in configuration, and the captured image can be transmitted with the addition of a small circuit. Privacy protection can be added to the device.
[0209]
In the sixth embodiment, when the caller operates the processed image transmission key 113, the quantization coefficient is changed in the same procedure as when the first movement is detected, and the caller changes the real image transmission key 112. It is also possible to change the quantization coefficient in the same procedure as when the second motion is detected when is operated. In this case, for example, when a captured image that has not been subjected to mosaic processing is being transmitted as a transmission image, it is necessary to search for a document or another person. If the captured image transmission apparatus 600 detects or moves the transmission image by performing an operation or operation for detecting the movement of the captured image 600 or operating the processed image transmission key 113, and if the above-mentioned document or another person is found, The person stops the mosaic processing by performing an operation or operation for causing the captured image transmission apparatus 600 to detect the second movement or by operating the real image transmission key 112.
[0210]
In the sixth embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the quantization coefficient is changed in the same procedure as when the second movement is detected, and the caller When an on-hook operation is performed by 111 to end communication, the quantization coefficient can be changed in the same procedure as when the first movement is detected. As a result, at the start and end of communication, it is possible to perform mosaic processing on the captured image data that is not desired to be transmitted to the other party without stopping transmission of the image for a long time. It is possible to protect the caller's privacy without feeling uneasy about the trouble of the communication or the trouble of the communication line.
[0211]
As described above, according to the sixth embodiment, the first motion and the second motion of the imaging target or the imaging unit 13 are detected by the motion detection circuit 645 provided in the image data encoding unit 640 and subjected to mosaic processing. If the first motion is detected when transmitting a non-captured image, mosaic processing is performed on the transmission image by changing the quantization coefficient, and when the mosaic-processed captured image is transmitted, When the movement of 2 is detected, the mosaic processing is stopped by changing the quantization coefficient, so that the caller can easily operate or operate the caller to cause anxiety such as a device failure or a communication network trouble. The privacy of the caller can be protected without making it feel. In addition, when the first motion is detected, the captured image data is transmitted although it is unclear by performing mosaic processing on the captured image data by changing the quantization coefficient, so that the captured image is not transmitted at all. It can relieve discomfort and anxiety that the other party feels.
[0212]
Furthermore, according to the sixth embodiment, it is not necessary to provide a means for detecting motion by providing the motion detection circuit 645 in the image data encoding unit 640, and the quantization coefficient setting unit 590 is realized with a small circuit. Therefore, the captured image transmission device can be configured simply, and a privacy protection function can be added to the captured image transmission device by adding a small circuit.
[0213]
Embodiment 7 FIG.
FIG. 25 is a block diagram of a captured image transmission apparatus according to the seventh embodiment of the present invention. In FIG. 25, the same components as those in FIGS. 1 and 21 are denoted by the same reference numerals. Assume that captured image transmission apparatus 700 of the seventh embodiment is provided in the videophone apparatus of FIG.
[0214]
25 includes an operation unit 110, an imaging unit 13, an image data encoding unit 540, a system control unit 750, a motion detection unit 160, an image data processing unit 170, and an image data storage. Unit 180 and a quantization coefficient setting unit 590. Therefore, the captured image transmission apparatus 700 includes the quantization coefficient setting unit 590 in the captured image transmission apparatus 100 (see FIG. 1) of the first embodiment, and the image data encoding unit 14 and the system control unit 150 are respectively set. The image data encoding unit 540 and the system control unit 750 are changed. The captured image transmission apparatus 700 includes the image data processing unit 170 and the image data storage unit 180 in the captured image transmission apparatus 500 (see FIG. 21) of the fifth embodiment, and the system control unit 550 is replaced with the system control unit 750. It has been changed to.
[0215]
The captured image transmission apparatus 700 according to the seventh embodiment includes an imaging unit 13 that captures an imaging target and outputs captured image data, an image data storage unit 180 that stores previously prepared image data, and the imaging An image data processing unit 170 that synthesizes the image data and the prepared image data and generates transmission image data composed of the captured image data, the prepared image data, or these combined image data; and the transmission image An image data encoding unit 540 that encodes and outputs data with a set quantization coefficient, a quantization coefficient setting unit 590 that sets the quantization coefficient, and controls the synthesis process and the setting of the quantization coefficient. A system controller 750, and a motion detection for detecting a first motion or a second motion of the imaging target or the imaging unit from the captured image data. 160, and when the first motion is detected when the transmission image data is captured image data, the system control unit 750 converts the transmission image data into the prepared image data or the composite image. When the transmission image data is the prepared image data or the synthesized image data, the encoded transmission image data is subjected to mosaic processing by changing the quantization coefficient and the quantization coefficient. When the second motion is detected, the transmission image data is changed to the captured image data, and the mosaic processing is stopped by changing the quantization coefficient.
[0216]
That is, the captured image transmission apparatus 700 according to the seventh embodiment is obtained by applying the captured image transmission apparatus 500 according to the fifth embodiment to the captured image transmission apparatus 100 according to the first embodiment (see the fifth embodiment). The captured image transmission apparatus 500 according to the first embodiment is applied to the captured image transmission apparatus 500), and transmission image data including captured image data, data preparation images, or composite image data of these image data is converted into image data. The transmission image data generated by the synthesis processing in the processing unit 170 is encoded with the quantization coefficient set by the quantization coefficient setting unit 590 in the image data encoding unit 540 and transmitted, and the first motion or second When the movement is detected, the synthesis process and the quantization coefficient are changed.
[0217]
Therefore, when the first motion is detected, the image data transmitted from the captured image transmission device 700 is a composite image data (or mosaic process) of the captured image data subjected to the mosaic process and the preparation image data. Preparation image data), and when the second motion is detected, the captured image data is not subjected to mosaic processing.
[0218]
[System control unit 750]
The system control unit 750 controls the motion detection unit 160, the image data processing unit 170, the image data encoding unit 540, and the quantization setting unit 590 in accordance with the input content from the operation unit 110. The system control unit 750 controls the synthesis processing in the image data processing unit 170 and the setting of the quantization coefficient in the quantization setting unit 590, and the motion detection unit 160 performs the first motion or the second motion. When a motion is detected or the real image transmission key 112 or the processed image transmission key 113 of the operation unit 110 is operated, the above-described synthesis processing and the above-described quantization coefficient setting are changed. Further, the system control unit 750 controls the operation of writing the output image data of the image data processing unit 170 to the image data storage unit 180 and the operation of reading the image data prepared in the image data storage unit 180 to the image data processing unit 170. To do. When the motion detection processing key 114 is ON, the system control unit 750 changes the combination processing and the quantization coefficient setting when the first motion or the second motion is detected. When the processing key 114 is OFF, even if the first motion or the second motion is detected, the above synthesis processing and the above quantization coefficient setting are not changed.
[0219]
The system control unit 750 controls the change of the synthesis process and the change of the quantization coefficient setting due to the synthesis process, the setting of the quantization coefficient, the motion detection, and the like according to a procedure preset by the caller. Data is provided. The caller can operate the operation unit 110 to change the procedure of the synthesis process, the set value of the quantization coefficient, and the setting of these changing procedures.
[0220]
A specific procedure for changing the synthesis process and the quantization coefficient when the first or second motion is detected is, for example, the following (L) to (N).
(L) The ratio m of the captured image region of the transmission image data input to the image data encoding unit 540 is 100 [%], and the quantization coefficient is a value at which the mosaic processing is not performed on the transmission image data (the decoded image is captured). When the value is set to N) (when the image data transmitted from the image data encoding unit 540 is captured image data that has not been subjected to mosaic processing), the first value is set. Is detected, the ratio m of the captured image area is changed to M1 (M1 is a preset value satisfying 0 ≦ M1 <100) [%], and the quantization coefficient is subjected to mosaic processing. When the ratio m of the captured image area of the transmission image data input to the image data encoding unit 540 is M1 [%] and the quantization coefficient is set to M2 (image When the second motion is detected (when the image data transmitted from the data encoding unit 540 is composite image data subjected to mosaic processing), the ratio m of the captured image region is changed to 100 [%]. At the same time, the quantization coefficient is changed to N.
(M) The ratio m of the captured image area of the transmission image data input to the image data encoding unit 540 is 100 [%], and the quantization coefficient is set to a value N that is not subjected to mosaic processing on the transmission image data. When the first motion is detected when the image data transmitted from the image data encoding unit 540 is captured image data that has not been subjected to mosaic processing, the ratio m of the captured image area is set to M1 [ %] Is gradually decreased with time, and the quantization coefficient is gradually increased with time to a value M2 (> N) on which mosaic processing is performed, and the ratio of the captured image area of the transmission image data input to the image data encoding unit 540 When m is M1 [%] and the quantization coefficient is set to M2 (the composite image data obtained by mosaicing the image data transmitted from the image data encoding unit 540). When a motor) and a second motion is detected, the ratio m of the captured image area with gradually increasing with time to 100 [%], is gradually decreased with time quantized coefficients to the N.
(N) Each time the first motion is detected, the ratio m of the captured image area is decreased and the quantization coefficient is increased, and each time the second motion is detected, the ratio m of the captured image area is decreased. Increase the quantization coefficient. Alternatively, each time the first motion is detected, the ratio m of the captured image area is decreased and the quantization coefficient is increased. When the second motion is detected, the ratio m of the captured image area is set to 100 [ %] And the quantization coefficient is changed to a value N that is not subjected to mosaic processing.
[0221]
As described above, in the seventh embodiment, when the first motion is detected when captured image data that has not been subjected to mosaic processing is transmitted, the ratio m of the captured image region and the quantization coefficient are changed to change the image. The transmission image data input to the data encoding unit 540 is changed to composite image data or preparation image data, mosaic processing is performed on the transmission image data, and mosaic processed composite image data or preparation image data is transmitted. When the second motion is detected while the image data is being transmitted, the transmission image data input to the image data encoding unit 540 is changed to the captured image data again by changing the ratio m and the quantization coefficient of the captured image region, and By stopping the above mosaic processing, the image can be displayed when a captured image is being transmitted with a simple operation or operation of the caller. Sent to other people without stopping suddenly for a long time, such as fixing clothes and hairstyle disorder, organizing cluttered surroundings, exploring materials, or leaving to call another person Since it is possible not to transmit captured image data that is not desired, it is possible to protect the caller's privacy without causing the other party to feel uneasy about a device failure or a communication network problem.
[0222]
In the changing procedure (M), when the first motion is detected by gradually decreasing or gradually increasing the ratio m of the captured image and gradually decreasing or gradually increasing the quantization coefficient, The captured image area gradually becomes narrower, the mosaic eyes gradually become coarser, and the captured image gradually appears blurred. When the second motion is detected, the captured image area gradually becomes wider. At the same time, the mosaic eye gradually becomes finer and the captured image gradually appears more clearly. Therefore, the received image (decoded image) can be instantly changed to reduce the light shock received by the other party. it can.
[0223]
Furthermore, in the seventh embodiment, when the second movement is detected, an image obtained by further mosaicing the synthesized image of the captured image and the preparation image is transmitted, so that the privacy of the caller is more reliably protected. In addition, the degree of freedom in setting an image to be transmitted instead of a captured image when the second movement is detected (degree of freedom of selection by the caller) can be increased.
[0224]
In the seventh embodiment, when the caller operates the processed image transmission key 113, the synthesis process and the quantization coefficient are changed in the same procedure as when the first movement is detected, so that the caller When the transmission key 112 is operated, the synthesis process and the quantization coefficient can be changed in the same procedure as when the second movement is detected. In this case, for example, when a captured image that has not been subjected to mosaic processing is being transmitted as a transmission image, it is necessary to search for a document or another person. The transmission image is changed to a composite image by performing an operation or operation for causing the captured image transmission apparatus 700 to detect the movement of the captured image, or by operating the processed image transmission key 113, and mosaic processing is performed. When a person is found, the caller performs an operation or operation for causing the captured image transmission apparatus 600 to detect the second movement, or operates the real image transmission key 112 to return the transmission image to the captured image and the above-described operation. Stop the mosaic processing.
[0225]
In the seventh embodiment, when the caller performs an off-hook operation with the hook key 111 to start communication, the synthesis process and the quantization coefficient are changed in the same procedure as when the second movement is detected, and the call is made. When a person performs an on-hook operation with the hook key 111 to end communication, the quantization coefficient can be changed in the same procedure as when the first movement is detected. As a result, at the start and end of communication, it is possible to perform mosaic processing on the captured image data that is not desired to be transmitted to the other party without stopping transmission of the image for a long time. It is possible to protect the caller's privacy without feeling uneasy about the trouble of the communication or the trouble of the communication line.
[0226]
As described above, according to the seventh embodiment, when the motion detection unit 160 detects the first motion and the second motion of the imaging target or the imaging unit 13 and transmits a captured image that has not been subjected to mosaic processing. When the first motion is detected, the transmission image is changed to the synthesized image by changing the synthesis process and the quantization coefficient, and the mosaic process is performed. When the mosaic-processed transmission image is transmitted, When the motion of 2 is detected, the transmission process is returned to the captured image by changing the synthesis process and the quantization coefficient, and the mosaic process is stopped, so that the apparatus can be operated by the caller with a simple operation or operation. The privacy of the caller can be protected without causing anxiety such as failure of the network or trouble of the communication network.
[0227]
Furthermore, according to the seventh embodiment, when the second movement is detected, an image obtained by further applying mosaic processing to the composite image of the captured image and the preparation image is transmitted, so that the privacy of the caller is more reliably protected. In addition, the degree of freedom in setting an image to be transmitted instead of a captured image when the second movement is detected (degree of freedom of selection by the caller) can be increased.
[0228]
The captured image transmitting apparatus according to the seventh embodiment is obtained by applying the captured image transmitting apparatus according to the fifth embodiment to the captured image transmitting apparatus according to the first embodiment. It is also possible to apply the image transmission apparatus to the captured image transmission apparatus of the second or third embodiment. Furthermore, the same effect as in the seventh embodiment can be obtained by applying the captured image transmission apparatus in the sixth embodiment to the captured image transmission apparatus in the fourth embodiment. In this case, the configuration of the captured image transmission apparatus can be made simpler than that of the seventh embodiment.
[0229]
Embodiment 8 FIG.
In the captured image transmission device according to the eighth embodiment of the present invention, in the captured image transmission device according to the first to seventh embodiments, the system control unit 150, 250, 350, 450, 550, 750 includes the first movement, While the second motion or the third motion is detected, the encoding of the transmission image data or the captured image data is stopped, and the image is not transmitted. Thereby, it is possible to prevent transmission of an unsightly captured image generated due to the movement of the imaging target or the imaging unit 13. Since the period during which the above motion is detected is short, the image transmission is stopped for a long period of time, and the other party's caller is not made uneasy.
[0230]
As described above, according to the eighth embodiment, encoding is stopped while the first motion, the second motion, or the third motion is detected, and the image is not transmitted by transmitting the image. An unsightly captured image generated by the movement of the target or the imaging unit 13 can be prevented from being transmitted.
[0231]
Embodiment 9 FIG.
The captured image transmission apparatus according to the ninth embodiment of the present invention is the same as the captured image transmission apparatus according to any of the first to seventh embodiments, except that the motion detection circuit 160 or 645 of the image data encoding unit includes the first image transmission apparatus. And the second movement or the third movement, the fourth movement of the imaging object or the imaging unit including the first movement and the second movement or including the third movement. When the fourth motion is not detected for a predetermined period, the system control unit 150, 250, 350, 450, 550, 750 stops the encoding of the transmission image data or the captured image data, and the encoding When the fourth motion is detected while the recording is stopped, the encoding is resumed. As a result, it is possible to prevent a meaningless image from being transmitted to the other party who has not changed for a long time, and to perform efficient encoding and image transmission.
[0232]
The fourth motion detection procedure is the same as the first motion detection procedure and the second motion detection procedure described in the first embodiment. The fourth motion detection range is set in accordance with FIG. 8 describing the first motion and second motion detection ranges.
[0233]
The system control unit according to the ninth embodiment includes, for example, a timer circuit therein, measures the time elapsed since the fourth motion is no longer detected by the timer circuit, and sets the predetermined time. When the threshold value is reached, the encoding of the image data in the image data encoding unit is stopped. Then, when notified from the motion detection unit or the motion detection circuit that the fourth motion has been detected, the system control unit restarts the above encoding process.
[0234]
As described above, according to the ninth embodiment, if the fourth movement is not detected for a predetermined period, the encoding of the transmission image data or the captured image data is stopped, and the fourth movement is performed when the encoding is stopped. Is detected, it is possible to prevent transmission of meaningless images and to perform efficient encoding and image transmission by resuming the above encoding.
[0235]
Embodiment 10 FIG.
The captured image transmission apparatus according to the tenth embodiment of the present invention is the captured image transmission apparatus according to any of the first to seventh embodiments described above, wherein transmission image data (captured image data, preparation image data, or composition) output from the image data processing unit The encoded transmission image data (such as non-mosaic-captured captured image data, mosaic-processed captured image data or composite image data) output from the monitor unit that displays (image data) or the image data encoding unit is decoded. It is characterized in that a monitor unit for projecting is provided.
[0236]
As described above, according to the tenth embodiment, by providing the monitor unit that displays the transmitted image, the caller (user) can visually confirm the transmitted image.
[0237]
In the first to tenth embodiments, the keys provided on the operation unit 110 are not limited to the real image transmission key 112 and the processed image transmission key 113. For example, a mischief telephone device repelling key is provided, and the key is pressed. In some cases, it is possible to send a protest message image stored in advance in the image data storage unit 180 to the other party.
[0238]
In the first to tenth embodiments, it is needless to say that the communication network 40 in FIG. 26 is not limited to a wired line but includes a wireless line. In addition, although the communication network 40 in FIG. 26 is a bidirectional communication network, the captured image transmission apparatus of the present invention can also be applied to a unidirectional transmission network such as a broadcast network.
[0239]
Moreover, the captured image transmission apparatus of the present invention can also be applied to a captured image transmission apparatus that transmits encoded image data to an opponent via an existing storage medium offline or with a time difference instead of real time.
[0240]
【The invention's effect】
  As described above, according to the captured image transmission device according to claim 1 of the present invention, the motion detectorImaging unit that is displaced relative to the imaging targetWhen the first movement is detected and the first movement is detected while transmitting the captured image, the transmission image is prepared as the prepared image or the captured image by changing the synthesis process. When the second motion is detected when the transmission image is a preparation image or the composite image, the transmission image is changed to a captured image by changing the composition processing. Thus, the user's privacy can be protected by a simple operation or operation of the user without causing the other party to feel uneasy about a device failure or a communication network trouble.
[0241]
According to the captured image transmission device according to claim 2, when the first motion is detected, the transmission image data is synthesized by changing a ratio of the first region into which the captured image data is inserted. By changing to image data, the captured image is transmitted even though it is a part of the composite image, so that there is an effect that it is possible to alleviate discomfort and anxiety that the other party feels when the captured image is not transmitted at all.
[0242]
According to the captured image transmission device according to claim 4, when the first movement or the second movement is detected, the ratio of the first area into which the captured image data is inserted is gradually decreased or increased. There is an effect that the light shock received by the other party can be reduced by instantaneously switching the received image.
[0243]
According to the captured image transmission device according to claim 6, when the first movement is detected, the transmission image data is changed to the composite image data by changing the dot component ratio of the captured image data. By doing so, when the second movement is detected, the captured image is transmitted although it is unclear with the composite image, so that the discomfort and anxiety that the other party feels when the captured image is not transmitted can be alleviated. effective.
[0244]
According to the captured image transmission device of claim 8, when the first movement or the second movement is detected, the received image is reduced by gradually decreasing or gradually increasing the dot component ratio of the captured image data. By switching instantaneously, there is an effect that a light shock received by the opponent can be reduced.
[0245]
  Claims 10-12According to the captured image transmitting apparatus described in the above, the third movement of the imaging unit that is displaced relative to the imaging target is detected by the image data encoding unit when the captured image is transmitted, and the third When motion is detected, the transmission image is changed to a preparatory image or a composite image of a captured image and a preparatory image by changing the compositing process. There is an effect that it is possible to protect the privacy of the user without feeling uneasy such as a trouble of the communication network. Furthermore, since it is not necessary to separately provide a means for detecting motion, there is an effect that the captured image transmitting apparatus can be configured simply.Further, when the third motion is detected, the transmission image data is changed to the composite image data by changing the ratio of the first region into which the captured image data is inserted, so that the partial image is partially changed by the composite image. Since the captured image is also transmitted, there is an effect that it is possible to alleviate discomfort and anxiety that the other party feels when the captured image is not transmitted at all.
[0247]
Claim 12According to the captured image transmitting apparatus described in the item 1, when the third movement is detected or when the actual image transmission key is operated, the ratio of the first area into which the captured image data is inserted is gradually decreased or increased. Thus, there is an effect that light shock received by the other party can be reduced by instantaneously switching the received image.
[0248]
  Claims 13-15According to the captured image transmission device described in the above, when the third movement is detected, the transmission image data is changed to the composite image data by changing the dot component ratio of the captured image data, thereby combining Since the captured image is transmitted even though the image is unclear, there is an effect that the discomfort and anxiety felt by the other party can be reduced by not transmitting the captured image at all.
[0249]
  Claim 15According to the captured image transmitting device described in the above, when the third movement is detected or when the actual image transmission key is operated, the dot component ratio of the captured image data is gradually decreased or increased, thereby receiving the received image. By switching instantly, there is an effect that a light shock received by the opponent can be reduced.
[0250]
  Claim 16According to the captured image transmitting apparatus described in the above, the first motion and the second motion of the imaging unit that are relatively displaced with respect to the imaging target are detected by the motion detection unit, and the captured image that has not been subjected to mosaic processing is transmitted. When the first motion is detected while the image is being processed, the transmission image is subjected to mosaic processing by changing the quantization coefficient, and the second motion is detected when the captured image subjected to the mosaic processing is transmitted Then, by stopping the mosaic processing by changing the quantization coefficient, without making the other party feel uneasy such as a device failure or a communication network trouble with a simple operation or operation of the user, There is an effect that the privacy of the caller can be protected.
[0251]
  Claim 17According to the captured image transmitting apparatus described in 1., the first motion and the second motion of the imaging unit that are relatively displaced with respect to the imaging target are detected by the image data encoding unit, and the captured image is not subjected to mosaic processing. When the first motion is detected during transmission, the transmission image is subjected to mosaic processing by changing the quantization coefficient, and the second motion is performed when the mosaiced captured image is transmitted. When the above-mentioned mosaic processing is stopped by changing the quantization coefficient, the user feels anxiety such as a device failure or communication network trouble with a simple operation or operation by the user. In addition, the privacy of the caller can be protected. Furthermore, since it is not necessary to separately provide a means for detecting motion, there is an effect that the captured image transmitting apparatus can be configured simply.
[0252]
  Claims 18-20According to the captured image transmitting apparatus described in (1), when the first motion is detected, the captured image data is transmitted even though it is unclear by performing mosaic processing on the captured image data by changing the quantization coefficient. There is an effect that the discomfort and anxiety felt by the other party can be alleviated by not transmitting the captured image at all.
[0253]
  Claim 19According to the captured image transmitting apparatus described in (1), when the first motion or the second motion is detected, the received image is switched instantaneously by gradually decreasing or gradually increasing the quantization coefficient, whereby the partner can be switched. There is an effect that the light shock received can be reduced.
[0254]
  Claim 21According to the captured image transmission device described in (2), when the second movement is detected, an image obtained by performing mosaic processing on the composite image of the captured image and the preparation image is transmitted, so that the privacy of the caller is more reliably ensured. In addition, it is possible to increase the degree of freedom in setting the image to be transmitted instead of the captured image (the degree of freedom of selection by the caller) when the second movement is detected.
[0256]
  Claim 22According to the captured image transmission device described in (4), when the fourth movement of the imaging unit that is displaced relative to the imaging target is not detected for a predetermined period, the encoding of the transmission image data or the captured image data is stopped, If the fourth motion is detected while the encoding is stopped, the encoding can be resumed so that a meaningless image is not transmitted and efficient encoding and image transmission can be performed. There is an effect.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a captured image transmission apparatus according to a first embodiment of the present invention.
FIG. 2 is an internal block configuration diagram of a system control unit in FIG. 1;
3 is an internal block configuration diagram of an image data processing unit in FIG. 1. FIG.
4 is an internal block configuration diagram of an image data encoding unit in FIG. 1; FIG.
FIG. 5 is an internal block configuration diagram of a motion detection unit in FIG. 1;
FIG. 6 is a diagram for explaining a synthesis process (transmission image data generation procedure) in the transmission image of FIG. 1;
7 is an explanatory diagram of motion vectors detected by the motion detection unit of FIG. 1; FIG.
FIG. 8 is a diagram for explaining a determination procedure of a first motion and a second motion in the motion detection unit of FIG. 1;
FIG. 9 is an example of a time change characteristic diagram of a ratio of a captured image size (captured image region) in a transmission image when motion is detected in the captured image transmission apparatus of FIG. 1;
10 is a diagram of a transmission image at each timing of FIG. 9;
FIG. 11 is a block configuration diagram of a captured image transmission device according to a second embodiment of the present invention.
12 is an internal block configuration diagram of the system control unit in FIG. 11;
13 is an internal block configuration diagram of the image data processing unit in FIG. 11. FIG.
14 is an example of a time change characteristic diagram of a component ratio of a captured image dot in a transmission image when motion is detected in the captured image transmission apparatus of FIG. 11. FIG.
FIG. 15 is a diagram of a transmission image at each timing of FIG.
FIG. 16 is a block configuration diagram of a captured image transmission device according to the third embodiment.
17 is an internal block configuration diagram of a system control unit in FIG. 16;
18 is an internal block configuration diagram of the image data processing unit in FIG. 16;
FIG. 19 is a block configuration diagram of a captured image transmission device according to a fourth embodiment of the present invention.
20 is an internal block configuration diagram of the system control unit of FIG. 19;
FIG. 21 is a block configuration diagram of a captured image transmission device according to a fifth embodiment of the present invention.
22 is an internal block configuration diagram of an image data encoding unit in FIG. 21. FIG.
FIG. 23 is a block configuration diagram of a captured image transmission device according to the sixth embodiment of the present invention.
24 is an internal block configuration diagram of an image data encoding unit in FIG. 23. FIG.
FIG. 25 is a block configuration diagram of a captured image transmission device according to a seventh embodiment of the present invention.
FIG. 26 is a block diagram of a videophone system.
FIG. 27 is a block diagram of a conventional captured image transmission device.
[Explanation of symbols]
13 imaging unit, 14, 440, 540, 640 image data encoding unit, 100, 200, 300, 400, 500, 600, 700 captured image transmission device, 110 operation unit, 111 hook key, 112 real image transmission key, 113 processing Image transmission key, 114 motion detection processing key, 150, 250, 350, 450, 550, 750 system control unit, 180 image data storage unit, 160 motion detection unit, 170, 270, 370 image data processing unit, 445, 645 motion A detection circuit, 590 quantization setting unit;

Claims (22)

撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとは上記移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件が異なる第２の動きを検出する動き検出部と
を備え、
上記システム制御部は、
上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記撮像画像データに変更する
ことを特徴とする撮像画像送信装置。An imaging unit that images an imaging target, outputs captured image data, and is movable by a user;
An image data storage unit in which image data prepared in advance is stored;
An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
An image data encoding unit for encoding and outputting the transmission image data;
A system control unit for controlling the synthesis process;
A first condition that satisfies at least one preset condition of the moving direction, moving distance, moving speed, and moving acceleration of the imaging unit that is displaced relative to the imaging target from the captured image data. A motion detector that detects a second motion that is different from at least one preset condition of the movement direction, the movement distance, the movement speed, and the movement acceleration. With
The system control unit
If the first motion is detected when the transmission image data is captured image data, the transmission image data is changed to the prepared image data or the composite image data by changing the composition processing. ,
If the second motion is detected when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data by changing the composition processing. A captured image transmission device characterized by: 上記画像データ処理部は、上記送信画像データの全領域の内の第１の領域に上記撮像画像データを挿入し、上記全領域から上記第１の領域を除いた第２の領域に上記準備された画像データを挿入し、上記全領域においての上記第１の領域の割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記第１の動きまたは上記第２の動きが検出されたときに上記第１の領域の割合を変更することによって上記送信画像データを変更する
ことを特徴とする請求項１に記載の撮像画像送信装置。The image data processing unit inserts the captured image data into a first area of all areas of the transmission image data, and prepares the second area excluding the first area from the entire area. And generating the transmission image data by changing the ratio of the first area in the entire area between 0 to 100 [%],
The system control unit changes the transmission image data by changing a ratio of the first area when the first movement or the second movement is detected. The captured image transmission apparatus described in 1. 上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第１の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１の領域の割合がＭ［％］であるときに上記第２の動きが検出されると上記第１の領域の割合を１００［％］に変更する
ことを特徴とする請求項２に記載の撮像画像送信装置。The system control unit
If the first movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is changed to M (0 ≦ M <100) [%],
The ratio of the first area is changed to 100 [%] when the second movement is detected when the ratio of the first area is M [%]. The captured image transmission device described. 上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第１の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１の領域の割合がＭ［％］であるときに上記第２の動きが検出されると上記第１の領域の割合を１００［％］まで時間とともに漸増させる
ことを特徴とする請求項２に記載の撮像画像送信装置。The system control unit
If the first movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is gradually decreased to M (0 ≦ M <100) [%] with time. ,
The ratio of the first area is gradually increased with time to 100 [%] when the second movement is detected when the ratio of the first area is M [%]. The captured image transmission apparatus according to 2. 上記システム制御部は、
上記第１の動きが検出されるごとに上記第１の領域の割合を減少させ、
上記第２の動きが検出されるごとに上記第１の領域の割合を増加させる
ことを特徴とする請求項２に記載の撮像画像送信装置。The system control unit
Each time the first movement is detected, the proportion of the first region is decreased,
The captured image transmission apparatus according to claim 2, wherein the ratio of the first region is increased each time the second movement is detected. 上記画像データ処理部は、上記撮像画像データのドットである第１のドットと上記準備された画像データのドットである第２のドットとを合成して上記送信画像データのそれぞれのドットを生成し、上記送信画像データのドットにおいての上記第１のドットの成分割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記第１の動きまたは上記第２の動きが検出されたときに上記第１のドットの成分割合を変更することによって上記送信画像データを変更する
ことを特徴とする請求項１に記載の撮像画像送信装置。The image data processing unit generates the respective dots of the transmission image data by combining the first dots that are the dots of the captured image data and the second dots that are the dots of the prepared image data. The transmission image data is generated by changing the component ratio of the first dot in the dots of the transmission image data between 0 and 100 [%],
The system control unit changes the transmission image data by changing a component ratio of the first dot when the first movement or the second movement is detected. The captured image transmission device according to 1. 上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第１の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１のドットの成分割合がＭ［％］であるときに上記第２の動きが検出されると上記第１のドットの成分を１００［％］に変更する
ことを特徴とする請求項６に記載の撮像画像送信装置。The system control unit
When the first movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%]. ,
The component of the first dot is changed to 100 [%] when the second movement is detected when the component ratio of the first dot is M [%]. The captured image transmission apparatus described in 1. 上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第１の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１のドットの成分割合がＭ［％］であるときに上記第２の動きが検出されると上記第１のドットの成分割合を１００［％］まで時間とともに漸増させる
ことを特徴とする請求項６に記載の撮像画像送信装置。The system control unit
If the first movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%] over time. Decrease,
If the second movement is detected when the component ratio of the first dot is M [%], the component ratio of the first dot is gradually increased over time to 100 [%]. The captured image transmission apparatus according to claim 6. 上記システム制御部は、
上記第１の動きが検出されるごとに上記第１のドットの成分割合を減少させ、
上記第２の動きが検出されるごとに上記第１のドットの成分割合を増加させる
ことを特徴とする請求項６に記載の撮像画像送信装置。The system control unit
Each time the first movement is detected, the component ratio of the first dot is decreased,
The captured image transmission apparatus according to claim 6, wherein the component ratio of the first dot is increased every time the second movement is detected. 撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記送信画像データを撮像画像データに変更するための実画像送出キーと
を備え、
上記画像データ符号化部は、上記送信画像データとして上記撮像画像データが入力されているときにこの撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第３の動きを検出し、
上記画像データ処理部は、上記送信画像データの全領域の内の第１の領域に上記撮像画像データを挿入し、上記全領域から上記第１の領域を除いた第２の領域に上記準備された画像データを挿入し、上記制御信号に従って上記全領域においての上記第１の領域の割合を０〜１００［％］の間で変更することによって、上記送信画像データを生成し、
上記システム制御部は、上記送信画像データが撮像画像データであるときに上記第３の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記実画像送出キーが操作されると上記送信画像データを上記撮像画像データに変更し、
上記第３の動きが検出されたときまたは上記実画像送出キーが操作されたときに上記第１の領域の割合を変更することによって上記送信画像データを変更する
ことを特徴とする撮像画像送信装置。An imaging unit that images an imaging target, outputs captured image data, and is movable by a user;
An image data storage unit in which image data prepared in advance is stored;
An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
An image data encoding unit for encoding and outputting the transmission image data;
A system control unit for controlling the synthesis process ;
An actual image transmission key for changing the transmission image data to captured image data ,
The image data encoding unit is configured to move a moving direction and a moving distance of the imaging unit that is displaced relative to the imaging target from the captured image data when the captured image data is input as the transmission image data. , Detecting a third movement satisfying a preset condition of at least one of movement speed and movement acceleration,
The image data processing unit inserts the captured image data into a first area of all areas of the transmission image data, and prepares the second area excluding the first area from the entire area. The transmission image data is generated by changing the ratio of the first area in the entire area between 0% and 100% according to the control signal,
When the third motion is detected when the transmission image data is captured image data, the system control unit changes the composition processing to change the transmission image data to the prepared image data or the Change to composite image data ,
When the actual image transmission key is operated when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data,
The picked-up image transmission device that changes the transmission image data by changing the ratio of the first area when the third movement is detected or when the real image transmission key is operated. . 上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第３の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１の領域の割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１の領域の割合を１００［％］に変更する
ことを特徴とする請求項１０に記載の撮像画像送信装置。The system control unit
If the third movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is changed to M (0 ≦ M <100) [%],
To claim 10, characterized in that to change the above real image sending key is operated when the ratio of the first region is M [%] the ratio of the first region 100 [%] The captured image transmission device described. 上記システム制御部は、
上記第１の領域の割合が１００［％］であるときに上記第３の動きが検出されると上記第１の領域の割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１の領域の割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１の領域の割合を１００［％］まで時間とともに漸増させる
ことを特徴とする請求項１０に記載の撮像画像送信装置。The system control unit
If the third movement is detected when the ratio of the first area is 100 [%], the ratio of the first area is gradually decreased with time to M (0 ≦ M <100) [%]. ,
Claims ratio of the first region and wherein the gradually increasing along with the actual the image sending key is operated 100% the percentage of the first area to the time when it is M [%] The captured image transmission device according to 10 . 撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と、
上記送信画像データを符号化して出力する画像データ符号化部と、
上記合成処理を制御するシステム制御部と、
上記送信画像データを撮像画像データに変更するための実画像送出キー
を備え、
上記画像データ符号化部は、上記送信画像データとして上記撮像画像データが入力されているときにこの撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第３の動きを検出し、
上記画像データ処理部は、上記撮像画像データのドットである第１のドットと上記準備された画像データのドットである第２のドットとを合成して上記送信画像データのそれぞれのドットを生成し、上記送信画像データのドットにおいての上記第１のドットの成分割合を０〜１００［％］の間で変更することによって、上記合成画像データを生成し、
上記システム制御部は、上記送信画像データが撮像画像データであるときに上記第３の動きが検出されると、上記合成処理を変更することによって上記送信画像データを上記準備された画像データまたは上記合成画像データに変更し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記実画像送出キーが操作されると上記送信画像データを上記撮像画像データに変更し、
上記第３の動きが検出されたときまたは上記実画像送出キーが操作されたときに上記第１のドットの成分割合を変更することによって上記送信画像データを変更する
ことを特徴とする請求項１０に記載の撮像画像送信装置。 An imaging unit that images an imaging target and outputs captured image data, and is movable by a user;
An image data storage unit in which image data prepared in advance is stored;
An image data processing unit that synthesizes the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of these combined image data;
An image data encoding unit that encodes and outputs the transmission image data;
A system control unit for controlling the synthesis process;
Real image transmission key for changing the transmission image data to captured image data
With
The image data encoding unit is configured to move a moving direction and a moving distance of the imaging unit that is displaced relative to the imaging target from the captured image data when the captured image data is input as the transmission image data. , Detecting a third movement satisfying a preset condition of at least one of movement speed and movement acceleration,
The image data processing unit generates the respective dots of the transmission image data by combining the first dots that are the dots of the captured image data and the second dots that are the dots of the prepared image data. The composite image data is generated by changing the component ratio of the first dot in the dots of the transmission image data between 0 and 100 [%],
When the third motion is detected when the transmission image data is captured image data , the system control unit changes the composition processing to change the transmission image data to the prepared image data or the Change to composite image data,
When the actual image transmission key is operated when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data,
The transmission image data is changed by changing a component ratio of the first dot when the third movement is detected or when the actual image transmission key is operated. The captured image transmission apparatus described in 1. 上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第３の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］に変更し、
上記第１のドットの成分割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１のドットの成分を１００［％］に変更する
ことを特徴とする請求項１３に記載の撮像画像送信装置。The system control unit
When the third movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%]. ,
Claim and changes the component ratio of the first dot the actual image sending key is operated when a M [%] The components of the first dot 100 [%] 13 The captured image transmission apparatus described in 1. 上記システム制御部は、
上記第１のドットの成分割合が１００［％］であるときに上記第３の動きが検出されると上記第１のドットの成分割合をＭ（０≦Ｍ＜１００）［％］まで時間とともに漸減させ、
上記第１のドットの成分割合がＭ［％］であるときに上記実画像送出キーが操作されると上記第１のドットの成分割合を１００［％］まで時間とともに漸増させる
ことを特徴とする請求項１３に記載の撮像画像送信装置。The system control unit
If the third movement is detected when the component ratio of the first dot is 100 [%], the component ratio of the first dot is changed to M (0 ≦ M <100) [%] over time. Decrease,
When the actual image transmission key is operated when the component ratio of the first dot is M [%], the component ratio of the first dot is gradually increased over time to 100 [%]. The captured image transmission apparatus according to claim 13 . 撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部と、
上記量子化係数を設定する量子化係数設定部と、
上記量子化係数の設定を制御するシステム制御部と、
上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとは上記移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件が異なる第２の動きを検出する動き検出部と
を備え、
上記システム制御部は、
上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると、上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、
上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると、上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする撮像画像送信装置。An imaging unit that images an imaging target, outputs captured image data, and is movable by a user;
An image data encoding unit for encoding and outputting the captured image data with a set quantization coefficient;
A quantization coefficient setting unit for setting the quantization coefficient;
A system control unit for controlling the setting of the quantization coefficient;
A first condition that satisfies at least one preset condition of the moving direction, moving distance, moving speed, and moving acceleration of the imaging unit that is displaced relative to the imaging target from the captured image data. A motion detector that detects a second motion that is different from at least one preset condition of the movement direction, the movement distance, the movement speed, and the movement acceleration. With
The system control unit
If the first motion is detected when the encoded captured image data is not subjected to mosaic processing, the encoded captured image data is subjected to mosaic processing by changing the quantization coefficient. Giving,
When the second motion is detected when the encoded captured image data is subjected to mosaic processing, the mosaic processing is stopped by changing the quantization coefficient. Image transmission device. 撮像対象を撮像して撮像画像データを出力し、使用者により可動である撮像部と、
上記撮像画像データを設定された量子化係数で符号化して出力する画像データ符号化部と、
上記量子化係数を設定する量子化係数設定部と、
上記量子化係数を制御するシステム制御部と
を備え、
上記データ符号化部は、上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第１の動き、および該第１の動きとは上記移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件が異なる第２の動きを検出し、
上記システム制御部は、
上記符号化された撮像画像データにモザイク処理が施されていないときに上記第１の動きが検出されると上記量子化係数を変更することによって上記符号化された撮像画像データにモザイク処理を施し、
上記符号化された撮像画像データにモザイク処理が施されているときに上記第２の動きが検出されると上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする撮像画像送信装置。An imaging unit that images an imaging target, outputs captured image data, and is movable by a user;
An image data encoding unit for encoding and outputting the captured image data with a set quantization coefficient;
A quantization coefficient setting unit for setting the quantization coefficient;
A system control unit for controlling the quantization coefficient,
The data encoding unit presets at least one of a moving direction, a moving distance, a moving speed, and a moving acceleration of the imaging unit that is displaced relative to the imaging target from the captured image data. A first movement that satisfies the set condition, and a second movement that differs from the first movement in at least one preset condition of the movement direction, the movement distance, the movement speed, and the movement acceleration. Detect
The system control unit
When the first motion is detected when the encoded captured image data is not subjected to mosaic processing, the encoded captured image data is subjected to mosaic processing by changing the quantization coefficient. ,
The mosaic image is stopped by changing the quantization coefficient when the second motion is detected when mosaic processing is performed on the encoded captured image data. Transmitter device. 上記システム制御部は、
上記量子化係数が、上記符号化された撮像画像データにモザイク処理が施されない値Ｎに設定されているときに、上記第１の動きが検出されると、上記量子化係数を、上記符号化された撮像画像データにモザイク処理が施される値Ｍ（＞Ｎ）に変更し、
上記量子化係数が上記Ｍに設定されているときに、上記第２の動きが検出されると、上記量子化係数を上記Ｎに変更する
ことを特徴とする請求項１６または１７に記載の撮像画像送信装置。The system control unit
If the first motion is detected when the quantized coefficient is set to a value N that is not subjected to mosaic processing on the encoded captured image data, the quantized coefficient is encoded. To the value M (> N) to which the captured image data is subjected to mosaic processing,
The imaging according to claim 16 or 17 , wherein when the second motion is detected when the quantization coefficient is set to M, the quantization coefficient is changed to N. Image transmission device. 上記システム制御部は、
上記量子化係数が、上記符号化された撮像画像データにモザイク処理が施されない値Ｎに設定されているときに、上記第１の動きが検出されると、上記量子化係数を、符号化された撮像画像データにモザイク処理が施される値Ｍ（＞Ｎ）まで時間とともに漸増させ、
上記量子化係数が上記Ｍに設定されているときに、上記第２の動きが検出されると、上記量子化係数を上記Ｎまで時間とともに漸減させる
ことを特徴とする請求項１６または１７に記載の撮像画像送信装置。The system control unit
When the first motion is detected when the quantized coefficient is set to a value N that is not subjected to mosaic processing on the encoded captured image data, the quantized coefficient is encoded. Gradually increasing with time to a value M (> N) where mosaic processing is performed on the captured image data,
When the quantized coefficients is set to the M, the said second motion is detected, wherein the quantized coefficients to claim 16 or 17, characterized in that gradually decreases with time until the N Captured image transmission device. 上記システム制御部は、
上記第１の動きが検出されるごとに上記量子化係数の値を増加させ、
上記第２の動きが検出されるごとに上記量子化係数の値を減少させる
ことを特徴とする請求項１６または１７に記載の撮像画像送信装置。The system control unit
Each time the first motion is detected, the value of the quantization coefficient is increased,
The captured image transmission apparatus according to claim 16 or 17 , wherein the value of the quantization coefficient is decreased every time the second motion is detected. あらかじめ準備された画像データが記憶されている画像データ記憶部と、
上記撮像画像データおよび上記準備された画像データを合成処理し、上記撮像画像データ、上記準備された画像データ、またはこれらの合成画像データからなる送信画像データを出力する画像データ処理部と
をさらに備え、
上記画像データ符号化部は、上記送信画像データを設定された量子化係数で符号化して出力し、
上記システム制御部は、
上記送信画像データが撮像画像データであるときに上記第１の動きが検出されると、上記送信画像データを上記準備された画像データまたは上記合成画像データに変更するとともに、上記量子化係数を変更することによって上記符号化された送信画像データにモザイク処理を施し、
上記送信画像データが上記準備された画像データまたは上記合成画像データであるときに上記第２の動きが検出されると、上記送信画像データを上記撮像画像データに変更するとともに、上記量子化係数を変更することによって上記モザイク処理を停止する
ことを特徴とする請求項１６または１７に記載の撮像画像送信装置。An image data storage unit in which image data prepared in advance is stored;
An image data processing unit that combines the captured image data and the prepared image data, and outputs the captured image data, the prepared image data, or transmission image data composed of the combined image data. ,
The image data encoding unit encodes and outputs the transmission image data with a set quantization coefficient,
The system control unit
If the first motion is detected when the transmission image data is captured image data, the transmission image data is changed to the prepared image data or the synthesized image data, and the quantization coefficient is changed. To perform mosaic processing on the encoded transmission image data,
If the second motion is detected when the transmission image data is the prepared image data or the composite image data, the transmission image data is changed to the captured image data, and the quantization coefficient is changed. The captured image transmission device according to claim 16 or 17 , wherein the mosaic processing is stopped by changing the image processing. 上記動き検出部または上記画像データ符号化部は、上記第１の動きおよび上記第２の動きあるいは上記第３の動きの他に、上記第１の動きおよび上記第２の動きを含むあるいは上記第３の動きを含んで、上記撮像画像データから、上記撮像対象に対して相対的に変位する上記撮像部の移動方向、移動距離、移動の速さ、移動加速度のうちの少なくとも１個のあらかじめ設定された条件を満たす第４の動きを検出し、
上記システム制御部は、上記第４の動きが所定の期間検出されないと、送信画像データまたは撮像画像データの符号化を停止させ、上記符号化を停止しているときに上記第４の動きが検出されると、上記符号化を再開する
ことを特徴とする請求項１、１０、１３、１６、１７のいずれか１項に記載の撮像画像送信装置。The motion detection unit or the image data encoding unit includes the first motion and the second motion in addition to the first motion and the second motion or the third motion. Including at least one of a moving direction, a moving distance, a moving speed, and a moving acceleration of the imaging unit that is relatively displaced with respect to the imaging target. Detecting a fourth movement that satisfies the specified condition,
If the fourth motion is not detected for a predetermined period, the system control unit stops the encoding of the transmission image data or the captured image data, and the fourth motion is detected when the encoding is stopped. Then, the encoding is resumed. The captured image transmission apparatus according to any one of claims 1, 10 , 13 , 16 , and 17 .
JP2000306210A 2000-10-05 2000-10-05 Captured image transmission device Expired - Fee Related JP3926091B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000306210A JP3926091B2 (en) 2000-10-05 2000-10-05 Captured image transmission device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000306210A JP3926091B2 (en) 2000-10-05 2000-10-05 Captured image transmission device

Publications (2)

Publication Number Publication Date
JP2002118733A JP2002118733A (en) 2002-04-19
JP3926091B2 true JP3926091B2 (en) 2007-06-06

Family

ID=18786937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000306210A Expired - Fee Related JP3926091B2 (en) 2000-10-05 2000-10-05 Captured image transmission device

Country Status (1)

Country Link
JP (1) JP3926091B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4514185B2 (en) * 2003-10-03 2010-07-28 キヤノン株式会社 Camera server device, control method therefor, and computer program
JP5585506B2 (en) * 2011-03-18 2014-09-10 セイコーエプソン株式会社 Program, information storage medium, terminal device, and display system
JP6837200B2 (en) * 2016-07-29 2021-03-03 パナソニックＩｐマネジメント株式会社 Surveillance cameras, watching surveillance systems and watching monitoring methods
JP2018018456A (en) * 2016-07-29 2018-02-01 パナソニックＩｐマネジメント株式会社 Monitoring camera, watching monitoring system, and watching monitoring method
WO2020116060A1 (en) * 2018-12-05 2020-06-11 ソニー株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP2002118733A (en) 2002-04-19

Similar Documents

Publication Publication Date Title
JP3642716B2 (en) Videophone device and call method
US5710590A (en) Image signal encoding and communicating apparatus using means for extracting particular portions of an object image
JP4602632B2 (en) Video conferencing methods and systems
KR101450580B1 (en) Method and Apparatus for composing images
JP3659161B2 (en) Video encoding device and videophone terminal using the same
US8264522B2 (en) Videotelephone terminal with intuitive adjustments
US7425979B2 (en) Communication system
KR19990064087A (en) Video speech decoding apparatus, video speech coding apparatus and information transmission system
KR100605935B1 (en) Method for taking moving picture
JP3926091B2 (en) Captured image transmission device
JPS62200994A (en) Animation communication system
JPH11341456A (en) Household multimedia communication system
JP2008005349A (en) Video encoder, video transmission apparatus, video encoding method, and video transmission method
JP4341078B2 (en) Encoding device for moving picture information
JP2573177B2 (en) Graphic display device in electronic conference system
JP2005045297A (en) Camera system and camera apparatus
KR100678059B1 (en) Portable composite commmunication terminal having mirror mode and implementation method therof
JP2001111976A (en) Video photographing device and communication terminal equipment
JPH0823527A (en) Video telephone system
JP3805748B2 (en) Image transfer device
JPH10285565A (en) Image transfer device
JP3804953B2 (en) Image transfer device
JPH0583704A (en) Picture transmitter
JPH08265717A (en) Video telephone system
JP2994529B2 (en) Still image transmission device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100309

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140309

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees