JP3805324B2 - Surveillance / control method and video camera apparatus using the same - Google Patents

Surveillance / control method and video camera apparatus using the same Download PDF

Info

Publication number
JP3805324B2
JP3805324B2 JP2003156667A JP2003156667A JP3805324B2 JP 3805324 B2 JP3805324 B2 JP 3805324B2 JP 2003156667 A JP2003156667 A JP 2003156667A JP 2003156667 A JP2003156667 A JP 2003156667A JP 3805324 B2 JP3805324 B2 JP 3805324B2
Authority
JP
Japan
Prior art keywords
image
instruction
change
video camera
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003156667A
Other languages
Japanese (ja)
Other versions
JP2004046822A (en
Inventor
上田  宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003156667A priority Critical patent/JP3805324B2/en
Publication of JP2004046822A publication Critical patent/JP2004046822A/en
Application granted granted Critical
Publication of JP3805324B2 publication Critical patent/JP3805324B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Audible And Visible Signals (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、CRTや液晶表示装置上の絵・文字表示を用いて、機器の状態の監視や、機器のON/OFFの制御等を行うホームオートメーションシステム等に適用して好適な監視・制御方法およびそれを用いたビデオカメラ装置に関する。
【0002】
【従来の技術】
家庭内の機器の状態を監視したり、ON/OFFの制御を行うホームオートメーションシステムの普及と、電子技術の進歩によって、近年高機能で操作性のよいホームオートメーションシステム用の監視・制御装置が安価に作られ、多くのメーカーから多様な機能のものが発売されている。
【0003】
図22は、従来のホームオートメーションシステムの構成を示すブロック図である。監視・制御装置30は、CRT31、マイクロコンピュータ32、映像混合器33、操作スイッチ34、35、36によって構成されている。またマイクロコンピュータ32は被制御機器(風呂37、シャッタ38、炊飯器39、エアコン40、電気錠41、照明42等)に接続されており、常時被制御機器の状態を監視している。監視・制御装置30では、被制御機器の状態がCRT31上に表示されており、制御の必要がある時に、画面中の被制御機器の状態表示が行われている横の操作スイッチ34、35、36を押すことにより制御する。(画面表示部と機器の指示部を別々に持つ監視・制御装置)
【0004】
また他の監視・制御装置としては、透過型入力装置を用いて、画面表示されている指示キーを直接押して制御する装置があり、ホームオートメーションシステム用に商品化されている(特許文献1を参照)。
【0005】
【特許文献1】
特開昭60−96089号公報(第1−4頁、図6)
【0006】
【発明が解決しようとする課題】
上記のようなホームオートメーションシステム用の監視・制御装置においては、指示や監視状況を表す画面表示(例えば「エアコン運転」「照明点灯中」等)の大きさや表示位置が予め決められており、特に目の悪い老人等にとっては、必ずしも使いやすいものではなかった。また普段使用しない機能もたくさんついており、操作が煩わしく分かりにくい点も老人にとっては、使いづらいものであった。また、これらホームオートメーションシステム用の監視・制御装置においては、報知音や操作音を伴うが、これら音声の音質も予め決められた音質であるため、高音の聞き取りにくい老人にとっては、適したものとは言えない。
【0007】
本発明は、上記問題点を解決するために、これら画面上の表示の問題と、さらに音声面(報知音・操作音)に着目して、目や耳の不自由な老人にも使いやすいホームオートメーションシステム用の監視・制御方法およびそれを用いたビデオカメラ装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、監視・制御方法に係り、機器の制御を指示する指示画像を表示する行程と、前記指示画像に対応する指示信号を出力する行程と、前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程と、報知音を発生する行程と、前記報知音の音量・音質・種類の変更を指示する行程と、前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程と、表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程と、ビデオカメラからの出力を所定に処理する画像処理行程とを備え、前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の1を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを具備することを特徴とする。
【0013】
また、本発明は、ビデオカメラ装置に係り、録画手段を備えたビデオカメラに、機器の制御を指示する指示画像を表示する表示手段と、前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段と、報知音を発生する報知手段と、この報知音の音量・音質・種類の変更を指示する報知変更手段と、この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段と、表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段と、前記ビデオカメラの出力を所定に処理する画像処理部とを備え、前記画像処理部は、録画済みの操作者の顔画像を前記表示手段に一覧表示する画像制御手段と、この一覧表示された顔画像の中の1を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶手段に記憶することによって、操作者に対応した設定画像として登録する登録手段とを具備することを特徴とするものである。
【0017】
また、ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することが好ましい。
【0018】
【発明の実施の形態】
図1は本発明の第1の実施形態である、監視・制御装置の構成を示す。表示部1は、表示手段に対応し、CRTまたは液晶ディスプレイ等で構成される。表示部1の表面には、透過型入力装置(以下タッチパネルという)2が装着されている。タッチパネル2は、指または入力ペン20により接触または押圧されることにより、接触または押圧された位置に対応する指示信号を出力する。表示変更スイッチ3は、変更指示手段に対応し、操作者の操作によって、表示部1に表示されている表示内容(表示位置、大きさ、色等)の変更を指示する、変更信号を出力する。マイクロコンピュータ5は、操作制御部6、表示制御部7、機器制御部8を制御する。マイクロコンピュータ5、操作制御部6、表示制御部7、機器制御部8によって、制御部4を構成する。制御部4は、機器変更手段、画面変更手段、キー変更手段として機能する。機器9は、このホームオートメーションシステムに接続される外部機器である。タッチパネル2からの指示信号は、操作制御部6に入力される。また表示変更スイッチ3からの変更信号は、同じく操作制御部6に入力される。操作制御部6には、機器9からの機器のON・OFF監視信号も入力される。操作制御部6はこれらの入力信号をマイクロコンピュータ5の受け入れられる信号に変換する働きをする。マイクロコンピュータ5は操作制御部6からの信号を受けて、表示部1へ表示するための表示信号を表示制御部7へ送る。表示制御部7はこれを文字・絵画像に加工して、表示部1に送る。なお指示信号により機器の制御が指示されたときは、マイクロコンピュータ5からの制御信号を機器制御部8にて機器に入力できる信号に変換し、ON・OFF信号として、機器9に入力する。そして前述のように機器のON・OFF状態は、機器のON・OFF監視信号にて操作制御部6に入力され、このON・OFF状態がマイクロコンピュータ5、表示制御部7を介して表示部1に表示される。
【0019】
図2および図3により、画面上の表示内容が変更される一例を示す。画面1上の指示画像2a,2b,2c,2d,2eは制御対象機器名を示し、各指示画像を操作することにより、各機器をON・OFF制御できる。図2は表示変更前の表示部1の画面を示す。表示部1の下部には表示変更スイッチ3(表示部1に指示画像として配置してもよい。)があり、スイッチ群21〜26で構成されている。以下、変更の方法を説明する。まず変更スタートキー21を操作する。そして、例えば指示画像2aの位置・大きさを変更するために、指示画像2aを操作する。そして上下左右の移動キー22、拡大キー23、縮小キー24により移動、拡大または縮小する。なお縮小キー24を複数回操作すると、対応する指示画像はどんどん小さくなり、最後は消滅する。すなわち縮小キー24は表示を消滅させる機能をも持つ。さて目的の位置及び大きさに変更できたら、変更セットキー26の操作により設定完了となる。図3はこれらの操作によって、指示画像が変更された後の表示部1の画面を示す。なお色変更キー25により色の変更も可能であり、変更方法は上記と同様である。
【0020】
図4は指示画像変更操作のフローチャートである。
指示画像変更操作がスタートされると、指示画像2a〜2eが画面上のセットされた位置に表示され、指示画像2a〜2eは表示内容の機器のON/OFFキーとして有効になる(S1)。
S2において、変更スタートキー21を操作するまでは、画面上の表示は機器のON・OFF操作が可能な状態であるが、変更スタートキー21を操作することにより機器のON・OFF機能が無効になる(S3)。
【0021】
ここでタイマーカウントが開始されるが(S4)、これは変更操作途中で操作が放棄されたときに、ある一定時間後に元の初期状態(機器のON・OFF操作が可能な状態)に自動的に戻すためのものである。
【0022】
そして、指示画像2a〜2eのどれかを操作すると(S5)、2a〜2eのうちの操作されたキーの表示が変更の対象になる(S6)。キー操作を行わない場合は、ある一定時間以上経過すると(S7)、タイマーが解除される(S8)。
【0023】
操作キー22〜25の何れのキーを操作すると(S9)、操作キー22〜25の何れかのキーの操作により変更対象のキー表示が上下左右移動又は拡大又は縮小又は色変更がされる(S10)。キー操作を行わない場合は、ある一定時間以上経過すると(S11)、タイマーが解除される(S8)。
【0024】
変更セットキー26の操作により(S12)、変更が確定し、以後はこの状態がメモリされると共に、この変更後の指示画像に対応するタッチパネルの領域がキー入力部として有効になる(S13)。また前記タイマーは変更セットキー26の操作により解除される(S8)。
【0025】
本発明は、上記構成とすることによって、最初からきめられた仕様ではなく、操作者の意志の入った仕様の監視・制御装置とすることができる。特に従来老人にとっては、使いにくい(操作が分かりにくい)ホームオートメーションシステム用の監視・制御装置を、必要に応じて表示を大きくしたり、表示を簡略化したり、表示の位置や色を変えたり、またそれらの変更に連動して、タッチパネルの大きさや位置を変更して、使いやすくしている。
【0026】
図5は、他の実施形態における、使用頻度の最も少ない指示画像(この場合2e)の使用頻度を1としたときの各指示画像の使用頻度比を示す。
【0027】
図6は、本実施形態の表示内容自動変更ルーチンの例を示す。
過去3カ月間の指示画像の操作回数を計数し(S21)、使用頻度の順位付けをし(S22)、使用頻度順に指示画像を並べ換え、タッチパネルのキー入力部もその移動に伴い移動させる(S23)。キー操作の最も少ないものとの回数比が5倍以上のものがあるかを判断し(S24)、前記比が5倍以上の指示画像を拡大し(S25)、比が2倍以下の指示画像を画面の向かって左端へ移動し(S26)、同時にタッチパネルのキー入力部も移動させる(S27)。
【0028】
図6は主要ルーチンのみを記載したが、指示画像同士が重なり合わないようにすることや、見栄えの良い配列にするための移動規則を有している。
【0029】
図7は、本実施形態における、表示部1の機器操作画面を示す。そして図8は、図7の画面が、各指示画像2a〜2eの操作回数の頻度によって、指示画像とタッチパネルのキー入力部の大きさと位置が自動変更された画面を示す。
【0030】
本実施形態は、画面上の指示画像の大きさ(拡大・縮小)・位置(配列の順序を含む)・色・表示数等が、各々の指示画像操作の使用頻度によって自動変更されると共に、この変更に連動して有効キー入力部も自動変更されることを特徴とする。このことによって、使用頻度が増えるに従って学習制御により、画面の設定や表示内容が使いやすいように自動的に変更される。
【0031】
図9は、さらに他の実施形態における、報知音変更の画面を示す。指示画像56(操作音スイッチ)は、各指示画像に対応するタッチパネルのキー入力部の操作時に発する音を変更するための指示画像である。指示画像57(報知音スイッチ)は、報知音を変更するための指示画像である。操作音変更のために指示画像56を操作すると、指示画像58(音量)、指示画像59(音質)、指示画像60(メロディ)、指示画像61(声)の各指示画像からなる、図10に示す画面になる。ここで例えば音質を変更するために指示画像59を操作すると、図11に示す画面になる。指示画像62〜65の4種類(この場合予め内容が固定されている)から選択し指示画像66(セットキー)の操作により変更できる。このように、画面上で自分の好みの報知音を選定できる。
【0032】
以上述べたことによって、報知音(スイッチ操作時や報知必要時の音声)の音量・音質・種類を変更ができるため、耳の不自由な老人(耳が遠い。すなわち高音が聞き取りにくい。)でも支障なく使用できるようになる。
【0033】
図12は、さらに他の実施形態における、操作者の好みの報知音を作曲する画面を示す。音楽の五線表示121上に作曲操作スイッチ群122により操作者の好みの音に設定する。まずセットスイッチ123を操作した後、作曲操作スイッチ群122のいずれかを操作すると音楽の五線表示121の上に楽譜が記入される。記入の一区切りごとに発音され、作曲の確認がそのたびに行える。クリアスイッチ124は消去を、セットスイッチ123は、設定を行う。このように、本実施形態では、報知音も任意に設定するために、報知音の音質・メロディ等を表示画面上で、操作者の好みに合わせて作成し、設定できることを特徴とする。
【0034】
図13は、さらに他の実施形態における画面表示を示す。設定画像71〜78は祖父母、父母、子供達を意識した家族構成のイメージキャラクターを示す。これらの設定画像に操作者自身を重ね合わせて、操作者に対応する設定画像を決定する。例えば設定画像73を操作すれば、父の設定になる。そして各操作時の始めに操作者に対応する設定画像を操作すると、例えば、図2→図3のように操作者に合わせた指示画像のレイアウトをすることもできるし、図9→図10→図11のように報知音の種類を操作者に合わせて変更することもできる。このような設定の組み合わせが操作者の人数分できることになる。なお図13の中で自分の家族の人数に絞り込むため、図2の表示変更スイッチ3により前記と同様の方法で、不要な顔画面も削除できる。このため、家の中の複数の使用者がそれぞれ好みの設定ができる。
【0035】
図14は、本発明の第2の実施形態である、監視・制御装置の構成を示す。ビデオカメラ11が表示部1の近傍に設置され、ビデオカメラ11により撮像した操作者の顔画像を画像メモリ部12に送り、録画する。マイクロコンピュータ5の指示で、画像メモリ部12に複数顔画像が順次整列して録画される。画像表示制御部13は画像メモリ部12に録画された顔画像をマイクロコンピュータ5の指示で取り出し、表示部1に一覧画像の形に編集して送る。一覧表示された顔画像中の1を操作者に対応する設定画像とする。このため、操作者に対応する設定画像を、操作者の顔とすることができ、操作者が間違うことがなく、また家庭ごとに仕様の異なったホームオートメーションシステム用の監視・制御装置とすることができる。
【0036】
図15は、本発明の第3の実施形態である、監視・制御装置の構成を示す。一覧顔画像情報と指示画像とを、映像混合器15で重畳し表示部1に重畳表示する。なお重畳時に他の画面の表示の邪魔にならないように、表示変更スイッチ3aにて顔画像一覧を縮小かつ配列替えを行うことができる。図16は、本実施形態における、機器操作画面と表示変更スイッチを示す。表示部1の重畳画面で、21〜26のキーにて前記と同操作で顔画面の縮小や配列替えをおこなうことができる。まず重畳画面の中の顔画面を選択操作した後、指示画像2a〜2eを操作することによって、各顔画面に対応した設定にできる。
【0037】
図17は、本発明の第4の実施形態である、監視・制御装置の構成を示す。複数の顔画像がビデオカメラ11によって撮像され、画像メモリ部12に録画されている。そして同じビデオカメラ11にて操作者を撮像して、顔画像比較部14にて、予め画像メモリ部12に記憶されている複数の顔画像と比較する。そして一致した顔画面抽出情報をマイクロコンピュータ5に送ることにより、抽出された顔画像の人が操作者であることを認識し、以後の監視・制御装置の状態(設定画像、報知音、機器制御の設定等)を、特定された操作者に対応した設定にする。
【0038】
本実施形態では、ビデオカメラ11で撮像された操作者の顔が、認識判別され、従って自動的にその人の設定になり、顔画像が現時点の操作者表示をも兼用する。このことにより、操作者は、画面上に表示された顔画像一覧表示の中から操作者に合わせた設定を選ぶための操作が不要になる。
【0039】
図18は、他の実施形態における、表示内容自動変更ルーチンの例を示す。4人の操作者A,B,C,Dの中の1人の操作によって、前記図8の表示内容自動変更ルーチンの方法に従い、各々個別のルーチン80A,80B,80C,80Dを走り、顔画像ごとに指示画像別使用頻度を計数する。これにより、監視・制御装置の使用によって、自動的に各操作者にとって、使用し易い表示配列や大きさに表示が自動変更される。
【0040】
図19は、本発明の第5の実施形態である、監視・制御装置の構成を示す。画像抽出部104は、顔画像切り出し部101、顔画像一定化処理部102、顔画像の線化処理部103とから構成される。ビデオカメラ11にて撮像された操作者の像を、顔画像切り出し部101にて顔画像のみを残す処理をする。即ちほぼ丸い顔の輪郭特徴の内部のみを残す処理であり、画像処理手法としては公知であるので説明を省略する。そして顔画像一定化処理部102にて、この顔画像を予め決められた大きさに一定化する。これには画像の拡大・縮小処理が行われるが、これも公知の技術であるので説明を省略する。この一定の大きさに統一された顔画像を顔画像の線化処理部103にて線化(縁部のみを残す)する。線化処理も画像処理の常套手段のため説明を省略する。画像メモリ部108は画像メモリa部105、画像メモリb部106、画像メモリa部105と画像メモリb部106との切り換えスイッチ部107とから成る。即ち、顔画像一定化処理部102からの自然な顔画像は画像メモリa部105に、そして線化された顔画像は画像メモリb部106に記録される。画面に映す顔画像を自然な顔画像にするか線化された顔画像にするかは切り換えスイッチ部107により選択できる。操作者ごとにこの選択を変えることも可能である。画面上に表示された顔画像は、前記と同じく、設定画像となる。なお線化された顔画像のみを画面上に表示することにすると、切り換えスイッチ部107は不要になり、画像メモリの容量も少なくてすむ。
【0041】
図20は、他の実施形態における、4人の操作者A,B,C,Dが顔画像を操作したときのフローチャートを示す。この場合は、操作中のみその人の顔画像を点灯させて、操作完了後は点灯を解除する方法を採用している。操作未完成の状態で放置されたとき点灯しているので、誰が操作しようとしていたのかわかる利点がある。なおこの時でも、誰か後で操作しようとしたときに、点灯を復活させて、以前誰がその画面モードで設定したかを示すようにすることも可能である。本実施形態では、単に指示画像としての顔画像表示というだけでなく、操作中あるいは操作後に、その人が操作中あるいは操作したという経歴を表す機能をも兼ね備えたものである。これにより他の人が後で画面を見たとき現在その機能をだれが設定したものかわかる利点がある。
【0042】
図21は、本発明の第6の実施形態である、監視・制御装置の構成を示す。カメラ切換部11aによって画像処理部10への接続か画像監視部27への接続かを切り換える。この切り換えは手動スイッチとしてもよいし、ビデオカメラの前面に人が立つことをもって自動的に操作者撮像に切り換える方式としてもよい。画像監視部27は、例えば室内画像メモリ28と室内画像比較部29とから成る。直前の室内画像情報が、室内画像メモリ28に記録されており、室内現画像情報との差を室内画像比較部29にて比較し、監視信号として、マイクロコンピュータ5に入力する。この情報は、室内の異常(火災、防犯、乳幼児の動きの異常等)監視情報や、室内の人の動きの監視情報として使用できる。
【0043】
上記のようにビデオカメラ11を、顔画像登録や操作者特定用に使用するだけでなく、監視・制御装置の設置されている部屋の監視にも使用することによって、例えば人の動きの監視情報により、人の動きが大きいか小さいかを検知してエアコンの温度設定を変更したり、人のいる方向まで検知してエアコンの風向の設定を変化させる等を行わせることができる。このように操作者のみの撮像だけでなく、ビデオカメラが室内監視も兼ねること等、1つのビデオカメラを有効活用できるので、きめの細かい、老人でも使いやすいホームオートメーションシステム用の監視・制御装置とすることができる。
【0044】
【発明の効果】
本発明は上記のように、ホームオートメーションシステム用の監視・制御装置を従来のように、あらかじめ決まった仕様でなく、操作者に合わせて仕様を変更できるようにし、特に目や耳の不自由な老人にとっても使いやすくしたものである。また一般の人達にとっても、ややもすれば堅苦しいと思われているホームオートメーションシステムを身近なものにしたものである。
【0045】
詳しくは、本発明の監視・制御方法によれば、機器の制御を指示する指示画像を表示する行程と、前記指示画像に対応する指示信号を出力する行程と、前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程とを具備することで、スイッチ兼用の画面上の指示画像の各種表示を操作者に合わせて変更でき、報知音を発生する行程と、前記報知音の音量・音質・種類の変更を指示する行程と、前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程とを具備することで、報知音を操作者に合わせて変更できるとともに、表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程とを具備することで、複数人数分の指示画像の各種表示や報知音を操作者ごとに設定でき、さらにきめ細かいホームオートメーションシステムを提供できる。
【0046】
さらに、ビデオカメラからの出力を所定に処理する画像処理行程とを備え、前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の1を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを具備することで、カメラで撮像された操作者の顔画像を画面上にスイッチ兼用表示として出すことにより操作者ごとの設定を行うことができ、従来の画一的なホームオートメーションシステムを改善できる。
【0051】
また、本発明のビデオカメラ装置によれば、録画手段を備えたビデオカメラに、機器の制御を指示する指示画像を表示する表示手段と、前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段とを具備することで、スイッチ兼用の画面上の指示画像の各種表示を操作者に合わせて変更でき、報知音を発生する報知手段と、この報知音の音量・音質・種類の変更を指示する報知変更手段と、この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段とを具備することで、報知音を操作者に合わせて変更できるとともに、表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段とを具備することで、複数人数分の指示画像の各種表示や報知音を操作者ごとに設定でき、さらにきめ細かいホームオートメーションシステムを提供できる。
【0056】
さらに、ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することで、付属のビデオカメラを多用途に使用できるようにして、多機能性をもたせ、ホームオートメーションシステムをコンパクトにできる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態である、監視・制御装置の構成を示す図である。
【図2】表示変更前の表示部の画面を示す図である。
【図3】指示画像が変更された後の表示部の画面を示す図である。
【図4】指示画像変更操作のフローチャートである。
【図5】各指示画像の使用頻度比を示す図である。
【図6】表示内容自動変更ルーチンの例を示す図である。
【図7】表示部の機器操作画面を示す図である。
【図8】指示画像が自動変更された表示部の画面を示す図である。
【図9】報知音変更の画面を示す図である。
【図10】操作音変更のための各指示画像を示す図である。
【図11】操作音設定のための各指示画像を示す図である。
【図12】操作者の好みの報知音を作曲する画面を示す図である。
【図13】設定画像の画面表示を示す図である。
【図14】本発明の第2の実施形態である、監視・制御装置の構成を示す図である。
【図15】本発明の第3の実施形態である、監視・制御装置の構成を示す図である。
【図16】機器操作画面と表示変更スイッチを示す図である。
【図17】本発明の第4の実施形態である、監視・制御装置の構成を示す図である。
【図18】表示内容自動変更ルーチンの例を示す図である。
【図19】本発明の第5の実施形態である、監視・制御装置の構成を示す図である。
【図20】4人の操作者A,B,C,Dが顔画像を操作したときのフローチャートである。
【図21】本発明の第6の実施形態である、監視・制御装置の構成を示す図である。
【図22】従来のホームオートメーションシステム用の監視・制御装置の構成を示すブロック図である。
【符号の説明】
1 表示部
2 タッチパネル
3 表示変更スイッチ
4 制御部
5 マイクロコンピュータ
6 操作制御部
7 表示制御部
8 機器制御部
9 機器
10 画像処理部
11 ビデオカメラ
[0001]
BACKGROUND OF THE INVENTION
INDUSTRIAL APPLICABILITY The present invention is a monitoring / control method suitable for application to a home automation system or the like that performs device monitoring, device ON / OFF control, etc., using picture / character display on a CRT or liquid crystal display device. And a video camera apparatus using the same.
[0002]
[Prior art]
Due to the popularization of home automation systems that monitor the status of devices in the home and control ON / OFF and advances in electronic technology, monitoring and control devices for home automation systems with high functionality and good operability have recently become inexpensive. A variety of functions have been released by many manufacturers.
[0003]
FIG. 22 is a block diagram showing a configuration of a conventional home automation system. The monitoring / control device 30 includes a CRT 31, a microcomputer 32, a video mixer 33, and operation switches 34, 35, and 36. Further, the microcomputer 32 is connected to controlled devices (a bath 37, a shutter 38, a rice cooker 39, an air conditioner 40, an electric lock 41, an illumination 42, etc.) and constantly monitors the state of the controlled device. In the monitoring / control device 30, the status of the controlled device is displayed on the CRT 31, and when the control is necessary, the horizontal operation switches 34, 35 for displaying the status of the controlled device on the screen are displayed. Control by pressing 36. (Monitoring / control device with separate screen display and device instruction)
[0004]
As another monitoring / control device, there is a device that controls by directly pressing an instruction key displayed on the screen using a transmissive input device, and is commercialized for a home automation system (see Patent Document 1). ).
[0005]
[Patent Document 1]
JP-A-60-96089 (page 1-4, FIG. 6)
[0006]
[Problems to be solved by the invention]
In the monitoring / control device for home automation system as described above, the size and display position of the screen display (for example, “air conditioner operation”, “lighting on”, etc.) indicating instructions and monitoring status are determined in advance. It was not always easy to use for the elderly with poor vision. In addition, there are many functions that are not normally used, and the operation is cumbersome and difficult to understand for the elderly. In addition, these monitoring and control devices for home automation systems are accompanied by notification sounds and operation sounds, but since the sound quality of these sounds is also predetermined, it is suitable for elderly people who are difficult to hear high sounds. I can't say that.
[0007]
In order to solve the above problems, the present invention pays attention to the display problem on these screens, and further to the voice plane (notification sound / operation sound), and is easy to use for the elderly with impaired eyes and ears. It is an object of the present invention to provide a monitoring / control method for an automation system and a video camera apparatus using the same.
[0008]
[Means for Solving the Problems]
The present invention relates to a monitoring / control method, receiving a process of displaying an instruction image for instructing control of a device, a process of outputting an instruction signal corresponding to the instruction image, and the instruction signal. A process for controlling a corresponding device, a process for outputting a change signal instructing a change in the size, position, color, and display number of the instruction image; and the size / position of the instruction image in response to the change signal. The process of changing the color / number of displays, the process of generating the notification sound, the process of instructing the change of the volume / sound quality / type of the notification sound, and the volume of the notification sound according to the instruction of the notification change The process of changing the sound quality / type and the size / position / color / number of display and notification sound of the instruction image corresponding to the setting image for instructing to set the device corresponding to the displayed instruction image to a predetermined state Corresponds to volume, sound quality and type of the above and the instruction image The combination corresponding to the setting image is selected from the stored combinations according to the process of storing the combination of the device control setting and the instruction signal corresponding to the setting image, and set to the selected state. And an image processing step for processing the output from the video camera in a predetermined manner. The image processing step includes a step of recording the face image of the operator imaged by the video camera, and a recorded image by the video camera. The process of displaying a list, and selecting one of the face images displayed in the list, the size / position / color / number of indication images corresponding to the face image, and the volume / sound quality / type of notification sound A step of storing a combination with the setting of device control and registering it as a setting image corresponding to the operator.
[0013]
In addition, the present invention relates to a video camera apparatus, which receives a display means for displaying an instruction image for instructing control of equipment on a video camera provided with a recording means, and an instruction signal corresponding to the instruction image. A device control means for controlling the equipment corresponding to the signal, a change instruction means for outputting a change signal for instructing a change in the size, position, color, and display number of the instruction image displayed on the display means, In response to the change signal, the image change means for changing the size, position, color, and number of display of the instruction image, the notification means for generating the notification sound, and the change of the volume, sound quality, and type of the notification sound are instructed. Notification changing means, sound changing means for changing the volume / sound quality / type of the notification sound in response to an instruction from the notification changing means, and an instruction to set the monitoring / control device displayed on the display means to a predetermined state Setting screen for Storage means for storing a combination of the size / position / color / display number of the instruction image corresponding to the sound volume / sound quality / type of the notification sound and the device control setting corresponding to the instruction image; and corresponding to the setting image In accordance with an instruction signal to be performed, a combination corresponding to the setting image is selected from combinations stored in the storage unit, and a setting unit configured to set the selected state, and an image for processing the output of the video camera in a predetermined manner A processing unit, and the image processing unit selects image control means for displaying a list of recorded face images of the operator on the display means, and one of the displayed face images. As a setting image corresponding to the operator, the combination of the size / position / color / display number of the instruction image corresponding to the image, the volume / sound quality / type of the notification sound, and the device control setting is stored in the storage means. Climb It is characterized in that it comprises a registration means for.
[0017]
Further, the image monitoring unit includes an image monitoring unit that monitors the output of the video camera, and a switching unit that switches the output of the video camera to the image processing unit and the image monitoring unit, and the image monitoring unit captures an image captured by the video camera. Preferably, image storage means for storing the image and image comparison means for comparing the images taken by the video camera after a predetermined time when the image is stored in the image storage means and outputting a monitoring signal are provided.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration of a monitoring / control apparatus according to a first embodiment of the present invention. The display unit 1 corresponds to a display unit and is configured by a CRT or a liquid crystal display. A transmissive input device (hereinafter referred to as a touch panel) 2 is mounted on the surface of the display unit 1. The touch panel 2 outputs an instruction signal corresponding to the touched or pressed position by being touched or pressed by a finger or the input pen 20. The display change switch 3 corresponds to a change instruction means, and outputs a change signal for instructing to change display contents (display position, size, color, etc.) displayed on the display unit 1 by an operation of the operator. . The microcomputer 5 controls the operation control unit 6, the display control unit 7, and the device control unit 8. The microcomputer 5, the operation control unit 6, the display control unit 7, and the device control unit 8 constitute a control unit 4. The control unit 4 functions as a device changing unit, a screen changing unit, and a key changing unit. The device 9 is an external device connected to this home automation system. An instruction signal from the touch panel 2 is input to the operation control unit 6. A change signal from the display change switch 3 is also input to the operation control unit 6. A device ON / OFF monitoring signal from the device 9 is also input to the operation control unit 6. The operation control unit 6 functions to convert these input signals into signals that can be accepted by the microcomputer 5. The microcomputer 5 receives a signal from the operation control unit 6 and sends a display signal for display on the display unit 1 to the display control unit 7. The display control unit 7 processes this into a character / picture image and sends it to the display unit 1. When the control of the device is instructed by the instruction signal, the control signal from the microcomputer 5 is converted into a signal that can be input to the device by the device control unit 8 and input to the device 9 as an ON / OFF signal. As described above, the ON / OFF state of the device is input to the operation control unit 6 by the device ON / OFF monitoring signal, and the ON / OFF state is displayed on the display unit 1 via the microcomputer 5 and the display control unit 7. Is displayed.
[0019]
2 and 3 show an example in which the display content on the screen is changed. The instruction images 2a, 2b, 2c, 2d, and 2e on the screen 1 indicate the names of devices to be controlled. By operating each instruction image, each device can be controlled ON / OFF. FIG. 2 shows the screen of the display unit 1 before the display is changed. A display change switch 3 (which may be arranged as an instruction image on the display unit 1) is provided below the display unit 1, and includes switch groups 21 to 26. Hereinafter, the changing method will be described. First, the change start key 21 is operated. Then, for example, the instruction image 2a is operated in order to change the position / size of the instruction image 2a. Then, it is moved, enlarged or reduced by the up / down / left / right movement key 22, the enlargement key 23, and the reduction key 24. If the reduction key 24 is operated a plurality of times, the corresponding instruction image becomes smaller and disappears at the end. That is, the reduction key 24 also has a function of eliminating the display. When the target position and size can be changed, the setting is completed by operating the change set key 26. FIG. 3 shows the screen of the display unit 1 after the instruction image is changed by these operations. The color can be changed by the color change key 25, and the change method is the same as described above.
[0020]
FIG. 4 is a flowchart of the instruction image changing operation.
When the instruction image change operation is started, the instruction images 2a to 2e are displayed at the set positions on the screen, and the instruction images 2a to 2e are valid as ON / OFF keys for the displayed contents (S1).
Until the change start key 21 is operated in S <b> 2, the display on the screen is in a state where the device can be turned ON / OFF, but the device ON / OFF function is disabled by operating the change start key 21. (S3).
[0021]
Here, the timer count is started (S4). When the operation is abandoned during the change operation, it automatically returns to the original initial state (a state in which the device can be turned ON / OFF) after a certain period of time. It is for returning to.
[0022]
When any one of the instruction images 2a to 2e is operated (S5), the display of the operated key of 2a to 2e becomes the target of change (S6). When no key operation is performed, the timer is canceled (S8) after a certain period of time has elapsed (S7).
[0023]
When any key of the operation keys 22 to 25 is operated (S9), the key display to be changed is moved up and down, left and right, enlarged or reduced, or color changed by operating any of the operation keys 22 to 25 (S10). ). When no key operation is performed, the timer is canceled (S8) after a certain period of time has elapsed (S11).
[0024]
By operating the change set key 26 (S12), the change is confirmed, and thereafter, this state is memorized, and the area of the touch panel corresponding to the changed instruction image becomes valid as the key input unit (S13). The timer is canceled by operating the change set key 26 (S8).
[0025]
By adopting the above-described configuration, the present invention can be a monitoring / control device having specifications that are not determined from the beginning but that have the will of the operator. Especially for elderly people, it is difficult to use (the operation is difficult to understand). Monitoring and control devices for home automation systems can be enlarged, simplified, changed in display position and color as needed, In conjunction with these changes, the size and position of the touch panel are changed to make it easier to use.
[0026]
FIG. 5 shows the use frequency ratio of each instruction image when the use frequency of the instruction image having the lowest use frequency (in this case, 2e) is set to 1 in another embodiment.
[0027]
FIG. 6 shows an example of a display content automatic change routine of the present embodiment.
The number of operation of the instruction image for the past three months is counted (S21), the frequency of use is ranked (S22), the instruction images are rearranged in order of use frequency, and the key input unit of the touch panel is moved along with the movement (S23). ). It is determined whether there is a ratio of the number of times with the least number of key operations of 5 times or more (S24), an instruction image with the ratio of 5 times or more is enlarged (S25), and an instruction image with a ratio of 2 times or less Is moved to the left end toward the screen (S26), and at the same time, the key input section of the touch panel is also moved (S27).
[0028]
FIG. 6 shows only the main routine, but it has movement rules for preventing the instruction images from overlapping each other and arranging them in a good-looking arrangement.
[0029]
FIG. 7 shows a device operation screen of the display unit 1 in the present embodiment. 8 shows a screen in which the size and position of the instruction image and the key input portion of the touch panel are automatically changed according to the frequency of the operation times of the instruction images 2a to 2e.
[0030]
In the present embodiment, the size (enlargement / reduction), position (including the order of arrangement), color, display number, etc. of the instruction image on the screen are automatically changed according to the use frequency of each instruction image operation. The effective key input unit is automatically changed in conjunction with this change. Thus, as the frequency of use increases, screen settings and display contents are automatically changed so as to be easy to use by learning control.
[0031]
FIG. 9 shows a notification sound change screen in still another embodiment. The instruction image 56 (operation sound switch) is an instruction image for changing a sound generated when the key input unit of the touch panel corresponding to each instruction image is operated. The instruction image 57 (notification sound switch) is an instruction image for changing the notification sound. When the instruction image 56 is operated to change the operation sound, the instruction image 58 (volume), the instruction image 59 (sound quality), the instruction image 60 (melody), and the instruction image 61 (voice) are included. It becomes the screen which shows. Here, for example, when the instruction image 59 is operated to change the sound quality, the screen shown in FIG. 11 is displayed. It can be selected from four types of instruction images 62 to 65 (in this case, the contents are fixed in advance) and can be changed by operating the instruction image 66 (set key). Thus, the user's favorite notification sound can be selected on the screen.
[0032]
As described above, since the volume, sound quality, and type of the notification sound (sound when the switch is operated or notification is necessary) can be changed, even an elderly person who is hard of hearing (the ear is far away, that is, the high sound is difficult to hear). It can be used without any problems.
[0033]
FIG. 12 shows a screen for composing an operator's favorite notification sound in still another embodiment. An operator's favorite sound is set on the musical staff display 121 by a composition operation switch group 122. First, after the set switch 123 is operated, any one of the composition operation switch groups 122 is operated, and a musical score is entered on the musical staff display 121. Each entry is pronounced and you can check the composition each time. The clear switch 124 performs erasure, and the set switch 123 performs setting. As described above, the present embodiment is characterized in that the sound quality, melody, and the like of the notification sound can be created and set according to the preference of the operator on the display screen in order to arbitrarily set the notification sound.
[0034]
FIG. 13 shows a screen display in still another embodiment. The setting images 71 to 78 show image characters of a family structure conscious of grandparents, parents, and children. The setting image corresponding to the operator is determined by superimposing the operator on the setting image. For example, if the setting image 73 is operated, the setting of the father is made. When the setting image corresponding to the operator is operated at the beginning of each operation, for example, the instruction image can be laid out according to the operator as shown in FIG. 2 → FIG. 3, or FIG. 9 → FIG. 10 → As shown in FIG. 11, the type of notification sound can be changed according to the operator. Such combinations of settings can be made for the number of operators. In order to narrow down to the number of family members in FIG. 13, unnecessary face screens can be deleted by the display change switch 3 in FIG. 2 in the same manner as described above. For this reason, a plurality of users in the house can make preference settings respectively.
[0035]
FIG. 14 shows a configuration of a monitoring / control apparatus according to the second embodiment of the present invention. A video camera 11 is installed in the vicinity of the display unit 1, and an operator's face image captured by the video camera 11 is sent to the image memory unit 12 for recording. A plurality of face images are sequentially arranged and recorded in the image memory unit 12 in accordance with an instruction from the microcomputer 5. The image display control unit 13 takes out a face image recorded in the image memory unit 12 in accordance with an instruction from the microcomputer 5, edits it in the form of a list image and sends it to the display unit 1. One of the face images displayed as a list is set as a setting image corresponding to the operator. Therefore, the setting image corresponding to the operator can be the face of the operator, the operator is not mistaken, and the monitoring / control device for a home automation system having different specifications for each home Can do.
[0036]
FIG. 15 shows a configuration of a monitoring / control apparatus according to the third embodiment of the present invention. The list face image information and the instruction image are superimposed by the video mixer 15 and displayed on the display unit 1 in a superimposed manner. Note that the face image list can be reduced and rearranged by the display change switch 3a so as not to interfere with the display of other screens during superimposition. FIG. 16 shows a device operation screen and a display change switch in the present embodiment. On the superimposed screen of the display unit 1, the face screen can be reduced or rearranged by the same operations as described above using the keys 21 to 26. First, after selecting and operating the face screen in the superimposed screen, setting corresponding to each face screen can be performed by operating the instruction images 2a to 2e.
[0037]
FIG. 17 shows a configuration of a monitoring / control apparatus according to the fourth embodiment of the present invention. A plurality of face images are captured by the video camera 11 and recorded in the image memory unit 12. Then, the operator is imaged by the same video camera 11 and is compared with a plurality of face images stored in advance in the image memory unit 12 by the face image comparison unit 14. The matched face screen extraction information is sent to the microcomputer 5 to recognize that the person of the extracted face image is an operator, and the state of the subsequent monitoring / control device (setting image, notification sound, device control) To the setting corresponding to the specified operator.
[0038]
In the present embodiment, the operator's face imaged by the video camera 11 is recognized and discriminated, so that the person's face is automatically set, and the face image also serves as the current operator display. This eliminates the need for the operator to select a setting suitable for the operator from the face image list display displayed on the screen.
[0039]
FIG. 18 shows an example of a display content automatic change routine in another embodiment. According to the operation of one of the four operators A, B, C, and D, each of the individual routines 80A, 80B, 80C, and 80D is run according to the method of the display content automatic change routine of FIG. The usage frequency for each instruction image is counted for each time. Thus, the display is automatically changed to a display arrangement and size that are easy for each operator to use by using the monitoring / control device.
[0040]
FIG. 19 shows a configuration of a monitoring / control apparatus according to the fifth embodiment of the present invention. The image extraction unit 104 includes a face image cutout unit 101, a face image stabilization processing unit 102, and a face image linearization processing unit 103. The face image cutout unit 101 performs processing for leaving only the face image of the operator image captured by the video camera 11. In other words, it is a process that leaves only the inside of the contour feature of a substantially round face, and since it is known as an image processing method, the description thereof is omitted. Then, the face image stabilization processing unit 102 stabilizes the face image to a predetermined size. For this, an image enlargement / reduction process is performed, which is also a well-known technique, and a description thereof will be omitted. The face image unified to a certain size is linearized (leaving only the edge) by the linearization processing unit 103 of the face image. Since linearization processing is also a conventional means of image processing, description thereof is omitted. The image memory unit 108 includes an image memory a unit 105, an image memory b unit 106, and a changeover switch unit 107 between the image memory a unit 105 and the image memory b unit 106. That is, the natural face image from the face image stabilization processing unit 102 is recorded in the image memory a unit 105, and the linearized face image is recorded in the image memory b unit 106. The changeover switch 107 can select whether the face image displayed on the screen is a natural face image or a lined face image. It is also possible to change this selection for each operator. The face image displayed on the screen is a setting image as described above. If only the lined face image is displayed on the screen, the changeover switch unit 107 becomes unnecessary and the capacity of the image memory can be reduced.
[0041]
FIG. 20 shows a flowchart when four operators A, B, C, and D operate face images in another embodiment. In this case, a method is adopted in which the face image of the person is lit only during the operation, and the lighting is canceled after the operation is completed. Since it lights when left unfinished, there is an advantage of knowing who was trying to operate. Even at this time, when someone tries to operate later, it is possible to restore the lighting to indicate who previously set in the screen mode. In the present embodiment, not only the display of a face image as an instruction image but also a function of representing a history of the person being operated or operated during or after the operation. This has the advantage that when someone else looks at the screen later, it knows who has set that function now.
[0042]
FIG. 21 shows a configuration of a monitoring / control apparatus according to the sixth embodiment of the present invention. The camera switching unit 11a switches between connection to the image processing unit 10 and connection to the image monitoring unit 27. This switching may be a manual switch or a method of automatically switching to operator imaging when a person stands in front of the video camera. The image monitoring unit 27 includes, for example, an indoor image memory 28 and an indoor image comparison unit 29. The previous indoor image information is recorded in the indoor image memory 28, and the difference from the indoor current image information is compared by the indoor image comparison unit 29 and input to the microcomputer 5 as a monitoring signal. This information can be used as monitoring information on indoor abnormalities (fire, crime prevention, abnormal movements of infants, etc.) and monitoring information on the movement of people in the room.
[0043]
As described above, the video camera 11 is used not only for facial image registration and operator identification, but also for monitoring a room in which a monitoring / control device is installed. Accordingly, it is possible to detect whether the movement of the person is large or small and change the temperature setting of the air conditioner, or to detect the direction of the person and change the setting of the air direction of the air conditioner. In this way, one video camera can be used effectively, such as not only imaging by the operator but also the video camera can also be used for indoor monitoring. can do.
[0044]
【The invention's effect】
As described above, the present invention makes it possible to change the specification of the monitoring / control device for the home automation system according to the operator, not the predetermined specification as in the prior art. It is easy to use for the elderly. It is also a familiar home automation system that seems to be a little hard for the general public.
[0045]
Specifically, according to the monitoring / control method of the present invention, the process of displaying an instruction image for instructing control of a device, the process of outputting an instruction signal corresponding to the instruction image, and the instruction signal, A process of controlling a device corresponding to the instruction signal; a process of outputting a change signal instructing a change in the size, position, color, and display number of the instruction image; and the size of the instruction image in response to the change signal. The process of changing the display, the position, the color, and the number of displays, so that various displays of the instruction image on the screen also serving as a switch can be changed according to the operator. The process of instructing the change of the volume, sound quality, and type of the sound, and the process of changing the volume, sound quality, and type of the notification sound in response to the notification change instruction, the notification sound is adjusted to the operator. The displayed instruction screen can be changed The size, position, color, number of display images corresponding to the setting image for instructing to set the device corresponding to the predetermined state, the volume, sound quality, type of the notification sound, and the instruction image The combination corresponding to the setting image is selected from the stored combinations in accordance with the process of storing the combination with the device control setting and the instruction signal corresponding to the setting image, and is set to the selected state. By providing the process, it is possible to set various displays of instruction images and notification sounds for a plurality of persons for each operator, and to provide a more detailed home automation system.
[0046]
And an image processing step for processing the output from the video camera in a predetermined manner. The image processing step includes a step of recording the face image of the operator captured by the video camera and a list of images recorded by the video camera. Select the process to be displayed and one of the face images displayed in the list, and the size / position / color / number of indication images corresponding to this face image, volume / sound quality / type of notification sound, and device control A process of storing a combination with the setting and registering it as a setting image corresponding to the operator, so that the operator's face image captured by the camera can be displayed on the screen as a switch display. It is possible to make settings for each person and improve the conventional uniform home automation system.
[0051]
In addition, according to the video camera device of the present invention, the video camera provided with the recording means receives the instruction signal corresponding to the instruction image and the display means for displaying the instruction image instructing the control of the device. A device control means for controlling the equipment corresponding to the signal, a change instruction means for outputting a change signal for instructing a change in the size, position, color, and display number of the instruction image displayed on the display means, By changing the size, position, color, and number of displays of the instruction image in response to the change signal, various display of the instruction image on the switch-use screen can be changed according to the operator. The notification means for generating the notification sound, the notification change means for instructing the change of the volume / sound quality / type of the notification sound, and the volume / sound quality / type of the notification sound according to the instruction of the notification change means Sound change hand to change The notification sound can be changed according to the operator, and the size of the instruction image corresponding to the setting image for instructing to set the monitoring / control device displayed on the display means to a predetermined state is provided. According to the instruction signal corresponding to the setting image, storage means for storing a combination of the position / color / number of display and the volume / sound quality / type of the notification sound and the device control setting corresponding to the instruction image, By selecting a combination corresponding to the setting image from the combinations stored in the storage means and setting means for setting to the selected state, various indications and notification sounds of instruction images for a plurality of persons are provided. It can be set for each operator and can provide a more detailed home automation system.
[0056]
And an image monitoring unit that monitors the output of the video camera; and a switching unit that switches the output of the video camera to an image processing unit and the image monitoring unit. The image monitoring unit captures an image captured by the video camera. Image storage means for storing the image, and image comparison means for outputting a monitoring signal by comparing an image captured by a video camera after a predetermined time when the image is stored in the image storage means. By making the video camera versatile, it can be multifunctional and the home automation system can be made compact.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration of a monitoring / controlling apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a screen of a display unit before a display change.
FIG. 3 is a diagram showing a screen of a display unit after an instruction image is changed.
FIG. 4 is a flowchart of an instruction image changing operation.
FIG. 5 is a diagram illustrating a use frequency ratio of each instruction image.
FIG. 6 is a diagram showing an example of a display content automatic change routine.
FIG. 7 is a diagram showing a device operation screen of a display unit.
FIG. 8 is a diagram illustrating a screen of a display unit in which an instruction image is automatically changed.
FIG. 9 is a diagram showing a notification sound change screen.
FIG. 10 is a diagram illustrating each instruction image for changing an operation sound.
FIG. 11 is a diagram illustrating each instruction image for setting an operation sound.
FIG. 12 is a diagram showing a screen for composing an operator's favorite notification sound.
FIG. 13 is a diagram illustrating a screen display of a setting image.
FIG. 14 is a diagram illustrating a configuration of a monitoring / controlling apparatus according to a second embodiment of the present invention.
FIG. 15 is a diagram illustrating a configuration of a monitoring / controlling apparatus according to a third embodiment of the present invention.
FIG. 16 is a diagram showing a device operation screen and a display change switch.
FIG. 17 is a diagram illustrating a configuration of a monitoring / controlling apparatus according to a fourth embodiment of the present invention.
FIG. 18 is a diagram illustrating an example of a display content automatic change routine.
FIG. 19 is a diagram showing a configuration of a monitoring / controlling apparatus according to a fifth embodiment of the present invention.
FIG. 20 is a flowchart when four operators A, B, C, and D operate face images.
FIG. 21 is a diagram showing a configuration of a monitoring / controlling apparatus according to a sixth embodiment of the present invention.
FIG. 22 is a block diagram showing a configuration of a monitoring / control device for a conventional home automation system.
[Explanation of symbols]
1 Display section
2 Touch panel
3 Display change switch
4 Control unit
5 Microcomputer
6 Operation control unit
7 Display controller
8 Equipment control unit
9 Equipment
10 Image processing section
11 Video camera

Claims (3)

機器の制御を指示する指示画像を表示する行程と、
前記指示画像に対応する指示信号を出力する行程と、
前記指示信号を受けて、この指示信号に対応する機器を制御する行程と、
前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する行程と、
前記変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する行程と、
報知音を発生する行程と、
前記報知音の音量・音質・種類の変更を指示する行程と、
前記報知変更の指示に応じて該報知音の音量・音質・種類を変更する行程と、
表示された指示画像に対応する機器を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と、前記指示画像に対応する機器制御の設定との組み合わせを記憶する行程と、
前記設定画像に対応する指示信号に応じて、記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する行程と、
ビデオカメラからの出力を所定に処理する画像処理行程とを備え、
前記画像処理行程は、ビデオカメラにより撮像した操作者の顔画像を録画する行程と、ビデオカメラによる録画済みの画像を一覧表示する行程と、この一覧表示された顔画像の中の1を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶して、操作者に対応した設定画像として登録する行程とを備えたことを特徴とする監視・制御方法。
A process of displaying an instruction image for instructing control of the device;
A step of outputting an instruction signal corresponding to the instruction image;
A step of receiving the instruction signal and controlling a device corresponding to the instruction signal;
A step of outputting a change signal instructing a change in the size, position, color, and display number of the instruction image;
In response to the change signal, a process of changing the size, position, color, and display number of the instruction image;
A process of generating a notification sound;
A process of instructing a change in volume, sound quality, and type of the notification sound;
A step of changing the volume, sound quality, and type of the notification sound in response to the notification change instruction;
The size / position / color / number of indication images and the volume / sound quality / type of the notification sound corresponding to the setting image for instructing to set the device corresponding to the displayed instruction image to a predetermined state, A step of storing a combination with the device control setting corresponding to the instruction image;
In accordance with an instruction signal corresponding to the setting image, selecting a combination corresponding to the setting image from among the stored combinations and setting the selected state;
An image processing step for processing the output from the video camera in a predetermined manner,
In the image processing step, a step of recording the operator's face image captured by the video camera, a step of displaying a list of images recorded by the video camera, and one of the list-displayed face images are selected. Stores the combination of the size, position, color, number of indications, and volume / sound quality / type of notification sound and device control settings corresponding to this face image, and registers it as a setting image corresponding to the operator A monitoring / control method characterized by comprising:
録画手段を備えたビデオカメラに、
機器の制御を指示する指示画像を表示する表示手段と、
前記指示画像に対応する指示信号を受けて、この指示信号に対応する前記機器を制御する機器制御手段と、
前記表示手段に表示された前記指示画像の大きさ・位置・色・表示数の変更を指示する変更信号を出力する変更指示手段と、
この変更信号を受けて、前記指示画像の大きさ・位置・色・表示数を変更する画像変更手段と、
報知音を発生する報知手段と、
この報知音の音量・音質・種類の変更を指示する報知変更手段と、
この報知変更手段の指示に応じて、前記報知音の音量・音質・種類を変更する音変更手段と、
表示手段に表示された監視・制御装置を所定の状態に設定する指示をするための設定画像に対応する指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類及び前記指示画像に対応する機器制御の設定との組み合わせを記憶する記憶手段と、
前記設定画像に対応する指示信号に応じて、記憶手段に記憶された組み合わせの中から前記設定画像に対応する組み合わせを選択し、選択された状態に設定する設定手段と、
前記ビデオカメラの出力を所定に処理する画像処理部とを備え、
前記画像処理部は、録画済みの操作者の顔画像を前記表示手段に一覧表示する画像制御手段と、この一覧表示された顔画像の中の1を選択し、この顔画像に対応した指示画像の大きさ・位置・色・表示数と報知音の音量・音質・種類と機器制御の設定との組み合わせを記憶手段に記憶することによって、操作者に対応した設定画像として登録する登録手段とを具備することを特徴とするビデオカメラ装置。
In video camera equipped with recording means,
Display means for displaying an instruction image for instructing control of the device;
Device control means for receiving an instruction signal corresponding to the instruction image and controlling the device corresponding to the instruction signal;
Change instruction means for outputting a change signal for instructing a change in the size, position, color, and display number of the instruction image displayed on the display means;
In response to this change signal, image change means for changing the size, position, color, and number of displays of the instruction image;
A notification means for generating a notification sound;
Notification changing means for instructing a change in volume, sound quality, and type of the notification sound;
Sound changing means for changing the volume, sound quality, and type of the notification sound in response to an instruction from the notification changing means;
The size / position / color / number of indication images and the volume / sound quality / type of the notification sound corresponding to the setting image for instructing to set the monitoring / control device displayed on the display means to a predetermined state Storage means for storing a combination of device control settings corresponding to the instruction image;
A setting unit that selects a combination corresponding to the setting image from combinations stored in a storage unit according to an instruction signal corresponding to the setting image, and sets the selected state to a selected state;
An image processing unit for processing the output of the video camera in a predetermined manner,
The image processing unit selects image control means for displaying a list of recorded face images of the operator on the display means, and one of the face images displayed in the list, and an instruction image corresponding to the face image A registration means for registering as a setting image corresponding to the operator by storing in the storage means a combination of the size, position, color, number of displays, volume, sound quality, type of notification sound, and device control settings. A video camera device comprising:
ビデオカメラの出力を監視する画像監視部と、該ビデオカメラの出力を画像処理部と前記画像監視部とに切り換える切換部とを備え、
前記画像監視部は、ビデオカメラにて撮像した画像を記憶する画像記憶手段と、この画像記憶手段に前記画像を記憶した所定時間後のビデオカメラにて撮像した画像を比較して監視信号を出力する画像比較手段とを具備することを特徴とする請求項に記載のビデオカメラ装置。
An image monitoring unit that monitors the output of the video camera, and a switching unit that switches the output of the video camera between the image processing unit and the image monitoring unit,
The image monitoring unit compares the image captured by the video camera after storing the image stored in the image storage unit with the image storage unit that stores the image captured by the video camera, and outputs a monitoring signal. The video camera apparatus according to claim 2 , further comprising: an image comparison unit configured to perform image comparison.
JP2003156667A 2003-06-02 2003-06-02 Surveillance / control method and video camera apparatus using the same Expired - Fee Related JP3805324B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003156667A JP3805324B2 (en) 2003-06-02 2003-06-02 Surveillance / control method and video camera apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003156667A JP3805324B2 (en) 2003-06-02 2003-06-02 Surveillance / control method and video camera apparatus using the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP23963495A Division JP3464572B2 (en) 1995-09-19 1995-09-19 Monitoring and control equipment

Publications (2)

Publication Number Publication Date
JP2004046822A JP2004046822A (en) 2004-02-12
JP3805324B2 true JP3805324B2 (en) 2006-08-02

Family

ID=31712430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003156667A Expired - Fee Related JP3805324B2 (en) 2003-06-02 2003-06-02 Surveillance / control method and video camera apparatus using the same

Country Status (1)

Country Link
JP (1) JP3805324B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007312823A (en) * 2006-05-23 2007-12-06 Pentax Corp Touch panel input unit and endoscope processor
WO2012118086A1 (en) 2011-02-28 2012-09-07 Hoya株式会社 Optical lens
JP6641662B2 (en) * 2014-08-28 2020-02-05 リコーイメージング株式会社 Imaging apparatus, display control method in imaging apparatus, and computer program used for controlling imaging apparatus
CN106599876A (en) * 2016-12-28 2017-04-26 重庆金鑫科技产业发展有限公司 Information processing method and device based on biological feature recognition
JP6806216B2 (en) * 2019-10-16 2021-01-06 リコーイメージング株式会社 A device that has a shooting function, a method that this device executes, and a program that causes a computer to execute this method.

Also Published As

Publication number Publication date
JP2004046822A (en) 2004-02-12

Similar Documents

Publication Publication Date Title
CN100565318C (en) Video camera and control method thereof
US20060139459A1 (en) Digital camera with a detachable display usable as remote control
JP2008160619A (en) Image forming apparatus, and display panel control program
JP3464572B2 (en) Monitoring and control equipment
US20120105660A1 (en) Image producing apparatus
JP3805324B2 (en) Surveillance / control method and video camera apparatus using the same
JP2008011145A (en) Reproducing device, reproduction system, and television set
JP4623615B2 (en) TV broadcast receiving apparatus and control method thereof
US20050183113A1 (en) Video apparatus
JP2006330468A (en) Projector device
JPH0918775A (en) Sight line input device
JP2010227308A (en) Washing machine
JP2008009695A (en) User recognition device, reproduction device, reproduction system, and television set
JPH09298703A (en) Display device
JP2008009694A (en) User recognition device, reproduction device, reproduction system, and television set
JP2016025418A (en) Intercom system with zoom/scroll function
JPH1145168A (en) Information display method
JP4718002B2 (en) Monitor device and system controller
US20220342491A1 (en) Projector and method for operating projector
KR101051538B1 (en) External input switching device and method for television
JP2002232971A (en) Remote controller
JP3034749B2 (en) Display control device for home control system
JP2008076455A (en) Video display device
JP3409332B2 (en) Display device
JPH05284436A (en) Television receiver

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees