JP3622586B2

JP3622586B2 - Image input device and control method thereof, image display device, image display method, and program supply medium

Info

Publication number: JP3622586B2
Application number: JP23086299A
Authority: JP
Inventors: 篤柏谷; 敏康中尾
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-08-17
Filing date: 1999-08-17
Publication date: 2005-02-23
Anticipated expiration: 2019-08-17
Also published as: JP2001057641A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラまたはミラーを回転させることで所望方向の画像、及び広視野画像を取得でき、かつ、仮想ペットの状態を表す状態パラメータに応じてカメラまたはミラーを回転制御及び表示画像を処理する画像入力装置とその制御方法、画像表示装置、画像表示方法、及びそのプログラム供給媒体に関する。
【０００２】
【従来の技術】
実際の動物をペットとして飼うよりも手軽であるなどの理由から、仮想ペットを電子的に飼育できる仮想ペット飼育装置が、市場に出回り、流行している。仮想ペット飼育装置では、仮想ペットがディスプレイ上に表示され、空腹感や知能の程度などの仮想ペットの状態が、画像または音声によりユーザに告知される。ユーザは、仮想ペットの状態に応じて仮想ペット飼育装置を操作して餌を与えたりする。仮想ペットの状態は、状態パラメータ（先願従来例の明細書内では、内部状態パラメータ、成長パラメータ、飼育パラメータなどの語句を使用している場合もある）により表現される。仮想ペットは、このようなユーザ操作や時間経過により、状態パラメータが更新され、育成されていく。仮想ペット飼育装置の代表的なものとしては、ソニーの「ポストペット」、バンダイの「たまごっち」などがある。
【０００３】
（ポストペット）
ポストペットは、電子メールを送受信できるソフトウェアである。コンピュータ画面に表示された仮想空間内に仮想ペットが存在し、メール発信者が電子メールを送信する操作を行うと、あたかも仮想ペットが配達人となって電子メールを届けに行くかのように感じることができる。受信者が電子メールを受け取ると、仮想ペットは発信者のコンピュータ画面に現れ、電子メールの配達を終えたことを知らせる。仮想ペットの情報は、エージェントとして電子メールに添付され、メール本文とともに送受信される。エージェントの送受信方法については、特開平１１−６５９６４号公報、特開平１１−６５９６５号公報、特開平１１−１５７５８号公報などで開示されている。また、ユーザは、仮想ペットにおやつを与えたり、体を洗ったりすることができ、ペット飼育を疑似体験できるようにもなっている。
【０００４】
（たまごっち）
たまごっちは、仮想ペットの飼育が疑似体験できる携帯型のゲーム端末であり、特開平１０−２７４９２１号公報、特開平１０−２３２５９５号公報、実公報３０４３６６１号、実公報３０４４１１６号に開示されている。画面内の仮想ペットからの呼び出しや要求に対して、遊戯者が応答して対応する処置を行うことにより、しつけし、成長させ、育成できる。
【０００５】
（ペットロボット）
単にディスプレイに表示されただけの仮想ペットではなく、実際のロボットを仮想ペットとする従来例として、特開平１１−１２６０１７号公報に開示されたペットロボット（公報明細書では単に「ロボット」と記載されている）がある。ペットロボットは、各種センサを搭載しており、内部状態や時間経過だけでなく、外界からの入力にも応じて飼育パラメータが更新される。ディスプレイに表示されただけの仮想ペットと異なり、実際にペットを飼っているのに近い心理効果をユーザに与えることができる。また、外界の刺激などに対して動きによる反応を示すので、よりペットらしい感覚を与えることが可能となる。
【０００６】
（マルチメディア人形）
ディスプレイに表示されただけの仮想ペットではなく、実物を仮想ペットとする従来例としては、例えば特開平９−１８５４８８号公報「マルチメディア人形装置」もある。本従来例は、マイク、スピーカー、カメラ、発光手段を備えた人形が、コンピュータに接続された構成となっている。人形は、カメラやマイクに入力された外界情報や、コンピュータからの動作信号に基づいて作動する。カメラで取得した画像をディスプレイ上に表示することも可能である。また、コンピュータをインターネット網に接続することにより、インターネット網からの情報を蓄積し、必要に応じて人形から取り出し利用できるようにしてある。
【０００７】
本発明は、仮想ペットの状態を示す状態パラメータに応じてカメラまたはミラーが回転する画像入力装置に関するものである。したがって、単に画像を入力するためにカメラまたはミラーを回転していた通常の回転型カメラ及びミラー回転型カメラについても、従来技術として説明しておく。
【０００８】
（従来の回転型カメラ）
従来の回転型カメラの構成を図１７に示す。
本従来技術の回転型カメラは、カメラ１０１と、カメラ１０１を回転させる電動雲台４００と、コンピュータ２０２と、カメラ１０１で取得してコンピュータ２０２で生成した画像を表示する画像表示部３００と、から構成されている。電動雲台４００には、カメラの回転角度を算出するためのカメラ角度信号を出力するエンコーダーと、原点検知信号を出力する原点センサが内蔵されている。
【０００９】
コンピュータ２０２は、電動雲台４００からのカメラ角度信号と原点検知信号に基づいて電動雲台４００を制御するカメラ回転制御手段２０４と、カメラ１０１からのビデオ信号を受けて画像データに変換する画像取得手段２０５と、から構成されている。画像取得手段２０５で取得されたカメラ画像は、画像表示部３００に出力され、表示される。
【００１０】
カメラ回転制御手段２０４が、電動雲台４００を回転駆動すると、カメラ１０１は回転される。したがって、本従来技術の回転型カメラは、カメラ１０１を所望の方向に向けて撮像できる、いわゆる首振りカメラとして機能する。
【００１１】
（従来のミラー回転型カメラ）
従来のミラー回転型カメラの構成を図１８に示す。
本従来技術のミラー回転型カメラは、画像入力部１００と、それを制御するコンピュータ２０３と、画像入力部１００で取得してコンピュータ２０３で生成した画像を表示する画像表示部３００と、から構成されている。
【００１２】
画像入力部１００は、上向きに置かれたカメラ１０１と、カメラ１０１の光軸と中心軸を同一にして配置されたリング形状のギヤであるリングギヤ１０６と、モーター１０３の回転駆動をリングギヤ１０６に伝達するためのギヤ１０３Ｇと、リングギヤ１０６をギヤ１０３Ｇを介して回転駆動するためのモーター１０３と、リングギヤ１０６に固定されたミラー支柱１０７と、カメラ１０１の光軸に対する角度が４５°近傍となるようにミラー支柱１０７に保持されたミラー１０２と、リングギヤ１０６の回転をエンコーダー１０４に伝達するためのギヤ１０４Ｇと、リングギヤ１０６のカメラ１０１に対する相対回転角度を計測するためのエンコーダー１０４と、リングギヤ１０６のカメラ１０１に対する原点を検出するための原点センサ１０５と、から構成されている。
【００１３】
コンピュータ２０３は、エンコーダー１０４からのミラー角度信号と、原点センサ１０５からの原点検知信号に基づいてモーター１０３を制御するミラー回転制御手段２０６と、カメラ１０１からのビデオ信号を受けて画像データに変換する画像取得手段２０５と、画像取得手段２０５からのカメラ原画像を回転変換処理してカメラ画像を生成するカメラ画像生成手段２０７とから構成されている。
【００１４】
ミラー回転制御手段２０６が、モーター１０３を回転駆動すると、ギヤ１０３Ｇを介してリングギヤ１０６が回転駆動される。ミラー１０２は、リングギヤ１０６に固定されたミラー支柱１０７に保持されているので、モーター１０３の回転に伴ってカメラ１０１の光軸回りに回転されることになる。リングギヤ１０６が回転されると、ギヤ１０４Ｇを介してエンコーダー１０４が回転され、ミラー１０２のカメラ１０１に対する相対的な角度信号をミラー回転制御手段２０２に送る。また、原点センサ１０５は、リングギヤ１０６の回転原点に設置されており、リングギヤ１０６の原点、すなわちミラー１０２の原点を検知することができる。検知した原点信号は、ミラー回転制御手段２０６に送られる。このように、ミラー回転制御手段２０６は、モーター１０３を回転駆動することによりミラー１０２を回転させると同時に、エンコーダー１０４及び原点センサ１０５からの信号に基づいてミラー１０２のカメラ１０１に対する相対角度を計測できる。
【００１５】
ミラー回転制御手段２０６で計測されたミラー１０２のカメラ１０１に対する相対角度は、ミラー角度情報として画像取得手段２０５及びカメラ画像生成手段２０７に送られる。画像取得手段２０５では、送られてきたミラー角度情報に基づいて、一定角度ごとにカメラ１０１からのビデオ信号をカメラ原画像に変換する。例えば、ミラー１０２が３０°回転するごとにカメラ原画像を取得すれば、ミラー１０２が１回転する間に１２フレームのカメラ原画像が得られることになる。
【００１６】
ところで本従来例では、カメラ１０１が固定され、ミラー１０２だけをカメラ１０１の光軸回りに回転させて所望方向の画像を取得するため、取得されたカメラ原画像は図１９のように上下方向（図中の矢印方向）が回転したものとなる。そこで、カメラ画像生成手段２０７は、画像取得手段２０５で取得されたカメラ原画像を回転変換処理して上下方向が補正されたカメラ画像を生成する。回転変換処理のパラメータは、ミラー回転制御手段２０６から送られてくるミラー角度情報に基づいて決定される。
【００１７】
生成されたカメラ画像は、画像表示部３００に送られ、表示される。したがって、ミラー回転型カメラは、所望方向にミラー１０２を回転させてカメラ画像を表示することで首振りカメラとして機能する。
【００１８】
【発明が解決しようとする課題】
（ポストペット、たまごっち）
しかしながら、ポストペットやたまごっちには、
１．仮想ペットがディスプレイ上に表示されているだけなので、完全な仮想的存在である、
２．カメラやマイクといったセンサを備えていないので、外界の情報、例えばユーザの状況に応じた動作ができず、より親近感の湧く仮想ペットにならない、という問題があった。
【００１９】
（ペットロボット）
特開平１１−１２６０１７号公報開示されたペットロボットは、
１．ネットワーク的に隔離されたスタンドアロン型であり、インターネット網との接続については言及されていない。
２．カメラ搭載や、そのカメラで入力した画像の表示についても言及されていない。
【００２０】
（マルチメディア人形）
マルチメディア人形は、
１．人形のいずれかの部位を動かすことによる飼育パラメータの表現（例えば、空腹感などのユーザに対する訴え）については言及されておらず、実際の人形を仮想ペットにしている効果が半減する。
２．パーソナルコンピュータがインターネット網に接続された場合について説明しているが、インターネット網からの情報をマルチメディア人形から取り出し利用できる、としか記述されていない。
３．したがって、着信メールの情報（件数，発信者，サブジェクトなど）をユーザに告知する機能はない。
４．さらに、カメラで入力した画像を処理してユーザの状況を認識し、それに応じた動作をすることや、画像表示をペットらしくすることについても言及されていない。
【００２１】
（従来の回転型カメラ、ミラー回転型カメラ）
回転型カメラ及びミラー回転型カメラは、仮想ペットとは何ら関係なく、通常のカメラと同様、単なる画像入力装置でしかない。ユーザにとっては、画像入力に利用する以外に使い道はなく、仮想ペットの飼育といった楽しみは無い。
【００２２】
本発明は、このような事情に鑑みてなされたものであり、着信メール情報、ユーザの有無や顔の位置などのユーザ状況、仮想ペットの飼育状態を示す飼育パラメータに応じてミラーを回転制御、またはカメラで取得した画像を表示することができるミラー回転型カメラ、ミラー回転制御方法、画像表示装置、画像表示方法、及びそのプログラムを供給する供給媒体、を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明は、カメラと、カメラを回転制御させるカメラ回転制御手段と、仮想ペットの状態を示す状態パラメータを記憶しておく状態パラメータ記憶手段と、前記状態パラメータを更新する状態パラメータ更新手段と、を有し、状態パラメータに応じてカメラを回転制御することを特徴とする。
【００２４】
請求項１記載の発明によれば、カメラの回転速度または回転パタンは、仮想ペットの状態パラメータに対応している。状態パラメータは、仮想ペットの状態、すなわち空腹感や体調などを反映しており、時間経過やユーザ入力等に伴って変化する。したがって、ユーザは、カメラの回転速度または回転パタンを視認することにより、仮想ペットの状態を確認することができる。例えば、ミラーが速く回転していれば仮想ペットは「元気」であり、停止していれば「寝ている」等である。こうすることで、ユーザは、この画像入力装置があたかも仮想ペットであるかのごとく感じることができる。
【００２５】
また、請求項２記載の発明は、カメラと、被写体からの反射光を前記カメラ方向に光路変換するために前記カメラの前方に配置されたミラーと、前記ミラーを前記カメラの光軸回りに回転させるためのミラー回転機構と、前記ミラー回転機構を制御するためのミラー回転制御手段と、仮想ペットの状態を示す状態パラメータを記憶しておく状態パラメータ記憶手段と、前記状態パラメータを更新する状態パラメータ更新手段と、を有し、状態パラメータに応じてミラーを回転制御することを特徴とする。
【００２６】
請求項２記載の発明によれば、ミラーの回転速度または回転パタンは、仮想ペットの状態パラメータに対応している。したがって、ユーザは、カメラの回転速度または回転パタンを視認することにより、請求項１記載の発明と同様の効果が得られる。
【００２７】
この場合に、請求項３記載の発明は、カメラに入力された画像を処理し、周囲の状況を認識する環境認識手段を有し、その認識結果に応じて状態パラメータを更新することにより、仮想ペットの状態が周囲の状況に応じて変化すると同時に、カメラまたはミラーの回転速度または回転パタンが変化する。
【００２８】
この構成では、例えば周囲が暗い場合はカメラまたはミラーの回転を遅くして仮想ペットが「おとなしい」状態を表現したり、例えば人がたくさんいる場合はカメラまたはミラーの回転を速くすることで仮想ペットが「嬉しい」状態を表現できる。これにより、ユーザは、画像入力装置を、より生き物らしく感じることができる。
【００２９】
この場合に、請求項４または５記載の発明は、受信した電子メールの件数または内容に応じて状態パラメータを更新することにより、仮想ペットの状態が電子メールの受信件数または受信内容に応じて変化すると同時に、カメラまたはミラーの回転速度または回転パタンが変化する。したがって、ユーザは、カメラまたはミラーの回転を視認することで、電子メールの着信情報を知ることができる。また、あたかも仮想ペットが電子メール情報を知らせてくれるような感覚が得られる。
【００３０】
請求項６記載の発明は、カメラと、カメラを回転制御させるカメラ回転制御手段と、から構成される画像入力装置を制御する方法において、仮想ペットの状態を示す状態パラメータの入力を受け付け、入力された前記状態パラメータに応じて前記カメラを回転制御することを特徴とする。
請求項６記載の発明によれば、請求項１記載の発明と同様の効果が得られる。
【００３１】
また、請求項７記載の発明は、カメラと、被写体からの反射光を前記カメラ方向に光路変換するために前記カメラの前方に配置されたミラーと、前記ミラーを前記カメラの光軸回りに回転させるためのミラー回転機構と、前記ミラー回転機構を制御するためのミラー回転制御手段と、から構成される画像入力装置を制御する方法において、仮想ペットの状態を示す状態パラメータの入力を受け付け、入力された前記状態パラメータに応じて前記ミラーを回転制御することを特徴とする。
請求項７記載の発明によれば、請求項２記載の発明と同様の効果が得られる。
【００３２】
この場合に、請求項８記載の発明は、前記カメラに入力された画像を処理して周囲の状況を認識し、その認識結果に応じて前記状態パラメータを更新することにより、仮想ペットの状態が周囲の状況に応じて変化すると同時に、カメラまたはミラーの回転速度または回転パタンが変化する。
したがって、請求項３記載の発明と同様の効果が得られる。
【００３３】
この場合に、請求項９または１０記載の発明は、受信した電子メールの件数または内容に応じて状態パラメータを更新することにより、仮想ペットの状態が電子メールの受信件数または受信内容に応じて変化すると同時に、カメラまたはミラーの回転速度または回転パタンが変化する。
したがって、請求項４または５記載の発明と同様の効果が得られる。
【００３４】
上記目的を達成するために請求項１１記載の発明は、上記画像入力装置で入力された画像を表示する画像表示装置において、前記状態パラメータに応じて表示画像を処理するペット画像生成手段を有することを特徴とする。
請求項１１記載の発明によれば、処理された画像を視認することで仮想ペットの状態を確認することができる。
【００３５】
例えば、
表示画像が青っぽい → 仮想ペットは「寒い」、「病気になっている」、
表示画像が赤っぽい → 仮想ペットは「暑い」、「熱がある」、
表示画像がぼやけている → 仮想ペットは「疲れている」、「眠い」、
表示画像の垂直画角が縮小→ 仮想ペットは目が閉じそう、即ち「眠い」、
などである。これは、表示画像が仮想ペットの見ている風景であり、ユーザが表示画像を見ることによって、仮想ペットになった感覚を得ることができる。
【００３６】
さらに、請求項１２記載の発明は、表示画像の形状を、ミラー回転を利用した上記画像入力装置のミラーの形状と同一または類似の形状としておくことを特徴とする。
【００３７】
請求項１２記載の発明によれば、ユーザは、一目でその表示画像が、仮想ペットが見ている風景であることを直感することができる。また、表示画像を見ることで、仮想ペットになった気分を味わうことができ、仮想ペットに対する親近感が増すという心理的効果も得られる。
【００３８】
請求項１３記載の発明は、状態パラメータの入力を受け付け、入力された状態パラメータに応じて表示画像を処理することを特徴とする。
請求項１３記載の発明によれば、請求項１１記載の発明と同様の効果が得られる。
【００３９】
さらに、請求項１４記載の発明は、ミラー回転を利用した上記画像入力装置で入力された画像を表示する画像表示方法において、表示画像の形状を前記ミラーの形状と同一または類似の形状としておくことを特徴とする。
請求項１４記載の発明によれば、請求項１２記載の発明と同様の効果が得られる。
【００４０】
請求項１５記載の発明は、カメラと、カメラを回転制御させるカメラ回転制御手段と、から構成される画像入力装置のカメラ回転を制御するプログラムを供給する供給媒体において、仮想ペットの状態を示す状態パラメータの入力を受け付けるステップと、入力された前記状態パラメータに応じてカメラを回転制御するステップとを備える、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項１５記載の発明によれば、請求項１または６記載の発明と同様の効果が得られる。
【００４１】
請求項１６記載の発明は、カメラと、被写体からの反射光を前記カメラ方向に光路変換するために前記カメラの前方に配置されたミラーと、前記ミラーを前記カメラの光軸回りに回転させるためのミラー回転機構と、前記ミラー回転機構を制御するためのミラー回転制御手段と、から構成される画像入力装置のミラー回転を制御するプログラムを供給する供給媒体において、仮想ペットの状態を示す状態パラメータの入力を受け付けるステップと、入力された前記状態パラメータに応じて前記ミラーを回転制御するステップと、を備えてなる、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項１６記載の発明によれば、請求項２または７記載の発明と同様の効果が得られる。
【００４２】
この場合に、請求項１７記載の発明は、前記カメラに入力された画像を処理して周囲の状況を認識するステップと、その認識結果に応じて前記状態パラメータを更新するステップと、を備えてなる、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項１７記載の発明によれば、請求項３または８記載の発明と同様の効果が得られる。
【００４３】
さらに、請求項１８または１９記載の発明は、電子メールを受信するステップと、受信した電子メールの件数または内容に応じて状態パラメータを更新するステップと、を備えてなる、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項１８または１９記載の発明によれば、請求項４または５記載の発明と同様の効果が得られる。
【００４４】
請求項２０記載の発明は、上記画像入力装置で入力された画像を表示させるプログラムを供給する供給媒体において、前記状態パラメータの入力を受け付けるステップと、入力された前記状態パラメータに応じて表示画像を処理するステップとを備えてなる、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項２０記載の発明によれば、請求項１１記載の発明と同様の効果が得られる。
【００４５】
さらに、請求項２１記載の発明は、ミラー回転を利用した上記画像入力装置で入力された画像を表示させるプログラムを供給する供給媒体において、表示画像の形状を前記ミラーの形状と同一または類似の形状としておくステップを備えてなる、コンピュータにより読取実行可能なプログラムを供給することを特徴とする。
請求項２１記載の発明によれば、請求項１２記載の発明と同様の効果が得られる。
【００４６】
【発明の実施の形態】
本発明の画像入力装置としては、カメラ自体を回転させる回転型カメラと、カメラの前でミラーだけを回転させるミラー回転型カメラの２つの形態がある。しかし、仮想ペットの状態を示す状態パラメータに応じて、カメラまたはミラーを回転制御する方法や、カメラで入力された画像の表示方式は、それら２つの間に本質的な違いは無く、ユーザから見てカメラが回転されているか、ミラーが回転されているかの違いしかない。表示画像についても、カメラで直接入力されるか、ミラーを介して入力されるかという光学的な違いがあるだけで、本発明の本質とは関係ない。
【００４７】
そこで、まず、回転型カメラを第１の形態、ミラー回転型カメラを第２の形態として、それらの構成について説明し、カメラあるいはミラーの回転制御方法、及びカメラで入力された画像の表示装置及び方法については、第２の形態であるミラー回転型カメラを例にとりながら詳細に説明することとする。
【００４８】
（第１の実施の形態）
（回転型カメラ）
図１は、本発明である画像入力装置の第１の実施の形態の構成を示す図である。図１を参照すると、本実施の形態の画像入力装置は、カメラ１０１と、カメラ１０１を回転させる電動雲台４００と、コンピュータ２００と、カメラ１０１で取得してコンピュータ２００で生成した画像を表示する画像表示部３００と、から構成されている。カメラ１０１と電動雲台４００で構成される画像入力部は、従来技術で説明した回転型カメラと同様の構成である。電動雲台４００には、カメラの回転角度を算出するためのカメラ角度信号を出力するエンコーダーと、原点検知信号を出力する原点センサが内蔵されている。
【００４９】
（コンピュータ２００）
図２は、コンピュータ２００の構成とデータの流れを示す図である。
コンピュータ２００は、電動雲台４００を回転制御してカメラ１０１を回転させるカメラ回転制御手段２１０と、カメラ１０１からのビデオ信号を受けてカメラ画像に変換する画像取得手段２２０と、状態パラメータ記憶手段２３１に記憶されている状態パラメータに応じて画像取得手段２２０からのカメラ画像を処理するペット画像生成手段２２２と、画像取得手段２２０からのカメラ画像を処理して周囲の状況を認識する環境認識手段２４０と、時間経過、ユーザ入力、環境認識手段２４０から送られてくる環境認識結果などに応じて仮想ペットの状態パラメータを更新するための状態パラメータ更新手段２３０と、状態パラメータを記憶するための状態パラメータ記憶手段２３１と、インターネット網との間で電子メールを受信するための電子メール受信手段２５０と、電子メール受信手段２５０で受信された受信メールの件数を計数する電子メール計数手段２５１と、受信メールデータを分析して予め登録された文字列が含まれているかどうかを判別するための電子メール判別手段２５２と、テキストデータだけでなくカメラ画像やペット画像などを含むビデオメールも送信できる電子メール送信手段２５３と、から構成されている。
【００５０】
（第２の実施の形態）
（ミラー回転型カメラ）
図３は、本発明である画像入力装置の第２の実施の形態の構成を示す図である。図３を参照すると、本実施の形態の画像入力装置は、画像入力部１００と、それを制御するコンピュータ２０１と、画像入力部１００で取得してコンピュータ２０１で生成した画像を表示する画像表示部３００と、から構成されている。
【００５１】
（画像入力部１００）
画像入力部１００は、従来技術で説明したミラー回転型カメラである図１８に示した画像入力部１００と同様の構成であり、上向きに置かれたカメラ１０１と、カメラ１０１の光軸と中心軸を同一にして配置されたリング形状のギヤであるリングギヤ１０６と、モーター１０３の回転駆動をリングギヤ１０６に伝達するためのギヤ１０３Ｇと、リングギヤ１０６をギヤ１０３Ｇを介して回転駆動するためのモーター１０３と、リングギヤ１０６に固定されたミラー支柱１０７と、カメラ１０１の光軸に対する角度が４５°近傍となるようにミラー支柱１０７に保持されたミラー１０２と、リングギヤ１０６の回転をエンコーダー１０４に伝達するためのギヤ１０４Ｇと、リングギヤ１０６のカメラ１０１に対する相対回転角度を計測するためのエンコーダー１０４と、リングギヤ１０６のカメラ１０１に対する原点を検出するための原点センサ１０５と、から構成されている。
【００５２】
モーター１０３としては、例えばステッピングモーターを用いることができる。ステッピングモーターは、入力パルスの数だけ回転駆動されるので、一定角度回転、停止、往復回転などの制御を比較的容易に実現できる。原点センサ１０５としては、例えばホールＩＣを用いることができる。画像入力部１００の筐体側にホールＩＣを固定し、被回転部であるリングギヤ１０６に永久磁石を取り付けておく。リングギヤ１０６が回転して永久磁石がホールＩＣの近傍を通過すると、ホールＩＣはパルスを１つ出力する。永久磁石には電気的な接続が無いので、リングギヤ１０６の回転に支障は無い。
【００５３】
近年、カメラが小型化されており、ステッピングモーターやエンコーダー１０４も小型のものが製品化されている。
これら小型のパーツを用いることにより、画像入力部１００は６０ｍｍφ×１００ｍｍ程度の大きさにすることができ、パーソナルコンピュータに接続するカメラとして製品化することも十分可能である。
【００５４】
（コンピュータ２０１）
図４は、コンピュータ２０１の構成とデータの流れを示す図である。
コンピュータ２０１は、エンコーダー１０４からのミラー角度信号と、原点センサ１０５からの原点検知信号に基づいてモーター１０３を制御するミラー回転制御手段２１１と、カメラ１０１からのビデオ信号を受けてカメラ画像に変換する画像取得手段２２０と、画像取得手段２２０からのカメラ原画像を回転変換処理してカメラ画像を生成するカメラ画像生成手段２２１と、状態パラメータ記憶手段２３１に記憶されている状態パラメータに応じてカメラ画像生成手段２２１からのカメラ画像を処理するペット画像生成手段２２２と、画像取得手段２２０からのカメラ画像を処理して周囲の状況を認識する環境認識手段２４０と、時間経過、ユーザ入力、環境認識手段２４０から送られてくる環境認識結果などに応じて仮想ペットの状態パラメータを更新するための状態パラメータ更新手段２３０と、状態パラメータを記憶するための状態パラメータ記憶手段２３１と、インターネット網との間で電子メールを受信するための電子メール受信手段２５０と、電子メール受信手段２５０で受信された受信メールの件数を計数する電子メール計数手段２５１と、受信メールデータを分析して予め登録された文字列が含まれているかどうかを判別するための電子メール判別手段２５２と、テキストデータだけでなくカメラ画像やペット画像などを含むビデオメールも送信できる電子メール送信手段２５３と、から構成されている。
【００５５】
（ミラー回転駆動の説明）
ミラー回転制御手段２０２が、モーター１０３を回転駆動すると、ギヤ１０３Ｇを介してリングギヤ１０６が回転駆動される。ミラー１０２は、リングギヤ１０６に固定されたミラー支柱１０７に保持されているので、モーター１０３の回転に伴ってカメラ１０１の光軸回りに回転されることになる。リングギヤ１０６が回転されると、ギヤ１０４Ｇを介してエンコーダー１０４が回転され、ミラー１０２のカメラ１０１に対する相対的な角度信号をミラー回転制御手段２１１に送る。また、原点センサ１０５は、リングギヤ１０６の回転原点に設置されており、リングギヤ１０６の原点、すなわちミラー１０２の原点を検知することができる。検知した原点信号は、ミラー回転制御手段２１１に送られる。このように、ミラー回転制御手段２１１は、モーター１０３を回転駆動することによりミラー１０２を回転させると同時に、エンコーダー１０４及び原点センサ１０５からの信号に基づいてミラー１０２のカメラ１０１に対する相対角度を計測できる。
【００５６】
（首振りカメラとして機能する）
ミラー回転制御手段２１１で計測されたミラー１０２のカメラ１０１に対する相対角度は、ミラー角度情報として画像取得手段２２０及びカメラ画像生成手段２２１に送られる。画像取得手段２２０では、送られてきたミラー角度情報に基づいて、一定角度ごとにカメラ１０１からのビデオ信号をカメラ原画像に変換する。例えば、ミラー１０２が３０°回転するごとにカメラ原画像を取得すれば、ミラー１０２が１回転する間に１２フレームのカメラ原画像が得られることになる。
【００５７】
ミラー回転型カメラで取得されたカメラ原画像は、従来技術の説明において図１９に示したように上下方向（図中の矢印方向）が回転したものとなる。そこで、カメラ画像生成手段２２１は、画像取得手段２２０で取得されたカメラ原画像を回転変換処理して上下方向が補正されたカメラ画像を生成する。回転変換処理のパラメータは、ミラー回転制御手段２１１から送られてくるミラー角度情報に基づいて決定される。
【００５８】
このように、第２の実施の形態の画像入力装置は、回転型カメラと同様に、所望方向にミラー１０２を回転させてカメラ画像を表示することで首振りカメラとして機能する。
【００５９】
（ＧＵＩ）
図５は、本実施の形態のグラフィカルユーザインタフェース（以下ＧＵＩ）を示す図である。メインウィンドウには、ペット画像生成手段２２２で生成されたペット画像が表示され、カメラ画像ウィンドウには、カメラ画像生成手段２２１で生成されたカメラ画像が表示されている。メインウィンドウのツールバーには、仮想ペットの飼育に関するコマンドを入力できる「ペット飼育」、仮想ペットの状態を見ることができる「ペット状態」、カメラ画像ウィンドウを開いてカメラ画像表示を実行できる「カメラ画像表示」、プログラムを終了するための「終了」、が含まれている。ユーザが、コンピュータ２０１に接続された図４などに図示されていないマウスを操作して、「カメラ画像表示」を選択すると、図５のようにカメラ画像ウィンドウが開き、カメラ画像が表示される。
【００６０】
ユーザが、マウスを操作して、ツールバーの「ペット飼育」をクリックすると、図６に示すペット飼育メニューが表示される。ペット飼育メニューには、「餌を与える」「飲み物を与える」などの仮想ペットの飼育に関するコマンドが含まれており、ユーザがマウス操作により選択することにより、仮想ペットに対して飼育行動を実行することができる。メニューの最後にある「リセット」は、仮想ペットの飼育状態を全て初期化して、改めて飼育を開始するコマンドである。
【００６１】
ユーザが、マウスを操作して、ツールバーの「ペット状態」をクリックすると、図７に示すように仮想ペットの状態、すなわち状態パラメータが表示される。状態パラメータは、
Ｐ（年齢，空腹度，体温，体感温度，体調，知能，運動神経，眠さ，元気さ，
運動不足度，嬉しさ，怒り，寂しさ）
の１次元配列Ｐで表されている。各要素は、ミラー１０２の回転制御やペット画像に影響を与える度合いである重要度を属性として持つ数値として表され、例えば以下のようになる。但し、［］内は単位であり、［なし］は度合いを表す。

【００６２】
状態パラメータの各要素について説明する。
（年齢）
仮想ペットの飼育を開始した日、すなわち上述のリセットコマンドを発行した日からの経過日数を、仮想ペットの年齢とした。仮想ペットの寿命は、約１００日とした。また、年老いた仮想ペットは、どんなに体調が良くても動きが鈍くなるはずである。したがって、ミラー１０２の回転制御やペット画像に与える影響は大きく、重要度を最高の１１とした。
【００６３】
（空腹度）
仮想ペットの空腹度を表す。値が小さいほど空腹であることを示す。ミラー１０２の回転によって仮想ペットは、どんどん腹が減っていく。ミラー１０２の回転角度量は、ミラー回転制御手段２１１からフィードバックされてくる。飼育メニューから「餌を与える」コマンドを発行すると、数値が大きくなる。
【００６４】
（体温）
仮想ペットの体温である。最適な体温は３５〜４０℃程度であり、２５℃以下や４０℃以上の場合は、図６に示した「注射をする」コマンドを実行すれば回復する。
【００６５】
（体感温度）
仮想ペットが感じている周囲の温度である。２０〜２５℃が快適な温度である。１０℃以下なら「寒い」、３０℃以上なら「暑い」と感じる。図６に示した「エアコンＯｎ／Ｏｆｆ」コマンドで調節することができる。
【００６６】
（体調）
仮想ペットの体調である。体調が良いほど値は大きく、悪いほど小さい。体調が悪い場合は、図６に示した「注射をする」コマンドを実行すれば回復する。
【００６７】
（知能）
仮想ペットの知能の程度である。知能が高いほど値は大きい。飼育開始時に、初期値が設定される。ほとんどの場合は、開始直後は低く、成長とともに上がっていく。図６に示した「勉強させる」コマンドを実行すれば、利口なペットを育成できる。
【００６８】
（運動神経）
仮想ペットの運動神経の程度である。運動神経が良いほど値は大きい。飼育開始時に、初期値が設定される。ほとんどの場合は、開始直後は低く、ミラー１０２の回転頻度が大きいほど良くなっていく。
【００６９】
（眠さ）
仮想ペットの眠さの程度である。値が大きいほど、仮想ペットは眠い。その時の時刻、メインウィンドウを連続して開いている時間、などに基づいて更新される。例えば、夜１１：００をまわり、メインウィンドウが３時間以上開かれていたら、眠さの度合いを２０上げる、という具合である。
【００７０】
（元気さ）
仮想ペットの元気さの程度である。値が大きいほど、仮想ペットは元気である。値が小さいほど、仮想ペットは疲れている。例えば、ミラー１０２を回転させ続けると、仮想ペットは疲れ、餌を与えると元気さを回復する。
【００７１】
（運動不足度）
仮想ペットの運動不足を表す。値が大きいほど運動不足度は大きい。ミラー１０２を回転させない時間が多くなると、運動不足になる。ミラー１０２の回転角度量は、ミラー回転制御手段２１１からフィードバックされてくる。
【００７２】
（嬉しさ）
仮想ペットの喜びを表す。値が大きいほど喜んでいる。例えば、飼育メニューから「なでる」コマンドを発行すると、数値が大きくなる。
【００７３】
（怒り）
仮想ペットが怒っている程度を表す。値が大きいほど激しく怒っている。例えば、飼育メニューから「たたく」コマンドを発行すると、数値が大きくなる。
【００７４】
（寂しさ）
仮想ペットの寂しさの程度を表す。値が大きいほど寂しがっている。
【００７５】
このように状態パラメータＰは、飼育開始からの経過時間、「餌を与える」などの飼育メニューからのユーザ入力に基づいて状態パラメータ更新手段２３０によって更新される。これらの更新処理については、従来技術として挙げたポストペットやたまごっちなどの先願発明において開示されているので詳しく説明しない。
【００７６】
状態パラメータＰは、これ以外にも、
・環境認識手段２４０から送られてくる環境認識結果
・電子メール計数手段２５１から送られてくる計数結果
・電子メール判別手段２５２から送られてくる判別結果
に基づいて状態パラメータ更新手段２３０によって更新されるが、詳細については後で述べる。
【００７７】
以上のように、本実施の形態では、ユーザは、画像入力部１００及びコンピュータ２０１、画像表示部３００から構成される画像入力装置において、画像表示部３００に表示されたＧＵＩを介して仮想ペットの飼育を行うことができる。本発明は、この場合において、仮想ペットの状態に応じて、画像入力部１００のミラー１０２を回転制御、及びカメラ画像を処理してペット画像を生成、表示、するという点が特徴である。
【００７８】
そこで、上記第２の形態（ミラー回転型カメラ）を例にとって、本発明の特徴である、
１．仮想ペットの状態を示す状態パラメータに応じてミラーを回転制御
２．入力画像を処理して認識される周囲の状況に応じて状態パラメータを更新
３．状態パラメータに応じてペット画像を生成、表示
４．ペット画像の形状を、ミラーの形状と同一または類似にしておく
５．電子メール情報に応じて状態パラメータを更新
について詳細に説明する。
【００７９】
（１．仮想ペットの状態を示す状態パラメータに応じてミラーを回転制御）
図４を用いて、状態パラメータに応じたミラー１０２の回転制御について説明する。
状態パラメータ記憶手段２３１は、状態パラメータ更新手段２３０によって状態パラメータが更新されると、ミラー回転制御手段２１１及びペット画像生成手段２２２に、状態パラメータを送る。ミラー回転制御手段２１１は、状態パラメータ記憶手段２３１から送られてきた状態パラメータを参照して、ミラー１０２の回転パタンを決定する。
ミラー１０２の回転パタンは、通常回転モードと往復回転モードの２つあり、１次元配列Ｃで表すこととする。２つのモードにおける１次元配列Ｃについて説明する。
【００８０】
（通常回転モード）
Ｃ（１，／＊回転モード、１＝連続回転＊／
Ｖ，／＊平均回転角速度［度／秒］＊／
Ｎ，／＊回転回数Ｎ［回］＊／
Ｒ，／＊速度のランダム化０＝一定、１＝ランダム化＊／）
【００８１】
第１の引数＝１は、通常回転モードであることを示しており、平均回転角速度Ｖ度／秒で、Ｎ回転させる回転パタンを示している。Ｎ＝０の時は、停止コマンドがあるまで回転させ続ける連続回転モードになる。速度のランダム化Ｒが０ならば、回転角速度は一定、１ならば回転角速度をランダムに変化させる。回転方向については、平均回転角速度Ｖの正負で表す。例えば、Ｃ（１，３０，０，０）は、回転角速度３０度／秒で連続回転させることを表している。また、Ｃ（１，４５，０．５，０）は、回転角速度４５度／秒で、０。５回転、すなわち１８０度だけ回転させることを表している。また、例えば回転角速度２０度／秒で９０度だけ回転させた後、回転角速度６０度／秒で反対方向に４５度回転させる場合は、ミラー回転制御手段２１１は、Ｃ（１，２０，０．２５，０）を出力した後、続けてＣ（１，６０，０．１２５，０）を出力すればよい。
【００８２】
（往復回転モード）
Ｃ（２，／＊回転モード、２＝往復回転＊／
Ｔ，／＊往復周期［秒］＊／
Ｎ，／＊往復回数Ｎ［回］＊／
θｍａｘ，／＊回転角度最大値［度］＊／
θｍｉｎ，／＊回転角度最小値［度］＊／
Ｒ，／＊速度のランダム化０＝一定、１＝ランダム化＊／）
【００８３】
第１の引数＝２は、往復回転モードであることを示しており、角度範囲θｍｉｎ〜θｍａｘの間を往復周期Ｔ秒でＮ回往復運動させる回転パタンを示している。指定された往復運動をさせるためのミラー１０２の回転速度プロファイルは、ミラー回転制御手段２１１が自動生成する。Ｎ＝０の時は、停止コマンドがあるまで回転させ続ける。速度のランダム化Ｒが０ならば、回転角速度は一定、１ならば回転角速度をランダムに変化させる。本モードは、往復運動なので、回転方向の指定はない。例えば、Ｃ（２，３，０，＋１５，−１５，０）は、ミラー１０２を±１５度の角度範囲を、往復周期３秒で連続往復回転させることを表している。また、Ｃ（２，２，２，＋５，−５，０）は、往復周期２秒で±５度の角度範囲を２回往復させることを示している。
【００８４】
ミラー回転制御手段２１１は、状態パラメータ記憶手段２３１から送られてくる状態パラメータＰ（・・・）を解析して、上記ミラー１０２の回転パタンＣ（・・・）に変換し、モーター１０３を制御する。仮想ペットの状態Ｐ→ミラー回転パタンＣの変換は、定性的には、例えば以下のように行う。すなわち、人間が、画像入力部１００（ミラー回転型カメラ）自体を仮想ペットと感じられるようなミラー１０２の動きを実現する。
【００８５】

【００８６】
ミラー回転パタンの定量性、すなわち、回転速度、往復周期、回転角度幅などについては、状態パラメータＰの値に基づいて、適切な関係式あるいは規則により決定すれば良い。関係式または規則が、具体的にどのような形になるかは、人間がミラー１０２の動きを見てどのように感じるかを分析して決めるべきである。すなわち、どのような速度で往復運動していれば喜んでいるように見えるか、回転速度をどのようにランダム化すれば怒っているように見えるか、という人間工学的な問題である。しかし、本発明は、仮想ペットの状態パラメータに応じてミラー１０２を回転制御するという点が特徴なのであって、具体的な回転制御パラメータの決定方法については本発明の本質と関係ないので、説明を省略する。
【００８７】
（２．入力画像を処理して認識される周囲の状況に応じて状態パラメータを更新）
カメラ１０１に入力される画像を処理すれば、画像入力部１００の周囲の状況を、有る程度認識することが可能になる。環境認識手段２４０は、カメラ画像生成手段２２１から送られてくるカメラ画像を処理して、周囲の環境を認識する。認識できる周囲状況としては、例えば、
・周囲の明るさ、
・ユーザなどの人の存在、
・ユーザなどの顔の位置、
などがある。周囲の明るさは、カメラ画像全体の明度から算出できる。また、画像から人の顔の特徴である肌色領域を抽出することにより、人の存在、数、顔の位置を認識できる。顔画像処理については、近年、個人識別やセキュリティを目的として盛んに研究されており、それらの技術を適用できる。また、具体的な処理方法は、本発明の本質とは無関係であることから、具体的な処理方法については説明を省略する。
【００８８】
環境認識手段２４０は、カメラ画像を処理して認識された環境変化に応じて、状態パラメータを更新する。認識された周囲状況→状態パラメータ更新は、定性的には、例えば以下のように行う。
【００８９】

【００９０】
また、人の顔の位置を認識すると、その方向にミラー１０２を向け、顔の位置が動いても、ミラー１０２を追跡回転させることで、画像入力部１００、すなわち仮想ペットが、人の顔を「見つめる」というしぐさを実現することもできる。こうすることで、ユーザは、画像入力部１００を、より生物らしく感じることができると同時に、愛着が湧く、という効果がある。
【００９１】
（３．状態パラメータに応じてペット画像を生成、表示）
ペット画像生成手段２２２は、カメラ画像生成手段２２１で生成されたカメラ画像を、状態パラメータに応じて処理し、ペット画像を生成する。状態パラメータ→カメラ画像の処理方法は、定性的には、例えば以下のようである。
【００９２】

【００９３】
画像を擬似的にぼやけさせたり、カラー画像処理は、既存の画像処理方法が適用でき、具体的な処理方法については説明を省略する。
【００９４】
以上のようにペット画像は、画像入力部１００、すなわち仮想ペットが「見ている」風景画像である。したがって、ユーザは、ペット画像を画像表示部３００上において視認することで、仮想ペットになった気分を味わうことができると同時に、仮想ペットの状態を確認することができる。
【００９５】
（４．ペット画像の形状を、ミラーの形状と同一または類似にしておく）
カメラ１０１に内蔵されているイメージセンサが矩形であるため、一般にミラー１０２は、矩形の物を用いることが多い。しかし、画像入力部１００を、より可愛らしいペットに見せるために、ミラー１０２の形状を、円形や星形、その他の形状にすることも考えられる。この場合、ペット画像生成手段２２２は、ミラー１０２の形状と同一または類似の形状をしたペット画像を生成し、画像表示部３００に出力する。こうすることで、ユーザは、画像表示部３００に表示されたペット画像が、画像入力部１００、すなわち仮想ペットが見ている風景であることを直感することができる。さらに、ペット画像を見ることで、よりいっそう、仮想ペットの気分を味わうことが可能となる。
【００９６】
（５．電子メール情報に応じて状態パラメータを更新）
仮想ペットの状態パラメータは、受信された電子メール情報によっても更新される。電子メール受信手段２５０は、定期的にインターネット網にあるメールサーバにアクセスし、電子メールを受信する。電子メール計数手段２５１は、電子メール受信手段２５０で受信された電子メールを計数し、その計数結果を状態パラメータ更新手段２３０に送る。状態パラメータ更新手段２３０は、送られてきた計数結果に基づいて状態パラメータを更新する。ミラー回転制御手段２１１は、更新された状態パラメータに基づきミラー１０２を回転制御する。定性的な、電子メールの件数→状態パラメータ更新の対応を以下に示す。
【００９７】

【００９８】
このような状態パラメータ更新により、ミラー１０２の回転パタンが変化する。ユーザは、ミラー１０２の回転パタンの変化から、着信メールの件数情報を推測できる。着信メールの件数が多い場合の回転パタンを、予め決めておけば、ユーザは、より確実に着信メール件数を予測することができる。
【００９９】
一方、電子メール判別手段２５２は、受信されたメールデータに、予め登録された文字列が含まれていないかを判別する。状態パラメータ更新手段２３０は、その判別結果に応じて状態パラメータを更新する。ミラー回転制御手段２１１は、更新された状態パラメータに応じてミラー１０２を回転制御する。例えば、着信メールが、重要な相手（発信者）からのメールであれば、仮想ペットの元気さ度を高くする、といった具合である。これにより、ユーザは、ミラー１０２の回転パタンを視認するだけで、重要なメールが受信されていることを推測できる。
【０１００】
以上のように、本発明の特徴を説明したが、ここで、上記１〜５のミラー回転制御及びペット画像生成処理を、フローチャートで表したものを図８〜１２に示し、上述したミラー回転制御及びペット画像生成処理のためのプログラムがインストールされたコンピュータ２０１の動作について説明する。
【０１０１】
図８は、ミラー回転制御及びペット画像生成処理の第１のフローチャートである。ステップＳ１においては、図９のステップＳ１３において保存された状態パラメータ、日付、時刻を読み出す。ステップ２においては、読み出された日付が変わっているかどうかを判断し、変わっていなければステップＳ３に進み、変わっていれば後述する図１２のステップ２３に進み（▲３▼）、状態パラメータＰにおける仮想ペットの年齢（飼育開始からの日数）を更新する。
【０１０２】
ステップＳ３においては、予め決められた時刻（特定時間）を経過しているかを判断する。例えば、仮想ペットが寝る時間（夜９：００頃）や起床時間（朝８：３０ごろ）などの特定時間を決めておき、その時間を経過しているかどうかを判断するのである。もし特定時間が経過していれば、図１２のステップ２３に進み（▲３▼）、状態パラメータＰにおける経過した特定時間に対応する要素を更新する。特定時間が経過していなければ、ステップＳ４に進む。
【０１０３】
ステップＳ４においては、前回、状態パラメータＰを更新してから一定時間が経過したかどうかを判断する。一定時間が経過していなければ、ステップＳ５に進む。もし、経過していれば、図１２のステップ２３に進み（▲３▼）、状態パラメータＰを更新する。仮想ペットが、ある状態のまま一定時間が経過すれば、例えば空腹度、元気さ度、などが変化するはずである。したがって、ある一定時間が経過していれば、仮想ペットの空腹度を減らす、といった状態パラメータ更新を行う。
【０１０４】
ステップＳ５においては、前述したＧＵＩからユーザが何らかの入力をしたかどうかを判断する。ユーザ入力が無い場合は、図１０のステップＳ１４に進む（▲１▼）。ユーザ入力がある場合は、図９のステップＳ６に進む（▲２▼）。
【０１０５】
図９は、ミラー回転制御及びペット画像生成処理の第２のフローチャートである。ステップＳ６においては、ステップＳ５において判断されたユーザ入力が、ペット状態表示であるかどうかを判断する。ユーザ入力がペット状態表示ではない場合は、ステップＳ８に進み、ペット状態表示である場合は、ステップＳ７において図７に示すようにペット状態を表示する。
【０１０６】
ステップＳ８においては、カメラ画像表示であるかどうかを判断する。ユーザ入力がカメラ画像表示でない場合は、ステップＳ１０に進み、カメラ画像表示の場合は、ステップＳ９においてカメラ画像ウィンドウを開いてカメラ画像を表示する。
【０１０７】
ステップＳ１０においては、ユーザ入力がリセットであるかどうかを判断する。リセットでなければ、ステップＳ１２に進み、リセットであれば、ステップＳ１１において状態パラメータを初期化し、図８のステップＳ２に戻る（▲６▼）。
【０１０８】
ステップＳ１２においては、ユーザ入力が終了かどうかを判断する。終了でなければ、ユーザ入力は、図６に示した「ペット飼育」のコマンドを入力したことになり、図１２のステップＳ２３に進み（▲３▼）、ユーザ入力に従って状態パラメータＰを更新する。ユーザ入力が終了であれば、ステップＳ１３に進み、その時の状態パラメータＰ、日付、時刻を保存し、プログラムを終了する。
【０１０９】
図１０は、ミラー回転制御及びペット画像生成処理の第３のフローチャートである。ステップＳ１４においては、カメラ１０１からのビデオ信号をカメラ原画像に変更する。ステップＳ１５では、カメラ原画像を回転変換処理して、カメラ画像を生成する。
【０１１０】
ステップＳ１６においては、ステップＳ１５で生成されたカメラ画像を処理し、画像入力部１００の周囲の環境、すなわち、明るさ、人の有無、などを認識する。ステップＳ１７では、その認識結果と、前回の環境認識結果との間に変化があるかどうかを判断する。変化が無ければ、図１１のステップＳ１８に進み（▲４▼）、変化があれば図１２のステップＳ２３に進み（▲３▼）、認識結果に基づいて状態パラメータＰを更新する。
【０１１１】
図１１は、ミラー回転制御及びペット画像生成処理の第４のフローチャートである。ステップＳ１８においては、前回、電子メールを受信してから一定時間が経過したかどうかを判断する。一定時間が経過していなければ、図８のステップＳ２に戻る（▲６▼）。一定時間が経過していれば、ステップＳ１９において電子メールを受信する。次に、ステップＳ２０において受信メールの件数を計数し、ステップＳ２１において新着メールがあるかどうかを判断する。ここで、新着メールが無ければ図８のステップ２に戻り（▲６▼）、新着メールがあればステップＳ２２に進む。ステップＳ２２では、新着のメールデータに予め登録された文字列が含まれているかどうかを判別し、図１２のステップＳ２３に進む（▲５▼）。
【０１１２】
図１２は、ミラー回転制御及びペット画像生成処理の第５のフローチャートである。ステップＳ２３においては、ステップＳ２、Ｓ３、Ｓ４、Ｓ１２、Ｓ１７、Ｓ２２の判断結果に基づいて状態パラメータＰを更新する。更新された状態パラメータＰに基づいて、ステップＳ２４においてミラー１０２の回転を制御し、ステップＳ２５においてペット画像を生成した後、図８のステップＳ２に戻る（▲６▼）
【０１１３】
以上のように本発明の第２の実施の形態では、時間経過、ユーザ入力、カメラ１０１による環境認識結果、電子メール情報、に応じて状態パラメータＰを更新し、その状態パラメータＰに応じてミラー１０２を回転制御し、かつペット画像を生成、表示する。こうすることで、ユーザは、画像入力部１００のことを単なる画像入力装置ではなく、命のあるペットのように感じることができる。
【０１１４】
（第２の実施の形態の実施例：画像入力部１００をペット風にデザイン）
そこで、画像入力部１００を、例えば図１３に示すように、ペット風のデザインにすれば、ユーザは、画像入力部１００のことを、より可愛く、ペットらしく感じることができる。ミラー１０２を回転させることにより、ペットが頭を振るしぐさを実現することができる。例えば、ミラー１０２を２回往復させると、「いやいや」のしぐさとなる。
【０１１５】
また、図１３のデザインでは、ミラー１０２は矩形ではなく、楕円形としている。したがって、ペット画像も図１４に示すように楕円形にすることにより、ユーザは、ペット画像のことを、仮想ペットが見ている風景であることを直感できる。
【０１１６】
このようにデザインされた画像入力部１００は、例えば、図１５に示すように、画像表示部３００の上に設置できるようにしておけばよい。
【０１１７】
また、第２の実施の形態では、ミラー１０２は水平回転しかできない構造となっている。しかし、ミラー１０２を垂直にも回転できる２軸回転機構を用いれば、仮想ペットの表現力がより一層増す。すなわち、「うなずき」、「うつむく」、「がっくりする」といった仕草あるいは状態を表現することが可能となる。２軸回転機構の具体的な構造については、本発明の本質ではないので説明を省略する。
【０１１８】
最後に、第２の実施の形態として説明した画像入力部１００、すなわちミラー回転型カメラは、ミラーを回転させながら複数の画像を取得し、それらを合成することでパノラマ画像を生成できる。
【０１１９】
パノラマ画像の生成の様子を図１６に示す。カメラ画像生成手段２２１で生成された複数のカメラ画像を合成処理して生成されたパノラマ原画像は、カメラ画像生成手段２２１で回転変換されたカメラ画像を合成したものなので、図のようにギザギザになっている。このギザギザの部分を切り取り、中央部のみをパノラマ画像として生成する。生成されたパノラマ画像は、画像表示部３００に送られ、表示される。
【０１２０】
カメラ自体を回転させるのと異なり、軽量かつ電気的接続のないミラーのみを回転させるので、一方向連続かつ高速回転、装置小型化が可能になる。画像入力部１００のミラー１０２は、仮想ペットの状態を表現する手段となっていると同時に、所望方向の画像取得、パノラマ画像の生成において、画像取得高速化、装置小型化にも役立っている。
【０１２１】
【発明の効果】
以上のように本発明によれば、下記記載の効果を奏する。
本発明の第１の効果は、時間経過やユーザ入力に応じて更新される仮想ペットの状態パラメータに応じてカメラまたはミラーを回転させることで、単なる画像入力装置でしかなかった回転型カメラまたはミラー回転型カメラを、命のあるペットのように感じることができるという点である。ユーザは、それらの画像入力装置に対して、可愛いと感じたり、愛着が湧いたりするという感覚を得ることができる。
【０１２２】
本発明の第２の効果は、状態パラメータに応じてカメラやミラーを回転させることで、活発な動きのある仮想ペットを実現できることにある。単に、ディスプレイに表示されたキャラクタではなく、現実世界に存在する物体が仮想ペットとなるため、より本物のペットに近い仮想ペットとなる。
さらに、ミラー回転型カメラでは、カメラではなく、ミラーのみを回転させる。ミラーは、カメラと異なり、軽量かつ電気的接続がない。したがって、高速回転、一方向連続回転が可能になり、表現力が豊かであるという効果もある。
【０１２３】
本発明の第３の効果は、カメラで取得された画像を状態パラメータに応じて処理してペット画像を生成、表示することで、仮想ペットが見ているであろう風景を確認することができ、ユーザは、仮想ペット自身になったような気分を味わうことが可能になるという点にある。
【０１２４】
本発明の第４の効果は、カメラで取得した画像を処理することで、周囲の環境を認識し、それに応じた反応を示すことで、画像入力部が、より生き物らしく感じられる。特に、人、すなわちユーザの有無や顔の位置などに反応することで、本物のペットを飼っているような心理的効果が得られる。
【０１２５】
本発明の第５の効果は、ユーザが、カメラまたはミラーの回転パタン、及びペット画像を視認することで、仮想ペットの状態を確認することが可能になるという点である。仮想ペットの状態を、ディスプレイ上などで確認するのと異なり、容易に確認することができる。また、ミラーの回転が速ければ仮想ペットは元気、ペット画像が青ければ仮想ペットは寒い、というように直感的で分かり易い症状を示し、より生き物らしく感じることができる。
【０１２６】
最後に本発明の第６の効果は、受信された電子メール情報に応じて状態パラメータを更新することにより、ユーザは、カメラまたはミラーの回転、及びペット画像を視認することで、着信メールの件数、重要度をある程度予測することが可能になる。また、言い換えれば、仮想ペットは、電子メール情報に応じて、状態が変化、あるいは成長するネットワーク型ペットであるということもできる。
【図面の簡単な説明】
【図１】本発明である画像入力装置の第１の実施の形態の構成を示す図である。
【図２】図１のコンピュータの構成とデータの流れを示す図である。
【図３】本発明である画像入力装置の第２の実施の形態の構成を示す図である。
【図４】図３のコンピュータの構成とデータの流れを示す図である。
【図５】第２の実施の形態におけるグラフィカルユーザインタフェースを示す図である。
【図６】図５に示したＧＵＩにおける「ペット飼育」メニューを示す図である。
【図７】図５に示したＧＵＩにおける「ペット状態」の表示を示す図である。
【図８】ミラー回転制御及びペット画像生成処理の第１のフローチャートである。
【図９】ミラー回転制御及びペット画像生成処理の第２のフローチャートである。
【図１０】ミラー回転制御及びペット画像生成処理の第３のフローチャートである。
【図１１】ミラー回転制御及びペット画像生成処理の第４のフローチャートである。
【図１２】ミラー回転制御及びペット画像生成処理の第５のフローチャートである。
【図１３】ペット風デザインの画像入力部を示す図である。
【図１４】図１３に示した画像入力部におけるペット画像を示す図である。
【図１５】図１３に示した画像入力部の使用形態の一例を示す図である。
【図１６】画像入力部による画像合成処理の様子を示す図である。
【図１７】従来技術である回転型カメラの構成を示す図である。
【図１８】従来技術であるミラー回転型カメラの構成を示す図である。
【図１９】カメラ画像生成手段における画像変換処理の様子を示す図である。
【符号の説明】
１００画像入力部
１０１カメラ
１０２ミラー
１０３モーター
１０３Ｇギヤ
１０４エンコーダー
１０４Ｇギヤ
１０５原点センサ
１０６リングギヤ
１０７ミラー支柱
２００、２０１コンピュータ
２１０カメラ回転制御手段
２１１ミラー回転制御手段
２２０画像取得手段
２２１カメラ画像生成手段
２２２ペット画像生成手段
２３０状態パラメータ更新手段
２３１状態パラメータ記憶手段
２４０環境認識手段
２５０電子メール受信手段
２５１電子メール計数手段
２５２電子メール判別手段
２５３電子メール送信手段
３００画像表示部[0001]
BACKGROUND OF THE INVENTION
The present invention can acquire an image in a desired direction and a wide-field image by rotating the camera or the mirror, and controls the rotation of the camera or the mirror and processes the display image according to the state parameter representing the state of the virtual pet. The present invention relates to an image input device and a control method thereof, an image display device, an image display method, and a program supply medium thereof.
[0002]
[Prior art]
Due to the fact that it is easier than keeping an actual animal as a pet, a virtual pet breeding apparatus capable of raising a virtual pet electronically is on the market and is in fashion. In the virtual pet breeding apparatus, the virtual pet is displayed on the display, and the state of the virtual pet such as hunger and intelligence is notified to the user by an image or sound. The user feeds food by operating the virtual pet breeding apparatus according to the state of the virtual pet. The state of the virtual pet is expressed by a state parameter (in the specification of the conventional example of the prior application, phrases such as an internal state parameter, a growth parameter, and a breeding parameter may be used). The virtual pet is nurtured by updating the state parameters as a result of such user operations and the passage of time. Typical examples of virtual pet breeding devices include Sony's “Postpet” and Bandai's “Tamagotchi”.
[0003]
(Postpet)
Postpet is software that can send and receive e-mails. When a virtual pet exists in the virtual space displayed on the computer screen, and the mail sender performs an operation to send an email, it feels as if the virtual pet is a delivery person and goes to deliver the email. be able to. When the recipient receives the email, the virtual pet appears on the caller's computer screen to indicate that the delivery of the email is complete. The virtual pet information is attached to the e-mail as an agent, and is sent and received together with the mail text. The agent transmission / reception method is disclosed in JP-A-11-65964, JP-A-11-65965, JP-A-11-15758, and the like. In addition, the user can give a virtual pet a snack or wash his / her body so that the pet breeding can be simulated.
[0004]
(Tamagotchi)
Tamagotchi is a portable game terminal that allows a virtual experience of virtual pet breeding, and is disclosed in Japanese Patent Laid-Open Nos. 10-249221, 10-232595, 3043661, and 3044116. When a player responds to a call or request from a virtual pet in the screen and takes a corresponding action, the player can discipline, grow, and train.
[0005]
(Pet robot)
As a conventional example in which a virtual pet is not a virtual pet that is simply displayed on the display but an actual robot is used as a virtual pet, a pet robot disclosed in Japanese Patent Laid-Open No. 11-125007 (denoted simply as “robot” in the specification of the publication) There is). The pet robot is equipped with various sensors, and the breeding parameters are updated not only in accordance with the internal state and time lapse but also in response to input from the outside world. Unlike virtual pets that are simply displayed on the display, it is possible to give the user a psychological effect that is close to actually keeping a pet. Moreover, since the reaction by a movement is shown with respect to the external stimulus etc., it becomes possible to give the feeling like a pet more.
[0006]
(Multimedia doll)
For example, Japanese Patent Application Laid-Open No. 9-185488 “Multimedia Doll Device” is a conventional example in which a real pet is used as a virtual pet instead of a virtual pet only displayed on a display. In this conventional example, a doll provided with a microphone, a speaker, a camera, and light emitting means is connected to a computer. The doll operates on the basis of external information input to the camera and microphone and an operation signal from the computer. It is also possible to display an image acquired by a camera on a display. In addition, by connecting a computer to the Internet network, information from the Internet network is accumulated so that it can be taken out from the doll as needed.
[0007]
The present invention relates to an image input device in which a camera or a mirror rotates in accordance with a state parameter indicating the state of a virtual pet. Therefore, a normal rotating camera and a mirror rotating camera that simply rotate the camera or mirror to simply input an image will also be described as conventional technology.
[0008]
(Conventional rotating camera)
The configuration of a conventional rotary camera is shown in FIG.
The rotary camera according to the related art includes a camera 101, an electric pan head 400 that rotates the camera 101, a computer 202, and an image display unit 300 that displays an image acquired by the camera 101 and generated by the computer 202. It is configured. The electric head 400 incorporates an encoder that outputs a camera angle signal for calculating the rotation angle of the camera and an origin sensor that outputs an origin detection signal.
[0009]
The computer 202 has a camera rotation control means 204 that controls the electric camera platform 400 based on the camera angle signal and the origin detection signal from the electric camera platform 400, and an image acquisition that receives the video signal from the camera 101 and converts it into image data. And means 205. The camera image acquired by the image acquisition unit 205 is output to the image display unit 300 and displayed.
[0010]
When the camera rotation control means 204 rotates the electric pan head 400, the camera 101 is rotated. Therefore, the rotary camera of the conventional technique functions as a so-called swing camera that can capture an image of the camera 101 in a desired direction.
[0011]
(Conventional mirror rotation type camera)
The configuration of a conventional mirror rotation type camera is shown in FIG.
The conventional mirror rotation type camera includes an image input unit 100, a computer 203 that controls the image input unit 100, and an image display unit 300 that displays an image acquired by the image input unit 100 and generated by the computer 203. ing.
[0012]
The image input unit 100 transmits the camera 101 placed upward, the ring gear 106 that is a ring-shaped gear arranged with the optical axis and the central axis of the camera 101 being the same, and the rotational drive of the motor 103 to the ring gear 106. Gear 103G for rotation, motor 103 for rotationally driving the ring gear 106 via the gear 103G, mirror support 107 fixed to the ring gear 106, and an angle with respect to the optical axis of the camera 101 so as to be close to 45 °. The mirror 102 held by the mirror column 107, the gear 104G for transmitting the rotation of the ring gear 106 to the encoder 104, the encoder 104 for measuring the relative rotation angle of the ring gear 106 with respect to the camera 101, and the camera 101 of the ring gear 106 Origin sensor for detecting the origin with respect to And 05, are constructed from.
[0013]
The computer 203 receives the mirror angle signal from the encoder 104, the mirror rotation control means 206 for controlling the motor 103 based on the origin detection signal from the origin sensor 105, and the video signal from the camera 101 and converts it into image data. The image acquisition unit 205 and a camera image generation unit 207 that generates a camera image by rotationally converting the camera original image from the image acquisition unit 205 are configured.
[0014]
When the mirror rotation control means 206 rotates the motor 103, the ring gear 106 is rotated via the gear 103G. Since the mirror 102 is held by the mirror column 107 fixed to the ring gear 106, the mirror 102 is rotated around the optical axis of the camera 101 as the motor 103 rotates. When the ring gear 106 is rotated, the encoder 104 is rotated via the gear 104G, and a relative angle signal of the mirror 102 to the camera 101 is sent to the mirror rotation control means 202. The origin sensor 105 is installed at the rotation origin of the ring gear 106, and can detect the origin of the ring gear 106, that is, the origin of the mirror 102. The detected origin signal is sent to the mirror rotation control means 206. As described above, the mirror rotation control unit 206 can rotate the mirror 102 by rotating the motor 103 and simultaneously measure the relative angle of the mirror 102 to the camera 101 based on the signals from the encoder 104 and the origin sensor 105. .
[0015]
The relative angle of the mirror 102 with respect to the camera 101 measured by the mirror rotation control unit 206 is sent to the image acquisition unit 205 and the camera image generation unit 207 as mirror angle information. The image acquisition unit 205 converts the video signal from the camera 101 into a camera original image for each fixed angle based on the transmitted mirror angle information. For example, if a camera original image is acquired every time the mirror 102 rotates 30 °, a 12-frame camera original image can be obtained while the mirror 102 rotates once.
[0016]
By the way, in this conventional example, since the camera 101 is fixed and only the mirror 102 is rotated around the optical axis of the camera 101 to acquire an image in a desired direction, the acquired camera original image is in the vertical direction ( The direction of the arrow in the figure is rotated. Therefore, the camera image generation unit 207 generates a camera image whose vertical direction is corrected by rotating and converting the camera original image acquired by the image acquisition unit 205. The parameter of the rotation conversion process is determined based on the mirror angle information sent from the mirror rotation control unit 206.
[0017]
The generated camera image is sent to the image display unit 300 and displayed. Accordingly, the mirror rotation type camera functions as a swing camera by displaying the camera image by rotating the mirror 102 in a desired direction.
[0018]
[Problems to be solved by the invention]
(Postpet, Tamagotchi)
However, for postpets and Tamagotchi,
1. Since the virtual pet is only displayed on the display, it is a complete virtual existence,
2. Since a sensor such as a camera or a microphone is not provided, there is a problem in that it cannot operate according to information in the outside world, for example, the user's situation, and the virtual pet cannot be more familiar.
[0019]
(Pet robot)
The pet robot disclosed in Japanese Patent Application Laid-Open No. 11-1226017 is
1. It is a stand-alone network isolated and does not mention connection to the Internet.
2. There is no mention of camera mounting and display of images input by the camera.
[0020]
(Multimedia doll)
Multimedia doll
1. The expression of breeding parameters by moving any part of the doll (for example, a complaint to the user such as a feeling of hunger) is not mentioned, and the effect of making an actual doll a virtual pet is halved.
2. Although a case where a personal computer is connected to the Internet network is described, it is only described that information from the Internet network can be extracted from the multimedia doll and used.
3. Therefore, there is no function for notifying the user of incoming mail information (number of cases, sender, subject, etc.).
4). Furthermore, there is no mention of processing an image input by a camera to recognize a user's situation, performing an action corresponding to the situation, and making an image display like a pet.
[0021]
(Conventional rotary camera, mirror rotary camera)
The rotating camera and the mirror rotating camera have nothing to do with the virtual pet, and are just an image input device like a normal camera. For the user, there is no use other than the use for image input, and there is no enjoyment of breeding virtual pets.
[0022]
The present invention has been made in view of such circumstances, the incoming mail information, the user status such as the presence or absence of the user and the position of the face, rotation control of the mirror according to the breeding parameters indicating the breeding state of the virtual pet, Alternatively, it is an object to provide a mirror rotation type camera that can display an image acquired by a camera, a mirror rotation control method, an image display device, an image display method, and a supply medium that supplies the program.
[0023]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is a camera, camera rotation control means for controlling rotation of the camera, state parameter storage means for storing a state parameter indicating the state of the virtual pet, and the state State parameter updating means for updating the parameters, and the camera is controlled to rotate according to the state parameters.
[0024]
According to the first aspect of the present invention, the rotation speed or rotation pattern of the camera corresponds to the state parameter of the virtual pet. The state parameter reflects the state of the virtual pet, that is, the feeling of hunger, physical condition, and the like, and changes with time, user input, and the like. Therefore, the user can confirm the state of the virtual pet by visually recognizing the rotation speed or rotation pattern of the camera. For example, the virtual pet is “good” if the mirror is rotating fast, “sleeping” if it is stopped, and the like. By doing so, the user can feel as if the image input device is a virtual pet.
[0025]
According to a second aspect of the present invention, there is provided a camera, a mirror disposed in front of the camera for changing the optical path of reflected light from a subject in the direction of the camera, and the mirror rotated about the optical axis of the camera. A mirror rotation mechanism for controlling the mirror rotation mechanism, a mirror rotation control means for controlling the mirror rotation mechanism, a state parameter storage means for storing a state parameter indicating the state of the virtual pet, and a state parameter for updating the state parameter And updating means for controlling the rotation of the mirror in accordance with the state parameter.
[0026]
According to the second aspect of the present invention, the rotation speed or rotation pattern of the mirror corresponds to the state parameter of the virtual pet. Accordingly, the user can obtain the same effect as that of the first aspect of the invention by visually recognizing the rotation speed or rotation pattern of the camera.
[0027]
In this case, the invention described in claim 3 includes an environment recognition unit that processes an image input to the camera and recognizes the surrounding situation, and updates the state parameter according to the recognition result, thereby providing a virtual The rotation speed or rotation pattern of the camera or mirror changes at the same time as the pet state changes according to the surrounding conditions.
[0028]
In this configuration, for example, when the surroundings are dark, the rotation of the camera or mirror is slowed down to express the virtual pet as a “quiet” state, or when there are many people, for example, the camera or mirror is rotated faster Can express a happy state. Thereby, the user can feel the image input device more like a living thing.
[0029]
In this case, the invention according to

claim

4 or 5 updates the status parameter according to the number or content of received emails, so that the status of the virtual pet changes according to the number of received emails or received content. At the same time, the rotation speed or rotation pattern of the camera or mirror changes. Therefore, the user can know the incoming information of the e-mail by visually recognizing the rotation of the camera or the mirror. Also, you can feel as if a virtual pet is informing you of email information.
[0030]
According to a sixth aspect of the present invention, in a method for controlling an image input device comprising a camera and camera rotation control means for controlling the rotation of the camera, an input of a state parameter indicating the state of a virtual pet is received and input. The camera is controlled to rotate according to the state parameter.
According to the invention described in claim 6, the same effect as that of the invention described in claim 1 can be obtained.
[0031]
According to a seventh aspect of the present invention, there is provided a camera, a mirror disposed in front of the camera for changing the optical path of reflected light from a subject in the direction of the camera, and the mirror rotated about the optical axis of the camera. In a method for controlling an image input device comprising a mirror rotation mechanism for controlling the mirror rotation mechanism and a mirror rotation control means for controlling the mirror rotation mechanism, an input of a state parameter indicating a state of a virtual pet is received and input The mirror is controlled to rotate according to the state parameter.
According to the seventh aspect of the invention, the same effect as that of the second aspect of the invention can be obtained.
[0032]
In this case, the invention according to claim 8 processes the image input to the camera, recognizes the surrounding situation, and updates the state parameter according to the recognition result, thereby determining the state of the virtual pet. At the same time as changing according to the surrounding conditions, the rotation speed or rotation pattern of the camera or mirror changes.
Therefore, the same effect as that of the invention of claim 3 can be obtained.
[0033]
In this case, the invention according to

claim

9 or 10 updates the status parameter according to the number or content of received emails, so that the status of the virtual pet changes according to the number of received emails or the received content. At the same time, the rotation speed or rotation pattern of the camera or mirror changes.
Therefore, the same effect as that of the invention of

claim

4 or 5 can be obtained.
[0034]
In order to achieve the above object, the invention described in claim 11 is an image display device for displaying an image input by the image input device, comprising pet image generation means for processing a display image in accordance with the state parameter. It is characterized by.
According to the eleventh aspect, the state of the virtual pet can be confirmed by visually recognizing the processed image.
[0035]
For example,
Display image is bluish → Virtual pet is “cold”, “sick”,
Display image is red → Virtual pet is “hot”, “hot”,
Display image is blurred → Virtual pets are “tired”, “sleepy”,
The vertical angle of view of the displayed image is reduced → Virtual pets are likely to close their eyes, ie “sleepy”
Etc. This is a scenery where the display image is viewed by the virtual pet, and the user can obtain a sense of being a virtual pet by viewing the display image.
[0036]
Furthermore, the invention described in claim 12 is characterized in that the shape of the display image is the same as or similar to the shape of the mirror of the image input device using mirror rotation.
[0037]
According to the twelfth aspect of the present invention, the user can intuitively understand that the display image is a landscape viewed by the virtual pet at a glance. Also, by looking at the display image, it is possible to taste the feeling of being a virtual pet, and a psychological effect that the sense of familiarity with the virtual pet increases can be obtained.
[0038]
The invention described in claim 13 is characterized in that an input of a state parameter is received and a display image is processed according to the input state parameter.
According to the thirteenth aspect, the same effect as that of the eleventh aspect can be obtained.
[0039]
Furthermore, in the image display method for displaying an image input by the image input device using mirror rotation, the shape of the display image is the same as or similar to the shape of the mirror. It is characterized by.
According to the fourteenth aspect of the invention, the same effect as that of the twelfth aspect of the invention can be obtained.
[0040]
According to a fifteenth aspect of the present invention, in the supply medium for supplying a program for controlling the camera rotation of the image input device configured by the camera and the camera rotation control means for controlling the rotation of the camera, the state indicating the state of the virtual pet A program capable of being read and executed by a computer is provided, comprising a step of receiving input of parameters and a step of controlling rotation of the camera in accordance with the input state parameter.
According to the invention of the fifteenth aspect, the same effect as that of the invention of the first or sixth aspect can be obtained.
[0041]
According to a sixteenth aspect of the present invention, there is provided a camera, a mirror disposed in front of the camera for changing the optical path of reflected light from a subject in the direction of the camera, and the mirror being rotated about the optical axis of the camera. The state parameter indicating the state of the virtual pet in the supply medium for supplying the program for controlling the mirror rotation of the image input device configured by the mirror rotation mechanism of the image and the mirror rotation control means for controlling the mirror rotation mechanism And a step of controlling the rotation of the mirror in accordance with the inputted state parameter, and supplying a computer-readable program.
According to the invention described in claim 16, the same effect as that of the invention described in claim 2 or 7 can be obtained.
[0042]
In this case, the invention according to claim 17 includes a step of processing an image input to the camera to recognize a surrounding situation, and a step of updating the state parameter according to the recognition result. A program that can be read and executed by a computer is provided.
According to the invention described in claim 17, the same effect as that of the invention described in

claim

3 or 8 can be obtained.
[0043]
Furthermore, the invention described in claim 18 or 19 is capable of being read and executed by a computer, comprising: a step of receiving an e-mail; and a step of updating a status parameter according to the number or content of the received e-mail. It is characterized by supplying a program.
According to the invention of claim 18 or 19, the same effect as that of the invention of

claim

4 or 5 can be obtained.
[0044]
According to a twentieth aspect of the present invention, in a supply medium for supplying a program for displaying an image input by the image input device, a step of receiving an input of the state parameter, and a display image according to the input state parameter. A computer-readable program that can be read and executed.
According to the twentieth aspect, the same effect as that of the eleventh aspect can be obtained.
[0045]
Furthermore, the invention according to claim 21 is a supply medium for supplying a program for displaying an image input by the image input device using mirror rotation, wherein the shape of the display image is the same as or similar to the shape of the mirror. A computer program that can be read and executed by a computer is provided.
According to the twenty-first aspect, the same effect as that of the twelfth aspect can be obtained.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
As an image input device of the present invention, there are two forms: a rotating camera that rotates the camera itself, and a mirror rotating camera that rotates only a mirror in front of the camera. However, there is no essential difference between the two methods for controlling the rotation of the camera or mirror according to the state parameter indicating the state of the virtual pet and the display method of the image input by the camera. The only difference is whether the camera is rotating or the mirror is rotating. The display image is also not related to the essence of the present invention, except that there is an optical difference between whether it is input directly by the camera or via a mirror.
[0047]
Accordingly, first, the configuration of the rotary camera as the first mode and the mirror rotary type as the second mode will be described, and the camera or mirror rotation control method, the display device for the image input by the camera, The method will be described in detail by taking the mirror rotation type camera as the second embodiment as an example.
[0048]
(First embodiment)
(Rotating camera)
FIG. 1 is a diagram showing a configuration of a first embodiment of an image input apparatus according to the present invention. Referring to FIG. 1, the image input apparatus according to the present embodiment displays a camera 101, an electric camera platform 400 that rotates the camera 101, a computer 200, and an image acquired by the camera 101 and generated by the computer 200. And an image display unit 300. An image input unit configured by the camera 101 and the electric pan head 400 has the same configuration as the rotary camera described in the related art. The electric head 400 incorporates an encoder that outputs a camera angle signal for calculating the rotation angle of the camera and an origin sensor that outputs an origin detection signal.
[0049]
(Computer 200)
FIG. 2 is a diagram illustrating a configuration of the computer 200 and a data flow.
The computer 200 includes a camera rotation control unit 210 that rotates the camera 101 by controlling the rotation of the electric head 400, an image acquisition unit 220 that receives a video signal from the camera 101 and converts it into a camera image, and a state parameter storage unit 231. A pet image generation unit 222 that processes a camera image from the image acquisition unit 220 in accordance with the state parameters stored in the environment, and an environment recognition unit 240 that processes the camera image from the image acquisition unit 220 and recognizes the surrounding situation. State parameter updating means 230 for updating the state parameter of the virtual pet in accordance with the passage of time, the user input, the environment recognition result sent from the environment recognition means 240, and the state parameter for storing the state parameter To receive e-mail between the storage means 231 and the Internet network E-mail receiving means 250, e-mail counting means 251 for counting the number of received mails received by e-mail receiving means 250, and whether or not a character string registered in advance by analyzing received mail data is included And e-mail discriminating means 252 and e-mail transmitting means 253 capable of transmitting not only text data but also video mail including camera images and pet images.
[0050]
(Second Embodiment)
(Mirror rotating camera)
FIG. 3 is a diagram showing the configuration of the second embodiment of the image input apparatus according to the present invention. Referring to FIG. 3, the image input apparatus according to the present embodiment includes an image input unit 100, a computer 201 that controls the image input unit 100, and an image display unit that displays an image acquired by the image input unit 100 and generated by the computer 201. 300.
[0051]
(Image input unit 100)
The image input unit 100 has the same configuration as that of the image input unit 100 shown in FIG. 18 which is the mirror rotation type camera described in the related art. The image input unit 100 faces upward, the optical axis and the central axis of the camera 101. A ring gear 106, which is a ring-shaped gear arranged in the same manner, a gear 103G for transmitting the rotational drive of the motor 103 to the ring gear 106, and a motor 103 for rotationally driving the ring gear 106 via the gear 103G; , A mirror support 107 fixed to the ring gear 106, a mirror 102 held by the mirror support 107 so that an angle with respect to the optical axis of the camera 101 is about 45 °, and a rotation for transmitting the rotation of the ring gear 106 to the encoder 104. To measure the relative rotation angle of the gear 104G and the ring gear 106 with respect to the camera 101 An encoder 104, an origin sensor 105 for detecting an origin for the camera 101 of the ring gear 106, and a.
[0052]
As the motor 103, for example, a stepping motor can be used. Since the stepping motor is rotationally driven by the number of input pulses, control such as constant angle rotation, stop, and reciprocal rotation can be realized relatively easily. As the origin sensor 105, for example, a Hall IC can be used. A Hall IC is fixed to the housing side of the image input unit 100, and a permanent magnet is attached to the ring gear 106 which is a rotated portion. When the ring gear 106 rotates and the permanent magnet passes near the Hall IC, the Hall IC outputs one pulse. Since the permanent magnet has no electrical connection, there is no hindrance to the rotation of the ring gear 106.
[0053]
In recent years, cameras have been miniaturized, and stepping motors and encoders 104 having small sizes have been commercialized.
By using these small parts, the image input unit 100 can be about 60 mmφ × 100 mm in size, and can be sufficiently commercialized as a camera connected to a personal computer.
[0054]
(Computer 201)
FIG. 4 is a diagram illustrating a configuration of the computer 201 and a data flow.
The computer 201 receives the mirror angle signal from the encoder 104 and the mirror rotation control means 211 for controlling the motor 103 based on the origin detection signal from the origin sensor 105, and converts the video signal from the camera 101 into a camera image. An image acquisition unit 220, a camera image generation unit 221 that generates a camera image by rotationally transforming a camera original image from the image acquisition unit 220, and a camera image according to a state parameter stored in the state parameter storage unit 231. Pet image generation means 222 for processing the camera image from the generation means 221; environment recognition means 240 for processing the camera image from the image acquisition means 220 to recognize the surrounding situation; time lapse, user input, environment recognition means The state of the virtual pet according to the environment recognition result sent from 240 Status parameter updating means 230 for updating parameters, status parameter storage means 231 for storing status parameters, e-mail receiving means 250 for receiving e-mails with the Internet network, e-mail receiving An electronic mail counting means 251 for counting the number of received mails received by the means 250; an electronic mail determining means 252 for analyzing the received mail data and determining whether or not a pre-registered character string is included; And e-mail transmission means 253 capable of transmitting not only text data but also video mail including camera images and pet images.
[0055]
(Description of mirror rotation drive)
When the mirror rotation control means 202 rotates the motor 103, the ring gear 106 is rotated via the gear 103G. Since the mirror 102 is held by the mirror column 107 fixed to the ring gear 106, the mirror 102 is rotated around the optical axis of the camera 101 as the motor 103 rotates. When the ring gear 106 is rotated, the encoder 104 is rotated through the gear 104G, and a relative angle signal of the mirror 102 with respect to the camera 101 is sent to the mirror rotation control means 211. The origin sensor 105 is installed at the rotation origin of the ring gear 106, and can detect the origin of the ring gear 106, that is, the origin of the mirror 102. The detected origin signal is sent to the mirror rotation control means 211. Thus, the mirror rotation control unit 211 can measure the relative angle of the mirror 102 with respect to the camera 101 based on the signals from the encoder 104 and the origin sensor 105 at the same time as rotating the motor 102 by rotating the motor 103. .
[0056]
(Functions as a swing camera)
The relative angle of the mirror 102 with respect to the camera 101 measured by the mirror rotation control unit 211 is sent to the image acquisition unit 220 and the camera image generation unit 221 as mirror angle information. The image acquisition means 220 converts the video signal from the camera 101 into a camera original image for each fixed angle based on the transmitted mirror angle information. For example, if a camera original image is acquired every time the mirror 102 rotates 30 °, a 12-frame camera original image can be obtained while the mirror 102 rotates once.
[0057]
The camera original image acquired by the mirror rotation type camera is obtained by rotating the vertical direction (the arrow direction in the figure) as shown in FIG. 19 in the description of the prior art. Therefore, the camera image generation unit 221 generates a camera image whose vertical direction is corrected by rotating and converting the camera original image acquired by the image acquisition unit 220. The parameter of the rotation conversion process is determined based on the mirror angle information sent from the mirror rotation control unit 211.
[0058]
As described above, the image input apparatus according to the second embodiment functions as a swing camera by displaying the camera image by rotating the mirror 102 in a desired direction, similarly to the rotary camera.
[0059]
(GUI)
FIG. 5 is a diagram showing a graphical user interface (hereinafter, GUI) according to the present embodiment. A pet image generated by the pet image generation unit 222 is displayed in the main window, and a camera image generated by the camera image generation unit 221 is displayed in the camera image window. The toolbar of the main window has “Pet Breeding” where you can enter commands related to breeding virtual pets, “Pet Status” where you can see the status of virtual pets, “Display” and “Exit” for ending the program are included. When the user operates a mouse not shown in FIG. 4 or the like connected to the computer 201 and selects “camera image display”, a camera image window is opened as shown in FIG. 5 and a camera image is displayed.
[0060]
When the user operates the mouse and clicks “pet breeding” on the toolbar, a pet breeding menu shown in FIG. 6 is displayed. The pet breeding menu includes commands related to breeding virtual pets such as “feed” and “provide drinks”, and the breeding action is performed on the virtual pet when the user selects it with the mouse. be able to. “Reset” at the end of the menu is a command for initializing the breeding state of the virtual pet and starting breeding again.
[0061]
When the user operates the mouse and clicks “pet state” on the toolbar, the state of the virtual pet, that is, the state parameter is displayed as shown in FIG. The state parameter is
P (age, hunger, body temperature, sensory temperature, physical condition, intelligence, motor nerve, sleepiness, energy,
Lack of exercise, happiness, anger, loneliness)
Is represented by a one-dimensional array P. Each element is represented as a numerical value having an importance as an attribute, which is the degree of influence on the rotation control of the mirror 102 and the pet image, and is as follows, for example. However, [] is a unit and [None] represents the degree.

[0062]
Each element of the state parameter will be described.
(age)
The number of days elapsed from the day when the breeding of the virtual pet was started, that is, the day when the above reset command was issued was defined as the age of the virtual pet. The lifetime of the virtual pet was about 100 days. Older virtual pets should also slow down no matter how well they are. Therefore, the influence on the rotation control of the mirror 102 and the pet image is large, and the importance is set to 11 which is the highest.
[0063]
(Hunger)
Represents the hunger level of a virtual pet. A smaller value indicates hungry. As the mirror 102 rotates, the virtual pet becomes increasingly hungry. The rotation angle amount of the mirror 102 is fed back from the mirror rotation control unit 211. If you issue the “Feed” command from the breeding menu, the number will increase.
[0064]
(Body temperature)
The body temperature of the virtual pet. The optimum body temperature is about 35 to 40 ° C., and when it is 25 ° C. or less or 40 ° C. or more, it is recovered by executing the “inject” command shown in FIG.
[0065]
(Experience temperature)
The ambient temperature felt by the virtual pet. 20-25 degreeC is a comfortable temperature. If it is 10 ° C or less, it feels “cold”, and if it is 30 ° C or more, it feels “hot”. It can be adjusted by the “air conditioner On / Off” command shown in FIG.
[0066]
(physical condition)
It is the physical condition of a virtual pet. The better the physical condition, the larger the value and the worse the value. If the patient is in poor physical condition, it can be recovered by executing the “inject” command shown in FIG.
[0067]
(Intelligence)
The degree of intelligence of a virtual pet. The higher the intelligence, the higher the value. Initial values are set at the start of breeding. In most cases, it is low immediately after the start and goes up with growth. If the “study” command shown in FIG. 6 is executed, clever pets can be raised.
[0068]
(Motor nerve)
It is the degree of motorism of a virtual pet. The better the motor, the greater the value. Initial values are set at the start of breeding. In most cases, it is low immediately after the start, and becomes better as the rotation frequency of the mirror 102 increases.
[0069]
(Sleepiness)
The degree of sleepiness of a virtual pet. The higher the value, the sleepier the virtual pet. It is updated based on the time at that time, the time when the main window is continuously opened, and the like. For example, if you go around 11:00 at night and the main window is open for more than 3 hours, you will increase the degree of sleepiness by 20.
[0070]
(Energy)
It is the degree of energy of a virtual pet. The higher the value, the better the virtual pet. The smaller the value, the more tired the virtual pet. For example, if the mirror 102 is kept rotating, the virtual pet gets tired, and when fed, the spirit recovers.
[0071]
(Insufficient exercise)
Represents lack of exercise for virtual pets. The greater the value, the greater the lack of exercise. If the time during which the mirror 102 is not rotated increases, the movement becomes insufficient. The rotation angle amount of the mirror 102 is fed back from the mirror rotation control unit 211.
[0072]
(Joy)
Represents the joy of a virtual pet. The higher the value, the more pleased. For example, when a “stroking” command is issued from the breeding menu, the numerical value increases.
[0073]
(anger)
Represents the degree to which a virtual pet is angry. The bigger the value, the more angry it is. For example, when a “tap” command is issued from the breeding menu, the numerical value increases.
[0074]
(Loneliness)
Represents the degree of loneliness of a virtual pet. The higher the value, the more lonely.
[0075]
As described above, the state parameter P is updated by the state parameter update unit 230 based on the user input from the breeding menu such as “eating food” such as the elapsed time from the start of breeding. These update processes are disclosed in prior inventions such as Postpet and Tamagotchi cited as the prior art and will not be described in detail.
[0076]
In addition to this, the state parameter P is
・ Environment recognition result sent from environment recognition means 240
-Count results sent from the email counting means 251
The discrimination result sent from the e-mail discrimination means 252
Is updated by the state parameter updating unit 230 based on the above, details will be described later.
[0077]
As described above, in the present embodiment, the user uses the image input unit 100, the computer 201, and the image display unit 300 to display a virtual pet via the GUI displayed on the image display unit 300. Can be reared. In this case, the present invention is characterized in that the rotation of the mirror 102 of the image input unit 100 is controlled according to the state of the virtual pet, and the pet image is generated and displayed by processing the camera image.
[0078]
Therefore, taking the second embodiment (mirror rotation type camera) as an example, it is a feature of the present invention.
1. Mirror rotation control according to the state parameter indicating the state of the virtual pet
2. Update state parameters according to surrounding conditions recognized by processing input image
3. Generate and display pet images according to state parameters
4). Keep the pet image shape the same or similar to the mirror shape
5. Update status parameters according to email information
Will be described in detail.
[0079]
(1. Rotation control of the mirror according to the state parameter indicating the state of the virtual pet)
The rotation control of the mirror 102 according to the state parameter will be described with reference to FIG.
When the state parameter is updated by the state parameter update unit 230, the state parameter storage unit 231 sends the state parameter to the mirror rotation control unit 211 and the pet image generation unit 222. The mirror rotation control unit 211 refers to the state parameter sent from the state parameter storage unit 231 and determines the rotation pattern of the mirror 102.
There are two rotation patterns of the mirror 102, a normal rotation mode and a reciprocating rotation mode, and they are represented by a one-dimensional array C. A one-dimensional array C in two modes will be described.
[0080]
(Normal rotation mode)
C (1, / * rotation mode, 1 = continuous rotation * /
V, / * Average rotational angular velocity [degrees / second] * /
N, / * Number of rotations N [times] * /
R, / * Speed randomization 0 = constant, 1 = randomization * /)
[0081]
The first argument = 1 indicates the normal rotation mode, and indicates a rotation pattern for N rotation at an average rotation angular velocity of V degrees / second. When N = 0, the continuous rotation mode is continued until the stop command is issued. If the speed randomization R is 0, the rotational angular speed is constant, and if it is 1, the rotational angular speed is randomly changed. The rotation direction is represented by the sign of the average rotation angular velocity V. For example, C (1, 30, 0, 0) represents continuous rotation at a rotational angular velocity of 30 degrees / second. C (1, 45, 0.5, 0) represents a rotation of 0.5 rotation, that is, 180 rotation at a rotation angular velocity of 45 degrees / second. Further, for example, when rotating at a rotational angular velocity of 20 degrees / second by 90 degrees and then rotating at a rotational angular speed of 60 degrees / second by 45 degrees in the opposite direction, the mirror rotation control means 211 is C (1, 20, 0. 25,0) may be output and then C (1,60,0.125,0) may be output.
[0082]
(Reciprocating rotation mode)
C (2, / * rotation mode, 2 = reciprocating rotation * /
T, / * Reciprocating cycle [sec] * /
N, / * Number of reciprocations N [times] * /
θmax, / * Maximum rotation angle [degree] * /
θmin, / * Minimum rotation angle [deg] * /
R, / * Speed randomization 0 = constant, 1 = randomization * /)
[0083]
The first argument = 2 indicates the reciprocating rotation mode, and indicates a rotation pattern for reciprocating N times in the reciprocating cycle T seconds between the angle ranges θmin to θmax. The rotation speed profile of the mirror 102 for causing the designated reciprocating motion is automatically generated by the mirror rotation control means 211. When N = 0, the rotation is continued until a stop command is issued. If the speed randomization R is 0, the rotational angular speed is constant, and if it is 1, the rotational angular speed is randomly changed. Since this mode is reciprocating, there is no specification of the direction of rotation. For example, C (2, 3, 0, +15, −15, 0) represents that the mirror 102 is continuously reciprocated in a reciprocation period of 3 seconds within an angle range of ± 15 degrees. C (2, 2, 2, +5, -5, 0) indicates that the angle range of ± 5 degrees is reciprocated twice in a reciprocating cycle of 2 seconds.
[0084]
The mirror rotation control unit 211 analyzes the state parameter P (...) Sent from the state parameter storage unit 231, converts it into the rotation pattern C (...) Of the mirror 102, and controls the motor 103. To do. The conversion from the virtual pet state P to the mirror rotation pattern C is qualitatively performed, for example, as follows. That is, the movement of the mirror 102 is realized such that a human can feel the image input unit 100 (mirror rotation type camera) itself as a virtual pet.
[0085]

[0086]
The quantitativeness of the mirror rotation pattern, that is, the rotation speed, the reciprocation cycle, the rotation angle width, and the like may be determined by an appropriate relational expression or rule based on the value of the state parameter P. The specific form of the relational expression or rule should be determined by analyzing how a person feels by looking at the movement of the mirror 102. In other words, it is an ergonomic problem of how fast the reciprocating motion seems to be happy and how the rotation speed is randomized to appear angry. However, the present invention is characterized in that the mirror 102 is controlled to rotate according to the state parameter of the virtual pet, and a specific method for determining the rotation control parameter is not related to the essence of the present invention. Omitted.
[0087]
(2. Update the state parameter according to the surrounding situation recognized by processing the input image)
If an image input to the camera 101 is processed, the situation around the image input unit 100 can be recognized to some extent. The environment recognition unit 240 processes the camera image sent from the camera image generation unit 221 to recognize the surrounding environment. Examples of surrounding situations that can be recognized include:
・ Ambient brightness,
・ The presence of people such as users,
・ The face position of the user,
and so on. The ambient brightness can be calculated from the brightness of the entire camera image. In addition, by extracting a skin color region that is a feature of a person's face from an image, the presence, number, and position of the person can be recognized. Face image processing has been actively studied for the purpose of personal identification and security in recent years, and these techniques can be applied. In addition, since a specific processing method is irrelevant to the essence of the present invention, description of the specific processing method is omitted.
[0088]
The environment recognizing means 240 updates the state parameter according to the environment change recognized by processing the camera image. The recognized ambient condition → state parameter update is performed qualitatively, for example, as follows.
[0089]

[0090]
When the position of the person's face is recognized, the mirror 102 is directed in that direction, and even if the position of the face moves, the mirror 102 is tracked and rotated, so that the image input unit 100, that is, the virtual pet moves the person's face. It is possible to realize the gesture of “staring”. By doing so, the user can feel the image input unit 100 more like a living thing, and at the same time, there is an effect that attachment is generated.
[0091]
(3. Generate and display pet images according to state parameters)
The pet image generation unit 222 processes the camera image generated by the camera image generation unit 221 according to the state parameter to generate a pet image. The processing method of the state parameter → camera image is qualitatively as follows, for example.
[0092]

[0093]
An existing image processing method can be applied to the image in a pseudo-blurring or color image processing, and the description of the specific processing method is omitted.
[0094]
As described above, the pet image is a landscape image that the image input unit 100, that is, the virtual pet “sees”. Therefore, by visually recognizing the pet image on the image display unit 300, the user can taste the feeling of being a virtual pet and at the same time confirm the state of the virtual pet.
[0095]
(4. Keep the pet image shape the same or similar to the mirror shape)
Since the image sensor built in the camera 101 is rectangular, generally, the mirror 102 often uses a rectangular object. However, in order to make the image input unit 100 look like a cute pet, the shape of the mirror 102 may be a circular shape, a star shape, or other shapes. In this case, the pet image generation unit 222 generates a pet image having the same or similar shape as the shape of the mirror 102 and outputs the pet image to the image display unit 300. In this way, the user can intuitively understand that the pet image displayed on the image display unit 300 is a landscape viewed by the image input unit 100, that is, the virtual pet. Furthermore, it becomes possible to taste the feeling of a virtual pet even more by looking at the pet image.
[0096]
(5. Update status parameters according to email information)
The virtual pet status parameter is also updated with the received email information. The e-mail receiving means 250 periodically accesses a mail server in the Internet network and receives e-mail. The electronic mail counting means 251 counts the electronic mail received by the electronic mail receiving means 250 and sends the counting result to the state parameter update means 230. The state parameter update unit 230 updates the state parameter based on the sent count result. The mirror rotation control unit 211 controls the rotation of the mirror 102 based on the updated state parameter. The qualitative correspondence between the number of emails and status parameter update is shown below.
[0097]

[0098]
By such state parameter update, the rotation pattern of the mirror 102 changes. The user can estimate the number of incoming mails from the change in the rotation pattern of the mirror 102. If the rotation pattern when the number of incoming mails is large is determined in advance, the user can more reliably predict the number of incoming mails.
[0099]
On the other hand, the e-mail discriminating means 252 discriminates whether or not the received mail data contains a pre-registered character string. The state parameter update unit 230 updates the state parameter according to the determination result. The mirror rotation control unit 211 controls the rotation of the mirror 102 according to the updated state parameter. For example, if the incoming mail is a mail from an important partner (sender), the degree of spirit of the virtual pet is increased. Thereby, the user can guess that the important mail is received only by visually recognizing the rotation pattern of the mirror 102.
[0100]
As described above, the features of the present invention have been described. Here, the mirror rotation control and pet image generation processing of 1 to 5 described above are shown in flowcharts in FIGS. The operation of the computer 201 in which a program for pet image generation processing is installed will be described.
[0101]
FIG. 8 is a first flowchart of mirror rotation control and pet image generation processing. In step S1, the state parameter, date, and time stored in step S13 of FIG. 9 are read. In step 2, it is determined whether or not the read date has changed. If not, the process proceeds to step S3. If it has changed, the process proceeds to step 23 in FIG. Update the age (number of days since breeding) of the virtual pet at.
[0102]
In step S3, it is determined whether a predetermined time (specific time) has elapsed. For example, a specific time such as a time when the virtual pet sleeps (around 9:00 in the evening) and a wake-up time (around 8:30 in the morning) is determined, and it is determined whether or not the time has passed. If the specific time has elapsed, the process proceeds to step 23 in FIG. 12 (3), and the element corresponding to the elapsed specific time in the state parameter P is updated. If the specific time has not elapsed, the process proceeds to step S4.
[0103]
In step S4, it is determined whether or not a certain time has elapsed since the state parameter P was updated last time. If the predetermined time has not elapsed, the process proceeds to step S5. If it has elapsed, the process proceeds to step 23 in FIG. 12 (3), and the state parameter P is updated. If the virtual pet passes a certain time in a certain state, for example, the degree of hunger and the degree of spirit should change. Therefore, if a certain time has elapsed, the state parameter is updated such that the hunger degree of the virtual pet is reduced.
[0104]
In step S5, it is determined whether or not the user has made any input from the above-described GUI. If there is no user input, the process proceeds to step S14 in FIG. 10 ((1)). If there is a user input, the process proceeds to step S6 in FIG. 9 ((2)).
[0105]
FIG. 9 is a second flowchart of mirror rotation control and pet image generation processing. In step S6, it is determined whether or not the user input determined in step S5 is a pet status display. If the user input is not the pet status display, the process proceeds to step S8. If the user input is the pet status display, the pet status is displayed in step S7 as shown in FIG.
[0106]
In step S8, it is determined whether camera image display is being performed. If the user input is not camera image display, the process proceeds to step S10. If the camera input is to be displayed, the camera image window is opened and the camera image is displayed in step S9.
[0107]
In step S10, it is determined whether the user input is reset. If not reset, the process proceeds to step S12. If reset, the state parameter is initialized in step S11, and the process returns to step S2 in FIG. 8 ((6)).
[0108]
In step S12, it is determined whether the user input is completed. If not completed, the user input is the input of the “pet breeding” command shown in FIG. 6, and the process proceeds to step S23 in FIG. 12 (3), and the state parameter P is updated according to the user input. If the user input is completed, the process proceeds to step S13, where the current state parameter P, date, and time are stored, and the program ends.
[0109]
FIG. 10 is a third flowchart of mirror rotation control and pet image generation processing. In step S14, the video signal from the camera 101 is changed to a camera original image. In step S15, the camera original image is rotationally converted to generate a camera image.
[0110]
In step S16, the camera image generated in step S15 is processed to recognize the environment around the image input unit 100, that is, brightness, presence / absence of a person, and the like. In step S17, it is determined whether there is a change between the recognition result and the previous environment recognition result. If there is no change, the process proceeds to step S18 in FIG. 11 (4), and if there is a change, the process proceeds to step S23 in FIG. 12 (3), and the state parameter P is updated based on the recognition result.
[0111]
FIG. 11 is a fourth flowchart of mirror rotation control and pet image generation processing. In step S18, it is determined whether or not a predetermined time has passed since the last e-mail was received. If the predetermined time has not elapsed, the process returns to step S2 of FIG. 8 ((6)). If the predetermined time has elapsed, an e-mail is received in step S19. Next, the number of received mails is counted in step S20, and it is determined whether there is a new mail in step S21. If there is no new mail, the process returns to step 2 in FIG. 8 (<6>), and if there is a new mail, the process proceeds to step S22. In step S22, it is determined whether or not a newly registered mail data includes a character string registered in advance, and the process proceeds to step S23 in FIG. 12 ((5)).
[0112]
FIG. 12 is a fifth flowchart of mirror rotation control and pet image generation processing. In step S23, the state parameter P is updated based on the determination results of steps S2, S3, S4, S12, S17, and S22. Based on the updated state parameter P, the rotation of the mirror 102 is controlled in step S24, a pet image is generated in step S25, and the process returns to step S2 in FIG. 8 ((6)).
[0113]
As described above, in the second embodiment of the present invention, the state parameter P is updated in accordance with the passage of time, the user input, the environment recognition result by the camera 101, the e-mail information, and the mirror in accordance with the state parameter P. The rotation control of 102 is performed, and a pet image is generated and displayed. By doing so, the user can feel the image input unit 100 as a lifeless pet, not just an image input device.
[0114]
(Example of the second embodiment: the image input unit 100 is designed like a pet)
Therefore, if the image input unit 100 has a pet-like design as shown in FIG. 13, for example, the user can feel the image input unit 100 more cute and like a pet. By rotating the mirror 102, it is possible to realize a gesture of pets shaking their heads. For example, when the mirror 102 is reciprocated twice, a “no, no” gesture occurs.
[0115]
In the design of FIG. 13, the mirror 102 is not rectangular but elliptical. Therefore, by making the pet image an ellipse as shown in FIG. 14, the user can intuitively understand that the pet image is a landscape viewed by the virtual pet.
[0116]
The image input unit 100 designed in this way may be installed on the image display unit 300 as shown in FIG. 15, for example.
[0117]
In the second embodiment, the mirror 102 has a structure that can only rotate horizontally. However, if a biaxial rotation mechanism that can rotate the mirror 102 vertically is used, the expressive power of the virtual pet is further increased. That is, it is possible to express gestures or states such as “nodding”, “depressing”, and “stunning”. Since the specific structure of the biaxial rotating mechanism is not the essence of the present invention, the description thereof will be omitted.
[0118]
Finally, the image input unit 100 described as the second embodiment, that is, the mirror rotation type camera, can generate a panoramic image by acquiring a plurality of images while rotating the mirror and combining them.
[0119]
FIG. 16 shows how a panoramic image is generated. The original panorama image generated by synthesizing a plurality of camera images generated by the camera image generation unit 221 is a combination of the camera images rotated and converted by the camera image generation unit 221. It has become. This jagged portion is cut out and only the central portion is generated as a panoramic image. The generated panoramic image is sent to the image display unit 300 and displayed.
[0120]
Unlike rotating the camera itself, only the light weight and the mirror without electrical connection are rotated, so that one-way continuous and high-speed rotation and device miniaturization are possible. The mirror 102 of the image input unit 100 serves as means for expressing the state of the virtual pet, and at the same time, is useful for speeding up image acquisition and reducing the size of the apparatus in acquiring images in a desired direction and generating panoramic images.
[0121]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
The first effect of the present invention is that the camera or mirror is rotated according to the state parameter of the virtual pet that is updated according to the passage of time or user input, so that the rotary camera or mirror that has only been an image input device. A rotating camera can be felt like a pet with a life. The user can get a feeling that the image input device feels cute or is attached.
[0122]
The second effect of the present invention is that a virtual pet with active movement can be realized by rotating a camera or a mirror according to a state parameter. Since an object that exists in the real world, not just a character displayed on the display, becomes a virtual pet, it becomes a virtual pet closer to a real pet.
Further, in the mirror rotation type camera, only the mirror is rotated, not the camera. Unlike cameras, mirrors are lightweight and have no electrical connection. Therefore, high-speed rotation and one-way continuous rotation are possible, and there is an effect that expressive power is rich.
[0123]
The third effect of the present invention is that a landscape that a virtual pet is likely to see can be confirmed by processing and generating a pet image by processing an image acquired by a camera according to a state parameter. The user can feel like a virtual pet.
[0124]
The fourth effect of the present invention is to recognize the surrounding environment by processing an image acquired by the camera, and to show a reaction corresponding thereto, so that the image input unit feels more like a living creature. In particular, by reacting to the presence or absence of a person, that is, a user, the position of the face, and the like, a psychological effect like having a real pet can be obtained.
[0125]
The fifth effect of the present invention is that the user can confirm the state of the virtual pet by visually recognizing the rotation pattern of the camera or mirror and the pet image. Unlike checking on the display or the like of the virtual pet, it can be easily checked. In addition, an intuitive and easy-to-understand symptom such that a virtual pet is fine when the mirror rotates rapidly and a virtual pet is cold when the pet image is blue can be felt more like a living creature.
[0126]
Finally, the sixth effect of the present invention is that the state parameter is updated according to the received e-mail information, so that the user can visually check the rotation of the camera or mirror and the pet image so that the number of incoming mails can be increased. It becomes possible to predict the importance to some extent. In other words, the virtual pet is a network-type pet whose state changes or grows according to the e-mail information.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a first embodiment of an image input apparatus according to the present invention.
FIG. 2 is a diagram illustrating a configuration of the computer in FIG. 1 and a data flow.
FIG. 3 is a diagram illustrating a configuration of a second embodiment of an image input apparatus according to the present invention.
4 is a diagram illustrating a configuration of the computer in FIG. 3 and a data flow.
FIG. 5 is a diagram showing a graphical user interface in the second embodiment.
6 is a diagram showing a “pet breeding” menu in the GUI shown in FIG. 5; FIG.
7 is a diagram showing a display of “pet state” in the GUI shown in FIG. 5. FIG.
FIG. 8 is a first flowchart of mirror rotation control and pet image generation processing;
FIG. 9 is a second flowchart of mirror rotation control and pet image generation processing.
FIG. 10 is a third flowchart of mirror rotation control and pet image generation processing.
FIG. 11 is a fourth flowchart of mirror rotation control and pet image generation processing.
FIG. 12 is a fifth flowchart of mirror rotation control and pet image generation processing;
FIG. 13 is a diagram illustrating an image input unit for a pet-like design.
14 is a diagram illustrating a pet image in the image input unit illustrated in FIG. 13;
15 is a diagram illustrating an example of a usage pattern of the image input unit illustrated in FIG. 13;
FIG. 16 is a diagram illustrating a state of image composition processing by an image input unit.
FIG. 17 is a diagram showing a configuration of a rotary camera which is a conventional technique.
FIG. 18 is a diagram illustrating a configuration of a conventional mirror rotation type camera.
FIG. 19 is a diagram showing a state of image conversion processing in the camera image generation means.
[Explanation of symbols]
100 Image input section
101 camera
102 mirror
103 motor
103G gear
104 Encoder
104G gear
105 Origin sensor
106 Ring gear
107 mirror support
200, 201 computer
210 Camera rotation control means
211 Mirror rotation control means
220 Image acquisition means
221 Camera image generation means
222 Pet image generation means
230 Status parameter update means
231 State parameter storage means
240 Environment recognition means
250 E-mail receiving means
251 E-mail counting means
252 E-mail discrimination means
253 E-mail transmission means
300 Image display

Claims

In an image input device comprising a camera and camera rotation control means for controlling rotation of the camera,
A state parameter storage unit that stores a state parameter indicating the state of the virtual pet; and a state parameter update unit that updates the state parameter;
The image input apparatus according to claim 1, wherein the camera rotation control means controls the rotation of the camera according to the state parameter.

A camera, a mirror disposed in front of the camera to change the optical path of reflected light from the subject in the direction of the camera, a mirror rotating mechanism for rotating the mirror around the optical axis of the camera, and the mirror In an image input device composed of a mirror rotation control means for controlling the rotation mechanism,
A state parameter storage unit that stores a state parameter indicating the state of the virtual pet; and a state parameter update unit that updates the state parameter;
The image rotation apparatus according to claim 1, wherein the mirror rotation control unit controls the rotation of the mirror according to the state parameter.

The image input device according to claim 1 or 2,
Environment recognition means for processing an image input to the camera and recognizing the surrounding situation,
The state parameter update unit updates the state parameter according to a surrounding situation recognized by the environment recognition unit.

The image input device according to claim 1 or 2,
E-mail receiving means for receiving e-mail, and e-mail counting means for counting the number of received e-mails,
The state parameter update unit updates the state parameter according to the number of emails counted by the email counting unit.

The image input device according to claim 1 or 2,
E-mail receiving means for receiving e-mail, and e-mail determining means for determining whether or not a pre-registered character string is included in the received e-mail data,
The state parameter update unit updates the state parameter according to a determination result of the e-mail determination unit.

In a method of controlling an image input device comprising a camera and camera rotation control means for controlling the rotation of the camera,
A control method for an image input apparatus, wherein an input of a state parameter indicating a state of a virtual pet is received, and rotation of the camera is controlled according to the input state parameter.

A camera, a mirror disposed in front of the camera to change the optical path of reflected light from a subject in the direction of the camera, a mirror rotating mechanism for rotating the mirror around the optical axis of the camera, and the mirror In a method for controlling an image input device comprising a mirror rotation control means for controlling a rotation mechanism,
An image input device control method, wherein an input of a state parameter indicating a state of a virtual pet is received, and rotation of the mirror is controlled according to the input state parameter.

The image input device control method according to claim 6 or 7,
An image input apparatus control method, comprising: processing an image input to the camera to recognize a surrounding situation; and updating the state parameter according to the recognition result.

The image input device control method according to claim 6 or 7,
An image input apparatus control method, comprising: receiving an e-mail; counting the number of received e-mails; and updating the state parameter according to the number of received e-mails.

The image input device control method according to claim 6 or 7,
An image input device control comprising: receiving an e-mail; determining whether a character string registered in advance is included in the received e-mail data; and updating the state parameter according to the determination result Method.

In the image display apparatus which displays the image input with the image input device of Claim 1 or 2,
An image display device comprising pet image generation means for processing a display image in accordance with the state parameter.

In the image display apparatus which displays the image input with the image input device of Claim 2,
An image display device characterized in that the shape of a display image is the same as or similar to the shape of the mirror.

In the image display method which displays the image input with the image input device of Claim 1 or 2,
An image display method characterized by receiving an input of the state parameter and processing a display image in accordance with the input state parameter.

In the image display method of displaying the image input with the image input device of Claim 2,
An image display method, wherein a shape of a display image is the same as or similar to the shape of the mirror.