JP4858875B2 - テレビ電話装置及びプログラム - Google Patents

テレビ電話装置及びプログラム Download PDF

Info

Publication number
JP4858875B2
JP4858875B2 JP2007261467A JP2007261467A JP4858875B2 JP 4858875 B2 JP4858875 B2 JP 4858875B2 JP 2007261467 A JP2007261467 A JP 2007261467A JP 2007261467 A JP2007261467 A JP 2007261467A JP 4858875 B2 JP4858875 B2 JP 4858875B2
Authority
JP
Japan
Prior art keywords
videophone
partner
environment
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007261467A
Other languages
English (en)
Other versions
JP2009094659A (ja
Inventor
隆誠 香田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2007261467A priority Critical patent/JP4858875B2/ja
Publication of JP2009094659A publication Critical patent/JP2009094659A/ja
Application granted granted Critical
Publication of JP4858875B2 publication Critical patent/JP4858875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)

Description

この発明は、テレビ電話装置及びプログラムに関する。
一般に、携帯電話などの通信端末装置においては、アドレス帳に通信相手の画像(相手画像)を登録しておくと、アドレス帳の閲覧時には相手の名前、電話番号と共にその相手画像が表示されるが、何時でも同じ画像を表示することは新鮮みに欠けるようになるため、従来では、テレビ電話時に取得した相手画像と登録されている画像とを解析し、その結果、同一人物であることを認識した際に、この相手画像を最新画像として記録(更新)するようにした技術が知られている(特許文献1参照)。
特開2005−311883号公報
しかしながら、上述した先行技術にあっては、テレビ電話の度に最新画像に更新するか否かをユーザに確認してから更新するようにした技術であり、テレビ電話の度にユーザにその確認を強要することは、ユーザによる煩雑な判断と操作を要求することになるほか、相手画像は常に一枚の画像に固定されてしまう。
この発明の課題は、テレビ電話中に取得した相手画像を当該相手に関する相手情報として記録する場合に、ユーザに負担をかけずに、この相手画像を適切に記録できるようにすることである。
請求項1記載の発明は、テレビ電話機能を有したテレビ電話装置であって、テレビ電話を行う相手の宛先情報を含む相手情報を記憶する相手情報記憶手段と、現在時刻又は当該装置が存する場所を含む環境を取得する環境取得手段と、テレビ電話中の相手の宛先情報を取得する宛先情報取得手段と、テレビ電話中に取得した相手画像を当該相手に関する相手情報として記録させるための記録条件であって、時間帯又は場所を含む条件を記憶する条件記憶手段と、テレビ電話時に前記環境取得手段によって得られた環境が前記記録条件に該当しているか否かを判別する判別手段と、この判別手段によって記録条件に該当していると判別された際に、当該相手とのテレビ電話中に取得した相手画像を、前記宛先情報取得手段で取得した宛先情報に対応付けて前記相手情報記憶手段に記録させる制御手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項1記載の発明に示した主要機能を実現させるためのプログラムを提供する(請求項15記載の発明)。
なお、上述した請求項1記載の発明は次のようなものであってもよい。
前記条件記憶手段に同一相手に対応して複数の記録条件が記憶されている場合に、前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が複数の記録条件の何れに該当しているか否かを判別し、前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が何れかの記録条件に該当していると判別された場合に、その環境下で得られた相手画像を当該記録条件に対応する環境別の相手情報として記録させる(請求項2記載の発明)。
請求項2記載の発明において、前記記録条件としての環境は、当該テレビ電話装置の内部環境としてのモードを含み、モード別に相手画像を記録させるための条件であってもよい(請求項記載の発明)。
請求項2記載の発明において、前記相手情報の閲覧表示が指示された場合に、前記判別手段は、この閲覧表示時の現在時刻又は当該装置が存する場所を含む環境が当該相手に対応する記録条件に該当しているか否かを判別し、前記制御手段は、閲覧表示時の前記環境が何れかの記録条件に該当していると判別された場合に、当該記録条件に対応する環境別の相手情報を選択して表示させるようにしてもよい(請求項記載の発明)。
請求項記載の発明において、前記制御手段は、閲覧表示時の前記環境が何れの記録条件にも該当していないと判別された場合に、予め登録されている相手画像を表示させるようにしてもよい(請求項記載の発明)。
前記記録条件は、テレビ電話中に取得した相手画像を記録する対象者を特定するための記録対象者を含み、前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かを判別するほか、テレビ電話の相手が記録条件としての記録対象者に該当しているか否かを判別し、前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、テレビ電話の相手が記録条件としての記録対象者に該当していると判別された場合に、そのテレビ電話中に取得した相手画像を記録させる(請求項記載の発明)。
請求項記載の発明において、前記記録条件としての記録対象者は、アドレス帳に登録されている相手を特定するための情報であってもよい(請求項記載の発明)。
前記制御手段は、記録条件に該当する相手画像が記録されていない場合に、今回のテレビ電話中に取得した相手画像を新規画像として記録させる(請求項12記載の発明)。
前記制御手段は、テレビ電話中に取得した相手画像の中から画像状態が所定の状態を満たしている相手画像を抽出して記録させる(請求項13記載の発明)。
請求項13記載の発明において、前記制御手段は、前記抽出した相手画像が複数存在する場合に、その何れを記録するのかをユーザに問い合わせるための確認案内を実行させるようにしてもよい(請求項14記載の発明)。
前記記録条件は、前記相手情報として記録されている相手画像を新たな画像に書き換える更新タイミングに達したことを含み、前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かを判別するほか、更新タイミングに達したか否かを判別し、前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、更新タイミングに達したと判別された場合に、そのテレビ電話中に取得した相手画像を記録させる(請求項8記載の発明)。
請求項8記載の発明において、前記相手情報として記録されている相手画像にその記録日時が付加されている状態において、前記判別手段は、相手情報として記録されている相手画像に付加されている記録日時と現在日時とを比較することによって前記更新タイミングに達したか否かを判別する(請求項に記載の発明)
前記記録条件は、テレビ電話中に取得した相手画像を記録する対象者を特定するための記録対象者を含み、前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かと、更新タイミングに達したか否かを判別するほか、テレビ電話の相手が記録条件としての記録対象者に該当しているか否かを判別し、前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、更新タイミングに達し、かつ、テレビ電話の相手が記録条件としての記録対象者に該当していると判別された場合に、そのテレビ電話中に取得した相手画像を記録させる(請求項10記載の発明)。
この請求項10記載の発明において、前記記録条件としての記録対象者は、アドレス帳に登録されている相手を特定するための情報であってもよい(請求項11記載の発明)
発明によれば、テレビ電話中に取得した相手画像を当該相手に関する相手情報として記録させる場合、ユーザに負担をかけずに、テレビ電話時の環境に適した画像を記録することができる。
(実施例1)
以下、図1〜図11を参照して本発明の第1実施例を説明する。
この実施例は、テレビ電話装置としてテレビ電話機能を有した携帯電話装置に適用した場合を例示したもので、図1は、この携帯電話装置が利用可能な通信ネットワークシステムを示したブロック図である。
携帯電話装置1は、最寄りの基地局2A、交換機2Bから公衆移動体通信網2を介して相手側の携帯電話装置1に接続されるほか、更に、インターネット3を介して相手側のIP(Internet Protocol)電話機能付きPC(パーソナルコンピュータ)4あるいは固定電話5に接続可能となっている。この携帯電話装置1には、音声データを送受信して通話する音声電話機能のほか、音声以外にリアルタイム画像(相手画像、自分画像)を送受信して通話するTV(テレビ)電話機能を備え、相手側との間でTV電話による通話が可能となっている。更に、携帯電話装置1には電子メール機能、インターネット接続機能などが備えられている。
図2は、テレビ電話機能付きの携帯電話装置1の基本的な構成要素を示したブロック図である。
CPU11は、記憶部12内の各種のプログラムに応じてこの携帯電話装置1の全体動作を制御する中核的な中央演算処理装置である。記憶部12は、内部メモリであり、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図8〜図10に示す動作手順に応じて本実施例を実現するためのプログラムが格納されており、また、そのデータ領域には後述するアドレス帳AD、条件別相手画像テーブルPT、記録条件AテーブルAT、記録条件BテーブルBTなどが格納されている。記録メディア13は、着脱自在な可搬型メモリで、各種のデータ・プログラムを外部供給するもので、例えば、スマートメディア、ICカードなどによって構成されている。メモリ14は、ワーク領域を有する内部メモリであり、必要に応じてメモリ14内の各種のデータは、記憶部12にセーブされる。
電話通信部15は、無線部、ベースバンド部、多重分離部などを備え、例えば、音声電話機能、TV電話機能、電子メール機能、インターネット接続機能、データ通信機能の動作時に最寄りの基地局2Aとの間でデータの送受信を行うもので、通話機能の動作時にはベースバンド部の受信側から信号を取り込んで受信ベースバンド信号に復調したのち、音声信号処理部16を介して通話用スピーカSPから音声出力させ、また、通話用マイクMCからの入力音声データを音声信号処理部16から取り込み、送信ベースバンド信号に符号化したのち、ベースバンド部の送信側に与えてアンテナから発信出力させる。
インカメラ17は、自己の顔などを撮影するTV電話用のカメラ撮像部であり、また、アウトカメラ18は、外界を撮影する通常のカメラ撮像部である。例えば、図3に示すように、携帯電話装置1を構成する2つの筐体(操作部筐体1A、表示部筐体1B)が開閉可能(折り畳み可能)に取り付けられている場合に、この2つの筐体1A、1Bを開いた状態において、インカメラ17は、そのレンズ系がユーザ(撮影者)に対面するように表示部筐体1Bの内側(表示画面側)に配置されたカメラであり、アウトカメラ18は、そのレンズ系がユーザの反対側に向くように表示部筐体1Bの外側(インカメラ17の反対側)に配置されたカメラである。そして、インカメラ17、アウトカメラ18は、撮影レンズ、ミラー等のレンズ・ミラーブロック、撮像素子、その駆動系のほか、測距センサ、光量センサ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、光学ズームを調整制御したり、オートフォーカス時の駆動制御、シャッター駆動制御、露出、ホワイトバランスなどを制御したりする。
操作部19は、ダイヤル入力、文字入力、コマンド入力などを行うもので、CPU11は、操作部19からのキー入力信号に応じた処理を実行する。報知部20は、着信報知などの報知用のスピーカ、LED(発光ダイオード)、振動モータなどを備え、電話、メール着信時に駆動されて着信報知を行うほか、アラーム報知時にも駆動される。表示部21は、高精細液晶あるいは有機ELなどを使用したもので、図3に示すようにTV電話画面が表示されている状態においては、TV電話機能の動作時に電話通信部15から取得した相手画像とインカメラ17によって撮影された自分画像とが並列表示される。RTC(リアルタイムクロックモジュール)22は、時計部を構成するもので、CPU11は、RTC22から現在日時を取得する。
GPS(Global Positioning System)信号通信部23は、GPS衛星からGPS情報を受信取得するもので、CPU11は、GPS信号通信部23から受信した信号に基づいて自己の位置情報を算出取得する。非接触ICカード処理部24は、電子マネー支払い機能として利用されるほかに、特定施設(交通機関、会社)の入場/退場を検出する電子乗車券機能として、会社の出退社機能として利用可能なもので、CPU、メモリ部、コイルアンテナ部を有し、会社内に設置されているICカードリーダ/ライタ付きのゲート装置(会社ゲート)GTに設けられているICリーダライタとの間で微弱電波による近距離通信が行われる。なお、非接触ICカード処理部24は、受信電波によって電磁誘導されたコイルアンテナ部での起電力を動作電力として動作するようになっている。CPU11は、非接触ICカード処理部24と会社ゲートGTとの間で通信が行われると、出社か退社かを判別して “ビジネスモード”と“プライベートモード”との切り替えを行う。この場合、出社であれば“ビジネスモード”に設定し、退社であれば“プライベートモード”に設定するようにしている。
図4は、アドレス帳ADを説明するための図である。
アドレス帳ADは、通信相手別にそのアドレス帳データを記憶管理するもので、各レコードは、「相手名前」、「電話番号」、「メールアドレス」のほか、「代表画像」などの項目を有する構成となっている。このアドレス帳ADの内容はユーザ操作によって任意に設定されたもので、「代表画像」は過去のTV電話時に取得しておいた各種の相手画像の中からユーザが任意に選んだ代表的な相手画像であり、この「代表画像」の項目にはその画像ファイルをアクセスするためのファイルNoが記憶されている。
図5は、条件別相手画像テーブルPTを説明するための図である。
条件別相手画像テーブルPTは、TV電話機能の動作時(TV電話中)に電話通信部15から取得した相手画像を当該相手に関する相手情報として記録するための記録条件と、この記録条件別の相手画像とを対応付けて記憶するもので、「相手名前」、「モード」、「時間帯」、「画像」、「記録日時」の各項目を有している。「相手名前」、「モード」、「時間帯」は、相手画像をどのような条件で記録するかを示すための記録条件であり、ユーザ操作によって任意に設定されたものである。「相手名前」は相手画像を記録する対象者を特定するための記録対象者を示し、アドレス帳ADの中から任意に指定した相手である。
「モード」、「時間帯」は、TV電話中の環境(外部環境、内部環境)を記録条件とするもので、「モード」はTV電話中に設定されているモード(内部環境)がどのようなモードであれば、そのTV電話中に取得した相手画像を記録するかを示している。この場合、通信相手毎に複数のモードを設定可能なもので、図示の例では、出社して退社するまでの“ビジネスモード”と、退社してからの“プライベートモード”を設定した場合を示している。「時間帯」はTV電話をしている時間帯がどのような時間帯であれば、そのTV電話中に取得した相手画像を記録するかを示している。そして、“ビジネスモード”、“プライベートモード”に対応して複数の時間帯を設定可能なもので、図示の例では“9:00〜17:00”と“17:00〜21:00”を設定した場合を示している。
「画像」はTV電話中に電話通信部15から取得した相手画像をアクセスするためのファイルNoを記憶するもので、同一相手に対して複数の画像が「モード」、「時間帯」別に記憶可能となっている。例えば、ビジネスモードでは正装した相手画像を記録し、プライベートモードでは私服の相手画像を記録し、夜の時間帯では夜間に撮影された画像を記録するなど環境に適した画像を環境別に記憶可能となっている。「記録日時」は「モード」、「時間帯」別、つまり、環境別の「画像」に対応してその相手画像を記録したときの現在日時を示している。
CPU11は、TV電話中にその通信相手を特定すると共に現在の環境(モード、現在日時)を特定し、この特定相手に対応する何れかの記録条件に現在の環境が該当しているか否かを判別し、現在の環境が何れかの記録条件に該当していれば、今回のTV電話中に取得した相手画像をその相手情報として記録するようにしている。この場合、画像はファイル化して記録するが、条件別相手画像テーブルPTの「画像」にはそのファイルNoが記憶される。なお、現在の環境に該当する画像が記録されていなければ、その環境下での相手画像を新規画像として記録するようにしているが、その際、既存画像が記録されていれば、この既存画像に代えて今回の相手画像を記録(更新)するようにしている。
図6は、記録条件AテーブルATを説明するための図である。
記録条件AテーブルATは、条件別相手画像テーブルPTに設定される環境としての記録条件「モード」、「時間帯」が設定されたもので、ユーザ操作によって任意に設定可能となっている。「モード」において会社ICカードの“ON”は、非接触ICカード処理部24と会社ゲートGTとの間での通信によって出社が検出された場合に“ビジネスモード”に設定され、会社ICカードの“OFF”は、退社が検出された場合に“プライベートモード”に設定されることを示している。また、「時間帯」は“9:00〜17:00”と“17:00〜21:00”に分かれ、月曜日から金曜日の時間帯であることを示している。なお、「時間帯」としては上述のような時間単位で設定する場合に限らず、週単位、月単位などで設定するようにしてもよい。また、記録条件としての「モード」と「時間帯」とは論理積(AND)の関係にあり、特定の「モード」下での特定の「時間帯」を記録条件としている。
図7は、記録条件BテーブルBTを説明するための図である。
記録条件BテーブルBTは、環境としての記録条件である「モード」、「時間帯」以外の記録条件が設定されるもので、ユーザ操作によって任意に設定可能となっている。「自動記録相手」はTV電話の相手が誰かによってその相手画像を記録するための記録対象者を示したもので、図示の例では、アドレス帳ADに登録されている全ての相手を記録対象者として設定した場合を示している。CPU11は、TV電話時の環境が記録条件としての環境に該当し、かつ、テレビ電話の相手が記録条件としての記録対象者に該当している場合に、そのTV電話中に取得した相手画像を記録するようにしている。「相手個別更新タイミング」は、相手別に記録されている相手画像を新たな画像に書き換える更新タイミングを示すもので、図示の例では、一律に3ヶ月を設定した場合を示している。なお、更新タイミングは、個々の相手に対応して個別に設定するようにしてもよい。CPU11は、記録条件としての更新タイミングに達した際に、TV電話中に取得した相手画像を記録するようにしている。
次に、この第1実施例における携帯電話装置の動作概念を図8〜図10に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施例においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用してこの実施例特有の動作を実行することもできる。
なお、図8〜図10は、携帯電話装置の全体動作のうち、本実施例の特徴部分の動作概要を示したフローチャートであり、この図8〜図10のフローから抜けた際には、全体動作のフロー(図示省略)に戻る。
図8及び図9は、TV電話着信時(オフフック時)に実行開始されるフローチャートである。先ず、CPU11は、TV電話の着信に応じてインカメラ17を駆動させて自分画像を取得する動作を開始すると共に(ステップA1)、その着信信号に含まれている相手の電話番号に基づいてアドレス帳ADを検索して、TV電話の相手を特定する(ステップA2)。そして、記録条件BテーブルBTを参照し、この特定相手は「自動記録相手」としての記録条件を満たすか否かを調べる(ステップA3)。
ここで、記録条件BテーブルBTの「自動記録相手」には、図7に示すようにその設定例としてアドレス帳ADに登録されている全ての相手が記録対象者として設定されているため、今回のTV電話の相手がアドレス帳ADに登録されていない相手であれば、「自動記録相手」の条件を満たさないと判断される(ステップA3でNO)。この場合、TV電話中の相手画像を取り込むモード(画像キャプチャモード)をオフした状態におけるTV電話動作(通常のTV電話動作)を開始させる。これによって通話可能状態となるほか、図3に示すようにTV電話中に電話通信部15を介して取得した相手画像とインカメラ17から取得した自分画像とがTV電話画面に表示される。
一方、特定相手が「自動記録相手」としての記録条件を満たす場合には(ステップA3でYES)、現在の環境を特定する(ステップA4)。すなわち、現在、“ビジネスモード”に設定されているのか、“プライベートモード”に設定されているのかを調べると共に、RTC22から現在日時を取得することによって現在の環境を特定する。そして、上述のようにして特定した特定相手と現在の環境に基づいて条件別相手画像テーブルPTを検索し、特定相手に対応付けられている何れかの記録条件に該当しているか否かを判別する(ステップA4)。いま、TV電話時の環境が特定相手に対応付けられている何れの記録条件にも該当していなければ(ステップA4でNO)、この特定相手に基づいてアドレス帳ADを検索し、その相手に対応して「代表画像」が登録されているかを調べ(ステップA6)、「代表画像」が登録されていれば、画像キャプチャモードをオフした状態でのTV電話動作を開始させる。この場合、アドレス帳ADから読み出された「代表画像」が相手画像として表示される。
また、「代表画像」が登録されていなければ(ステップA6でNO)、図9のフローに移り、後述する画像キャプチャモード下でのTV電話動作を開始させる。また、TV電話時の環境が特定相手に対応付けられている何れかの記録条件に該当していれば(ステップA5でYES)、条件別相手画像テーブルPT内に当該特定相手及び記録条件に対応する「画像」が記憶されているかを調べ(ステップA7)、該当する「画像」が記憶されていなければ、図9のフローに移り、後述する画像キャプチャモード下でのTV電話動作を開始するが、該当する「画像」が記憶されていれば(ステップA7でYES)、RTC22から現在日時を読み出すと共に、その「画像」に対応する「記録日時」を条件別相手画像テーブルPTから読み出して「記録日時」からの経過日数を求め、この経過日数と記録条件BテーブルBTの「相手個別更新タイミング」とを比較することによって、経過日数は更新タイミングに達したか否かを調べる(ステップA8)。
いま、更新タイミングに達していなければ(ステップA8でNO)、画像キャプチャモードをオフした状態でのTV電話動作を開始させるが、更新タイミングに達したときには(ステップA8でYES)、図9のフローに移り、画像キャプチャモード下でのTV電話動作を開始して(ステップA9)、電話通信部15からTV電話中の相手画像を受信すると共にインカメラ17からの自分画像を送信するほか(ステップA10)、相手及び自分の通話音声を送受信する(ステップA11)。そして、相手画像の内容を解析して(ステップA12)、相手の顔が正面に向いているか、目を開いているかをチェックするほか、顔の大きさ、明るさは記録用として適切かなどをチェックし(ステップA13)、その結果、適切画像であれば、その相手画像をキャプチャ画像としてメモリ14のワーク域に一時記憶しておく(ステップA14)。以下、オンフック操作が行われて回線接続が切断されるまで(ステップA15でNO)、上述のステップA11に戻り、画像キャプチャモード下でのTV電話動作を継続する。
このようなTV電話中にオンフック操作が行われると(ステップA15でYES)、TV電話中にキャプチャされた画像がメモリ14のワーク域内に記憶されているかを調べる(ステップA16)。その結果、キャプチャ画像が記憶されていなければ、この時点でTV電話の終了となり、図8及び図9のフローから抜けて上述の全体フローに戻るが、キャプチャ画像が記憶されていれば(ステップA16でYES)、このキャプチャ画像を読み出して一覧表示させると共に(ステップA17)、その何れのキャプチャ画像を記録対象とするのかをユーザに問い合わせるための確認案内(画像の選択を促すガイダンス)を表示させる(ステップA18)。
ここで、所望する画像を記録対象として選択する画像選択操作が行われると(ステップA19)、条件別相手画像テーブルPTに記憶されている当該特定相手及び記録条件に対応する「画像」を当該選択画像に書き替えることによってその画像の更新を行う(ステップA20)。なお、この場合、条件別相手画像テーブルPT内に該当する「画像」が登録されていない場合には、今回の選択画像が相手画像として新規登録され、また、アドレス帳ADに「代表画像」が登録されていない場合にも今回の選択画像が代表画像として新規登録される。そして、TV電話の終了となり、図8及び図9のフローから抜けて上述の全体フローに戻る。
図10は、アドレス帳ADの閲覧表示が指示された際に実行開始されるフローチャートである。先ず、CPU11は、ユーザ操作などによって閲覧表示が指示されると、アドレス帳ADの内容を読み出して一覧表示させる(ステップB1)。図11(A)は、アドレス帳ADの一覧画面を示した図で、「相手名前」が一覧表示される。この一覧画面の中から所望する相手を選択する操作が行われると(ステップB2)、この選択相手に関する相手情報をアドレス帳ADから読み出して(ステップB3)、画像の記録有無を調べ(ステップB43、「代表画像」が記憶されていなければ(ステップB4でNO)、相手画像無しの相手情報として「電話番号」、「メールアドレス」を個別表示させる(ステップB12)。
上述した選択相手に対応する「代表画像」がアドレス帳ADに記憶されていれば(ステップB4でYES)、この選択相手に基づいて条件別相手画像テーブルPTを検索して、「モード」、「時間帯」別の「画像」、つまり環境別の画像が記憶されているかを調べ(ステップB5)、環境別の画像が記憶されていなければ、アドレス帳ADの「代表画像」を読み出すと共に(ステップB9)、現在環境に対応する画像が無い旨の報知を行わせる(ステップB10)。そして、この「代表画像」付き相手情報として「電話番号」、「メールアドレス」を個別表示させる(ステップB11)。
環境別の画像が記憶されていれば(ステップB5でYES)、現在の環境を特定する(ステップB6)。すなわち、現在、“ビジネスモード”に設定されているのか、“プライベートモード”に設定されているのかを調べると共に、RTC22から現在日時を取得することによって現在の環境を特定する。そして、この現在環境に基づいて条件別相手画像テーブルPTを検索し、現在環境に該当する「画像」の有無を調べ(ステップB7)、現在環境に該当する「画像」が記憶されていなければ、上述の場合と同様に、アドレス帳ADの「代表画像」を読み出すと共に(ステップB9)、現在環境に対応する画像が無い旨の報知を行わせる(ステップB10)。そして、この「代表画像」付き相手情報として「電話番号」、「メールアドレス」を個別表示させる(ステップB11)。
また、現在環境に該当する「画像」が記憶されていれば(ステップB7でYES)、この環境別の「画像」を読み出し、環境別の「画像」付きの相手情報として「電話番号」、「メールアドレス」を個別表示させる(ステップB11)。図11(B)は、環境別の画像付き相手情報を個別表示させた場合の画面を示している。なお、この個別画面には「発信ボタン」、「終了ボタン」、「次ボタン」が配置されている。いま、「発信ボタン」が操作されると(ステップB13でYES)、選択相手宛への発信を行ったのち(ステップB14)、図8のステップA2に移り、以下、上述の動作が行われる。また、「終了ボタン」が操作されると(ステップB15でYES)、図10のフローから抜けて上述の全体フローに戻る。また、別の相手を選択するために「次ボタン」が操作されると(ステップB16でYES)、上述したステップB2に戻り、以下、上述の動作を繰り返す。
以上のように、この第1実施例においてCPU11は、TV電話中に電話通信部15から取得した相手画像を当該相手に関する相手情報として記録させるための記録条件が記憶されている状態において、TV電話時の環境を取得し、この環境が記録条件に該当していれば、TV電話中に取得した相手画像を当該相手に関する相手情報として記録するようにしたので、TV電話時の環境に適した画像を記録することができる。すなわち、現在の環境に応じて正装した姿で撮影された画像、私服で撮影された画像を記録するなど、TV電話時の環境に適合した画像を記録することができる。
同一相手に対応して複数の記録条件が記憶されている場合に、TV電話時の環境が何れかの記録条件に該当していれば、その環境下で得られた相手画像を当該記録条件に対応する環境別の相手情報として記録するようにしたので、同一相手に対応して環境別に複数の画像を記録することができる。
記録条件としての環境が時間帯の場合には、時間帯別に相手画像を記録することができる。また、記録条件としての環境がモード(ビジネスモード、プライベートモード)の場合には、モード別に複数の相手画像を記録することができる。
アドレス帳ADの一覧表示の中から任意の相手を選択してその相手の情報を閲覧表示する場合に、この閲覧表示時の環境が当該選択相手に対応する記録条件に該当していれば、この記録条件に対応する環境別の相手画像を選択して表示するようにしたので、現在環境に適した画像を表示することができる。例えば、会社内で所望する相手に電話しようとしてアドレス帳を開いたときに、その相手の画像があまりにもくつろいだ画像(プライベートシーンでの画像)であったり、逆に、くつろいだシーンで相手の画像を見たときに、それがあまりにも堅苦しい画像(ビジネスシーンでの画像)であったり、また、朝に画像を閲覧しようとしたときに、夜に撮影された画像であったり、寒い季節に画像を閲覧しようとしたときに、夏に撮影された画像であったりすると、違和感をもつようになるが、上述のように現在環境に適した画像を表示するようにしたので、違和感のない画像閲覧が可能となる。
アドレス帳ADの内容を閲覧表示するときの環境が何れの記録条件にも該当していない場合には、予め登録されているアドレス帳AD内の「代表画像」を表示するようにしたので、現在環境に不適当な画像を無理に表示せず、どのような環境でもマッチする適切な画像を表示することができる。
TV電話時の環境が記録条件としての環境に該当し、かつ、その相手が記録条件としての記録対象者(自動記録相手)に該当していれば、そのTV電話中に取得した相手画像を記録するようにしたので、TV電話の相手が記録対象者である場合に限り、TV電話時の環境に適合した画像を記録することができるほか、アドレス帳ADに登録されている相手を記録対象者とすることができる。
相手画像を新たな画像に書き換える更新タイミングが記録条件の場合に、この更新タイミングに達した際に、その相手とのTV電話中に取得した相手画像を記録するようにしたので、適切なタイミングで相手画像を新たな画像に書き替えることができる。例えば、寒い季節に相手の画像を閲覧しようとしたときに、夏に撮影された画像のままであると、違和感をもつが、季節の変わり目を更新タイミングとしておけば、現在の季節に適合した画像を記録することができる。
相手画像に記録日時を付加するようにしたので、この記録日時と現在日時とを比較することによって更新タイミングに達したか否かを判別することが可能となる。
TV電話中に記録条件としての更新タイミングに該当し、かつ、その相手が記録条件としての記録対象者(自動記録相手)に該当していれば、そのTV電話中に取得した相手画像を記録するようにしたので、TV電話の相手が記録対象者である場合に限り、適切なタイミングで相手画像を新たな画像に書き替えることができる。この場合、アドレス帳ADに登録されている相手を記録対象者とすることができる。
記録条件に該当する相手画像が記録されていない場合には今回のTV電話中に取得した相手画像を新規画像として記録するようにしたので、相手画像を充実させることができる。
TV電話中に取得した相手画像の中から画像状態が所定の状態を満たしている相手画像を抽出して記録するようしたので、例えば、顔が正面に向いている画像、目を開いている画像、顔の大きさ、明るさに問題がない画像など、記録用として適切な良質画像を記録することができる。
この抽出した相手画像が複数存在する場合に、その何れを記録するのかをユーザに問い合わせるための確認案内を行うようにしたので、ユーザの好みを反映させることができる。
なお、上述した第1実施例においては、アドレス帳ADと条件別相手画像テーブルPTとを設けたが、アドレス帳ADと条件別相手画像テーブルPTとを一体化してもよい。
また、上述した第1実施例においては、非接触ICカード処理部24と会社ゲートGTとの間での通信結果に基づいて出社か退社かを判別して“ビジネスモード”と“プライベートモード”とを切り替えるようしたが、GPS信号通信部23から受信した信号に基づいて“ビジネスモード”と“プライベートモード”とを切り替えるようにしてもよい。また、「モード」としては“ビジネスモード”、“プライベートモード”に限らないことは勿論である。
また、上述した第1実施例においては、アドレス帳ADに相手の誕生日などの記念日を記憶しておき、この記念日にその相手のアドレス帳データを閲覧表示する場合に、当該記念日に対応付けて特別に記録しておいた画像を読み出して閲覧表示するようにしてもよい。この場合、お気に入り画像フォルダの中から所望する画像を読み出して閲覧表示するようにしてもよい。
また、上述した第1実施例においては、「モード」と「時間帯」との論理積(AND)を記録条件とした場合を例示したが、「モード」、「時間帯」との論理和(OR)を記録条件としてもよい。また、相手画像内に顔が含まれている場合に記録し、顔の表情を認識した結果、怒った顔であれば、その画像を記録しないようにしてもよい。
(実施例2)
以下、この発明の第2実施例について図12及び図13を参照して説明する。
なお、上述した第1実施例においては、記録条件として環境(モード、時間)、画像更新タイミングとしたが、この第2実施例においては、記録対象者(自動記録相手)を記録条件としたものであり、また、第1実施例においては、記録条件BテーブルBTに「自動記録相手」を設定するようにしたが、この第2実施例においては、アドレス帳AD内の各相手に対応付けて「自動記録相手」を個別に設定するようにしたものである。
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施例の特徴部分を中心に説明するものとする。
図12は、第2実施例のアドレス帳ADを説明するための図である。
アドレス帳ADは、「相手名前」、「電話番号」、「メールアドレス」、「代表画像」のほか、「自動記録相手」などの項目を有する構成となっている。この「自動記録相手」はTV電話の相手が誰かによってその相手画像を記録するための記録対象者を示したもので、相手毎に個別に設定可能となっている。なお、図中、丸印が自動記録の対象者であることを示している。CPU11は、TV電話の相手が記録条件としての記録対象者に該当していると判別された場合に、そのTV電話中に取得した相手画像を記録するようにしている。
図13は、第2実施例において、TV電話着信時(オフフック時)に実行開始されるフローチャートである。先ず、CPU11は、TV電話の着信に応じてインカメラ17を駆動させて自分画像を取得する動作を開始すると共に(ステップC1)、その着信信号に含まれている相手の電話番号に基づいてアドレス帳ADを検索して、TV電話の相手を特定する(ステップC2)。そして、この特定相手は「自動記録相手」としての記録条件を満たすか否かを調べ(ステップC3)、自動記録の対象者手ではなければ、画像キャプチャモードをオフ状態とする通常のTV電話動作を開始させるが、自動記録の対象者手であれば(ステップC3でYES)、画像キャプチャモード下でのTV電話動作を開始して(ステップC4)、電話通信部15からTV電話中の相手画像を受信すると共にインカメラ17からの自分画像を送信するほか(ステップC5)、相手及び自分の通話音声を送受信する(ステップC6)。
そして、この着信信号に基づいて受信感度は適正レベル以上か、つまり、受信感度をチェックすることによって記録用として適した画像を受信することができたかを調べる(ステップC7)。いま、受信感度が適正レベル未満で受信不良の状態であれば、ステップC11に移るが、適正レベル以上で受信感度が良好であれば(ステップC7でYES)、その状態で受信取得した相手画像を解析し(ステップC8)、相手の顔が正面に向いているか、目を開いているかをチェックするほか、顔の大きさ、明るさは記録用として適切かなどをチェックし(ステップC9)、適切な画像であれば、その相手画像をキャプチャしてメモリ14のワーク域に一時記憶しておく(ステップC10)。以下、オンフック操作が行われて回線接続が切断されるまで(ステップC11でNO)、上述のステップC5に戻り、画像キャプチャモード下でのTV電話動作を継続する。
TV電話中にオンフック操作が行われると(ステップC11でYES)、このTV電話中にキャプチャされた画像がメモリ14のワーク域に記憶されているかを調べ(ステップC12)、記憶されていなければ、TV電話の終了となり、図13のフローから抜けて上述の全体フローに戻るが、キャプチャ画像が記憶されていれば(ステップC12でYES)、キャプチャ画像を読み出して一覧表示させると共に(ステップC13)、その何れのキャプチャ画像を記録するのかをユーザに問い合わせるための確認案内として、画像の選択を促すガイダンスを表示させる(ステップC14)。このガイダンスに応じて画像選択操作が行われると、この選択画像を特定相手の「代表画像」として記録する(ステップC15)。これによってTV電話の終了となり、図13のフローから抜けて上述の全体フローに戻る。
以上のように、この第2実施例においては、記録対象者(自動記録相手)を記録条件とすると共に、アドレス帳AD内の各相手に対応付けて「自動記録相手」を個別に設定するようにしたので、TV電話の相手が自動記録相手である場合にそのTV電話中に取得した相手画像を記録することができるほか、アドレス帳ADの内容を確認しながら「自動記録相手」を個別に設定することができるので、その設定を容易に行うことが可能となる。
なお、上述した各実施例においては特に言及しなかったが、TV電話中に取得した相手画像を記録する場合には静止画を記録する場合に限らず、動画を記録するようにしてもよい。
その他、テレビ電話機能を有した携帯電話装置に限らず、例えば、テレビ電話機能を有したPDAあるいは据置き型のテレビ電話装置(テレビ電話機能付きの固定電話)であってもよい。
テレビ電話装置として適用したテレビ電話機能付きの携帯電話装置が利用可能な通信ネットワークシステムを示したブロック図。 テレビ電話機能付きの携帯電話装置1の基本的な構成要素を示したブロック図。 TV電話画面を示した図。 アドレス帳ADを説明するための図。 条件別相手画像テーブルPTを説明するための図。 記録条件AテーブルATを説明するための図。 記録条件BテーブルBTを説明するための図。 TV電話着信時(オフフック時)に実行開始されるフローチャート。 図8に続くフローチャート。 アドレス帳ADの閲覧表示が指示された際に実行開始されるフローチャート。 (A)は、アドレス帳ADの一覧画面を示した図、(B)は、環境別の画像付きの相手情報を個別表示させた画面を示した図。 第2実施例のアドレス帳ADを説明するための図。 第2実施例において、TV電話着信時(オフフック時)に実行開始されるフローチャート。
符号の説明
1 携帯電話装置
2 公衆移動体通信網
3 インターネット
4 PC
5 固定電話
11 CPU
12 記憶部
15 電話通信部
17 インカメラ
19 操作部
21 表示部
22 RTC
23 GPS信号通信部
24 非接触ICカード処理
AD アドレス帳
PT 条件別相手画像テーブ
AT 記録条件Aテーブル
BT 記録条件Bテーブル

Claims (15)

  1. テレビ電話機能を有したテレビ電話装置であって、
    テレビ電話を行う相手の宛先情報を含む相手情報を記憶する相手情報記憶手段と、
    現在時刻又は当該装置が存する場所を含む環境を取得する環境取得手段と、
    テレビ電話中の相手の宛先情報を取得する宛先情報取得手段と、
    テレビ電話中に取得した相手画像を当該相手に関する相手情報として記録させるための記録条件であって、時間帯又は場所を含む条件を記憶する条件記憶手段と、
    テレビ電話時に前記環境取得手段によって得られた環境が前記記録条件に該当しているか否かを判別する判別手段と、
    この判別手段によって記録条件に該当していると判別された際に、当該相手とのテレビ電話中に取得した相手画像を、前記宛先情報取得手段で取得した宛先情報に対応付けて前記相手情報記憶手段に記録させる制御手段と、
    を具備したことを特徴とするテレビ電話装置。
  2. 前記条件記憶手段に同一相手に対応して複数の記録条件が記憶されている場合に、前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が複数の記録条件の何れに該当しているか否かを判別し、
    前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が何れかの記録条件に該当していると判別された場合に、その環境下で得られた相手画像を当該記録条件に対応する環境別の相手情報として記録させる、
    ようにしたことを特徴とする請求項1記載のテレビ電話装置。
  3. 前記記録条件としての環境は、当該テレビ電話装置の内部環境としてのモードを含み、モード別に相手画像を記録させるための条件である、
    ことを特徴とする請求項2記載のテレビ電話装置。
  4. 前記相手情報の閲覧表示が指示された場合に、前記判別手段は、この閲覧表示時の現在時刻又は当該装置が存する場所を含む環境が当該相手に対応する記録条件に該当しているか否かを判別し、
    前記制御手段は、閲覧表示時の前記環境が何れかの記録条件に該当していると判別された場合に、当該記録条件に対応する環境別の相手情報を選択して表示させる、
    ようにしたことを特徴とする請求項2記載のテレビ電話装置。
  5. 前記制御手段は、閲覧表示時の前記環境が何れの記録条件にも該当していないと判別された場合に、予め登録されている相手画像を表示させる、
    ようにしたことを特徴とする請求項記載のテレビ電話装置。
  6. 前記記録条件は、テレビ電話中に取得した相手画像を記録する対象者を特定するための記録対象者を含み、
    前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かを判別するほか、テレビ電話の相手が記録条件としての記録対象者に該当しているか否かを判別し、
    前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、テレビ電話の相手が記録条件としての記録対象者に該当していると判別された場合に、そのテレビ電話中に取得した相手画像を記録させる、
    ようにしたことを特徴とする請求項1記載のテレビ電話装置。
  7. 前記記録条件としての記録対象者は、アドレス帳に登録されている相手を特定するための情報である、
    ことを特徴とする請求項記載のテレビ電話装置。
  8. 前記記録条件は、前記相手情報として記録されている相手画像を新たな画像に書き換える更新タイミングに達したことを含み、
    前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かを判別するほか、更新タイミングに達したか否かを判別し、
    前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、更新タイミングに達したと判別された場合に、そのテレビ電話中に取得した相手画像を記録させる
    ようにしたことを特徴とする請求項1記載のテレビ電話装置。
  9. 前記相手情報として記録されている相手画像にその記録日時が付加されている状態において、前記判別手段は、相手情報として記録されている相手画像に付加されている記録日時と現在日時とを比較することによって前記更新タイミングに達したか否かを判別する、
    ようにしたことを特徴とする請求項記載のテレビ電話装置。
  10. 前記記録条件は、テレビ電話中に取得した相手画像を記録する対象者を特定するための記録対象者を含み、
    前記判別手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当しているか否かと、更新タイミングに達したか否かを判別するほか、テレビ電話の相手が記録条件としての記録対象者に該当しているか否かを判別し、
    前記制御手段は、テレビ電話時に前記環境取得手段によって得られた環境が記録条件としての環境に該当し、かつ、更新タイミングに達し、かつ、テレビ電話の相手が記録条件としての記録対象者に該当していると判別された場合に、そのテレビ電話中に取得した相手画像を記録させる、
    ようにしたことを特徴とする請求項記載のテレビ電話装置。
  11. 前記記録条件としての記録対象者は、アドレス帳に登録されている相手を特定するための情報である、
    ことを特徴とする請求項10記載のテレビ電話装置。
  12. 前記制御手段は、記録条件に該当する相手画像が記録されていない場合に、今回のテレビ電話中に取得した相手画像を新規画像として記録させる、
    ようにしたことを特徴とする請求項1記載のテレビ電話装置。
  13. 前記制御手段は、テレビ電話中に取得した相手画像の中から画像状態が所定の状態を満たしている相手画像を抽出して記録させる、
    ようにしたことを特徴とする請求項1記載のテレビ電話装置。
  14. 前記制御手段は、前記抽出した相手画像が複数存在する場合に、その何れを記録するのかをユーザに問い合わせるための確認案内を実行させる、
    ようにしたことを特徴とする請求項13記載のテレビ電話装置。
  15. コンピュータに対して、
    テレビ電話機能を有したテレビ電話装置であって、
    テレビ電話を行う相手の宛先情報を含む相手情報を記憶する機能と、
    現在時刻又は当該装置が存する場所を含む環境を取得する機能と、
    テレビ電話中の相手の宛先情報を取得する機能と、
    テレビ電話中に取得した相手画像を当該相手に関する相手情報として記録させるための記録条件であって、時間帯又は場所を含む条件が記憶されている状態において、テレビ電話時に取得した前記環境が前記記録条件に該当しているか否かを判別する機能と、
    前記記録条件に該当していると判別された際に、当該相手とのテレビ電話中に取得した相手画像を、取得したテレビ電話の相手の宛先情報に対応付けて前記相手情報として記録する機能と、
    を実現させるためのプログラム。
JP2007261467A 2007-10-05 2007-10-05 テレビ電話装置及びプログラム Expired - Fee Related JP4858875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007261467A JP4858875B2 (ja) 2007-10-05 2007-10-05 テレビ電話装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007261467A JP4858875B2 (ja) 2007-10-05 2007-10-05 テレビ電話装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2009094659A JP2009094659A (ja) 2009-04-30
JP4858875B2 true JP4858875B2 (ja) 2012-01-18

Family

ID=40666204

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007261467A Expired - Fee Related JP4858875B2 (ja) 2007-10-05 2007-10-05 テレビ電話装置及びプログラム

Country Status (1)

Country Link
JP (1) JP4858875B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4844614B2 (ja) * 2008-10-07 2011-12-28 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP6024715B2 (ja) * 2014-08-01 2016-11-16 カシオ計算機株式会社 情報出力装置及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593725B2 (ja) * 1994-10-28 2004-11-24 ソニー株式会社 テレビ電話装置
JPH09163329A (ja) * 1995-12-07 1997-06-20 Casio Comput Co Ltd テレビ電話付き文書処理装置
JP2001309327A (ja) * 2000-04-26 2001-11-02 Mitsubishi Electric Corp テレビ電話装置
JP2003244633A (ja) * 2002-02-21 2003-08-29 Canon Inc 通信装置およびその制御方法
JP2005311883A (ja) * 2004-04-23 2005-11-04 Alpine Electronics Inc 電話帳システム及び電話装置

Also Published As

Publication number Publication date
JP2009094659A (ja) 2009-04-30

Similar Documents

Publication Publication Date Title
KR101232994B1 (ko) 이동 통신 단말기 및 통신 설정 방법
US20090143098A1 (en) Electronic equipment
CN102714698A (zh) 包括自动对焦来自动记录照片的拍照意图预测和相应方法
KR20080019638A (ko) 휴대 정보 단말 장치
KR20090128038A (ko) 휴대 단말기의 화상 정보 활용 방법
JP4449939B2 (ja) 携帯通信端末装置及びプログラム
JP5152045B2 (ja) 電話装置、画像表示方法及び画像表示処理プログラム
CN100370799C (zh) 具有通信功能的成像设备和图像数据存储方法
JP5464637B2 (ja) 画像表示装置及びプログラム
JP2011197537A (ja) 端末装置及びプログラム
KR20060058323A (ko) 촬영장소 표시를 위한 이동통신 단말기의 사진촬영시스템및 그 방법
US20090291669A1 (en) Method for creating photo files in accordance with scheduler function and mobile communication terminal supporting the same
JP2008131412A (ja) テレビ電話装置及びプログラム
JP5019228B2 (ja) 画像撮影装置及びプログラム
JP4858875B2 (ja) テレビ電話装置及びプログラム
JP2014174782A (ja) 画像処理装置、画像処理方法及びプログラム
KR20060130810A (ko) 휴대 단말기의 일정 캘린더를 이용한 다이어리 관리 방법
JP2009290541A (ja) 携帯端末装置及びプログラム
TWI437881B (zh) 自動拍照系統及其方法
JP2009065491A (ja) 通信端末装置及びプログラム
JP2007172193A (ja) メール機能付き携帯端末装置及びプログラム
JP5218987B2 (ja) 端末装置及びプログラム
JP5473034B2 (ja) 端末装置及びプログラム
JP2001238108A (ja) 画像入力装置及び画像入力方法
JP5115725B2 (ja) 端末装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100324

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111021

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees