JP6465398B6 - Electronic device, display method and program - Google Patents
Electronic device, display method and program Download PDFInfo
- Publication number
- JP6465398B6 JP6465398B6 JP2015050628A JP2015050628A JP6465398B6 JP 6465398 B6 JP6465398 B6 JP 6465398B6 JP 2015050628 A JP2015050628 A JP 2015050628A JP 2015050628 A JP2015050628 A JP 2015050628A JP 6465398 B6 JP6465398 B6 JP 6465398B6
- Authority
- JP
- Japan
- Prior art keywords
- person
- deceased
- photo
- display
- photograph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明の実施の形態は、画像を表示する電子機器、表示方法及びプログラムに関する。 Embodiments described herein relate generally to an electronic device that displays an image , a display method, and a program .
人物の画像をディスプレイの画面に表示する電子機器が提案されている。一例として、人物の写真を記憶保持し、電子機器への接近を検出すると人物の写真をディスプレイの画面に表示する。 There has been proposed an electronic device that displays an image of a person on a display screen. As an example, a photograph of a person is stored and held, and when an approach to an electronic device is detected, the photograph of the person is displayed on a display screen.
しかし、誰が接近しても表示される写真は一定である。表示されている写真が観察者の知っている頃の写真であると、観察者は、懐かしみもわく。しかし、表示されている写真が観察者の知らない頃の写真であると、観察者は、写真を見てもなじみがない場合がある。 However, the photos displayed are constant regardless of who approaches. If there is a photograph of the time the photograph being displayed know the observer, the observer, frame also nostalgia Mi. However, if the displayed photograph is a photograph when the observer does not know, the observer may not be familiar with the photograph.
発明の目的は、観察者に適した画像を表示させることが可能な電子機器、表示方法及びプログラムを提供することにある。 An object of the present invention is to provide an electronic device , a display method, and a program capable of displaying an image suitable for an observer.
実施形態によれば、ディスプレイと、故人の生前の写真が複数格納される記憶装置と、前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、前記人物の顔の特徴量が登録される顔画像データベースと、前記ディスプレイの前の人物を撮影するカメラと、表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、を具備する。前記プロセッサは、前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択し、選択された前記故人の写真を前記ディスプレイの画面に表示する。 According to the embodiment, a display, a storage device in which a plurality of photographs of the deceased's life are stored, information on a person who has been involved with the deceased, and a photo including the age of the deceased in the association period with the deceased A processor that executes various programs including a person relation database in which setting information is registered, a face image database in which the facial feature amount of the person is registered, a camera that captures a person in front of the display, and a display application program And. Wherein the processor is the person image photographed by the camera to identify on the basis of the face image database, obtains the photographic setting information corresponding to the identified person from the person relational database, the photographic setting information The photograph of the deceased photographed during the association period stored in the storage device is selected, and the selected photograph of the deceased is displayed on the display screen.
以下、実施の形態について図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.
まず、図1を参照して、一実施形態に係る電子機器を備える、過去に存在した人(故人)との対話システムの概要を説明する。この電子機器は、例えば、タブレットコンピュータ、ノートブック型のパーソナルコンピュータ、スマートフォン、PDA、デジタルテレビジョン受信機、デジタルフォトフレーム、または各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ2として実現されている場合を想定する。
First, with reference to FIG. 1, the outline | summary of the dialogue system with the person (deceased) who existed in the past provided with the electronic device which concerns on one Embodiment is demonstrated. This electronic device can be realized, for example, as a tablet computer, a notebook personal computer, a smartphone, a PDA, a digital television receiver, a digital photo frame, or an embedded system incorporated in various electronic devices. Below, the case where this electronic device is implement | achieved as the
本タブレットコンピュータ2は、例えば仏壇1や墓石のような、亡くなった人を供養するための祭礼用具(以下、仏壇1と称する)に組み込まれている。タブレットコンピュータ2は仏壇1に固定されるものであってもよいし、仏壇1に対して取り外し可能に設置されるものであってもよい。つまり、タブレットコンピュータ2は、仏壇1に組み込まれた状態で提供(販売)されてもよいし、従来の仏壇1(例えば、家庭に既にある仏壇)にオプションとして設置されるようにしてもよい。また、仏壇1の外部に近接して設置されるようにしてもよいし、仏壇1と特に関係なく単なるフォトフレームとして独立して設置されるようにしてもよい。
The
タブレットコンピュータ2には、AC外部電源又はバッテリーから電力が供給される。仏壇1内のタブレットコンピュータ2を設置する位置には、タブレットコンピュータ2にAC外部電源からの電力を供給し、バッテリーを充電するためのクレードル(充電器)が設けられていてもよい。
The
タブレットコンピュータ2は、カメラ16、タッチスクリーンディスプレイ17、スピーカー18A,18B、及びマイク19A,19Bを備える。タブレットコンピュータ2は、カメラ16によって取得されたタブレットコンピュータ2の前方にいる人の画像、またはマイク19A,19Bによって取得された音声に基づいて、タブレットコンピュータ2の前方に存在する人物(観察者)を識別する。識別結果に基づいて、故人と人物とが関わっている期間内の写真から作成された顔画像をタッチスクリーンディスプレイ17の画面に表示する。なお、タッチスクリーンディスプレイ17の画面には、亡くなった人の画像だけでなく、位牌、花立、火立、香炉、供物、花仏水器、りん、等の仏具の画像が表示されてもよい。
The
タッチスクリーンディスプレイ17の画面に表示される故人の写真は、タッチスクリーンディスプレイ17の前の人物に応じて、変化する。例えば、故人の息子がタッチスクリーンディスプレイ17の前に存在する場合、タッチスクリーンディスプレイ17には、故人の若いときの写真が表示される。例えば、故人の孫がタッチスクリーンディスプレイ17の前に存在する場合、タッチスクリーンディスプレイ17には、故人の晩年のときの写真が表示される。
The photograph of the deceased displayed on the screen of the
図2は、故人の息子がタッチスクリーンディスプレイ17の前に存在する状態を示す図である。図2に示すように、故人の息子P1がタッチスクリーンディスプレイ17の前に存在する場合、タッチスクリーンディスプレイ17には、故人の若いときの写真が表示される。
FIG. 2 is a diagram showing a state in which the deceased son is present in front of the
図3は、故人の孫がタッチスクリーンディスプレイ17の前に存在する状態を示す図である。図3に示すように、故人の孫P2がタッチスクリーンディスプレイ17の前に存在する場合、タッチスクリーンディスプレイ17には、故人の晩年の写真が表示される。
FIG. 3 is a diagram illustrating a state in which the deceased grandchild is present in front of the
図4は、タブレットコンピュータ2のシステム構成を示す図である。
タブレットコンピュータ2は、図4に示されるように、CPU100、システムコントローラ101、タッチコントローラ102、メモリ103、表示コントローラ104、BIOS−ROM105、エンベデッドマルチメディアカード(eMMC)106、電源管理IC(PMIC)108、Audio Codec110、3G/LTEモジュール111、LANモジュール112、BTモジュール113、カードコントローラ114、USBコネクタ115、カメラモジュール16、等を備える。
FIG. 4 is a diagram showing a system configuration of the
As shown in FIG. 4, the
CPU100は、タブレットコンピュータ2内の各種コンポーネントの動作を制御するプロセッサである。CPU100は、ストレージデバイスであるeMMC106からメモリ103にロードされる各種ソフトウェアを実行する。eMMC106は、フラッシュメモリを利用した、組み込み機器向けの記憶装置である。eMMC106は、マルチメディアカード(MMC)と同一のインタフェースでシステムコントローラ101と接続される。ソフトウェアには、オペレーティングシステム(OS)201、及び各種アプリケーションプログラムが含まれている。また、アプリケーションプログラムには、表示アプリケーションプログラム202が含まれている。この表示アプリケーションプログラム202は、例えば、タブレットコンピュータ2の前にいる人物(例えば、仏壇1にお参りする人)と、過去に存在した人とのかかわりが重なっている期間内の写真から作成された顔画像をタッチスクリーンディスプレイ17の画面に表示する。
The
また、CPU100は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
The
システムコントローラ101は、CPU100のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ101には、メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ101は、PCI EXPRESS規格のシリアルバスなどを介して表示コントローラ104との通信を実行する機能も有している。
The
表示コントローラ104は、本タブレットコンピュータ2のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。この表示コントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。このLCD17A上にはタッチパネル17Bが配置されている。タッチコントローラ102は、タッチパネル17B上での指等を用いた操作に応じて、タッチパネル17B上の操作位置を示す操作信号をシステムコントローラ101に出力する。
The
さらに、システムコントローラ101は、Audio Codec110との通信を実行する機能も有している。Audio Codec110は、マイク19A,19Bによって検出された音声(例えば、ユーザが発話したことによる音声)を符号化することによって、所定の形式のオーディオデータを生成する。また、Audio Codec110は、再生対象のオーディオデータを復号し、復号された音声をスピーカー18A,18Bから出力する。システムコントローラ101は、USBコネクタ115に接続されたUSB2.0規格のケーブルを介して外部機器との通信を実行するためのUSBコントローラも内蔵している。
Furthermore, the
PMIC108は、AC又はバッテリー108Aから供給される電力を管理するためのワンチップマイクロコンピュータである。PMIC108は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ2を電源オン又は電源オフする機能を有している。
The
カメラモジュール16は、画像を撮影し、撮影された画像のデータをシステムコントローラ101に出力する。カメラモジュール16は、動画像(映像)のような、連続した複数の画像を撮影することもできる。
The
3G/LTEモジュール111は、アンテナ111Aを介して、3G移動通信又はLTE通信を実行するように構成されたデバイスである。LANモジュール112は、アンテナ112Aを介して、例えばIEEE 802.11g規格の無線通信や、IEEE 802.3規格の有線通信を実行する通信デバイスである。Bluetooth(登録商標)モジュール110は、アンテナ113Aを介して、外部機器とのBluetooth通信を実行する通信デバイスである。
The 3G / LTE module 111 is a device configured to execute 3G mobile communication or LTE communication via the
カードコントローラ114は、コンピュータ本体に設けられたカードスロットに挿入される、SDカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。人感センサ116は、例えば、タブレットコンピュータ2の画面の前方に人が存在するか否かを検出するセンサである。
The
次いで、図5を参照して、本タブレットコンピュータ2によって実行される表示アプリケーションプログラム202の機能構成を説明する。上述したように、表示アプリケーションプログラム202は、例えば、タブレットコンピュータ2の前の人物(観察者)に応じた遺影を表示する機能、等を有する。
Next, the functional configuration of the
表示アプリケーションプログラム202は、写真インデクシング部301、人物登録部302、人物識別部303、写真表示制御部304、および写真加工部305等を備える。表示アプリケーションプログラム202は、写真素材データベース(DB)311、写真情報データベース(DB)312、人物関係データベース(DB)313、顔認識データベース(DB)314、および音声認識データベース(DB)315を有する。
The
写真インデクシング部301は、eMMC106やメモリカード内に格納されている複数の写真から顔画像を認識する。写真インデクシング部301は、認識された顔画像に基づいて、複数の写真を人物毎にグループ化する。写真インデクシング部301は、各グループを代表する顔画像をタッチスクリーンディスプレイ17に表示し、故人に対応するグループをユーザに選択させる。ユーザは、代表顔画像の中から故人に対応する顔映像を選択する操作を行う。写真インデクシング部301は、ユーザによって選択された顔映像に対応するグループに含まれる写真のパスを写真素材データベース311に登録する。
The
写真素材データベース311の構造の例を図6に示す。
An example of the structure of the
図6に示すように、写真素材データベース311には、写真IDに対して選択された写真のパスが関連付けられている。
As shown in FIG. 6, the
また、写真インデクシング部301は、選択された顔映像に対応するグループに含まれる各写真について、写真データに含まれるExif(Exchangeable image file format)に含まれる撮影日時を写真情報データベース312に登録する。
In addition, the
また、写真インデクシング部301は、選択された顔映像に対応するグループに含まれる各写真について、顔画像の位置、例えば中心位置を示す顔位置データを写真情報データベース312に登録する。また、写真インデクシング部301は、選択された顔映像に対応するグループに含まれる各写真について、顔画像の領域を示す領域データを写真情報データベース312に登録する。
Further, the
写真情報データベース312の構造の例を図7に示す。
An example of the structure of the
図7に示すように、写真情報データベース312には、写真IDに対して、撮影日時、顔位置、および顔領域が関連付けられている。
As shown in FIG. 7, in the
人物登録部302は、故人との関わりがあった人物の情報を人物関係データベース313に登録する。人物関係データベース313には、人物の名前、生年、および、写真設定としての故人との関わりが始まった年(開始暦年)、故人との関わりが始まった時の故人の年齢(開始故人年齢)、および故人との関わりがあった年数(期間)が登録される。写真設定として、開始暦年、開始故人年齢の少なくとも一つが人物関係データベース313に登録されていれば良い。
The
人物関係データベース313の構造の例について図8を参照して説明する。人物関係データベース313では、人物IDに対して、人物名、生年、開始暦年、開始故人年齢、および期間等が関連付けられる。例えば、人物ID「ID001」の「太郎」さんは、故人の実子であり、故人が30歳だった1964年に生まれたことから、対応する開始暦年等が登録されている。また、人物ID「ID002」の「はな子」さんは、太郎さんの夫人、すなわち故人の義子であり、人物ID「ID003」の「もも子」さんは、太郎さんの娘、すなわち故人の孫であり、それぞれ対応する開始暦年等が登録されている。
An example of the structure of the
人物登録部302は、故人との関わりがあった人物の写真から顔画像を抽出する。人物登録部302は、抽出された顔画像から目立つ特徴を抽出し、抽出された特徴をデータ化する。例えば、人物登録部302は、目、眉毛、口等の顔のパーツの相対位置や大きさ、眼窩、鼻、頬骨、およびあごの輪郭等の特徴をデータ化する。人物登録部302は、データ化された特徴量を顔認識データベース314に登録する。人物登録部302は、カメラモジュール16によって取得された画像から、故人との関わりがあった人物の顔画像の特徴を抽出して登録してもよい。
The
顔認識データベース314の構造の例について図9を参照して説明する。
An example of the structure of the
顔認識データベース314では、人物IDに対して顔特徴量(データA,データB,データC)が関連付けられている。顔認識データベース314内で用いられる人物IDは、人物関係データベース313で用いられている人物IDと同一のものが用いられる。
In the
人物登録部302は、マイク19A,19Bによって取得される、故人との関わりがあった人物の音声から、発声した人物を識別する音声特徴量を演算する。人物登録部302は、音声特徴量を音声認識データベース315に登録する。
The
音声認識データベース315の構造の例について図10を参照して説明する。
An example of the structure of the
音声認識データベース315では、人物IDに対して音声特徴量(データD,データE,データF)が関連付けられている。音声認識データベース315内で用いられる人物IDは、人物関係データベース313で用いられている人物IDと同一のものが用いられる。
In the
音声認識データベース315の構造の別の例について図11を参照して説明する。
Another example of the structure of the
図11に示すように、人物IDに対して、テキストが関連付けられている。例えば、故人の実子である「太郎」さんに対応する人物ID「ID001」に「おとうさんおはよう」が関連付けられている。また、太郎さんの夫人、すなわち故人の義子である「はな子」さんに対応する人物ID「ID002」に「おとうさまおはようございます」が関連付けられている。また、太郎さんの娘、すなわち故人の孫である「もも子」さんに対応する人物ID「ID003」に「おじいちゃんおはよう」が関連付けられている。 As shown in FIG. 11, text is associated with the person ID. For example, “good morning” is associated with the person ID “ID001” corresponding to “Taro” who is the child of the deceased. Also, “Good morning” is associated with the person ID “ID002” corresponding to Mrs. Taro's wife, “Hanako”, the deceased Yoshiko. Also, “Grandpa Good Morning” is associated with the person ID “ID003” corresponding to Taro's daughter, “Momoko” who is the grandson of the deceased.
人物識別部303は、LCD17Aの前に存在する人物を識別する。人物識別部303は、例えばカメラモジュール16によって撮影されたコンピュータ2の前の人物の画像と、顔認識データベース314とに基づいて、コンピュータ2の前の人物を識別する。
The
人物識別部303は、人物の画像から顔画像を抽出する。人物識別部303は、抽出された顔画像から特徴量を演算する。人物識別部303は、演算された特徴量と、顔認識データベース314に登録されている特徴量とを比較することによって、演算された特徴量に近い特徴量に関連付けられている人物IDを特定する。
The
音声認識データベース315の構造が図10に示すものである場合、人物識別部303は、例えばマイク19A,19Bによって取得される音声データから発声した人物を識別する音声特徴量を抽出する。人物識別部303は、演算された特徴量と、音声認識データベース315に登録されている特徴量とを比較することによって、演算された音声特徴量に近い音声特徴量に関連付けられている人物IDを特定する。
If the structure of the
また、音声認識データベース315の構造が図11に示すものである場合、人物識別部303は、例えばマイク19A,19Bによって取得される音声データをテキスト化しても良い。人物識別部303は、テキストと音声認識データベース315とに基づいて、テキストに対応する人物IDを特定しても良い。また、音声認識データベース315に登録されているテキストに基づいて、マイク19A,19Bによって取得される音声データの認識を行うことによって、対応する人物IDを特定しても良い。
Also, if the structure of the
なお、人物は、人物と故人との関係に応じた、特定のキーワードを発声するようにする。例えば、人物が故人の孫の場合、人物は、「おじいちゃんおはよう」と発声する。 The person utters a specific keyword corresponding to the relationship between the person and the deceased. For example, if the person is a grandchild of the deceased, the person utters “Grandpa Good Morning”.
人物識別部303は、音声認識辞書を用いて、人物の発話による音声に音声認識処理を施すことによって、音声に対応するテキストを生成する。音声認識辞書には、例えば、言葉の音の最小単位である音素と特徴量との対応を示す情報と、音素列と単語との対応を示す情報とが含まれている。
The
より具体的には、まず、人物識別部303は音声から雑音を除去し、特徴量を算出する。人物識別部303は、音声認識辞書を用いて、算出された特徴量に基づいて音声に対応する音素列を生成する。そして、人物識別部303は、音声認識辞書を用いて、変換された音素列に対応する単語を決定する。なお、人物識別部303は、音素列に対応する複数の単語の候補を決定し、連続する単語のつながりの尤もらしさに基づいて、音素列に対応する単語列(テキスト)を決定するようにしてもよい。
More specifically, first, the
そして、人物識別部303は、決定された単語列と音声認識データベース315とに基づいて、発話者に対応する人物IDを特定する。
Then, the
写真表示制御部304は、人物関係データベース313に基づいて、人物識別部303によって特定された人物IDに関連付けられている人物と故人との交際が重なる期間を取得する。写真表示制御部304は、写真情報データベース312に基づいて、交際期間に撮影されている写真データの写真IDを取得する。写真IDが複数取得された場合、写真表示制御部304は、複数の写真IDから一つ以上の写真IDを選択する。
The photograph
写真表示制御部304は、写真情報データベース312に基づいて、顔領域の大きさが一番大きい写真に対応する写真IDを選択しても良い。また、写真表示制御部304は、特定された写真IDに対して表示された写真の履歴を記録しておき、まだ表示されていない写真に対応する写真IDを選択しても良い。加工元の写真は、写真表示制御部304は、ランダムに写真を選択しても良い。選定するか、時期の近いものを選定する。
The photo
人物識別部303によって複数の人物が識別された場合、写真表示制御部304は、各人物の交際期間に応じて写真の絞り込みを行っても良い。
When a plurality of persons are identified by the
各人物IDに表示したい故人の時期を関連付けて人物関係データベース313に登録し、識別された人物に応じた時期を優先的に使用して写真を選択しても良いし、登録された時期の写真が選択される確率を高くした上でランダムに選択しても良い。
Each person ID may be registered in the
各人物IDに表示したい故人の写真に対応する写真IDを関連付けて登録し、識別された人物に応じた写真を優先的に選択するとともに、所定の確率で他の写真もランダムに選択するようにしても良い。 Each person ID is registered in association with a photograph ID corresponding to the photograph of the deceased person to be displayed, and a photograph corresponding to the identified person is preferentially selected, and other photographs are also randomly selected with a predetermined probability. May be.
写真表示制御部304は、選択された写真IDを写真加工部305に通知し、写真加工部305に写真の加工を要求する。
The photo
写真加工部305は、通知された写真IDに関連付けられている写真データのパスを読み出す。写真加工部305は、読み出したパスに基づいて、写真データをeMMC106またはメモリカードから読み出す。
The
写真加工部305は、通知された写真IDに関連付けられている顔位置データを写真情報データベース312から読み出す。写真加工部305は、読み出された顔位置データに基づいて、顔画像を含む故人の画像をトリミングする。写真加工部305は、故人の顔の位置または領域に応じて拡大してもよい。
The
写真加工部305は、トリミングされた画像内の故人の顔画像に対して、識別された人物と故人との交際の時期によってレタッチしても良い。写真加工部305は、加工は、顔のシワ、口元、および表情のレタッチを行っても良い。写真加工部305は、頭髪、ヒゲの色を増減させるレタッチを行っても良い。写真加工部305は、髪型や服装を変化させたり、髪や服装の色調を変化させたりするレタッチを行っても良い。交際期間内に撮影された写真が無くても、レタッチを行って、故人の容貌を若くしたり、故人の容貌を老けさせたりすることで、交際期間内に相当する容貌の故人を画面に表示させることが可能になる。
The
レタッチの設定(加工方法)は、写真設定として人物関係データベース313に登録されていても良い。
The retouch setting (processing method) may be registered in the
写真表示制御部304は、写真加工部305によって加工された写真をLCD17Aの画面に表示する。なお、複数の写真を選択した場合、写真表示制御部304は、選択された複数の写真を適宜切り替えながら表示しても良い。写真表示制御部304は、選択された複数の写真を動的な画面遷移等のエフェクトを加えながら切り替え表示しても良い。また、写真表示制御部304は、選択された複数の写真にエフェクトを加えて動画を作成し、再生表示しても良い。
The photo
写真表示制御部304は、故人の顔の位置または領域に応じて動的にズームするエフェクトを加えて表示しても良い。写真表示制御部304は、ズームアウト状態からズームイン、ズームイン状態からズームアウト、ズームアウト状態からズームインして再度ズームアウトして表示しても良い。
The photo
次に、タッチスクリーンディスプレイ17の前に人が存在してから、故人の写真を表示するまでの処理の手順を図12のフローチャートを参照して説明する。
Next, a procedure of processing from when a person is present in front of the
人物識別部303は、人感センサ116の検出結果によって、タッチスクリーンディスプレイ17(タブレットコンピュータ2)の前に人が存在するかを判定する(ステップB11)。人が存在すると判定した場合(ステップB11のYes)、人物識別部303は、カメラモジュール16によって取得された画像による人物の顔識別を試みる。人物識別部303は、顔識別に成功したかを判定する(ステップB12)。顔識別に成功しなかったと判定した場合(ステップB12のNo)、人物識別部303は、マイク19A,19Bによって集音された音声による人物識別を試みる。人物識別部303は、音声識別に成功したかを判定する(ステップB13)。
The
顔識別に成功したと判定した場合(ステップB12のYes)、または音声識別に成功したと判定した場合(ステップB13のYes)、識別された人物に対応する人物IDを写真表示制御部304に通知する。写真表示制御部304は、人物関係データベース313から人物IDに対応する写真設定を取得する(ステップB14)。
When it is determined that the face identification is successful (Yes in step B12) or when it is determined that the voice identification is successful (Yes in step B13), the person ID corresponding to the identified person is notified to the photo
音声識別に成功しなかったと判定した場合(ステップB13のNo)、人物識別部303は、人物の識別しなかった場合に対応する人物IDを写真表示制御部304に通知する。写真表示制御部304は、人物関係データベース313から人物IDに対応する写真設定を取得する(ステップB18)。
When it is determined that the voice identification is not successful (No in Step B13), the
写真表示制御部304は、設定に含まれる交際期間に従った故人の写真を選択する(ステップB15)。写真表示制御部304は、選択された写真に対応する写真IDと写真設定とを写真加工部305に通知する。写真加工部305は、通知された設定に従って、写真IDに対応する写真を加工する(ステップB16)。写真加工部305は、加工された写真を写真表示制御部304に渡す。写真表示制御部304は、渡された写真をLCD17Aに表示するための処理を行う(ステップB17)。
The photograph
以上の処理で、タッチスクリーンディスプレイ17(タブレットコンピュータ2)の前に存在する人物に応じた故人の写真を表示することが可能になる。 With the above processing, it becomes possible to display a photograph of the deceased corresponding to the person existing in front of the touch screen display 17 (tablet computer 2).
なお、一部の処理をサーバコンピュータで行っても良い。図13は、故人の写真の表示を行うシステムの構成を示す図である。
システムは、タブレットコンピュータ2およびサーバコンピュータ400等を備える。タブレットコンピュータ2とサーバコンピュータ400とは、ネットワークを介して通信を行うことが可能である。
Some processing may be performed by a server computer. FIG. 13 is a diagram illustrating a configuration of a system that displays a photograph of a deceased person.
The system includes a
サーバコンピュータ400は、写真インデクシング部301S、制御部304S、写真加工部305S、およびストレージ401、等を備える。写真インデクシング部301S、制御部304S、および写真加工部305Sは、サーバコンピュータ400内のプロセッサによって実行される。また、サーバコンピュータ400は、写真素材データベース311S、写真情報データベース312S、および人物関係データベース313S等を備える。
The
ストレージ401内には、eMMC106に格納されていた複数の写真が格納される。写真インデクシング部301Sは、タブレットコンピュータ2の写真インデクシング部301と同様な処理を行う。制御部304Sは、タブレットコンピュータ2の写真表示制御部304によって行われる処理のうち、写真を選択する処理を行う。制御部304Sは、写真加工部305Sによって加工された写真を写真表示制御部304に送信する処理を行う。写真加工部305Sは、タブレットコンピュータ2の写真加工部305と同様な処理を行う。
In the
LCD17Aの前に存在する人物を識別し、故人の顔画像を含む複数の写真のうちの、人物と故人の交際期間内に撮影された写真に含まれる故人の顔画像をLCD17Aの画面に表示することで、LCD17Aの前の人物に対して最適な画像を表示させることが可能なる。
The person existing in front of the
その他.さらに、音声認識して音声で応答する音声対話を行ってもよい。故人の声を録音した音声、故人の声から作成した合成音声、故人の声に似せて作った音声を出力する。識別された人物に応じて声の調子を変えてもよい。例えば、孫の場合は晩年の声を使用するか、晩年の声に似せて加工した声を使用する。識別された人物に応じて音声応答のスタイルを変えてもよい。例えば、孫の場合はゆっくり優しく語りかける。知人の場合は丁寧語で元気に話す。 Others. Further, a voice dialogue may be performed in which voice recognition is performed and a voice response is made. Outputs voices recorded from the voice of the deceased, synthesized voices created from the voices of the deceased, and voices that resemble the voices of the deceased. The tone of the voice may be changed according to the identified person. For example, in the case of grandchildren, the voice of later years is used, or the voice processed to resemble the voice of later years is used. The style of the voice response may be changed according to the identified person. For example, if you are grandchildren, speak slowly and gently. For acquaintances, speak well in polite language.
上記実施形態では、故人の写真を表示していたが、現在生きている人物の写真を表示しても良い。また、人物では無く、ペット等の動物の写真を表示しても良い。 In the above embodiment, the photograph of the deceased was displayed, but a photograph of a person who is currently alive may be displayed. Moreover, you may display the photograph of animals, such as a pet, not a person.
なお、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Note that the various processes of the present embodiment can be realized by a computer program. Therefore, the computer program can be installed and executed on a computer through a computer-readable storage medium that stores the computer program. Similar effects can be easily realized.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
2…タブレットコンピュータ、16…カメラモジュール、17…タッチスクリーンディスプレイ、17A…LCD、17B…タッチパネル、19A.19B…マイク、100…CPU、104…表示コントローラ、106…エンベデッドマルチメディアカード、116…人感センサ、202…表示アプリケーションプログラム、301…写真インデクシング部、302…人物登録部、303…人物識別部、304…写真表示制御部、305…写真加工部、305S…写真加工部、311…写真素材データベース、312…写真情報データベース、313…人物関係データベース、314…顔認識データベース、315…音声認識データベース。 2 ... tablet computer, 16 ... camera module, 17 ... touch screen display, 17A ... LCD, 17B ... touch panel, 19A. 19B ... Microphone, 100 ... CPU, 104 ... Display controller, 106 ... Embedded multimedia card, 116 ... Human sensor, 202 ... Display application program, 301 ... Photo indexing section, 302 ... Person registration section, 303 ... Person identification section, 304 ... Photo display control unit, 305 ... Photo processing unit, 305S ... Photo processing unit, 311 ... Photo material database, 312 ... Photo information database, 313 ... Person relation database, 314 ... Face recognition database, 315 ... Voice recognition database.
Claims (7)
故人の生前の複数の写真が格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、
を具備し、
前記プロセッサは、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、
前記写真設定情報に基づいて前記記憶装置に格納されている前記複数の写真の中から前記交際期間に撮影された前記故人の写真を選択し、
選択された前記故人の写真を前記ディスプレイの画面に表示する
電子機器。 Display,
A storage device in which a plurality of photographs of the deceased are stored;
A person relation database in which information of a person who has been involved with the deceased person and photo setting information including the age of the deceased person in the association period with the deceased person is registered;
A face image database in which feature values of the person's face are registered;
A camera for photographing the front of the people of the display,
A processor for executing various programs including a display application program;
Comprising
The processor is
The image of a person taken by the camera to identify on the basis of the face image database,
Obtaining the photo setting information corresponding to the identified person from the person relationship database;
Select the photograph of the deceased photographed during the dating period from the plurality of photographs stored in the storage device based on the photograph setting information,
<br/> electronic device that displays a picture of the selected the deceased on the screen of the display.
前記人物の音声特徴量が登録される音声識別データベースと、
を更に具備し、
前記プロセッサは、前記画像による前記人物の識別が成功しなかった場合、前記マイクによって集音された音声を認識し、その認識結果と前記音声識別データベースとに基づいて、前記人物を識別する請求項1に記載の電子機器。 And a microphone for collecting the sound of the previous Symbol people product,
A speech identification database in which speech features of the person are registered;
Further comprising
Wherein the processor, when the identification of the person by the image is not successful, recognizes sound collected by the microphone, on the basis of the recognition result and the speech recognition database, identifying the pre-Symbol human product The electronic device according to claim 1.
前記プロセッサは、前記写真情報データベースに基づいて、前記顔画像の領域が大きい写真を前記故人の写真として選択する請求項1に記載の電子機器。 For the plurality of photos, further comprising a photo information database in which region data indicating the region of the face image of each photo is registered,
The electronic device according to claim 1, wherein the processor selects a photograph having a large face image area as the photograph of the deceased based on the photograph information database .
故人の生前の写真が複数格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
表示アプリケーションプログラムを含む各種プログラムを実行するプロセッサと、
を具備する電子機器の表示方法であって、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別し、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得し、
前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択し、
選択された前記故人の写真を前記ディスプレイの画面に表示する
表示方法。 Display,
A storage device that stores multiple photos of the deceased's life,
A person relation database in which information of a person who has been involved with the deceased person and photo setting information including the age of the deceased person in the association period with the deceased person is registered;
A face image database in which feature values of the person's face are registered;
A camera for photographing a person in front of the display;
A processor for executing various programs including a display application program;
A display method for an electronic device comprising:
Identifying the person of the image taken by the camera based on the face image database ;
Obtaining the photo setting information corresponding to the identified person from the person relationship database;
Select the photo of the deceased taken during the dating period stored in the storage device based on the photo setting information,
A display method for displaying a photograph of the selected deceased on the screen of the display.
故人の生前の写真が複数格納される記憶装置と、
前記故人との関わりのあった人物の情報、並びに前記故人との交際期間の前記故人の年齢を含む写真設定情報が登録される人物関係データベースと、
前記人物の顔の特徴量が登録される顔画像データベースと、
前記ディスプレイの前の人物を撮影するカメラと、
を具備する電子機器のコンピュータによって実行されるプログラムであって、
前記カメラによって撮影された画像の前記人物を前記顔画像データベースに基づいて識別する手順と、
前記人物関係データベースから前記識別された人物に対応する前記写真設定情報を取得する手順と、
前記写真設定情報に基づいて前記記憶装置に格納される前記交際期間に撮影された前記故人の写真を選択する手順と、
選択された前記故人の写真を前記ディスプレイの画面に表示する手順と、
を前記コンピュータに実行させるためのプログラム。 Display,
A storage device that stores multiple photos of the deceased's life,
A person relation database in which information of a person who has been involved with the deceased person and photo setting information including the age of the deceased person in the association period with the deceased person is registered;
A face image database in which feature values of the person's face are registered;
A camera for photographing a person in front of the display;
A program executed by a computer of an electronic device comprising:
A procedure for identifying the person of the image taken by the camera based on the face image database ;
Obtaining the photo setting information corresponding to the identified person from the person relationship database;
Selecting the photograph of the deceased photographed during the dating period stored in the storage device based on the photograph setting information;
Displaying the selected photograph of the deceased on the screen of the display ;
For causing the computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015050628A JP6465398B6 (en) | 2015-03-13 | 2015-03-13 | Electronic device, display method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015050628A JP6465398B6 (en) | 2015-03-13 | 2015-03-13 | Electronic device, display method and program |
Publications (4)
Publication Number | Publication Date |
---|---|
JP2016170309A JP2016170309A (en) | 2016-09-23 |
JP2016170309A5 JP2016170309A5 (en) | 2018-04-05 |
JP6465398B2 JP6465398B2 (en) | 2019-02-06 |
JP6465398B6 true JP6465398B6 (en) | 2019-03-13 |
Family
ID=56983731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015050628A Active JP6465398B6 (en) | 2015-03-13 | 2015-03-13 | Electronic device, display method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6465398B6 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7162816B2 (en) * | 2018-02-16 | 2022-10-31 | ソリッドテクノロジー株式会社 | Online virtual altar device |
JP6656447B1 (en) * | 2019-03-27 | 2020-03-04 | ダイコク電機株式会社 | Video output system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003209683A (en) * | 2001-09-27 | 2003-07-25 | Fuji Photo Film Co Ltd | Image processing equipment and image processing method |
JP2009216890A (en) * | 2008-03-10 | 2009-09-24 | Seiko Epson Corp | Image display system, projector, and control method for image display device |
JP4682265B2 (en) * | 2009-08-11 | 2011-05-11 | 株式会社デザイン計画 | Deceased information display device |
JP2011061341A (en) * | 2009-09-08 | 2011-03-24 | Casio Computer Co Ltd | Electrophotography display device, control method for the same, and program |
JP4768846B2 (en) * | 2009-11-06 | 2011-09-07 | 株式会社東芝 | Electronic apparatus and image display method |
KR101626159B1 (en) * | 2009-11-25 | 2016-05-31 | 엘지전자 주식회사 | User adaptive display device and method thereof |
JP5232291B2 (en) * | 2011-12-22 | 2013-07-10 | 株式会社東芝 | Electronic device and face image display method |
JP6070142B2 (en) * | 2012-12-12 | 2017-02-01 | キヤノンマーケティングジャパン株式会社 | Mobile terminal, information processing method, program |
-
2015
- 2015-03-13 JP JP2015050628A patent/JP6465398B6/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016170309A (en) | 2016-09-23 |
JP6465398B2 (en) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9443307B2 (en) | Processing of images of a subject individual | |
CN110475069B (en) | Image shooting method and device | |
US8164644B2 (en) | Method and apparatus for generating media signal by using state information | |
WO2016145830A1 (en) | Image processing method, terminal and computer storage medium | |
US10270736B2 (en) | Account adding method, terminal, server, and computer storage medium | |
WO2017045258A1 (en) | Photographing prompting method, device and apparatus, and nonvolatile computer storage medium | |
WO2021169736A1 (en) | Beauty treatment method and device | |
KR20200095719A (en) | Electronic device and control method thereof | |
JP7427408B2 (en) | Information processing device, information processing method, and information processing program | |
EP3340077B1 (en) | Method and apparatus for inputting expression information | |
US20160189413A1 (en) | Image creation method, computer-readable storage medium, and image creation apparatus | |
US11216648B2 (en) | Method and device for facial image recognition | |
JP2014146066A (en) | Document data generation device, document data generation method, and program | |
CN105072335B (en) | A kind of photographic method and user terminal | |
JP6465398B6 (en) | Electronic device, display method and program | |
US20170068512A1 (en) | Electronic apparatus and information processing method thereof | |
CN110491384B (en) | Voice data processing method and device | |
WO2023015862A1 (en) | Image-based multimedia data synthesis method and apparatus | |
JP6054140B2 (en) | Message management apparatus, message presentation apparatus, message management apparatus control method, and message presentation apparatus control method | |
JP5320913B2 (en) | Imaging apparatus and keyword creation program | |
US11445148B1 (en) | Video teleconference curated user profile picture | |
JP2020052511A (en) | Summary generation apparatus, summary generation method, and program | |
JP7124442B2 (en) | System, method and program | |
CN113486730A (en) | Intelligent reminding method based on face recognition and related device | |
JP2016170309A5 (en) | Electronic device, display method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180223 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181206 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20181207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6465398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |