JP4930564B2 - 画像表示装置及び方法並びにプログラム - Google Patents
画像表示装置及び方法並びにプログラム Download PDFInfo
- Publication number
- JP4930564B2 JP4930564B2 JP2009218784A JP2009218784A JP4930564B2 JP 4930564 B2 JP4930564 B2 JP 4930564B2 JP 2009218784 A JP2009218784 A JP 2009218784A JP 2009218784 A JP2009218784 A JP 2009218784A JP 4930564 B2 JP4930564 B2 JP 4930564B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- display
- unit
- image
- display image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Description
(1)出現回数が多くなるほど文字サイズを大きくしていく演出効果。
(2)横からのスライドインやエクスパンド表示を行う演出効果。
(3)表示画像に含まれる人物(顔検出により検出された顔)の口からの吹き出しの画像を表示させ、その吹き出しにキーワードを表示させる演出効果。すなわち、その人物があたかもしゃべっているような演出効果。
(4)鑑賞者の発話内容に含まれるキーワードと、表示画像のメタデータに含まれるキーワードと関連付けて、新たなキーワードを創作し、その新たなキーワードを表示させる演出効果
Claims (5)
- 表示画像を表示する表示部と、
前記表示部に表示された表示画像を観賞する鑑賞者が発した音声の音声信号を入力する音声入力部と、
前記音声入力部に入力された前記音声信号に基づいて、前記鑑賞者が発した音声から1以上の単語を識別し、識別した前記1以上の単語をキーワードとして取得する取得部と、
前記取得部により取得された前記キーワードを含む情報又は前記キーワードから導かれる情報を、前記表示画像とともに前記表示部に表示させる制御部と、
前記取得部により取得された前記キーワードの出現回数を算出するカウント部と、
前記表示画像のデータと前記キーワードと前記キーワードの出現回数を対応付けてメタデータとして記憶する記憶部と、
を備え、
前記制御部は、前記表示画像のメタデータに基づいて、新たなキーワードを発生する発生部を有し、前記新たなキーワードを、前記キーワードから導き出される情報として、前記表示画像とともに前記表示部に表示させる
ことを特徴とする画像表示装置。 - 前記制御部は、前記出現回数が閾値を超えた前記キーワードを含む情報又は前記キーワードから導かれる情報を、演出効果を伴う表示形態で、前記表示画像とともに前記表示部に表示させる、請求項1に記載の画像表示装置。
- 前記表示画像から人物の顔を検出する検出部をさらに備え、
前記制御部は、
前記検出部が前記顔の検出に成功した場合、前記表示画像において、検出された前記顔の口から、前記キーワードを含む情報又は前記キーワードから導かれる情報の文字列が配置された吹き出しを表示させ、
前記検出部が前記顔の検出に失敗した場合、前記表示画像内の所定領域に、前記キーワードを含む情報又は前記キーワードから導かれる情報を表示させる、
請求項1又は2何れか1項に記載の画像表示装置。 - 表示画像を表示部に表示させるステップと、
前記表示部に表示された表示画像を観賞する鑑賞者が発した音声の音声信号を入力するステップと、
前記入力された前記音声信号に基づいて、前記鑑賞者が発した音声から1以上の単語を識別し、識別した前記1以上の単語をキーワードとして取得するステップと、
前記取得された前記キーワードを含む情報又は前記キーワードから導かれる情報を、前記表示画像とともに前記表示部に表示させるステップと、
前記取得された前記キーワードの出現回数を算出するステップと、
前記表示画像のデータと前記キーワードと前記キーワードの出現回数を対応付けてメタデータとして記憶するステップと、
取得された前記キーワード、及び、新たなキーワードを発生するステップと、
発生された前記新たなキーワードを、前記キーワードから導き出される情報として、前記表示画像とともに前記表示部に表示させるステップと、
を含むことを特徴とする画像表示方法。 - コンピュータに、
表示画像を表示部に表示させる第1表示制御機能と、
前記表示部に表示された表示画像を観賞する鑑賞者が発した音声の音声信号を入力する音声入力制御機能と、
前記音声入力制御機能の制御処理により入力された前記音声信号に基づいて、前記鑑賞者が発した音声から1以上の単語を識別し、識別した前記1以上の単語をキーワードとして取得する取得機能と、
前記取得機能の処理により取得された前記キーワードを含む情報又は前記キーワードから導かれる情報を、前記表示画像とともに前記表示部に表示させる第2表示制御機能と、
前記取得機能により取得された前記キーワードの出現回数を算出するカウント機能と、
前記表示画像のデータと前記キーワードと前記キーワードの出現回数を対応付けてメタデータとして記憶する記憶機能と、
前記カウント機能により算出された前記出現回数が閾値を超えた前記キーワードを含む情報又は前記キーワードから導かれる情報を、前記表示画像とともに前記表示部に表示させる表示制御機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218784A JP4930564B2 (ja) | 2009-09-24 | 2009-09-24 | 画像表示装置及び方法並びにプログラム |
US12/888,725 US8793129B2 (en) | 2009-09-24 | 2010-09-23 | Image display device for identifying keywords from a voice of a viewer and displaying image and keyword |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009218784A JP4930564B2 (ja) | 2009-09-24 | 2009-09-24 | 画像表示装置及び方法並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011070267A JP2011070267A (ja) | 2011-04-07 |
JP4930564B2 true JP4930564B2 (ja) | 2012-05-16 |
Family
ID=43757402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009218784A Expired - Fee Related JP4930564B2 (ja) | 2009-09-24 | 2009-09-24 | 画像表示装置及び方法並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8793129B2 (ja) |
JP (1) | JP4930564B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6295494B2 (ja) * | 2013-04-19 | 2018-03-20 | 株式会社ドワンゴ | 端末装置、コメント配信システム、及びプログラム |
KR102155482B1 (ko) | 2013-10-15 | 2020-09-14 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
KR101709961B1 (ko) * | 2015-02-09 | 2017-02-27 | 김남주 | 언어 노출 정도 모니터링 장치 및 방법 |
CN106383740A (zh) * | 2016-09-12 | 2017-02-08 | 深圳市金立通信设备有限公司 | 一种系统切换方法及终端 |
US11171905B1 (en) * | 2016-10-17 | 2021-11-09 | Open Invention Network Llc | Request and delivery of additional data |
JP6893606B2 (ja) * | 2017-03-20 | 2021-06-23 | 達闥机器人有限公司 | 画像のタグ付け方法、装置及び電子機器 |
US10642846B2 (en) * | 2017-10-13 | 2020-05-05 | Microsoft Technology Licensing, Llc | Using a generative adversarial network for query-keyword matching |
KR102595790B1 (ko) * | 2018-01-26 | 2023-10-30 | 삼성전자주식회사 | 전자 장치 및 그의 제어방법 |
JP7166139B2 (ja) * | 2018-10-23 | 2022-11-07 | 東京瓦斯株式会社 | 情報処理システムおよびプログラム |
KR20200057426A (ko) * | 2018-11-16 | 2020-05-26 | 삼성전자주식회사 | 음성 인식 기반 이미지를 표시하는 전자 장치 |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6044365A (en) * | 1993-09-01 | 2000-03-28 | Onkor, Ltd. | System for indexing and retrieving graphic and sound data |
JPH11120185A (ja) * | 1997-10-09 | 1999-04-30 | Canon Inc | 情報処理装置及びその方法 |
FI981127A (fi) * | 1998-05-20 | 1999-11-21 | Nokia Mobile Phones Ltd | Ääniohjausmenetelmä ja äänellä ohjattava laite |
US6243713B1 (en) * | 1998-08-24 | 2001-06-05 | Excalibur Technologies Corp. | Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types |
US7447626B2 (en) * | 1998-09-28 | 2008-11-04 | Udico Holdings | Method and apparatus for generating a language independent document abstract |
CN1343337B (zh) * | 1999-03-05 | 2013-03-20 | 佳能株式会社 | 用于产生包括音素数据和解码的字的注释数据的方法和设备 |
US6976229B1 (en) * | 1999-12-16 | 2005-12-13 | Ricoh Co., Ltd. | Method and apparatus for storytelling with digital photographs |
US6810146B2 (en) * | 2001-06-01 | 2004-10-26 | Eastman Kodak Company | Method and system for segmenting and identifying events in images using spoken annotations |
US7447624B2 (en) * | 2001-11-27 | 2008-11-04 | Sun Microsystems, Inc. | Generation of localized software applications |
JP2003345379A (ja) * | 2002-03-20 | 2003-12-03 | Japan Science & Technology Corp | 音声映像変換装置及び方法、音声映像変換プログラム |
US20040059996A1 (en) * | 2002-09-24 | 2004-03-25 | Fasciano Peter J. | Exhibition of digital media assets from a digital media asset management system to facilitate creative story generation |
US7272562B2 (en) * | 2004-03-30 | 2007-09-18 | Sony Corporation | System and method for utilizing speech recognition to efficiently perform data indexing procedures |
US7574453B2 (en) * | 2005-01-03 | 2009-08-11 | Orb Networks, Inc. | System and method for enabling search and retrieval operations to be performed for data items and records using data obtained from associated voice files |
JP2006195637A (ja) * | 2005-01-12 | 2006-07-27 | Toyota Motor Corp | 車両用音声対話システム |
KR101329266B1 (ko) * | 2005-11-21 | 2013-11-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 관련된 오디오 반주를 찾도록 디지털 영상들의 컨텐트특징들과 메타데이터를 사용하는 시스템 및 방법 |
US20070174326A1 (en) * | 2006-01-24 | 2007-07-26 | Microsoft Corporation | Application of metadata to digital media |
JP4645498B2 (ja) * | 2006-03-27 | 2011-03-09 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7849078B2 (en) * | 2006-06-07 | 2010-12-07 | Sap Ag | Generating searchable keywords |
JP4736982B2 (ja) * | 2006-07-06 | 2011-07-27 | 株式会社デンソー | 作動制御装置、プログラム |
KR100856407B1 (ko) * | 2006-07-06 | 2008-09-04 | 삼성전자주식회사 | 메타 데이터를 생성하는 데이터 기록 및 재생 장치 및 방법 |
CA2567505A1 (en) * | 2006-11-09 | 2008-05-09 | Ibm Canada Limited - Ibm Canada Limitee | System and method for inserting a description of images into audio recordings |
US8316302B2 (en) * | 2007-05-11 | 2012-11-20 | General Instrument Corporation | Method and apparatus for annotating video content with metadata generated using speech recognition technology |
JP4894639B2 (ja) | 2007-06-06 | 2012-03-14 | カシオ計算機株式会社 | 画像再生装置及びプログラム |
US20090002497A1 (en) * | 2007-06-29 | 2009-01-01 | Davis Joel C | Digital Camera Voice Over Feature |
JP2009058834A (ja) * | 2007-08-31 | 2009-03-19 | Fujifilm Corp | 撮像装置 |
US20090092340A1 (en) * | 2007-10-05 | 2009-04-09 | Microsoft Corporation | Natural language assistance for digital image indexing |
US8385588B2 (en) * | 2007-12-11 | 2013-02-26 | Eastman Kodak Company | Recording audio metadata for stored images |
US8037070B2 (en) * | 2008-06-25 | 2011-10-11 | Yahoo! Inc. | Background contextual conversational search |
US8745478B2 (en) * | 2008-07-07 | 2014-06-03 | Xerox Corporation | System and method for generating inspiration boards |
JP4873018B2 (ja) * | 2009-01-09 | 2012-02-08 | ソニー株式会社 | データ処理装置、データ処理方法、及び、プログラム |
US20100238323A1 (en) * | 2009-03-23 | 2010-09-23 | Sony Ericsson Mobile Communications Ab | Voice-controlled image editing |
US8935204B2 (en) * | 2009-08-14 | 2015-01-13 | Aframe Media Services Limited | Metadata tagging of moving and still image content |
-
2009
- 2009-09-24 JP JP2009218784A patent/JP4930564B2/ja not_active Expired - Fee Related
-
2010
- 2010-09-23 US US12/888,725 patent/US8793129B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8793129B2 (en) | 2014-07-29 |
JP2011070267A (ja) | 2011-04-07 |
US20110071832A1 (en) | 2011-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4930564B2 (ja) | 画像表示装置及び方法並びにプログラム | |
US7636662B2 (en) | System and method for audio-visual content synthesis | |
CN103559214B (zh) | 视频自动生成方法及装置 | |
KR101826714B1 (ko) | 말하기 학습 기능을 구비한 외국어 학습 시스템 및 외국어 학습 방법 | |
KR101492816B1 (ko) | 애니메이션 립싱크 자동화 장치 및 방법 | |
CN112840398A (zh) | 将音频内容变换为图像 | |
WO2009075754A1 (en) | Recording audio metadata for stored images | |
JP2005215689A5 (ja) | ||
JP6280312B2 (ja) | 議事録記録装置、議事録記録方法及びプログラム | |
JP2001083987A (ja) | 記号挿入装置およびその方法 | |
JP2006251898A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2004021920A5 (ja) | ||
JP2019003585A (ja) | 要約映像生成装置およびそのプログラム | |
US11176943B2 (en) | Voice recognition device, voice recognition method, and computer program product | |
JP2009278202A (ja) | 映像編集装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2008084021A (ja) | 動画シナリオ生成方法、プログラムおよび装置 | |
CN107004404A (zh) | 信息提供系统 | |
JP2002108382A (ja) | リップシンクを行うアニメーション方法および装置 | |
US10460178B1 (en) | Automated production of chapter file for video player | |
JP3081108B2 (ja) | 話者分類処理装置及び方法 | |
JP6641680B2 (ja) | 音声出力装置、音声出力プログラムおよび音声出力方法 | |
WO2023142413A1 (zh) | 音频数据处理方法、装置、电子设备、介质和程序产品 | |
CN114363531B (zh) | 基于h5的文案解说视频生成方法、装置、设备以及介质 | |
JP7119857B2 (ja) | 編集プログラム、編集方法および編集装置 | |
JP6528484B2 (ja) | 画像処理装置、アニメーション生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |