RU2598598C2 - Устройство обработки информации, система обработки информации и способ обработки информации - Google Patents

Устройство обработки информации, система обработки информации и способ обработки информации Download PDF

Info

Publication number
RU2598598C2
RU2598598C2 RU2013113749/08A RU2013113749A RU2598598C2 RU 2598598 C2 RU2598598 C2 RU 2598598C2 RU 2013113749/08 A RU2013113749/08 A RU 2013113749/08A RU 2013113749 A RU2013113749 A RU 2013113749A RU 2598598 C2 RU2598598 C2 RU 2598598C2
Authority
RU
Russia
Prior art keywords
image
indicating
user
information
pointing
Prior art date
Application number
RU2013113749/08A
Other languages
English (en)
Other versions
RU2013113749A (ru
Inventor
Юсуке САКАЙ
Масао КОНДО
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2013113749A publication Critical patent/RU2013113749A/ru
Application granted granted Critical
Publication of RU2598598C2 publication Critical patent/RU2598598C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении указания для других пользователей произвольного местоположения на информации изображения. Устройство обработки информации содержит блок обнаружения для обнаружения указывающего объекта на заснятом изображении; блок генерирования указывающей информации на основе обнаружения указывающего объекта, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении; блок связи для передачи указывающей информации на устройство, содержащее: модуль связи для приема указывающей информации и модуль управления отображением для управления отображаемым на экране отображения изображением с наложением на основе указывающей информации; при этом блок обнаружения выполнен с возможностью обнаружения указывающего изображения, соответствующего форме указывающего объекта; при этом указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта. 2 н. и 7 з.п. ф-лы, 30 ил.

Description

Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки информации, системе обработки информации и способу обработки информации.
Уровень техники
В ближайшем аналоге известна телевизионная система конференц-связи, которая передает и принимает изображения и звуковые сигналы между множеством удаленных пользовательских оконечных устройств. К слову, при телевизионной конференц-связи имеется некоторое число случаев, в которых передаются и принимаются изображения и звуковые сигналы, касающиеся информации общего назначения, отображаемой на множестве пользовательских оконечных устройств.
Раскрытие изобретения
Техническая проблема
Когда пользователь указывает для других пользователей произвольное местоположение на информации изображения, пользовательское оконечное устройство функционирует для отображения метки в указанном положении, либо об указываемые положение извещается звуковым сигналом. Поэтому имеются случаи, когда пользователь выполняет усилие, чтобы указать для других пользователей произвольное местоположение на информации изображения.
Соответственно, изобретение предлагает устройство обработки информации, систему обработки информации и способ обработки информации, которые могут сразу показывать произвольное местоположение на информации изображения для других пользователей.
Решение проблемы
В соответствии с одним вариантом осуществления устройство обработки информации может включать в себя блок обнаружения для обнаружения указывающего объекта в заснятом изображении и блок генерирования для генерирования информации указания на основе обнаружения указывающего объекта блоком обнаружения. Эта информация указания может показывать положение указывающего объекта, определенное с помощью набора подходящих для указания пользователем диапазонов в заснятом изображении. Устройство может дополнительно включать в себя блок связи для передачи информации указания на внешнем устройстве.
В соответствии с другим вариантом осуществления устройство обработки информации может включать в себя блок связи для приема от внешнего устройства информации указания, включающей в себя информацию указывающего объекта в заснятом изображении. Эта указывающая информация может показывать положение указывающего объекта, определенное с помощью подходящего для указания пользователем набора диапазонов в заснятом изображении. Устройство может дополнительно включать в себя блок генерирования для управления на экране отображения отображением указывающего изображения, соответствующего информации указания, наложенной на содержательное изображение.
Полезные эффекты изобретения
Изобретение может обеспечить устройство обработки информации, систему обработки информации и способ обработки информации, которые могут сразу указывать для других пользователей произвольное местоположение на информации изображения.
Краткое описание чертежей
Фиг.1 является блок-схемой, иллюстрирующей конфигурацию телевизионной системы конференц-связи согласно одному варианту осуществления изобретения.
Фиг.2 представляет собой вид, иллюстрирующий конфигурацию системы отображения.
Фиг.3 является блок-схемой, иллюстрирующей аппаратную конфигурацию устройства обработки информации.
Фиг.4 представляет собой блок-схему (1/2) алгоритма, иллюстрирующую процедуру основной работы телевизионной системы конференц-связи.
Фиг.5 представляет собой блок-схему (2/2) алгоритма, иллюстрирующую процедуру основной работы телевизионной системы конференц-связи.
Фиг.6А представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.
Фиг.6 В представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.
Фиг.6С представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.
Фиг.6D представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.
Фиг.7А представляет собой вид, иллюстрирующий отношение между положением пользователя перед устройством отображения и наложенным положением указывающего изображения.
Фиг.7В представляет собой вид, иллюстрирующий отношение между положением пользователя перед устройством отображения и наложенным положением указывающего изображения.
Фиг.8 представляет собой вид (1/4), иллюстрирующий пример генерирования наложенного изображения.
Фиг.9 представляет собой вид (2/4), иллюстрирующий пример генерирования наложенного изображения.
Фиг.10 представляет собой вид (3/4), иллюстрирующий пример генерирования наложенного изображения.
Фиг.11 представляет собой вид (4/4), иллюстрирующий пример генерирования наложенного изображения.
Фиг.12А представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.12В представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.12С представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.13А представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.13В представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.13С представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.
Фиг.14 представляет собой пример, иллюстрирующий пример установки подходящих для указания диапазонов.
Фиг.15А представляет собой вид, иллюстрирующий пример операции указания на основе подходящих для указания диапазонов.
Фиг.15В представляет собой вид, иллюстрирующий пример операции указания на основе подходящих для указания диапазонов.
Фиг.16А представляет собой вид, иллюстрирующий другой пример операции указания на основе подходящих для указания диапазонов.
Фиг.16 В представляет собой вид, иллюстрирующий другой пример операции указания на основе подходящих для указания диапазонов.
Фиг.17 представляет собой вид (1/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.
Фиг.18А представляет собой вид (2/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.
Фиг.18В представляет собой вид (2/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.
Фиг.19 является блок-схемой, иллюстрирующей другую конфигурацию телевизионной системы конференц-связи.
Осуществление изобретения
Ниже будут подробно описаны предпочтительные варианты осуществления настоящего изобретения со ссылкой на приложенные чертежи. Отметим, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют по существу одни и те же функции и структуру, обозначены одними и теми же ссылочными позициями, и повторное пояснение этих конструктивных элементов опущено.
Фиг.1 является блок-схемой, иллюстрирующей конфигурацию телевизионной системы конференц-связи (системы обработки информации) согласно одному варианту осуществления изобретения. Как показано на фиг.1, телевизионная система конференц-связи включает в себя множество пользовательских оконечных устройств, содержащих систему 100 отображения и устройство 200 обработки информации, соединенное с этой системой 100 отображения. Как показано на фиг.2, система 100 отображения включает в себя устройство 102 отображения, такое как дисплей или проектор, устройство 104 получения изображений, такое как видеокамера или фотокамера, и громкоговоритель и микрофон или тому подобное (не иллюстрируются).
Например, первое пользовательское оконечное устройство, используемое пользователем А, включает в себя систему 100 отображения и устройство 200 обработки информации, Второе пользовательское оконечное устройство, используемое множеством других пользователей, включает в себя систему 400 отображения и устройство 500 обработки информации. Третье пользовательское оконечное устройство, используемое другим пользователем, включает в себя систему 600 отображения и устройство 700 обработки информации. Множество пользовательских оконечных устройств соединены линией 800 связи, включающей в себя сервер 300 связи.
Устройство 102 отображения отображает содержательное изображение IC, а устройство 104 получения изображений снимает изображение пользователя, расположенного перед устройством 102 отображения. Содержательное изображение IC представляет собой произвольное изображение, включающее в себя, текст, цифры, символ, изображение или их комбинацию, и отображается на произвольном изображении дисплейного экрана дисплейного устройства 102. «Перед дисплейным устройством 102» означает «перед экраном отображения устройства 102 отображения».
Устройство 200 обработки информации включает в себя блок 202 ввода заснятого изображения, блок 204 обнаружения, блок 206 распознавания, блок 208 генерирования зеркального изображения, блок 210 связи, блок 212 генерирования указывающего изображения, блок 214 генерирования наложенного изображения, управляющий отображением блок 216 управления отображением и блок 218 хранения.
Блок 202 ввода заснятого изображения принимает ввод заснятого изображения I1, снимающего пользователя, от устройства 104 получения изображений. Блок 202 ввода заснятого изображения подает заснятое изображение I1 на блок 204 обнаружения, блок 208 генерирования зеркального изображения и блок 210 связи. Заснятое изображение I1 представляет собой изображение, снимающее объект, размещенный в заранее заданных диапазонах перед устройством 102 отображения, то есть в диапазоне угла обзора устройства 104 получения изображений. Хотя заснятое изображение I1 представляет собой движущееся изображение, это заснятое изображение I1 может быть и неподвижным изображением в отдельных случаях. Пользователь обычно просматривает содержательное изображение IC, отображенное на устройстве 102 отображения. Следовательно, заснятое изображение I1 обычно включает в себя изображение, захватывающее лицо F пользователя, располагающееся перед экраном.
Блок 204 обнаружения обнаруживает лицо F пользователя на заснятом изображении I1 и по результату обнаружения генерирует информацию положения, указывающую положение этого лица F в заснятом изображении I1. Блок 204 обнаружения избирательно обнаруживает из заснятого изображения I1 указывающий объект Н, который пользователь использует для указания на произвольное местоположение, и по результату обнаружения генерирует информацию положения, указывающую положение указывающего объекта Н в заснятом изображении I1. Блок 204 обнаружения подает результат обнаружения на блок 206 распознавания, блок 210 связи и блок 212 генерирования указывающего изображения, и подает информацию положения на блок 210 связи и блок 212 генерирования указывающего изображения. Блок 204 обнаружения обнаруживает лицо F пользователя и указывающий объект Н с помощью общеизвестного метода обнаружения изображения на основе информации о значениях свойств, хранящейся, например, в блоке 218 хранения. Указывающий объект Н относится к части тела или инструменту, таким как палец на руке, ладонь руки, тыльная сторона руки пользователя, либо указка, обычно используемая для указания на произвольное местоположение.
Блок 206 распознавания распознает пользователя по результату обнаружения лица F и выборочно распознает форму указывающего объекта Н по результату обнаружения указывающего объекта Н. Блок 206 распознавания подает результат распознавания на блок 210 связи и блок 212 генерирования указывающего изображения. Блок 206 распознавания распознает пользователя и форму указывающего объекта Н с помощью общеизвестного метода распознавания на основе информации распознавания, хранящейся, например, в блоке 218 хранения. Форма указывающего объекта Н относится к форме руки или к ориентации руки пользователя и используется для определения режима отображения указывающего изображения 13, хотя оно описано ниже. Помимо этого, блок 206 распознавания можно удалить, если пользователь и указывающий объект Н не распознаются.
Блок 208 генерирования зеркального изображения генерирует из заснятого изображения I1 зеркальное изображение I2, чтобы подать его на блок 212 генерирования указывающего изображения. Блок 208 генерирования зеркального изображения генерирует также зеркальное изображение I2 из заснятого изображения I1 другого пользователя. «Зеркальное изображение I2» означает изображение, которое представляет собой зеркальное изображение, в котором перевернуты левое и правое заснятого изображения I1.
Блок 210 связи функционирует в качестве передающего блока, который передает заснятое изображение I1 пользователя, результат обнаружения, результат распознавания и информацию положения к другому пользовательскому оконечному устройству по линии 800 связи. Далее, блок 210 связи функционирует в качестве приемного блока, который принимает заснятое изображение I1 другого пользователя, результат обнаружения, результат распознавания и информацию положения от другого пользовательского оконечного устройства по линии 800 связи. Блок 210 связи кодирует заснятое изображение, поданное от блока 202 ввода заснятого изображения, для передачи и декодирует принятые кодированные данные в заснятое изображение I1 для подачи на блок 208 генерирования зеркального изображения.
Блок 212 генерирования указывающего изображения генерирует указывающее изображение I3 на основе результата обнаружения, результата распознавания, информации положения и зеркального изображения I2 для подачи на блок 214 генерирования наложенного изображения. Блок 212 генерирования указывающего изображения генерирует также указывающее изображение I3 заснятого изображения I1 другого пользователя. Блок 212 генерирования указывающего изображения выборочно генерирует указывающее изображение I3 с помощью идентификационной информации, хранящейся в блоке 218 хранения.
Указывающее изображение I3 включает в себя информацию, которая дает возможность конкретизировать указывающее положение, которое указывает пользователь посредством указывающего объекта Н, и информацию, которая дает возможность идентифицировать пользователя. Информация, которая дает возможность конкретизировать указываемое положение, относится, например, к изображению указывающего объекта Н, включенному в заснятое изображение I1, и к изображению, показывающему указываемое положение, конкретизированное из результата обнаружения указывающего объекта Н. Информация, которая дает возможность идентифицировать пользователя, относится, например, к изображению лица F пользователя, включенному в заснятое изображение I1, и к идентификационной информации, назначенной этому пользователю (например, к имени и характеристике пользователя). Далее, подробности указывающего изображения I3 будут описаны ниже.
Блок 214 генерирования наложенного изображения генерирует наложенное изображение I4 на основе информации IC, указывающего изображения I3 и информации положения для подачи на блок 216 управления отображением. Блок 214 генерирования наложенного изображения может генерировать изображение с наложением I4, включающее в себя указывающие изображения I3 пользователя и другого пользователя, и может в отдельных случаях генерировать изображение с наложением I4, включающее в себя только указывающее изображение I3 другого пользователя. «Изображение с наложением I4» относится к изображению, в котором указывающее изображение I3 наложено на содержательное изображение IC, отображенное на устройстве 102 отображения, на основе информации положения. Помимо этого, подробности изображения с наложением I4 будут описаны ниже.
Блок 216 управления отображением отображает содержательное изображение IC на устройстве 102 отображения. Дополнительно блок 216 управления отображением заставляет устройство 102 отображения отображать изображение I4 с наложением, в котором указывающее изображение I3 наложено на содержательное изображение IC. Блок 218 хранения сохраняет информацию о значениях свойств, использованную для обнаружения лица F пользователя и указывающего объекта Н. Блок 218 хранения хранит информацию распознавания, использованную для распознавания пользователя и формы указывающего объекта Н. Блок 218 хранения сохраняет, например, изображения, использованные для генерирования указывающего изображения I3 (например, изображения, показывающие указываемое положение и характеристики, представляющие пользователя) и текста (например, имен пользователей).
Помимо этого, в конфигурации, показанной на фиг.1, изображения обнаруживаются и распознаются с помощью заснятого изображения I1. Однако изображения могут обнаруживаться и распознаваться при использовании зеркального изображения I2 вместо заснятого изображения I1. В этом случае информацию, использованную для обнаружения и распознавания изображений, подготавливают для сопряжения с зеркальным изображением I2.
Далее, в конфигурации, показанной на фиг.1, результат обнаружения, результат распознавания и информация положения передаются к другому пользовательскому оконечному устройству вместе с заснятым изображением I1. Однако при передаче лишь заснятого изображения I1 (или зеркального изображения I2) к другому пользовательскому оконечному устройству это пользовательское оконечное устройство, которое приняло заснятое изображение, может обнаруживать и распознавать изображения и генерировать информацию положения. Далее, при передаче лишь заснятого изображения I1 (или зеркального изображения I2) к серверу 300 связи этот сервер 300 связи, который принял заснятое изображение I1 (или зеркальное изображение I2), может обнаруживать и распознавать изображения, генерировать информацию положения и передавать результат обработки к другим пользовательским оконечным устройством.
Фиг.3 является блок-схемой, иллюстрирующей аппаратную конфигурацию устройства 200 обработки информации. Как показано на фиг.3, устройство 200 обработки информации включает в себя MPU 230 (микропроцессорный блок), ROM 232 (постоянно запоминающее устройство), RAM 234 (оперативное запоминающее устройство), носитель 236 данных, интерфейс 238 ввода-вывода, устройство 240 операционного ввода, устройство 242 отображения, интерфейс 244 связи и шину 246. Эта шина 246 соединяет MPU 230, ROM 232, RAM 234, носитель 236 данных, интерфейс 238 ввода-вывода и интерфейс 244 связи.
MPU 230 считывает программу, хранящуюся, например, в ROM 232, RAM 234 и носителе 236 данных, разворачивает эту программу в RAM 234 и исполняет эту программу для управления работой устройства 200 обработки информации. MPU 230 частично функционирует как блок 204 обнаружения, блок 236 распознавания, блок 208 генерирования зеркального изображения, блок 213 генерирования указывающего изображения, блок 214 генерирования наложенного изображения и блок 216 управления отображением. RAM 234 функционирует как блок 218 хранения.
Интерфейс 238 ввода-вывода, например, вводит данные в аудиовизуальную систему и выводит их из нее. Интерфейс 238 ввода-вывода частично функционирует как блок 202 ввода заснятого изображения и блок 216 управления отображением. Устройство 240 операционного ввода включает в себя, например, клавиатуру, мышь и сенсорную панель и подает операционную информацию, введенную посредством этого устройства, в MPU 230 через интерфейс 238 ввода-вывода. Устройство 242 отображения отображает, например, информацию изображения и текстовую информацию, указывающую рабочее состояние системы. Интерфейс 244 связи, например, передает и принимает данные между сервером 300 связи и другими устройствами 500 и 700 обработки информации по линии 800 связи. Интерфейс 244 связи частично функционирует как блок 210 связи.
Фиг.4 и фиг.5 представляют собой блок-схемы алгоритма, иллюстрирующие процедуру основной работы телевизионной системы конференц-связи. Фиг.4 и фиг.5 иллюстрируют процедуру указания на произвольное местоположение на содержательном изображении I в состоянии, когда обычное содержательное изображение IC отображается на множестве пользовательских оконечных устройств. Помимо этого, операция по указанию на произвольное местоположение на содержательном изображении IC именуется также как «операция указания». В данном описании, хотя и будет описан случай, когда операция указания выполняется между пользовательским оконечным устройством А пользователя А и пользовательским оконечным устройством В пользователя В, будет точно так же описан случай, когда операция указания выполняется между тремя или более пользовательскими оконечными устройствами.
Сначала пользовательское оконечное устройство А принимает решение, выбрал ли пользователь А режим указания (этап S100). Этот режим указания может быть выбран путем манипулирования пользовательским оконечным устройством А или выбран введением заранее заданного жеста. Когда выбран режим указания, пользовательское оконечное устройство А принимает решение, что установлено сетевое соединение с другим пользовательским оконечным устройством - в данном случае, с пользовательским оконечным устройством В (этап S102). Далее, если соединение с сетью не установлено, исполняется обработка на этапе S108, и если соединение с сетью установлено, исполняется обработка на этапе S104.
Сначала, со ссылкой на фиг.6А - фиг.11, будет описана работа, когда на этапе S102 решено, что соединение с сетью не установлено. Фиг.6A-6D представляют собой виды, иллюстрирующие примеры генерирования изображения I4, включающего в себя указывающее изображение I3 пользователя. Помимо этого, таким же образом будет описан случай, когда генерируется изображение I4 с перекрытием, включающее в себя, например, указывающее изображение Ia3 пользователя А (описано ниже).
Блок 202 ввода заснятого изображения принимает заснятое изображение I1, снимающее пользователя А, от устройства 104 получения изображения (этап S200). Заснятое изображение I1 представляет собой изображение, снимающее объект, расположенный в заранее заданных диапазонах перед устройством 102 отображения, то есть в диапазоне угла обзора устройства 104 получения изображений. Фиг.6А иллюстрирует пример заснятого изображения I1, показывающего фоновое изображение и верхнюю часть тела пользователя, включающую в себя палец руки, которая является примером указывающего объекта Н, и лицо F, на левой стороне от смотрящего.
Блок 204 обнаружения обнаруживает лицо F пользователя А на заснятом изображении I1 и генерирует по результату обнаружения информацию положения, указывающую положение лица F на заснятом изображении I1. Блок 206 распознавания выборочно распознает пользователя А по результату обнаружения лица F. Блок 208 генерирования зеркального изображения генерирует зеркальное изображение I2 из заснятого изображения I1 (этап S202). Это зеркальное изображение представляет собой изображение, которое является зеркальным изображением, в котором перевернуты левое и правое заснятого изображения. Фиг.6 В иллюстрирует зеркальное изображение I2 заснятого изображения I1, показанного на фиг.6А. Зеркальное изображение I2 включает в себя фоновое изображение и изображение верхней части тела пользователя, включающее в себя указывающий объект Н и лицо F, на правой стороне от смотрящего.
Блок 212 генерирования указывающего изображения генерирует указывающее изображение I3 на основе результата обнаружения, информации положения и зеркального изображения I2 (этап S204). Указывающее изображение I3 представляет собой изображение, включающее в себя информацию, которая дает возможность конкретизировать указывающее положение, которое указывает пользователь А посредством указывающего объекта Н, и информацию, которая дает возможность идентифицировать пользователя А. Фиг.6С иллюстрирует пример указывающего изображения I3, генерированного из зеркального изображения I2, показанного на фиг.6 В. Иллюстрированное на фиг.6С указывающее изображение I3 генерируется путем определения области, окружающей лицо F пользователя, из зеркального изображения I2 на основе информации положения этого лица F. Указывающее изображение I3 генерируется за счет выполнения прозрачным изображения иного, нежели эта окружающая область, на основе зеркального изображения I2, и вырезания изображения этой окружающей области.
Окружающая область устанавливается как область в диапазоне некоторого расстояния от положения лица F в направлениях вверх, вниз, влево и вправо на основе, например, информации положения лица F. Например, окружающую область можно устанавливать как область, имеющую диапазон на ширине, соответствующий двум лицам в направлениях влево и вправо на основе положения лица F, и с высотой, соответствующей двум лицам F в направлениях вверх и вниз. Окружающая область устанавливается пользовательским оконечным устройством или пользователем, чтобы она включала в себя изображение указывающего объекта Н вместе с изображением лица F.
Блок 214 генерирования наложенного изображения генерирует наложенное изображение I4 на основе содержательного изображения IC, указывающего изображения I3 и информации положения (этап S206). Блок 216 управления отображением отображает наложенное изображение I4 на устройстве 102 отображения (этап S208). Фиг.6D иллюстрирует пример наложенного изображения I4, в котором указывающее показанное на фиг.6 В изображение I3 наложено на содержательное изображение IC. В показанном на фиг.6D перекрытом изображении I4, за счет сопряжения диапазонов зеркального изображения I2 с диапазонами содержательного изображения IC, указывающее изображение I3 накладывается на содержательное изображение IC на основе информации положения лица F. Помимо этого, в изображении I4 с наложением указывающее изображение I3 может быть наложено на содержательное изображение IC после увеличения прозрачности указывающего изображения I3.
Фиг.7А и фиг.7В представляют собой виды, иллюстрирующие соотношение между положением пользователя перед устройством 102 отображения и позицией наложения указывающего изображения I3. Как описано выше, изображение I4 с наложением генерируется наложением указывающего изображения I3, сгенерированного из зеркального изображения I2, на содержательное изображение IC на основе информации положения лица F. Следовательно, как показано на фиг.7А, когда пользователь перемещается вправо перед устройством 102 отображения, указывающее изображение I3 накладывается на правой стороне содержательного изображения IC. В противоположность этому, как показано на фиг.7В, когда пользователь перемещается влево перед устройством 102 отображения, указывающее изображение накладывается на левой стороне содержательного изображения IC.
Далее, изображение I4 с наложением в принципе генерируется посредством сопряжения диапазонов зеркального изображения I2 (или заснятого изображения I1), то есть диапазона угла обзора устройства 104 получения изображения с диапазоном содержательного изображения IC. Следовательно, когда, как показано на фиг.7А и фиг.7В, устройство 104 получения изображений размещено посередине передней части устройства 102 отображения и диапазоны угла обзора этого устройства 104 получения изображений сопряжены с диапазонами содержательного изображения IC, пользователь размещается перед указывающим изображением I3, наложенным на содержательное изображение IC.
В противоположность этому, если диапазоны угла обзора в устройстве 104 получения изображения вдвое превышают диапазоны содержательного изображения IC, когда пользователь перемещается к правой стороне на расстояние x, указывающее изображение I3 перемещается к правой стороне на расстояние x/2. Далее, если диапазон угла обзора в устройстве 104 получения изображений составляет половину от диапазонов содержательного изображения IC, когда пользователь перемещается к правой стороне на расстояние x, указывающее изображение I3 перемещается к правой стороне на расстояние 2х.
Фиг.8 - фиг.11 представляют собой виды, иллюстрирующие примеры генерирования изображения I4 с наложением. Помимо этого, на фиг.8 - фиг.11 пользователь А указывает на заранее заданную область, включенную в содержательное изображение IC (область, в которой показано изображение НЛО), посредством пальца пользователя А, который и является указывающим объектом Н.
Аналогично изображению I4 с наложением, проиллюстрированному на фиг.6D, фиг.7А и фиг.7В, в изображении I4 с наложением, проиллюстрированном на фиг.8, указывающее изображение Ia3, показывающее лишь окружающую область лица F пользователя А, наложено на содержательное изображение IC. При этом изображение I4 с наложением включает в себя также фоновое изображение, включенное в окружающую область.
В проиллюстрированном на фиг.9 изображении I4 с наложением указывающее изображение Ia3, в котором фоновое изображение удалено из зеркального изображения Ia2, наложено на содержательное изображение IC. Указывающее изображение I3 генерируется путем установления области верхней части тела, включающей лицо F пользователя А и указывающий объект Р, включенные в зеркальное изображение Ia2 на основе результата обнаружения лица F пользователя А, делая прозрачным изображение иное, нежели установленная область, и вырезая изображение этой установленной области.
В проиллюстрированном на фиг.10 изображении I4 с наложением указывающее изображение Ia3, сформированное с изображением областей лица F пользователя А, установленных из зеркального изображения Ia2, и указывающего объекта Н, накладывается на содержательное изображение IC. Указывающее изображение Ia3 генерируется за счет выполнения прозрачным изображения иного, нежели установленная область, и вырезая изображение этой установленной области. Указывающее изображение Ia3 генерируется путем обнаружения лица F пользователя А и указывающего объекта Н из заснятого изображения Ia1 и генерирования информации положения лица F пользователя А и указывающего объекта Н.
В проиллюстрированном на фиг.11 изображении I4 с наложением изображения, показывающее указывающее положение, и указывающее изображение Ia3, включающее в себя текстовое указание имени пользователя А, наложены на содержательное изображение IC. В данном случае изображение, включенное в зеркальное изображение Ia2, не используется для указывающего изображения Ia3. Указывающее изображение Ia3 генерируется путем обнаружения лица F и указывающего объекта Н пользователя А на заснятом изображении Ia1 и генерирования информации положения лица F и указывающего объекта Н пользователя А. Далее, пользователь А распознается по результату обнаружения лица F пользователя А, и текст «пользователь А», показывающий имя распознанного пользователя А, считывается из блока 218 хранения. Аналогично, форма указывающего объекта Н распознается по результату обнаружения указывающего объекта Р, и изображение, сопрягающее форму распознанного указывающего объекта Н, считывается из блока 218 хранения.
Помимо этого, указывающее изображение Ia3 может включать в себя характеристику (например, подобие), назначенное пользователю А, вместо текста, показывающего имя пользователя А, и может включать в себя изображение области лица F пользователя А. Далее, указывающее изображение Ia3 может включать в себя изображение области указывающего объекта Н вместо изображения, показывающего указывающее положение.
Затем будет описана работа, когда принимается решение на этапе S102, что установлено соединение с сетью. Пользовательские оконечные устройства А и В отображают общее содержательное изображение IC. Блок 210 связи пользовательского оконечного устройства А передает заснятое изображение Ia1 пользователя А, результат обнаружения, результат распознавания и информацию положения на пользовательское оконечное устройство В по линии 800 связи (этап S104). Далее, блок 210 связи пользовательского оконечного устройства А принимает заснятое изображение Ib1 пользователя В, результат обнаружения, результат распознавания и информацию положения от пользовательского оконечного устройства В по линии 800 связи (этап S106). Посредством этого пользовательское оконечное устройство А получает заснятое изображение Ib1 пользователя В (этап S200). Помимо этого, та же самая обработка выполняется также на пользовательском оконечном устройстве В.
Далее, аналогично заснятому изображению Ia1 пользователя А, блок 208 генерирования зеркального изображения генерирует зеркальное изображение Ib2 из заснятого изображения Ib1 пользователя В (этап S202). Аналогично указывающему изображению Ia3 пользователя А, блок 212 генерирования зеркального изображения генерирует указывающее изображение Ib3 пользователя В на основе результата обнаружения, выбранного результата распознавания, информации положения и зеркального изображения Ib3 (этап S204). Блок 214 генерирования наложенного изображения генерирует изображение I4 с наложением на основе содержательного изображения IC, указывающего изображения Ia3 и информации положения пользователя А и указывающего изображения Ib3 и информации положения пользователя В (этап S206). Блок 216 управления отображением отображает изображение I4 с наложением на устройстве 102 отображения (этап S208). Помимо этого, та же самая обработка выполняется также на пользовательском оконечном устройстве В.
Фиг.12А - фиг.12С представляют собой виды, иллюстрирующие примеры генерирования изображений I4 с наложением, включающих в себя указывающие изображения Ia3 и Ib3 пользователей А и В. Фиг.12А иллюстрирует изображение верхней части тела, включающее в себя палец Н руки и лицо F пользователя А, на левой стороне от смотрящего и иллюстрирует зеркальное изображение Ia2 заснятого изображения Ia1 пользователя А, включающее в себя фоновое изображение. Фиг.12 В иллюстрирует изображение верхней части тела, включающее в себя палец Н руки и лицо F пользователя В на правой стороне от смотрящего и иллюстрирует зеркальное изображение Ib2 заснятого изображения Ib1 пользователя В, включающее в себя фоновое изображение.
Фиг.12С иллюстрирует пример изображения I4 с наложением, в котором указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC. Зеркальное изображение Ia2 пользователя А включает в себя изображение пользователя А на левой стороне от смотрящего, а зеркальное изображение Ib2 пользователя В включает в себя изображение пользователя В на правой стороне от смотрящего. Следовательно, в перекрытом изображении I4 указывающее изображение Ia3 пользователя А наложено на содержательное изображение IC на левой стороне от смотрящего, а указывающее изображение Ib3 пользователя В наложено на содержательное изображение IC на правой стороне от смотрящего. Указывающие изображения Ia3 и Ib3 пользователей А и В включают в себя информацию, которая дает возможность идентифицировать каждого пользователя и может сразу дать возможность установить указывающее положение каждого пользователя.
Помимо этого, проиллюстрированное на фиг.12С наложенное изображение I4 предполагает случай, когда ширина содержательного изображения IC и ширины зеркальных изображения Ia2 и Ib2 пользователей А и В одни и те же. Далее, хотя проиллюстрированное на фиг.12С наложенное изображение I4 генерируется аналогично примеру генерирования, проиллюстрированному на фиг.8, наложенное изображение I4 может генерироваться аналогично примерам генерирования, проиллюстрированным на фиг.9 - фиг.11.
Фиг.13А - фиг.13С представляют собой виды, иллюстрирующие видоизмененные примеры генерирования наложенного изображения I4, включающего в себя указывающие изображения Ia3 и Ib3 пользователей А и В. В этих видоизмененных примерах предполагается случай, когда указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC, перекрывая друг друга. Фиг.13А иллюстрирует зеркальное изображение Ia2 пользователя А, включающее в себя изображение верхней части тела, в том числе пальца Н руки и лицо F в центре. Фиг.13 В иллюстрирует зеркальное изображение Ib3 пользователя В, включающее в себя изображение верхней части тела, в том числе пальца Н руки и лицо F в центре.
Фиг.13С иллюстрирует пример изображения I4 с наложением, в котором указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC. Зеркальное изображение Ia2 пользователя А включает в себя изображение пользователя А в центре, а зеркальное изображение Ib2 пользователя В включает в себя изображение пользователя В в центре. Поэтому, когда изображение I4 с наложением генерируется аналогично примеру генерирования, проиллюстрированному на фиг.12С, указывающие изображения Ia3 и Ib3 пользователей А и В накладываются друг на друга, вследствие чего уменьшается поле обзора. Следовательно, как показано на фиг.13С, за счет увеличения прозрачности отображения указывающих изображений Ia3 и Ib3 пользователей А и/или В подавляется уменьшение поля обзора указывающих изображений Ia3 и Ib3, которые наложены с наложением одного другим.
Выше описан случай, когда диапазоны угла обзора устройства 104 получения изображений сопряжены с диапазонами содержательного изображения IC для генерирования изображения I4 с наложением. В данном случае, когда диапазон угла обзора намного шире, чем диапазон содержательного изображения IC, или положение пользователя намного дальше от устройства 104 получения изображений, пользователь А вынужден сделать относительно широкое движение для операции указании. Поэтому предлагается установить пригодные для указания диапазонов, в которых пользователь может указывать без перемещения, на основе положения лица F пользователя и сопрягать эти подходящие для указания диапазонов содержательного изображения IC вместо диапазона угла обзора для генерирования изображения I4 с наложением.
Фиг.14 представляет собой вид, иллюстрирующий установочный пример подходящих для указания диапазонов. Показанные на фиг.14 подходящие для указания диапазоны устанавливаются как диапазоны, которые можно указывать пальцем левой руки или правой руки в состоянии, когда левая рука вытянута влево, влево вверх или влево вниз, а правая рука вытянута вправо, вправо вверх или вправо вниз, на основе положения лица F пользователя А. Например, в показанном на фиг.14 случае подходящие для указания диапазоны устанавливаются как диапазоны шириной L вокруг положения лица F пользователя А. Пригодные для указания диапазоны можно установить путем задания пользователю А указать диапазоны, которые пользователь А собирается указывать, и обнаружения области На указывающего объекта Н, который указывает на эти диапазоны. Далее, подходящие для указания диапазонов можно установить на основе размера области Fa лица F пользователя А как диапазон ширины, соответствующей четырем лицам F в направлениях влево и вправо, и шириной, соответствующей двум лицам F в направлениях вверх и вниз.
Фиг.15А и фиг.15 В представляют собой виды, иллюстрирующие примеры операции указания на основе подходящих для указания диапазонов. Фиг.15А иллюстрирует зеркальное изображение I2 заснятого изображения I1, включающего пользователя А и пользователя С. Зеркальное изображение I2 включает в себя изображение пользователя А, снимающее верхнюю часть тела, включающую палец Н на руке и лицо F, на левой стороне от смотрящего и включает в себя изображение пользователя С, снимающее верхнюю часть тела, включающую палец Н на руке и лицо F, на правой стороне от смотрящего. Пользователь С расположен дальше от устройства 104 получения изображений, чем пользователь А.
На зеркальном изображении I2 показаны прямоугольные рамки, представляющие области Fa, На, Fc и Hc обнаружения лиц F и указывающих объектов Н пользователей А и С и пригодные для указания диапазоны Ра и Pc. Помимо этого, показаны прямоугольные рамки областей Fa, На, Fc и Hc обнаружения и пригодные для указания диапазоны Ра и Рс вместо формирующей части зеркального изображения I2 для облегчения описания, чтобы проиллюстрировать обработку пользовательского оконечного устройства. Пользователь А может выполнять операцию указания перемещением указывающего объекта в пригодных для указания диапазоны Ра этого пользователя A и в диапазонах зеркального изображения I2. Аналогично, пользователь С может выполнять операцию указания перемещением указывающего объекта в пригодных для указания диапазонах Pc этого пользователя C и в диапазонах зеркального изображения I2.
При этом пригодные для указания диапазоны Ра пользователя А и пригодные для указания диапазоны Рс пользователя С сопрягаются с диапазонами содержательного изображения IC, соответственно. Следовательно, пользователи А и С могут указывать на произвольное положение в содержательном изображении IC перемещением указывающих объектов Н в произвольные положения в пригодных для указания диапазонах Ра и Рс этих пользователей А и С без перемещения указывающих объектов Н в диапазонах углов обзора устройства 104 получения изображений.
Фиг.15 В иллюстрирует пример изображения I4 с наложением, включающем указывающие изображения Ia3 и Ib3 пользователей А и С. В зеркальном изображении I2, показанном на фиг.15А, пользователь А указывает на положение ближе вправо от середины пригодных для указания диапазонов Ра пользователя А, а пользователь С указывает на положение ближе влево от середины пригодных для указания диапазонов Рс пользователя С. Следовательно, в изображении I4 с наложением указывающее изображение Ia3 пользователя А накладывается ближе вправо от середины содержательного изображения IC, а указывающее изображение Ic3 пользователя С накладывается ближе влево от середины содержательного изображения IC. При этом указывающие изображения Ia3 и Ib3 пользователей А и С показывают положения, на которые указывают пользователи А и С в пригодных для указания диапазонах Ра и Pc этих пользователей А и С.
Аналогично, когда пользователь А указывает на правый верхний угол пригодных для указания диапазонов Ра этого пользователя А, указывающее изображение Ia3 пользователя А накладывается на правый верхний угол содержательного изображения IC, а когда пользователь С указывает на левый нижний угол пригодных для указания диапазонов Pc этого пользователя С, указывающее изображение Ia3 пользователя С накладывается на левый нижний угол содержательного изображения IC. Помимо этого, хотя проиллюстрированное на фиг.15 В наложенное изображение I4 генерируется аналогично генерированию примера, показанного на фиг.11, изображение I4 с наложением может генерироваться и аналогично генерированию примера, показанного на фиг.10.
Фиг.16А и фиг.16 В представляют собой виды, иллюстрирующие другие примеры операции указания на основе пригодных для указания диапазонов. Фиг.16А, аналогично фиг.15А, иллюстрирует зеркальное изображение I2, снимающее пользователей А и С. На этом зеркальном изображении I2 показаны прямоугольные рамки, представляющие области Fa и На обнаружения лица F и пальца Н пользователя А и пригодные для указания диапазоны Ра. В показанном на фиг.16А примере за счет обнаружения лиц F пользователей А и С из заснятого изображения I1 и сравнения размеров областей Fa и Fc обнаруженных лиц F только пользователю А с большей областью лица F, то есть пользователю А, ближайшему к устройству 104 получения изображений, разрешается выполнять операцию указания.
Фиг.16В иллюстрирует пример изображения I4 с наложением, включающего указывающее изображение Ia3 пользователя А. В показанном на фиг.16В зеркальном изображении I2 пользователь А указывает на положение ближе вправо от середины пригодных для указания диапазонов Ра этого пользователя А. Следовательно, в изображении I4 с наложением указывающее изображение Ia3 пользователя А накладывается ближе вправо от середины содержательного изображения IC.
Кроме того, вместо пользователя, ближайшего к устройству 104 получения изображений, только самому далекому от этого устройства 104 получения изображений пользователю, расположенному на адекватном расстоянии от устройства 104 получения изображений, может быть разрешено выполнять операцию указания. Далее, когда обнаружено множество лиц F, только заранее заданному числу пользователей, расположенных на адекватном расстоянии от устройства 104 получения изображений, может быть разрешено выполнять операцию указания.
Выше описан случай, когда изображение I4 с наложением получается путем обнаружения положения указывающего объекта. А пользователь, между тем, желает в отдельных случаях накладывать указывающее изображение I3 на содержательное изображение IC в разных режимах. Поэтому предлагается генерировать изображение I4 с наложением, включающее в себя указывающее изображение I3 иного вида путем обнаружения положения указывающего объекта Н и преобразовании формы указывающего объекта Н. Посредством этого, за счет изменения вида указывающего изображения I3 возможно, например, передавать дополнительную информацию другим пользователя и благодаря этому повышать удобство при операции указания.
Фиг.17 - фиг.18 В представляют собой виды, иллюстрирующие примеры изображения I4 с наложением, включающего указывающее изображение I3 отличного вида. В показанном на фиг.17 примере пользователь формирует кольцо, сгибая большой и указательный пальцы, и перемещает это кольцо слева направо перед устройством 102 отображения, рисуя волну. Тогда пользовательское оконечное устройство распознает форму указывающего объекта Н и генерирует изображение I4 с наложением, включающее указывающее изображение I3, которое показывает знак, соответствующий пользователю, согласно режиму, сопрягающему распознанную форму. При этом указывающее изображение I3 показывает знак согласно режиму, который дает возможность ясно распознать этот знак. В изображении I4 с наложением, как указано пунктирной линией на фиг.17, указывающее изображение I3 перемещается на содержательном изображении IC вместе с перемещением указывающего объекта Н.
В противоположность этому, в примерах, проиллюстрированных на фиг.18А и фиг.18 В, как показано на фиг.18А, пользователь сначала перемещает указательный палец слева направо перед устройством 102 отображения, рисуя волну в состоянии, когда указательный палец вытянут.Затем, пользовательское оконечное устройство распознает форму указывающего объекта Н и генерирует изображение I4 с наложением, включающее в себя указывающее изображение I3, представляющее знак согласно виду, отличному от фиг.17. При этом указывающее изображение 13 показывает знак согласно виду, который не обеспечивает ясного распознавания знака.
Далее, как показано на фиг.18 В, пользователь перемещает указывающий объект Н и затем делает кольцо, сгибая большой и указательный пальцы. Далее, пользовательское оконечное устройство распознает изменение формы указывающего объекта Н и генерирует изображение I4 с наложением, включающее в себя указывающее изображение I3, представляющее знак согласно тому же самому виду, как на фиг.17. В дополнение к этому, хотя на фиг.17 - фиг.18 В описаны случаи, где распознаются две различных формы, могут распознаваться три и более различных форм.
Как описано выше, в телевизионной системе конференц-связи согласно варианту осуществления данного изобретения, каждое пользовательское оконечное устройство обнаруживает лицо F пользователя из заснятого изображения I1 и генерирует информацию, указывающую положение этого лица F, генерирует указывающее изображение I3, включающее информацию, которая позволяет определить указывающее положение пользователя, и идентификационную информацию пользователя и генерирует и отображает изображение I4 с наложением, в котором указывающее изображение I3 наложено на содержательное изображение IC на основе информации положения. Далее, по меньшей мере заснятое изображение I1 передается к другим пользовательским оконечным устройством для отображения того же самого изображения I4 с наложением на других пользовательских оконечных устройствах. Посредством этого для пользователей, использующих множество пользовательских оконечных устройств, возможно сразу указывать на произвольное положение на содержательном изображении, которое обычно отображается, для других пользователей без усложненного манипулирования или оперирования.
Специалистам следует понимать, что различные модификации, комбинации, подкомбинации и изменения могут иметь место в зависимости от конструктивных требований и иных факторов, если они находятся в объеме приложенной формулы изобретения или ее эквивалентов.
Например, в вышеприведенном варианте осуществления описан случай, когда пользовательское оконечное устройство включает в себя систему 100 отображения и устройство 200 обработки информации. Однако, как иллюстрируется на фиг.19, пользовательское оконечное устройство может включать в себя устройство 250 обработки информации, в котором установлена конфигурация системы 100 отображения. В этом случае устройство 250 обработки информации имеет блок 252 получения изображений (устройство получения изображений) и блок 254 отображения (дисплейное устройство) в дополнение к конфигурации устройства 250 обработки информации, показанного на фиг.1. Помимо этого, в телевизионной системе конференц-связи может иметь место устройство обработки информации с вмонтированной системой отображения и раздельными устройствами обработки информации в смешанном виде.

Claims (9)

1. Устройство обработки информации, содержащее:
блок обнаружения для обнаружения указывающего объекта на заснятом изображении;
блок генерирования указывающей информации для генерирования указывающей информации на основе обнаружения блоком обнаружения указывающего объекта, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении;
блок связи для передачи указывающей информации на устройство, содержащее: модуль связи для приема указывающей информации и модуль управления отображением для управления отображаемым на экране отображения изображением с наложением на основе указывающей информации; при этом
блок обнаружения выполнен с возможностью обнаружения указывающего изображения, соответствующего форме указывающего объекта; при этом
указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта.
2. Устройство по п. 1, в котором указывающая информация включает в себя участок заснятого изображения, соответствующий обнаруженному указывающему объекту.
3. Устройство по п. 1, в котором указывающая информация включает в себя информацию о положении.
4. Устройство по п. 1, дополнительно содержащее:
блок получения изображений для получения заснятого изображения.
5. Устройство по п. 1, в котором возможный для указания диапазон основан на удалении пользователя от блока получения изображений, осуществляющего съемку изображения.
6. Устройство обработки информации, содержащее:
блок связи для приема от устройства, содержащего: модуль генерирования указывающей информации для генерирования указывающей информации и модуль связи для передачи указывающей информации, указывающей информации, включающей в себя указывающую информацию на заснятом изображении, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении; и
блок управления отображением для управления отображаемым на экране отображения изображением с наложением, соответствующим указывающей информации, наложенной на содержательное изображение для отображения; при этом
указывающая информация выполнена с возможностью указания указывающего изображения, соответствующего форме указывающего объекта; при этом
указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта.
7. Устройство по п. 6, в котором указывающая информация включает в себя участок заснятого изображения, соответствующий обнаруженному указывающему объекту, при этом указанный участок заснятого изображения наложен в качестве указывающего изображения.
8. Устройство по п. 6, в котором указывающая информация включает в себя информацию о положении, а изображение, определенное как соответствующее указывающему объекту, наложено в качестве указывающего изображения согласно информации о положении.
9. Устройство по п. 8, в котором определяемое изображение представляет собой изображение курсора.
RU2013113749/08A 2010-10-04 2011-10-03 Устройство обработки информации, система обработки информации и способ обработки информации RU2598598C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010224959A JP5598232B2 (ja) 2010-10-04 2010-10-04 情報処理装置、情報処理システムおよび情報処理方法
JP2010-224959 2010-10-04
PCT/JP2011/005567 WO2012046432A1 (en) 2010-10-04 2011-10-03 Information processing apparatus, information processing system and information processing method

Publications (2)

Publication Number Publication Date
RU2013113749A RU2013113749A (ru) 2014-10-10
RU2598598C2 true RU2598598C2 (ru) 2016-09-27

Family

ID=45927439

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013113749/08A RU2598598C2 (ru) 2010-10-04 2011-10-03 Устройство обработки информации, система обработки информации и способ обработки информации

Country Status (8)

Country Link
US (2) US9013535B2 (ru)
EP (1) EP2586203A4 (ru)
JP (1) JP5598232B2 (ru)
KR (1) KR101797260B1 (ru)
CN (1) CN103125115A (ru)
BR (1) BR112013007715B1 (ru)
RU (1) RU2598598C2 (ru)
WO (1) WO2012046432A1 (ru)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10360706B2 (en) 2012-05-22 2019-07-23 Sony Corporation Device method and program for adjusting a display state of a superimposed image
WO2014073384A1 (ja) * 2012-11-06 2014-05-15 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP6369101B2 (ja) * 2013-06-28 2018-08-08 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
JP2015052895A (ja) * 2013-09-06 2015-03-19 株式会社東芝 情報処理装置及び情報処理方法
CN104301660A (zh) * 2014-10-31 2015-01-21 四川量迅科技有限公司 一种便携式图像通信设备
US11102425B2 (en) * 2017-03-08 2021-08-24 Sony Corporation Image processing apparatus and image processing method
US20190004639A1 (en) * 2017-06-29 2019-01-03 Microsoft Technology Licensing, Llc Providing living avatars within virtual meetings
JP6714942B1 (ja) * 2020-03-04 2020-07-01 フォクレット合同会社 コミュニケーションシステム、コンピュータプログラム、及び情報処理方法
FR3139684A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion d’une présentation et dispositif pour sa mise en œuvre
FR3139685A1 (fr) * 2023-01-09 2024-03-15 Artean Procédé de gestion des interventions de différents intervenants lors d’une présentation visualisée lors d’une visioconférence et dispositif pour sa mise en œuvre

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6297804B1 (en) * 1998-08-13 2001-10-02 Nec Corporation Pointing apparatus
US20010028341A1 (en) * 2000-02-08 2001-10-11 Takayuki Kitazawa System and method of pointed position detection, presentation system, and program
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
EP1881478A2 (en) * 1998-02-03 2008-01-23 Seiko Epson Corporation Projection display apparatus, display method for same and image display apparatus
WO2009031457A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same
RU2398362C2 (ru) * 2006-06-16 2010-08-27 Эрикссон Аб Соединение независимых мультимедийных источников в конференц-связь

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07261920A (ja) * 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
JPH07271818A (ja) * 1994-03-31 1995-10-20 Toshiba Corp ハイパーメディアシステム
JP3267047B2 (ja) * 1994-04-25 2002-03-18 株式会社日立製作所 音声による情報処理装置
US5675361A (en) * 1995-08-23 1997-10-07 Santilli; Donald S. Computer keyboard pointing device
JP3877188B2 (ja) * 1997-04-10 2007-02-07 株式会社ウェブマネー 電子通貨システム
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
JPH11345087A (ja) * 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
US6265993B1 (en) * 1998-10-01 2001-07-24 Lucent Technologies, Inc. Furlable keyboard
JP2000122767A (ja) * 1998-10-14 2000-04-28 Nippon Telegr & Teleph Corp <Ntt> 同室感を持つ共有空間作成方法及び装置ならびに通信システム
KR100329392B1 (ko) * 1999-01-04 2002-03-22 구자홍 기록 디지털 데이터 스트림의 탐색정보 기록방법 및 이를 이용한 탐색방법
US7454125B2 (en) * 1999-01-04 2008-11-18 Lg Electronics Inc. Method and apparatus for recording search information and searching for recorded digital data streams using the search information
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US20010030668A1 (en) * 2000-01-10 2001-10-18 Gamze Erten Method and system for interacting with a display
JP3994672B2 (ja) * 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
US6947073B1 (en) * 2000-04-14 2005-09-20 The United States Of America As Represented By The Secretary Of The Navy Apparatus and method for detecting a moving target
JP3539553B2 (ja) * 2000-05-30 2004-07-07 シャープ株式会社 アニメーション作成方法及びアニメーション作成装置並びにアニメーション作成プログラムを記録したコンピュータ読み取り可能な記録媒体
US6910778B2 (en) * 2001-09-28 2005-06-28 Fujinon Corporation Presentation system using laser pointer
EP1302891A1 (de) * 2001-10-12 2003-04-16 Siemens Aktiengesellschaft Vorrichtung zum Erfassen und Darstellen von Bewegungen
JP2003209821A (ja) * 2002-01-15 2003-07-25 National Institute Of Advanced Industrial & Technology 指示確認システム
WO2003063067A1 (en) * 2002-01-24 2003-07-31 Chatterbox Systems, Inc. Method and system for locating positions in printed texts and delivering multimedia information
JP2003316510A (ja) 2002-04-23 2003-11-07 Nippon Hoso Kyokai <Nhk> 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
JP4040046B2 (ja) * 2003-03-14 2008-01-30 富士通株式会社 ポインタ領域検出装置、方法及びプログラム、画像の対応付け装置、方法及びプログラム、並びにコンテンツ配信サーバ、コンテンツ配信方法
JP4103652B2 (ja) * 2003-03-27 2008-06-18 日本電気株式会社 情報重畳表示装置、情報重畳表示方法、および、情報重畳表示プログラム
JP2004318793A (ja) * 2003-04-17 2004-11-11 Kenichi Horie 操作者頭部を基準とする情報端末
US7496560B2 (en) * 2003-09-23 2009-02-24 Amazon Technologies, Inc. Personalized searchable library with highlighting capabilities
US7149353B2 (en) * 2003-09-23 2006-12-12 Amazon.Com, Inc. Method and system for suppression of features in digital images of content
WO2005031526A2 (en) * 2003-09-23 2005-04-07 Amazon.Com, Inc. Personalized searchable library based on user ownership
JP2005117285A (ja) * 2003-10-07 2005-04-28 Hitachi Ltd 情報入力装置、通信端末及び通信方法
JP2005352580A (ja) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ ポインタ制御信号発生方法及び装置
JP4677245B2 (ja) * 2004-03-03 2011-04-27 キヤノン株式会社 画像表示方法、プログラム、画像表示装置及び画像表示システム
KR100612691B1 (ko) * 2004-04-30 2006-08-16 에스케이 텔레콤주식회사 동영상 화질 평가시스템 및 방법
JP2006105640A (ja) * 2004-10-01 2006-04-20 Hitachi Ltd ナビゲーション装置
JP2006186589A (ja) * 2004-12-27 2006-07-13 Olympus Imaging Corp 表示制御装置及び表示制御方法
US7864159B2 (en) * 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP4162015B2 (ja) 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
TW200802036A (en) * 2006-06-01 2008-01-01 Micro Nits Co Ltd Input method of a pointer input system
US20070291108A1 (en) 2006-06-16 2007-12-20 Ericsson, Inc. Conference layout control and control protocol
US8791994B2 (en) * 2006-06-29 2014-07-29 Nikon Corporation Replay device, replay system, and television set
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US8234578B2 (en) 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US20080172627A1 (en) * 2006-12-28 2008-07-17 Sharp Kabushiki Kaisha Information display apparatus, information providing server, information display system, method for controlling information display apparatus, method for controlling information providing server, control program and recording medium
US7924273B2 (en) * 2006-11-06 2011-04-12 Toshiba Matsushita Display Technology Co., Ltd. Display apparatus with optical input function
EP1950957A2 (en) * 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
JP4867766B2 (ja) * 2007-04-05 2012-02-01 セイコーエプソン株式会社 液晶装置、イメージセンサ、及び電子機器
US20130187854A1 (en) * 2007-05-26 2013-07-25 Moon Key Lee Pointing Device Using Camera and Outputting Mark
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8089476B2 (en) * 2007-08-01 2012-01-03 Sony Corporation Liquid crystal device
JP5294612B2 (ja) * 2007-11-15 2013-09-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想共有空間における参照マークの自動生成方法、装置及びプログラム
JP4462334B2 (ja) * 2007-11-16 2010-05-12 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報共有システム
JP4958759B2 (ja) * 2007-12-18 2012-06-20 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR100952699B1 (ko) * 2008-03-10 2010-04-13 한국표준과학연구원 촉각센서를 이용한 터치스크린장치의 풀브라우징 표시방법
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체
US8144241B2 (en) * 2008-04-04 2012-03-27 Sony Corporation Imaging apparatus, image processing apparatus, and exposure control method
CN102150116B (zh) 2008-04-09 2014-03-12 惠普开发有限公司 远程控制指示器、远程控制指示方法及设备
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
JP2010011364A (ja) * 2008-06-30 2010-01-14 Canon Inc 画像出力システムおよびその制御方法、画像入力装置およびその制御方法、ならびに、画像出力装置およびその制御方法
FI20085794A0 (fi) * 2008-08-26 2008-08-26 Multitouch Oy Vuorovaikutteinen näyttölaite
KR100912109B1 (ko) * 2008-08-27 2009-08-13 왕상주 멀티미디어 컨텐츠를 송신하는 장치, 멀티미디어 컨텐츠를 중계하는 시스템 및 그 방법
JP2010098542A (ja) * 2008-10-16 2010-04-30 Sony Corp 情報処理装置、表示装置、および情報処理システム
JP5310007B2 (ja) * 2008-10-16 2013-10-09 ソニー株式会社 情報処理システム、表示装置、出力装置および情報処理装置
JP4666060B2 (ja) * 2008-11-14 2011-04-06 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP5369702B2 (ja) * 2009-01-23 2013-12-18 セイコーエプソン株式会社 共有情報表示装置、共有情報表示方法およびコンピュータプログラム
JP5233708B2 (ja) * 2009-02-04 2013-07-10 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5113781B2 (ja) * 2009-02-17 2013-01-09 シャープ株式会社 テレビ電話装置
US20100278071A1 (en) * 2009-04-29 2010-11-04 Tomoki Hattori Method and apparatus for discovering a device on a network
JP5361567B2 (ja) * 2009-06-25 2013-12-04 キヤノン株式会社 データ処理装置、データ処理方法およびプログラム
JP2011028560A (ja) * 2009-07-27 2011-02-10 Sony Corp 情報処理装置、表示方法及び表示プログラム
US8264518B2 (en) * 2009-09-28 2012-09-11 Cisco Technology, Inc. Gesture-based actions in a video communication session
CN102148922B (zh) * 2010-02-08 2013-01-16 联想(北京)有限公司 一种电子设备、图像采集装置及图像采集控制方法
WO2011098654A1 (en) * 2010-02-09 2011-08-18 Multitouch Oy Interactive display
EP2579162B1 (en) * 2010-06-03 2016-12-07 Sony Interactive Entertainment Inc. Information processing device
TWI446218B (zh) * 2010-06-30 2014-07-21 Pixart Imaging Inc A method of switching the range of interactive pointing devices and a handover fetch for interactive pointing devices
US8269750B2 (en) * 2010-08-13 2012-09-18 Omnivision Technologies, Inc. Optical position input system and method
JP5829390B2 (ja) * 2010-09-07 2015-12-09 ソニー株式会社 情報処理装置、および情報処理方法
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP5817400B2 (ja) * 2011-09-30 2015-11-18 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5957893B2 (ja) * 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6257329B2 (ja) * 2012-01-13 2018-01-10 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
CN104798129B (zh) * 2012-11-27 2018-10-19 索尼公司 显示装置、显示方法和计算机可读介质
JP2014217032A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1881478A2 (en) * 1998-02-03 2008-01-23 Seiko Epson Corporation Projection display apparatus, display method for same and image display apparatus
US6297804B1 (en) * 1998-08-13 2001-10-02 Nec Corporation Pointing apparatus
US6577249B1 (en) * 1999-10-19 2003-06-10 Olympus Optical Co., Ltd. Information display member, position detecting method using the same, apparatus and method of presenting related information, and information presenting apparatus and information presenting method
US20010028341A1 (en) * 2000-02-08 2001-10-11 Takayuki Kitazawa System and method of pointed position detection, presentation system, and program
RU2398362C2 (ru) * 2006-06-16 2010-08-27 Эрикссон Аб Соединение независимых мультимедийных источников в конференц-связь
WO2009031457A1 (en) * 2007-09-04 2009-03-12 Canon Kabushiki Kaisha Image projection apparatus and control method for same

Also Published As

Publication number Publication date
US9860484B2 (en) 2018-01-02
EP2586203A4 (en) 2015-11-11
BR112013007715A2 (pt) 2016-08-09
RU2013113749A (ru) 2014-10-10
JP2012079167A (ja) 2012-04-19
US9013535B2 (en) 2015-04-21
US20130314489A1 (en) 2013-11-28
JP5598232B2 (ja) 2014-10-01
CN103125115A (zh) 2013-05-29
KR20130115094A (ko) 2013-10-21
KR101797260B1 (ko) 2017-12-12
WO2012046432A1 (en) 2012-04-12
US20150222851A1 (en) 2015-08-06
BR112013007715B1 (pt) 2021-09-21
EP2586203A1 (en) 2013-05-01

Similar Documents

Publication Publication Date Title
RU2598598C2 (ru) Устройство обработки информации, система обработки информации и способ обработки информации
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
AU2013276984B2 (en) Display apparatus and method for video calling thereof
JP5521727B2 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US20140009494A1 (en) Display control device, display control method, and program
JP6163899B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
WO2013051180A1 (en) Image processing apparatus, image processing method, and program
CN111052063B (zh) 电子装置及其控制方法
US20120236180A1 (en) Image adjustment method and electronics system using the same
US20120229509A1 (en) System and method for user interaction
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
JP2014233035A (ja) 情報処理装置、表示制御方法及びプログラム
JP2012238293A (ja) 入力装置
US20230405435A1 (en) Home training service providing method and display device performing same
JP2006091948A (ja) 電子機器の制御装置
WO2018083737A1 (ja) 表示装置及び遠隔操作制御装置
KR20090060698A (ko) 가상 멀티 터치 스크린을 이용한 인터페이스 장치 및 그제어 방법
CN104914985A (zh) 手势控制方法及系统与视频流处理装置
CN110163192B (zh) 字符识别方法、装置及可读介质
KR20140090538A (ko) 디스플레이 장치 및 제어 방법
JP2009015720A (ja) 認識装置および認識方法
TW201337644A (zh) 資訊處理裝置、資訊處理方法、及記錄媒體
JP6208910B1 (ja) 動画像処理装置、動画像処理システム、動画像処理方法及び動画像処理プログラム
CN109857244A (zh) 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
KR101491648B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법