JP5282329B2 - 人関連ピクチャー及びビデオストリーム処理用通信装置 - Google Patents

人関連ピクチャー及びビデオストリーム処理用通信装置 Download PDF

Info

Publication number
JP5282329B2
JP5282329B2 JP2009550347A JP2009550347A JP5282329B2 JP 5282329 B2 JP5282329 B2 JP 5282329B2 JP 2009550347 A JP2009550347 A JP 2009550347A JP 2009550347 A JP2009550347 A JP 2009550347A JP 5282329 B2 JP5282329 B2 JP 5282329B2
Authority
JP
Japan
Prior art keywords
communication device
camera
face recognition
video
frc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009550347A
Other languages
English (en)
Other versions
JP2010519826A (ja
Inventor
ニック ソーン,
ジョン キングホーン,
Original Assignee
エスティー‐エリクソン、ソシエテ、アノニム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスティー‐エリクソン、ソシエテ、アノニム filed Critical エスティー‐エリクソン、ソシエテ、アノニム
Publication of JP2010519826A publication Critical patent/JP2010519826A/ja
Application granted granted Critical
Publication of JP5282329B2 publication Critical patent/JP5282329B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25875Management of end-user data involving end-user authentication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Description

本発明は、少なくとも1個の遠隔供給源(remote source)からデジタルピクチャー及び/又はビデオストリームを受け取る形態とされている少なくとも1個の無線通信チャンネルを具備する通信装置に関するものである。
カメラを具備するモバイル電話は迅速なペースで増殖している。カメラの低コストに押されて、全てのモバイル電話の中でのカメラ電話の百分率も迅速に増加している。予想されることは、数年で、殆ど全てのモバイル電話にカメラが具備されることとなる。モバイル電話及びその他のポータブル装置に対してのハンズフリー能力の付加によって音声通話は一層便利なものとされている。これらはユーザが電話を耳に保持することの必要性を取除いている。
将来、電話及びその他のポータブル装置は一層多くのビデオ通話トラフィックを担持することであろう。対応する通信装置又はシステムに対して送信される「私が見るものを見よ(see what I see)」ビデオ又は静止画ストリームを作成するために頭に装着した(例えば、耳又は眼鏡)カメラを使用することが可能であろう。
しかしながら、ハンヅフリーの「私の顔を見よ(see my face)」ビデオ又は静止画の送信を作成することは、結果的に使用される装着付属物が美的に好ましいものではないので、多分、実現不可能である。
カメラのコストが迅速に低下していることは、不断に増加する品質及び小型化と対となって、カメラをPDA等の広範なモバイル通信装置に組み込むことを可能としている。該モバイル通信装置は、通常、無線LANインターフェース、ブルトース装置等からなる通信手段を具備しており、従ってビルトイン通信手段の範囲内において種々のその他の装置と通信することが可能である。
一方、無線LANインターフェース、ブルトース装置等の通信手段を具備しているデジタルカメラ(静止画及びビデオ)が益々ポピュラーなものとなっている。未だに「カメラ」と呼ばれているが、これらの装置は多機能通信装置となっている。
画像を基礎とした情報検索システムが、公開された米国特許出願US2006/0012677A1に開示されている。この画像を基礎とした情報検索システムは、モバイル電話と遠隔サーバとを包含している。該モバイル電話は、ビルトインカメラと、該ビルトインカメラから該遠隔サーバへ画像を送信するための通信リンクとを有している。該遠隔サーバは、該モバイル電話からの画像に基づいて第1信頼値を発生するための光学的文字認識エンジンと、該モバイル電話からの画像に基づいて第2信頼値を発生するためのオブジェクト認識エンジンと、該モバイル電話からの画像に基づいて第3信頼値を発生するための顔認識エンジンと、該第1、第2、及び第3信頼値を受け取り且つ認識出力を発生するための統合器モジュールと、を有している。
しかしながら、該既知の画像を基礎とした情報検索システムは、その他の装置の中で遠隔サーバを必要とする非常に複雑なシステムである。通信は、モバイル電話と遠隔サーバとの間においてのみ行われるに過ぎない。更に、該既知の解決策は、画像を基礎としたサーチサービスの商業的初公開のために特に適したものとされているビジネスモデルを作成するために画像サーチを一層早いものとさせることに焦点が合わされている。更に、該既知の解決策は、ポータブル通信装置間においてのビデオ及び静止画ストリームを交換させるものではない。
従って、カメラを具備しているモバイル通信装置によって提供される設備の一層効果的な使用に対する必要性が未だに存在している。特に、不恰好なホルダー、スタンド等でユーザを困惑させることなしに、所謂「私の顔を見よ」ビデオ通信を行うことを向上させることの必要性が存在している。
本発明は、この必要性を満足させるものである。それは、例えば、モバイル電話又はローカルエリア無線ネットワークを具備しているデジタルカメラ(静止画及びビデオ)などの多様なポータブル及び静止した通信装置間における「私の顔を見よ」ハンヅフリーピクチャー及びビデオ送信を可能とする。
本発明は、特に、無線ハンズフリーカメラを具備する装置を含む種々の通信装置が共存する状況において使用可能である。
上に定義した目的を達成するために、本発明に基づく通信装置の場合には、本発明に基づく通信装置が以下に定義する態様で特性付けることが可能であるような特徴を有するものであり、即ち、
少なくとも1個の遠隔供給源からのデジタルピクチャー及び/又はビデオストリームを受け取る形態とされている少なくとも1個の無線通信チャンネルを具備する通信装置において、該通信装置は、以前に格納した人識別データによって前記通信装置と関連する少なくとも一人の人を該遠隔供給源のデジタルピクチャー及び/又はビデオストリームにおいて識別可能であるか否かをテストし、且つ該人識別テストの結果が肯定的である場合にのみ該遠隔供給源の該デジタルピクチャー及び/又はビデオストリームを処理する形態とされている。
本発明の特徴は、ユーザの装置上で「私の顔を見よ」ピクチャー及びビデオ記録が可能となるという利点を提供する。
理解すべきことであるが、本発明に基づく通信装置は、又、遠隔供給源として動作することが可能である。
請求項2において請求されているような対応措置は、通信装置が遠隔供給源によって供給される人識別データに依存することが可能であるという利点を提供する。
請求項3又は請求項5において請求されているような対応措置は、夫々、非常に高い人認識率を達成することが可能であるという利点を提供する。
請求項4において請求されているような対応措置は、人識別データが遠隔供給源によって送られるものではない場合に、通信装置自身によってそれを得ることが可能であるという利点を提供する。
請求項7、請求項8、又は請求項9において請求されているような対応措置は、夫々、本発明に基づく通信装置は、それ自身のカメラによって取られたピクチャー及びビデオと、遠隔供給源によって送られたピクチャー及びビデオとの両方を処理することが可能であるという利点を提供する。更に、それは、顔認識係数を発生し且つブロードキャストすることが可能である。
請求項10において請求されているような対応措置は、その主要なユーザ、及び家族などのその他のユーザの顔認識パラメータで該通信装置を訓練することを可能とする。
請求項11において請求されているような対応措置は、容易なハンズフリーでのピクチャー及びビデオを取ることを可能とさせる。
請求項12、請求項13、請求項14、請求項15、又は請求項16において請求されているような対応措置は、夫々、その時に話をしている人に対して自動的にスイッチされるビデオストリームを発生させることとなる他の通信装置とのビデオ会議通話を確立することを可能とさせるという利点を提供する。一人を超える人が話している場合には、ビデオフィード(送り)は、例えば、種々の装置によって同時に記録された全てのビデオストリームのマトリクス(行列)とすることが可能なグローバルビュー(global view)又は単なる一般的な部屋レベルビュー(room level view)等へ移行することが可能である。
請求項18、請求項19、請求項20、又は請求項21において請求されているような対応措置は、夫々、カメラが自動的に関心の或る人を追跡することを助ける。このことは、自動画像スタビライザーを形成ために有用である場合がある。
本発明の上に定義した側面及びその他の側面は、以下に説明すべき例示的実施例から明らかであり且つこれらの例示的実施例を参照して説明する。
本発明を例示的実施例を参照して以下により詳細に説明する。しかしながら、本発明はこれらの例示的実施例に制限されるものではない。
本発明に基づくモバイル通信装置の装置ハードウエア及びソフトウエアブロック図。 本発明に基づくビデオ及び顔認識パラメータ通信のフローチャート。 本発明に基づく無線ハンズフリーヘッドセットのブロック図。 本発明に基づいてモバイル通信装置間においてどのようにしてビデオ又は静止画のコンテンツを共有するかの概略図。 ホームセキュリティアプリケーションにおいて本発明の使用のフローチャート。
本発明の最初の例は、ユーザが街路に沿って歩いているという場面に基づいている。彼はモバイル電話としての形態とされているモバイル通信装置1を携帯している。該通信装置1は、図1のブロック回路図に概略示されている。それは、カメラ2と、街路を歩いている間にユーザがビデオ通話を行うことを可能とさせるカメラ操縦手段3と、を有している。
モバイル通信装置1は、更に、ローカル無線ネットワークインターフェース4、長距離無線ネットワークインターフェース5、IRトランシーバ6、マイクロフォン7、及びモバイル通信装置の分野において経験の或る人にとっては常識であるので簡潔性のために図面には示されていないがスピーカ、ディスプレイ、キーなどのモバイル電話の従来の部品である全てのその他のハードウエアコンポーネント、を有している。
モバイル通信装置1は、オプションとして、図3中にブロック図で模式的に示してあるヘッドセット11へリンクさせることが可能である。ヘッドセット11は、カメラ12及びカメラ操縦手段13を有している。それは、更に、ローカル無線ネットワークインターフェース14、IRトランシーバ16、マイクロフォン17、及びヘッドセット11の全ての機能を制御し且つモニターする制御ソフトウエア15を有している。通信装置1のカメラ2の代わりにピクチャー及び/又はビデオストリームを取るためにヘッドセット11のカメラ12を使用することは、ユーザがハンズフリーのビデオ通話を行うことを可能とさせる。ヘッドセット11は、夫々のローカル無線ネットワークインターフェース4,14か又はIRトランシーバ6,16のいずれかを介して、通信装置1と通信を行う。ヘッドセット11は、更に、例えば、ユーザの耳の上に装着した場合に、ユーザの視野が得られるように該ヘッドセットを着脱自在に固定するための装着手段(図面中には示されていない)を有している。制御ソフトウエア15は、更に、減少させた帯域幅でモバイル通信装置1へ送信するためにカメラ12によって取られたピクチャー及び/又はビデオを圧縮する手段を有している。
ユーザが歩くにつれ、彼は、ビルトインカメラ及び無線ネットワークインターフェースを具備しているモバイル通信装置を使用しており近くを通過する他の人の視野、又は、例えば、セキュリティカメラなどのWifi(又はその他の無線)ホットスポットに取り付けられている特定的に配置させた固定カメラの視野の中に入る。彼自身のモバイル通信装置1は、前記装置によって発生される静止画ピクチャー及び/又はビデオクリップが入手可能となり彼の画像を包含している場合にのみそれに一時的に接続するために前記その他の装置との通信を確立しようと試みる。遠隔装置によって取られた該ピクチャー及び/又はビデオが前記ユーザのピクチャーを包含しているか否かを決定するために、かれのモバイル通信装置1は、以下の主要な機能を有するコンピュータプログラムを実行すべく適合されている計算手段8を有している。
● カメラ2によって発生されるピクチャー及び/又はビデオを断続的にスキャンする顔認識アルゴリズムプロセッサ19。厳格に言うと、顔認識アルゴリズムプロセッサ19は、通信装置1のビューファインダーへ送られる同一のビデオ情報を受け取る。顔認識アルゴリズムプロセッサ19は、顔認識係数(FRC)を発生するために特に調整されているパターン認識アルゴリズムを有している。
● 非揮発性態様で顔認識係数(FRC)を格納する格納手段20。格納手段20は、通信装置1の主要なユーザのFRC及び、オプションとして、主要なユーザの家族などのその他のユーザのFRCを包含している。これらの全てのFRCは、ユーザが自分自身及びオプションとして付加的なユーザのピクチャー即ち写真を取る場合に発生され、それらのピクチャーは認識アルゴリズムプロセッサ19によって解析されてFRCを派生し、該FRCは、次いで、自動的に格納手段20内に格納される。
● FRCヘイリング(hailing)プロトコル、FRCモニタ及び相関器、及びFRCを基礎としたビデオ要求発生器、を包含しているFRC通信手段21。
● ピクチャー又はビデオストリームをローカル無線ネットワークインターフェース4及び長距離無線ネットワークインターフェース5の両方へ送ることが可能であるように、それらをスプライス即ち接合するビデオ通話スプライシングソフトウエアアルゴリズム22.
● IRトランシーバを制御すべく適合されている赤外(IR)処理手段10。
● カメラ操縦手段3を制御すべく適合されているカメラ位置制御手段9。
● ピクチャー又はビデオストリーム中において認識された顔を追跡すべく適合されている顔追跡制御18。
● 以下により詳細に説明する「スピーカ(話者)のトークン」マネージャ23。
これは本発明の重要な特徴であるので、顔認識パラメータをヘイリングするプロトコルを以下のセクションにおいて拡張する。
モバイル通信装置1が、その他の通信装置1とピクチャー及びビデオストリームを交換することが可能な所謂「ビデオ会議モード」に入れられると、それはそのローカル無線ネットワークインターフェース4上のアドバタイジングコード(advertising code)のブロードキャストを開始する。このアドバタイジングコードは、この能力を具備するモバイル通信装置1間で予め標準化されている。ブルトース(Bluetooth)プロファイル検知(profile detection)に類似したメカニズムを使用することが提案されている。
無線ネットワークのレンジ内にあるモバイル通信装置1は、このアドバタイジングコードを受け取ると共にそれ自身のものをブロードキャストする。それもビデオを基礎とした活動(それは、単に、ビデオ記録を取ることを包含することが可能)に参加している場合には、この二番目のモバイル通信装置1は格納されている所有者間の相関を検知し且つ顔認識係数FRCをブロードキャストすることが可能である。それは、次いで、近くの他のモバイル通信装置1からの送信されたピクチャー又はビデオコンテントを要求し且つ格納する。
顔認識係数は、画像が採取された後に、例えば5分等の短い時間の間ブロードキャストされる。何故ならば、比較的短い時間の後に該画像内の人はそのシーン即ち場面から出て移動する蓋然性があるからである。顔認識係数が一層長い時間にわたりブロードキャストされる場合には、該画像が、その所有者が該コンテント内のそれらに対して同様の顔認識係数を共有している他の装置によって受け取られる蓋然性がある。
注意すべきことであるが、モバイル通信装置1は、そのFRC格納手段20内に家族の顔認識係数FRCを格納することも可能であり、従って家族を包含してコンテントを作成する任意の近くのモバイル通信装置1は該所有者の装置によって検知されることとなる。
モバイル通信装置1は、たとえそれ自身がビデオコンテントを発生しているものではないか又はビデオ通話していない場合であっても、FRCヘイリングチャンネルを処理することが可能である。このことは、他のモバイル通信装置1から潜在的に興味の或るコンテントを格納することを可能とさせる。
次に、本発明の実際的な使用に対して2番目の例を与える。或る部屋内に座っている3人の間でビデオ会議が行われており、全ての人がモバイル電話としての形態とされているモバイル通信装置1及び耳に装着されているカメラ12を具備するヘッドセット11を持っている場合について考える。モバイル通信装置1はハンヅフリーモバイル電話としての形態とさせることが可能である。
各人は、通話のかなりの量に対して「私が見るものを見よ」カメラビュー内に他の二人を有している。実際に、彼らは殆どの時間話をしている人を見ている蓋然性が高い。
各通信装置1は、その主要なユーザに対する顔認識係数で訓練されている。
ビデオ会議通話は、話している人のビデオストリームからなる。該話をしている人は、最も声の大きな信号を有するマイクロフォン7を検知することによりローカルネットワーク内のモバイル通信装置1における「スピーカのトークン」マネージャ23によって協力し合って決定される。このことは、複数のモバイル通信装置1からなるグループが「スピーカのトークン」を協力し合って管理することを可能とさせる。
モバイル通信装置1が「スピーカのトークン」を持っている場合には、それは顔認識係数に対して他のモバイル通信装置1にクエリーする、即ち質問することが可能である。該他のモバイル通信装置1の内の一つ又はそれ以上が正しい顔認識係数で応答し、即ちそれらのユーザは話しをしている人を見ている。
「スピーカのトークン」保持者は、該他のモバイル通信装置1の内の一つからのビデオ信号に「スピーカのトークン保持者の顔」としてレッテルを付ける。このフィードが主要なビデオ会議ビデオフィードとなる。
一人を越える人が話をしている場合には、該ビデオフィードはグローバルビューへ戻り、該グローバルビューはモバイル通信装置1の全てのハンヅフリーカメラのマトリクスか又は単に一般的な部屋レベルのビューとすることが可能である。
モバイル通信装置1において実行される本発明に基づく手順は、図2のフローチャートに要約されている。ステップS1において、モバイル通信装置1は、所謂ビデオ通話/会議モードにスイッチされたか否かをチェックする。肯定である場合には、ステップS2において、無線又は赤外線通信制御チャンネル上で顔認識及びビデオ通話/会議能力をヘイリング、即ち呼び掛けているその他のモバイル通信装置1がローカルな区域内に存在するか否かをチェックする。肯定である場合には、呼び掛けをした顔認識係数がステップS4において格納される。更に、モバイル通信装置1がビデオ通話/会議モードにある場合には、それは、ビューファインダーの現在のピクチャー内に顔が存在するか否かをモニタする(ステップS3参照)。肯定である場合には、該顔は解析され且つビューファインダーの現在のピクチャー内の顔認識係数が無線及びIR通信チャンネル上をブロードキャストされ(ステップS5)、且つビデオコンテントに対するその後の要求に対する処理が行われる(ステップS7)。更に、ステップS6において、モバイル通信装置1は、モバイル通信装置1の主要なユーザ(又は家族等)のものと一致する他のモバイル通信装置1によってブロードキャストされているFRCが存在するか否かをチェックする。肯定である場合には、モバイル通信装置1は、このユーザに一致する前記FRCをブロードキャストしている遠隔装置からのビデオストリームに対する要求を送り出す(ステップS8)。
例えばデジタルカメラ1’,1”の形態とされている撮像機能性を具備しているイネーブルさせた無線モバイル通信装置1が、顔認識係数の使用に拘わらずに、ローカルな付近において全てのコンテントを共有することが望ましい場合もある。例えば、図4のスケッチに示されているように、エッフェル塔26の前において多数の人24,25がビデオ又は写真を取っている場合がある。高い圧縮率及び高い帯域幅の無線リンクのみならず近い将来において装置上において非常に高い格納容量を予想することが可能であるから、ユーザ24,25がそのように望む場合には、エッフェル塔26近くの各カメラ1’,1”が他のカメラ装置1”,1’で取った各画像又はビデオクリップを共用することが可能となる。
注意すべきことであるが、本発明はビデオ会議又はその他の通信機能性の幾つかの要素を組み込んでいるモバイル及び固定装置に適用可能である。
本発明の変形例においては、カメラ1'はその見通し線において識別コードを担持しているフォーカスさせた赤外線ビーム27を射出する形態とされている。このIRビーム27が近くにある別のカメラ1"によって受け取られると、それは、射出しているカメラ1'はそのユーザ25に対して興味の或る情報を有していることを確認することが可能である。
IRビーム27は、又、顔認識係数(FRC)ブロードキャストを伝えるために使用することも可能である。
別のオプションは、カメラ操縦のためにIRビーム27を利用することである。カメラ1’がフォーカスした赤外線ビーム27を射出しており且つカメラ1”がそれを受け取ると、IRビーム27の供給源上にホームインするためにカメラ1”におけるビルトイン操縦メカニズム(例えば、モータ駆動型又はソリッドステート)を使用することが可能であり、従ってカメラ1”がカメラ1’へ向かって操縦されることを可能とする。このことは、両方のカメラが歩行中のユーザに装着されている場合に有用である場合があり、画像安定化の形態を可能とする。
FRCブロードキャスト及び自動カメラ操縦を結合させると、顔認識を基礎としたカメラ操縦を達成することが可能であり、例えば、カメラ1”がカメラ1’のユーザ24に対して相関する検知された顔認識係数を持っている場合には、カメラ1”は、画像中のカメラ1’のユーザ24の関連性のある顔を追跡し且つ該画像をカメラ1’へ送るために、そのレンズを操縦することが可能である。
本発明は、又、図5のフローチャートを参照して説明するようにホームセキュリティシステムにおける改善に適用可能である。例えば、玄関ドアが、該玄関ドア上方の閉回路TVカメラによって安全確保されている。本発明によれば、このTVカメラは該ドアにおける訪問者に関する顔認識を実施し且つ顔認識係数をホームセキュリティシステムへ送る形態とされている。この顔認識は、訪問者がドアベルを押すことによって、又は動作検知によってトリガーされる(ステップS9参照)。トリガーされると、該TVカメラはビューファインダー内に顔が存在するか否かをチェックし、且つ、存在する場合には、顔認識を実施する(ステップS10)。次いで、ホームセキュリティシステムは、赤外線又は無線制御チャンネル上で顔認識及びビデオ会議能力をヘイリング即ち呼び掛けているその他の装置がローカルの区域内に存在するか否か、特に、訪問者の携帯電話がこれらの能力を提供しているか否かをチェックする。肯定である場合には、該訪問者の携帯電話が彼の顔認識パラメータに対して調査される(ステップS11)。観察された顔と訪問者の携帯電話上のものとの間に不一致が検知されると、ホームセキュリティシステムは居住者に警報するか(ステップS13)又は「身元不明の訪問者」警報をトリガーするなどの何らかの関連性のある動作を行うことが可能である。そうでない場合には、ホームセキュリティシステムは通常の通りに進行する(ステップS14)。
注意すべきことであるが、訪問者の名刺などの訪問者からのその他の詳細をホームセキュリティシステム上に表示させることも可能である。
本発明は、又、個人のセキュリティを改善するために適用することも可能である。例えば、ジョンと言う名前の第1の人が始めてジルという名前の別の人に会う。ジョンのビルトイン顔認識能力を具備しているハンズフリーカメラ電話ヘッドセットは、その視野内にジルを有している。従って、それはジルの顔を検知する。ジョンの電話は、又、両者の間のアドホックなローカル無線ネットワーク接続を介してか、又はジョンのハンヅフリーカメラヘッドセットに指向しているジルのハンズフリーカメラヘッドセットによって射出される赤外線ビームを介してのいずれかにより、ジルの電話を検知する。
次いで、ジョンの電話は、ジルの電話から所有者の顔認識係数を要求する。次いで、ジョンの電話はジルの検知した顔とジルの電話の所有者に対する顔認識係数との間の相関を行う。
ジョンの電話が観察された通りのジルの顔と彼女の電話上に格納されているものとの間の不一致を検知すると、ジルの同一性が彼女の電話によって検証することが不可能であることがジョンに警告される。このことは、ジョンが関連性のある動作を取ることを可能とする。
観察すべきことであるが、ここで使用されている「通信装置」という用語は、広い意味で理解されるべきものであり、無線データ通信機能性及びビルトインカメラを具備するモバイル電話、デジタルカメラ(静止画及びビデオ)等のようなピクチャ又はビデオを撮る能力を包含している。本発明に基づく前記通信装置の共通の特徴は、それらが顔認識アルゴリズムを具備していること、及びそれらがユーザの顔を包含するコンテントを発見し且つ装置のビューファインダー内のコンテントに加えて格納するためにローカル無線ネットワークを介して顔認識係数を送信し且つ受信することが可能であること、である。
注意すべきことであるが、上述した実施例は、本発明を制限するというより例示するものであり、且つ当業者は特許請求の範囲から逸脱すること無しに多くの代替的実施例を設計することが可能である。特許請求の範囲において、括弧間に配置された参照符号は特許請求の範囲を制限するものとして解釈されるべきものではない。「有する」という用語は請求項においてリストされているもの以外の要素又はステップの存在を排除するものではない。1個の要素に先行する不定冠詞(「a」又は「an」)はこの様な複数個の要素の存在を排除するものではない。本発明は、幾つかの個別要素を有するハードウエアによって、及び/又は適宜プログラムされたプロセッサによって実現することが可能である。幾つかの手段を列挙する装置の請求項において、これらの手段の幾つかはハードウエアの一つの且つ同一の項目によって実現することが可能である。相互に異なる従属請求項においてある対応措置が記載されているという単なる事実は、これらの対応措置の結合を有益的に使用することができないことを表すものではない。
1 モバイル通信装置
2 カメラ
3 カメラ操縦手段
4 ローカル無線ネットワークインターフェース
5 長距離無線ネットワークインターフェース
6 IRトランシーバ
7 マイクロフォン
11 ヘッドセット

Claims (14)

  1. 他の通信装置とのビデオ会議通話を確立するか又はそれに参加する形態とされている通信装置(1,1',1")において、
    ビデオ会議通話に参加する通信装置間での「スピーカのトークン」をセットアップし且つ管理する「スピーカのトークン」マネージャ(23)、
    少なくとも1個の遠隔供給源からデジタルビデオピクチャ及び/又はビデオストリームを受取る形態とされている少なくとも1個の無線通信チャンネル、
    デジタルピクチャ及び/又はビデオストリームを発生させ且つそれらを該無線通信チャンネルを介してブロードキャストさせるカメラ(2)、
    該カメラ(2)によって取られたデジタルピクチャ及び/又はビデオストリームから顔認識係数(FRC)を発生させる顔認識アルゴリズムプロセッサ(19)、
    を有しており、前記通信装置が前記スピーカのトークンを持っている場合に、
    該通信装置(1,1',1")が、予め格納されている人識別データによって前記通信装置と関連している少なくとも一人の人が該遠隔供給源のデジタルピクチャ及び/又はビデオストリームにおいて識別可能であるか否かをテストし且つ該人識別テストの結果が肯定的である場合にのみ該遠隔供給源のデジタルピクチャ及び/又はビデオストリームにレッテルを付ける形態とされており、前記人識別データは顔認識係数を包含しており、前記テストは該遠隔供給源から受取ったデジタルピクチャ及び/又はビデオストリームから人識別データを発生することと該発生した人識別データを前記通信装置と関連する人の予め格納されている人識別データと比較することとを包含している、通信装置。
  2. 請求項において、該人識別データが顔認識係数(FRC)を有しており且つ該通信装置が該顔認識係数(FRC)を発生するための顔認識アルゴリズムプロセッサ(19)を有している通信装置。
  3. 請求項1において、該無線通信チャンネルがローカル無線ネットワークインターフェース(4)及び/又は赤外線(IR)トランシーバ(6)を有している通信装置。
  4. 請求項において、該無線通信チャンネルを介して該顔認識係数(FRC)をブロードキャストする形態とされている通信装置。
  5. 請求項において、該発生された顔認識係数(FRC)が該通信装置と関連する人へ割り当てられ且つ該通信装置内に格納される訓練モードへスイッチ可能である通信装置。
  6. 請求項1において、カメラ(12)と、オプションとしてマイクロフォン(17)とを具備しているヘッドセットを有している通信装置。
  7. 請求項1において、別の通信装置からのビデオストリームをビデオ会議通話にスプライスする形態とされている通信装置。
  8. 請求項1において、マイクロフォン(7)を有しており、該「スピーカのトークン」マネージャ(23)が、該通信装置の内の一つのマイクロフォン(7)によって受け取られる最も高い音声レベルに従って該通信装置の内の一つへ「スピーカのトークン」の割り当てを決定する形態とされている通信装置。
  9. 請求項において、「スピーカのトークン」を持っている通信装置が該他の通信装置の内の一つのビデオストリームにレッテルを付けそれをビデオ会議通話にスプライスする通信装置。
  10. 請求項1において、該遠隔供給源のデジタルピクチャ及び/又はビデオストリームを処理することがそれらを該通信装置内に格納することを包含している通信装置。
  11. 請求項8において、フォーカスさせた赤外線ビームが、該通信装置と関連している人の顔認識係数(FRC)を伝達するカメラの見通し線に沿って射出される通信装置。
  12. 請求項において、カメラによって取られたビデオストリームにおいて識別された人がビューの中心に維持されるようにカメラ(2)又はヘッドセットのカメラ(12)を操縦する形態とされているカメラ位置制御手段(9)を有している通信装置。
  13. 請求項1において、カメラの見通し線に沿って遠隔通信装置によって射出されるフォーカスされた赤外線ビームにおいて伝達される顔認識係数(FRC)を抽出する手段を有しており、該顔認識係数(FRC)が該遠隔通信装置と関連する人へ割り当てられ、且つ該カメラ位置制御手段(9)が、該カメラによって取られたビデオストリームにおいて識別された場合に該顔認識係数と関連する人がビューの中心に維持されるようにカメラ(2)又はヘッドセット(11)のカメラ(12)を操縦する形態とされている通信装置。
  14. 請求項13において、該カメラ位置制御手段(9)が該遠隔通信装置によって射出されるフォーカスされた赤外線ビーム上に該カメラを操縦する形態とされている通信装置。
JP2009550347A 2007-02-20 2008-02-13 人関連ピクチャー及びビデオストリーム処理用通信装置 Expired - Fee Related JP5282329B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07003477 2007-02-20
EP07003477.2 2007-02-20
PCT/IB2008/050518 WO2008102283A1 (en) 2007-02-20 2008-02-13 Communication device for processing person associated pictures and video streams

Publications (2)

Publication Number Publication Date
JP2010519826A JP2010519826A (ja) 2010-06-03
JP5282329B2 true JP5282329B2 (ja) 2013-09-04

Family

ID=39446433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009550347A Expired - Fee Related JP5282329B2 (ja) 2007-02-20 2008-02-13 人関連ピクチャー及びビデオストリーム処理用通信装置

Country Status (4)

Country Link
US (1) US8633960B2 (ja)
EP (1) EP2119233B1 (ja)
JP (1) JP5282329B2 (ja)
WO (1) WO2008102283A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101588450B (zh) 2008-05-19 2013-08-14 株式会社日立制作所 记录再现装置及方法
NO331287B1 (no) * 2008-12-15 2011-11-14 Cisco Systems Int Sarl Fremgangsmate og anordning for gjenkjenning av ansikter i en videostrom
US8112480B2 (en) * 2009-01-16 2012-02-07 Microsoft Corporation Signaling support for sharer switching in application sharing
KR20120139100A (ko) * 2011-06-16 2012-12-27 삼성전자주식회사 얼굴 인증을 이용한 보안 장치 및 방법
US8756641B2 (en) 2011-07-28 2014-06-17 At&T Intellectual Property I, L.P. Method and apparatus for generating media content
US8634597B2 (en) * 2011-08-01 2014-01-21 At&T Intellectual Property I, Lp Method and apparatus for managing personal content
US9088661B2 (en) * 2011-08-02 2015-07-21 Genesys Telecommunications Laboratories, Inc. Hands-free voice/video session initiation using face detection
US9799061B2 (en) 2011-08-11 2017-10-24 At&T Intellectual Property I, L.P. Method and apparatus for managing advertisement content and personal content
KR101675038B1 (ko) * 2012-06-19 2016-11-10 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 그룹 인센티브를 제공하기 위한 그룹 성질 검증
TWI526041B (zh) * 2012-07-17 2016-03-11 廣達電腦股份有限公司 互動系統及互動方法
US9058806B2 (en) 2012-09-10 2015-06-16 Cisco Technology, Inc. Speaker segmentation and recognition based on list of speakers
US8886011B2 (en) 2012-12-07 2014-11-11 Cisco Technology, Inc. System and method for question detection based video segmentation, search and collaboration in a video processing environment
US9065971B2 (en) * 2012-12-19 2015-06-23 Microsoft Technology Licensing, Llc Video and audio tagging for active speaker detection
US10674214B2 (en) 2015-08-28 2020-06-02 DISH Technologies L.L.C. Systems, methods and apparatus for presenting relevant programming information
EP3516866B1 (en) 2016-09-26 2021-06-09 Amazon Technologies Inc. Streaming and storing video for audio/video recording and communication devices
USD817208S1 (en) 2017-06-12 2018-05-08 Amcrest Global Holdings Limited Doorbell
US10176379B1 (en) 2018-06-01 2019-01-08 Cisco Technology, Inc. Integrating computer vision and wireless data to provide identification

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04309087A (ja) * 1991-04-08 1992-10-30 Ricoh Co Ltd ビデオカメラ制御装置
JP3757403B2 (ja) * 1996-01-26 2006-03-22 ソニー株式会社 被写体検出装置および被写体検出方法
US20030093790A1 (en) 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
ATE198944T1 (de) * 1997-11-07 2001-02-15 Swisscom Ag Verfahren, system und vorrichtungen zur bestimmung der authentizität von personen
GB2372131A (en) 2001-02-10 2002-08-14 Hewlett Packard Co Face recognition and information system
JP2002245560A (ja) * 2001-02-19 2002-08-30 Matsushita Electric Ind Co Ltd 監視システム
JP2003109129A (ja) * 2001-09-27 2003-04-11 Toshiba Corp 通行管理装置、通行管理システム、及び通行管理方法
JP2003187352A (ja) 2001-12-14 2003-07-04 Nippon Signal Co Ltd:The 特定人物検出システム
US6753899B2 (en) * 2002-09-03 2004-06-22 Audisoft Method and apparatus for telepresence
US6839417B2 (en) * 2002-09-10 2005-01-04 Myriad Entertainment, Inc. Method and apparatus for improved conference call management
US20050033758A1 (en) 2003-08-08 2005-02-10 Baxter Brent A. Media indexer
US8081205B2 (en) * 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
US20060020630A1 (en) 2004-07-23 2006-01-26 Stager Reed R Facial database methods and systems
JP2006079458A (ja) * 2004-09-10 2006-03-23 Fuji Photo Film Co Ltd 画像伝送システム、画像伝送方法、及び画像伝送プログラム
JP4742734B2 (ja) * 2005-08-05 2011-08-10 日本電気株式会社 判定装置、認証システム、データ配信方法およびプログラム

Also Published As

Publication number Publication date
EP2119233A1 (en) 2009-11-18
US20100149303A1 (en) 2010-06-17
EP2119233B1 (en) 2012-05-16
WO2008102283A1 (en) 2008-08-28
JP2010519826A (ja) 2010-06-03
US8633960B2 (en) 2014-01-21

Similar Documents

Publication Publication Date Title
JP5282329B2 (ja) 人関連ピクチャー及びビデオストリーム処理用通信装置
US8253770B2 (en) Residential video communication system
US8063929B2 (en) Managing scene transitions for video communication
US8159519B2 (en) Personal controls for personal video communications
US8154578B2 (en) Multi-camera residential communication system
US8154583B2 (en) Eye gazing imaging for video communications
US20100020229A1 (en) Wearable personal video/audio device method and system
US9894320B2 (en) Information processing apparatus and image processing system
US20080235724A1 (en) Face Annotation In Streaming Video
JP2013504933A (ja) 時間シフトされたビデオ通信
KR20180039402A (ko) 영상 표시 장치 및 영상 표시 방법
KR101989842B1 (ko) 단말기 및 그것의 영상 처리 방법
CN111726678A (zh) 一种设备间多媒体内容续播的方法
CN113890745A (zh) 业务接续的决策方法、装置及电子设备
CN113726815B (zh) 一种动态调整视频的方法、电子设备、芯片系统和存储介质
CN109036403A (zh) 信息交互方法及装置
JP2005124161A (ja) テレビ電話機及びプログラム
US20120162347A1 (en) Image Display Apparatus, Communications Control Method of the Same, and Communications Control System
CN114667737A (zh) 基于用户输入的多路输出控制
JP5703120B2 (ja) テレビジョン視聴支援装置
JP2021125789A (ja) 映像処理装置、映像処理システム、映像処理方法、及びコンピュータプログラム
KR101967651B1 (ko) 영상 표시 방법, 장치 및 컴퓨터 판독 가능한 기록매체
JP2004153674A (ja) カメラ装置
WO2015182034A1 (ja) 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
EP1081943A1 (en) Digital transceiver camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130219

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130419

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130501

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130509

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees