JP6843359B2 - 映像表示装置及び映像表示方法(device and method of displaying images) - Google Patents

映像表示装置及び映像表示方法(device and method of displaying images) Download PDF

Info

Publication number
JP6843359B2
JP6843359B2 JP2019540499A JP2019540499A JP6843359B2 JP 6843359 B2 JP6843359 B2 JP 6843359B2 JP 2019540499 A JP2019540499 A JP 2019540499A JP 2019540499 A JP2019540499 A JP 2019540499A JP 6843359 B2 JP6843359 B2 JP 6843359B2
Authority
JP
Japan
Prior art keywords
video
images
sample
face
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019540499A
Other languages
English (en)
Other versions
JP2020500488A (ja
Inventor
サンギル アン
サンギル アン
カンシク ジュン
カンシク ジュン
ヒョンテク ヨン
ヒョンテク ヨン
Original Assignee
ハイパーコネクト インコーポレイテッド
ハイパーコネクト インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハイパーコネクト インコーポレイテッド, ハイパーコネクト インコーポレイテッド filed Critical ハイパーコネクト インコーポレイテッド
Publication of JP2020500488A publication Critical patent/JP2020500488A/ja
Application granted granted Critical
Publication of JP6843359B2 publication Critical patent/JP6843359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

記載された実施例は、相手方と映像通話をする使用者が相手方からの不適切な映像にさらされることを防止することができる映像表示装置及び映像表示方法に関するものである。
通信技術が発展し、電子装置が小型化するに伴って個人用端末が一般消費者に広く普及している。特に最近では、スマートフォンやスマートタブレットのような携帯用個人端末が広く普及している。前記端末の大部分は、通信機能を含んでいる。使用者は、端末を用いてインターネットで検索を行ったり、他の使用者とメッセージを送受信することができる。
また、小型カメラ技術、小型マイク技術、小型ディスプレイ技術及び小型スピーカー技術の発展に伴い、スマートフォンのようなほとんどの端末には、カメラ、マイク、ディスプレイ及びスピーカーが含まれている。使用者は、端末を用いて音声を録音したり、音声が含まれている動画を撮影することができる。使用者は、端末に含まれたスピーカーを介して前記録音された音声を確認するか、ディスプレイを介して前記撮影された動画を確認することができる。
また、使用者は、端末の通信機能を用いて、前記録音された音声または前記撮影された動画を他の使用者と共有することができる。使用者は、以前に録音された音声または以前に撮影された動画を他の使用者に伝送することができる。また、使用者は、端末によって現在録音されている音声または現在撮影されている動画をリアルタイムで他の使用者に伝送することができる。
また、同時に、前記他の使用者は、自分の端末によって現在録音されている音声または現在撮影されている動画をリアルタイムで前記使用者に伝送することができる。使用者の端末に含まれたディスプレイは、使用者の端末によって現在撮影されている動画及び他の使用者の端末によって現在撮影されている動画を同時に表示することができる。また、使用者の端末に含まれたスピーカーは、他の使用者の端末によって現在録音されている音声を同時に再生することができる。すなわち、使用者及び他の使用者は、各自の端末を用いて、互いに映像通話(video call)を行うことができる。
前記使用者及び他の使用者は、互いにすでに知っている関係であることもあり、互いに知らない関係であることもある。前記使用者の端末及び前記他の使用者の端末を含む複数の端末は、サーバーに連結されることができる。サーバーは、前記使用者の端末及び前記他の使用者の端末の間を仲介することができる。したがって、前記使用者及び他の使用者は、互いに知らない関係であったとしても、サーバーの仲介を介して互いに映像通話をすることができる。
使用者が相手方と互いに映像通話をするとき、使用者は、相手方からの淫らな映像にさらされ得る。特に、使用者が互いに知らない関係にある相手方と映像通話をする場合、使用者が相手方からの淫らな映像にさらされる可能性が高くなり得る。
例えば、相手方の端末によって撮影された相手方の裸の身体の映像が映像通話セッションを介して使用者の端末に受信され得る。使用者の端末が前記受信された映像を表示することによって、使用者は淫らな映像にさらされ得る。使用者が自身が望まない淫らな映像にさらされた場合、使用者は、性的羞恥心または不快感を感じ得る。
記載された実施例によれば、相手方と映像通話をする使用者が相手方からの淫らな映像にさらされることを防止することができる映像表示装置及び映像表示方法が提供されることができる。
また、相手方と映像通話をする使用者が相手方からの映像によって感じ得る性的羞恥心または不快感を防止することができる映像表示装置及び映像表示方法が提供されることができる。
また、使用者間の健全な映像通話を誘導することができる映像表示装置及び映像表示方法が提供されることができる。
実施例に係る映像表示方法は、第1端末から前記第1端末によって撮影された複数の映像を含むストリームを受信する段階と、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階と、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階と、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行う段階、及び前記ストリームに含まれた前記複数の映像を表示する段階を含むことができる。
また、前記映像処理を行う段階は、前記ストリームに含まれた前記複数の映像の中から少なくとも1つ以上の対象映像を選択する段階と、それぞれの前記対象映像内で少なくとも一部の対象領域を選択する段階、及びそれぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階を含むことができる。
また、前記顔面の検出を試みる段階は、前記ストリームに含まれた前記複数の映像の中から、最近の特定の時間に対応する少なくとも1つ以上のサンプル映像を選択する段階、及び前記選択された少なくとも1つ以上のサンプル映像において前記顔面の検出を試みる段階を含み、前記顔面が検出されなかったと判定する段階は、前記選択された少なくとも1つ以上のサンプル映像において前記顔面が検出されなかったと判定する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階を含むことができる。
また、前記顔面の検出を試みる段階は、特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択する段階、及び前記新たなサンプル映像が選択されるたびに、前記新たなサンプル映像において前記顔面の検出を試みる段階を含み、前記顔面が検出されなかったと判定する段階は、前記サンプル映像の中で最近の特定の時間以内に選択されたすべてのサンプル映像において前記顔面が検出されなかったと判定する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階を含むことができる。
また、前記顔面の検出を試みる段階は、前記ストリームに含まれた前記複数の映像の中から選択された第1サンプル映像において前記顔面の検出を試みる段階、及び前記ストリーム内で前記第1サンプル映像よりも後に受信されたすべての映像の中から選択された少なくとも1つ以上の第2サンプル映像のそれぞれにおいて前記顔面の検出を試みる段階を含み、前記顔面が検出されなかったと判定する段階は、前記第1サンプル映像及びすべての前記少なくとも1つ以上の第2サンプル映像において前記顔面が検出されなかったと判定する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像及び前記第1サンプル映像よりも後に受信されたすべての映像を前記対象映像として選択する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像、前記少なくとも1つ以上の第2サンプル映像、及び前記第1サンプル映像よりも後に受信され、前記少なくとも1つ以上の第2サンプル映像の中で最後に受信された映像よりも先に受信されたすべての映像を前記対象映像として選択する段階を含むことができる。
また、前記顔面の検出を試みる段階は、前記ストリームに含まれた前記複数の映像の中から、第1時刻に対応する第1サンプル映像及び前記第1時刻から特定の時間以上の時間差を持つ第2時刻に対応する第2サンプル映像を含む少なくとも2つ以上のサンプル映像を選択する段階、及び前記選択された少なくとも2つ以上のサンプル映像のそれぞれにおいて前記顔面の検出を試みる段階を含み、前記顔面が検出されなかったと判定する段階は、前記選択された少なくとも2つ以上のサンプル映像の中で前記第1サンプル映像、前記第2サンプル映像、及び前記第1時刻から前記第2時刻までの時間に対応するすべてのサンプル映像において前記顔面が検出されなかったと判定する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記第1時刻から前記第2時刻までの時間に対応するすべての映像を前記対象映像として選択する段階を含むことができる。
また、前記少なくとも1つ以上の対象映像を選択する段階は、前記ストリームに含まれた前記複数の映像の中から、前記顔面が検出されなかったと判定された前記少なくとも一部のサンプル映像に対応する少なくとも1つ以上の映像、またはすべての前記複数の映像を前記対象映像として選択する段階を含むことができる。
また、前記少なくとも一部の対象領域を選択する段階は、それぞれの前記対象映像内で皮膚の色に対応する領域、または全体領域を前記対象領域として選択する段階を含むことができる。
また、前記それぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階は、前記対象領域を削除するか、前記対象領域にブラー(blur)効果またはモザイク(mosaic)効果を適用するか、前記対象領域の色、明度、コントラストまたは彩度を調節するか、または前記対象領域を他の映像に置換する段階を含むことができる。
また、前記映像表示方法は、前記映像処理の解除に対する要請を受信する段階、及び前記ストリームに含まれた前記複数の映像の中で前記要請が受信された後に受信された映像を前記映像処理せずに表示する段階をさらに含むことができる。
他の実施例に係る映像表示方法は、第1端末との映像通話セッションを樹立する段階と、前記映像通話セッションを介して前記第1端末によって撮影された複数の映像を含むストリームを受信する段階と、前記ストリームに含まれた前記複数の映像を表示する段階と、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階と、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階、及び前記映像通話セッションを終了する段階を含むことができる。
実施例に係る映像表示装置は、第1端末から前記第1端末によって撮影された複数の映像を含むストリームを受信する通信部と、前記ストリームに含まれた前記複数の映像を表示する出力部、及び前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる制御部を含み、もし前記制御部が前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定すると、前記制御部は、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行い、前記出力部は、前記映像処理が行われた前記少なくとも1つ以上の映像を表示することができる。
記載された実施例によれば、相手方と映像通話をする使用者が相手方からの淫らな映像にさらされることが防止されることができる。
また、実施例によれば、相手方と映像通話をする使用者が相手方からの映像によって感じ得る性的羞恥心または不快感が防止されることができる。
また、実施例によれば、使用者間の健全な映像通話が誘導されることができる。
実施例に係る映像表示装置が動作する環境を示すネットワーク構成図である。 実施例に係る映像表示装置の構成を示すブロック図である。 実施例に係る映像表示方法が行われる過程を示すフローチャートである。 実施例に係るストリームに含まれた複数の映像の中から選択されたサンプル映像である。 実施例に係るストリームに含まれた複数の映像の中から選択された他のサンプル映像である。 実施例に係る映像処理を行う段階が行われる過程を示すフローチャートである。 実施例に係る顔面の検出を試みる段階から対象映像を選択する段階が行われる過程を示すフローチャートである。 実施例に係るサンプル映像を選択する方法を説明するための参考図である。 他の実施例に係る顔面の検出を試みる段階から対象映像を選択する段階が行われる過程を示すフローチャートである。 また他の実施例に係る顔面の検出を試みる段階から対象映像を選択する段階が行われる過程を示すフローチャートである。 また他の実施例に係るサンプル映像を選択する方法を説明するための参考図である。 また他の実施例に係る顔面の検出を試みる段階から対象映像を選択する段階が行われる過程を示すフローチャートである。 実施例に係る選択された対象領域を示す参考図である。 他の実施例に係る選択された対象領域を示す参考図である。 また他の実施例に係る選択された対象領域を示す参考図である。 実施例に係る映像処理が行われた映像である。 他の実施例に係る映像処理が行われた映像である。 また他の実施例に係る映像処理が行われた映像である。 また他の実施例に係る映像処理が行われた映像である。 他の実施例に係る映像表示方法が行われる過程を示すフローチャートである。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すると明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
「第1」または「第2」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に1つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第1構成要素は、本発明の技術的思想内で第2構成要素であることもできる。
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」または「含んでいる(comprising)」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
以下では、図1から図20を参照して、実施例に係る映像表示装置100、150及び映像表示方法について詳細に説明することにする。
図1は、実施例に係る映像表示装置100、150が動作する環境を示すネットワーク構成図である。図1を参照すると、映像表示装置100、150が動作する環境は、第1映像表示装置100、及び前記第1映像表示装置100と互いに連結された第2映像表示装置150を含むことができる。
他の実施例によれば、前記映像表示装置100、150が動作する環境は、前記第1映像表示装置100または前記第2映像表示装置150と互いに連結されたサーバー200をさらに含むことができる。前記映像表示装置100、150が動作する環境は、前記サーバー200を含まないことができる。
第1映像表示装置100は、端末であることができる。以下では、説明の便宜のために、第1映像表示装置100を指す用語として、第1映像表示装置100及び第1端末100を混用することにする。
第1端末100は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス(wearable device)、または携帯用電子機器などであることができる。第1端末100は、プログラムまたはアプリケーションを実行することができる。
第1端末100は、通信網に連結されることができる。第1端末100は、前記通信網を介して外部の他の装置と互いに連結されることができる。第1端末100は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
第1端末100と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は3G、LTE、またはLTE−Aなどのような移動通信網を含むことができる。通信網は、ワイファイ(Wi−Fi)、UMTS/GPRS、またはイーサネット(Ethernet)などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安送信(MST,Magnetic Secure Transmission)、RFID(Radio Frequency IDentification)、NFC(Near Field Communication)、ジグビー(ZigBee)、Z−Wave、ブルートゥース(Bluetooth)、低電力ブルートゥース(BLE,Bluetooth Low Energy)、または赤外線通信(IR,InfraRed communication)などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク(LAN,Local Area Network)、メトロポリタン・エリア・ネットワーク(MAN,Metropolitan Area Network)、またはワイド・エリア・ネットワーク(WAN,Wide Area Network)などを含むことができる。
図2は、実施例に係る映像表示装置100、150の構成を示すブロック図である。図2を参照すると、実施例に係る映像表示装置100、150は、入力部101、制御部102、保存部103、通信部104、及び出力部105を含むことができる。
入力部101は、外部から信号を受信することができる。入力部101は、映像表示装置100、150の使用者から信号を受信することができる。また、入力部101は、外部装置から信号を受信することができる。入力部101は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、または、その他の入力装置を含むことができる。
入力部101は、入力部101に含まれたカメラを介して外部から光を受信することができる。入力部101は、外部の事物から放出された光または外部の事物から反射した光を受信することができる。入力部101は、前記カメラを介して映像表示装置100、150の使用者の映像を撮影することができる。
入力部101は、入力部101に含まれたマイクを介して外部から音声を受信することができる。入力部101は、映像表示装置100、150の使用者から音声を受信することができる。また、入力部101は、外部の音声再生装置から音声を受信することができる。入力部101は、前記マイクを介して映像表示装置100、150の使用者の音声を録音することができる。
制御部102は、映像表示装置100、150の動作を制御することができる。制御部102は、映像表示装置100、150に含まれたそれぞれの構成要素と互いに連結されることができる。制御部102は、映像表示装置100、150に含まれたそれぞれの構成要素の動作を制御することができる。
制御部102は、信号を処理することができる。制御部102は、入力部101によって受信された信号を処理することができる。例えば、制御部102は、入力部101を介して受信された使用者の要請を処理することができる。制御部102は、入力部101に含まれたカメラによって撮影された使用者の映像を処理することができる。制御部102は、入力部101に含まれたマイクによって録音された使用者の音声を処理することができる。
制御部102は、通信部104によって受信された信号を処理することができる。例えば、制御部102は、通信部104を介して受信された使用者の要請を処理することができる。制御部102は、通信部104を介して受信された他の使用者の映像または音声を処理することができる。
制御部102は、入力部101によって受信された信号に対する応答として、映像表示装置100、150の動作を制御することができる。制御部102は、入力部101を介して受信された使用者の要請に対する応答として、映像表示装置100、150の動作を制御することができる。
制御部102は、演算を行うことができる。制御部102は、入力部101によって受信された信号に基づいて演算を行うことができる。制御部102は、入力部101によって受信された信号または保存部103に保存されたデータを用いて演算を行うことができる。例えば、制御部102は、入力部101に含まれたカメラによって撮影された映像をエンコードすることができる。制御部102は、入力部101に含まれたマイクによって録音された音声をエンコードすることができる。
制御部102は、通信部104によって受信された他の使用者の映像または音声をデコードすることができる。制御部102は、前記デコードされた映像または音声に後処理(postprocessing)を行うことができる。例えば、制御部102は、通信部104によって受信された他の使用者の映像に映像処理(image processing)を行うことができる。
制御部102は、演算結果が保存部103に保存されるように制御することができる。制御部102は、演算結果が出力部105によって出力されるように制御することができる。
制御部102は、例えば、中央処理装置(Central Processing Unit,CPU)、グラフィック処理装置(Graphic Processing Unit,GPU)、マイクロコントローラーユニット(Micro Controller Unit,MCU)、またはマイクロプロセッサ(microprocessor)を含むことができる。
保存部103は、データを保存することができる。保存部103は、制御部102が演算を行うのに用いるデータを保存することができる。保存部103は、制御部102によって行われた演算結果を保存することができる。例えば、保存部103は、制御部102によってエンコードされた映像または音声を保存することができる。保存部103は、通信部104を介して外部に伝送するデータを保存したり、通信部104を介して外部から受信されたデータを保存することができる。
保存部103は、揮発性メモリーまたは非揮発性メモリーを含むことができる。保存部103は、例えば、フラッシュ(flash)メモリー、ROM、RAM、EEROM、EPROM、EEPROM、ハードディスクドライブ(HDD,Hard Disk Drive)、またはレジスター(register)などを含むことができる。保存部103は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
通信部104は、外部にデータを伝送したり、外部からデータを受信することができる。通信部104は、他の映像表示装置100、150またはサーバー200にデータを伝送することができる。通信部104は、他の映像表示装置100、150またはサーバー200からデータを受信することができる。通信部104は、制御部102によって行われた演算結果を外部に伝送することができる。また、通信部104は、保存部103に保存されたデータを外部に伝送することができる。通信部104は、制御部102が演算を行うのに用いるデータを外部から受信することができる。
通信部104によって伝送されるデータまたは通信部104によって受信されたデータは、保存部103に保存されることができる。例えば、通信部104は、保存部103に保存されたエンコードされた映像または音声をサーバー200または他の映像表示装置100、150に伝送することができる。また、通信部104は、他の映像表示装置100、150から前記他の映像表示装置100、150によってエンコードされた映像または音声を受信することができる。
通信部104は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部104は、マグネチック保安送信(MST,Magnetic Secure Transmission)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、通信部104は、その他のネットワークインターフェースを含むことができる。
出力部105は、外部に信号を出力することができる。出力部105は、例えば、画面を表示したり、音を再生したり、または振動を出力することができる。出力部105は、ディスプレイ、スピーカー、バイブレーター、オシレーター、またはその他の出力装置を含むことができる。
出力部105は、画面を表示することができる。制御部102は、出力部105が画面を表示するように出力部105を制御することができる。出力部105は、使用者インターフェースを表示することができる。出力部105は、使用者からの入力に対する応答として、他の画面を表示することができる。
出力部105は、データを表示することができる。出力部105は、制御部102によって行われた演算結果を表示することができる。出力部105は、保存部103に保存されたデータを表示することができる。出力部105は、通信部104によって受信されたデータを表示することができる。
出力部105は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)などの平板表示装置を含むことができる。出力部105は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。出力部105は、タッチスクリーンを含むことができる。
出力部105は、第1映像表示装置100によって撮影された使用者の映像または第2映像表示装置150によって撮影された他の使用者の映像を表示することができる。また、出力部105は、第1映像表示装置100によって録音された使用者の音声または第2映像表示装置150によって録音された他の使用者の音音を再生することができる。
第2映像表示装置150は、端末であることができる。以下では、説明の便宜のために、第2映像表示装置150を指す用語として、第2映像表示装置150及び第2端末150を混用することにする。
第2端末150は、第1端末100と互いに同じ種類の端末であることもでき、互いに異なる種類の端末であることもできる。第2端末150は、プログラムまたはアプリケーションを実行することができる。
第2端末150は、通信網に連結されることができる。第2端末150は、前記通信網を介して外部の他の装置と互いに連結されることができる。第2端末150は、互いに連結された他の装置にデータを伝送したり、前記他の装置からデータを受信することができる。
第2端末150は、前記第1端末100と互いに連結されることができる。第2端末150は、前記通信網を介して前記第1端末100と互いに連結されることができる。第2端末150は、第1端末100にデータを伝送したり、第1端末100からデータを受信することができる。
互いに連結された第1端末100及び第2端末150は、互いにメッセージ、ファイル、音声データ、映像、または動画などを送受信することができる。第2端末150は、第1端末100との音声通話セッションまたは映像通話(video call)セッションを樹立することができる。前記映像通話セッションは、例えば、TCP(Transmission Control Protocol)、UDP(User Datagram Protocol)、またはWebRTC(Web Real−Time Communication)などを用いて樹立することができる。第1端末100の使用者及び第2端末150の使用者は、互いに音声通話または映像通話をすることができる。
前記映像通話セッションは、第1端末100及び第2端末150の間に直接的に樹立されることができる。他の実施例によれば、少なくとも1つ以上の他の装置を経由して、第1端末100及び第2端末150の間に映像通話セッションが樹立されることができる。例えば、前記映像通話セッションは、第1端末100とサーバー200の間に樹立されたセッション及びサーバー200と第2端末150の間に樹立されたセッションを含むことができる。
第1端末100及び第2端末150は、互いに直接データを送受信することができる。また、第1端末100及び第2端末150は、サーバー200または他の仲介装置を経由して、データを送受信することができる。
サーバー200は、第1端末100または第2端末150と互いに連結されることができる。サーバー200が第1端末100と互いに連結された場合、サーバー200は、第1端末100と通信網を介して互いにデータを送受信することができる。サーバー200が第2端末150と互いに連結された場合、サーバー200は、第2端末150と通信網を介して互いにデータを送受信することができる。
サーバー200は、第1端末100からデータを受信することができる。サーバー200は、第1端末100から受信されたデータを用いて演算を行うことができる。サーバー200は、前記演算結果を第1端末100または第2端末150に伝送することができる。サーバー200は、第2端末150からデータを受信することができる。サーバー200は、第2端末150から受信されたデータを用いて演算を行うことができる。サーバー200は、前記演算結果を第1端末100または第2端末150に伝送することができる。
以下では、図3から図20を参照して、実施例に係る映像表示方法内での映像表示装置100、150のより具体的な動作について詳細に説明することにする。
図3は、実施例に係る映像表示方法が行われる過程を示すフローチャートである。図3を参照すると、実施例に係る映像表示方法においては、まず、第1端末100から前記第1端末100によって撮影された複数の映像を含むストリームを受信する段階S100が行われることができる。
第2端末150の通信部104は、第1端末100との映像通話セッションを樹立することができる。第2端末150の通信部104は、前記映像通話セッションを介して第1端末100からストリームを受信することができる。前記ストリームは、複数の映像を含むことができる。例えば、前記ストリームは、動画(video)または少なくとも2つ以上の静止映像(still image)を含むことができる。
前記ストリームに含まれた複数の映像は、第1端末100の入力部101に含まれたカメラによって撮影された映像であることができる。第2端末150は、第1端末100によって連続的に撮影されている複数の映像を前記ストリームを介して連続的に受信することができる。
前記複数の映像は、第1端末100の使用者の映像であることができる。例えば、前記複数の映像は、第1端末100の使用者の顔の映像を含むことができる。前記複数の映像は、第1端末100の使用者の身体の映像を含むことができる。
第2端末150は、第1端末100から前記ストリームを直接受信することができる。他の実施例によれば、第2端末150は、第1端末100からサーバー200を経由して、前記ストリームを受信することができる。
次に、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階S110が行われることができる。第2端末150の制御部102は、前記ストリームに含まれた複数の映像の中から少なくとも1つ以上のサンプル映像を選択することができる。第2端末150の制御部102は、前記複数の映像の中からランダムにまたは特定の規則に基づいてサンプル映像を選択することができる。
例えば、第2端末150の制御部102は、特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択することができる。第2端末150の制御部102は、前記ストリーム内で最も最近に選択されたサンプル映像よりも後に受信されたすべての映像の中から新たなサンプル映像を選択することができる。第2端末150の制御部102は、ランダムにまたは特定の規則に基づいて前記新たなサンプル映像を選択することができる。
第2端末150の制御部102は、前記選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みることができる。第2端末150の制御部102は、例えば、OpenCV(Open Source Computer Vision)のようなオープンソース(open source)ライブラリーまたは他の商用プログラムを用いて、1つの映像内に人の顔面に対応する部分が存在するか否かを検出することができる。第2端末150の制御部102は、それぞれのサンプル映像ごとに顔面に対応する部分が存在するか否かを検出することができる。
図4は、実施例に係るストリームに含まれた複数の映像の中から選択されたサンプル映像である。また、図5は、実施例に係るストリームに含まれた複数の映像の中から選択された他のサンプル映像である。第2端末150の制御部102は、図4のサンプル映像及び図5のサンプル映像のそれぞれにおいて顔面の検出を試みることができる。
再び図3を参照すると、次に、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階S120が行われることができる。第2端末150の制御部102は、それぞれのサンプル映像ごとに顔面に対応する部分が存在するか否かを判定することができる。前記判定結果、第2端末150の制御部102は、前記サンプル映像の中で少なくとも1つのサンプル映像において顔面が検出されなかったと判定することができる。
例えば、第2端末150の制御部102は、図4の映像のように、第1端末100の使用者の上半身に対応するサンプル映像において顔面が検出されたと判定することができる。しかし、第2端末150の制御部102は、図5の映像のように、第1端末100の使用者の下半身に対応するサンプル映像において顔面が検出されなかったと判定することができる。
再び図3を参照すると、次に、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行う段階S130が行われることができる。もし前記のように、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定された場合、第1端末100から受信された複数の映像は、淫らな映像が含まれていると判定することができる。例えば、第1端末100から受信された複数の映像に、図5のような映像が含まれている場合、前記複数の映像は、淫らな映像が含まれていると判定することができる。
第2端末150の制御部102は、第2端末150の使用者が淫らな映像にさらされることを防止するために、前記複数の映像の中で少なくとも1つ以上の映像に映像処理を行うことができる。第2端末150の制御部102は、すべての前記複数の映像に映像処理を行うか、前記複数の映像の中から選択された一部の映像に映像処理を行うことができる。
図6は、実施例に係る映像処理を行う段階S130が行われる過程を示すフローチャートである。図6を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から少なくとも1つ以上の対象映像を選択する段階S131が行われることができる。
第2端末150の制御部102は、前記複数の映像の中から映像処理を行う少なくとも1つ以上の対象映像を選択することができる。例えば、第2端末150の制御部102は、前記ストリームに含まれたすべての前記複数の映像を前記対象映像として選択することができる。
他の実施例によれば、第2端末150の制御部102は、前記複数の映像の中で、顔面が検出されなかったと判定された前記サンプル映像に対応する少なくとも1つ以上の映像に映像処理を行うことができる。前記サンプル映像に対応する映像は、前記複数の映像の中で、前記サンプル映像が受信された時刻から特定の時間範囲内に受信されたすべての映像であることができる。
例えば、前記ストリームを介して1秒当たり20個の映像が連続的に受信されると仮定することにする。また、4秒の周期が巡ってくるたびに、最も最近に受信された映像が新たなサンプル映像として選択されると仮定することにする。また、2つのサンプル映像において顔面が検出されなかったと判定されたと仮定することにする。前記2つのサンプル映像が受信された時刻は、それぞれ24秒の時点及び32秒の時点であることができる。前記2つのサンプル映像に対応する映像は、22秒の時点から26秒の時点までの時間範囲内に受信された約80個の映像及び30秒の時点から34秒の時点までの時間範囲内に受信された約80個の映像であることができる。
第2端末150の制御部102が前記サンプル映像を選択する方法及び前記対象映像を選択する方法は、実施例によって変わることができる。図7は、実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。
図7を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から、最近の特定の時間に対応する少なくとも1つ以上のサンプル映像を選択する段階S210が行われることができる。第2端末150の制御部102は、前記ストリーム内で最近の特定の時間の間に受信された映像の中から少なくとも1つ以上のサンプル映像を選択することができる。
例えば、第2端末150の制御部102は、最近の1秒の間に受信された映像の中から2つのサンプル映像を選択することができる。図8は、実施例に係るサンプル映像を選択する方法を説明するための参考図である。図8を参照すると、ストリーム内で第1映像301がサンプル映像として、過去にすでに選択されていることがあり得る。第2端末150の制御部102は、現在から特定の時間以前の時点である第1時点(t1)以後に受信された映像の中から第2映像302及び第3映像303をサンプル映像として追加的に選択することができる。
再び図7を参照すると、次に、前記選択された少なくとも1つ以上のサンプル映像において前記顔面の検出を試みる段階S211が行われることができる。第2端末150の制御部102は、選択されたサンプル映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。例えば、第2端末150の制御部102は、第2映像302及び第3映像303において顔面の検出を試みることができる。
次に、前記選択された少なくとも1つ以上のサンプル映像において前記顔面が検出されなかったと判定する段階S220が行われることができる。第2端末150の制御部102は、選択されたサンプル映像において顔面に対応する部分が存在しないと判定することができる。
第2端末150の制御部102は、選択されたサンプル映像のすべてにおいて顔面に対応する部分が存在しない場合、前記顔面が検出されなかったと判定することができる。他の実施例によれば、第2端末150の制御部102は、選択されたサンプル映像の中で少なくとも1つ以上のサンプル映像において顔面に対応する部分が存在しない場合、前記顔面が検出されなかったと判定することができる。例えば、第2端末150の制御部102は、第2映像302及び第3映像303において顔面が検出されなかったと判定することができる。
次に、前記ストリームに含まれた前記複数の映像の中から前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階S231が行われることができる。例えば、第2端末150の制御部102は、最近の1秒の間に受信されたすべての映像を前記対象映像として選択することができる。もし前記ストリームを介して1秒当たり20個の映像が連続的に受信されている場合、第2端末150の制御部102は、最近の1秒の間に受信された約20個の映像を前記対象映像として選択することができる。図8を参照すると、第2端末150の制御部102は、第2映像302及び第3映像303を含み、現在から特定の時間以前の時点(t1)以後に受信されたすべての映像を前記対象映像として選択することができる。
図9は、他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。図9を参照すると、まず、特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択する段階S310が行われることができる。第2端末150の制御部102は、特定の周期ごとに最も最近に選択されたサンプル映像よりも後に受信されたすべての映像の中から少なくとも1つ以上の新たなサンプル映像を選択することができる。
例えば、第2端末150の制御部102は、1秒ごとに2つの新たなサンプル映像を選択することができる。図8を参照すると、第2端末150の制御部102は、第1映像301よりも後に受信されたすべての映像の中から第2映像302及び第3映像303を新たなサンプル映像として選択することができる。
再び図9を参照すると、次に、前記新たなサンプル映像が選択されるたびに、前記新たなサンプル映像において前記顔面の検出を試みる段階S311が行われることができる。第2端末150の制御部102は、前記特定の周期ごとに新たに選択されたサンプル映像において顔面の検出を試みることができる。
次に、前記サンプル映像の中で最近の特定の時間以内に選択されたすべてのサンプル映像において前記顔面が検出されなかったと判定する段階S320が行われることができる。例えば、第2端末150の制御部102は、最近の1秒以内に選択された2つのサンプル映像において顔面が検出されなかったと判定することができる。すなわち、第2端末150の制御部102は、第2映像302及び第3映像303において顔面が検出されなかったと判定することができる。
次に、前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階S331が行われることができる。例えば、第2端末150の制御部102は、最近の1秒の間に受信されたすべての映像を前記対象映像として選択することができる。もし、前記ストリームを介して1秒当たり20個の映像が連続的に受信されている場合、第2端末150の制御部102は、最近の1秒の間に受信された約20個の映像を前記対象映像として選択することができる。図8を参照すると、第2端末150の制御部102は、第2映像302及び第3映像303を含み、現在から特定の時間以前の時点(t1)以後に受信されたすべての映像を前記対象映像として選択することができる。
図10は、また他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。図10を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から選択された第1サンプル映像において前記顔面の検出を試みる段階S410が行われることができる。第2端末150の制御部102は、前記複数の映像の中から第1サンプル映像を選択することができる。第2端末150の制御部102は、前記第1サンプル映像において顔面に対応する部分が存在するか否かを検出することができる。
図11は、また他の実施例に係るサンプル映像を選択する方法を説明するための参考図である。図11を参照すると、ストリーム内で第4映像311がサンプル映像として過去にすでに選択されていることがあり得る。第2端末150の制御部102は、第4映像311よりも後に受信された映像の中から第5映像312を前記第1サンプル映像として選択することができる。
次に、前記ストリーム内で前記第1サンプル映像よりも後に受信されたすべての映像の中から選択された少なくとも1つ以上の第2サンプル映像のそれぞれにおいて前記顔面の検出を試みる段階S411が行われることができる。第2端末150の制御部102は、前記第1サンプル映像よりも後に受信された映像の中から、少なくとも1つ以上の第2サンプル映像を選択することができる。第2端末150の制御部102は、それぞれの第2サンプル映像において顔面に対応する部分が存在するか否かを検出することができる。
例えば、図11を参照すると、第2端末150の制御部102は、第5映像312よりも後に受信された映像の中から、第6映像313を前記第2サンプル映像として選択することができる。第2端末150の制御部102は、第6映像313において顔面に対応する部分が存在するか否かを検出することができる。
他の例として、第2端末150の制御部102は、2つの映像を前記第2サンプル映像として選択することができる。前記2つの映像は、第6映像313、及び第5映像312よりも後に受信され、第6映像313よりも先に受信された他の映像を含むことができる。第2端末150の制御部102は、前記2つの映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。
再び図10を参照すると、次に、前記第1サンプル映像及びすべての前記少なくとも1つ以上の第2サンプル映像において前記顔面が検出されなかったと判定する段階S420が行われることができる。第2端末150の制御部102は、第1サンプル映像及び第2サンプル映像において顔面が検出されなかったと判定することができる。例えば、第2端末150の制御部102は、第5映像312及び第6映像313において顔面が検出されなかったと判定することができる。
次に、前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像及び第2サンプル映像に対応する映像を前記対象映像として選択する段階S431が行われることができる。第2端末150の制御部102は、前記第1サンプル映像及び第2サンプル映像に対応する映像を前記対象映像として選択することができる。
例えば、前記第1サンプル映像及び第2サンプル映像に対応する映像は、前記複数の映像の中で前記第1サンプル映像及び前記第1サンプル映像よりも後に受信されたすべての映像を含むことができる。図11を参照すると、第2端末150の制御部102は、第5映像312、及び第5映像312よりも後に受信されたすべての映像を前記対象映像として選択することができる。
他の実施例によれば、選択された対象映像は、前記第1サンプル映像、前記少なくとも1つ以上の第2サンプル映像、及び周辺の映像を含むことができる。前記周辺映像は、前記第1サンプル映像よりも後に受信され、前記少なくとも1つ以上の第2サンプル映像の中で最後に受信された映像よりさらに先に受信されたすべての映像であることができる。図11を参照すると、第2端末150の制御部102は、第5映像312、第6映像313、及び第5映像312よりも後に受信され、第6映像313より先に受信されたすべての映像を前記対象映像として選択することができる。
図12は、また他の実施例に係る顔面の検出を試みる段階S110から対象映像を選択する段階S131が行われる過程を示すフローチャートである。図12を参照すると、まず、前記ストリームに含まれた前記複数の映像の中から、第1時刻に対応する第1サンプル映像及び前記第1時刻から特定の時間以上の時間差を持つ第2時刻に対応する第2サンプル映像を含む少なくとも2以上のサンプル映像を選択する段階S510が行われることができる。
第2端末150の制御部102は、ストリームに含まれた複数の映像の中から第1サンプル映像を選択することができる。前記第1サンプル映像が受信された時刻は、第1時刻であることができる。第2端末150の制御部102は、第1サンプル映像が受信された時刻から特定の時間以上が経過した後に受信された映像を第2サンプル映像として選択することができる。すなわち、第1サンプル映像が受信された時刻及び第2サンプル映像が受信された時刻の時間差は、前記特定の時間以上であることができる。前記特定の時間は、例えば、1秒であることができる。
また、第2端末150の制御部102は、第1サンプル映像よりも先に受信された映像の中からサンプル映像を追加的に選択することができる。また、第2端末150の制御部102は、第1サンプル映像よりも後に受信され、第2サンプル映像よりも先に受信された映像の中からサンプル映像を追加的に選択することができる。また、第2端末150の制御部102は、第2サンプル映像よりも後に受信された映像の中からサンプル映像を追加的に選択することができる。
例えば、図11を参照すると、第2端末150の制御部102は、ストリーム内で任意の第2時点(t2)に受信された映像を第1サンプル映像として選択することができる。第2端末150の制御部102は、第2時点(t2)より1秒以上が経過した後に受信された映像の中から第3時点(t3)に受信された映像を第2サンプル映像として選択することができる。
第2端末150の制御部102は、第2時点(t2)よりも先に受信された映像の中から、第4映像311をサンプル映像として追加的に選択することができる。第2端末150の制御部102は、第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信された映像の中から第5映像312及び第6映像313をサンプル映像として追加的に選択することができる。第2端末150の制御部102は、第3時点(t3)よりも後に受信された映像の中から第7映像314をサンプル映像として追加的に選択することができる。
再び図12を参照すると、次に、前記選択された少なくとも2つ以上のサンプル映像のそれぞれにおいて前記顔面の検出を試みる段階S511が行われることができる。第2端末150の制御部102は、第1サンプル映像、第2サンプル映像、及び追加的に選択されたすべてのサンプル映像において顔面の検出を試みることができる。
次に、前記選択された少なくとも2つ以上のサンプル映像の中で、前記第1サンプル映像、前記第2サンプル映像、及び前記第1時刻から前記第2時刻までの時間に対応するすべてのサンプル映像において前記顔面が検出されなかったと判定する段階S520が行われることができる。第2端末150の制御部102は、第2時点(t2)に受信された第1サンプル映像において顔面に対応する部分が検出されなかったと判定することができる。また、第2端末150の制御部102は、第3時点(t3)に受信された第2サンプル映像において顔面に対応する部分が検出されなかったと判定することができる。また、第2端末150の制御部102は、第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信された映像の中からサンプル映像として選択された第5映像312及び第6映像313において顔面が検出されなかったと判定することができる。すなわち、第2端末150の制御部102は、選択されたすべてのサンプル映像の中で、第2時点(t2)から第3時点(t3)までの時間の間に受信されたサンプル映像において顔面が検出されなかったと判定することができる。
次に、前記ストリームに含まれた前記複数の映像の中から、前記第1時刻から前記第2時刻までの時間に対応するすべての映像を前記対象映像として選択する段階S531が行われることができる。例えば、第2端末150の制御部102は、第2時点(t2)から第3時点(t3)までの時間の間に受信されたすべての映像を前記対象映像として選択することができる。前記選択された対象映像は、前記第1サンプル映像、前記第2サンプル映像、及び第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信されたサンプル映像を含むことができる。また、前記選択された対象映像は、前記ストリーム内で第2時点(t2)よりも後に受信され、第3時点(t3)よりも先に受信されたすべての映像の中でサンプル映像として選択されなかったすべての残りの映像を含むことができる。
再び図6を参照すると、前記対象映像を選択する段階S131が行われた後に、それぞれの前記対象映像内で少なくとも一部の対象領域を選択する段階S132が行われることができる。図13は、実施例に係る選択された対象領域を示す参考図である。図13に示すように、第2端末150の制御部102は、それぞれの前記対象映像の全体領域を前記対象領域として選択することができる。
他の実施例によれば、第2端末150の制御部102は、それぞれの前記対象映像内で皮膚の色に対応する領域を前記対象領域として選択することができる。第2端末150の制御部102は、それぞれの対象映像において皮膚の色に対応する領域を検出することができる。前記皮膚の色は、少なくとも1つ以上の色を指すことができる。それぞれの人が持つ皮膚の色は、互いに異なり得るため、第2端末150の制御部102は、様々な皮膚の色に対して前記皮膚の色に対応する領域を検出することができる。
図14は、他の実施例に係る選択された対象領域を示す参考図である。図14に示すように、第2端末150の制御部102は、対象映像内で皮膚の色を持つ領域を前記対象領域として選択することができる。すなわち、前記選択された対象領域に含まれたそれぞれのピクセル(pixel)は、皮膚の色を持つことができる。
第2端末150の制御部102は、それぞれの対象映像内で少なくとも1つ以上の閉曲線を前記対象領域として選択することができる。例えば、図14に示されたこととは異なり、皮膚の色を持つ領域が互いに隣接するか、離隔された複数の閉曲線を含むことができる。第2端末150の制御部102は、前記複数の閉曲線のすべてを前記対象領域として選択することができる。他の実施例によれば、第2端末150の制御部102は、前記複数の閉曲線の中で最も広い面積を持つ1つ以上の閉曲線を前記対象領域として選択することができる。
図15は、また他の実施例に係る選択された対象領域を示す参考図である。図15に示すように、第2端末150の制御部102は、対象映像内で皮膚の色を持つ領域を含む四角形の領域を前記対象映像として選択することができる。他の実施例によれば、第2端末150の制御部102は、前記四角形の領域の代りに、前記皮膚の色を持つ領域を含む円形、楕円形、または多角形の領域を前記対象映像として選択することができる。
第2端末150の制御部102は、それぞれの対象映像内で少なくとも1つ以上の多角形の領域を前記対象領域として選択することができる。例えば、図15に示されたこととは異なり、皮膚の色を持つ領域が互いに隣接するか、離隔された複数の閉曲線を含むことができる。第2端末150の制御部102は、前記複数の閉曲線のすべてを含む1つの多角形の領域を前記対象領域として選択することができる。他の実施例によれば、第2端末150の制御部102は、複数の多角形の領域を前記対象領域として選択することができる。それぞれの多角形の領域は、前記複数の閉曲線の中で少なくとも1つ以上の閉曲線を含むことができる。また他の実施例によれば、第2端末150の制御部102は、前記複数の閉曲線の中で最も広い面積を持つ1つ以上の閉曲線を含む1つ以上の多角形の領域を前記対象領域として選択することができる。
再び図6を参照すると、次に、それぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階S133が行われることができる。図16は、実施例に係る映像処理が行われた映像である。図16に示すように、第2端末150の制御部102は、図15でのように、選択された対象領域を前記対象映像から削除することができる。
図17は、他の実施例に係る映像処理が行われた映像である。別の例として、図17に示すように、第2端末150の制御部102は、前記対象領域にブラー(blur)効果を適用することができる。図18は、また他の実施例に係る映像処理が行われた映像である。また他の例として、図18に示すように、第2端末150の制御部102は、前記対象領域にモザイク(mosaic)効果を適用することができる。図19は、また他の実施例に係る映像処理が行われた映像である。また他の例として、図19に示すように、第2端末150の制御部102は、前記対象領域を他の映像に置換することができる。
また他の例として、第2端末150の制御部102は、前記対象領域の色、明度、コントラスト(contrast)または彩度を調節することができる。また、第2端末150の制御部102は、前記に羅列された映像処理の組み合わせを行うことができる。例えば、第2端末150の制御部102は、前記対象領域にブラー効果を適用し、彩度を下げ、コントラストを下げることができる。
再び図3を参照すると、次に、前記ストリームに含まれた前記複数の映像を表示する段階S140が行われることができる。第2端末150の出力部105は、前記複数の映像を表示することができる。例えば、第2端末150の出力部105に含まれたディスプレイは、1秒当たり20個の映像を連続的に表示することができる。前記複数の映像は、第2端末150の制御部102によって映像処理が行われた少なくとも1つ以上の映像を含むことができる。
これにより、第1端末100の使用者と映像通話をする第2端末150の使用者が相手方からの淫らな映像にさらされることを防止することができる。また、第2端末150の使用者が相手方からの映像によって感じ得る性的羞恥心または不快感を防止することができる。また、第1端末100の使用者及び第2端末150の使用者間の健全な映像通話が誘導されることができる。
次に、前記映像処理の解除に対する要請を受信する段階S150が行われることができる。例えば、第2端末150の使用者は、不適切な映像にさらされる可能性があることを甘受して、受信された映像の原本を見ることを望むことができる。第2端末150の出力部105に含まれたディスプレイは、前記映像処理を解除するか否かを見るメッセージを出力することができる。例えば、第2端末150の出力部105は、「顔面が検出されていません。原本を見たいならば、ボタンを押して下さい。」のようなメッセージを出力することができる。第2端末150の使用者は、前記メッセージに対する応答として、第2端末150の入力部101に含まれたボタンを押すことができる。すなわち、第2端末150の入力部101は、第2端末150の使用者から前記映像処理の解除に対する要請を受信することができる。
次に、前記ストリームに含まれた前記複数の映像の中で前記要請が受信された後に受信された映像を前記映像処理せずに表示する段階S160が行われることができる。第2端末150の制御部102は、前記要請が受信された後に受信された映像において顔面が検出されなかったと判定することができる。第2端末150の制御部102は、前記のような判定にもかかわらず、前記要請が受信された後に受信された映像に映像処理を行わないことができる。第2端末150の出力部105は、前記要請が受信された後に受信された少なくとも1つ以上の映像を前記映像処理せずに表示することができる。
図20は、他の実施例に係る映像表示方法が行われる過程を示すフローチャートである。図20を参照すると、まず、第1端末100との映像通話セッションを樹立する段階S600が行われることができる。第2端末150の通信部104は、第1端末100との映像通話セッションを樹立することができる。
次に、前記映像通話セッションを介して前記第1端末100によって撮影された複数の映像を含むストリームを受信する段階S610が行われることができる。第2端末150の通信部104は、前記映像通話セッションを介して第1端末100からストリームを受信することができる。前記ストリームは、複数の映像を含むことができる。
次に、前記ストリームに含まれた前記複数の映像を表示する段階S620が行われることができる。第2端末150の出力部105は、受信された前記複数の映像を表示することができる。
次に、前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階S630が行われることができる。第2端末150の制御部102は、前記複数の映像の中から少なくとも1つ以上のサンプル映像を選択することができる。第2端末150の制御部102は、選択されたサンプル映像のそれぞれにおいて顔面に対応する部分が存在するか否かを検出することができる。
次に、前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階S640が行われることができる。第2端末150の制御部102は、少なくとも1つ以上のサンプル映像において顔面が検出されなかったと判定することができる。サンプル映像において顔面が検出されなかった場合、前記複数の映像には、不適切な映像が含まれていることがある。
次に、前記映像通話セッションを終了する段階S650が行われることができる。第2端末150の通信部104は、第1端末100との映像通話セッションを終了することができる。これにより、第1端末100の使用者と映像通話をする第2端末150の使用者が相手方からの不適切な映像にさらされることを防止することができる。
以上で説明された実施例によれば、相手方と映像通話をする使用者が相手方からの淫らな映像にさらされることが防止されることができる。また、相手方と映像通話をする使用者が相手方からの映像によって感じ得る性的羞恥心または不快感が防止されることができる。また、使用者間の健全な映像通話が誘導されることができる。
以上で説明された実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスすることができる任意の使用可能な媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
また、コンピュータ読み取り可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ読み取り可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ読み取り可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の送信メカニズムを含み、任意の情報伝達媒体を含むことができる。
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形態で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。
100:第1映像表示装置、第1端末
101:入力部
102:制御部
103:保存部
104:通信部
105:出力部
150:第2映像表示装置、第2端末
200:サーバー
301:第1映像
302:第2映像
303:第3映像
311:第4映像
312:第5映像
313:第6映像
314:第7映像

Claims (17)

  1. 第1端末から前記第1端末によって撮影された複数の映像を含むストリームを受信する段階と、
    前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる段階と、
    前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定する段階と、
    前記顔面が検出されなかったと判定された場合、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像の視認性を低下させるための映像処理を行う段階、及び
    前記ストリームに含まれた前記複数の映像を表示する段階を含む映像表示方法。
  2. 前記映像処理を行う段階は、
    前記ストリームに含まれた前記複数の映像の中から少なくとも1つ以上の対象映像を選択する段階と、
    それぞれの前記対象映像内で少なくとも一部の対象領域を選択する段階、及び
    それぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階を含む請求項1に記載の映像表示方法。
  3. 前記顔面の検出を試みる段階は、
    前記ストリームに含まれた前記複数の映像の中から、最近の特定の時間に対応する少なくとも1つ以上のサンプル映像を選択する段階、及び
    前記選択された少なくとも1つ以上のサンプル映像において前記顔面の検出を試みる段階を含み、
    前記顔面が検出されなかったと判定する段階は、
    前記選択された少なくとも1つ以上のサンプル映像において前記顔面が検出されなかったと判定する段階を含む請求項2に記載の映像表示方法。
  4. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階を含む請求項3に記載の映像表示方法。
  5. 前記顔面の検出を試みる段階は、
    特定の周期ごとに、前記ストリーム内の新たに受信された映像の中から新たなサンプル映像を選択する段階、及び
    前記新たなサンプル映像が選択されるたびに、前記新たなサンプル映像において前記顔面の検出を試みる段階を含み、
    前記顔面が検出されなかったと判定する段階は、
    前記サンプル映像の中で最近の特定の時間以内に選択されたすべてのサンプル映像において前記顔面が検出されなかったと判定する段階を含む請求項2に記載の映像表示方法。
  6. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記最近の特定の時間に対応するすべての映像を前記対象映像として選択する段階を含む請求項5に記載の映像表示方法。
  7. 前記顔面の検出を試みる段階は、
    前記ストリームに含まれた前記複数の映像の中から選択された第1サンプル映像において前記顔面の検出を試みる段階、及び
    前記ストリーム内で前記第1サンプル映像よりも後に受信されたすべての映像の中から選択された少なくとも1つ以上の第2サンプル映像のそれぞれにおいて前記顔面の検出を試みる段階を含み、
    前記顔面が検出されなかったと判定する段階は、
    前記第1サンプル映像及びすべての前記少なくとも1つ以上の第2サンプル映像において前記顔面が検出されなかったと判定する段階を含む請求項2に記載の映像表示方法。
  8. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像及び前記第1サンプル映像よりも後に受信されたすべての映像を前記対象映像として選択する段階を含む請求項7に記載の映像表示方法。
  9. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記第1サンプル映像、前記少なくとも1つ以上の第2サンプル映像、及び前記第1サンプル映像よりも後に受信され、前記少なくとも1つ以上の第2サンプル映像の中で最後に受信された映像よりも先に受信されたすべての映像を前記対象映像として選択する段階を含む請求項7に記載の映像表示方法。
  10. 前記顔面の検出を試みる段階は、
    前記ストリームに含まれた前記複数の映像の中から、第1時刻に対応する第1サンプル映像及び前記第1時刻から特定の時間以上の時間差を持つ第2時刻に対応する第2サンプル映像を含む少なくとも2つ以上のサンプル映像を選択する段階、及び
    前記選択された少なくとも2つ以上のサンプル映像のそれぞれにおいて前記顔面の検出を試みる段階を含み、
    前記顔面が検出されなかったと判定する段階は、
    前記選択された少なくとも2つ以上のサンプル映像の中で前記第1サンプル映像、前記第2サンプル映像、及び前記第1時刻から前記第2時刻までの時間に対応するすべてのサンプル映像において前記顔面が検出されなかったと判定する段階を含む請求項2に記載の映像表示方法。
  11. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記第1時刻から前記第2時刻までの時間に対応するすべての映像を前記対象映像として選択する段階を含む請求項10に記載の映像表示方法。
  12. 前記少なくとも1つ以上の対象映像を選択する段階は、
    前記ストリームに含まれた前記複数の映像の中から、前記顔面が検出されなかったと判定された前記少なくとも一部のサンプル映像に対応する少なくとも1つ以上の映像、またはすべての前記複数の映像を前記対象映像として選択する段階を含む請求項2に記載の映像表示方法。
  13. 前記少なくとも一部の対象領域を選択する段階は、
    それぞれの前記対象映像内で皮膚の色に対応する領域、または全体領域を前記対象領域として選択する段階を含む請求項2に記載の映像表示方法。
  14. 前記それぞれの前記対象映像の前記選択された対象領域に前記映像処理を行う段階は、
    前記対象領域を削除するか、前記対象領域にブラー(blur)効果またはモザイク(mosaic)効果を適用するか、前記対象領域の色、明度、コントラストまたは彩度を調節するか、または前記対象領域を他の映像に置換する段階を含む請求項2に記載の映像表示方法。
  15. 前記映像処理の解除に対する要請を受信する段階、及び
    前記ストリームに含まれた前記複数の映像の中で前記要請が受信された後に受信された映像を前記映像処理せずに表示する段階をさらに含む請求項1に記載の映像表示方法。
  16. 請求項1項の映像表示方法をコンピュータで実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  17. 第1端末から前記第1端末によって撮影された複数の映像を含むストリームを受信する通信部と、
    前記ストリームに含まれた前記複数の映像を表示する出力部、及び
    前記ストリームに含まれた前記複数の映像の中から選択された少なくとも1つ以上のサンプル映像のそれぞれにおいて顔面の検出を試みる制御部を含み、
    もし、前記制御部が前記サンプル映像の中で少なくとも一部のサンプル映像において前記顔面が検出されなかったと判定すると、前記制御部は、前記ストリームに含まれた前記複数の映像の中で少なくとも1つ以上の映像に映像の視認性を低下させるための映像処理を行い、前記出力部は、前記映像処理が行われた前記少なくとも1つ以上の映像を表示する映像表示装置。
JP2019540499A 2016-10-10 2017-10-10 映像表示装置及び映像表示方法(device and method of displaying images) Active JP6843359B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160130656A KR20180039402A (ko) 2016-10-10 2016-10-10 영상 표시 장치 및 영상 표시 방법
KR10-2016-0130656 2016-10-10
PCT/KR2017/011139 WO2018070762A1 (en) 2016-10-10 2017-10-10 Device and method of displaying images

Publications (2)

Publication Number Publication Date
JP2020500488A JP2020500488A (ja) 2020-01-09
JP6843359B2 true JP6843359B2 (ja) 2021-03-17

Family

ID=61829373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019540499A Active JP6843359B2 (ja) 2016-10-10 2017-10-10 映像表示装置及び映像表示方法(device and method of displaying images)

Country Status (5)

Country Link
US (1) US11102450B2 (ja)
EP (1) EP3523960A4 (ja)
JP (1) JP6843359B2 (ja)
KR (1) KR20180039402A (ja)
WO (1) WO2018070762A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US11394921B2 (en) * 2017-03-10 2022-07-19 Apple Inc. Systems and methods for perspective shifting in video conferencing session
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
CN109068084A (zh) * 2018-08-31 2018-12-21 努比亚技术有限公司 视频通话画面显示方法、移动终端及计算机可读存储介质
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102287704B1 (ko) 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR20210115442A (ko) * 2020-03-13 2021-09-27 주식회사 하이퍼커넥트 신고 평가 장치 및 그것의 동작 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200714A (ja) * 1996-01-17 1997-07-31 Casio Comput Co Ltd テレビ電話付き画像処理装置
KR20010000426A (ko) * 2000-09-28 2001-01-05 김용환 지능형 영상 인터페이스 방법
US7360234B2 (en) 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법
KR100882476B1 (ko) 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치
US20090041311A1 (en) 2007-08-09 2009-02-12 Jon Hundley Facial recognition based content blocking system
US8223187B2 (en) 2008-07-17 2012-07-17 Cisco Technology, Inc. Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream
JP2010271922A (ja) * 2009-05-21 2010-12-02 Fujifilm Corp 話中人物検出方法、話中人物検出装置、および話中人物検出プログラム
JP2012054897A (ja) * 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法
JP5521924B2 (ja) 2010-09-10 2014-06-18 ダイキン工業株式会社 コンテナ用冷凍装置
EP2693745A4 (en) 2011-03-30 2015-04-01 Fujitsu Ltd INFORMATION PROCESSING DEVICE COMPRISING IMAGE TRANSMISSION CONTROL FUNCTION
EP2515526A3 (en) * 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
KR101237469B1 (ko) 2011-05-12 2013-02-26 재단법인 서울호서직업전문학교 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체
KR101394597B1 (ko) * 2012-05-09 2014-05-27 김명훈 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US9501702B2 (en) 2012-12-11 2016-11-22 Unify Gmbh & Co. Kg Method of processing video data, device, computer program product, and data construct
KR101800617B1 (ko) * 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
US9576190B2 (en) * 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing

Also Published As

Publication number Publication date
JP2020500488A (ja) 2020-01-09
US11102450B2 (en) 2021-08-24
WO2018070762A1 (en) 2018-04-19
KR20180039402A (ko) 2018-04-18
EP3523960A1 (en) 2019-08-14
US20180103234A1 (en) 2018-04-12
EP3523960A4 (en) 2019-10-23

Similar Documents

Publication Publication Date Title
JP6843359B2 (ja) 映像表示装置及び映像表示方法(device and method of displaying images)
JP6405470B2 (ja) 動画撮影方法及びその装置、プログラム、及び記憶媒体
US10701315B2 (en) Video communication device and video communication method
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
JP6081440B2 (ja) スマートグラスに基づくプロンプティングのための方法及び装置
US11553157B2 (en) Device and method of displaying images
KR101989842B1 (ko) 단말기 및 그것의 영상 처리 방법
KR20190007934A (ko) 통신 장치, 서버 및 동작 방법
CN106992953A (zh) 系统信息获取方法及装置
CN113490010B (zh) 基于直播视频的互动方法、装置、设备及存储介质
WO2022028537A1 (zh) 一种设备识别方法及相关装置
WO2023045712A1 (zh) 投屏异常处理方法及电子设备
US9513697B2 (en) Communication apparatus, communication method, and computer readable recording medium
CN112351411A (zh) 信息传输的方法和电子设备
US20200410605A1 (en) Mobile, server and operating method thereof
KR102051828B1 (ko) 영상 통화 방법 및 영상 통화 중개 장치
CN105430260B (zh) 获取视频图像的方法及装置
KR101967651B1 (ko) 영상 표시 방법, 장치 및 컴퓨터 판독 가능한 기록매체
JP6082842B2 (ja) アプリケーションリスト実行方法、アプリケーションリスト実行装置、プログラム及び記録媒体
KR102280212B1 (ko) 영상 통화 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
CN110087014B (zh) 视频补全方法、终端及计算机可读存储介质
US20180169524A1 (en) Information processing device, system, and information processing method
WO2023098182A1 (zh) 应用界面的显示方法及电子设备
WO2023045687A1 (zh) 投屏方法、设备及系统
US20110026897A1 (en) Video Recording Devices and Video Recording Methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210205

R150 Certificate of patent or registration of utility model

Ref document number: 6843359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250