KR101765428B1 - 이미지 기록 또는 표시 전에 장면 의존적 이미지 수정을 가능하게 하는 라이브 장면 인식 - Google Patents

Abstract

본 발명은 이미지들의 시간 시퀀스를 처리하기 위한 디바이스를 제공하며, 상기 디바이스는 메모리로부터 상기 이미지들의 시간 시퀀스로부터의 이미지를 취출하고, 상기 취출된 이미지에 대한 라이브 장면 인식을 수행하고, 상기 장면 인식의 결과에 기초하여, 상기 이미지에 대해 실시간 액션을 수행하기 위해 구성된다.

Description

이미지 기록 또는 표시 전에 장면 의존적 이미지 수정을 가능하게 하는 라이브 장면 인식{LIVE SCENE RECOGNITION ALLOWING SCENE DEPENDENT IMAGE MODIFICATION BEFORE IMAGE RECORDING OR DISPLAY}

본 발명은 이미지들의 타임 시퀀스를 처리하기 위한 디바이스, 이미징 시스템, 이미지 표시 시스템, 및 라이브 이미지들의 시퀀스를 처리하기 위한 방법에 관한 것이다.

지난 10년간, 디지털 이미지들의 캡처, 처리, 표시 및 필터링이 발달되었다. 현재, 대부분의 디바이스들은, 고 해상도에서의 디지털 이미지들의 캡처, 고 프레임 레이트에서의 고화질 디지털 비디오의 캡처 및 표시를 가능하게 한다. 대부분의 디바이스들은 이미지 캡처 또는 저장을 포함하고, 노이즈 감소, 컬러 조절, 화이트 밸런싱, 이미지 인코딩 및 디코딩, 그리고 다른 기본 전처리를 수행하는 것과 같은 이미지들의 전처리를 가능하게 하는 이미지 프로세서를 포함한다. 사실, 이 이미지 처리는 이미지들이 기록되고 있거나 또는 이미지들이 표시되고 있는 동안 이미지들에 대해 행해질 수도 있다. 이미지 필터링은 가령 US2007/297641 (Linda Criddle 등) 에 의해 시각적 콘텐츠를 보기 어렵게 하기 위해 설명되어 있다. 콘텐츠는 사전에 기록 및 저장되었다. 필터링을 적용하기 위하여, 콘텐츠의 리뷰 및 분석은 디스플레이 자체에 의해서가 아니라 서버에 의해서 수행된다. 결과적으로 디스플레이는, 필터링의 정확성에 관하여, 서버, 그리고 서버와의 통신에 의존한다.

사진 필터들이 기록된 이미지들을 수정한다. 때때로, 그들은 이미지들에 미묘한 변화만을 행하는데 사용된다; 다른 때에는, 이미지는 그들이 없으면 그야말로 가능하지 않다. 컬러링 필터들은 상이한 컬러들의 상대적인 밝기에 영향을 미친다; 붉은 립스틱이 상이한 필터들로 거의 백색으로부터 거의 흑색까지의 어느 것으로서 렌더링될 수도 있다. 다른 것들은 이미지들의 컬러 밸런스를 변화시켜, 백열 조명하에서 사진들이 불그스름한 빛깔보다는 그것들이 인지되는 대로 컬러들을 나타내게 된다. 이미지를 원하는 방식으로 왜곡시키며, 그렇지 않았다면 선명한 이미지를 확산 (diffusing) 시키고, 별빛 효과 (starry effect) 를 추가하거나, 이미지를 블러링 (blur) 또는 마스킹 (mask) 하는 등의 필터들이 있다.

사진 필터들은, 오늘날 Instagram, Camera+, EyeEm, Hipstamatic, Aviary 등과 같은 대중 앱들에 의해 제공되는 바처럼 잘 알려져 있다. 이들 사진 필터들은 통상적으로, 이미지에서 국부적으로 또는 전체적으로, 세기, 색조, 채도, 대비, 적, 녹 청색 채널 마다 컬러 곡선을 조절하고, 컬러 룩업 테이블들을 적용하고, 비네팅 마스크 (더 어두운 에지 및 코너) 와 같은 하나 이상의 마스킹 필터들을 오버레이시키고, 이미지를 크롭하여 폭과 높이를 조절하고, 테두리들을 이미지들에 추가함으로써 예를 들어, Polaroid 효과, 및 이들의 조합을 발생시킨다. 미적으로 아름다운 화상을 얻기 위하여; 가령 http://mashable.com/2012/07/19/instagram-filters/ 에 공개된 바처럼 상이한 필터들이 상이한 타입의 이미지들에 가장 적절히 적용된다 예를 들어, Instagram 앱에 의해 제공되는 사진 필터들의 잘 알려진 예들은 하기 필터이다:

사람의 클로즈업 샷 (close-up shot) 을 위한 라이즈 필터 (Rise filter);

건물들의 실외 사진들을 위한 허드슨 필터 (Hudson filter)

자연의 실외 샷들을 위한 시에라 필터 (Sierra filter);

음식의 샷들을 위한 로우 파이 필터 (Lo-Fi);

여름 이벤트, 밤 축제, BBQ, 피크닉의 사진들을 위한 수트로 필터 (Sutro filter);

이미지가 강한 그늘을 가질 경우의 브라난 필터 (Brannan filter);

빛 및 그늘이 이미지에서 두드러질 경우의 잉크웰 필터 (Inkwell filter);

이미지가 강렬한 컬러 (무지개) 를 가질 경우의 헤페 필터 (Hefe filter) 등등.

사용자가 이미지의 스냅 사진을 찍고 나면, 사진 필터 동작 또는 이들의 조합이, 사용자가 가장 좋은 미적 효과를 주는 필터를 수동으로 선택하는, 상호작용 모드에서 이미지에 적용될 수 있다. 캡처된 사진을 편집하는 것은, 가령, 유럽 특허 출원 EP1695548 및 US2006/0023077 (Benjamin N. Alton 등) 으로부터 알려져 있다.

본 발명의 개요

본 발명의 일 양태는 새롭거나 및/또는 보다 향상된 디지털 이미지 캡처 및/또는 표시의 사용을 제공하는 것이다. 본 발명은 추가적으로 또는 조합하여 고문 또는 성교, 아동 포르노그래피, 기밀 군사 오브젝트들을 표시하는 장면들과 같은 원하지 않는 타입의 이미지들의 기록 및/또는 표시의 라이브 방지를 가능하게 하고, 본 발명은 미적으로 화상들을 캡처 및/또는 표시하는 것을 가능하게 한다.

본 발명은 이미지들의 타임 시퀀스를 처리하기 위한 디바이스를 제공하며, 상기 디바이스는 메모리로부터 상기 이미지들의 타임 시퀀스로부터의 이미지를 취출하고, 상기 취출된 이미지에 대한 장면 인식을 수행하고, 상기 장면 인식의 결과에 기초하여, 이미지들이 기록되기 전에 상기 이미지에 대해 액션을 수행하기 위해 구성된다.

일 실시형태에서, 상기 액션은 상기 이미지의 적어도 일부를 적합화 (adapting) 하는 단계를 포함하는 이미지 수정을 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 수정된 이미지로 수정하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지의 저장을 차단하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지의 표시를 차단하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 상기 메모리로부터 삭제하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 암호화하는 단계를 포함한다.

이들 액션들은 조합될 수도 있다. 각각의 액션은 그의 장점 또는 응용 또는 용도를 가질 수도 있다.

장면 내에서 오브젝트들을 인식하는 것을 포함한, 장면에서 이벤트를 인식하는 것도 포함한, 장면을 이해하는 것에 의해, 원하지 않는 장면들 및/또는 오브젝트들 및/또는 이벤트들이 표시되거나 또는 심지어 기록되는 것이 방지될 수 있다. 예를 들어, 본 발명에 제공된 표시 디바이스 (이를테면, 스크린, 모니터 등) 은 이들 이미지들을 포함하는 입력 신호를 수신하더라도 아동 포르노그래피를 보여줄 수 없다. 동일한 방식으로, 아동 포르노그래피 장면을 가리키는 카메라 디바이스 (이를테면 디지털 카메라들) 는 이미지를 기록할 수 없다. 게다가, 그것은 이미지 개선 및/또는 필터링의 자동화를 가능하게 한다.

본원에서, 이미지는 디지털 이미지를 지칭한다. 보통, 그러한 이미지는, 각각 광량을 나타내는 디지털 값을 갖는 픽셀들로 구성된다. 이미지는 그림 또는 사진에 의해 표현될 수 있다. 그것은 후속 이미지들의 세트의 일부일 수 있다. 본원에서 이미지가 캡처되고 있을 때 그것은 아직 기록되지 않았다. 이미지는 그것이 캡처되고 처리된 후에만 기록된다. 머신 학습 (Machine Learning) 방법 및 소프트웨어 컴파일 (software compilation) 기법들을 적응시킴으로써, 본 발명은, 데이터 프로세서 상에서 실행될 수 있는 소프트웨어 코드부들을 포함하는 컴퓨터 프로그램 내에 장면 인식을 임베딩하는 것을 가능하게 한다. 그래서 상기 프로세서는 카메라, (스마트) 폰 및 디지털 태블릿 등과 같은 하지만 이들에 한정되지 않는 휴대 디바이스들의 치수들에 맞을 수 있다. 장면 인식의 성능을 튜닝함으로써, 이미지들은 인간 눈이 할 수 있는 것보다 더 빠르게 캡처 및 처리될 수 있다. 결과적으로, 처리된 이미지들은 실시간으로 적합화 및 차단될 수 있다. 본 발명에 따른 응용들은 이미지들의 콘텐츠의 이해에 기초한 자동화된 이미지들의 향상 및 이미지들의 필터링을 포함한다.

본 발명의 또 다른 이점은 장면을 이해함으로써, 사용자가 미적으로 개선된 이미지 또는 비디오 기록을 낳는 사진 필터를 수동으로 선택해야 하는 부담으로부터 사용자가 해방된다는 점이다.

장면 인식은 상이한 유형의 이미지들 또는 비디오들의 인식을 포함한다. 이것은, 컴퓨터 비전 및/또는 머신 학습 알고리즘을 이용하여 가능해졌다. 알려진 알고리즘은 예를 들면 다음과 같다:

- 이미지의 고유 디지털 시그너처 계산하기 그리고 다음으로 그 시그너처를 다른 사진들의 시그너처들에 대해 매칭시키기 [구체적인 실시형태들에 대해서는, Microsoft PhotoDNA Fact Sheet December 2009, 또는 Heo 등의, “Spherical hashing”, in Computer Vision Pattern Recognition Conference, 2012. 참조];

- 차별적 피처 마이닝 (Discriminative feature mining) [구체적인 실시형태들에 대해서는, Bangpeng Yao, Khoshla, Li Fei-Fie, “Combining randomization and discrimination for fine-grained image categorisation”, in Computer Vision Pattern Recognition Conference, 2011. 참조] 또는 컨투어 기반 형상 디스크립터 (contour-based shape descriptor) [구체적인 실시형태들에 대해서는, Hu, Jia, Ling, Huang, “Multiscale Distance Matrix for Fast Plant Leaf Recognition”, IEEE Trans. on Image Processing (T-IP), 21(11):4667--4672, 2012 참조],

- 딥 피셔 네트워크 (Deep Fisher network) [구체적인 실시형태들에 대해서는, Simonyan, Vedaldi, Zisserman, “Deep Fisher Networks for Large-Scale Image Classification”, in Advances in Neural Information Processing Systems, 2013 참조],

- 백 오브 워즈 (Bag of Words)/ 지지도 벡터 머신 (Support vector machine) [구체적인 실시형태들에 대해서는, Snoek 등의, "The MediaMill TRECVID 2012 Semantic Video Search Engine," in Proceedings of the 10th TRECVID Workshop, Gaithersburg, USA, 2012 참조],

- 딥 러닝 (Deep learning) [구체적인 실시형태들에 대해서는, Krizhevsky, A., Sutskever, I. and Hinton, G. E. ImageNet Classification with Deep Convolutional Neural Networks, Advances in Neural Information Processing 25, MIT Press, Cambridge, MA 참조],

- 오브젝트들의 특성 형상 및 컬러에 기초한 템플릿 매칭 (Template matching) [구체적인 실시형태들에 대해서는, R. Brunelli, Template Matching Techniques in Computer Vision: Theory and Practice, Wiley 참조]

- 안면 검출 (Face detection) [구체적인 실시형태들에 대해서는, Viola Jones, Robust Real-Time Face Detection, International Journal of Computer Vision, 2004 참조] 및 얼굴 인식 [구체적인 실시형태들에 대해서는, R. Brunelli and T. Poggio, "Face Recognition: Features versus Templates", IEEE Trans. on PAMI, 1993 참조]

- 또는 이들의 조합 [구체적인 실시형태들에 대해서는, Snoek 등의 "MediaMill at TRECVID 2013: Searching Concepts, Objects, Instances and Events in Video," in Proceedings of the 11th TRECVID Workshop, Gaithersburg, USA, 2013. 참조].

이 점에서 장면 인식은 이미지를 처리하는 것에 관한 것이다. 그러한 처리에서, 세팅, 오브젝트, 이벤트, 또는 이들의 조합이 식별된다. 장면 인식 후에 이미지 또는 이미지들을 처리하기 위하여, 일 실시형태에서, 라벨, 식별자 또는 해시 (hash) 가 이미지에 적용된다. 이 점에서, 일 실시형태에서 그러한 라벨 또는 식별된 것은 장면 인식의 결과에 관한 것이거나 또는 그 결과에 상관된다.

장면 인식은 가령, 알려진 아동의 성적 학대 이미지들의 인식을 가능하게 한다.

장면 인식은 가령 다음을 가능하게 한다:

실내 또는 실외, 음식, 사람들, 일몰, 산, 개 등과 같은 장면들의 조립 인식 (Course grained recognition).

수백개의 식물 종들로부터의 잎의 또는 상이한 개 종류 이를테면 셔퍼드, 아프간하운드, 테리어, 스패니얼, 아메리칸 폭스하운드 등의 세립 인식 (Fine grained recognition).

차 타이어를 바꾸는 사람, 결혼식을 올리는 개인들, 샌드위치를 만드는 사람, 기기를 세척하는 사람, 암벽 등반 중인 팀과 같은 오브젝트들간의 행위의 인식 또는 관계의 인식.

책 표지 또는 와인 라벨의 인식.

번호판 및 교통 신호와 같은 알려진 오브젝트들의 인식.

장면 인식 알고리즘의 결과들에 기초하여, 상기 이미지에 대해 액션이 수행된다. 일 실시형태에서, 상기 액션은, 상기 장면의 적어도 일부를 적합화하는 것을 포함하는 장면 수정, 상기 이미지를 수정된 이미지로 수정하는 것, 상기 이미지의 저장을 차단하는 것, 상기 이미지의 표시를 차단하는 것, 상기 이미지를 상기 메모리로부터 삭제하는 것, 상기 이미지를 암호화하는 것, 및 이들의 조합으로 이루어지는 군으로부터 선택된다.

일 실시형태에서, 위에 설명되고 대중 앱, 또는 이들의 조합에 의해 제공되는 필터들의 군이 적용될 수 있다.

액션들, 특히 이미지 수정 알고리즘들이 이미지를 적합화하기 위하여 실시간으로 사용될 수 있다. 또한 또는 조합하여, 액션들, 특히 이미지 수정 알고리즘들이 이미지들의 타임 시퀀스, 가령 기록되고 있는 비디오 필름을 형성하는 이미지들에, 특히 촬영 동안, 적용될 수 있다. 다른 또는 관련된 실시형태들에서, 이미지 수정의 액션은 이미지 또는 이미지들의 시퀀스가 표시, 브로드캐스트 또는 저장되기 전에 수행될 수도 있다. 이 점에서, 이미지 인식은 캡처되고 라이브 프리뷰에서 제시되는 모든 이미지들에 대해 수행될 수도 있거나, 또는 가령 그 타임 시퀀스로부터 캡처된 이미지들의 서브세트에 대해 수행될 수도 있고, 액션은 프리뷰에서 표시되는 이미지들의 각각에 대해 수행될 수도 있다.

그 응용에서, 서버가 참조될 수도 있다. 그러한 서버는 한 장소에 위치된 하나의 서버 디바이스, 가령 컴퓨터 디바이스일 수도 있다. 대안적으로, 서버는 동일 장소에 있거나 및/또는 원격, 특히 물리적/지리적으로 원격의 장소들에 위치된, 하나 이상의 데이터 접속들을 통해 접속된, 적어도 하나의 서버 디바이스를 나타낼 수도 있다.

이미지 기록 디바이스에서, 이미지 센서는 이미지를 캡처한다. 현재, 이미지 센서는 종종 CMOS 디바이스이지만, 또한 다른 디바이스들이 고려될 수도 있다. 이들 이미지 센서들은 또한, 공간 이미지 센서들로 지칭될 수도 있다. 이들 센서들은 하나 이상의 적어도 2차원 이미지들의 캡처를 가능하게 한다.

현재 기술에서, 캡처된 이미지는 이미지 센서에서 클럭 아웃 (clock out) 되거나 또는 리드 아웃 (read out) 되고 디지털 픽셀 이미지를 표현하는 디지털 값들의 스트림으로 디지털화된다. 일부 경우에, 이미지 기록 디바이스는 캡처된 이미지의 어떤 기본적인 처리 및 일시적 저장을 제공하기 위한 이미지 프로세서를 포함할 수도 있다. 전처리의 예들은 컬러 보정, 화이트 밸런싱, 노이즈 감소, 및 심지어 이미지를 상이한 디지털 파일 포맷으로 변환 및/또는 압축하기 위한 이미지 변환을 포함한다.

이미지 표시 디바이스에서, 이미지, 이미지들의 세트 (a set of images), 또는 이미지들의 시퀀스 (a sequence of images) 가 메모리에 저장되고 표시될 수 있게 변환될 수도 있다. 이미지 표시 디바이스는 표시 스크린, 가령 OLED 패널, LCD 패널 등을 포함할 수도 있거나, 또는 화상 또는 필름을 원격 스크린 상에 투사하기 위한 프로젝터를 포함할 수도 있다. 종종, 이미지, 이미지들의 세트 또는 이미지들의 시퀀스가 인코딩되거나 또는 디코딩된다.

본 발명의 일 실시형태에서, 이미지 또는 이미지들의 세트 중 또는 이미지들의 시퀀스 중 적어도 한 서브세트가 장면 인식 알고리즘을 받고 결과적인 식별자들이 제공된다. 식별자에 기초하여, 액션들 중의 하나가 후속되거나 및/또는 특정 식별자가 제공된 이미지를 포함하는 이미지 또는 이미지들의 세트 또는 이미지들의 시퀀스에 대해 수행된다. 특히, 이미지, 이미지들의 세트 또는 이미지들의 시퀀스가 표시 패널 또는 프로젝터를 통해 사용자에게 제시되기 전에 액션들이 수행된다.

이미지 기록 및 이미지 표시는 조합될 수도 있다. 많은 이미지 기록 디바이스들은 또한, 실시간으로 캡처되고 있는 동안 이미지들의 바로 보기를 가능하게 하는 디스플레이를 포함한다. 따라서, 디스플레이는 뷰어로서 기능하며, 사용자가 이미지 컴포지션 (image composition) 을 구성할 수 있게 한다. 가령, 사용자가 사진을 선택, 가령 찍거나, 또는 한편의 필름을 촬영하고나면, 이미지 센서는 이미지 또는 이미지들의 시퀀스를 캡처한다. 다음으로 그 이미지는 이미지 프로세서에 의해 전처리되고, 메모리에 저장된다. 종종, 캡처된 이미지는 또한 디스플레이 상에 표시된다. 거기서, 사용자는 수동으로, 필터링, 적목 감소 등 추가의 이미지 처리를 적용할 수도 있다.

장면 인식 및 심지어 이미지 수정 액션은, 이미지 또는 이미지들이 프리뷰를 위해 제공되거나, 표시되거나 또는 저장되기 전에 수행될 수도 있다.

다른 모드에서, 이미지 기록 디바이스는, 소위 '버스트 모드' (burst mode) 또는 '연속 캡처 모드' (continuous capture mode) 에 있을 수도 있으며, 비디오가 캡처될 수 있게 한다. 이 '버스트 모드' 에서, 비디오 프레임 레이트에서 이미지들이 캡처되며, 필름을 제공한다. 종종, 그러한 프레임 레이트는 적어도 20 fps (frames per second), 특히 적어도 30 fps 이다.

디바이스는 이미지들의 타임 시퀀스에 관한 것이다. 이미지들의 타임 시퀀스의 일 예는 필름의 기록 (recording) 이다. 다른 예는 디지털 카메라의 뷰어를 통한 기능적으로 라이브 뷰이다. 특히 디지털 뷰어가 사용될 때, 이미지들의 기능적으로 라이브 시퀀스가 뷰어를 통해 표시된다. 디바이스는 가령, 뷰어에 표시되는 이미지들의 각각에 대해 액션을 적용할 수도 있다. 이미지들의 타임 시퀀스는 타임 베이스 (time base) 를 가질 수도 있다. 이미지들간의 시간은, 가령 필름에서와 같이, 일정할 수도 있다. 이미지들의 타임 시퀀스는 또한, 후속 이미지 버스트들을 포함할 수도 있으며, 각각의 버스트는 후속 버스트들간에 상이한 시간의 같은 것을 갖는다.

일 실시형태에서, 액션은 상기 이미지들의 타임 시퀀스로부터 이미지들의 서브세트에 대한 액션을 포함하며, 상기 서브세트는 상기 이미지를 포함한다. 장면 인식은 가령 이미지에 대해 행해질 수도 있다. 이어서, 시간적으로 이미지에 후속하거나 또는 선행하는 이미지들이 액션을 이용하여 처리될 수도 있다. 따라서, 장면 인식을 받는 이미지들간의 시간이 상대적으로 작으면, 가령 인간의 시각 능력에 대해 작으면, 가령 시간 인터벌이 0.2 초보다 작고 이 시간 인터벌 내에 후속 이미지들의 세트가 처리되면, 이미지들의 거의 일정한 시각적 시퀀스가 처리된다.

일 실시형태에서, 디바이스는 상기 이미지들의 타임 시퀀스 중 적어도 한 서브세트에 대해 장면 인식을 수행하기 위해 구성된다. 가령, 연속 이미지들의 세트가 장면 인식을 받을 수 있다. 대안적으로, 각각의 n번째 이미지는 장면 인식을 받을 수 있다.

일 실시형태에서, 디바이스는 액션이 장면 인식의 결과에 의존될 수 있게 한다.

일 실시형태에서, 디바이스는 상기 장면 인식의 결과에 기초하여 식별자를 제공하기 위해 구성된다. 식별자는 숫자 또는 문자일 수 있다. 식별자는 또한, 다른 타입의 라벨일 수도 있으며, 가령 해시 함수의 적용을 가능하게 한다. 다른 실시형태에서, 상기 식별자가 미리정의된 식별자에 매칭되면, 식별자에 기초하여, 디바이스는 상기 이미지들에 대해 액션을 수행한다. 따라서, 가령, 장면, 오브젝트 또는 이벤트가 변화하면, 변화에 응답하여 액션을 변화시키는 것도 가능할 수도 있다. 액션은, 상기 이미지의 적어도 일부를 적합화하는 것을 포함하는 이미지 수정, 상기 이미지를 수정된 이미지로 수정하는 것, 상기 이미지의 저장을 차단하는 것, 상기 이미지를 상기 메모리로부터 삭제하는 것, 상기 이미지를 암호화하는 것, 및 이들의 조합으로 이루어지는 군으로부터 선택될 수도 있다.

일 실시형태에서, 이미지들의 타임 시퀀스는 라이브 이미지들의 시퀀스 및 비디오 필름을 형성하는 이미지들의 시퀀스의 군으로부터 선택된다. 전체 시퀀스 중 하나의 이미지 또는 모든 이미지들이 장면 인식을 받을 수도 있다.

일 실시형태에서, 장면 인식은 이미지의 고유 디지털 시그너처를 계산하고 다음으로 그 시그너처를 다른 사진들의 시그너처들에 대해 매칭시키는 것, 차별적 피처 마이닝, 컨투어 기반 형상 디스크립터, 딥 피셔 네트워크, 백 오브 워즈, 지지도 벡터 머신, 딥 러닝, 안면 검출, 오브젝트들의 특성 형상 및 컬러에 기초한 템플레이트 매칭, 및 이들의 조합으로 이루어지는 군으로부터 선택된 알고리즘을 적용하는 것을 포함한다.

일 실시형태에서, 상기 이미지를 수정하는 것은 상기 이미지의 적어도 일부를 블러링 (blurring) 하는 것을 포함한다. 가령, 인식된 장면의 일부, 인식된 장면에서의 오브젝트, 또는 인식된 장면에서의 이벤트가 블러링될 수도 있다. 따라서, 표시 전에 또는 (영구) 저장 전에 부분들을 블러링하는 것이 가능할 수도 있다. 이렇게 하여, 원하지 않는 장면들 및 장면들 내의 이벤트들 및/또는 오브젝트들을 기록 또는 표시할 수 없는 이미지 레코더, 디지털 카메라 또는 컴퓨터 디스플레이를 제공하는 것이 가능할 수도 있다.

일 실시형태에서, 액션은 사진 필터들을 적용하는 것에 의한 이미지 처리이다. 언급된 바처럼, 이들 필터들의 예들은 이미지에서 국부적으로 또는 전체적으로 세기, 색조, 채도, 대비, 적, 녹 청색 채널 마다 컬러 곡선으로부터 선택된 적어도 하나를 조절하는 필터들이다. 이들 필터들은 컬러 룩업 테이블들을 적용할 수도 있다. 이들 필터들은 비네팅 마스크 (더 어두운 에지 및 코너) 와 같은 하나 이상의 마스킹 필터들을 오버레이하거나, 이미지를 크롭하여 폭과 높이를 조절하거나, 또는 테두리들을 이미지들에 추가할 수도 있다. 일 실시형태에서, 이들 필터들은 라이즈 필터, 허드슨 필터, 시에라 필터, 로 파이 필터, 수트로 필터, 브라난 필터, 잉크웰 필터, 헤페 필터, 및 이들의 조합의 군으로부터 선택된다.

일 실시형태에서, 디바이스는 이미지를 캡처하기 위해 구성된 이미지 센서를 포함하고, 특히 상기 이미지들의 시리즈는 필름을 형성하고, 상기 장면 인식이 상기 이미지에 대해 수행되고, 상기 액션이 상기 캡처된 이미지에 대해, 특히 다음 이미지가 캡처되기 전에, 수행된다.

일 실시형태에서, 디바이스는 데이터 스토리지를 포함하고, 상기 디바이스는 상기 데이터 스토리지에 상기 이미지를 기록하기 전에 상기 액션을 수행하기 위해 구성된다. 그러한 데이터 스토리지는, 하드 디스크, 솔리드 스테이트 디스크 (SSD) 를 포함할 수도 있지만, 또한, 외부 스토리지, 가령 클라우드 스토리지와 같은 원격 외부 스토리지에 관한 것일 수도 있다.

일 실시형태에서, 디바이스는 상기 이미지를 표시하기 위한 디스플레이를 포함하고, 상기 디바이스는 상기 이미지를 표시하기 전에 상기 액션을 수행하기 위해 구성된다.

일 실시형태에서, 본 발명은 이미지를 캡처하기 위한 이미지 센서, 상기 이미지를 저장하기 위한 메모리, 및 본 발명의 디바이스를 포함하는 이미징 시스템에 관한 것이다.

일 실시형태에서, 본 발명은 표시를 위한 이미지를 수신하기 위한 메모리, 상기 이미지를 표시하기 위한 디스플레이 및 본 발명의 디바이스를 포함하는 이미지 표시 시스템에 관한 것이다.

본 발명은 또한, 소프트웨어 코드부들을 포함하는 컴퓨터 프로그램에 관한 것이고, 상기 소프트웨어 코드부들은, 데이터 프로세서 상에서 실행될 때:

- 메모리로부터 이미지를 취출하고;

- 상기 이미지에 대해 장면 인식을 수행하고,

- 상기 장면 인식의 결과에 기초하여, 상기 이미지의 적어도 일부를 적합화하는 것을 포함하는 이미지 수정, 상기 이미지를 수정된 이미지로 수정하는 것, 상기 이미지의 저장을 차단하는 것, 상기 이미지를 상기 메모리로부터 삭제하는 것, 상기 이미지를 암호화하는 것, 및 이들의 조합으로 이루어지는 군으로부터 선택된 액션을 수행하게 하도록 상기 데이터 프로세서를 구성한다.

본 발명은 또한, 이 컴퓨터 프로그램이 제공된 데이터 캐리어 (data carrier) 에 관련된다.

본 발명은 또한, 이 컴퓨터 프로그램의 적어도 일부를 반송하는 신호에 관련된다.

본 발명은 또한, 컴퓨터 상에서 실행되기 위한 프로그램을 나타내는 신호 시퀀스에 관련되고, 상기 신호 시퀀스는 이 컴퓨터 프로그램을 나타낸다.

본 발명은 또한, 라이브 이미지들의 시퀀스를 처리하는 방법에 관련되고, 상기 방법은, 상기 이미지들의 시퀀스 중 적어도 한 세트의 이미지들에 대해 장면 인식을 수행하는 단계, 및 상기 장면 인식의 결과에 기초하여, 상기 이미지들의 시퀀스 중 후속 이미지들에 대해 액션을 수행하는 단계를 포함한다. 일 실시형태에서, 상기 액션은 상기 이미지의 적어도 일부를 적합화하는 단계를 포함하는 이미지 수정을 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 수정된 이미지로 수정하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지의 저장을 차단하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 상기 메모리로부터 삭제하는 단계를 포함한다.

일 실시형태에서, 상기 액션은 상기 이미지를 암호화하는 단계를 포함한다.

이들 액션들은 조합될 수도 있다.

일 실시형태에서, 방법은 또한, 상기 장면 인식의 결과에 기초하여 식별자를 제공하는 단계를 포함한다.

일 실시형태에서, 방법은 또한, 상기 식별자가 미리정의된 식별자에 매칭되면, 식별자에 기초하여, 상기 이미지들의 시퀀스 중 후속 이미지들에 대해 액션을 수행하는 단계를 포함하고, 상기 액션은 상기 이미지의 적어도 일부를 적합화하는 것을 포함하는 이미지 수정, 상기 이미지를 수정된 이미지로 수정하는 것, 상기 이미지의 저장을 차단하는 것, 상기 이미지를 상기 메모리로부터 삭제하는 것, 상기 이미지를 암호화하는 것, 및 이들의 조합으로 이루어지는 군으로부터 선택된다.

본 발명은 또한, 이미지들의 세트를 처리하는 방법에 관련되고, 상기 방법은, 상기 이미지들의 세트 중 적어도 한 서브세트의 이미지들에 대해 장면 인식을 수행하는 단계, 및 상기 장면 인식의 결과에 기초하여, 상기 이미지들의 시퀀스 중 후속 이미지들에 대해 액션을 수행하는 단계를 포함한다. 일 실시형태에서, 상기 액션은 이미지 수정을 포함한다. 일 실시형태에서, 상기 액션은, 상기 이미지의 적어도 일부를 적합화하는 것을 포함하는 이미지 수정, 상기 이미지를 수정된 이미지로 수정하는 것, 상기 이미지의 저장을 차단하는 것, 상기 이미지를 상기 메모리로부터 삭제하는 것, 상기 이미지를 암호화하는 것, 및 이들의 조합으로 이루어지는 군으로부터 선택된다.

따라서, 이 실시형태에서, 이미지들의 큰 세트 또는 이미지들의 데이터베이스에 대한 액션들이 자동화될 수 있다.

"실질적으로 이루어지는" 에서와 같이, 본원에서 용어 "실질적으로" 는 당업자에 의해 이해되고 명확할 것이다. 용어 "실질적으로" 는 또한, "완전히", "전체적으로", "모두" 등에 의한 실시형태들을 포함할 수도 있다. 그러므로, 실시형태들에서, 형용사는 또한, 실질적으로 삭제될 수도 있다. 적용가능한 경우, 용어 "실질적으로" 는 또한, 90% 이상, 이를테면 95% 이상, 특히 99% 이상, 더욱 더 특히 99.5% 이상에 관한 것일 수도 있으며, 100% 를 포함한다. 용어 "포함한다" 는 용어 "포함한다" 가 "이루어진다" 를 의미하는 실시형태들도 포함한다.

가령 "기능적으로 연결된" 또는 "기능적으로 직접 통신하는" 에 사용될 때 용어 "기능적으로" 는 당업자에게 이해되고 명확해질 것이다. 용어 "실질적으로" 는 또한, "완전히", "전체적으로", "모두" 등에 의한 실시형태들을 포함할 수도 있다. 그러므로, 실시형태들에서, 형용사는 또한, 실질적으로 삭제될 수도 있다. 따라서, 가령 "기능적으로 직접 통신" 은 직접, 라이브 통신을 포함한다. 그것은 또한, 당사자들의 통신의 관점에서, "라이브" 로서 체험되는 통신을 포함할 수도 있다. 따라서, 가령 VOIP (Voice Over IP) 와 같이, 디지털 음성 데이터를 포함하는 여러 데이터 패킷들간에 작은 시간 양이 있을 수도 있지만, 이들 시간 양은 너무 작아서 사용자들에게 있어서, 그것은 마치 이용가능한 오픈 통신 라인 또는 전화 라인이 있는 것처럼 보이게 된다.

게다가, 상세한 설명 및 청구항에서 용어들, 제 1, 제 2, 제 3 등은 유사한 엘리먼트들을 구별하기 위하여 사용되고, 반드시 순차적 또는 시간순을 기술하는 것은 아니다. 그렇게 사용된 용어들은 적절한 상황하에서 교환가능하고, 본원에 설명된 본 발명의 실시형태들은 본원에 설명 또는 예시된 것과는 다른 시퀀스들에서 동작 가능하다는 것이 이해되야 한다.

본원에서 디바이스들 또는 장치는 다른 것들 중에서 동작중으로 설명된다. 본 발명은 동작 방법 또는 동작 상태의 디바이스들에 한정되지 않는 다는 것이 당업자에게 명확할 것이다.

덧붙여, 위에 언급된 실시형태들은 본 발명을 제한하기 보다는 예시하고, 당업자들은 첨부된 청구항의 범위로부터 벗어남이 없이 많은 대안의 실시형태들을 설계가능할 것이다. 청구항들에서, 괄호 사이에 위치된 임의의 참조 부호는 청구항을 제한하는 것으로 해석되지 않아야 한다. 동사 "포함하는 것" 및 그의 활용형들의 사용은 청구항에 언급된 것들 외의 엘리먼트들 또는 단계들의 존재를 배제하지 않는다. 엘리먼트 앞의 관사 "a" 또는 "an" 은 복수의 그러한 엘리먼트들의 존재를 배제하지 않는다. 본 발명은 여러 구별되는 엘리먼트들을 포함하는 하드웨어에 의해, 그리고 적합하게 프로그램된 컴퓨터에 의해 구현될 수도 있다. 여러 수단들을 열거하는 디바이스 또는 장치 청구항들에서, 이들 수단들 중 여러 개는 하드웨어의 동일한 아이템에 의해 구체화될 수도 있다. 특정 수단들이 서로 상이한 종속 청구항들에서 기재되어 있다는 단순한 사실은 이들 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내지는 않는다.

본 발명은 또한, 상세한 설명에 설명되거나 및/또는 첨부된 도면들에 보여진 특징이 되는 피처들 중 하나 이상을 포함하는 장치 또는 디바이스에 적용된다. 본 발명은 또한, 상세한 설명에 설명되거나 및/또는 첨부된 도면들에 보여진 특징이 되는 피처들 중 하나 이상을 포함하는 방법 또는 프로세스에 관련된다.

본 특허에 논의된 다양한 양태들은 추가적인 이점들을 제공하기 위하여 조합될 수 있다. 게다가, 피처들 중 일부는 하나 이상의 분할 출원을 위한 기초를 형성할 수 있다.

이제, 본 발명의 실시형태들이 첨부 개략도들을 참조하여, 예로써만, 설명될 것이고, 도면들에서 대응하는 참조 부호들은 대응하는 부분들을 표시하고, 도면들에서:
도 1은 이미지들의 타임 시퀀스를 처리하기 위한 디바이스를 개략적으로 도시한다;
도 2는 이미징 시스템을 개략적으로 도시한다;
도 3은 디스플레이 시스템을 개략적으로 도시한다;
도 4는 실외 장면에 사진 필터를 적용하는 카메라를 도시한다;
도 5는 인물 사진에 사진 필터를 적용하는 카메라를 도시한다;
도 6은 원하지 않은 이벤트의 기록을 차단하는 카메라를 도시한다; 그리고
도 7은 원하지 않은 이벤트의 장면을 차단하는 표시 스크린 디바이스를 도시한다.
도면들은 반드시 스케일 (scale) 대로인 것은 아니다.

도 1은 모듈 (201) 을 통해 디지털화된 이미지들을 수신하는 디바이스를 개략적으로 도시한다. 이미지 또는 이미지들은 장면 (100) 의 표현이다. 이들 이미지들은 일시적 메모리 (202) 에 저장된다. 다음으로, 이미지 또는 이미지들이 모듈 (203) 에서 장면 인식을 받는다. 모듈 (204) 에서 장면 인식의 결과에 기초하여, 식별자 (205) 가 이미지들에 제공될 수도 있다. 모듈 (206) 에서 액션이 이미지들을 변경하거나, 및/또는 식별자 (205') 가 이미지들의 변경을 방지하고 이미지들을 일시적 메모리 (202) 에 저장한다. 그때가 되면, 이미지들이 장면 (100') 을 표현하고 있다. 이 변경된 장면 (100') 에서, 장면의 부분들이 블러링될 수도 있다.

도 2는 카메라 (200) 를 통해 이미지들을 캡처하는 이미징 시스템을 개략적으로 도시한다. 이들 이미지들은 장면 (100) 을 표현한다. 이미지들은 일시적 메모리 (202) 에 저장된다. 다음으로, 이들 이미지들이 모듈 (203) 에서 장면 인식을 받는다. 모듈 (204) 에서 장면 인식의 결과에 기초하여, 식별자 (205) 가 이미지들에 제공될 수도 있다. 식별자에 기초하여, 하나 이상의 액션들이 모듈 (206) 에서 이미지들에 대해 수행될 수도 있다. 가령, 식별자 (205') 는 이미지들의 변경을 방지할 수도 있다. 다음으로, 이미지들은 일시적 메모리 (202) 에 저장되고 모듈 (207) 에 기록될 수도 있고 여기서 이미지들은, 그때가 되면, 장면 (100') 을 표현하고 있다.

도 3은 모듈 (201) 을 통해 디지털화된 이미지들을 수신하는 표시 시스템을 개략적으로 도시한다. 이들 이미지들은 장면 (100) 을 표현한다. 이미지들은 일시적 메모리 (202) 에 저장될 수도 있다. 다음으로, 장면 인식이 모듈 (203) 에서 적용된다. 모듈 (204) 에서 장면 인식의 결과에 기초하여, 식별자 (205) 가 이미지들에 제공될 수도 있다. 모듈 (206) 에서 이미지들에 대해 액션이 수행될 수도 있거나, 및/또는 식별자 (205') 가 이미지들의 변경을 방지한다. 다음으로, 이미지들이 일시적 메모리 (202) 에 저장될 수도 있고 이미지들을 스크린 (210) 에 표시한다. 그때가 되면, 이미지들이 장면 (100') 을 표현할 수도 있다.

도 4는 실외 장면 (101) 을 인식하는 카메라 (200) 를 도시한다. 카메라는 장면 (101) 의 캡처된 이미지들에 대해 특정 사진 필터를 자동으로 적용한다. 다음으로, 수정된 이미지들이 카메라 (200) 의 뷰어에 표시되는데, 이는 미적으로 향상된 장면 (101') 을 보여준다. 추가적으로, 가령 카메라 (200) 는 장면의 부분의 블러링을 가능하게 한다. 장면의 원하지 않는 부분들은 기능적으로 라이브로 (functionally life) 블러링될 수 있다. 따라서, 뷰어는 원하지 않는 장면들에 직면하지 않을 것이다.

도 5는 인물 사진 장면 (102) 을 인식하는 카메라 (200) 를 도시한다. 카메라는 장면 (102) 의 캡처된 이미지들에 대해 특정 사진 필터를 자동적으로 적용하고 카메라 (200) 의 뷰어상에 수정된 이미지들을 표시하는데, 이는 미적으로 향상된 장면 (102') 을 보여준다. 이렇게 하여 카메라 (200) 는 기능적으로 라이브 이미지 또는 라이브 이미지들의 시퀀스에 대한 액션을 가능하게 한다.

도 6은 원하지 않는 이벤트 (103) 를 인식하는 카메라 (200) 를 개략적으로 도시한다. 다음으로, 카메라 (200) 는 이벤트 (103) 의 캡처된 이미지들을 자동적으로 차단하고 카메라 (200) 에 이벤트를 기록하지 않는다. 가령, 아이들이 필름에서 끔찍한 사항들을 보게되는 것이 방지될 수 있다. 이렇게 하여 장면 인식은 사실 매번 이미지를 해석하고 원하지 않는 부분을 식별한다. 다음으로, 그것은 가령 그 원하지 않는 부분의 차단 또는 변경 또는 블러링을 가능하게 한다. 차단은, 그러한 원하지 않는 부분 또는 오브젝트 또는 이벤트가 필름의 영화를 재생하는 동안 장면에 존재하는 경우에도 행해질 수도 있다. 이것은 심지어, 오브젝트가 장면에서 변위되거나, 또는 이벤트가 변할 때에도 가능하다. 따라서, 장면 인식은 가령 오브젝트들의 그들 주변에서의 또는 이벤트들에서의 해석을 제공하고 그들을 거의 인간의 지능적인 방식으로 해석한다.

도 7은 원하지 않는 이벤트 (103) 를 인식하는 표시 스크린 디바이스 (210) 를 도시한다. 표시 스크린 디바이스는 이벤트 (103) 의 인입되는 이미지들을 자동적으로 삭제하고 표시 스크린 (210) 또는 표시 스크린 디바이스 (210) 의 표시 패널에 이벤트를 보여주지 않는다.

위의 설명 및 도면들은 보호 범위를 제한하기 위한 것이 아니라 본 발명의 일부 실시형태들을 예시하기 위하여 포함된다는 것이 명확할 것이다. 본 개시에서 시작하여, 다수의 더 많은 실시형태들이 당업자에게 분명해질 것이다. 이들 실시형태들은 보호의 범위 및 본 발명의 본질 내에 있고 종래 기술과 본 특허의 개시의 명백한 조합들이다.

Claims (24)

1. 이미지들의 타임 시퀀스를 처리하기 위한 시스템으로서,
   프로세서; 및
   명령들을 저장하기 위해 상기 프로세서에 연결된 메모리를 포함하고,
   상기 명령들은 상기 메모리로부터 실행될 때, 상기 프로세서로 하여금 상기 이미지들의 타임 시퀀스를 처리하기 위한 동작들을 수행하게 하고, 상기 동작들은:
   상기 메모리로부터 상기 이미지들의 타임 시퀀스의 이미지를 취출하는 것으로서, 상기 이미지들의 타임 시퀀스는 상기 메모리에 일시적으로 저장되는, 상기 이미지를 취출하는 것;
   취출된 상기 이미지에 대해 장면 인식을 수행하는 것으로서, 상기 장면 인식은 장면을 인식하는 것, 상기 장면에서 오브젝트들을 인식하는 것, 및 상기 장면에서 이벤트를 인식하는 것 중 적어도 하나를 포함하는, 상기 장면 인식을 수행하는 것;
   상기 장면 인식이 수행된 후에 상기 취출된 이미지에 식별자를 적용하는 것으로서, 상기 취출된 이미지에 적용되는 상기 식별자는 상기 장면 인식의 결과에 상관되는, 상기 이미지에 식별자를 적용하는 것; 및
   상기 식별자를 미리정의된 식별자에 매칭시키는 것에 기초하여, 상기 이미지들의 타임 시퀀스의 이미지들이 기록, 표시 및 저장되는 것 중 적어도 하나 전에, 상기 취출된 이미지에 대해 액션을 수행하는 것
   을 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
2. 제 1 항에 있어서,
   상기 액션은 취출된 이미지의 적어도 일부를 적합화하는 것, 상기 취출된 이미지를 수정하는 것, 상기 취출된 이미지가 데이터 스토리지에 저장되는 것을 방지하는 것, 상기 취출된 이미지가 디스플레이 디바이스에 표시되는 것을 방지하는 것, 상기 취출된 이미지를 상기 메모리로부터 삭제하는 것, 또는 상기 취출된 이미지를 암호화하는 것 중 적어도 하나를 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
3. 제 1 항에 있어서,
   상기 장면 인식의 수행은 적어도 하나의 장면 인식 알고리즘을 이용하여 상기 취출된 이미지를 처리하는 것을 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
4. 제 3 항에 있어서,
   상기 취출된 이미지의 처리는 상기 취출된 이미지에서 세팅, 오브젝트, 또는 이벤트 중 적어도 하나를 식별하는 것을 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
5. 제 4 항에 있어서,
   상기 시스템은 상기 취출된 이미지의 식별을 처리한 후에, 상기 장면 인식이 수행된 후 상기 취출된 이미지에서 상기 세팅, 상기 오브젝트, 또는 상기 이벤트 중 적어도 하나에 상기 식별자를 적용하는 것을 더 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
6. 제 5 항에 있어서,
   상기 식별자는 숫자, 문자, 라벨 또는 해시 함수 중 적어도 하나를 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
7. 제 1 항에 있어서,
   상기 이미지의 취출, 상기 취출된 이미지에 대한 장면 인식의 수행 및 상기 취출된 이미지에 대한 액션의 수행은 실시간으로 수행되는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
8. 제 7 항에 있어서,
   상기 이미지들의 타임 시퀀스의 각각의 이미지가 취출되고, 상기 장면 인식을 받고, 순차적 순서로 상기 액션을 받는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
9. 제 7 항에 있어서,
   상기 이미지들의 타임 시퀀스의 각각의 n번째 이미지가 취출되고, 상기 장면 인식을 받고, 상기 액션을 받는, 이미지들의 타임 시퀀스를 처리하기 위한 시스템.
10. 명령들을 저장한 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령들은, 처리 디바이스에서 하나 이상의 프로세서들에 의해 실행될 때, 상기 처리 디바이스로 하여금 이미지들의 타임 시퀀스를 처리하는 방법을 수행하게 하고, 상기 방법은
    메모리로부터 상기 이미지들의 타임 시퀀스의 이미지를 취출하는 단계로서, 상기 이미지들의 타임 시퀀스는 상기 메모리에 일시적으로 저장되는, 상기 이미지를 취출하는 단계;
    취출된 상기 이미지에 대해 장면 인식을 수행하는 단계로서, 상기 장면 인식은 장면을 인식하는 것, 상기 장면에서 오브젝트들을 인식하는 것, 및 상기 장면에서 이벤트를 인식하는 것 중 적어도 하나를 포함하는, 상기 장면 인식을 수행하는 단계;
    상기 장면 인식이 수행된 후에 상기 취출된 이미지에 식별자를 적용하는 단계로서, 상기 취출된 이미지에 적용되는 상기 식별자는 상기 장면 인식의 결과에 상관되는, 상기 이미지에 식별자를 적용하는 단계; 및
    상기 식별자를 미리정의된 식별자에 매칭시키는 것에 기초하여, 상기 이미지들의 타임 시퀀스의 이미지들이 기록, 표시 및 저장되는 것 중 적어도 하나 전에, 상기 취출된 이미지에 대해 액션을 수행하는 단계
    를 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
11. 제 10 항에 있어서,
    상기 액션은 취출된 이미지의 적어도 일부를 적합화하는 것, 상기 취출된 이미지를 수정하는 것, 상기 취출된 이미지가 데이터 스토리지에 저장되는 것을 방지하는 것, 상기 취출된 이미지가 디스플레이 디바이스에 표시되는 것을 방지하는 것, 상기 취출된 이미지를 상기 메모리로부터 삭제하는 것, 또는 상기 취출된 이미지를 암호화하는 것 중 적어도 하나를 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
12. 제 10 항에 있어서,
    상기 장면 인식의 수행은 적어도 하나의 장면 인식 알고리즘을 이용하여 상기 취출된 이미지를 처리하는 것을 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
13. 제 12 항에 있어서,
    상기 취출된 이미지의 처리는 상기 취출된 이미지에서 세팅, 오브젝트, 또는 이벤트 중 적어도 하나를 식별하는 것을 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
14. 제 13 항에 있어서,
    상기 방법은
    상기 취출된 이미지의 식별을 처리한 후에, 상기 장면 인식이 수행된 후 상기 취출된 이미지에서 상기 세팅, 상기 오브젝트, 또는 상기 이벤트 중 적어도 하나에 상기 식별자를 적용하는 단계를 더 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
15. 제 14 항에 있어서,
    상기 식별자는 숫자, 문자, 라벨 또는 해시 함수 중 적어도 하나를 포함하는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
16. 제 10 항에 있어서,
    상기 이미지의 취출, 상기 취출된 이미지에 대한 장면 인식의 수행 및 상기 취출된 이미지에 대한 액션의 수행은 실시간으로 수행되는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
17. 제 16 항에 있어서,
    상기 이미지들의 타임 시퀀스의 각각의 이미지가 취출되고, 상기 장면 인식을 받고, 순차적 순서로 상기 액션을 받는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
18. 제 16 항에 있어서,
    상기 이미지들의 타임 시퀀스의 각각의 n번째 이미지가 취출되고, 상기 장면 인식을 받고, 상기 액션을 받는, 명령들을 저장한 비일시적 컴퓨터 판독가능 매체.
19. 이미지들의 타임 시퀀스를 처리하기 위한 컴퓨터 구현 방법으로서,
    메모리로부터 상기 이미지들의 타임 시퀀스의 이미지를 취출하는 단계로서, 상기 이미지들의 타임 시퀀스는 상기 메모리에 일시적으로 저장되는, 상기 이미지를 취출하는 단계;
    취출된 상기 이미지에 대해 장면 인식을 수행하는 단계로서, 상기 장면 인식은 장면을 인식하는 것, 상기 장면에서 오브젝트들을 인식하는 것, 및 상기 장면에서 이벤트를 인식하는 것 중 적어도 하나를 포함하는, 상기 장면 인식을 수행하는 단계;
    상기 장면 인식이 수행된 후에 상기 취출된 이미지에 식별자를 적용하는 단계로서, 상기 취출된 이미지에 적용되는 상기 식별자는 상기 장면 인식의 결과에 상관되는, 상기 이미지에 식별자를 적용하는 단계; 및
    상기 식별자를 미리정의된 식별자에 매칭시키는 것에 기초하여, 상기 이미지들의 타임 시퀀스의 이미지들이 기록, 표시 및 저장되는 것 중 적어도 하나 전에, 상기 취출된 이미지에 대해 액션을 수행하는 단계
    를 포함하는, 이미지들의 타임 시퀀스를 처리하기 위한 컴퓨터 구현 방법.
20. 제 19 항에 있어서,
    상기 이미지의 취출, 상기 취출된 이미지에 대한 장면 인식의 수행 및 상기 취출된 이미지에 대한 액션의 수행은 실시간으로 수행되는, 이미지들의 타임 시퀀스를 처리하기 위한 컴퓨터 구현 방법.
21. 삭제
22. 삭제
23. 삭제
24. 삭제

Images