Amazon SageMaker 스크립트 모드에서 TensorFlow eager 실행 사용하기

이 글에서는 Amazon SageMaker 스크립트 모드를 사용하여 TensorFlow eager 실행 모드로 모델을 교육하는 방법에 대해 알아보겠습니다. Eager 실행은 TensorFlow의 미래입니다. 현재 TensorFlow 1.x의 최신 버전에서 옵션으로 사용 가능하지만 TensorFlow 2의 기본 모드가 됩니다. 스크립트 모드와 eager 실행을 간략하게 설명한 다음 일반적인 회귀 작업 시나리오를 보여드리겠습니다. 다음으로 스크립트 모드와 eager 실행을 사용하여 이 작업을 해결하는 워크플로우에 대해…

Amazon SageMaker Ground Truth로 표시된 데이터셋을 사용하여 모델을 쉽게 교육하기

데이터 과학자와 개발자는 이제 Amazon SageMaker Ground Truth로 표시된 데이터셋에서 기계 학습 모델을 쉽게 훈련할 수 있습니다. Amazon SageMaker Training은 이제 AWS 관리 콘솔과 Amazon SageMaker Python SDK API를 통해 입력으로 증강 매니페스트 형식으로 생성된 레이블이 지정된 데이터셋을 수용합니다. 지난 달 AWS re:Invent 동안, 저희는 일반인뿐만 아니라 인간 라벨러의 개인 노동자들을 돕기 위해 기계 학습을…

Periscope Data와 Amazon Sagemaker을 활용한 Machine Learning 솔루션으로 고객에게 더 나은 세상을 만들어 드립니다.

방대한 양의 Raw data를 명확하고 결정적인 비즈니스 인텔리전스로 변환 할 때, Periscope Data의 역할은 최첨단에 있다고 할 수 있습니다. Periscope Data는 고객을 위한 약속을 지키기 위해 Amazon SageMaker를 기계 학습 워크 플로우의 핵심 부분으로 활용하는 기계 학습 솔루션을 개발했습니다. 이 솔루션을 통해 데이터 분석가는 Periscope Data에서 데이터 준비 및 기능 엔지니어링을 관리하고 Amazon SageMaker로 손쉽게 가져…

이제 Amazon SageMaker 내장 알고리즘에 대한 보다 빠른 교육을 위해 CSV 데이터셋으로 Pipe 모드를 사용하세요.

Amazon SageMaker 내장 알고리즘은 이제 기계 학습 (ML) 모델을 학습하는 동안 Amazon Simple Storage Service (S3)에서 Amazon SageMaker로 CSV 형식의 데이터셋을 가져 오는 파이프 모드를 지원합니다. 파이프 입력 모드를 사용하면 모델 트레이닝이 진행되는 동안 데이터가 알고리즘 컨테이너로 직접 스트리밍됩니다. 이것은 교육을 시작하기 전에 로컬 Amazon Elastic Block Store (EBS) 볼륨에 데이터를 다운로드하는 파일 모드와는 다릅니다.…

Amazon SageMaker 노트북 인스턴스 네트워킹 구성 및 고급 라우팅 옵션 이해하기

Amazon SageMaker 노트북 인스턴스는 완벽하게 관리되는 ML (Machine Learning) Amazon EC2 인스턴스를 통해 Jupyter 노트북 애플리케이션을 제공합니다. Amazon SageMaker Jupyter 노트북은 고급 데이터 탐색, 교육 작업 생성, Amazon SageMaker 호스팅에 모델 배포, 모델 테스트 또는 유효성 검사에 사용됩니다. 노트북 인스턴스는 다양한 네트워킹 구성을 사용할 수 있습니다. 이 글에서는 다양한 옵션을 설명하고 고객을 위한 일반적인 시나리오를…

Amazon SageMaker에서 보다 빠른 파이프 모드를 사용하여 모델 교육 가속화하기

이제 Amazon SageMaker는 보다 빠른 파이프 모드를 구현하여 기계 학습 모델을 교육하는 동안 Amazon Simple Storage Service (S3)에서 Amazon SageMaker로 데이터를 스트리밍할 수 있는 속도를 크게 향상시킵니다. 파이프 모드는 모델 교육을 시작하기 전에 로컬 Amazon EBS(Elastic Block Store) 볼륨에 데이터를 다운로드하는 파일 모드보다 읽기 처리량이 훨씬 뛰어납니다. 즉, 교육 작업이 더 빨리 시작되고, 더 적은…

이제 Amazon SageMaker 및 AWS Deep Learning AMI에서 PyTorch 1.0 미리 보기를 사용할 수 있습니다.

이제 Amazon SageMaker와 AWS DLAMI(Deep Learning AMI)를 통해 PyTorch 1.0 미리 보기 출시를 쉽게 평가할 수 있습니다. PyTorch 1.0은 원활한 연구-생산 능력을 제공하는 동시에 PyTorch가 빠르게 인기를 얻을 수 있게 한 사용 편의성을 유지합니다. AWS Deep Learning AMI는 PyTorch 1.0, Anaconda 및 Python 패키지로 사전 구축되었으며, 가속화된 컴퓨팅 인스턴스를 활용할 수 있는 CUDA 및 MKL 라이브러리가…

TensorFlow 훈련을 받은 이미지 분류 모델을 AWS DeepLens에 배포하기

TensorFlow(버전 1.4)를 사용하여 훈련을 받은 컴퓨터 비전 모델을 AWS DeepLens에 배포할 수 있음을 알려드리게 되어 기쁘게 생각합니다. 머리 자세 탐지는 AWS DeepLens 샘플 프로젝트의 일부입니다. 이 글에서는 Amazon SageMaker의 P2 교육 인스턴스를 사용하여 모델을 처음부터 교육하는 방법을 보여 드리겠습니다. 저희는 ResNet-50 모델을 사용하고 훈련된 모델을 ” frozen” protobuff 형식으로 저장할 것입니다. TensorFlow는 모델 그래프(예: 체크포인트,…

AWS PrivateLink를 통해 모든 Amazon SageMaker API 호출 보호하기

모든 Amazon SageMaker API 작업은 AWS PrivateLink를 통해 완벽하게 지원되므로 인터넷에 대한 데이터 노출을 줄임으로써 클라우드 기반 응용프로그램과 공유되는 데이터의 보안이 향상됩니다. 이 글에서는 AWS PrivateLink를 사용하여 Amazon SageMaker API 호출을 보호하기 위해 VPC 엔드포인트를 설정하는 방법을 보여 줍니다. AWS PrivateLink 트래픽은 인터넷을 횡단하지 않으므로 brute force 공격과 DDos 같은 위협에 대한 노출이 줄어듭니다. 응용프로그램과…

Amazon SageMaker에 배치 변환 기능 및 Tensor Flow 컨테이너에 대한 파이프 입력 모드 추가

  (다운로드는 AWS 원문을 참고하세요)   뉴욕 Summit에서 저희는 두 가지 새로운 Amazon SageMaker기능을 출시했습니다. 즉, 고객이 수 페타바이트의 데이터 및 TensorFlow 컨테이너에 대한 파이프 입력 모드 지원에 대해 실제 시간이 아닌 시나리오에서 예측할 수 있도록 하는 배치 변환이라는 새로운 배치 추론 기능입니다. SageMaker는 저희는 이 블로그와 기계 학습 블로그에서 광범위하게 다루고 있습니다. 사실, SageMaker…