BLOG
AWS Deep Learning AMIs는 별도의 가상 환경에 사전에 설치되어있는 최신 딥러닝 프레임워크가 함께 제공되므로 개발자는 딥러닝 모델을 신속하게 시작할 수 있습니다. Ubuntu 및 Amazon Linux용 딥러닝 AMI의 새로운 버전은 TensorFlow 1.6과 함께 제공되며 Amazon EC2 인스턴스 제품군 전체에서 고성능 교육을 위한 고급 최적화가 구축되어 있습니다.
Amazon EC2 C5 인스턴스에 대한 보다 빠른 교육
AMI에는 Amazon EC2 C5 instances를 지원하는 Intel Xeon Platinum 프로세서에서 벡터 및 부동 소수점 연산의 성능을 가속화하기 위해 Intel의 Advanced Vector Instructions(AVX, AVX-2 및 AVX-512)로 구축 된 TensorFlow 1.6이 포함되어 있습니다. 또한 AMI는 심층 신경 네트워크를 학습하는 데 사용되는 수학 루틴의 CPU 가속화를 위한 Intel의 심층 신경 네트워크 용 Math Kernel Library(Intel MKL-DNN)와 함께 완벽하게 구성됩니다. c5.18xlarge 인스턴스 유형에 최적화 된 TensorFlow 1.6 빌드를 사용하여 합성 ImageNet 데이터 세트로 ResNet-50 benchmark를 교육하는 것은 기본 TensorFlow 1.6 바이너리에 대한 교육보다 7.4배 빠릅니다. 다음은 널리 사용되는 딥러닝 벤치마크에 대한 처리량 비교입니다.
실행 된 모든 테스트의 배치사이즈는 32였습니다.
이러한 컴퓨팅 최적화는 또한, 기본 TensorFlow 바이너리와 비교하여 비슷한 성능 향상을 가진 C3 및 C4 인스턴스 제품군을 비롯한 다른 EC2 컴퓨팅 최적화 인스턴스의 교육 성능에 도움이 됩니다.
Amazon EC2 P3 인스턴스 교육 시간 단축에 최적화
또한 딥러닝 AMI는 NVIDIA CUDA 9 및 cuDNN 7로 완벽하게 구성된 TensorFlow 1.6의 최적화 된 빌드와 함께 제공되어 Amazon EC2 P3 인스턴스를 지원하는 Volta V100 GPU에서 혼합 정밀 교육을 활용할 수 있습니다. AMI에는 아래와 같이 최신 CUDA 및 GPU 드라이버가 함께 제공됩니다.
- CUDA 9.0
- cuDNN 7.0.5
- NCCL 2.1.2
- NVIDIA GPU Driver 384.111
Intel의 AVX, SSE 및 FMA 명령어 세트로 최적화 된 TensorFlow 1.6 바이너리는 CPU에서 중요한 데이터 사전 처리를 수행하는 Amazon EC2 P3 인스턴스의 딥러닝 워크로드에 도움이 됩니다.
최적화 된 TensorFlow 바이너리의 원활한 배포
딥러닝 AMI는 다음 명령을 사용하여 TensorFlow 가상 환경을 처음 활성화 할 때 선택한 EC2 인스턴스에 최적화 된 TensorFlow의 고성능 빌드를 자동으로 배포합니다.
For Python 2
source activate tensorflow_p27
For Python 3
source activate tensorflow_p36
딥러닝 AMIs 시작하기
AWS 딥러닝 AMI를 시작하는 것은 빠르고 쉽습니다. 최신 AMI는 이제 AWS Marketplace에서 찾아 볼 수 있습니다. 또한 모델 교육을 가속화하는 데 도움이 되는 많은 quick tutorials 및 개발자 리소스를 제공합니다.
원문 URL: https://aws.amazon.com/ko/blogs/machine-learning/faster-training-with-optimized-tensorflow-1-6-on-amazon-ec2-c5-and-p3-instances/
** 메가존 TechBlog는 AWS BLOG 영문 게재글중에서 한국 사용자들에게 유용한 정보 및 콘텐츠를 우선적으로 번역하여 내부 엔지니어 검수를 받아서, 정기적으로 게재하고 있습니다. 추가로 번역및 게재를 희망하는 글에 대해서 관리자에게 메일 또는 SNS페이지에 댓글을 남겨주시면, 우선적으로 번역해서 전달해드리도록 하겠습니다.