AI & Deep Learning Reference Architecture

OCTAPUS with AI & Deep Learning Reference Architecture Configuration

        Deep Learning, a subset of Artificial Intelligence (AI) and Machine Learning (ML), is the state-of-the-art procedure in Computer Science that implements multi-layered artificial neural networks to accomplish tasks that are too complicated to program.
   ( Học sâu hay con gọi là Thâm học - Deep Learning - DL, là một tập hợp con (một nhánh)của Trí tuệ nhân tạo (Artificial Intelligence - AI) và Học máy (Machine Learning - ML) dựa trên một tập hợp các thuật toán để cố gắng  mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp. Đồng thời cũng là quy trình hiện đại nhất trong Khoa học máy tính triển khai trong đó các mạng nơ-ron nhân tạo nhiều lớp để thực hiện các nhiệm vụ quá nhiều phức tạp cùng lúc thay vì phải ngồi  để lập trình từng tác vụ một.)

     For example, Google Maps processes millions ofdata points every day to figure out the best route to travel, or to predict  the time to arrive at the desired destination.
     ( Ví Dụ : Google Maps xử lý hàng triệu điểm dữ liệu mỗi ngày để tìm ra tuyến đường tốt nhất để di chuyển hoặc dự đoán thời gian để đến điểm đến mong muốn.)

       Deep Learning comprises two parts- training and Inference. The training part of Deep Learning involves processing as many data points as possible to make the neural network ‘learn’ the feature on its  own and modify itself to accomplish tasks like image recognition, speech recognition, etc.  The inference part refers to the process of taking a trained model and using it to make useful  predictions and decisions. Both training and inferencing require enormous amounts of computing power to achieve the desired accuracy and precision.

       Học sâu bao gồm hai phần - đào tạo (Training) và Suy luận (Inference) :

    +  Phần đào tạo của Học sâu liên quan đến việc xử lý càng nhiều điểm dữ liệu càng tốt để làm cho mạng nơ-ron 'học' tính năng trên  sở hữu và tự sửa đổi để hoàn thành các tác vụ như nhận dạng hình ảnh, nhận dạng giọng nói, v.v. 

    + Phần suy luận đề cập đến quá trình lấy một mô hình được đào tạo và sử dụng nó để làm cho dự đoán và quyết định. Cả đào tạo và truyền thông đều yêu cầu lượng máy tính khổng lồ sức mạnh (Tính toán hiệu năng cao - HPC) để đạt được độ chính xác và độ chính xác mong muốn.
 

Octapus AI & Deep Learning Solution Advantages

  *  Powerhouse for Computation        

• The Supermicro AI & Deep Learning cluster is powered by Supermicro SuperServer® systems, which are high density and compact powerhouses for computation. The cluster features the latest GPUs from Supermicro partner NVIDIA. Each compute node utilizes NVIDIA® Tesla® V100 GPUs.

    *  High Density Parallel Compute
      Up to 32 GPUs with up to 1TB of GPU memory for maximum parallel compute performance resulting in  reduced training time for Deep Learning workloads

    *  Increased Bandwidth with NVLink       

• Utilizes NVLink™, which enables faster GPU-GPU communication, further enhancing system performance  under heavy Deep Learning workloads.

    * Faster Processing with Tensor Core     

• NVIDIA Tesla V100 GPUs utilize the Tensor Core architecture. Tensor cores contain Deep Learning support and can deliver up to 125 Tensor TFLOPS for training and inference applications.

     * Scalable Design      

• Scale-out architecture with 100G IB EDR fabric, extremely scalable to fit future growth.

      * Rapid Flash Xtreme (RFX) – High performance All-flash NVMe storage    

• RFX is the top-of-the-line complete storage system, developed and completely tested for AI & Deep Learning applications that incorporate the Supermicro BigTwin™ along with WekaIO parallel filing system.
  
   
•  

AI & Deep Learning Platform

           Our solution offers custom Deep Learning framework installation, so that the end user can directly start deploying Deep Learning projects without any GPU programming. Our solution provides customized installation of deep learning frameworks including TensorFlow, Caffe2, MxNet, Chainer, Microsoft Cognitive Toolkit as well as others.

The Supermicro AI & Deep Learning solution provides a complete AI/ Deep Learning software stack. Below is the software stack offered with the end-to-end fully integrated solution:

AI & Deep Learning Reference Architecture Configuration

Octapus with Supermicro is currently offering the following complete solutions that are thoroughly tested and ready-to-go. These clusters can be scaled up & down to meet the needs of your Deep Learning projects.
(Octapus và Supermicro hiện đang cung cấp các giải pháp hoàn chỉnh sau đây đã được kiểm tra kỹ lưỡng và sẵn sàng hoạt động. Các cụm máy chủ này có thể được mở rộng và thu nhỏ một cách tùy ý nhầm đáp ứng nhu cầu của các dự án Học sâu của doanh nghiệp.)

 

 

	14U Rack	24U Rack
Product SKU	SRS-14UGPU-AIV1-01	SRS-24UGPU-AIV1-01
Compute Capability	2PFLOPS (GPU FP16)	4PFLOPS (GPU FP16)
Compute Node	2 SYS-4029GP-TVRT	4 SYS-4029GP-TVRT
Total GPUs	16 NVIDIA® Tesla® V100 SXM2 32GB HBM	32 NVIDIA® Tesla® V100 SXM2 32GB HBM
Total GPU Memory	512GB HBM2	1TB HBM2
Total CPU	4 Intel® Xeon® Gold 6154, 3.00GHz, 18-cores	8 Intel® Xeon® Gold 6154, 3.00GHz, 18-cores
Total System Memory	768GB DDR4-2666MHz ECC	3TB DDR4-2666MHz ECC
Networking	InfiniBand EDR 100Gbps; 10GBASE-T Ethernet	InfiniBand EDR 100Gbps; 10GBASE-T Ethernet
Total Storage*	15.2TB (8 SATA3 SSDs)	30.4TB (16 SATA3 SSDs)
Operating System	Ubuntu Linux OS or CentOS Linux	Ubuntu Linux OS or CentOS Linux
Software	Caffe, Caffe2, Digits, Inference Server, PyTorch, NVIDIA® CUDA®, NVIDIA® TensorRT™, Microsoft Cognitive Toolkit (CNKT), MXNet, TensorFlow, Theano, and Torch	Caffe, Caffe2, Digits, Inference Server, PyTorch, NVIDIA® CUDA®, NVIDIA® TensorRT™, Microsoft Cognitive Toolkit (CNKT), MXNet, TensorFlow, Theano, and Torch
Max Power Usage	7.2kW (7,200W)	14.0kW (14,000kW)
Dimensions	14 Rack Units, 600 x 800 x 1000 (mm, W x H x D)	24 Rack Units, 598 x 1163 x 1000 (mm, W x H x D)