Inferência de IA gerativa com servidores blade Cisco UCS X-Series M7 / Processadores Intel Xeon da 5ª Geração
819855
2024-04-02
Public

A preview is not available for this record, please engage by choosing from the available options ‘download’ or ‘view’ to engage with the material
Descrição
Uma solução baseada na Cisco UCS® com processadores escaláveis Intel® Xeon® e na Cisco Nexus® oferece uma base atraente e escalável para implantar IA gerativa em escala. Esta arquitetura oferece uma combinação de:
- Desempenho ideal: O Cisco UCS com processadores escaláveis Intel Xeon com aceleradores de IA especializados e estruturas de software otimizadas melhora significativamente o desempenho e a escalabilidade da inferência. Os Comutadores Cisco Nexus 9000 fornecem alta largura de banda, baixa latência, mecanismos de gerenciamento de congestionamento e telemetria para atender aos exigentes requisitos de rede de aplicações de IA/ML.
- Arquitetura equilibrada: O Cisco UCS se destaca em computação de aprendizado profundo e não-aprendizagem profunda, crítico para todo o pipeline de inferência. Essa abordagem equilibrada leva a um melhor desempenho geral e utilização de recursos.
- Escalabilidade sob demanda: O Cisco UCS escala facilmente com suas necessidades de inferência de IA gerativa. Adicione ou remova servidores, ajuste as capacidades da memória e configure os recursos de forma automatizada à medida que seus modelos evoluem e as cargas de trabalho crescem usando o Cisco Intersight®.
O Cisco UCS X-Series Modular System, e os servidores de rack C240 e C220, suportam processadores escaláveis Intel Xeon da 5ª Geração para que você tenha a opção de executar inferências no data center ou na borda, usando um formato modular ou um fator de forma de rack.
Instruções de uso
Ativos relacionados
Título e descrição
Formato
Idioma
Ação
Cisco UCS M7 and Pure Storage FlashArray: FlashStack VSI with VMware vSphere 8.0 — Design Guide
Cisco 7th generation of UCS C-Series and UCS X-Series Servers, powered using 4th Gen Intel Xeon Scalable processors., and Pure Storage FlashArray FlashStack on VMware vSphere 8 solution.
Cisco UCS M7 IMM FlexPod Datacenter with VMware vSphere 8.0, and NetApp ONTAP 9.12 Powered by Intel — Design Guide
Cisco UCS M7 IMM FlexPod Datacenter with VMware vSphere 8.0, and NetApp ONTAP 9.12 powered by Intel design guide
Generative AI Inference Operations with Cisco UCS / 5th Gen and 4th Gen Intel Xeon Processors
Cisco UCS, powered by 5th Gen Intel® Xeon® processors and Cisco Nexus, is a scalable foundation for deploying Generative AI at scale.
GenAI Inferencing Powered by Cisco UCS X-Series / 5th Gen Intel Xeon Processors on Red Hat OpenShift AI — Cisco Validated Design
Cisco, Red Hat, and Intel provide a proven AI infrastructure to enable VMware-based Red Hat® OpenShift® AI.
Microsoft SQL Server 2022 on Cisco UCS X210c M6/M7 on 4th Gen Intel® Xeon® Scalable Processors — White Paper
This white paper contains a reference architecture that illustrates the benefits of Microsoft SQL Server 2022 on Cisco UCS X210c M6/M7 on 4th Gen Intel® Xeon® Scalable Processors for bare-metal and hybrid cloud deployments.