<p style="font-size: 14px; color: #000000; text-align: center;">

GPUStack 是一个设计用于运行大模型的开源 GPU 集群管理器，提供私有部署的大模型服务，支持大语言模型、Embedding 文本嵌入模型、Reranker 重排序模型、Vision 多模态模型等各种模型。它可以聚合不同平台（如 Apple Mac、Windows PC 和 Linux 服务器）的 GPU，构建...

GPUStack 是一个开源的大模型即服务平台，可以高效整合并利用 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种异构的 GPU/NPU 资源，提供本地私有部署大模型解决方案。

llama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现，也是 GPUStack 所支持的推理引擎之一，它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模型以进行推理的文件格式，旨在针对推理进行优化，可以快速加载和运行模型。

目前在国产 AI 芯片，例如昇腾 NPU 上运行大模型是一项广泛且迫切的需求，然而当前的生态还远未成熟。从底层芯片的算力性能、计算架构的算子优化，到上层推理框架对各种模型的支持及推理加速，仍有很多需要完善的地方。

久等多时，本周 OpenAI 终于发布了两款开源模型：GPT OSS 120B 和 GPT OSS 20B，官方提供的 vLLM 推理需要一系列安装配置步骤才可正常运行，以下基于开源大模型服务平台 GPUStack，结合自定义安装的 vLLM 版本，完成 GPT OSS 系列模型的生产部署推理。同时，我们还选...

经过 Seal 研发团队几个月来持续的开发和测试，我们满怀期待及热情地发布新的产品 GPUStack，GPUStack 是一个用于运行 LLM（大型语言模型）的开源 GPU 集群管理器。尽管如今大语言模型作为公共的云上服务已经被广泛推广并在公有云上变得更加易于使用，但对企业来说，...

从技术上讲，云一直都是自助式服务，但由于其在实践中的复杂性，许多开发人员并不喜欢。随着公司采用现代架构（云原生、无服务器等）和新的提供商（多云、SaaS 应用程序），以及云提供商发布更多服务，云变得更加难以使用。

随着信息技术的高速发展，我们每隔一段时间就能看到一个热门术语在各大平台被分析和讨论。当我们上搜索引擎搜索相关词条，就会找到大量与该技术优势、亮点相关的文章。特别是“平台即产品”（PaaP）策略，其在实际应用中的利用价值和效用性成为近期关注的焦点。

过去几年，开发团队一直在发展传统的 DevOps。一些开发人员认为，CloudOps 或 DeploymentOps 等新实践的兴起将会导致回到孤岛问题。其他人则不愿意在承担所有其他职责之外构建、部署、运行和维护运维。显然，确实需要新的云原生开发策略，而不是典型的 DevOps。这就...

在当今的 DevOps 世界中，基础设施即代码（IaC）是一个非常重要的概念。它在整个行业几乎无处不在，是现代工程角色的绝对关键。 本文将主要包含 IaC 的定义和它的好处，同时将 Walrus 作为最佳实践来进行详细讲解。 什么是基础设施即代码（IaC）用最简单的...

基础架构即代码（IaC）和 CI/CD 流水线最初似乎并不匹配。因为它们代表了两种不同的流程。IaC 主要关注基础设施的配置和开发，而 CI/CD 则围绕软件开发、测试和部署。

了解需求是指理解利益相关者的要求和目标，无论他们是最终用户、开发人员还是平台生态系统中的其他相关方。这包括开展全面研究、收集反馈和分析数据，以深入了解哪些功能、特性和性能指标对平台的成功至关重要。

Terraform 的社区版本及商业化版本，让其成为在基础设施即代码（IaC）领域中可靠的部署和管理平台。尽管目前 Terraform Cloud/Enterprise 仍然是最为广泛采用的 IaC 管理解决方案，但它存在一定的局限性。

在本篇文章中，我们将深入探讨一些最具发展前景的工具，它们正在塑造持续集成与部署、监控与可观测性、基础架构/应用平台、事件管理与警报、安全性和可视化的未来。

简介Kubernetes 是一套功能强大的工具，可用于管理自动可扩展、高可用性的分布式云原生应用程序，但很多人都会犯一些常见错误。 在本文中，我们将探讨使用 Kubernetes 时最常见的一些误区，并提供如何避免这些误区的提示。 不设置资源请求这绝对是最值得关...

由于现代架构、应用程序接口和相互关联的服务之间的互联性越来越强，云基础设施的复杂性也与日俱增。随着需要管理的云资源数量不断增加，企业开始采用基础设施即代码（IaC）来解决云应用的复杂性和相互依赖性问题。

数澈软件 Seal 首席架构师李平辉提交的演讲议题“Alias Terraform=Tofu. Job's Done, Now What?”入选 KubeCon EU 同场活动 OpenTofu Day，本文为演讲实录。

在云计算时代，Kubernetes 已成为云原生技术的真正基石。它是应用程序容器的编排动力源，可跨多个集群自动部署、扩展和运行容器。Kubernetes 不仅仅是一个流行词，它还是一种模式转变，是现代软件可扩展性和敏捷性的基础。

在近一代人的时间里，DevOps 在软件开发和运维领域占据了主导地位。这是一套开发人员都离不开的技能和方法。Pearl Zhu 在 “The Digital Master” 一书中描述了它的重要性，强调 “敏捷和 DevOps 是为了利用整合、互动和创新”。在当今竞争激烈的市场中，这一点尤为重要...