跳转至

博客

英特尔“芯”AI,赋能云边端|第六期:使用 Ollama 在 Core Ultra 高效部署 Qwen3:8b

自第一期起,YiCoreAI 平台凭借 YIAISTUDIO 利用 Arc A770 GPU 高效训练 YOLOv8/v11 和 Qwen-7B,到 YiCONNECT 基于 Kubernetes 实现智能管理,再到 YiEDGE 依托 Core Ultra NPU 实现 40ms 延迟推理,逐步构建云边端 AI 闭环。第五期更在 Ultra 5 125H iGPU 上部署 MedGemma 4B IT,验证便携性。

第六期,Ollama 驱动 Qwen3:8b 在 Core Ultra 上实现高效部署,延迟低至 35ms,准确率超 85%,功耗优化显著,赋能教育心理健康和医疗诊断。

英特尔“芯”AI,赋能云边端|第五期:MedGemma-4B 赋能智能医疗,基于 Core Ultra 的高效部署

经过前四期的深入探索,我们已全面展示了 YiCoreAI 平台的云边端 AI 闭环实力:从 YIAISTUDIO 依托 Arc A770 GPU 高效训练 YOLOv8/v11 和 Qwen-7B,到 YiCONNECT 通过 Kubernetes 实现智能模型管理,再到 YiEDGE 利用 Core Ultra iGPU/NPU 实现低至 40ms 的边缘推理。在 2025 年的 AI 浪潮中,上海亿琪软件有限公司的 YiCoreAI 平台正凭借这一闭环赋能企业与组织的数字化转型。本期,我们将聚焦 Intel Core Ultra 系列处理器在大模型部署中的独特优势,其强大的神经处理单元(NPU)不仅显著提升大模型的推理效率,还通过低功耗设计和实时性能优化,为医疗、教育等行业带来突破性应用,邀请开发者加入我们的开源社区,共同推动 AI 生态建设。借助 IPEX-LLM 优化与 Gradio WebUI,开启医疗 AI 验证新模式。

英特尔“芯”AI,赋能云边端|第四期:闭环赋能,助力企业和组织实现数字化和 AI 转型

经过前三期的介绍,我们已经详细展示了 YiCoreAI 平台在云边端 AI 闭环中的核心能力:从 YIAISTUDIO 的高效训练(Arc A770 GPU 驱动 YOLOv8/v11 和 Qwen-7B),到 YiCONNECT 的智能管理(Kubernetes 分发),再到 YiEDGE 的边缘推理(Core Ultra NPU 延迟 40ms)。在 2025 年的 AI 浪潮中,上海亿琪软件有限公司的 YiCoreAI 平台正通过这一闭环赋能,帮助企业和组织实现数字化和 AI 转型。本期,我们将总结闭环优势,展示其跨行业价值,并邀请开发者加入我们的开源社区,共同参与开源生态建设。

英特尔“芯”AI,赋能云边端|第三期:YiCONNECT 和 YiEDGE 实现高效管理与边缘推理

在 AI 应用日益普及的 2025 年,模型训练只是第一步,如何高效管理和分发模型,并在边缘设备上实现低延迟推理,成为企业落地的关键挑战。传统方案中,模型分发复杂、边缘推理延迟高、数据采集困难等问题阻碍了 AI 的广泛应用。上海亿琪软件有限公司的 YiCoreAI 平台 通过 YiCONNECT(管理/下发) 和 YiEDGE(推理/优化) 模块,结合英特尔 Core Ultra NPU 和 OpenVINO 技术,打造了一个高效、通用、安全的云边端解决方案,适配零售、安防、物流、教育等多样化场景。

英特尔“芯”AI,赋能云边端|第二期:用英特尔 Arc 系列显卡高效训练 YOLO 和 Qwen-7B

在 AI 驱动的 2025 年,模型训练是企业数字化转型的关键一步。然而,高昂的硬件成本和复杂的技术门槛让许多中小企业望而却步。传统 GPU(如 Nvidia H100)动辄数千美元的单价,以及高功耗带来的维护成本,成为 AI 普及的瓶颈。上海亿琪软件有限公司推出的 YiCoreAI 平台,通过英特尔 Arc 系列显卡(如 Arc A770/B580)为核心的 YiAISTUDIO 模块,提供了一个低成本、高效率的训练解决方案,适配零售、安防、物流、教育等多样化场景。