AI Cloud 一键式生成所有大模型结果的项目,目前支持聊天对话功能以及图片生成等功能,支持近百种大模型调用(云端大模型 + 本地大模型),还有社区发帖和评论等功能。
这个项目除了是热门的 AI 方向之外,他还使用了众多主流的 Java 技术,例如 Spring Cloud、并发编程、分布式锁、分库分表等。
![图片[1]-什么是AI Cloud?-编程社](https://cos.bianchengshe.com/wp-content/uploads/2024/07/image-8.png?imageMogr2/format/webp/interlace/1/quality/100)
AI Cloud项目包含以下主要功能:
- AI 工具:一键式提问生成所有大模型的答案,在没有 AI Cloud 之前,我们在查询一个复杂问题时,需要复制粘贴到每个大模型查询答案,根据这些答案才能汇总自己需要的信息;而有了这个系统之后,一键发送问题就能收获所有大模型的答案了,方便快捷。AI 工具目前提供的功能有:
- 对话功能
- 绘图功能
- 话题讨论功能:除了 AI 工具可以使用之外,还有话题讨论板块,可以分享 AI 技术和聊天吹水两不误,工具和娱乐都有了。
- 用户体系和历史记录:用户登录之后才可以使用大模型,这样也能更好的记录用户(使用 AI 工具的)历史信息。
- 用户使用次数限制:因为大模型接口的调用是付费的,所以需要限制每个用户的使用次数,每晚 00 点重置限制次数。
- 支持近百种 AI 模型:本项目支持的 AI 大模型有:ChatGPT、通义千问、讯飞星火、文心一言、豆包(字节旗下),还有自己本地部署的 AI 模型(近百种大模型的支持)。
使用技术
AI Cloud 中使用到的技术点有 23 个:
- Spring Boot
- Spring Cloud Alibaba
- MySQL
- Mybatis-Plus
- Redis
- Kafka
- Spring Cloud Alibaba Nacos
- Spring Cloud Alibaba Sentinel
- Spring Security
- Spring AI
- Spring Cloud Alibaba AI
- XXL-Job
- JWT
- MinIO
- 并发编程
- 分布式锁
- Sharding-JDBC(分库分表)
- Canal
- Hutool
- Spring Validation
- Swagger
- Knife4j
- 自定义注解(实现幂等性判断)
技术亮点
- 使用并发编程技术保证项目的执行效率,使用线程编排保证了任务执行的正确性和完整性。
- 使用分布式锁保证大模型接口调用的安全性和稳定性,其中分布式锁实现了锁重入、锁(自动)续期、锁误删、单点分布锁故障等问题。
- 项目在关键操作上添加了幂等性判断(关键实现技术为:自定义注解 + Redis),保证系统的稳定性和安全性。
- 使用多种设计模式完成项目开发,例如,责任链设计模式保证项目的安全、使用工厂模式来提成程序执行效率、使用建造者模式实现创建并赋值对象、使用生产者和消费者模式实现异步通信和模块解耦、使用观察者模式保证了实时信息更改、使用懒汉模式实现资源的充分利用等。
- 使用 MQ 实现系统的削峰填谷,以及保证整个程序流程执行的完整性。
- 使用 Canal 通过监控 MySQL 的 Binlog 解决数据库和 Redis 的数据一致性问题。
- 项目中使用了分库分表技术增加数据库的并发处理性能。
- 高并发场景稳定的稳定性设计,例如自定义拒绝策略保证任务不丢失和及时通知到负责人进行手工补偿处理。
- 支持云端大模型和本地大模型的调用,近百种大模型的支持和调用。
- 使用最新的 JDK 长期支持版和最新版的 Spring Boot 框架和组件完成程序的开发。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容