為了構(gòu)建生成式AI應(yīng)用，需要完成兩個(gè)部分：
- AI大模型服務(wù)：有兩種方式實(shí)現(xiàn)，可以使用大廠的API，也可以自己部署，本文將采用ollama來構(gòu)建
- 應(yīng)用構(gòu)建：調(diào)用AI大模型的能力實(shí)現(xiàn)業(yè)務(wù)邏輯，本文將采用Spring Boot + Spring AI來實(shí)現(xiàn)
#Ollama安裝與使用
進(jìn)入官網(wǎng)：https://ollama.com/ ，下載、安裝、啟動(dòng) ollama
具體步驟可以參考我之前的這篇文章：手把手教你本地運(yùn)行Meta最新大模型：Llama3.1
#構(gòu)建 Spring 應(yīng)用
- 通過spring initializropen in new window創(chuàng)建Spring Boot應(yīng)用
- 注意右側(cè)選擇Spring Web和Spring AI對(duì)Ollama的支持依賴
- 點(diǎn)擊“generate”按鈕獲取工程
- 使用IDEA或者任何你喜歡的工具打開該工程，工程結(jié)構(gòu)如下；
- 寫個(gè)單元測試，嘗試在Spring Boot應(yīng)用里調(diào)用本地的ollama服務(wù)
@SpringBootTest(classes = DemoApplication.class)
class DemoApplicationTests {
@Autowired
private OllamaChatModel chatModel;
@Test
void ollamaChat() {
ChatResponse response = chatModel.call(
new Prompt(
"Spring Boot適合做什么？",
OllamaOptions.builder()
.withModel(OllamaModel.LLAMA3_1)
.withTemperature(0.4)
.build()
));
System.out.println(response);
}
}
運(yùn)行得到如下輸出：
ChatResponse [metadata={ id: , usage: { promptTokens: 17, generationTokens: 275, totalTokens: 292 }, rateLimit: org.springframework.ai.chat.metadata.EmptyRateLimit@7b3feb26 }, generations=[Generation[assistantMessage=AssistantMessage [messageType=ASSISTANT, toolCalls=[], textContent=Spring Boot是一個(gè)基于Java的快速開發(fā)框架，主要用于創(chuàng)建獨(dú)立的、生產(chǎn)級(jí)別的應(yīng)用程序。它提供了一個(gè)簡化的配置過程，使得開發(fā)者能夠快速構(gòu)建和部署Web應(yīng)用程序。
Spring Boot適合做以下幾件事情：
1. **快速開發(fā)**: Spring Boot提供了一系列的自動(dòng)配置功能，可以幫助開發(fā)者快速創(chuàng)建基本的應(yīng)用程序，減少手動(dòng)編寫配置代碼的時(shí)間。
2. **獨(dú)立運(yùn)行**: Spring Boot可以作為一個(gè)獨(dú)立的應(yīng)用程序運(yùn)行，不需要額外的容器或服務(wù)器支持。
3. **生產(chǎn)級(jí)別的應(yīng)用程序**: Spring Boot提供了許多生產(chǎn)級(jí)別的特性，例如安全、監(jiān)控和部署等功能，可以幫助開發(fā)者創(chuàng)建高性能、可靠的應(yīng)用程序。
4. **Web 應(yīng)用程序**: Spring Boot可以用于創(chuàng)建Web應(yīng)用程序，包括RESTful API、WebSockets和其他類型的Web應(yīng)用程序。
5. **微服務(wù)架構(gòu)**: Spring Boot支持微服務(wù)架構(gòu)，允許開發(fā)者將一個(gè)大型應(yīng)用程序分解成多個(gè)小型服務(wù)，每個(gè)服務(wù)都可以獨(dú)立運(yùn)行和部署。
總之，Spring Boot是一個(gè)強(qiáng)大的框架，可以幫助開發(fā)者快速創(chuàng)建、測試和部署生產(chǎn)級(jí)別的應(yīng)用程序。, metadata={messageType=ASSISTANT}], chatGenerationMetadata=ChatGenerationMetadata{finishReason=stop,contentFilterMetadata=null}]]]
上述樣例工程打包放公眾號(hào)了，如果需要的話，關(guān)注"程序猿DD"，發(fā)送關(guān)鍵詞spring+ollama獲得下載鏈接。
#小結(jié)
通過本文的介紹，我們就已經(jīng)完成了Spring Boot應(yīng)用與Ollama運(yùn)行的AI模型之間的對(duì)接。剩下的就是與業(yè)務(wù)邏輯的結(jié)合實(shí)現(xiàn)，這里讀者根據(jù)自己的需要去實(shí)現(xiàn)即可。
可能存在的一些疑問
- 如何使用其他AI模型
通過ollama的 Modelsopen in new window 頁面，可以找到各種其他模型：
選擇你要使用的模型來啟動(dòng)即可。
- 如何植入現(xiàn)有應(yīng)用？
打開上面工程的pom.xml，可以看到主要就下面兩個(gè)依賴：
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>
所以，如果要在現(xiàn)有工程引入的話只要引入spring-ai-ollama-spring-boot-starter依賴就可以了。
