Tips (2) 썸네일형 리스트형 Spring Boot에서 virtual thread를 활성화할 때 성능 외에 주의할 점 한 줄 요약spring.threads.virtual.enabled=true 를 한 경우에는 spring.main.keep-alive=true 도 설정해야 할지 검토하세요 Java 21에서 Virtual Thread(이하 가상 스레드)가 추가됨에 따라 Spring Boot 3.2.x부터 이를 사용하도록 설정할 수 있게 됐습니다. 속성 파일에서 spring.threads.virtual.enabled 를 true 로 설정하면 내장 WAS, @Async가 붙은 메소드 처리, 스케줄러 등에서 플랫폼 스레드가 아닌 가상 스레드를 사용하게 됩니다. Spring Boot에서 가상 스레드를 활성화할 때는 기본적으로 고정된 가상 스레드(pinned virtual thread)와 관련된 성능 측면을 고려해야 하지만, 그 .. FastAPI에서 openai의 stream을 text/event-stream으로 반환하기 Backend router = APIRouter(tags=['foo'], prefix='/foo') class FooRequest(BaseModel): message: str @router.post('') def respond(args: FooRequest): return StreamingResponse(ask(args.message), media_type='text/event-stream') def ask(question): stream = chat.completions.create(...) # openai 인스턴스화 및 세부 호출 내용은 생략 for chunk in stream: if chunk.choices[0].delta.content is not None: yield chunk.choices[0.. 이전 1 다음
