강화학습에서 On-policy와 Off-policy의 가장 큰 차이는**“학습에 사용하는 response를 누가 만들었는가”**입니다.쉽게 말하면,On-policy: 현재 모델이 직접 만든 답으로 학습Off-policy: 과거 모델이나 다른 모델이 만든 답을 재사용해서 학습이라고 이해하면 됩니다.1. On-policy예를 들어 현재 학습 중인 모델 B에게 다음 문제를 줍니다.문제: 2 + 3 = ?현재 모델 B:→ "5"모델 B가 직접 "5"라는 답을 만들었고, reward 함수가 이 답을 평가합니다.답: 5Reward: 높음그러면 모델은“내가 방금 만든 5라는 답이 좋은 답이었구나.”라고 판단하고 "5"가 나올 가능성을 더 높이는 방향으로 학습합니다.즉,입력↓현재 모델이 response 생성↓respo..

- 사용하는 옵션tensor-parallel-size 2 enable-expert-parallel gpu-memory-utilization 0.95 max-model-len 16384 max-num-seqs 32 max-num-batched-tokens 8192 enable-chunked-prefill enable-prefix-caching mm-encoder-tp-mode data mm-processor-kwargs '{"min_pixels": 524288, "max_pixels": 1310720}' attention-backend flash_attn return-tokens-as-token-ids speculative-config '{ "model": ""RedHatAI/Qwen3.6-35B-A..

[Paper] https://arxiv.org/pdf/2601.20552[Github] https://github.com/deepseek-ai/DeepSeek-OCR-2 GitHub - deepseek-ai/DeepSeek-OCR-2: Visual Causal FlowVisual Causal Flow. Contribute to deepseek-ai/DeepSeek-OCR-2 development by creating an account on GitHub.github.com 1. Introduction 기존 VLM의 이미지 처리 방식에 대한 문제 제기기존 방식에서는 2D patch를 미리 정해진 1D 순서로 flattenA B CD E FG H Iraster scan을 적용하면A → B → C → D ..

이번 글에서는 Locust를 이용하여 vLLM 기반 Vision-Language Model 서버를 부하 테스트하는 방법을 설명하겠습니다.테스트 대상은 OpenAI API 호환 형태로 서비스되는 vLLM 서버이고, 부하테스트 할 task는 "문서 정보추출"입니다. 1. Locust를 사용하는 이유 Locust는 Python 코드로 부하 시나리오를 자유롭게 작성할 수 있다는 장점이 있습니다.특히 VLM 서비스에서는이미지 업로드Streaming 응답멀티턴 대화복잡한 Prompt등을 테스트해야 하는 경우가 많습니다. 다른 라이브러리보다 훨씬 유연하게 구현할 수 있습니다. 2. 진행과정 데이터 로딩 ↓Locust User 생성 ↓VLM API 호출 ↓응답 수집 ..