[4] SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs
·
Paper Review/LLM & VLM
[paper] https://arxiv.org/pdf/2602.06040[Github] https://github.com/Accio-Lab/SwimBird GitHub - Accio-Lab/SwimBirdContribute to Accio-Lab/SwimBird development by creating an account on GitHub.github.com 1. Introduction 기존 MLLM모델들의 추론패턴 문제점을 지적항상 텍스트 CoT만 사용하거나 latent Visual Token만 사용하는 방식⇒ 질문마다 필요한 사고방식이 다른데 왜 항상 같은 추론 패턴을 사용할까?다양한 유형의 쿼리에 유연하게 대응하지 못하는 한계 직면텍스트 중심의 논리적 문제에서 불필요한 시각적 연산을 초래하여 성..
[OpenCV] C++ OpenCV Image Thresholding
·
OpenCV
c++과 opencv를 이용해 이미지 각 픽셀값을 thresholding하는 방법입니다. 이번 챕터에서는 아래 이미지를 입력으로 사용합니다. 계속 사용하게 될 threshold 함수의 원형은 아래와 같습니다.threshold(입력이미지, 출력이미지, 임계값, 최대값, 방식) 1. Binary Thresholding 픽셀값이 1~255 → 흰색(255)픽셀값이 0 → 검정(0) #include #include using namespace std;using namespace cv;int main() { // Read image Mat src = imread("threshold.png", IMREAD_GRAYSCALE); Mat dst; // Set threshold and maxValue ..
[Pytorch] VLM 모델 양자화 (FP8, GPTQ, AWQ)
·
Pytorch
Qwen3_VL 모델을 FP8, GPTQ, AWQ 3가지 방법으로 양자화하는 방법에 대한 설명입니다. FP8은 8bit 양자화, GPTQ와 AWQ는 4bit 양자화라는 차이점도 있고 또한 "언제, 무엇을, 어떻게 양자화하느냐"에 따라서 목적·효과·제약이 꽤 다릅니다. 1. FP8 (8-bit Floating Point) FP8은 특정 알고리즘이라기보다 NVIDIA H100(Hopper)이나 B200(Blackwell)과 같은 최신 GPU에서 지원하는 데이터 형식특징: 정수형(INT8)이 아닌 부동소수점 방식을 사용하여 더 넓은 동적 범위(Dynamic Range)를 가진다장점: 최신 GPU의 Tensor Core에서 직접 연산되므로 속도가 매우 빠르다.가중치(Weight)뿐만 아니라 활성화값(Act..
[3] Context Cascade Compression: Exploring the UpperLimits of Text Compression
·
Paper Review/LLM & VLM
[paper] https://arxiv.org/pdf/2511.15244[Github] https://github.com/liufanfanlff/C3-Context-Cascade-Compression GitHub - liufanfanlff/C3-Context-Cascade-Compression: Official code implementation of Context Cascade Compression: Exploring theOfficial code implementation of Context Cascade Compression: Exploring the Upper Limits of Text Compression - liufanfanlff/C3-Context-Cascade-Compressiongithu..