sd-x2-latent-upscaler 모델로 image upscale 하기

diffusion을 기반으로 하는 image upscale 모델이 아주 많은데요.

많이 쓰이는 모델 중 하나인 sd-x2-latent-upscaler를 이용해 image upscale을 진행해보겠습니다.

 

전체 코드는 아래와 같습니다.

from diffusers import StableDiffusionLatentUpscalePipeline
import torch


upscaler = StableDiffusionLatentUpscalePipeline.from_pretrained("stabilityai/sd-x2-latent-upscaler", torch_dtype=torch.float16)
upscaler.to("cuda")

prompt = "(photorealistic:1.4), best quality"
generator = torch.manual_seed(42)

low_res_latents = Image.open("image.png")
upscaled_image = upscaler(
    prompt=prompt,
    image=low_res_latents,
    num_inference_steps=20,
    guidance_scale=0,
    generator=generator,
).images[0]


upscaled_image.save("result.png")

 

inference_step 은 20만 진행해주겠습니다.

 

- before

 

- after

 

기존 화질 손상 없이 잘 upscale 되었습니다.