AI数字绘画

知乎: AI 绘画过去也一直有研究,为什么会在最近几个月突然爆发?

Disco Diffusion

Disco Diffusion 是发布于Google Colab 平台的一款利用人工智能深度学习进行数字艺术创作的工具,它是基于MIT 许可协议的开源工具,可以在Google Drive 直接运行,也可以部署到本地运行。

Disco Diffusion 有一个弊端,就是速度非常慢,动辄 半个小时起步。

Midjourney

Midjourney是Disco Diffusion的原作者Somnai所加入的AI艺术项目实验室。

Midjourney 对 Disco Diffusion 进行了改进,平均1分钟能出图。

建议设计师使用。

Stable-Diffusion

是由stability.ai(一个年轻的英国团队)推出 并且开源,发布于 Google Colab 平台。

由于出图快,平均10-20秒,一经推出就受到广大网友的喜爱,操作简单。

浅玩stable-diffusion

在Colab中使用

Colaboratory 简称“Colab”,是 Google Research 团队开发的一款产品。在 Colab 中,任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说,Colab 是一种托管式 Jupyter 笔记本服务。用户无需设置,就可以直接使用,同时还能获得 GPU 等计算资源的免费使用权限。

我就不去挤云资源了,感兴趣的可以参考以下教程搭建
https://www.zcool.com.cn/article/ZMTM3OTg3Mg==.html

本地运行

Window搭建,有两个docker版
https://github.com/fboulnois/stable-diffusion-docker
https://github.com/AbdBarho/stable-diffusion-webui-docker

建议在RTX 2060 显卡等 6GB 显存(及以上)显卡下运行

目前在身边的机器只有20款的Macbook pro M1 16g,只能搭建Mac的来玩一下,但是众所周知MAC显存和内存是共用的,因此出图肯定是没有拥有大显卡的快。

Mac搭建
https://replicate.com/blog/run-stable-diffusion-on-m1-mac
https://github.com/divamgupta/diffusionbee-stable-diffusion-ui

下面尝试第二个,直接下载,带客户端ui操作

在它的releases中可以看到xxx-arm64_MPSxxx-arm64_TF,这两个的意思分别是

  • xxx-arm64_MPS: runs much faster, but has slightly worse generation quality.
  • xxx-arm64_TF: runs slower, but produces better quality images

Mac diffusionbee-stable-diffusion-ui

下载安装后,会自动下载默认模型,耐心等待即可。(或者各位神仙也可以施展魔法,这里就不教程了)

出图效果

尝试喂他关键词

1girl, best quality, hair between eyes, smile, short hair,school uniform, skirt, sitting, looking at viewer,dancing, 2D

翻译成中文,大致意思是

balabala...

等待了30秒左右,内存从80%上升到了90%,cpu上升了5%。
出图:

??????
??????
??????啊这…

调教一下参数后继续生成

啊这… ,我要的不是2d吗…

后面又是一顿折腾,换模型,调关键词,也没出几个"能看"的图片,然后去看了一下stable-diffusion-webui项目发现比这个客户端功能多了太多…

Mac stable-diffusion-webui

搭建教程参考:https://github.com/AUTOMATIC1111/stable-diffusion-webui

搭建完成

出图效果

导模型,喂提示词,调参数,等待AI出图中…

出图速度相当快,不到一分钟。
神奇的一件事,我并没有发现我内存在上升?出图之前是90%,出图中内存使用率为91%… 难道内存占用太多,已经在使用磁盘空间当内存了?

出图完成

可以看到,出图效果还是非常赞的。后面还有三个功能!

  • Send to img2img图生图(利用这一功能,可以根据需求生成新的图像或对现有图像进行编辑,例如替换图片背景或更改人物服装);
  • Send to inpaint重绘(微调,可以对手部细节、脸部细节等调整);
  • Send to extras图像缩放,包括Super Resolution(超分辨率)(可以将一张低分辨率图片Ai修复为高分辨率)。

学习中整理了一些笔记,浅玩AI绘画教程

参考资料:
https://mp.weixin.qq.com/s/nDnQuZn3hVgrwqWVada2cw
https://github.com/divamgupta/diffusionbee-stable-diffusion-ui
https://github.com/AUTOMATIC1111/stable-diffusion-webui

huggingface:
https://huggingface.co/models?sort=downloads
civitai:
https://civitai.com/