当前位置:首页 > 休闲 > ControlNet作者新项目爆火:25秒出图,不到一天GitHub揽星600+

ControlNet作者新项目爆火:25秒出图,不到一天GitHub揽星600+

2024-10-30 15:27:29 [热点] 来源:榆林市某某轴承服务中心


文章转载于量子位 (公众号 QbitAI)

ControlNet作者张吕敏(Lvmin Zhang)又又又发新作了!新项星

输入任意一张图,目爆分分钟就能“拆解”成一个25秒的火秒上海市某某建筑科技制造厂图像绘制过程视频:


从线稿到填色还有局部细节调整,全都有的出图那种:


而且不止动漫风,各种风格都能驾驭:


这个项目名为Paints-Undo,新项星发布不到24小时,目爆GitHub上已揽星600+:


网友们针对它的火秒讨论也经历了一轮又一轮,不少人纷纷表示“这个是出图真牛P”。


……甚至因为效果太好,新项星上海市某某建筑科技制造厂遭到网友吐槽:

手绘伪造成本又低了。目爆



还有不少网友已经玩上了:


1

Ctrl+ZZZZZZZ

据GitHub主页上的火秒介绍,Paints-Undo的出图命名有“其绘制过程就像是在绘画软件中多次按下撤消(Undo)按钮”之意。

该项目包含一系列模型,新项星展示了各种人类绘画行为,目爆比如素描、火秒勾线、上色、阴影、变形、左右翻转、调整色彩曲线、改变图层透明度,甚至在绘画过程中改变整体想法等等。

目前发布了两个型号:

paints_undo_single_frame和paints_undo_multi_frame。

paints_undo_single_frame为单帧模型,基于SD1.5架构进行了改进,输入为一张图和一个operation step,并输出一张图。

operation step相当于Ctrl+Z(撤销)多少次,比如operation step为100,就相当于会得到一张Ctrl+Z 100次的效果图。

paints_undo_multi_frame是多帧模型,基于VideoCrafter打造,但没有使用原始Crafter的lvdm,所有的训练/推理代码都是从头开始完全实现。

经过训练后,多帧模型整体架构类似于Crafter,包含5个组成部分:3D-UNet、VAE、CLIP、CLIP-Vision、Image Projection。

多帧模型输入为两张图片,输出是这两张图片之间的16帧中间帧,其结果比单帧模型更加一致,但也更慢,创造性较低。

代码库默认方法是将两个模型一起使用:

首先使用单帧模型获取5-7个“关键帧”,然后使用多帧模型来“插值”这些关键帧,最终生成一个相对较长的视频。理论上甚至可以生成无限长的视频,但在开发测试中帧数为100-500时,结果较好。

可以通过以下方式在本地部署:


介绍中还提到,项目测试是在24GB显存的Nvidia 4090和3090TI上进行。理论上说,16GB的显存应该也够用,但8GB就不行了,最少需要大概10到12.5GB的显存。

根据不同配置,处理一张图大约需要5-10分钟。

生成视频时长25秒,帧率为4FPS,分辨率可能是320x512、512x320、384x448或448x384。

更多玩法展示

除了直接生成25秒的从线稿到上色的视频,还有其它玩法。

比如输入线稿,也能生成线稿绘制过程:


单输入多输出也可以:


或者还可以从一张图提取出不同精细程度的线稿:



插入一张线稿,直接在此线稿基础上填色也行:


感兴趣的家人们可以亲自动手试试~

GitHub链接:

https://github.com/lllyasviel/Paints-UNDO

(责任编辑:综合)

推荐文章
  • 以军称轰炸真主党“地下金库” 内有数千万美金

    以军称轰炸真主党“地下金库” 内有数千万美金   来源:参考消息网  参考消息网10月22日报道据法新社10月21日报道,以色列军方21日称袭击了真主党一个地堡,里面藏有“数千万美元”。  报道称,近一个月来,以色列对黎巴嫩境内的真主党进行了大规 ...[详细]
  • 彭旭玮晋级女子200米仰泳决赛

    彭旭玮晋级女子200米仰泳决赛   [彭旭玮晋级女子200米仰泳决赛]#奥运会游泳#女子200米仰泳半决赛,中国选手彭旭玮游出2分07秒86,排名小组第三,顺利晋级决赛。#彭旭玮200仰晋级决赛##2024巴黎奥运会#点击进入专题: ...[详细]
  • 高温天,上海动物园的游览车为何在闭园前一个多小时“下班”?

    高温天,上海动物园的游览车为何在闭园前一个多小时“下班”? “上海动物园18点半下班,游览车17点就下班了……”近日,有游客表示,上海动物园18点半闭园,可15元的游览车只能保证在17点前乘坐。上海动物园内公开信息显示,该园面积1000多亩。高温天加上逛了一天 ...[详细]
  • 给全省学前和义务教育阶段学生家长(监护人)的一封信!

    给全省学前和义务教育阶段学生家长(监护人)的一封信! 湖南省学生资助管理中心致全省学前和义务教育阶段学生家长监护人)的一封信亲爱的家长监护人)朋友:少年强则国强。少年儿童是每一个家庭的希望和未来,更是强国建设和民族复兴伟业的接班人。孩子们成长成才,既是您 ...[详细]
  • 昆明长丰学校食堂承包商被罚578万

    昆明长丰学校食堂承包商被罚578万 原标题:昆明长丰学校食堂承包商被罚578万) 10月16日,云南昆明官渡区长丰学校食堂疑提供变质肉给学生食用,引发家长们集体不满,家长指责学校食堂“整盆肉都是臭的 ...[详细]
  • 南北方持续强降雨气象成因是什么?还要下多久?

    南北方持续强降雨气象成因是什么?还要下多久?   据央视新闻消息,中央气象台7月30日傍晚继续发布暴雨橙色预警。30日,我国南北方都有明显的降雨区域。北方降雨集中在华北、东北一带,多地有暴雨或大暴雨。南方降雨集中在西南和华南地区,四川、重庆、云南 ...[详细]
  • 郑思维/黄雅琼晋级羽毛球混双决赛

    郑思维/黄雅琼晋级羽毛球混双决赛   [郑思维/黄雅琼晋级羽毛球混双决赛]#雅思晋级决赛#羽毛球混双半决赛,郑思维/黄雅琼以2-021-14/21-15)战胜渡边勇大/东野有纱,晋级决赛。他们将在决赛中对阵韩国组合金元昊/郑娜恩。#2 ...[详细]
  • 挑战英伟达,AMD正成为一家AI芯片公司

    挑战英伟达,AMD正成为一家AI芯片公司 文 | 赛博汽车一年内翻了一番。7月底,芯片巨头AMD超威半导体)公布了2024年第二季度财报。其中,数据中心业务增长迅速,第二季度的净收入为28亿美元,同比增长115%,创下历史新高,占比总收入近4 ...[详细]
  • 台湾台北发生一起车祸 造成3人死亡

    台湾台北发生一起车祸 造成3人死亡   10月17日18时许,在台湾台北市内湖区一市场发生一起车祸。事故造成3人当场失去生命迹象,经急救后均宣告死亡。另有2人受伤,没有生命危险。  当地警方表示,肇事车辆疑因车速过快,导致车辆失控,发生 ...[详细]
  • 爱打扮和不打扮的妈妈,养出来的孩子长大后差距明显

    爱打扮和不打扮的妈妈,养出来的孩子长大后差距明显 这不暑假到了,我计划着跟表姐一家去旅游来着。表姐却忧心忡忡,说孩子不一定愿意跟她出门。我一问,才知道事情的来龙去脉。前段时间,表姐去接孩子放学,孩子一路上闷闷不乐,问啥也不说话。回到家开始闹脾气,再三 ...[详细]