全球熱頭條丨該死，這糟糕的心動感，梅開三度

大家好，我是 Jack。

今天繼續給大家推薦一些讓人“心動”的開源項目。

一、point-e

OpenAI　最近真的是殺瘋了，真是一家大力出奇跡的公司。

(資料圖)

先有 CLIP、再有 Dalle2，然后又搞了一個大火的 ChatGPT。

可謂是在多模態領域、圖像生成領域、文本對話領域大殺特殺。

現在，他們又把“魔爪”伸向了 3D 模型生成領域！

我們看一下效果：

簡單概述就是：

根據本文，生成 3D 模型。

并且運行速度也很快，單個 GPU，只需要 1-2 分鐘。

你可別笑話這 3D 模型，顆粒感明顯，后續提高精度了，有可能又是一波大殺特殺。

要知道，最原始的擴散模型生成 2D 圖像，效果也是不太好。但自從 DDPM 發力后，基于本文的2D圖像生成，開始迅猛發展，兩年的時間，發展到了如今的 2D 高清圖片生成。

像我之前分享的 AI 作畫，就是基于擴散模型 LDM 做的。

從最初的難用、甚至不可用，到現在的火爆，只用了幾年的時間。

想象一下：輸入各種風格、主題、氛圍的關鍵詞，AI 就會生成符合要求的 3D 模型。

完善好后，這無疑又是動畫、游戲、VR/AR等從業人員的一大利器。

項目剛剛開源，“新鮮熱乎”：

項目地址：

https://github.com/openai/point-e

使用方法也很簡單，首先下載代碼，然后在項目根目錄進行安裝：

pipinstall-e.

然后就能使用 jupyter 運行以下代碼：

支持：從圖片生成點云、從文本生成點云、從點云生成 3D Mesh。

用 Point·E 依據文本提示生成 3D 點云的過程分為三個步驟：

1、依據文本提示，生成一個合成視圖 (synthetic view)

2、依據合成視圖，生成 coarse point cloud (1024 point)

3、基于低分辨率點云和合成視圖，生成 fine point cloud (4096 Point)

感興趣的小伙伴，可以玩一玩。

二、DiT

沒錯，還是擴散模型。

絕大多數擴散模型，從 DDPM 開始，再到 DDIM、GLIDE，以及最新的 Imagen、LDM，用來預測噪聲的網絡，都是選擇 UNet 作為基礎架構。

加個多頭 Attention，修改下網絡尺寸，翻來覆去都是在折騰 UNet 結構。

最新發表的 DiT 改變了這個局面，用 Transformer！

擴散 Transformer(DiTs)：一個基于 Transformer 的擴散模型主干，它優于先前的 U-Net 模型，并繼承了 Transformer 模型類的優秀擴展特性，性能表現出色，代碼剛剛開源！

我們直接看下效果對比：

FID 指標越小越好，其余指標越大越好。

從數據上看，DiT 比 LDM 還要好。

LDM 是誰？就是 NovelAI 用的底層模型。

真實場景，逼真自然的 2D 圖像生成，離我們不遠了。

項目地址：

https://github.com/facebookresearch/DiT

不想部署開發環境，直接測試，作者也貼心地提供了 Web 環境：

https://huggingface.co/spaces/wpeebles/DiT

三、Best Papers 2022

時間過得真快，2022 年也接近了尾聲。

跟往年一樣，今年也出現了很多優秀的算法。

2022 年全年的 Amazing AI papers，有人整理了出來。

今年的，30+ 篇 Best Papers，整理得非常不錯：

這里面的，有一部分我寫過教程。

項目地址：

https://github.com/louisfb01/best_AI_papers_2022

四、絮叨

時間過得飛快，2022 年都要結束了！

忙學業 or 忙工作，辛苦一年了，小伙伴們跨年準備怎么過??？

“陽康”的我，決定跨年那天出去放松一波。

打起精神，迎接 2023！

·················END·················

關鍵詞： 年的時間 大殺特殺 感興趣的