Pinterest, Gelişmiş Ürün Çekimi Arka Planları için 'Canvas' AI'yı Tanıttı

Pinterest, ürün çekim arka planlarını geliştirmek için 'Canvas' adlı yeni bir yapay zeka (AI) metin-görüntü oluşturma sürecini tanıttı. Bu sistem, ürün maskeleri oluşturmak için bir segmentasyon modeli kullanarak arka planı ve ön planı izole ediyor. Canvas, belirli görsel stillerle uyumlu hale getirmek için küratörlü görüntüler üzerinde eğitiliyor ve markaların çeşitli ürün görselleri oluşturmasına olanak sağlıyor. Pinterest, bu sistemi kendi içinde geliştirdiği gizli bir yayılma modeli ile eğitiyor.

 Pinterest Canvas'ın Özellikleri

Pinterest Canvas, ürün maskeleri ve stilistik rehberlik için koşullandırma görüntüleri şeklinde keyfi koşullandırma bilgilerini destekleyen bir metinden görüntüye modeldir. Model, sadece Pinterest'te şirket içinde eğitilen gizli bir yayılma modeli olarak oluşturulmuştur. Varyasyonel bir otokoder (VAE) tarafından öğrenilen gizli alanda çalışır. Metin başlıkları hem CLIP-ViT/L hem de OpenCLIP-ViT/G kullanılarak kodlanır ve oluşturma sürecinde metin koşullandırma bilgilerini dahil etmek için çapraz dikkat yoluyla bir evrişimsel UNet'e beslenir.

Eğitim Süreci

Eğitim sırasında, rastgele başlık-görüntü çiftleri bir veri kümesinden örneklenir, VAE kullanılarak gizli gösterimlere kodlanır ve CLIP kullanılarak gömülür. Her görüntü gizlisine gürültü eklenir ve UNet, metin yerleştirme ve zaman adımı endeksi verildiğinde gizliyi gürültüden arındırmakla görevlendirilir. Eğitim verileri, yüksek kalite, güven ve emniyet standartlarını sağlamak için filtrelenir ve 1,5 milyardan fazla yüksek kaliteli metin-görüntü çifti elde edilir.

Arka Plan Üretimi için İnce Ayar

Pinterest Canvas, boyama gibi belirli görselleştirme görevlerini gerçekleştirmek için ince ayarlanmıştır. Model iki aşamada eğitilir:

1. Birinci Aşama: Temel modelle aynı veri setini kullanır ve eğitim sırasında boyama için rastgele maskeler üretir.
2. İkinci Aşama:  Ürün maskeleri oluşturmak için bir segmentasyon modeli kullanır ve görsel bir LLM'den daha eksiksiz ve ayrıntılı başlıklar ekler. Bu aşama, hızlı ve parametre açısından verimli ince ayar için tüm UNet katmanlarında bir LoRA'yı eğitmeyi içerir.

Model, bir ürün Pin'i alarak bir metin istemine göre bir arka plan oluşturabilir. VAE, orijinal ve oluşturulan görüntü içeriğini sorunsuz bir şekilde harmanlamak için ek koşullandırma girdilerini kabul edecek şekilde yeniden eğitilir ve ürünlerin piksel mükemmelliğinde yeniden yapılandırılmasını sağlar. Birden fazla varyasyon oluşturulur ve en iyi k, insan yargıları üzerinde eğitilmiş bir ödül modeli kullanılarak seçilir.

Sonuçları Kişiselleştirme

Kişiselleştirmeyi daha da geliştirmek için model, üretim sürecini yönlendirmek amacıyla diğer görüntülere koşullandırmak üzere zenginleştirilir. Bu, difüzyon UNet içinde ek görüntü istemlerini işleyen IP-Adapter'dan yararlanılarak elde edilir. Bu istemler, yerleştirmelere kodlanır ve metin yerleştirmeleriyle birlikte yeni görüntüye özgü çapraz dikkat katmanlarına geçirilir.

Kişiselleştirme için, stilistik bağlam, birleştirilmiş UVE ve CLIP yerleştirmeleri biçiminde eklenir. Güçlü stillere sahip panolar kullanmak ve stil kümelerini otomatik olarak çıkarmak gibi koşullu görselleri toplamanın farklı yolları denenir. Pinterest'in dahili olarak geliştirdiği Birleşik Görsel Yerleştirme'yi (UVE) kullanmak, genellikle ortaya çıkan nesiller üzerinde daha güçlü bir etkiye yol açar.