Doku sentezi - Texture synthesis

Doku Sentezi , yapısal içeriğinden yararlanarak küçük bir dijital örnek görüntüden algoritmik olarak büyük bir dijital görüntü oluşturma işlemidir . Bilgisayar grafiklerinde araştırmanın bir amacıdır ve diğerlerinin yanı sıra dijital görüntü düzenleme , 3B bilgisayar grafikleri ve filmlerin post prodüksiyonu gibi birçok alanda kullanılır .

Doku sentezi, görüntülerdeki delikleri doldurmak ( inpainting'de olduğu gibi ), büyük, tekrar etmeyen arka plan görüntüleri oluşturmak ve küçük resimleri genişletmek için kullanılabilir.

Prosedürel dokularla kontrast oluşturun

Prosedürel dokular , dokuları kaynak malzeme olmadan sıfırdan sentezleyebilen ilgili bir tekniktir. Buna karşılık, doku sentezi, bazı kaynak görüntünün eşleştirildiği veya genişletildiği teknikleri ifade eder.

Dokular

" Doku " belirsiz bir kelimedir ve doku sentezi bağlamında aşağıdaki anlamlardan birine sahip olabilir:

  1. Yaygın konuşmada, "doku" kelimesi "yüzey yapısı" ile eşanlamlı olarak kullanılmaktadır. Doku, algı psikolojisindeki beş farklı özellikle tanımlanmıştır : kabalık , karşıtlık , yönlülük , çizgi benzerliği ve pürüzlülük .
  2. In 3D bilgisayar grafikleri , bir doku ile üç boyutlu modelin yüzeyine uygulanan dijital görüntü doku kaplama modeli daha gerçekçi bir görünüm vermek için. Çoğu zaman, görüntü, tahta damarı gibi "gerçek" bir dokunun fotoğrafıdır .
  3. Olarak görüntü işleme , tekrar unsurlardan oluşan, her bir dijital görüntü, bir "doku" olarak adlandırılır.
Doku spektrumunu gösteren fotoğraflar ve oluşturulmuş görüntülerin bir karışımı

Doku, düzgün bir geçişle birbirine bağlanan, normalden stokastik olana giden bir spektrum boyunca düzenlenebilir:

  • Düzenli dokular. Bu dokular biraz normal desenlere benziyor. Yapılandırılmış bir dokuya örnek, bir taş duvar veya kaldırım taşlarıyla döşenmiş bir zemindir.
  • Stokastik dokular. Stokastik dokuların doku görüntüleri parazit gibi görünür : görüntünün üzerine rastgele dağılmış, minimum ve maksimum parlaklık ve ortalama renk özellikleriyle zar zor belirlenen renkli noktalar. Birçok doku, uzaktan bakıldığında stokastik dokular gibi görünür. Stokastik dokuya bir örnek kaba dökümdür .

Hedef

Doku sentezi algoritmalarının , aşağıdaki gereksinimleri karşılayan bir çıktı görüntüsü oluşturması amaçlanmıştır :

  • Çıktı, kullanıcı tarafından verilen boyuta sahip olmalıdır.
  • Çıktı, numuneye olabildiğince benzer olmalıdır.
  • Çıktı, dikişler, bloklar ve uyumsuz kenarlar gibi görünür kusurlara sahip olmamalıdır.
  • Çıktı tekrar etmemelidir, yani çıktı görüntüsündeki aynı yapılar birden fazla yerde görünmemelidir.

Çoğu algoritma gibi, doku sentezi de hesaplama süresinde ve bellek kullanımında verimli olmalıdır.

Yöntemler

Doku sentezi için aşağıdaki yöntemler ve algoritmalar araştırılmış veya geliştirilmiştir:

Döşeme

Örnek bir görüntüden büyük bir görüntü oluşturmanın en basit yolu, onu döşemektir . Bu, örneğin birden fazla kopyasının basitçe kopyalanıp yan yana yapıştırıldığı anlamına gelir. Sonuç nadiren tatmin edicidir. Nadir durumlar haricinde, döşemeler arasında dikişler olacak ve görüntü oldukça tekrarlı olacaktır.

Stokastik doku sentezi

Stokastik doku sentezi yöntemleri, yalnızca minimum parlaklık, ortalama renk veya maksimum kontrast gibi temel parametrelerden etkilenen, her piksel için rastgele renk değerleri seçerek bir görüntü üretir. Bu algoritmalar yalnızca stokastik dokularla iyi performans gösterir, aksi takdirde örnek görüntüdeki herhangi bir yapıyı göz ardı ettikleri için tamamen tatmin edici olmayan sonuçlar üretirler.

Tek amaçlı yapılandırılmış doku sentezi

Bu ailenin algoritmaları, bir çıktı görüntüsü oluşturmak için sabit bir prosedür kullanır, yani bunlar tek bir tür yapılandırılmış doku ile sınırlıdır. Bu nedenle, bu algoritmalar hem yapılandırılmış dokulara hem de yalnızca çok benzer yapıya sahip dokulara uygulanabilir. Örneğin, tek amaçlı bir algoritma, taş duvarların yüksek kaliteli doku görüntülerini üretebilir; yine de, çakıl taşlarını gösteren örnek bir görüntü verildiğinde algoritmanın herhangi bir geçerli çıktı üretmesi pek olası değildir.

Kaos mozaiği

Microsoft grubu tarafından İnternet grafikleri için önerilen bu yöntem, döşeme işleminin iyileştirilmiş bir sürümüdür ve aşağıdaki üç adımı gerçekleştirir:

  1. Çıktı görüntüsü tamamen döşenerek doldurulur. Sonuç, görünür dikişlere sahip tekrarlayan bir görüntüdür.
  2. Numunenin rastgele seçilen parçaları kopyalanır ve çıktı görüntüsüne rastgele yapıştırılır. Sonuç, görünür dikişlere sahip oldukça tekrarlı olmayan bir görüntüdür.
  3. Çıktı görüntüsü, kenarları yumuşatmak için filtrelenir.

Sonuç, çok tekrarlı olmayan ve çok fazla yapaylık içermeyen, kabul edilebilir bir doku görüntüsüdür. Yine de bu yöntem tatmin edici değildir çünkü 3. adımdaki yumuşatma çıktı görüntüsünün bulanık görünmesine neden olur.

Piksel tabanlı doku sentezi

Markov alanlarını kullanan bu yöntemler, parametrik olmayan örnekleme, ağaç yapılı vektör niceleme ve görüntü analojileri, en basit ve en başarılı genel doku sentez algoritmalarından bazılarıdır. Genellikle, sentetik doku ile en benzer yerel komşuluğa sahip pikselleri bularak ve kopyalayarak tarama çizgisi sırasına göre bir dokuyu sentezlerler. Bu yöntemler, görüntü tamamlama için çok kullanışlıdır. Görüntü benzetmelerinde olduğu gibi , birçok ilginç görevi yerine getirmek için sınırlandırılabilirler . En iyi piksel için kapsamlı arama biraz yavaş olduğundan, tipik olarak bir tür Yaklaşık En Yakın Komşu yöntemiyle hızlandırılırlar. Sentez, aynı zamanda, nedensel olmayan parametrik olmayan çok ölçekli Markov rasgele alanının kullanılması gibi çok çözünürlüklü olarak da gerçekleştirilebilir.

Resim kapitone.

Yama tabanlı doku sentezi

Yama tabanlı doku sentezi, bir dokuyu manuel olarak sentezlemek için klonlama aracının kullanımına benzer şekilde, dokuları çeşitli ofsetlerde kopyalayıp birbirine dikerek yeni bir doku oluşturur. Görüntü kapitone ve grafik dokuları, bilinen en iyi yama tabanlı doku sentezi algoritmalarıdır. Bu algoritmalar, piksel tabanlı doku sentezi yöntemlerinden daha etkili ve daha hızlı olma eğilimindedir.

Derin Öğrenme ve Sinir Ağı Yaklaşımları

Daha yakın zamanlarda, derin öğrenme yöntemlerinin doku sentezine güçlü, hızlı ve veri odaklı, parametrik bir yaklaşım olduğu gösterildi. Leon Gatys'in çalışması bir dönüm noktasıdır: Kendisi ve ortak yazarları, ayırt edici şekilde eğitilmiş bir derin sinir ağından gelen filtrelerin etkili parametrik görüntü tanımlayıcıları olarak kullanılabileceğini göstererek yeni bir doku sentezi yöntemine yol açtı.

Bir başka yeni gelişme, doku sentezi için üretken modellerin kullanılmasıdır. Uzaysal GAN ​​yöntemi ilk kez doku sentezi için tamamen denetlenmemiş GAN'ların kullanımını gösterdi . Sonraki bir çalışmada, yöntem daha da genişletildi - PSGAN hem periyodik hem de periyodik olmayan görüntüleri denetimsiz bir şekilde tek görüntülerden veya büyük görüntü veri kümelerinden öğrenebilir. Ek olarak, gürültü alanında esnek örnekleme, potansiyel olarak sonsuz çıktı boyutuna sahip yeni dokular oluşturmaya ve bunlar arasında sorunsuz geçiş yapmaya izin verir. Bu, PSGAN'ı bir doku sentezi yönteminin oluşturabileceği görüntü türleri açısından benzersiz kılar.

Uygulamalar

Ücretsiz resim editörü Gimp için eklenti olarak bazı doku sentezi uygulamaları mevcuttur :

Piksel tabanlı bir doku sentezi uygulaması:

Yama tabanlı doku sentezi:

Lasagne + Theano ile Python'da uygulanan PSGAN ile Derin Üretken Doku Sentezi:

Edebiyat

Bu alandaki en eski ve en çok başvurulan makalelerden bazıları şunlardır:

  • 1993'te Popat - "Doku sentezi, sınıflandırma ve sıkıştırma için yeni küme tabanlı olasılık modeli".
  • 1995'te Heeger-Bergen - "Piramit tabanlı doku analizi / sentezi".
  • 1998'de Paget-Longstaff - "Nedeni olmayan parametrik olmayan çok ölçekli Markov rasgele alanı aracılığıyla doku sentezi"
  • 1999'da Efros-Leung - "Parametrik Olmayan Örneklemeyle Doku Sentezi".
  • 2000 yılında Wei-Levoy - "Ağaç Yapılı Vektör Niceleme Kullanarak Hızlı Doku Sentezi"

konuyla ilgili daha önce çalışmalar olmasına rağmen, örneğin

  • 1986'da Gagalowicz ve Song De Ma, "3 boyutlu sahneler için modele dayalı doğal doku sentezi",
  • 1984'te Lewis, "Dijital boyama için doku sentezi".

(İkinci algoritmanın Kaos Mozaiği yaklaşımıyla bazı benzerlikleri vardır).

Efros-Leung'un parametrik olmayan örnekleme yaklaşımı, çoğu doku türünü kolayca sentezleyebilen ilk yaklaşımdır ve bilgisayar grafiklerinde yüzlerce takip kağıdına tam anlamıyla ilham vermiştir. O zamandan beri, doku sentezi alanı, kişisel bilgisayarlar için 3B grafik hızlandırıcı kartların piyasaya sürülmesiyle hızla genişledi. Ancak Scott Draves'in bu tekniğin yama tabanlı versiyonunu ilk olarak 1993 yılında Efros'a göre GPL kodu ile birlikte yayınladığı ortaya çıktı .

Ayrıca bakınız

Referanslar

Dış bağlantılar