Nöro-Sanat: Müziği Görmek
Muhammed Nur Anbarlı

https://www.zdergisi.istanbul/makale/noro-sanat-muzigi-gormek-430

Nazım Hikmet, “Saman Sarısı” başlıklı şiirinde yakın arkadaşı ressam Abidin Dino’ya “sen mutluluğun resmini yapabilir misin Abidin” diye sormuştu. Elbette cevap bekleyen bir soru değildi bu. Şiirin akışından Nazım Hikmet’in şunu ima ettiği söylenebilir: Kaba bir realizme düşmeden gerçekçi resimler çizen Abidin Dino; mutluluğun da resmini çizmek için en uygun kişi olmalıydı. Soyut ve kişiye özel bir hâl olan mutluluğun resmedilebilmesi muhal ise de söz konusu talep bir sınır belirtiyor ve cesur hedefler tayin ediyordu. Nazım Hikmet’in ‘mutluluğun resmini yapamayacağı’ zannıyla iğnelediği ressam arkadaşının, söz konusu meydan okumayı ciddiye aldığı ve bir mutluluk tablosu çizdiği konusunda hemen herkes hemfikirdir.

Yukarıda sunulan durum bizi, alışkın olduğumuz eşleştirmelere yönelik bir sorgulama yapmaya sevk ediyor: Duyu organlarımızı, kendi ‘çalışma alanları’ ile sınırlı tutma temayülümüzde kainatı güçlü biçimde kavrama yeteneğimizi tahdit eden bir şey yok mu? Kulaklarımız işitir, gözlerimiz görür, dilimiz tat alır vs. Sadece bu kadar mı? ‘Sinestezi,’ bu kadar olmadığını söylüyor. Yunanca syn(birlikte) ve aesthe-sis(algılamak)ten oluşan ‘sinestezi’ kelimesi uzun zaman tedaviye muhtaç bir tür rahatsızlık için kullanıldı. Bu rahatsızlık, zihinsel olayların bilinci tetiklemesiyle ortaya çıkan ‘bilinçli duyusal istemsizlik’ olarak tanımlandı; duyuların kompartımanlar hâlinde değil de birlikte algılandığı ve birbirinin içine geçtiği, bir bakıma ‘birleşmiş duyular’ veya ‘eşduyum’ denebilecek bir durum olarak yorumlandı.

‘Dil dışı düşünmenin belirtisi’ olarak kabul gören ve her 23 kişiden birinde görülen bu ‘anormallik’ sonraları mistik bir yetenek addedildi. Bu duruma maruz kalan kişilere ‘sinestezik’ dendi ve bunların genellikle hassas yapılı, güçlü hayal dünyaları olan, karmaşık ve anlaşılmaz ruhsal durumlara sahip kişiler oldukları ve çoğunlukla sanatla uğraştıkları tespit edildi. Algısı gelişmiş bu kişiler harfleri renk olarak deneyimleyebiliyordu. Zihinlerinde her harf farklı bir renk olarak algılanıyor; işitilen şeyler bir renk olarak beliriyordu.

Bu olağanüstü durumla ilgili kabul gören yorum ise şu şekilde: Doğum esnasında insan beyninde bir hayat boyu yetecek sayıdan çok daha fazla nöronlar arası bağlantı bulunur ve bu bağlantılar normal insanlarda zamanla yok olur. Fakat sinestezik kişilerde söz konusu bağlantılar yok olmuyor. Dolayısıyla sinesteziyi bir hastalık olarak değil, ‘duyusal algılama hediyesi’ olarak görmemiz mümkün...

Sinestezi, işitilen şeylerin aynı zamanda tadılabileceği ya da görülebileceği anlamına geliyor. Nitekim işitilen şeylerin görülebilir olmasıyla ilgili son yıllarda dikkat çekici bazı gelişmeler yaşandı. Görsel sanatlar alanının, yönetilebilir bir algı oluşturmada bilgisayarın icadı ile birlikte sıçrama yaşadığını; hatta dijital evrenin gelişmesiyle ve yaygınlaşmasıyla yepyeni bir dil inşa edildiğini söyleyebiliriz. Yeni imkanlar, yeni uygulamalar ve yeni anlatım biçimleri ile karşı karşıyayız. Artık aklımızın köşesinde resmedilemeyecek hiçbir soyut kavram bulunmadığına dair bir yargı var. Nesneleri görsel olarak dönüştüren, ışık gölge oyunları, renk kombinasyonları, üst üste binmiş katmanlar, şaşırtıcı efektler... gözün görebileceği ve muhatabın iç dünyasında hisler oluşturan, zihninde mantıksal düzenekler kuran bir anlatım dili ve anlamlar dünyasından söz edebiliriz. Bu imkanlarla birlikte, anlatım zorluğu olan konuları ya da epeyce zamana ihtiyaç duyulan derinlikli konuları, dijital manipülasyonla bir çırpıda anlaşılır hâle getirecek piktogramlar, info-grafikler gibi kreatif tasarım ürünü görseller oluşturulabiliyor.

Son yıllarda info-grafik tasarımların ‘dijital sanat’ olarak adlandırılan örnekler verdiğine şahit oluyoruz. Bunlar yeni bir anlatım dili olarak kabul edilebilir. Amerikalı besteci ve yazılım mühendisi Stephen Anthony Malinowski’nin ve Slovenya’da bir araştırma kuruluşu olan Blckb şirketinin çalışmaları iki kaydadeğer örnek olarak verilebilir.

Malinowski ‘müzik animasyonu’ olarak isimlendirilebilecek bir bilgisayar yazılımı geliştirdi. Bu yazılım ile müzikleri sayısal verilere dönüştürdü; verileri ise renklerle ve şekillerle tanımladı. Müziği görsel hâle getiren ilgi çekici grafik değerler ortaya çıktı. Daha sonra ‘psikoakustik’ adı verilen bir ses işleme algoritması üzerinde çalışan Malinowski, 2012 yılında bu algoritmayı zenginleştirerek gerçek zamanlı animasyonlar oluşturdu. Klasik müzik bestelerini bu şekilde görsel hâle getiren araştırmacı, birçok videoyu “Animasyon, gözlerinizin kulaklarınızı yönlendirmesine izin verir” mottosuyla YouTube kanalında paylaşıyor. İlgi çeken inovatif yaklaşımı sayesinde kanalı 150 milyonun üzerinde görüntülenme sayısına ulaştı...

Kuşkusuz Malinowski’nin çalışmalarında ilham aldığı kişi, bilgisayar animasyonlarının babalarından birisi olarak kabul edilen Amerikalı animatör, besteci ve mucit John Whitney idi. Whitney, teknolojiyi de kullanarak müziğin grafik kompozisyonlar olarak göründüğü denemeleri yapan ilk kişiydi. 1950’li yıllarda televizyon programları ve reklam filmleri için analog bir bilgisayar yardımıyla o döneme göre yeni olan mekanik animasyon teknikleri kullanmada başarı sağladı.

John Whitney, bilgisayar endüstrisinin olanca hızıyla gelişimini arttırdığı bir dönemde, 1980’de Digital Harmony: On the Complementarity of Music and Visual Art (Dijital Uyum: Müzik ve Görsel Sanatın Tamamlayıcılığı Üzerine) adlı kitabını yayınladı. Kitap, teknoloji ve sanatın kesişim noktası olarak değerlendirildi. Visual music (görsel müzik) rezonans noktalarına, simetriye ve aynı harmonik oran­lara dayanan grafiklerin oluşturul­ması konusunda felsefe ve fiziğe dayalı yaklaşımlar sunuyor ve bunları çizimlerle örneklendiriyordu.

Whitney’in yenilikçi filmleri “Permütasyonlar,” “Osaka,” “Matrix” serisi ve “Arabesque” ‘harmonik ilerleme’ ilkesi ile oluş­turduğu, düzenli geometrik animas­yonlar barındıran etkileyici çalışmalardı. Whitney’in kitabı, geliştirdiği yeni kavramlar ve yaklaşımlar bilgisayarın ge­lişim dönemlerinde birçok kişi için ufuk açıcı oldu ve dijital sanatın şekillenmesinde yeni çaba­ların önünü açtı. Böylece müziğin hangi prensiplerle görselleştirilebileceği hakkında çok sayıda örnek verildi.

Müziğin görselleştirilmesi ile ilgili son yıllarda bazı info-grafik tasarımcılarının da denemeleri oldu: Örneğin, Alman tasarımcı Gunther Kleinert’ın “Müziği görebiliyorum” serisi. Bir şarkıyı başlangıcından bitimine kadar bazı parametreleri esas alarak parçalara ayırmak, nota, frekans, ses şiddeti ve süresi, aynı anda devreye giren başka enstrümanlar... gibi şarkıyı oluşturan her unsuru bir matematiksel veri gibi tanımlamak bu çalışmalarda izlenen bir yöntem. Bu ayrıştırmayı yaparken renkler atayarak ve geometrik düzenler kurarak belli bir düzlem içinde yeni bir yerleştirme yapmak, o şarkıyı bir grafik olarak görünür hâle getiriyor.

Yakın zamana kadar tek boyutlu bir yüzey üzerinde oluşturulan bu grafik ve animasyonlar bir başka önemli gelişme ile yeni bir hüviyet kazandı. Slovenya’nın başkentindeki Ljubljana Üniversitesinde uygulamalı sinirbilim potansiyelini araştırmak ve geliştirmek maksadıyla 2013 yılında bir spin-off şirket kuruldu. Slovenya Kültür Bakanlığının desteğini alan Blckb adındaki bu şirket, kısa zamanda AB’de uygulamalı sinirbilim alanında öncü bir rol üstlendi. Blckb çalışanları tarafından alzheimer ve demans süreçlerini izlemek için geliştirilen EEG (elektroensefalografi) platformu sinyalleri toplayarak işleyen bir yazılım ile desteklendi. Böylece hastanın beyin verileri hızlı ve doğru bir şekilde veri merkezine aktarılarak işlenebilecek ve kaydedilebilecekti. Sağlık personelinin uzmanlığına ihtiyaç duymadan çalışabilen platform, sadece branş hastanelerinde değil, gündelik hayatın her alanında, evlerde, huzur evlerinde ve bakım evlerinde de rahatça kullanılabilecek...

Blckb çalışanları ayrıca ‘Braindance Projesi’ ile uygulamalı sinirbilim alanında devrim yapabilecek önemde bir uygulama geliştirdi. Bilim ve sanat arasında yeni bir boyut oluşturan ve ‘neuro-art’ olarak isimlendirilen bu uygulamanın ilk sonuçları etkileyiciydi. Projenin amacı, insanların işittikleri müziğe verdikleri istemsiz tepkileri ölçmek ve bunları görsel hâle getirmekti. Önce uygulamalı sinirbilim ve EEG teknolojisi yardımıyla 20 gönüllünün beyin dalgaları özel olarak tasarlanmış karanlık bir odada ölçüldü. ‘Kara kutu’ adı verilen bu oda, deneklerin dikkatinin dağılmasını önlüyor ve sadece dinledikleri müziğe odaklanmalarını sağlıyordu. Vücutlarına takılan elektrotlar vasıtasıyla da veri akışı temin ediliyordu.

Deney gerçekleşti, deneklerin beyin aktiviteleri kaydedildi. Bu veriler Črtomir Just ve Matej Koncan adlarında iki Sloven tasarımcının hazırladığı nöro-sanat infografikleri ile şekil kazandı. Bu info-grafikler, verilerin nasıl okunabileceği ile ilgili inovatif bir yaklaşım ortaya koyuyor. Veriler tek boyutlu olarak değil, iki boyutlu olarak değerlendiriliyor, ana renklerin değer skalası degrade bir renk zenginliği ile dairesel bir aks üzerine yedi farklı kategori hâlinde yerleştiriliyor. Böylece deneklerin beyinlerinin dinlenen müziğe verdikleri tepki okunur hâle geliyor.

Bir yandan grafik tasarım diğer yandan beyin görüntüleme teknolojisinin verilerini okumada anlaşılır sonuçlar elde etme başarısı gösteren bu uygulamalar, yeni biyobelirteçler ve analitik algoritmaların gelişmesine katkıda bulunuyor. Düşünce ya da davranış esnasında beynin hangi bölgelerinin çalıştığı fotoğraflanabiliyor; yetenek, yaratıcılık, deha kavramlarının nörolojik açıklaması, nöronların beyindeki yerleşimi ve birbirleri ile olan bağlantıları daha fazla veri ile açıklanabilir hâle geliyor.

Beyin aktivitelerinin izlenmesi ve elde edilen verilerin yeni grafik dillerle şekillenmesi, kelimeler yerine semboller ve simgelerin egemenliği ele geçirmelerine işaret eden bir gösterge olarak görülebilir mi? Kulağımızla işittiğimiz müziğin gözle görülür hale gelmesi, elbette kainatı algılama yeteneklerimizde bir farklılaşmaya ve yeni deneyim­ler kazanmamıza yol açacak.

BLACKBOX VE WHITEBOX PLATFORMLARI

Beyin sinyal­lerini büyük bir hassasiyetle ölçen BlackBox adlı elektrot teknolojisi, EEG verilerini kayıt ve analiz platformu olarak hem tıp hem iletişim alanında kullanılabiliyor. Bu sinyaller diğer biyometrik verilerle senkronize edilerek bazı nörofizyolo­jik metrikler için algoritmalar sağlayan WhiteBox bulut analiz sunucusuna gönderiliyor. Dikkat, duygusal değerler, bilinç, bellek kodlama, göz takibi, odaklanma... gibi birçok insani durum bu sinyallerle görselleştiriliyor ve anlaşılması kolay bir hâle getirili­yor. Bu yöntem, alzheimer, demans gibi hafızayı, düşünmeyi ve sosyal becerileri etkileyen hastalıkların karmaşık semptomlarının görülebilir ve anlaşılır hâle gelmesini sağlıyor. Diğer taraftan bu nörofizyolojik ölçümler, tüketici eğilimleri, marka değeri, müzik, ambalaj gibi pazarlama alanlarında da kayda değer veriler sunuyor.