<h2>Transformers कैसे बने थे?</h2>
Llion Jones, जिन्हें आप ChatGPT में 'T' यानी Transformer के लिए जानते होंगे, उन्होंने बताया कि Transformer कैसे बने। उनका कहना है कि जब वे Transformer पर काम कर रहे थे, तब माहौल बहुत अलग था। ideas lunch पर बात करते हुए या whiteboards पर कुछ भी लिखते हुए आते थे। सबसे ज़रूरी बात ये थी कि उन्हें अपने ideas पर काम करने की पूरी आज़ादी थी। उन पर management का कोई pressure नहीं था कि उन्हें इतने papers publish करने हैं या किसी खास project पर ही काम करना है। ज़रा सोचो, ऐसा environment था जहां ideas को explore करने की पूरी freedom थी। इसी open-ended और organic माहौल की वजह से Transformer जैसा बड़ा breakthrough हो पाया। लेकिन Llion Jones को इस बात की बहुत चिंता है कि आज AI industry में ऐसा माहौल नहीं है।
<h2>AI Research में ये Pressure क्यों है?</h2>
Llion Jones के मुताबिक, AI research में एक बड़ा paradox है। एक तरफ AI में आज तक का सबसे ज़्यादा interest, resources, पैसा और talent है, लेकिन दूसरी तरफ research का दायरा सिकुड़ता जा रहा है। इसकी वजह साफ है: immense pressure। Investors चाहते हैं कि उन्हें उनके investment पर return मिले। Industry बहुत crowded हो चुकी है, जहां एक researcher के लिए stand out करना बहुत मुश्किल है। अगर आप standard AI research कर रहे हैं, तो आपको ये मानना होगा कि कम से कम 3-4 और groups भी बिल्कुल वैसा ही कुछ कर रहे होंगे। इसलिए researchers को लगातार check करना पड़ता है कि कहीं उनका idea कोई और तो नहीं ले गया। यहां तक कि academia में भी, जहां ज़्यादा freedom होनी चाहिए, वहां भी papers publish करने का pressure रहता है। अगर किसी के पास एक बहुत दिलचस्प idea है जिससे कुछ बड़ा हो सकता है, लेकिन उसके पास एक mediocre idea भी है जिससे paper publish होना पक्का है, तो लोग अक्सर low-hanging fruit को चुनते हैं। दुर्भाग्य से, ये pressure science को नुकसान पहुंचा रहा है क्योंकि लोग जल्दी-जल्दी papers निकाल रहे हैं, और इससे creativity कम हो रही है।
<h2>अगली AI Breakthrough कैसे मिलेगी?</h2>
Llion Jones ने AI search algorithms का उदाहरण दिया, जहां exploration-exploitation trade-off होता है। अगर आप सिर्फ exploit करते रहते हैं, तो आप नए और बेहतर हल खोजने से चूक सकते हैं। AI industry में हम अभी शायद इसी हालात में हैं। Llion Jones याद करते हैं कि Transformer से पहले, लोग recurrent neural networks (RNNs) को ही बेहतर बनाने में लगे थे, लेकिन Transformer के आने के बाद वो सारा काम बेकार सा लगने लगा। हमें एक conceptual leap की ज़रूरत थी, RNNs को पूरी तरह से छोड़ना पड़ा। Llion Jones को डर है कि हम फिर से उसी हालात में हैं, जहां हम एक ही architecture पर ध्यान दे रहे हैं और उसमें छोटे-मोटे बदलाव कर रहे हैं, जबकि कोई बड़ा breakthrough बस आने ही वाला हो सकता है। अगली breakthrough open-ended और speculative research से ही आएगी। इससे चूकने से बचने का एक ही तरीका है: ऐसे research में invest करना।
Llion Jones ने कुछ suggestions भी दिए। उनका कहना है कि हमें nature-inspired research पर ध्यान देना चाहिए, क्योंकि इंसानी brain अभी भी बहुत कुछ ऐसा कर सकता है जो state-of-the-art AI नहीं कर सकता। उन्होंने Brian Chung का एक बात साझा करो किया:
TED27.2M subscribers
