Introducing our Group AI & Data Analytics Director, Spyros Sakellariou, through the interview he conducted with Fortune Magazine. The following interview, titled ‘Barriers to the Adoption of Generative AI and How to Overcome Them,’ is sourced from Fortune Magazine, originally in Greek and translated into English.
Τα εμπόδια στην υιοθέτηση του Generative AI και πως να τα ξεπεράσετε.
Στα τέλη της δεκαετίας το 2000, γίναμε μάρτυρες της συνάντησης δύο τεχνολογιών η οποία, δώδεκα περίπου χρόνια αργότερα, θα δημιουργούσε την τεχνητή νοημοσύνη, ένα μοναδικό ψηφιακό εργαλείο που χρησιμοποιείται σήμερα από εκατομμύρια ανθρώπους σε όλο το κόσμο μέσα από πλατφόρμες όπως το ChatGPT.
Οι τεχνολογίες οι οποίες αποτέλεσαν τη βάση για την ανάπτυξη της τεχνητής νοημοσύνης ήταν τα Big Data, δηλαδή οι μεγάλες βάσεις δεδομένων, που σκοπό είχαν να μπορέσουν να αποθηκεύσουν, αλλά και να επεξεργαστούν, τους τεράστιους όγκους δεδομένων που παράγονται δημόσια στο internet, αλλά και από εταιρείες, ιδιωτικά. Ο πλούτος των διαθέσιμων δεδομένων και η δυνατότητα επεξεργασίας τους έδωσαν την ευκαιρία σε επιστήμονες δεδομένων να φτιάξουν εξαιρετικά ακριβείς αλγόριθμους πρόβλεψης, εκπαιδεύοντας τεχνητά νευρωνικά δίκτυα. Με την εξέλιξη αυτή, άρχισε να γίνεται εμφανές ότι, όσο μεγάλωνε ο όγκος του διαθέσιμου και άμεσα προσβάσιμου περιεχομένου – όλα τα κείμενα, εικόνες, ήχοι και videos που μπορούν να βρεθούν στο ίντερνετ αλλά και το πλήθος των συνάψεων ενός νευρωνικού δικτύου – τόσο περισσότερο μεγάλωνε και το εύρος των ζητημάτων που μπορούσαν να επιλυθούν μέσω των ψηφιακών τεχνολογιών.
Με την εφεύρεση της τεχνικής GPT (Generative Pretrained Transformers) δημιουργήθηκαν συστήματα τεχνητών νευρωνικών δικτύων που «μιλούσαν» και κατανοούσαν ανθρώπινες γλώσσες (LLM – Large Language Models). Τα συστήματα αυτά παρουσίασαν εντυπωσιακή ικανότητα κατανόησης κειμένων, ενώ ταυτόχρονα μπορούσαν να απαντήσουν και σε πολύπλοκα ερωτήματα, κάνοντας λογικούς συνειρμούς ακόμη και πάνω σε θέματα στα οποία δεν είχαν εκπαιδευτεί! Αργότερα, τα ίδια συστήματα απέκτησαν και τη δυνατότητα να μπορούν να αντιληφθούν και να ερμηνεύσουν το περιεχόμενο μιας εικόνας, ή ακόμη και να δημιουργήσουν μια νέα, μέσα από την αξιοποίηση διαθέσιμων δεδομένων και πληροφοριών (Generative AI).
Για πρώτη λοιπόν φορά στην ιστορία της ανθρωπότητας έχουμε μηχανές οι οποίες προσομοιάζουν την ανθρώπινη νοημοσύνη, διαθέτοντας ένα είδος λογικής σκέψης και κατανόησης του κόσμου. Όπως είναι φυσικό και επόμενο σε κάθε κοσμογονική αλλαγή, οι κοινωνίες της τέταρτης βιομηχανικής επανάστασης έχουν διχαστεί: Αφενός, υπάρχουν αυτοί που πιστεύουν ότι δεν πρόκειται παρά για μιμητικές μηχανές χωρίς ουσιαστικό λόγο ύπαρξης και τις ονομάζουν ειρωνικά «στατιστικούς παπαγάλους», εξαιτίας της έλλειψης δυνατότητας δημιουργίας πραγματικά χρήσιμου και πρωτογενούς περιεχομένου. Αφετέρου, υπάρχουν εκείνοι οι οποίοι αντιλαμβάνονται τη σύνθετη λειτουργία των νευρωνικών δικτύων και την αντιμετωπίζουν με απόλυτο δέος, θεωρώντας πως βρισκόμαστε στο κατώφλι της δημιουργίας μιας υπερ-νοημοσύνης, που θα θέσει υπό αμφισβήτηση ακόμη και τις πιο κοινές παραδοχές της ύπαρξής μας.
Η πραγματικότητα είναι φυσικά κάπου στη μέση. Πράγματι, για πρώτη φορά έχουμε τόσο έξυπνα εργαλεία στα χέρια μας, εργαλεία όμως τα οποία δουλεύουν μηχανικά, χωρίς να έχουν πραγματική επίγνωση του περιβάλλοντός τους, χωρίς σκέψεις, αναμνήσεις και συναισθήματα, χωρίς συνείδηση. Ας μην ξεχνάμε και τις ατέλειες που πρέπει να λάβουμε υπόψη μας και να αντιμετωπίσουμε πριν χρησιμοποιήσουμε εργαλεία προηγμένης ψηφιακής τεχνολογίας.
Ποιες είναι λοιπόν αυτές τις ατέλειες και πώς τις αντιμετωπίζουμε;
Η πιο γνωστή ατέλεια είναι ότι τα μεγάλα γλωσσικά μοντέλα λένε άθελά τους κάποιες φορές ψέματα (hallucinations) και έτσι δεν μπορούμε πάντα να εμπιστευτούμε τις απαντήσεις που μας δίνουν. Η δεύτερη και εξίσου σημαντική ατέλεια είναι το γεγονός ότι οι μηχανές αυτές δεν γνωρίζουν σχεδόν τίποτα για τον οργανισμό ή την εταιρεία που θέλει να τα χρησιμοποιήσει, μιας και η γνώση τους προέρχεται από τα δεδομένα που είναι ελεύθερα προσβάσιμα στο ίντερνετ και όχι από ιδιωτικά δεδομένα. Τέλος, πρόβλημα είναι και οι τεράστιες ανάγκες τους σε hardware και ειδικότερα σε κάρτες γραφικών οι οποίες καταναλώνουν τεράστιες ποσότητες ενέργειας.
Στον όμιλο AUSTRIACARD HOLDINGS AG, τον συνεχώς αναπτυσσόμενο πάροχο ολιστικών λύσεων εφαρμοσμένης τεχνολογίας, έχουμε αναπτύξει την πλατφόρμα GenAI–In–A–Box, μια πλατφόρμα η οποία μας επιτρέπει να ενσωματώσουμε με ασφάλεια λύσεις Generative AI σε οποιοδήποτε δημόσιο η ιδιωτικό οργανισμό, αντιμετωπίζοντας με επιτυχία τις ατέλειες που παρουσιάζουν τα μεγάλα γλωσσικά μοντέλα.
Εμπιστοσύνη στις απαντήσεις των μεγάλων γλωσσικών μοντέλων.
Για να μπορέσουμε να μειώσουμε τις ανακριβείς απαντήσεις των μοντέλων, ακολουθούμε μια νέα προσέγγιση σε σχέση με την κλασσική επιστήμη δεδομένων (Data Science), που ονομάζεται “prompt engineering”. Η πλατφόρμα GenAI–In–A–Box δίνει τη δυνατότητα σε prompt engineers να αντιμετωπίσουν το πρόβλημα των hallucinations από δύο διαφορετικές πλευρές.
Η πρώτη τους επιτρέπει να δοκιμάζουν πολλές και διαφορετικές στρατηγικές γραφής οδηγιών προς το μοντέλο (instruction prompts) με σκοπό να βρουν τις οδηγίες που θα μειώσουν όσο το δυνατόν λιγότερο τις ανακρίβειες. Οι τεχνικές αυτές είναι πάρα πολλές, όπως για παράδειγμα το “reflection”, όπου λέμε στο μοντέλο να μας εξηγήσει τις σκέψεις του πριν μας δώσει απάντηση, δίνοντάς του έτσι τον χρόνο να διορθώσει μόνο του τυχόν λάθη. Ακολούθως έχουμε το “chain of thought” , όπου ζητάμε από το μοντέλο να μας δώσει μια στρατηγική με λογικά βήματα που θα πρέπει να ακολουθήσει για να μπορέσει να γράψει τη σωστή απάντηση.
Ο δεύτερος τρόπος που η πλατφόρμα βοηθάει τους prompt engineers είναι ότι έχουν τη δυνατότητα να υλοποιήσουν εικονικές ομάδες από ξεχωριστά μοντέλα τεχνητής νοημοσύνης. Στην περίπτωση αυτή, αντί να δίνουμε όλες τις οδηγίες μας σε ένα γλωσσικό μοντέλο, φτιάχνουμε πολλαπλούς AI Agents, με τον καθένα να έχει τις δικές του οδηγίες και να μιλάει με τους υπόλοιπους AI Agents σε ανθρώπινη γλώσσα. Μπορούμε για παράδειγμα να φτιάξουμε έναν AI Agent που θα είναι σε θέση να καταλαβαίνει ποιο είναι το ερώτημα και να δημιουργεί την ενδεδειγμένη στρατηγική, δίνοντας επιμέρους εντολές σε άλλους AI Agents. Συνήθως υπάρχει ένας ΑΙ Agent στον ρόλο του συντονιστή, ο οποίος αξιολογεί την ποιότητα των απαντήσεων των υπολοίπων και συνθέτει την τελική απάντηση μειώνοντας εντυπωσιακά τις ανακριβείς απαντήσεις. Φυσικά μπορούν να δημιουργηθούν και μικτές ομάδες στις οποίες, εκτός από τους AI Agents, συμμετέχουν και άνθρωποι (human in the loop), και οι οποίες είναι συνήθως και αυτές με τα καλύτερα αποτελέσματα.
Εταιρική Γνώση
Όπως είπαμε, τα μεγάλα γλωσσικά μοντέλα δεν έχουν καμία γνώση των δεδομένων και των εγγράφων που υπάρχουν σε μια εταιρεία και αποτελούν θα λέγαμε την «Εταιρική Γνώση». Δυστυχώς τα μοντέλα δεν έχουν τόσο μεγάλη μνήμη ώστε να μπορούμε να τους δώσουμε όλη αυτήν την πληροφορία σε ένα μεγάλο instruction prompt. Αυτό που χρειαζόμαστε είναι η δημιουργία ενός Knowledge Base όπου υπάρχει πρόσβαση στην «Εταιρική Γνώση» και από όπου μπορούν να εξαχθούν μόνο τα κομμάτια γνώσης που σχετίζονται με το ερώτημα που προσπαθεί να απαντήσει το μεγάλο γλωσσικό μοντέλο. Για τον σκοπό αυτό, η πλατφόρμα Gen–AI–In–A–Box προσφέρει έναν μηχανισμό Knowledge Base, μια hybrid Graph–Vector Database, όπου, αφού εισαχθεί η εταιρική γνώση, ενεργοποιείται μια εικονική ομάδα από AI Agents εξειδικευμένη στο να βρίσκει όχι μόνο τη σχετική πληροφορία, αλλά και βαθύτερες λογικές συσχετίσεις που θα χρειαστεί να γνωρίζει το μεγάλο γλωσσικό μοντέλο πριν δώσει την απάντηση του. Έτσι, οι απαντήσεις που παίρνουμε είναι όχι μόνο ακριβείς, αλλά και σχετικές με τη βαθύτερη εταιρική γνώση του οργανισμού για τον οποίο έχει φτιαχτεί η γνωσιακή βάση.
Ενέργεια και κόστος
Τα πολύ μεγάλα γλωσσικά μοντέλα έχουν φτάσει να έχουν πάνω από ένα τρισεκατομμύριο παραμέτρους και χρειάζονται την ενέργεια μιας μικρής πόλης, πρώτα για να εκπαιδευτούν (training) και μετά για να εξυπηρετήσουν (inference) ερωτήματα από χρήστες. Υπάρχουν όμως και «μεγάλα» γλωσσικά μοντέλα που πάνε στην αντίθετη κατεύθυνση, εκπαιδεύονται με μεγάλους όγκους δεδομένων αλλά έχουν μόνο «μερικά» δισεκατομμύρια παραμέτρων έχοντας, κατά συνέπεια, πολύ χαμηλότερες ενεργειακές απαιτήσεις. Η πλατφόρμα Gen–AI–In–A–Box μας δίνει τη δυνατότητα να συνδεθούμε με πολλά και διαφορετικά μοντέλα χωρίς να χρειαστεί κάποια αλλαγή στον κώδικα της εφαρμογής μας. Ταυτόχρονα συλλέγει και αξιολογεί τις απαντήσεις που δίνει το κάθε μοντέλο ώστε να επιλεγεί αυτό που είναι το μικρότερο και φθηνότερο.
Στην AUSTRIACARD θέλουμε να επενδύουμε τους πόρους και το ανθρώπινο κεφάλαιό μας με τον πιο αποτελεσματικό τρόπο. Γι’ αυτό και επιλέγουμε να επενδύουμε σε ανθρώπους και ομάδες με υψηλή εξειδίκευση, κάτι που φάνηκε και από την πρόσφατη εξαγορά της εταιρείας ανάλυσης και διαχείρισης δεδομένων LSΤech, με έδρα το Ηνωμένο Βασίλειο. Η υψηλή τεχνογνωσία της LSTech στους κλάδους των τραπεζών, των τηλεπικοινωνιών, των υπηρεσιών κοινής ωφέλειας, σε συνδυασμό με την εξειδίκευσή της σε πρωτοποριακές τεχνολογίες όπως Generative Artificial Intelligence (AI), Privacy Preserving Analytics και Machine Learning αναδεικνύει αυτό το όραμα της εταιρείας.
Με στόχο να σταθούμε με θάρρος και αξιοπρέπεια απέναντι σε έναν παγκόσμιο ανταγωνισμό ο οποίος εξελίσσεται με ταχύτατους ρυθμούς, οριοθετούμε τη στρατηγική μας και επικεντρωνόμαστε στην παροχή ολιστικών λύσεων ασφαλούς διαχείρισης και επεξεργασίας πληροφοριών, ψηφιοποίησης και αυτοματισμών. Ζητήματα ηθικά, εργασιακά και κοινωνικά που σχετίζονται με τον ψηφιακό μετασχηματισμό των επιχειρήσεων, αλλά και του δημοσίου τομέα ευρύτερα, δεν τίθενται στο περιθώριο. Αντίθετα, συνιστούν αναπόσπαστο μέρος της συζήτησης για τη χάραξη της επιχειρηματικής στρατηγικής μας.
Ως οργανισμός με ηγετική θέση στον κλάδο της εφαρμοσμένης τεχνολογίας, κατανοούμε πλήρως πως στη σημερινή εποχή της τεχνολογικής επιτάχυνσης, κυβερνήσεις, επιχειρήσεις και οργανισμοί που θα επιδείξουν αδυναμία επίτευξης υψηλών επιπέδων ψηφιακού μετασχηματισμού και αποτελεσματικής αξιοποίησης ψηφιακών εργαλείων όπως η τεχνητή νοημοσύνη και τα Big Data, θα οδηγηθούν μοιραία στο περιθώριο. Η εξαιρετική δυναμική της ομάδας R&D του ομίλου, μας τοποθετεί σε υψηλή θέση ως προς την τεχνογνωσία, την ταχύτητα εξυπηρέτησης και ανταπόκρισης, και ως προς την εμπιστοσύνη των πελατών μας, ενώ ταυτόχρονα εξελισσόμαστε κι εμείς οι ίδιοι ως μέλη της ACAG.
Barriers to the Adoption of Generative AI and How to Overcome Them
In the late 2000s, we witnessed the convergence of two technologies that, about twelve years later, would give rise to artificial intelligence—a unique digital tool now used by millions of people worldwide through platforms like ChatGPT.
The technologies that formed the foundation for the development of artificial intelligence were Big Data, which aimed to store and process the vast amounts of data generated publicly on the internet and privately by companies. The wealth of available data and the ability to process it allowed data scientists to create highly accurate predictive algorithms by training artificial neural networks. With this advancement, it became evident that as the volume of available and easily accessible content—such as texts, images, sounds, and videos found online—grew, so did the range of issues that could be addressed through digital technologies.
With the invention of the GPT (Generative Pretrained Transformers) technique, systems of artificial neural networks emerged that could “speak” and understand human languages (LLM – Large Language Models). These systems demonstrated impressive text comprehension abilities and could respond to complex questions, making logical inferences even on topics they had not been trained on! Later, these systems also gained the ability to perceive and interpret the content of an image or even create a new one by utilizing available data and information (Generative AI).
For the first time in human history, we have machines that simulate human intelligence, possessing a form of logical thinking and understanding of the world. Naturally, in the face of such a transformative change, societies in the fourth industrial revolution have become divided: On one hand, there are those who believe these are merely mimicking machines without a substantial reason for existence, ironically calling them “statistical parrots” due to their lack of ability to create genuinely useful and original content. On the other hand, there are those who grasp the complex functioning of neural networks and regard them with awe, believing we are on the brink of creating a super-intelligence that will challenge even the most common assumptions of our existence.
The reality, of course, lies somewhere in between. Indeed, for the first time, we have such intelligent tools at our disposal—tools that operate mechanically, without real awareness of their environment, devoid of thoughts, memories, and emotions, lacking consciousness. We must also consider the imperfections that we need to address before utilizing advanced digital technology tools.
So, what are these imperfections, and how do we tackle them?
The most well-known imperfection is that large language models sometimes inadvertently produce falsehoods (hallucinations), making it difficult to always trust their responses. The second equally significant imperfection is that these machines know almost nothing about the organization or company that wishes to use them, as their knowledge comes from publicly accessible data on the internet rather than private data. Finally, there is the issue of their enormous hardware requirements, particularly for graphics cards, which consume vast amounts of energy.
At AUSTRIACARD HOLDINGS AG, a continuously growing provider of holistic applied technology solutions, we have developed the GenAI-In-A-Box platform, which allows us to securely integrate Generative AI solutions into any public or private organization, successfully addressing the imperfections presented by large language models.
Trust in the Responses of Large Language Models
To reduce the inaccuracies in the models’ responses, we follow a new approach compared to classical data science, known as “prompt engineering.” The GenAI-In-A-Box platform enables prompt engineers to tackle the issue of hallucinations from two different angles.
The first allows them to test various writing strategies for instructions to the model (instruction prompts) to find the ones that minimize inaccuracies. There are many techniques, such as “reflection,” where we ask the model to explain its thoughts before providing an answer, giving it time to correct any mistakes. Then there is “chain of thought,” where we ask the model to outline a logical strategy it should follow to formulate the correct answer.
The second way the platform assists prompt engineers is by allowing them to create virtual teams of separate AI models. In this case, instead of giving all instructions to one language model, we create multiple AI Agents, each with its own instructions, communicating with each other in human language. For example, we can create an AI Agent that understands the question and devises the appropriate strategy, issuing specific commands to other AI Agents. Typically, there is one AI Agent in the role of coordinator, who evaluates the quality of the responses from the others and composes the final answer, significantly reducing inaccuracies. Naturally, mixed teams can also be created, where, in addition to AI Agents, humans (human in the loop) participate, often yielding the best results.
Corporate Knowledge
As mentioned, large language models have no knowledge of the data and documents that exist within a company, which we might refer to as “Corporate Knowledge.” Unfortunately, these models do not have sufficient memory to accommodate all this information in a single large instruction prompt. What we need is the creation of a Knowledge Base that provides access to “Corporate Knowledge,” from which only the relevant pieces of information related to the question the large language model is trying to answer can be extracted. For this purpose, the Gen-AI-In-A-Box platform offers a Knowledge Base mechanism, a hybrid Graph-Vector Database, where, once the corporate knowledge is inputted, a virtual team of AI Agents is activated, specialized in finding not only the relevant information but also deeper logical relationships that the large language model needs to know before providing its answer. Thus, the responses we receive are not only accurate but also relevant to the deeper corporate knowledge of the organization for which the knowledge base has been created.
Energy and Cost
Very large language models have reached over a trillion parameters and require the energy of a small city, first for training and then for serving (inference) user queries. However, there are also “large” language models that go in the opposite direction, trained on large volumes of data but having only “a few” billion parameters, thus having much lower energy requirements. The Gen-AI-In-A-Box platform allows us to connect with many different models without needing to change our application code. At the same time, it collects and evaluates the responses given by each model to select the one that is the smallest and cheapest.
At AUSTRIACARD, we aim to invest our resources and human capital in the most effective way. That is why we choose to invest in people and teams with high expertise, as evidenced by our recent acquisition of the data analysis and management company LSTech, based in the United Kingdom. LSTech’s high level of expertise in the banking, telecommunications, and utilities sectors, combined with its specialization in cutting-edge technologies such as Generative Artificial Intelligence (AI), Privacy Preserving Analytics, and Machine Learning, highlights the company’s vision.
With the goal of standing with courage and dignity in the face of rapidly evolving global competition, we define our strategy and focus on providing holistic solutions for secure information management and processing, digitization, and automation. Ethical, labor, and social issues related to the digital transformation of businesses, as well as the public sector more broadly, are not sidelined. Instead, they form an integral part of the discussion for shaping our business strategy.
As a leading organization in the applied technology sector, we fully understand that in today’s era of technological acceleration, governments, businesses, and organizations that fail to achieve high levels of digital transformation and effectively utilize digital tools such as artificial intelligence and Big Data will inevitably be marginalized. The exceptional dynamism of our group’s R&D team positions us highly in terms of expertise, speed of service and response, and customer trust, while we also evolve as members of ACAG.