Uno sviluppatore ha utilizzato un iPhone per donare un paio di occhi a ChatGPT

Uno sviluppatore di intelligenza artificiale ha trasformato il suo iPhone in un assistente potenziato dall’AI GPT-4, rendendo il dispositivo in grado di “vedere” e identificare oggetti.

Questa settimana, Mckay Wrigley ha condiviso su Twitter la sua creazione: un assistente AI che utilizza la fotocamera del suo iPhone per vedere. Wrigley ha combinato in modo creativo diversi software, tra cui YoloV8 per il riconoscimento degli oggetti, un modello di visione, GPT-4 per l’AI, OpenAI Whisper per la voce, Google Custom Search Engine e Python. L’intero processo, a suo dire, è stato “100 volte più facile” di quanto sembri e rappresenta il futuro prossimo della tecnologia.

Nel video condiviso da Wrigley, GPT-4 riesce a identificare oggetti attraverso la fotocamera dell’iPhone. L’autore del progetto afferma di aver utilizzato l’assistente visivo per imparare cos’è la dieta chetogenica (Keto), individuare alimenti adatti nella sua cucina e cercare su internet ricette con gli ingredienti disponibili.

I used my iPhone to give GPT-4 eyes.

My AI vision assistant:
– learned what a Keto diet is
– identified Keto foods in my fridge
– searched the internet
– found a recipe with the ingredients

The future is here! pic.twitter.com/bOMhJfWRP0

— Mckay Wrigley (@mckaywrigley) May 2, 2023

Va precisato che Wrigley utilizza un Mac per eseguire il modello di visione e mostrare il flusso video, poiché l’iPhone non è ancora in grado di gestire il carico di lavoro. Tuttavia, questa innovazione potrebbe anticipare un futuro in cui l’AI e la realtà virtuale di Apple saranno protagoniste. Apple dovrebbe svelare il suo nuovo headset Reality Pro al WWDC 2023, un dispositivo di realtà mista dedicato al gaming, alla collaborazione, al fitness e altro ancora.

L’aspetto più interessante è il potenziale impatto di un simile strumento sull’accessibilità. L’AI potrebbe aiutare utenti non vedenti o ipovedenti a identificare oggetti nelle loro case, trasformando il modo in cui interagiscono con l’ambiente circostante. In futuro, potrebbero essere sviluppate soluzioni che leggano ad alta voce etichette di prodotti alimentari o istruzioni su imballaggi. L’accessibilità potrebbe diventare un elemento chiave della rivoluzione dell’intelligenza artificiale.

Fonte