ChatGPT 이미지 생성하고 보고 듣고 대화까지 가능 (DALL-E 3, GPT-4V)

최근 오픈 AI의 챗GPT에서 새로운 업데이트 소식이 있었습니다. 바로 GPT-4에 이미지 생성 프로그램인 DALL-E 3와 이미지와 음성지원이 가능한 GPT-4V (Vision and Voice)가 통합된다는 것이었습니다. 이제 음성으로 대화를 하고 들을 수 있으며, 이미지를 생성하고 이미지에 관련하여 대화를 시작할 수 있게 되었습니다. 이번 포스팅에서는 GPT-4의 새로운 기능에 대해 자세히 이야기해 보겠습니다.

 

DALL-E 3: 이미지 생성

텍스트(프롬프트)를 통해 이미지를 생성하는 일은 이제 더이상 특별한 것이 아닙니다. 하지만 텍스트를 어떻게 입력하느냐에 따라 이미지의 퀄리티 차이가 많이 나게 되어, 원하는 수준의 이미지를 얻기 위해 텍스트를 따로 연구해야 할 만큼 아주 단순하지 만은 않았습니다. 하지만 많은 양의 언어를 학습한 GPT가 사용자의 아이디어 하나 만으로 직접 텍스트를 적어 준다면 어떨까요? 이제 누구나 텍스트 입력만으로 이미지 제작을 능숙하게 할 수 있습니다. (이 기능은 현재 Bing Chat을 통해 무료로 사용할 수 있습니다.)

 

빙챗(BingChat) 무료로 GPT-4, DALLE 3 사용하는 방법

 

 

○ 입력한 내용을 그림으로 만들어 아이디어를 시각적 이미지로 전환합니다.

○  사용자가 말하는 내용에 따라 생성되는 그림을 변경할 수 있습니다.

○  다른 최고의 AI 모델 못지않은 그림을 만들고, 그 이미지에 텍스트를 넣을 수도 있습니다.

 

GPT-4 Vision: 사진을 보고 이야기하기

GPT의 확장 프로그램을 사용하여 이미지를 읽게 끔 만드는 법은 있었지만 이제는 바로 이미지를 업로드 하거나 URL을 제공하면 GPT가 스스로 이미지를 읽을 수 있습니다. 따라서 그래프, 사진 또는 그 어떤 시각적 자료를 공유하기만 하면 GPT는 이를 이해하여 사용자와 관련된 대화를 시작할 수 있습니다.

 

○  사진을 입력으로 가져옵니다.
○  사진에 무엇이 있는지 이해합니다.
○  공유한 사진에 대한 이야기를 포함하여 더 나은 대화를 나눌 수 있습니다.

 

GPT-4 Voice: 음성으로 대화

이제 음성으로 GPT와 대화 할 수 있습니다. 단순히 사용자의 말을 텍스트로 변경해 주는 것이 아니라 음성으로 대화할 수 있는 기능입니다. 모든 대화가 종료되면 지금 까지 나눴던 대화 내용을 텍스트로 정리해 줍니다. 구글 어시스턴트나 시리와 같이 사용할 수 있습니다. 이 모드는 현재 스마트폰 ChatGPT앱에서만 구동할 수 있습니다.

 

○   서로 주고받는 대화를 할 수 있습니다.

○   GPT가 대답할 때 목소리로 이야기 합니다.

○   사용자의 말을 정확하게 듣고 이해합니다.

 

새로운 기능으로 할 수 있는 것들

이번 업데이트로 ChagGPT로 할 수 있는 영역이 크게 확장되었습니다. 디자이너는 이미지 생성 및 이해 기능을 활용하여 아이디어를 시각화하고, 피드백을 받고, 협업을 촉진하는 데 없어서는 안 될 도구로 활용할 수 있습니다. 교육 분야에서 학생들은 음성, 텍스트, 영상을 아우르는 상호작용을 통해 다양한 학습 스타일을 충족할 수 있게 되었습니다. 또한 서비스 분야에서도 A/S 고객상담 같은 경우에 사용자가 보낸 오류 메시지를 자동으로 인식하고 문제를 해결할 수 있게끔 만들어 기술 지원을 간소화함으로써 빠른 안내와 향상된 사용자 경험을 제공할 수 있을 것입니다.

 

 

항상 주의하세요

ChatGPT와 DALL-E 3 및 GPT-4V의 통합으로 많은 분야의 일을 해낼 수 있겠지만, 언제나 인공지능이 주는 답안이 완벽하지 않다는 것을 인식하는 것이 중요합니다. 특히 이미지로 생성된 의학적 지식과 같은 경우 정확도가 높지 않을 수 있습니다. 마찬가지로 유해 물질을 정확히 찾아내는 것과 같은 과학적인 전문 지식 작업은 그 일관성이 부족할 수 있습니다. 따라서 이러한 도구를 활용할 때는 도구의 장점과 한계를 모두 인식하고 신중하게 접근하는 것이 무엇보다 중요할 것입니다.