메뉴 건너뛰기

사회적약자 해결완료

시각장애인을 위한 음료수를 판별하는 IOS 어플 만들기

해결 완료
박희지
사진 한 장으로 어떤 음료인지 알 수 있다!?? 뭐마실뀨는 직접 마셔보지 않으면 음료수를 알기 어려운 시각장애인을 위해, 음료 사진을 AI가 분석하여 알려주는 iOS 어플리케이션입니다. 크롤링을 통해 이미지 데이터를 수집하였고, 전처리 과정을 통해 적절한 데이터만 학습에 사용했습니다. 딥러닝 프레임워크로는 PyTorch를 사용하였고, ResNet을 사용한 전이학습을 통해 모델의 정확도를 높였습니다. 실제 테스트 데이터로 모델의 정확도를 측정하였을 때, 약 99%의 결과가 나왔습니다. 이렇게 학습된 이미지 분류 모델은 CoreML로 Pytorch 모델을 mlmodel 포맷으로 변경하여 모바일 딥러닝을 어플리케이션에 탑재하였습니다. 또한 AVFoundation 프레임워크를 이용하여 '뒤로가기', '카메라 전환', '촬영' 버튼들을 크게 만들어 시각장애인이 쉽게 이용할 수 있는 커스텀 카메라 뷰를 구현하였습니다. iOS 운영체제에서 지원하는 시각장애인 인터페이스 VoiceOver를 이용하면, 사용자가 쉽게 우리의 서비스를 사용하여 음료수를 인식하고 정보를 얻을 수 있습니다.
현재 대표적인 음료 10개의 종류로 클래스를 정의하였으나, 향후 클래스의 수를 더 늘려 시각장애인들이 더 많은 음료수를 판별할 수 있도록 서비스를 만들고 싶습니다.
또한 VoiceOver를 이용하여 어플리케이션을 이용하는 데에 큰 문제는 없으나, 차후 뷰 변경에 따른 음성 안내 기능을 추가하여 시각장애인이 더 명확하게 UI를 인지할 수 있도록 할 것입니다.
닫기