Deep Learning - sudormrf

생성형AI와 멀티모달리티, 그리고 컨텐츠 & 미디어의 미래

본 포스트는 코드 구현이나 테크니컬 디테일 보다는 ChatGPT를 필두로한 새로운 생성형AI 모델들로 인해 나타날 변화에 대해 사유합니다. 저는 주로 현직 엔지니어나 개발자분들을 대상으로 강의를 하기 때문에, LLM 또는 Transformer 의 원리나 실제 코드로 시스템을 구축하는 방법 등을 다룹니다. 그러던 24년 4월, 우연한 기회로 서울대학교 현대사회와 미디어 강의에서 생성형AI 관련 특강을

Deep Learning

딥러닝 기반 서비스 구축하기

최근에 딥러닝 기반 서비스를 바닥부터 다 만든 일이 있었다. 만들고 시범 운영을 해보면서 느낀 점, 구현하면서 생각해 볼 만한 점들을 정리해보았다. 문제 정의 차량의 주행 및 소음진동 정보를 기반으로 차량의 상태를 진단하자. 이번에 딥러닝 모델을 도입해서 풀고자 하는 문제는 특정 부품의 내구 상태를 알아내는 것이다. 💡Input : 소음, 진동, 차속, RPM,

Deep Learning

딥러닝 자격증 (Certificate) 후기 by NVIDIA, Tensorflow

딥러닝 강의를 다시 하게 되어서, 좋은 자료들을 정리하려고 찾아다니다가 certificate 들이 눈에 들어와서 땄다. 취득 한 것은 NVIDIA와 Tensorflow 에서 발급하는 두 가지 인데, 따면서 느꼈던? 알게된? 점들을 정리하겠다. NVIDIANVIDIA 에는 많은 교육과정들이 잘 정리되어 있는데, 딥러닝 관련 코스들만 해도 꽤 10개 넘는 과정들이 있다. NVIDIA Deep Learning Self-Paced CoursesSelect

Deep Learning

Normalization layer

What is Batch Normalization? Instance Normalization? Conditional Batch Normalization? Conditional Instance Normalization? Batch Normalization is first introduced by Sergey Ioffe, Christian Szegedy. It increased image classification performance significantly. arxiv Interested in "Conditional Batch Normalization (CBN)", here's wrap up of normalization layers. refer to "Arbitrary Style Transfer in

Computer Vision

Google HackFair 돌아보기 - MetaMong

2015년 석사 입학 후 연말쯤에 소소하게 했던 프로젝트. 예전 인터뷰했던게 생각나서 공유. 인터뷰 link 0. Google HackFair는 구글 기술을 이용해서 만든 다양한 결과물들을 전시하고 공유하는 행사입니다. 지난 12월 5일, 프로젝트 참가자분들은 안드로이드, Cardboard, TensorFlow 등 다양한 구글 기술을 사용한 재미있는 프로젝트를 전시하고 풍성한 볼거리와 기술력 그리고 범상치 않은 업력(?)을

Computer Vision

ComboGAN : Image Translation with GAN (7)

arixv: ComboGAN: Unrestrained Scalability for Image Domain Translation accpeted to ICLR2018 workshop reddit github Scalibility issue for multi domains CycleGAN : Two-domain models taking days to train on current hardware, the number of domains quickly becomes limited by the time and resources required to process them. Propose a multi-component image translation

Computer Vision

StarGAN : Image Translation with GAN (6)

StarGAN : accepted as CVPR2018 oral presentation. github arxiv (a) Each domain shift needs generators. (b) Share one generator and use latent code of each domain The previous limitation of pix2pix, DTN, CycleGAN & DiscoGAN, BicycleGAN is that they only handle two domains: the source and the target. But, there are

Computer Vision

BicycleGAN : Image Translation with GAN (5)

Limitations of pix2pix, DTN, DiscoGAN & CycleGAN? They produce single answer. They are deterministic models. Translates an image in one-to-one Paired set, One-to-One : pix2pix (CVPR2017) Unpaired set, One-to-One : DTN (ICLR2017), CycleGAN (ICCV2017) Paired set, One-to-Many : ??? BicycleGAN: Toward Multimodal Image-to-Image Translation (NIPS2017) BicycleGAN github Easy approach: Adopt stochastically sampled noise $N(

Computer Vision

CycleGAN : Image Translation with GAN (4)

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN) from UC Berkeley (pix2pix upgrade) & Learning to Discover Cross-Domain Relations with Generative Adversarial Networks (DiscoGAN) from SK T-Brain DiscoGAN & CycleGAN Almost Identical concept. DiscoGAN came 15 days earlier. Low resolution ($64 \times 64$) CycleGAN has better qualitative results ($256 \times

Computer Vision

DTN : Image Translation with GAN (3)

2. Unsupervised Cross-Domain Image Generation (DTN) published to ICLR2017 by Yaniv Taigman, Adam Polyak, Lior Wolf Learn $ G: S \rightarrow T $ of two related domains, $ S $ and $ T $ without labels! (labels of images are usually expensive) Baseline model $ D $ : discriminator, $ G $ : generator, $ f $ : context encoder. outputs feature. (128-dim) \begin{equation}

Computer Vision

pix2pix : Image Translation with GAN (2)

Image-to-Image Translation with Conditional Adversarial Networks (pix2pix) published to CVPR2017 by Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros Learn pair-wise images of $S$ and $T$ like below BW & Color image Street Scene & Label Facade & Label Aerial & Map Day & Night Edges & Photo source

Computer Vision

Image Translation with GAN (1)

Problem statement of Image Translation Learn $G: (S \rightarrow T)$ $G$ that convert an image of source domain $S$ to an image of target domain $T$ Domain Adaptation/Transfer of an image. Paired and Unpaired dataset Image Translation: $S$ and $T$ are pair-wise labeled in dataset Image Translation: $S$ and

Deep Learning

PaletteNet

Junho Cho, Sangdoo Yun, Kyoungmu Lee and Jin Young Choi, PaletteNet: Image Recolorization with Given Color Palette The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, NITRE2017, July, 2017. poster better resolution paper

Deep Learning

TensorFlow-v1.0.0 + Keras 설치 (Windows/Linux/macOS)

참고 :https://groups.google.com/forum/#!topic/keras-users/_hXfBOjXow8 선요약: # export PATH=~/anaconda/bin:$PATH # MAC conda create -n tf python=3.5 # 17/3/1 기준으로 윈도우에서 3.5 버전만 TensorFlow/Keras가 지원 activate tf # Windows # source activate tf : Linux/macOS # 여기서부터 (tf) 환경. 설치 순서 중요 pip install

Deep Learning

Torch Wiki

개인적으로 Torch를 주력으로 사용하려합니다. 필요할 때마다 빠르게 검색하기 위해 모아놓은 것들을 wiki 처럼 공유합니다. Official Homepage Installation is easy. Tutorials Very useful 15 min Lua Torch Video Tutorials Bayarea DL summmer slide ref when needed demos DOCS tutorial Useful Libraries Torchnet torchnet is a framework for torch which provides a

Deep Learning

LSTM 과 ResNet

서론 우선 LSTM은 최근에 나온 개념이 아닙니다. 이미 1997년 [Hochreiter et al., 1997]에서 나온 개념이며 기존 RNN(Vanilla Recurrent Neural Network)가 오래전 정보를 잊어버리는 단점을 보완했습니다. LSTM의 기본 배경지식을 다 설명하면 좋겠지만, 이 글은 기본적으로 LSTM이 어떻게 작동하는지 ResNet은 무엇인지 예전에 공부하던걸 옮겨논 것입니다. 이 글은 저의 순수한

Deep Learning

구글의 인공지능을 위한 하드웨어 TPU

구글이 Tensor Processing Unit (TPU) 를 공개했다. (솔직히 충격적이다....) 이는 custom ASIC (특수 목적을 위한 하드웨어 칩)으로, TensorFlow랑 물려 사용하는 인공지능을 위한 칩이다. 이번에 공개된 내용에 대해 설명을 하고자 한다. 본 포스트는 구글의 공식 블로그 글을 바탕으로 작성하였으니, 궁금하신 분은 옆 링크를 참조 하시길. TPU는 어디에 쓰나요? TPU는 이름에서도

GPGPU

Deep Learning 위해서는 어떤 GPU를 사야 할까요?

많은 사람들이 deep learning에 관심을 가지고, 이를 위해 GPU를 사서 쓴다. GPU computing 및 architecture를 전공하는 사람으로, 뿌듯(?)하기도 하다. 그래서, deep learning을 위해 GPU를 사고자 하는 사람들을 위한 글을 쓴다. 조금이라도 도움이 되시길... (Blog에 있는 글과 내 개인적인 지식을 바탕으로 작성함.) AMD? NVIDIA? NVIDIA 것을 사라. 이견의 여지 조차없다.

Detection

Weakly supervised Learning으로 Object localization하기

공유하고자하는 논문의 제목은 Learning Deep Features for Discriminative Localization Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, Antonio Torralba Computer Science and Artificial Intelligence Laboratory, MIT 논문의 데모는 "여기"서 쉽게 해볼 수 있다. 데모의 내용을 풀이하자면 먼저 처음엔 scene label로 태깅되어 있는 데이터로 Weakly supervised learning을 한

GPGPU

Pascal - NVIDIA의 새로운 GPU architecture 발표

드디어 NVIDIA 에서 새로운 Pascal GPU를 발표했다. 이미 몇 달전에 일부(?) 공개가 되었고, 루머들도 많아서 관심있는 사람들은 미리 좀 알았겠지만 까보니 흥미로운 것들이 좀 있다. 개인적으로 가장 놀라운 것은 half-precision! (Deep learning 시장을 어지간히도 먹고 싶긴 하나보다.) 자 그럼, 주목할만한 것들을 살펴보자. Pascal 이 뭔가요? NVIDIA는 2000년대 중반부터 자사의 GPU

Deep Learning

알파고(AlphaGo)가 바둑 두는 방법

구글의 딥마인드(DeepMind)에서 만든 deep learning 기반 바둑 프로그램(?) 알파고(AlphaGo)가 오는 3월 9일 부터 15일까지 이세돌 9단과 경기를 가진다. 장안의 화제라 나도 궁금해서 한번 찾아보았고, 이를 공유하고자 이 글을 쓴다. 이 글의 내용은 Nature에 실린 알파고 논문을 기반으로 작성하였고, 내 수준이 딸려서 잘못 이해하고 쓴 내용도 있을

Deep Learning

어떤 Deep Learning Library를 선택해야하나요?

**Deep Learning(딥러닝)**이라는 기술이 최근 거의 모든 기계학습류 문제의 해결책으로 떠오르고있다. "이 기술을 무엇으로 구현해서 사용하는 것이 가장 효율적인가" 라는 질문이 아주 흔하다. 대부분은 딥러닝을 시작하는 김에 더 빠르고, 더 메모리가 효율적인 것이고, 더 쉬운 라이브러리를 사용하고 싶은 욕심일 것이다.(나도 그랬으니까) 만약 누군가 Convlutional Neural Network(

Detection

Deep Learning based Detection

Computer Vision에서 Detection 이란 image에서 물체를 탐지해서 대부분의 경우 Bounding Box로 물체위치를 표시하고 무엇인지 notation을 한다. 주로 VOC Pascal 데이터셋을 사용하는데, 영상에서 모든 물체를 다 표기하긴 어렵고, 대표적인 물체 20가지를 탐지하게 한다. Classification은 단순히 물체가 영상에 하나가 있다고 가정하고 그 물체가 무엇인지 분류하는 문제인데, 이제 성능이 saturate되었다. 반면 Detection은 물체위치도

selfie

좋은 셀카를 찍는 법

이 글은 Karpathy의 간단한 실험이 재밌어서 한글로 옮긴 글이다. What a Deep Neural Network thinks about your #selfie 딥러닝 블로거인 Andrej Karpathy가 간단한 실험을 했다. 좋은 셀카란 무엇일까? 를 딥러닝에서 CNN으로 학습하였다. 기술이 새로운건 아닌데 실험내용이 재밌다. 데이터는 Instagram에서 #selfie로 크롤링해서 적어도 얼굴 하나는 있는 사진 2,000,000장 사진을

IPIU

발가락이 닮았다: Finding Face Lookalikes using CNN 논문 개요

발가락이 닮았다: Finding Face Lookalikes using CNN 논문 개요 초록 한문장씩 from 서론 본론 실험 결론 futurework 1. 서론 흥미 유발. 모티베이션. 왜했는가 Face Verification, Identification 의 역사. 적용 분야. Face lookalikes Our brain compute the complex features in face and decide whether the two faces look alike or not.