Computer Vision - sudormrf

Google HackFair 돌아보기 - MetaMong

2015년 석사 입학 후 연말쯤에 소소하게 했던 프로젝트. 예전 인터뷰했던게 생각나서 공유. 인터뷰 link 0. Google HackFair는 구글 기술을 이용해서 만든 다양한 결과물들을 전시하고 공유하는 행사입니다. 지난 12월 5일, 프로젝트 참가자분들은 안드로이드, Cardboard, TensorFlow 등 다양한 구글 기술을 사용한 재미있는 프로젝트를 전시하고 풍성한 볼거리와 기술력 그리고 범상치 않은 업력(?)을

Computer Vision

ComboGAN : Image Translation with GAN (7)

arixv: ComboGAN: Unrestrained Scalability for Image Domain Translation accpeted to ICLR2018 workshop reddit github Scalibility issue for multi domains CycleGAN : Two-domain models taking days to train on current hardware, the number of domains quickly becomes limited by the time and resources required to process them. Propose a multi-component image translation

Computer Vision

StarGAN : Image Translation with GAN (6)

StarGAN : accepted as CVPR2018 oral presentation. github arxiv (a) Each domain shift needs generators. (b) Share one generator and use latent code of each domain The previous limitation of pix2pix, DTN, CycleGAN & DiscoGAN, BicycleGAN is that they only handle two domains: the source and the target. But, there are

Computer Vision

BicycleGAN : Image Translation with GAN (5)

Limitations of pix2pix, DTN, DiscoGAN & CycleGAN? They produce single answer. They are deterministic models. Translates an image in one-to-one Paired set, One-to-One : pix2pix (CVPR2017) Unpaired set, One-to-One : DTN (ICLR2017), CycleGAN (ICCV2017) Paired set, One-to-Many : ??? BicycleGAN: Toward Multimodal Image-to-Image Translation (NIPS2017) BicycleGAN github Easy approach: Adopt stochastically sampled noise $N(

Computer Vision

CycleGAN : Image Translation with GAN (4)

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN) from UC Berkeley (pix2pix upgrade) & Learning to Discover Cross-Domain Relations with Generative Adversarial Networks (DiscoGAN) from SK T-Brain DiscoGAN & CycleGAN Almost Identical concept. DiscoGAN came 15 days earlier. Low resolution ($64 \times 64$) CycleGAN has better qualitative results ($256 \times

Computer Vision

DTN : Image Translation with GAN (3)

2. Unsupervised Cross-Domain Image Generation (DTN) published to ICLR2017 by Yaniv Taigman, Adam Polyak, Lior Wolf Learn $ G: S \rightarrow T $ of two related domains, $ S $ and $ T $ without labels! (labels of images are usually expensive) Baseline model $ D $ : discriminator, $ G $ : generator, $ f $ : context encoder. outputs feature. (128-dim) \begin{equation}

Computer Vision

pix2pix : Image Translation with GAN (2)

Image-to-Image Translation with Conditional Adversarial Networks (pix2pix) published to CVPR2017 by Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros Learn pair-wise images of $S$ and $T$ like below BW & Color image Street Scene & Label Facade & Label Aerial & Map Day & Night Edges & Photo source

Computer Vision

Image Translation with GAN (1)

Problem statement of Image Translation Learn $G: (S \rightarrow T)$ $G$ that convert an image of source domain $S$ to an image of target domain $T$ Domain Adaptation/Transfer of an image. Paired and Unpaired dataset Image Translation: $S$ and $T$ are pair-wise labeled in dataset Image Translation: $S$ and

Deep Learning

PaletteNet

Junho Cho, Sangdoo Yun, Kyoungmu Lee and Jin Young Choi, PaletteNet: Image Recolorization with Given Color Palette The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, NITRE2017, July, 2017. poster better resolution paper

Detection

Weakly supervised Learning으로 Object localization하기

공유하고자하는 논문의 제목은 Learning Deep Features for Discriminative Localization Bolei Zhou, Aditya Khosla, Agata Lapedriza, Aude Oliva, Antonio Torralba Computer Science and Artificial Intelligence Laboratory, MIT 논문의 데모는 "여기"서 쉽게 해볼 수 있다. 데모의 내용을 풀이하자면 먼저 처음엔 scene label로 태깅되어 있는 데이터로 Weakly supervised learning을 한

kinect

KinectProjectorToolKit 으로 데모 실행하기.

. 여태까지는 그냥 모니터로 키넥트의 인식결과를 출력하였다. 이제는 키넥트로 사람과 배경을 인식한 것을 프로젝터로 피사체에 쏘아 mapping하는 과정을 한다. 이때 쓰는 코드는 https://github.com/genekogan/KinectProjectorToolkit 을 사용한다. 여태까지 했던 kinect flow, physics 등은 사실 피사체에 프로젝터로 mapping을 하는 목적이 아니고 그냥 대형화면에 띄우는 듯한 목적이다. 하지만 위 코드는 키넥트로에서

kinect

Kinect의 SimpleOpenNI API 사용하기

기본적인 튜토리얼로 이것으로 시작하였으려나, 사용하려는 데모 튜토리얼은 이게 더 멋있어서 바꿔 진행했다. 허나 문제는 이 튜토리얼은 Kinect v1만 지원한다는 것인데, Kinect v2를 지원하는 지는 더 알아봐야할 문제이다. 이 튜토리얼은 SimpleOpenNI를 적극적으로 활용하는데, Processing을 이용해서 이 라이브러리를 어떻게 사용하는지를 짧게 옮겨본다. 가장 기본적인 코드는 다음과 같다. // Kinect Basic Example by Amnon

kinect

Kinect v1와 v2. 그리고 OSX, 맥에 연결시키기

Kinect v1 Kinect v2 둘의 자세한 비교는 이곳 블로그에 잘 소개되어있다. 두개 다 성공적으로 연결시킬 수 있었는데, 확실히 v2가 더 성능이 좋았다. 보통 윈도우에 연결시키는 후기들은 많아서 윈도우, 키넥트 둘다 MS꺼니까 나는 맥북프로를 쓰기 때문에 이걸 시도해봤다. 내가 쓰는 맥북프로는 OSX Elcapitan v10.11.3에서 테스트했다. TEDxSNU의 Interactive Session같은 거로

Detection

Deep Learning based Detection

Computer Vision에서 Detection 이란 image에서 물체를 탐지해서 대부분의 경우 Bounding Box로 물체위치를 표시하고 무엇인지 notation을 한다. 주로 VOC Pascal 데이터셋을 사용하는데, 영상에서 모든 물체를 다 표기하긴 어렵고, 대표적인 물체 20가지를 탐지하게 한다. Classification은 단순히 물체가 영상에 하나가 있다고 가정하고 그 물체가 무엇인지 분류하는 문제인데, 이제 성능이 saturate되었다. 반면 Detection은 물체위치도

selfie

좋은 셀카를 찍는 법

이 글은 Karpathy의 간단한 실험이 재밌어서 한글로 옮긴 글이다. What a Deep Neural Network thinks about your #selfie 딥러닝 블로거인 Andrej Karpathy가 간단한 실험을 했다. 좋은 셀카란 무엇일까? 를 딥러닝에서 CNN으로 학습하였다. 기술이 새로운건 아닌데 실험내용이 재밌다. 데이터는 Instagram에서 #selfie로 크롤링해서 적어도 얼굴 하나는 있는 사진 2,000,000장 사진을

IPIU

발가락이 닮았다: Finding Face Lookalikes using CNN 논문 개요

발가락이 닮았다: Finding Face Lookalikes using CNN 논문 개요 초록 한문장씩 from 서론 본론 실험 결론 futurework 1. 서론 흥미 유발. 모티베이션. 왜했는가 Face Verification, Identification 의 역사. 적용 분야. Face lookalikes Our brain compute the complex features in face and decide whether the two faces look alike or not.