sudormrf

딥러닝 기반 서비스 구축하기

최근에 딥러닝 기반 서비스를 바닥부터 다 만든 일이 있었다. 만들고 시범 운영을 해보면서 느낀 점, 구현하면서 생각해 볼 만한 점들을 정리해보았다. 문제 정의 차량의 주행 및 소음진동 정보를 기반으로 차량의 상태를 진단하자. 이번에 딥러닝 모델을 도입해서 풀고자 하는 문제는 특정 부품의 내구 상태를 알아내는 것이다. 💡Input : 소음, 진동, 차속, RPM,

Deep Learning

딥러닝 자격증 (Certificate) 후기 by NVIDIA, Tensorflow

딥러닝 강의를 다시 하게 되어서, 좋은 자료들을 정리하려고 찾아다니다가 certificate 들이 눈에 들어와서 땄다. 취득 한 것은 NVIDIA와 Tensorflow 에서 발급하는 두 가지 인데, 따면서 느꼈던? 알게된? 점들을 정리하겠다. NVIDIANVIDIA 에는 많은 교육과정들이 잘 정리되어 있는데, 딥러닝 관련 코스들만 해도 꽤 10개 넘는 과정들이 있다. NVIDIA Deep Learning Self-Paced CoursesSelect

gpt

나만의 GPT 만들기, Embedding

매일매일 LLM 관련 새로운 발표들이 쏟아져 나오고 있다. 이미 ChatGPT 는 전 국민이 아는 단어이고, 많은 사람들이 사용하고 있다. (당연히 나도 결제해서 유료 모델인 GPT4를 매우 유용하게 사용하고 있다.) 그럼 나는 이걸 이용해서 뭘 할 수 있을까? 작금의 LLM은 한계가 어디까지이고 잠재력은 어디까지일까? 직접 사용해 보고 느껴보자. (LLM 은 GPT를

firebase

Hasura + Firebase Auth (JWT)

본 포스트는 DB & Auth 개발을 하며 삽질한 내용을 다룹니다 계기필자는 혼자서 서비스를 개발하고 있었습니다. 개발자 관점에서는 본 서비스는 다음과 같이 간단합니다. 사용자는 로그인을 하고, 돈을 낸 만큼 데이터를 열람할 수 있습니다.저는 serverless로 scalable하고 보안적으로 문제가 없게 구현하고 싶었습니다. 백엔드를 만들고 운영하면서 계정관리도하고 데이터베이스 접근도 다 검사하는 무식한 방법은

kogpt

KoGPT Web UI 만들기

이번 포스트는 kogpt.tmmse.xyz 를 만들면서 느낀 점들을 다룹니다. (다 사용하고 현재는 닫았습니다. 사용하실 분들은 Github 코드를 빌드하시면 되는데, 이게 가능하시면 직접 만드시는게 더 편하실 거에요....) KoGPT Rest API 공개 OpenAI 가 공개한 GPT-3 는 언어를 너무 잘 다뤄서 전세계가 놀랐었죠. 당연히 영어로 동작하기 때문에, 한국어를 잘 다루는 AI가

논문 관리 with Zotero + Synology Nas webDAV

Zotero 는 논문 관리 프로그램이다. 비슷한 프로그램으로 Mendeley, Papers 등이 있다. 비슷한 논문(서지) 프로그램 중에 내가 zotero를 쓰는 이유 단순히 무료이기 때문이다. 오픈소스 프로그램이기 때문에 큰 기대안하고 대학원 다닐동안 잘 사용하였는데, 지금은 더욱 완성도 있는 프로그램이 되었다. 타 프로그램처럼 macOS, iPadOS, 윈도우 (안드로이드x) 등을 지원하며 웹브라우져 확장프로그램에서 논문을 바로

Linux

라즈베리파이에 Real Time kernel 올리기

필자는 라즈베리파이에서 Timing 이 아주 중요한 application 을 개발하고 있었다. 프로세스가 context switching 되어 나가는 동안 데이터를 처리하지 못해 문제가 발생하는 상황이었다. 그래서, real time kernel 을 사용했다. 모든 kernel 관련된 작업이 마찬가지지만, 이 작업 또한 참 귀찮다. 한국어로 된 자료도 마땅한 것이 없기에 이 포스트를 작성한다. 배경 지식Real Time

macOS

macOS에서 키보드 re-mapping

나의 macOS 키보드 리매핑 이유 esc 키가 너무 멀다. 흔히 쓰이지 않는 capslock을 대신 썼으며 좋겠다. 한영키가 윈도우 키보드 같이 같은 위치에 있으면 좋겠음. 외부 키보드는 right_alt 버튼, 내장 키보드는 right_cmd를 한영키로 사용하겠다. 외부 키보드 연결시 window 키는 cmd, alt키는 option키가 되어 본래 애플키보드에서 쓰는 게 반대로 되는

Linux

Wine은 어떻게 linux에서 windows app을 실행하나?

지난 포스트 에서 windows 와 linux의 차이를 알았다. 그렇다면, Wine 은 그 간극을 매꾸기 위해 어떻게 구현 하였는지 알아보자. 시작하기 전에 잡지식 얘기하자면, WINE은 Wine Is Not Emulator의 약자이다. (그런데 내 생각에는 emulator가 맞는 것 같다.;;) 1. Wine 의 구조 - Builtin / Native Dlls wine은 무엇을 구현했는가? 첫째로 PE binary

Linux

프로그램 실행 관점에서 본 windows 와 linux의 차이

본 포스트는 프로그램의 실행 관점에서 어떻게 windows 와 linux가 다른지에 대해 얘기하고자 한다. 그리고, 다음 포스트에서 그 차이를 어떻게 맞출 수 있는지에 대해 설명하고자 한다. Ubuntu와 같은 Linux 배포판을 처음으로 사용하게 되면, 너무도 당연하게 돌던 것들이 안돌아서 당황하기 마련이다. (Ex. 카톡, 게임, 오피스 등등.) 필자도 대학생때 처음으로 ubuntu 를 설치해보고

Linux

개발자(?) 3년 생활 돌아보기

필자는 2017.2 ~ 2019.3 까지 3년동안 Tmax 에서 개발자(사내에서는 연구원이라고 칭한다.) 생활을 하였다. 본 포스트는 3년간의 생활에 대한 소회이다. 일기 형식이니 그냥 읽고 싶은 사람만 읽어라. 기술적인 내용은 차차 하나하나 포스트하고자 한다. (예고 내용은 마지막에 있다.) 1. 입사 과정 -- 내 소개 페이지에도 써있지만 나는 2014년 부터 연대

Linux

첫 Linux 기여

Linux git 에 내 이름이 올라갔다! 하하 보통 말하는 contribute 을 한 것은 아니고, 그냥 bug report 이다. Linux git 에는 그래도 bug 가 해결되는 commit 이 올라가면 reporter 도 올려주더라. (Linux git 에서 볼 수 있다. ) 이런 사소한 것도, 사실 내가 다 한건 아니고 우리 팀 고수형(헌진이형 압도적

Linux

Debian Packaging & Policy

본 포스트는 debian packaging과 policy(정책) 일부 대한 기본적인 지식을 소개하도록 함. Introduction Debian project 는 쉽게 말해 free OS 중 일종이고, 대표적인 예로 Ubutnu 가 debian 계열의 linux 배포판 중 하나이다. 개인적으로 내가 생각하는 Debian 의 가장 큰 장점은 package managing 이다. Ubuntu를 써본 사람이라면 apt install XXXXX 이런

c++

C++ 효율 향상 시키기 (feat. 임시 객체)

본 포스트는 More Effective C++ item 19 ~ 22 를 참고하여 작성함. 임시 객체의 origin을 이해하자 임시 객체 (Temporaries) ? template<class T> void swap(T& object1, T& object2) { T temp = object1; object1 = object2; object2 = temp; } 여기에 있는 이 temp 말하는거 아님!! HON MONO 임시 객체는 코드에도 없고,

Deep Learning

Normalization layer

What is Batch Normalization? Instance Normalization? Conditional Batch Normalization? Conditional Instance Normalization? Batch Normalization is first introduced by Sergey Ioffe, Christian Szegedy. It increased image classification performance significantly. arxiv Interested in "Conditional Batch Normalization (CBN)", here's wrap up of normalization layers. refer to "Arbitrary Style Transfer in

Computer Vision

Google HackFair 돌아보기 - MetaMong

2015년 석사 입학 후 연말쯤에 소소하게 했던 프로젝트. 예전 인터뷰했던게 생각나서 공유. 인터뷰 link 0. Google HackFair는 구글 기술을 이용해서 만든 다양한 결과물들을 전시하고 공유하는 행사입니다. 지난 12월 5일, 프로젝트 참가자분들은 안드로이드, Cardboard, TensorFlow 등 다양한 구글 기술을 사용한 재미있는 프로젝트를 전시하고 풍성한 볼거리와 기술력 그리고 범상치 않은 업력(?)을

Computer Vision

ComboGAN : Image Translation with GAN (7)

arixv: ComboGAN: Unrestrained Scalability for Image Domain Translation accpeted to ICLR2018 workshop reddit github Scalibility issue for multi domains CycleGAN : Two-domain models taking days to train on current hardware, the number of domains quickly becomes limited by the time and resources required to process them. Propose a multi-component image translation

Computer Vision

StarGAN : Image Translation with GAN (6)

StarGAN : accepted as CVPR2018 oral presentation. github arxiv (a) Each domain shift needs generators. (b) Share one generator and use latent code of each domain The previous limitation of pix2pix, DTN, CycleGAN & DiscoGAN, BicycleGAN is that they only handle two domains: the source and the target. But, there are

Computer Vision

BicycleGAN : Image Translation with GAN (5)

Limitations of pix2pix, DTN, DiscoGAN & CycleGAN? They produce single answer. They are deterministic models. Translates an image in one-to-one Paired set, One-to-One : pix2pix (CVPR2017) Unpaired set, One-to-One : DTN (ICLR2017), CycleGAN (ICCV2017) Paired set, One-to-Many : ??? BicycleGAN: Toward Multimodal Image-to-Image Translation (NIPS2017) BicycleGAN github Easy approach: Adopt stochastically sampled noise $N(

ghost

Ghost : changing font, 폰트 바꾸기

In short; Assuming you have Ghost v1.0.0 (or above) with default theme, Casper. Default font is Georgia. We will change font with Google Web fonts. cd {your-ghost-dir}/content/themes/casper # move to theme directory npm install gulp-cli -g # install gulp globally npm install # install npm packages in theme

ghost

Ghost 1.0.0 로 업그레이드 + 밀린 포스트들

1 귀찮아서 업그레이드를 미루고 있었는데, 거대 업데이트를 한참 전에 했길래 간만에 업그레이드했다. 간만에 블로그 만지작 거리는게 재밌었는데 이내 업그레이드는 커다란 귀찮음을 가져다주었다. 결론적으로 서버의 리눅스가 Ubuntu 16.04가 아니면 자잘한 에러가 많다. 이번 버전부터 ghost-cli를 통해 v1이상에서 쉽게 업그레이드가 가능토록 cli를 지원한다. 역시 갓갓 cli다. 그리고 힘들게 Nginx등을 설정해줬었는데(처음

Computer Vision

CycleGAN : Image Translation with GAN (4)

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN) from UC Berkeley (pix2pix upgrade) & Learning to Discover Cross-Domain Relations with Generative Adversarial Networks (DiscoGAN) from SK T-Brain DiscoGAN & CycleGAN Almost Identical concept. DiscoGAN came 15 days earlier. Low resolution ($64 \times 64$) CycleGAN has better qualitative results ($256 \times

Computer Vision

DTN : Image Translation with GAN (3)

2. Unsupervised Cross-Domain Image Generation (DTN) published to ICLR2017 by Yaniv Taigman, Adam Polyak, Lior Wolf Learn $ G: S \rightarrow T $ of two related domains, $ S $ and $ T $ without labels! (labels of images are usually expensive) Baseline model $ D $ : discriminator, $ G $ : generator, $ f $ : context encoder. outputs feature. (128-dim) \begin{equation}

Computer Vision

pix2pix : Image Translation with GAN (2)

Image-to-Image Translation with Conditional Adversarial Networks (pix2pix) published to CVPR2017 by Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros Learn pair-wise images of $S$ and $T$ like below BW & Color image Street Scene & Label Facade & Label Aerial & Map Day & Night Edges & Photo source

Computer Vision

Image Translation with GAN (1)

Problem statement of Image Translation Learn $G: (S \rightarrow T)$ $G$ that convert an image of source domain $S$ to an image of target domain $T$ Domain Adaptation/Transfer of an image. Paired and Unpaired dataset Image Translation: $S$ and $T$ are pair-wise labeled in dataset Image Translation: $S$ and