최적화 강의 - 002 Optimization method 이란 ?

초보 딥러너를 위한 최적화 강의: "최적화 할껀데, 실습만 합니다" 미국에서 박사후 과정을 하는 한요섭 이라고 합니다. 딥러닝/머신러닝을 연구하시는 분들이시라면, 네트워크를 학습시키기 위한 SGD 또는 Adam optimizer 를 사용해보셨을텐데요 :) Model 의 구조만큼이나 optimizer 도 네트워크의 성능에 많이 관여를 하게 됩니다. 따라서, 해당 강좌에선 네트워크의 model 이 아닌, optimizer 에 대해 살펴보도록 하겠습니다. 두번째 영상은, optimization method 의 개념에 대하여 살펴보고, 자주 사용이 되는 regularization term 인 total variation (TV) 과 low-rankness 함수를 구현해 보도록 하겠습니다. Code: https://colab.research.google.com/dri... References: 1. Optimization method (https://en.wikipedia.org/wiki/Mathema...) 2. Total variation (https://en.wikipedia.org/wiki/Total_v...) 3. Low-rankness (https://en.wikipedia.org/wiki/Low-ran...) Github: https://github.com/hanyoseob Devices: 노트북💻: MacBook Pro (Retina, Mid 2012) 모니터🖥: LG-34WL500-B-34” IPS LED UltraWide FHD FreeSync Monitor 키보드⌨️: Magic Keyboard with Numeric Keypad - Korean - Silver 트릭패드⬜️: Magic Trackpad 2 마우스🖱: Logitech MX Master 3 촬영📷: iPhone 12 Pro Max 마이크🎤: Rode VideoMicro Compact On-Camera Microphone  편집📱: iPad Pro 12.9-inch 5th Generation #최적화 #optimization #inverse_problem #total_variation #low_rank