2D 이미지를 인공지능써서 3D로 만드는 방법

"자막이 있으니 자막 키고 보세요" 안녕하세요. 엔자이너TV입니다. 이번 영상은 2022년 당신의 추억을 3D로 만들어드립니다. 입니다. 어플리케이션 관점에서 영상기하학과 딥러닝이 어디에 사용자에게 니즈가 있고 활용될 수 있을지를 고민하였습니다. 2022년을 마무리하며, 자신의 추억을 3D로 간직하고싶은 사람들을 위해 본 영상을 기획했습니다. 설명 : 해당 동영상은 "2D 이미지를 인공지능으로 3D로 만드는 방법"에 대한 내용입니다. 기하학과 딥러닝을 사용하여 3D모델을 생성하는 방법을 설명하고 있습니다. 이 동영상에서는 2D 사진을 초현실적 3D로 복원하는 NeRF를 구현하기 위하여, Structure from Motion을 사용하여 캡처된 이미지의 카메라 파라미터를 추출하는 과정을 보여줍니다. 이 과정은 SIFT를 사용하여 특징점을 추출하고, RANSAC을 사용하여 이상치를 제거하는 특징점 매칭을 포함합니다. 또한, 중앙대학교 앞에서 찍은 저의 3D 버전을 보여줍니다. 이 과정은 특이값 분해(SVD)를 통해 기본 행렬을 얻고, 이를 사용하여 이상치 값을 찾는 과정을 설명합니다. 이 과정은 8개의 샘플 데이터를 선택하고, 기본 행렬을 추출하고, 다시 매칭 점을 찾고, 가장 많은 이상치를 가진 기본 행렬을 찾기 위해 이 과정을 반복합니다. 기본 행렬에서 필수 행렬을 추출할 수 있지만, 카메라를 세계 좌표계로 계산하기 위해 4x4 행렬로 변환하려면 추가 행이 필요합니다. 마지막으로, 3D 점을 세계 좌표계로 이동할 수 있습니다. 이 동영상은 Essential Matrix와 Bundle Adjustment 과정을 사용하여 3D 장면을 생성하는 과정을 설명합니다. Bundle Adjustment 과정은 여러 시트를 결합하여 전체 이미지 세트를 병합합니다. 그 다음으로 NeRF (Neural Radiance Fields) 방법이 구현되어, 각 픽셀에서 카메라의 중심을 통과하는 광선을 쏘고 이 광선들에 많은 샘플 점을 생성합니다. 각 샘플 점의 색상과 밀도 값을 Multi-Layer Perceptron을 통해 예측하고, 이를 합산하여 최종 픽셀의 색상 값을 계산합니다. 모든 레이어는 모든 카메라 픽셀에서 촬영되며, 모든 값을 계산하여 3D 장면을 형성합니다. 비디오 이미지에서 프레임을 추출할 때 가장 좋은 성능을 나타내는 것을 결정하기 위해 비교 실험이 실시되었습니다. 다른 프레임 속도로 4번의 실험이 진행되었습니다. 사용된 데이터셋은 눈과 추운 겨울이었고, 이는 배경의 나뭇가지 복원에 영향을 미쳤습니다. 성능은 1 FPS에서 가장 낮았고, 5 FPS에서도 회복력이 눈에 띄게 떨어졌습니다. 입력과 복원된 3D 이미지를 정량적으로 비교하기 위해 사용된 피크 신호 대 잡음비 (PSNR)는 25.98이 가장 좋은 성능을 보였습니다. 영상 프레임과 같은 연속 이미지의 경우 기준선이 작기 때문에 삼각측량(Triangulation) 과정에서 3D 점을 생성하는 오차 범위가 큽니다. 그러나 이미지 간의 거리가 멀고 같은 장소를 바라보고 있다면, 기준선이 크기 때문에 3D 점을 더 정확하게 생성할 수 있습니다. 이는 최적화 과정 중 카메라 파라미터의 성능에 영향을 미칩니다. 이미지가 부족하여 30 FPS에서 실험의 성능이 떨어졌지만, 1 FPS와 5 FPS에서도 높은 성능을 보이지 않았습니다. 결과적으로, 10 FPS에서 가장 좋은 성능을 보였습니다. 이 실험에서는 올해 7월에 NVIDIA에서 출시한 Instant NeRF를 사용했습니다. 구독과 좋아요를 눌러주시면 보다 좋은 영상으로 보답드리겠습니다. #NeRF #3D #NovelViewSynthesis #증강현실 #로보틱스 #자율주행 #인공지능 #머신러닝 #딥러닝 #컴퓨터비전 #영상처리 #AR #VR #AugmentedReality #VirtualReality #Robotics #AutonomousDriving #AI #MachineLearning #DeepLearning #ComputerVision #ImageProcessing #instantNeRF #SfM #StructurefromMotion #CameraCalibration #VisualGeometry #Geometry #RANSAC #EpipolarGeometry #FundamentalMatrix #EssentialMatrix #RotationMatrix #TranslationVector #추억 #중앙대