https://ieeexplore.ieee.org/document/8451610
Cnn-based Denoising of Time-Of-Flight Depth Images
This paper is the first to propose a deep learning approach for denoising depth images produced by Time of Flight (ToF) cameras. The noise in ToF depth images is spatially nonstationary, and depends on the strength of the infrared signal coming back to the
ieeexplore.ieee.org
논문 제목에서 아실 수 있다시피, noise 에 의해 저하된 ToF image 품질을 CNN 기반으로 denoising 하는 것에 관한 논문입니다.
논문의 아이디어 자체는 매우 간단합니다.
'Exact depth' 를 실제 환경에서 측정하기는 매우 어려우므로 OpenGL 을 사용하여 ground truth dataset 을 얻었고,
얻은 GT에 대해 논문에서 말하는 Bivariate Gaussian noise model 을 적용한 noisy images 를 input data로 사용했습니다.
noise pattern 을 학습할 수 있게끔, residual learning 을 사용했고요.
매우 간단한 아이디어임에도 불구하고, 왜 ToF noise model 이 bivariate Gaussian distribution을 따르는 지 위 논문만 보고는 정확하게 이해할 수 없었습니다.
위 내용을 제대로 이해하기 위해서는 본문에서 레퍼런스로 남겨둔 아래의 논문을 읽어봐야만 할 것 같습니다.
[ M. Frank, M. Plaue, H. Rapp, U. K¨othe, B. J¨ahne, and F. A. Hamprecht, “Theoretical and experimental error
analysis of continuous-wave time-of-flight range cameras,” SPIE Optical Engineering, vol. 48, no. January, pp. 013602, 2009. ]
Theoretical and experimental error analysis of continuous-wave time-of-flight range cameras
We offer a formal investigation of the measurement principle of time-of-flight 3-D cameras using correlation of amplitude-modulated continuous-wave signals. These sensors can provide both depth maps and IR intensity pictures simultaneously and in real time
www.spiedigitallibrary.org