Thị giác máy tính – Tài liệu kèm theo sách

Điểm kiến thức 1 Sự hình thành ảnh theo phép đo sáng (photometry)

NỘI DUNG CHÍNH

• Chiếu sáng và các loại nguồn sáng
• Mô hình phản xạ và bóng
• Tạo ảnh bằng thấu kính lồi và các nội dung liên quan

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu các mô hình nguồn sáng điểm, đường và mặt A
• Hiểu hàm phân bố phản xạ hai hướng (BRDF – Bidirectional Reflectance Distribution Function) A
• Tìm hiểu các mô hình phản xạ và bóng khác nhau B
• Hiểu quá trình tạo ảnh bằng thấu kính lồi, quang sai màu (chromatic aberration) và hiện tượng tối góc (vignetting) A

Điểm kiến thức 2 Thu nhận ảnh độ sâu và đám mây điểm (depth image & point cloud)

NỘI DUNG CHÍNH

• Các phương thức thu nhận ảnh độ sâu và phân loại thiết bị
• Nguyên lý hoạt động và hướng phát triển của camera độ sâu
• Nguyên lý hoạt động của LiDAR và ứng dụng trong lái xe tự hành

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Có thể nắm được cách phân loại và nguyên lý của camera độ sâu B
• Có thể nắm được ứng dụng của LiDAR B

Điểm kiến thức 1 Toán tử xử lý ảnh cục bộ

NỘI DUNG CHÍNH

• Các phương pháp biến đổi hình thái học (morphological transformation) thường gặp
• Bộ lọc tuyến tính ảnh và tác dụng của chúng
• Các thao tác làm sắc nét và làm mờ ảnh
• Định nghĩa và tính chất của biến đổi khoảng cách (distance transform)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu khái niệm và tính chất của biến đổi hình thái học (morphological transformation) A
• Tìm hiểu quy trình thuật toán của bộ lọc tuyến tính, thao tác làm sắc nét và làm mờ ảnh, biến đổi khoảng cách (distance transform), v.v. A

Điểm kiến thức 2 Toán tử xử lý ảnh toàn cục

NỘI DUNG CHÍNH

• Định nghĩa và tính chất của biến đổi Fourier và biến đổi Fourier ngược
• Các phương pháp nội suy ảnh điển hình
• Các phương pháp tăng cường ảnh thường gặp (biến đổi hình học, cân bằng histogram, biến đổi không gian màu)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu khái niệm và tính chất của biến đổi Fourier A
• Tìm hiểu nguyên lý và hiệu quả của các phương pháp nội suy ảnh và tăng cường ảnh điển hình A
• Có thể viết mã để thực hiện biến đổi Fourier hai chiều B
• Có thể viết mã để thực hiện các phương pháp tăng cường ảnh thường gặp B

Điểm kiến thức 3 Các phương pháp tăng cường dữ liệu ảnh điển hình (data augmentation)

NỘI DUNG CHÍNH

• Các phép biến đổi ảnh ngẫu nhiên thường gặp (biến đổi affine ngẫu nhiên, cắt và dán ảnh ngẫu nhiên (random crop & paste), biến đổi độ sáng/sắc độ/độ bão hòa ngẫu nhiên)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu nguyên lý cơ bản của các phép biến đổi ảnh ngẫu nhiên thường gặp A
• Có thể thực hiện các phương pháp biến đổi ảnh ngẫu nhiên đơn giản A

Điểm kiến thức 1 Trích xuất đặc trưng điểm và khối

NỘI DUNG CHÍNH

• Định nghĩa hàm tự tương quan (autocorrelation function) và ma trận tự tương quan (autocorrelation matrix)
• Nguyên lý cơ bản và ưu điểm của triệt tiêu phi cực đại thích ứng (ANMS – Adaptive Non-Maximum Suppression)
• Phương pháp tính toán bộ mô tả SIFT
• Phương pháp tính toán và ưu điểm của biểu đồ tần suất vị trí–hướng gradient (GLOH)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu khái niệm hàm tự tương quan (autocorrelation function) và ma trận tự tương quan (autocorrelation matrix) A
• Nắm được nguyên lý cơ bản của triệt tiêu phi cực đại thích ứng (ANMS – Adaptive Non-Maximum Suppression) A
• Thành thạo phương pháp tính toán SIFT và GLOH A

Điểm kiến thức 2 Trích xuất đặc trưng biên

NỘI DUNG CHÍNH

• Phương pháp tính toán và phạm vi áp dụng của một số toán tử trích xuất biên
• Các phương pháp chủ yếu và khó khăn trong liên kết biên

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Thành thạo phương pháp tính toán của một số toán tử trích xuất biên A
• Tìm hiểu các phương pháp chủ yếu để liên kết biên A

Điểm kiến thức 3 Trích xuất đặc trưng hình dạng

NỘI DUNG CHÍNH

• Nguyên lý và quy trình của biến đổi Hough
• Định nghĩa và ứng dụng của điểm tụ
• Các dạng mở rộng của biến đổi Hough

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu và nắm vững biến đổi Hough cùng các biến thể của nó A
• Hiểu khái niệm và ứng dụng của điểm tụ A

Điểm kiến thức 4 Trích xuất đặc trưng ngữ nghĩa

NỘI DUNG CHÍNH

• Khái niệm cơ bản và phương pháp phân tích phân biệt tuyến tính (LDA – Linear Discriminant Analysis)
• Khái niệm cơ bản và phương pháp máy vector hỗ trợ (SVM)
• Cấu trúc cơ bản của mạng neuron tích chập (CNN)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm vững phân tích phân biệt tuyến tính (LDA – Linear Discriminant Analysis) và phương pháp tính toán của nó A
• Nắm vững máy vector hỗ trợ (SVM) và phép chuyển đổi mục tiêu tối ưu hóa của nó A
• Hiểu và ghi nhớ cấu trúc cơ bản của mạng neuron tích chập (CNN) A

Điểm kiến thức 1 Phân loại và các kỹ thuật thường dùng trong so khớp đặc trưng thị giác

NỘI DUNG CHÍNH

• So khớp đặc trưng truyền thống
• Ước lượng luồng quang (optical flow estimation)
• Ước lượng luồng cảnh (scene flow estimation)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản về so khớp đặc trưng thị giác A
• Thành thạo các phương pháp thực hiện so khớp đặc trưng thị giác A

Điểm kiến thức 2 Phân loại và các kỹ thuật thường dùng trong đăng ký đặc trưng thị giác

NỘI DUNG CHÍNH

• Đăng ký hình học truyền thống (geometric registration)
• Đăng ký dựa trên học sâu (deep learning-based registration)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản về đăng ký đặc trưng thị giác A
• Thành thạo các phương pháp thực hiện đăng ký đặc trưng thị giác A

Điểm kiến thức 1 Các khái niệm cơ bản về tái tạo cảnh ba chiều

NỘI DUNG CHÍNH

• Định nghĩa tái tạo cảnh ba chiều
• Lý thuyết và phép tính tam giác hóa (triangulation)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản và cơ sở lý thuyết liên quan đến tái tạo cảnh ba chiều A

Điểm kiến thức 2 Tái tạo ba chiều thưa (Sparse 3D Reconstruction)

NỘI DUNG CHÍNH

• Định nghĩa cấu trúc từ chuyển động (Structure from Motion – SfM)
• Mô hình hóa toán học chuyển động camera và biến đổi tư thế
• Biến đổi tuyến tính trực tiếp (DLT – Direct Linear Transformation) và phương pháp bình sai chùm tia (Bundle Adjustment – BA)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu mối quan hệ biến đổi tư thế giữa nhiều khung hình A
• Nắm vững ràng buộc hình học đối cực (epipolar constraint) và giải chuyển động tư thế của camera A

Điểm kiến thức 3 Tái tạo ba chiều dày đặc (Dense 3D Reconstruction)

NỘI DUNG CHÍNH

• Ý tưởng và đặc điểm của các phương pháp tái tạo ba chiều dày đặc chủ đạo
• Cơ sở lý thuyết của các phương pháp hình học truyền thống
• Cách triển khai thuật toán của các phương pháp học sâu

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm vững cơ sở toán học của hình học lập thể đa góc nhìn (Multi-View Stereo – MVS) A
• Nắm vững khung mô hình của ước lượng độ sâu (depth estimation), trường bức xạ neuron (NeRF) và tái tạo bề mặt (surface reconstruction) A

Điểm kiến thức 1 Máy vector hỗ trợ (SVM – Support Vector Machine)

NỘI DUNG CHÍNH

• Giải máy vector hỗ trợ tuyến tính (vector pháp tuyến w (normal vector) và hệ số chặn b (bias))
• Giải máy vector hỗ trợ phi tuyến (hàm nhân (kernel function) φ)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản liên quan đến máy vector hỗ trợ A
• Thành thạo quy trình giải máy vector hỗ trợ tuyến tính và máy vector hỗ trợ phi tuyến A

Điểm kiến thức 2 Bộ phân loại Bayes

NỘI DUNG CHÍNH

• Định lý Bayes
• Ứng dụng của bộ phân loại Bayes ngây thơ (Naive Bayes classifier)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản liên quan đến định lý Bayes A
• Thành thạo quy trình huấn luyện bộ phân loại Bayes ngây thơ (Naive Bayes) A

Điểm kiến thức 3 Nhận dạng đối tượng dựa trên học sâu

NỘI DUNG CHÍNH

• Định nghĩa mạng neuron tích chập
• Cơ chế tự chú ý (self-attention)
• Mô hình ngôn ngữ–thị giác (vision-language model)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản liên quan đến mạng neuron tích chập A
• Hiểu cơ chế tự chú ý (self-attention) A
• Hiểu mô hình ngôn ngữ–thị giác (vision-language model) A

Điểm kiến thức 1 Mô hình phân đoạn ngữ nghĩa thị giác

NỘI DUNG CHÍNH

• Phân đoạn ảnh hai chiều
• Phân đoạn video theo thời gian
• Phân đoạn đám mây điểm ba chiều
• Phân đoạn xuyên phương thức (cross-modal segmentation)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm được quá trình phát triển và các mô hình kinh điển của phân đoạn ảnh hai chiều A
• Nắm được các loại phương pháp kinh điển trong phân đoạn video theo thời gian A
• Nắm được các loại phương pháp kinh điển trong phân đoạn đám mây điểm ba chiều A
• Tìm hiểu các khái niệm liên quan và phương pháp cơ bản tiên tiến của phân đoạn xuyên phương thức B

Điểm kiến thức 2 Phương pháp huấn luyện phân đoạn ngữ nghĩa thị giác

NỘI DUNG CHÍNH

• Các loại nhiệm vụ phân đoạn thị giác (phân đoạn ngữ nghĩa (semantic segmentation), phân đoạn thực thể (instance segmentation), phân đoạn toàn cảnh (panoptic segmentation))
• Phương pháp huấn luyện phân đoạn bán giám sát (semi-supervised)
• Phương pháp huấn luyện phân đoạn không giám sát (unsupervised)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm vững các chỉ số đánh giá của những loại nhiệm vụ khác nhau A
• Tìm hiểu các phương pháp huấn luyện phân đoạn bán giám sát thường gặp và các mô hình kinh điển B
• Tìm hiểu các phương pháp huấn luyện phân đoạn không giám sát thường gặp và các mô hình kinh điển B

Điểm kiến thức 1 Định nghĩa phát hiện đối tượng

NỘI DUNG CHÍNH

• Định nghĩa nhiệm vụ và dạng đầu ra của phát hiện đối tượng
• Nền tảng kỹ thuật của các phương pháp phát hiện đối tượng truyền thống

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các khái niệm cơ bản và mục đích của phát hiện đối tượng A
• Tìm hiểu vai trò và tầm quan trọng của phát hiện đối tượng trong các ứng dụng khác nhau A
• Tìm hiểu các phương pháp phát hiện đối tượng truyền thống B

Điểm kiến thức 2 Phát hiện đối tượng hai chiều

NỘI DUNG CHÍNH

• Quy trình làm việc của kỹ thuật phát hiện đối tượng hai chiều, bao gồm đề xuất đối tượng (region proposal), trích xuất đặc trưng, phân loại và hồi quy hộp giới hạn (bounding box regression)
• Các chỉ số đánh giá như độ chính xác (precision), độ phủ (recall), AP (độ chính xác trung bình) và mAP (mean Average Precision)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm được nguyên lý cơ bản và các khung thường gặp của thuật toán phát hiện đối tượng hai chiều (như dòng R-CNN, SSD, YOLO) B
• Có thể giải thích và sử dụng các chỉ số đánh giá của phát hiện đối tượng hai chiều A

Điểm kiến thức 3 Phát hiện đối tượng ba chiều

NỘI DUNG CHÍNH

• Đặc điểm của dữ liệu đám mây điểm ba chiều và ứng dụng của nó trong phát hiện đối tượng
• Các kiến trúc mạng thường dùng để xử lý dữ liệu đám mây điểm, như PointNet và PointNet++
• Bối cảnh ứng dụng của phát hiện đối tượng ba chiều nhìn bao quanh (surround-view) và phát hiện đối tượng ba chiều đa phương thức; ưu, nhược điểm của từng phương thức

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu các thuật toán thường gặp để phát hiện đối tượng trong đám mây điểm B
• Tìm hiểu ứng dụng và yêu cầu kỹ thuật của phát hiện đối tượng ba chiều trong các bối cảnh như lái xe tự hành A
• Tìm hiểu kỹ thuật hợp nhất dữ liệu và thuật toán phát hiện đa phương thức B
• Có thể nhận biết các bối cảnh và ứng dụng phù hợp với phát hiện đa phương thức A

Điểm kiến thức 1 Phương pháp theo dõi đối tượng tất định (deterministic tracking)

NỘI DUNG CHÍNH

• Phương pháp theo dõi dựa trên so khớp đặc trưng
• Phương pháp theo dõi dựa trên đối sánh thống kê vùng (region statistics matching)
• Phương pháp theo dõi dựa trên so khớp mẫu
• Phương pháp theo dõi dựa trên Mean-Shift

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu nguyên lý cốt lõi của phương pháp theo dõi đối tượng tất định A
• Tìm hiểu quy trình cơ bản của các thuật toán theo dõi đối tượng dựa trên so khớp đặc trưng/đối sánh thống kê vùng/so khớp mẫu/Mean-Shift A

Điểm kiến thức 2 Phương pháp theo dõi đối tượng phi tất định (stochastic tracking)

NỘI DUNG CHÍNH

• Theo dõi đối tượng thị giác dựa trên bộ lọc Kalman
• Theo dõi đối tượng thị giác dựa trên bộ lọc hạt (particle filter)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu nguyên lý cốt lõi của phương pháp theo dõi đối tượng phi tất định A
• Tìm hiểu quy trình cơ bản của các thuật toán theo dõi đối tượng dựa trên bộ lọc Kalman/bộ lọc hạt A

Điểm kiến thức 3 Phương pháp theo dõi đối tượng thị giác dựa trên học sâu

NỘI DUNG CHÍNH

• Theo dõi bằng bộ lọc tương quan sâu (deep correlation filter)
• Bộ theo dõi sâu dựa trên phân loại
• Thuật toán theo dõi bằng mạng hai nhánh (Siamese network)
• Thuật toán theo dõi sâu dựa trên tối ưu hóa gradient
• Phương pháp theo dõi sâu dựa trên Transformer

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu nguyên lý cơ bản của các phương pháp theo dõi đối tượng thị giác dựa trên học sâu thường gặp A
• Có thể lập trình để thực hiện thuật toán theo dõi đối tượng thị giác sâu đơn giản B

Điểm kiến thức 1 Phương pháp truy xuất nội dung thị giác truyền thống

NỘI DUNG CHÍNH

• Mục tiêu và cách phân loại truy xuất thị giác (truy xuất thị giác dựa trên văn bản (text-based retrieval) và truy xuất thị giác dựa trên nội dung (CBIR – Content-Based Image Retrieval))
• Quy trình cơ bản của truy xuất nội dung thị giác
• Phương pháp tìm kiếm láng giềng gần nhất xấp xỉ (ANN – Approximate Nearest Neighbor)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Nắm vững mục tiêu và quy trình cơ bản của truy xuất nội dung thị giác
• Hiểu cây K-D và phương pháp tìm kiếm băm trong các phương pháp tìm kiếm láng giềng gần nhất xấp xỉ

Điểm kiến thức 2 Phương pháp truy xuất nội dung thị giác dựa trên học sâu

NỘI DUNG CHÍNH

• Quy trình chung của các phương pháp truy xuất dựa trên học sâu
• Phương pháp truy xuất ảnh dựa trên học độ đo sâu (deep metric learning) (hàm mất mát, học tổ hợp, lấy mẫu, v.v.)
• Phương pháp truy xuất ảnh dựa trên biểu diễn băm sâu (deep hashing) (có giám sát, không giám sát, v.v.)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu các hướng nghiên cứu và phương pháp kinh điển trong học độ đo sâu (deep metric learning)
• Hiểu các phương pháp kinh điển có giám sát và không giám sát của biểu diễn băm sâu (deep hashing)

Điểm kiến thức 1 Mạng sinh đối kháng (GAN – Generative Adversarial Network)

NỘI DUNG CHÍNH

• Định nghĩa và nguyên lý cơ bản
• Các mô hình biến thể của GAN

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu nguyên lý và nắm được các phép suy diễn đơn giản A
• Biết cách gọi các mô hình mạng sinh đối kháng (GAN) có sẵn A
• Biết cách triển khai và huấn luyện mô hình GAN đơn giản B

Điểm kiến thức 2 Bộ tự mã hóa biến phân (VAE – Variational Autoencoder)

NỘI DUNG CHÍNH

• Định nghĩa và nguyên lý cơ bản
• Các mô hình biến thể của VAE

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu nguyên lý và nắm được các phép suy diễn đơn giản A
• Biết cách gọi các mô hình VAE có sẵn A
• Biết cách triển khai và huấn luyện mô hình VAE đơn giản B

Điểm kiến thức 3 Mô hình tự hồi quy (Autoregressive Model)

NỘI DUNG CHÍNH

• Định nghĩa và nguyên lý cơ bản
• Các mô hình biến thể của mô hình autoregressive

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu nguyên lý và nắm được các phép suy diễn đơn giản A
• Biết cách gọi các mô hình tự hồi quy (autoregressive) có sẵn A
• Biết cách triển khai và huấn luyện mô hình tự hồi quy (autoregressive) đơn giản B

Điểm kiến thức 1 Transformer thị giác (Vision Transformer – ViT)

NỘI DUNG CHÍNH

• Kiến trúc chính và các module cơ bản của Transformer
• Khái niệm cơ bản về cơ chế chú ý đa đầu (multi-head attention)
• Khái niệm cơ bản về module chú ý chéo (cross-attention)
• Kiến trúc chính và các module cơ bản của ViT

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Hiểu kiến trúc cơ bản và các module cấu thành của ViT A
• Nắm vững nguyên lý cơ bản của cơ chế chú ý A

Điểm kiến thức 2 Mô hình lớn đa phương thức (Multimodal Large Model)

NỘI DUNG CHÍNH

• Kiến trúc chính và các khái niệm cơ bản của GPT
• Kiến trúc chính và các khái niệm cơ bản của CLIP
• Kiến trúc chính và các khái niệm cơ bản của BLIP

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu khái niệm và tính chất của một số mô hình lớn đa phương thức A
• Có thể sử dụng các mô hình CLIP và BLIP để trích xuất đặc trưng A

Điểm kiến thức 3 Mô hình sinh

NỘI DUNG CHÍNH

• Một số loại mô hình sinh thường gặp
• Kiến trúc chính và các khái niệm cơ bản của mô hình sinh khuếch tán (diffusion model)

YÊU CẦU (MỤC TIÊU NĂNG LỰC)

• Tìm hiểu các mô hình sinh thường gặp A
• Có thể thực hiện phương pháp sinh ảnh đơn giản dựa trên mô hình khuếch tán (diffusion model) A