双色球基本走势图打印|双色球和值走势图新浪

微信AR技術探索之(1):三維物體的識別與檢測

青亭網( ID:qingtinwang )--鏈接科技前沿,服務商業創新

增強現實技術 (AR,Augmented Reality) 將計算機生成的虛擬世界嵌套在真實世界中。和目前同樣火爆的虛擬現實(VR,Virtual Reality)不同,它不是用虛擬化的技術創造出一個完全虛擬的世界來替代現實世界,而是將真實的環境和虛擬的物體實時地疊加在同一個畫面和空間并同時存在。

最典型的 AR 設備就是谷歌眼鏡,此外其他知名的 AR 產品還有微軟的 HoloLens 等。去年大熱的 Pokemon Go 游戲,則很好地為大家做了一次 AR 科普,但 Pokemon Go 屬于 LBS+AR ,是一種相對比較簡單的體驗,并不是真正視覺的 AR 技術。

Pokemon Go 和 Hololens 的大熱,讓人們看到了 AR 技術所能帶來的獨特體驗

微信圖片_20170916114629

從上面可以看到,典型的 AR 場景是通過顯示設備在現實世界中看到虛擬物體。攝像頭負責捕捉實時場景畫面,后臺系統通過實時的圖像和傳感器數據對三維環境識別和定位,最后顯示設備將虛擬物體和現實場景結合的圖像渲染后呈現出來。在 AR 的技術流程中,數據的采集(圖像和傳感器)已經比較成熟,渲染技術也有了比較好的進步,更多的難點存在于對三維環境的識別和定位上。近幾年,由于計算機視覺和 slam 算法的發展完善,使得它的商業應用成為可能。

智能手機作為手持設備的代表,也變得越來越好。顯示器的分辨率越來越高,處理器越來越強,傳感器越來越多,成為消費者接觸 AR 應用最為方便的形式。 目前,我們所做的工作都是基于手機單目視覺的。

微信圖片_20170916114635

一、基于平面圖像的 AR 技術

在整個視覺 AR 的發展過程中,一開始使用二維碼或者類似的 BCH 碼進行識別和平面定位,但是二維碼的非自然人工痕跡還是很大地局限了它的應用,所以,接著很自然的擴展就是使用二維圖片來進行識別和定位,但是并不是所有的二維圖片都可以做到,一些紋理簡單的圖片可能就無法用視覺的方法識別和定位。基于二維碼和二位圖片的識別跟蹤技術已經基本成熟,也有了廣泛的應用,算法改進的主要目標還是在于提高算法的穩定性和準確性。我們微信 AR 團隊在這上面也有了非常深厚的積累,能在手機端做到實時的檢測跟蹤和渲染。

微信圖片_20170916114639

基于簡單的二維圖片的技術還是無法應用到一些復雜場景。二維圖片的自然擴展就是三維物體了。一些簡單的規則三維物體,比如圓柱形,可樂罐同樣可以作為虛實結合的載體。稍微復雜一些的三維物體通常也可以通過分解成簡單規則物體的方式來處理。但是,如何處理通用的物體,仍然是一個巨大的挑戰。

二、基于已知尺寸三維物體的AR技術

已知:三維物體通常是指已知物體精確尺寸或者 CAD 設計模型的三維物體,通常常見的有立方體、錐體等。

下面我將主要介紹下我們團隊在三維物體上的一些探索。算法的流程圖如下:

微信截圖_20170916115613

在 AR 技術中,進行三維配準計算初始地圖到實時視頻的位姿是一個核心的問題。

整個流程主要包含兩個步驟:首先是進行模型注冊,然后是在注冊的模型中識別出匹配的模型并進行檢測、計算相關的位姿參數。

1,三維物體模型注冊

首先,需要對相機的內參進行標定。由于我們是基于手機做的應用,因此我們對常用的幾個手機型號的內參做了標定。

模型注冊的主要目標是建立三維物體的特征點的三維坐標信息庫。

對于這些已知精確尺寸的三維物體,通過二維圖像上的一些簡單標定就可以完成模型注冊。

2,三維物體檢測與姿態估計

在檢測過程中,拍攝視頻畫面,檢測圖像的自然特征,將當前視頻圖像與指定模型的參考圖像匹配,根據匹配結果,判斷當前場景圖像與模型圖像是否相同。如果不相同,則繼續識別過程。否則,進入到檢測階段。

在檢測階段,根據映射表找到當前圖像對應的物體模型的 3D 點坐標,得到 2D 坐標到 3D 空間坐標的投影矩陣,根據投影矩陣和已知的內參矩陣恢復出當前圖像幀的位姿矩陣,之后進行幾何校驗和反投影誤差分析,判斷其是否是有效的位姿矩陣。如果存在有效的位姿矩陣,那么,我們就可以定義虛擬物體的坐標系,疊加三維虛擬物體進行渲染。此后開始進入到跟蹤階段進行跟蹤計算新的位姿矩陣,當跟蹤到的點數影響到了計算位姿矩陣的精度時,則重新進行識別和檢測。

下面的視頻演示了我們的一些實驗結果。

3,三維物體跟蹤

三維物體跟蹤與二維平面圖像的跟蹤技術大同小異,都是通過對物體一些關鍵點以及邊緣等的投影來進行匹配和姿態估計。與檢測不同的是,在跟蹤時我們會充分利用幀間的連續性,實時創建出物體的運動模型,并根據運動模型預判和優化姿態。

此外,三維物體跟蹤我們采用了基于多關鍵幀(Multi Keyframe)的跟蹤方式,這是由于三維物體有多個面,多關鍵幀比單關鍵幀能夠獲取更加魯棒的姿態。

 

三、基于未知三維物體與環境的AR技術

1,三維物體重建

對于未知三維物體,我們就不能使用上面介紹的三維信息注冊的方法了,因為三維信息注冊需要首先已知物體的設計模型,或者物體為簡單的三維形狀(立方體、錐體等)。對于未知或者復雜三維物體,我們需要首先采用三維重建的技術來獲取物體的三維信息。

三維重建是使用物體在若干二維圖像上的投影,來恢復三維信息的技術。聽起來很神奇是不是?三維重建一直是計算機視覺中的一個熱門領域也是一個難點。它主要利用 SFM(Structure from Motion)這類的技術,根據多幀圖像間的匹配與三角測量學的結合估計出三維坐標,并經過迭代優化獲得接近真實物體的結果。

三維重建分為稠密重建與稀疏重建,他們的基本思想大同小異。在 AR 中我們通常為了速度考慮會更多地使用稀疏或者半稠密的三維重建技術,但稠密重建除了能夠恢復三維信息還能夠重建物體的紋理。

下面是我們手機端三維重建的一些演示:

總之,通過三維重建技術,我們能夠獲取未知物體的三維坐標,這樣完成了三維信息的注冊。后面再進行第二章中的檢測與跟蹤,就可以實現任意物體的三維 AR 了。

2,三維環境重建

此外在很多的應用中,我們需要對周圍的環境進行理解,將虛擬和 3D 環境結合起來,這也是一個非常充滿挑戰的問題。三維場景的識別理解還有很大的探索空間,即便是目前火爆的 HoloLens 從追求完美的角度看也還是存在很多提升的空間。

在三維環境的識別跟蹤上,最核心的就是“即時定位與地圖構建”(SLAM,Simultaneously Localization And Mapping) , 目前 AR 主要還是以視覺 SLAM 為主,其他傳感器為輔。 SLAM 問題可以描述為:你處在一個陌生的環境中,需要解決“我在哪里”,即定位問題(Localization)。周圍環境是怎么樣的,即構建即時地圖(Mapping) 。這樣你一邊走,一邊理解周圍的環境(Mapping),一邊確定自己在所建地圖上的位置 (Localization) 。

為了能正確識別自然場景,需要保存大量的參考視圖。同時根據輸入圖像中提取的相應特征與場景圖像的特征進行匹配,然后根據匹配點的對應關系對物體的三維位姿進行計算。同樣,在這里需要首先對所有的場景進行三維重建,完成重建注冊過程。我們微信AI團隊對于 SLAM 技術同樣有一定積累,在后續的文章中,我們將會介紹三維環境 AR 技術與 SLAM 的一些內容。

?四、AR技術的難點和挑戰

正如上面所介紹的,這里面存在很多關鍵的技術難點。

物體的檢測和識別:發現并找到場景中的目標。目前,通用的物體檢測和識別技術可以分為兩種:一種是從分類和檢測的角度出發,識別某一類的對象而不是具體的個體;另外一種是從圖像匹配的角度出發,通過匹配的方式找到最相關的圖像,從而定位環境中的目標。近幾年,隨著深度學習技術的不斷發展,檢測和識別的性能也在不斷提高中。

跟蹤定位技術:計算機視覺跟蹤提供了一種低成本的解決方法,但是基于視覺的方法受圖像噪聲,光照,尺度,旋轉等的影響容易對跟蹤精度造成較大的影響,因此研究重點在于如何精確而又穩定地進行跟蹤。目前的發展方向是基于 slam 的方法,可以跟蹤較大范圍,在跟蹤的同時也可以完成場景的重建,但這類方法計算速度慢,數據量大,算法復雜度高,因此后續的難度也不小。

動態場景與 AR 真實感之間的矛盾:目前的應用都是假設場景中的一切事物都是靜態的,但是在現實生活中,尤其是在室外場景中,所有的物體都在變化,如光照、天氣、行人、等等。因此,物體動態檢測和跟蹤技術也是未來 AR 研究的重點。

此外,如何在手機或其他設備上實時渲染也是一個需要不斷優化的過程。(來源:微信AI)

更多精彩內容,關注青亭網微信號(ID:qingtinwang),或者來微博@青亭網與我們互動!轉載請注明版權和原文鏈接!
青亭網

微信掃碼關注青亭網

青亭網

青亭 | 前沿科技交流群01

責任編輯:hi188
分享到QQ 分享到微信
后參與評論
切換注冊

登錄

忘記密碼 ?

您也可以使用第三方帳號快捷登錄

Q Q 登 錄
微 博 登 錄
切換登錄

注冊

双色球基本走势图打印 15选五开奖结果走势图百度 北京快乐8和北京28是同时开奖吗 帝豪捕鱼电玩城下载 福建11选五走势图实时 极速时时彩必中规律 哪款斗地主可以甩三张牌 重庆时时彩计划稳 姚记背面认牌 看福建体彩11选五走势图 十五选五中奖规则图