Unity3D for VR 学习(6): 再次温故知新-3D数学

   一年前,系统学习过3D数学,并记录了一篇博客《C#程序员整理的Unity 3D笔记(十):Unity3D的位移、旋转的3D数学模型》。 一年后,再次温习之。

坐标系:Unity3D使用左手笛卡尔坐标系(Descartes coordinate system)

  • 世界坐标系(world space):在一个游戏场景中,唯一。
  • 物体坐标系\局部坐标系(local\Object space):每个物体有各自的独立的坐标系。如桌子的物体坐标系中,扶手相对桌子腿位置。有时候,不需要对外暴漏太多细节。
  • 摄像机坐标系: 特殊的物体坐标系,用于定义物体在摄像机视野范围内,即那些物体会被摄像机绘制出来。
  • 惯性坐标系 (Intertial):一个“临时”坐标系,为了方便从世界坐标系到物体坐标系的转换,引入的新坐标系。原点和物体坐标系重合,坐标轴平行于世界坐标系。

image

 

 

Unity3D提供的有用的坐标系转换工具:

1 RectTransformUtility

Vector2 WorldToScreenPoint(Camera cam, Vector3 worldPoint)

Ray ScreenPointToRay(Camera cam, Vector2 screenPos)

 

2 《Unity3D项目实战笔记(1):prefab的插件方式

下面代码可以使得:a.prefab被加载到了A的子节点下面,要使得a显示b点位置,一个办法是把a挂接到B下; 另外一个办法是用transform提供的2个方法,转换局部坐标为世界坐标,实现动态定位。

Vector3 pos = A.transform.TransformPoint(a.localPostion);

b.localpostion = B.transform.InverseTransformPoint(pos);

 

向量(Vector):  有大小和方向,没有位置

任意一点,都可以从原点开始用向量来表达,这个也是点和向量非常容易为初学者搞混的地方。同时,因为向量和位置无关,故向量可以在坐标系中任何地方使用。

  • 向量数乘,添加通过标量和向量相乘来实现力的系数调节
  • 向量标准化,大小为1的向量。亦称”法线”
  • 负向量,和原向量大小相等,方向相反的向量
  • 向量加法,向量a和向量b收尾向量,从a的尾到b的头的向量。
  • 向量减法,雷同向量加法。
  • 向量点乘(内积),结果为标量,描述了两个向量的”相似”程度,点乘结果越大,向量越接近。

a.b >0: [0, 90), 方向相同

a.b = 0 :90°   向量正交

a.b<0: (90,180] 方向相反

  • 向量叉乘(叉积), 结果为一个垂直于原来的两个向量。

矩阵(Matrix), 这里主要是2*2, 3*3, 4*4方阵

DirectX使用的是行向量,Ope6nGL使用列向量。方阵的行可被解释为基向量

线性变换保持直线和平行线,原点未移动;包含平移的变换称作仿射变换。

变换物体和变换坐标系区别:变换物体,如旋转20°,意味着物体上所有的点都需要进行重新计算,被移动到新的位置。而旋转坐标系时,物体上的点实际未移动,只是在另外一个坐标系中描述他的位置而已;有时候使用变换坐标系,可以节约底层计算量。(例如碰撞检测,需要涉及的物体在同坐标系中)

线性变换,不会导致平移(原点位置不会发生改变);放射变换在线性基础上接着进行平移。

矩阵的行列式,结果为一个标量。

正交矩阵,如果矩阵是正交的,则与它的转置矩阵相乘,结果为单位矩阵。同时,也可知正交矩阵的转置矩阵为逆矩阵。

正交投影(降维操作),也称作平行投影。3D投影到2D屏幕上,该平面称作投影平面。

透视投影,投影线不再平行而是相交于一点–投影中心。类似“小孔成像”,投影是倒着的。

欧拉角,使用三个角度来保存方位:heading,Y轴,(-180,180);pitch, X轴, (-90, 90); bank, Z轴,(-180,180).

四元数(Quation),用4个数字表达方位,避免了欧拉角的”万向锁”、Slerp球形差值问题。

 

参考书籍:

赞一下,暴风魔镜4 + 小米Note顶配2K屏,具有里程碑意义,能连续玩VR 20分钟以上

分辨率好、陀螺仪好。

相比之下,千元机魅蓝Note 2就是个渣渣:远离千元机,如果你玩VR的话。

VR未来,或许能圆一个小小的遗憾:5年前曾多次出差哈尔滨,刚好有冰雪大世界,心里还是蛮想看的,但是因为畏惧寒冷(-35°的长时间户外活动),故未能出行。如果能通过VR远程看,则再好不过了,呵呵。

Unity3D for VR 学习(5): VR Gaze Input

      在VR中,最“贴切”的输入方式是眼神,即 VR Gaze Input,如盯着某UGUI UI、某GameObject,2s后触发事件–  显示ToolTip或者切换场景等。 因为这不需要蓝牙手柄输入,显得更自然且方便,风靡VR Gear的Lamper VR游戏,就是Gaze Input(陀螺仪)的典范—可顺利完成游戏的全部过程,的确很酷。

image

 

UGUI UI Gaze 选择

1 GazeInputModule(继承自PointerInputModule),挂到EventSystem实现。

2 通过输入按钮触发选择事件;或者Gaze 2s,触发选择事件。

   这里使用了raycasting,故要求Canvas是Word坐标系,且要求有raphic Raycaster组件,并挂上Center Eye Camera(其他L、R VR Eye未测试)。

3 EventSystem上,disable StandaloneInputModule & TouchInputModule。

4 会触发IPointEnter事件,通过查看Button的源码知道会触发Button.Hightlight高亮

 

GameObject Gaze 选择

5 在上面UGUI的基础上,给Camera添加PhysicsRaycaster组件

6 给GameObject,如Cube添加相应EventTriger:通过添加EventTrigger组件或者一个继承IPointDown**的脚本,来响应对应的Event即可。

 

备注:在UGUI开源工程中,有很多源码值得解读

如:ExecuteEvents.cs,核心代码片段(IEventSystemHandler):

public static bool Execute<T>(GameObject target, BaseEventData eventData, EventFunction<T> functor) where T : IEventSystemHandler
        {
            var internalHandlers = s_HandlerListPool.Get();
            GetEventList<T>(target, internalHandlers);
            //    if (s_InternalHandlers.Count > 0)
            //        Debug.Log("Executinng " + typeof (T) + " on " + target);

            for (var i = 0; i < internalHandlers.Count; i++)
            {
                T arg;
                try
                {
                    arg = (T)internalHandlers[i];
                }
                catch (Exception e)
                {
                    var temp = internalHandlers[i];
                    Debug.LogException(new Exception(string.Format("Type {0} expected {1} received.", typeof(T).Name, temp.GetType().Name), e));
                    continue;
                }

                try
                {
                    functor(arg, eventData);
                }
                catch (Exception e)
                {
                    Debug.LogException(e);
                }
            }

            var handlerCount = internalHandlers.Count;
            s_HandlerListPool.Release(internalHandlers);
            return handlerCount > 0;
        }

 

如:PhysicsRaycaster.cs ,核心代码片段(Physics.RaycastAll):

public override void Raycast(PointerEventData eventData, List<RaycastResult> resultAppendList)
        {
            if (eventCamera == null)
                return;

            var ray = eventCamera.ScreenPointToRay(eventData.position);
            float dist = eventCamera.farClipPlane – eventCamera.nearClipPlane;

            var hits = Physics.RaycastAll(ray, dist, finalEventMask);

            if (hits.Length > 1)
                System.Array.Sort(hits, (r1, r2) => r1.distance.CompareTo(r2.distance));

            if (hits.Length != 0)
            {
                for (int b = 0, bmax = hits.Length; b < bmax; ++b)
                {
                    var result = new RaycastResult
                    {
                        gameObject = hits[b].collider.gameObject,
                        module = this,
                        distance = hits[b].distance,
                        worldPosition = hits[b].point,
                        worldNormal = hits[b].normal,
                        screenPosition = eventData.position,
                        index = resultAppendList.Count,
                        sortingLayer = 0,
                        sortingOrder = 0
                    };
                    resultAppendList.Add(result);
                }
            }
        }

 

源码下载地址:http://pan.baidu.com/s/1hqYX2Ry 

【按住Alt + 鼠标。 到Cube上后,2s触发“Selected”事件】

 

参考英文:Gaze Fuse Buttons in Unity

Unity3D for VR 学习(4): 自绘摄像机的视口区域锥体

 

     在Unity Editor下,当选择Camera组件后,可呈现出Camera视口区域锥体,非常方便。但是当选择其他物体,如Cube后,就无法得知是否在Camera市口区内了,这里我找到了雨松MOMO的一篇博客《Unity3D研究院之获取摄像机的视口区域》,他用Camera.fieldOfView和Camera.aspect算出屏幕比例,然后再得出width、height(摄像机)绘制了四边形,非常酷,可以解决这个痛点。

  我在巨人肩膀上,做了一些拓展:

自动获得Camera的farClipPlane和nearClipPlane

void Start()
    {
        if (!theCamera)
        {
            theCamera = this.GetComponent<Camera>();
        }

        upperDistance = theCamera.farClipPlane;
        lowerDistance = theCamera.nearClipPlane;
        tx = theCamera.transform;
    }

 

连线far和near ClipPlane

void FindLower2UpperCorners()
{
    Vector3[] corners_upper = GetCorners(upperDistance);
    Vector3[] corners_lower = GetCorners(lowerDistance);

    Debug.DrawLine(corners_lower[0], corners_upper[0], Color.blue);
    Debug.DrawLine(corners_lower[1], corners_upper[1], Color.blue);
    Debug.DrawLine(corners_lower[2], corners_upper[2], Color.blue);
    Debug.DrawLine(corners_lower[3], corners_upper[3], Color.blue);
}

 

挂接这个CameraViewEx.cs脚本到Camera组件同GameObject即可, 运行时有效:

image

 

源码下载地址:http://git.oschina.net/xifarm/VR_Mojing/

 

备注:

不用这个脚本,直接在Game视图,打开Gizmos也可以看到Unity自带的Camera视口区域锥体。

Unity3D for VR 学习(3): 暴风魔镜PC Input小改造–自己动手、丰衣足食

      在做手游的时候,80%时间是在PC调试的,例如业务逻辑、AI算法、核心玩法等。

拿到魔镜提供的demo,晕了,必须得安装到Android机器上,才能调试,究其原因,有三:

  1. 需要用到手机陀螺仪
  2. 需要用到蓝牙手柄
  3. 需要用到魔镜的凸透镜

这些都是客观原因,但是每次打包后,安装Android,再戴到头上,Debug、log啥的都看不清,呵呵。

故就着手改造一下输入快捷键,从而可以方便的模拟手机陀螺仪输入、模拟蓝牙输入、模拟非VR Mode切换。

 

1 模拟手机陀螺仪输入

这个在mojing.cs有现成隐藏代码,在UpdateState()函数中。

  • 快捷键F: ok键
  • 快捷键Alt:按住,鼠标模拟GazePostion位移
  • 快捷键Ctrl:按住,鼠标模拟GazePostion旋转

2 模拟蓝牙输入

在学习了MojingInputManager.OnButtonDown\OnButtonUp后,知道只要传递过去string即可,其中用/分隔,第一位暂时不用,第二位用MojingKeyCode预定定义的数字。

  • 快捷键WASD:模拟蓝牙
  • 快捷键Q:模拟蓝牙OK

3 模拟非VR Mode切换

VR Mode切换,是通过设置Mojing.SDK.VRModeEnabled实现的,原理是对Left、Right Camera和Center Camera可见性进行隐藏或者显示实现切换,找到了Demo.cs脚本中,已经封装好了切换和返回主菜单函数,调用即可:GameObject.FindObjectOfType<Demo>().ToggleVRMode();

  • 快捷键R:模拟切换VR Mode
  • 快捷键B:模拟回到主菜单

 

借用网络一句话:VR开发,比App开发,多一个Camera。 搭建好调试环境,就会好很多。

 

源码下载:MojingInputManagerEditor.cs

使用:在MojingInputManager.prefab添加MojingInputManagerEditor脚本,然后点击Apply即可。

image

Unity3D for VR 学习(2): 暴风魔镜框架探索

学习一个新技术,有三个法宝:

故,学习魔镜4技术,亦如是也。

image

 

暴风魔镜4是 硬件 + 暴风VR SDK软件的CardBoard VR解决方案

硬件

魔镜4硬件提供了展示容器工具,主要由2个凸透镜和塑料头盔构成。故为了看到效果酷炫的VR效果,必须要依赖5寸以上Android手机–720P以上,把通过暴风魔镜SDK做的App放入里面,通过暴风魔镜凸透镜才能看到VR的效果–这种Cardboard方式VR,是基于2年前Google CardBoard“启发”的。

参考:暴风魔镜4适配机型列表(2015.12.2更新)

网上也有说几十元,可以自己组装Google CardBoard的,不过对于DIY硬件,我没有太大动力,100多元钱,买个现成的暴风魔镜 4,非常好了。

 

暴风SDK软件

SDK软件,才是Unity3D程序员重点关注的。

image

这张图,是魔镜提供的360度图片的Unity3D层次截图,这里我们可以看出部分SDK软件框架:

  1. UI:  这里主要采用UGUI,做了一个Button,返回主界面。 在VR中,UGUI 的3D UI效果就立显了,还有就是UGUI是Unity原生的,效果又不错,故做UI选择UGUI是大趋势。
  2. MojingMainMojingVRHead:负责陀螺仪数据接收,水平坐标x和垂直坐标y数据。
  3. MojingInputManager:负责手机蓝牙的输入控制,直接拿来复用即可,魔镜出厂适配了魔镜蓝牙和小米蓝牙控制器,一般而言,目前蓝牙手柄是比较常见的外设输入,可能随着Oculus Touch面世会升华。
  4. GazePointer\Pose3D:眼睛目视前方的小黄点。这个是VR应用中一个很酷的实践,当你没有蓝牙控制器,可通过这个轨迹点,实现功能选择。通过代码中,看到很多流利的英文注释,我搜索了一下github,原来当年google CardBoard代码,一模一样嘛,呵呵。
  5. MojingEye: 一个VR应用,要用到2个Camera,分别是Left、Right,类似人的左右眼。

———————————————————————————————————

VR的常见Q&A

1 PC和APP的应用能否复用?

答复:不能复用。app应用是手机上的,PC用的*.exe的,不能复用。 如果是3D片源则可以。

2 近视镜问题?

答复:暴风魔镜4,提供的空间挺大的,我600度近视,带着眼镜,没有问题。且说,Oculus Rift提供了3组镜片,对于<=400度近视的,完全没有问题的。

3 伤眼睛问题?

答复:这个是我最担心的,不过试了几天,发现貌似不伤眼睛,网上查了一下—

让人眼感受到具有深度信息的持续的3D渲染是虚拟现实最重要的部分。

第一,为了产生深度信息,它给每个眼睛生成一张图片,这两张图片在视觉上有一点点偏移量,这样就可以模拟人眼的视差,所谓视差就是人脑处理在不同位置看到的物体而产生的深度信息。第二,产生更好的视觉效果,它将图片扭曲从而模拟人眼的球形表面,通过桶形畸变技术可以达到这个效果。

 

==> 在使用暴风魔镜4的时候,你的眼睛其实在任何时候都在观看远景。

4 市场成熟度问题?

答复:目前技术限制,依然是成熟前期,如果技术突破了:2k+屏幕、60FPS+、<20ms这3个要素,且VR价格大幅度降低,则是VR内容突飞猛进的市场阶段–或许2016Q3后会有不错的市场。

5 用什么来开发VR产品?

答复:主要是Unity3D,UE4,而其中Unity3D占据了70%以上,据说。 VR为了牛X在PC VR,但是初期暴风魔镜100多元的价格,做手机版App,正是Unity3D的长项也。

6 图像抗镜片畸变?

答复:畸变的英文单词distortion, 物体上的直线经过透镜成像后变成弯曲的现象。畸变是由于透镜的放大率随光束和主轴间所成角度改变而引起。 详细看百科:畸变.

 

我在网上查了一些,新出的一本《Learning Virtual Reality》书,PDF电子版链接:http://pan.baidu.com/s/1c1lP64C

image

 

搞了好久,终于弄明白,暴风魔镜和暴风影音是一伙的,非常好,尤其是大厂能与时俱进的,佩服!

再次复习一下Unity3D的3D数学,我理解的,这个在VR技术,应用会很多:

C#程序员整理的Unity 3D笔记(十):Unity3D的位移、旋转的3D数学模型

Unity3D for VR 学习(1): 又一个新玩具 暴风魔镜 4(Android)

  2016年伊始,有了VR虚拟现实硬件设备:  暴风魔镜4–好奇者的新玩具 .

image

     

       2015年下半年的朋友圈中各种VR、AR的新闻层次不穷,搞的我也心痒痒的:好歹咱也是职业的Unity3D程序员,高大上的Oculus rift dk2咱玩不起,搞个廉价的VR产品也玩玩嘛! 故, 暴风魔镜 4刚发布就在网上预订了。    原估计春节前能到货,没有想到元旦前就到货了,高兴 — 业内良心嘛。

   

迫不及待玩了几天,小结如下:

1 魅蓝 Note 2 + 魔镜4 的VR效果不错,完全对得起159元的预订价,比预期的好得多,类似在家看3D大片效果。通过魔镜自带的Unity demo–第一人称漫游、第三人称漫游、360°全景图片等。(VR 的3D效果,无法予以言表)

2 CardBoard类似的VR不费电,也不用连接电线,这点不错,完美复用了手机的软硬件,这样有利于大幅度降低VR商业门槛。

3 VR不仅仅是资本市场火热,技术市场同样也在酝酿中–由硬件、软件技术的革新推动产业的升级。 未来3年 VR的潜力不可小觑的。

 

image

 

 

魔镜4存在如下问题:

  1. 放入手机的卡槽不严密,脑袋一晃就咔嚓盒子打开了,就得重新“合上仓门”。
  2. 不知道是魔镜app问题,还是手机问题,或者是魔镜VR SDK问题,魔镜里面的视图–一会方向就有问题了,陀螺仪问题? 这点在Unity VR demo中不明显; 在魔镜app中非常明显,感觉很难用。
  3. 魔镜 Unity VR 的SDK导入后,如果是Unity 5.3的话,需要修改一下废弃的API函数,这点应该和Unity与时俱进嘛, 目前VR开发者中Unity占大头的。

 

吐槽一下:

距离《可以WPF编程的玩具:Xbox 360 Kinect–开箱》 已经1.5年了,放弃Kinect原因很简单,社区太冷淡,今年夏天通过*宝把Kinect卖了。