2016年10月27日 星期四

Week07 施柏豪上課筆記


上課內容筆記

AR的形式與應用

  • 以影片介紹AR的行銷與應用
  • 從 Ikea 的型錄到 ARToolKit,在不同領域AR都有應用發展
  • 十年前的AR常見的代表是 Magic Book , The invisible trains ,那時候主要載具是掌上型PDA,設備解析度低,AR主要的Marker表現形式是黑白的QR Code。

Processing程式設計

目的:以10行以內的程式碼,開啟筆電攝影機/外接攝影機
開啟新的processing專案,匯入video Library:

現在的筆電基本都有webcam,但若要看得更清楚,通常會自備USB webcam,這時侯,要如何讓Processing環境識別第2個攝影機鏡頭呢? 必須去官網找API,看相關的function有無鏡頭參數可以引用,答案是有的:

撰寫以下的程式碼:
import processing.video.*;
Capture video;

void setup(){
  size(640,480);
  video = new Capture(this,640,480,"Logitech HD Webcam C525");
  video.start();
}

void draw(){
  //video.read(); 
  image(video,0,0);
}

void captureEvent(Capture c){
  c.read();
}

Processing程式設計延伸應用 - 開源專案資源

老師請我們以關鍵字"processing augmented reality "搜尋其他開源專案或是函式庫,觀看別人專案的example觀摩更深的程式功能。

如以下連結,是一位熱心的外國人分享他在github上的processing專案,跟AR應用有關。

https://forum.processing.org/two/discussion/12341/new-augmented-reality-library

https://github.com/poqudrof/PapAR

Github是一個分享程式碼的網站,到網站之後我們可以先用download為zip檔的方式,將整個專案下載到本機端。開啟目的資料夾,找Library,如下圖將紅色框框的資料夾複製貼上到原來Procesing資料夾內。

匯入 Library 以後,重啟 Processing,使PapAR專案內的各項設定能正確的被Processing讀取。



不過,可能因為專案環境不同或是作者本身程式沒有完整,在課堂上老師沒辦法順利展示這個作者在Github上的專案功能,資訊的環境因為變更快速,很多東西今天被併購明天可能就再也看不到,發生今天課堂的問題其實一點也不意外,倒是我發現葉老師在那10多餘分鐘內專注debug的精神,才是克服困難要具備的基本能力。

Leap Motion 人機互動介紹

有個心得:露天上有一批Leap Motion 好便宜,要嘗試可以去買來玩 XD

Microsoft Holoportation 技術應用

上課老師提到Holoportation的投影技術,也談到全息投影的概念,不過目前好像都是概念上的宣傳,尚未實現真正的全息投影,像是智慧眼鏡中的擴增實境表現也僅限於鏡片上的虛擬資訊呈現,是在個人眼睛中的小世界,HTC Vive那兩個燈塔的存在,的確有增加了個人在虛擬世界的沉浸感,但是仍舊是個人世界,什麼時候才能讓人人的眼睛虹膜都具備連網投影的能力呢?

上課心得

在老師介紹眾多科技設備的過程中,我觀察到這些多媒體應用很炫很酷的同時,有些的基礎是來自ACM SIGGRAPH(美國計算機協會計算機圖形專業組)組織學者的研究再轉化到商業應用,電腦圖學本身是資訊工程領域的一個分支,資工這個圈子,比較強調電腦理論以及技術面的革新,技術上的不斷進步對人類而言有其價值,但是單有技術仍不足以展現科技的"美",能感動人的是透過故事包裝技術,將技術的好導到人與人情感互動上( ex.3C產品、家電、車廠的電視廣告都是這麼打的XD)

了解技術端,並能先一步想到技術能解掉的未知困難,這種轉化聯想與連結能力,我相信是未來工作的關鍵能力。

SIGGRAPH 維基百科介紹
https://zh.wikipedia.org/wiki/SIGGRAPH


20161027 小楓兒筆記

1. WebCam

2. Camera Calibration 攝影機校正

3. AR

    2000年Magic Book

    Invisible train paper
    http://www.unfoldingleadership.com/downloads/MagicBook.pdf

 
    invisible train
    

    ARToolkit paper
    http://dl.acm.org/citation.cfm?id=1186168

    ARToolkit(maker正方形黑白程式)
    
 
    虛擬傢俱擺設設計系統
    http://www.cce.mcu.edu.tw/project/data/97/22/index.html

    Augmented Reality Demo
    https://www.youtube.com/watch?v=oH_LfXnklRw

    IKEA 2016 Catalogue: Augmented Reality
    https://www.youtube.com/watch?v=xC6t2eEPkPc

    Place IKEA furniture in your home with augmented reality

    
4. Holoportation
    https://www.youtube.com/watch?v=7d59O6cfaM0
    用架設不同角度位子的攝影機,拍攝產生3D立體感(3D網格資訊)

   teleport
   

   Chessboard
 


5.實作:拿金幣

papAR
https://github.com/poqudrof/PapAR/blob/master/data/markers/A3-small1.svg

下載video
開processing→Sketch(速寫本)→Import Library(引用庫文件)→Add Library(添加庫文件)→搜尋video→選擇processing video安裝

開影片範例檔
file(文件)→Examples(範例程序)→Libraries→Video→Capture→AsciiVideo





import processing.video.*;
Capture video;
void setup(){
  size(640,480);
  video=new Capture(this,640,480);
  video.start();
}
void draw(){
  //video.read(); //會顫抖所以才有下面的captureEvent去解決
  image(video,0,0);
}
void captureEvent(Capture c){
  c.read();
}



*因為processing內建沒有AR檔案,所以要從網路下載
Google搜尋processing library ar
https://forum.processing.org/two/discussion/12341/new-augmented-reality-library
→拉到最下面的網址連結
    https://github.com/poqudrof/PapAR
→點選wiki下載 link: PapAR with Depedencies
    https://github.com/poqudrof/PapAR/wiki/Quick-start
→解壓縮檔案→複製libraries裡的檔案(除了video檔)到原檔案的libraries(文件裡)

開AR範例檔做設定(可參考下載網址教學)
file(文件)→Examples(範例程序)→Libraries→Conrtibuted Libraries→PapAR→paperCalibration→PCConfiguration

設定好後開
Conrtibuted Libraries→PapAR→paperExamples→PaperApp2D

***測試結果失敗



6. Leap Motion
  安裝驅動程式: https://www.leapmotion.com/setup

  Introducing the Leap Motion  https://www.youtube.com/watch?v=_d6KuiuteIA

  Magic Leap Demo
  https://www.youtube.com/watch?v=kw0-JRa9n94



*procexp(Microsoft找病毒程式)
https://technet.microsoft.com/en-us/sysinternals/processexplorer.aspx
用炸彈去炸詭異的訊息,就會顯示是哪個軟體在運作

20161027_week07筆記_豐佳燕

20171027
1.web cam
2.camera calibration 攝影校正
3.AR
4.Holoprotration
5. Leap Motion

先欣賞AR影片
輸入「Augmented reality demo」影片

https://www.youtube.com/watch?v=n4nnLti-72A

這些影片的特色:書或宣傳單、攝影機


AR歷史

HITLab-ATR Siggraph ‘99 Demo Website:




1. 2000 Magic Book, Invisible Train ARTool (marker 正方形的黑白方塊)



http://dl.acm.org/citation.cfm?id=1186168
The invisible train: a collaborative handheld augmented reality demonstrator
http://www.unfoldingleadership.com/downloads/MagicBook.pdf
http://www.cce.mcu.edu.tw/project/data/97/22/index.html
虛擬傢俱擺設設計系統

開始寫程式
1.匯入video
2.匯入範例檔 Video-->Capture-->Aciivideo




import processing.video.*; 宣告擷取影片
Capture video;
void setup(){
  size(640,480);
  video=new Capture(this, 640,480);
  video.start();
}
void draw(){
  //video.read();
  image(video, 0,0);
}
void captureEvent(Capture c) {
   c.read();

}

This event function is run when a new camera frame is available. Use the read() method to capture this frame. If there is more than one capture device in the program, captureEvent() is called each time any of the devices has a new frame available. Use an if within the function to determine which device is triggering the event. 

This function is for people who want to process the image data separately from drawing (and as quickly as possible.) You cannot draw to the screen inside the captureEvent() function. If you want to draw immediately based on the new image, then use the Capture.available() method.




在processing 3裡安裝AR(很可惜,裝不起來)
github
Linux創建者
GitHub是一個透過Git進行版本控制的軟體原始碼代管服務

搜尋關鍵字:



安裝papAR



小插曲:安裝process explore
Windows工作管理員進階版 - Process Explorer,可以顯示哪些背景控點(Handles)、DLL檔處理程序已經被開啟或載入,切換成上下視窗模式(Show Lower Pane)時,上方視窗可以顯示處理程序的即時動態,包含程序的所屬帳戶名稱、PID、敘述、公司等資訊,而下方視窗的顯示內容則取決於Process Explorer是處於背景控點或DLL模式,其獨特功能是追蹤DLL版本問題或背景控點遺漏,藉以察覺Windows及應用程式的問題。下載



Leap Motion, Inc.英語:Leap Motion, Inc.)是一家製造和銷售電腦硬體感應裝置的公司。類似於滑鼠,其裝置支援利用手掌和手指動作來進行輸入,但無需手部接觸或者輕觸。它使用高階的動作感應專利技術進行人機互動。源於在利用鍵盤和滑鼠進行3D建模時的挫折中得到的靈感,Leap Motion 宣稱虛擬建模應該與在真實世界中鑄泥塑一樣簡單。


Holoprotration

Microsoft 開發,投影式對話



teleport


心得:
雖然在設定AR時遇到一些問題,最後還是無法啟動起來。但學到加入「擷取影片」的方式,可以自拍,又學到新的程式碼(其實對我而言,每次上課都是新的學習與挑戰!),就覺得很開心!謝謝老師辛苦的指導。



week07 張曉瑀上課筆記

20161027 上課筆記

1. webcam
2.  2000 Magic Book, Invisible Train
ARToolkit (marker正方形的黑白方塊)
https://studierstube.icg.tugraz.at/invisible…/…/crw_7800.jpg
http://dl.acm.org/citation.cfm?id=1186168

今日新玩具:Leap Motion
體感互動













補充:hololens teleportation

今日實作:Processing

step1: 利用webcam



















step2: download https://github.com/poqudrof/PapAR/wiki/Quick-start
將papAR裝入library中
今天測試!!!失敗



Week 07 蕭阿火筆記

本日上課重點


- Web cam
- Camera Calibration 攝影機校正
- AR

本日上課小記
- Web cam
開啟Processing並下載video的函式庫

打開ASCiiVideo可發現其中有些程式碼可供使用
import processing.video.*;
Capture video;    此兩句程式碼的目的是開啟video工具,並宣告擷取影片
void setup(){
  size(640,480);   開啟一個大小為640,480來打開視窗
  video = new Capture(this, 640, 480);   擷取一個解析度為640 480的影片圖檔
  // Start capturing the images from the camera
  video.start();    打開視訊鏡頭並且擷取影像
}
void draw(){
  image(video,0,0);    顯示出(畫出)擷取的影像
}
void captureEvent(Capture c) {
  c.read();     更新讀到的影像,因此可以透過影像的更新變成影片的概念。若是不使用這個方法,則
                     會使得顯示出來的影片一直抖動。
}


程式人的facebook: XD
https://github.com/poqudrof/PapAR/blob/master/data/markers/A3-small1.svg


Process explorer-Sysinternals 微軟官方的工具,可以使用進階工作管理員
(標靶功能可以來抓程式的位置等)

- ARprocessing


Processing的官網上並沒有AR的相關官方範例專案,
→透過用github來尋找專案
.md的檔案會變成文章檔 有標題內容等等。
EX: PapAR     new→PapARt

- Leapmotion
類似體感的裝置
(港版比較便宜xd)

-Holoportation介紹
運用多台的攝影機來拍攝,並且疊合,形成一個3D的模型顯影。

1027許君平上課筆記

10/27
- Web cam
- Camera Calibration 攝影機校正

- AR


1. 2000 Magic Book, Invisible Train
ARToolkit (marker正方形的黑白方塊)
https://studierstube.icg.tugraz.at/invisible…/…/crw_7800.jpg

http://dl.acm.org/citation.cfm?id=1186168

The invisible train: a collaborative handheld augmented reality demonstrator
http://www.unfoldingleadership.com/downloads/MagicBook.pdf

http://www.cce.mcu.edu.tw/project/data/97/22/index.html

虛擬傢俱擺設設計系統

Holoportation

實作: 拿金幣(實作示範完,給程式碼)

- Leap Motion