Network System Laboratory - Backup source of JupyterHub(No. 45)

View the diff.
View the diff current.
Go to JupyterHub.
** JupyterHub [#mb71944e]
- マルチユーザのための [[Jupyter]] サーバー（ユーザ認証機能つき）

- https://github.com/jupyterhub/jupyterhub
- https://github.com/gatoniel/jupyterhub  改良版

- https://jupyterhub.readthedocs.io/en/0.7.2/getting-started.html
- https://horomary.hatenablog.com/entry/2019/11/09/181614

- see also: ''[[Jupyter]]''
- see also: [[Docker]], [[Podman]]
- see also: [[Kubernetes]], [[PodmanSpawner]]
- see also: [[configurable-http-proxy]]

- [[DockerSpawner>./DockerSpawner]]
- [[LTIDockerSpawner>./LTIDockerSpawner]]
- [[LTIPodmanSpawner>./LTIPodmanSpawner]]

- [[Moodle+JupyterHub]]
- [[開発>./devel]]
#br

** INSTALL [#nfb5f43c]
*** pip [#ecfe7cfb]
#br
*** conda [#n0e2837f]
- conda update -c conda-forge jupyterhub -y
#br

*** for CentOS 8.5 with pip [#l08667b3]
 # yum install python3
 # pip3 install --upgrade pip
 # yum install npm
 # npm install -g configurable-http-prox
 # pip install setuptools_rust
 # pip install jupyterhub
 # pip install dockerspawner
 # pip install --upgrade notebook
 # pip install --upgrade jupyterlab
 # jupyterhub --version
 # jupyter --version
 # jupyter notebook --version
 # jupyter lab --version
#br

*** 2.0.0 with conda [#e269f8c5]

**** Change Log [#qacdfa95]
- https://jupyterhub.readthedocs.io/en/stable/changelog.html
#br
**** Install [#j385e508]
 (base) # conda install -c conda-forge conda==4.11.0 -y
 (base) # conda activate jupyterhub
 (jupyterhub) # conda update -c conda-forge jupyterhub -y

 (jupyterhub) # jupyterhub --upgrade-db
 (jupyterhub) # jupyterhub -f .....
#br

**** podmanspawner.PodmanSpawner [#nefeece2]
- おおっ class のサンプルに Podman がある！
-- と思ったら niklas netter 氏の [[podmanspawner>https://github.com/gatoniel/podmanspawner]] じゃん
#br

**** websocket モジュールが無いとのことで起動しなくなった． [#x698e062]
 ModuleNotFoundError: No module named 'websocket'
- conda 環境で websocket をインストール

 # conda install -c conda-forge websocket-client

- pip なら　pip install websockets　
#br

**** データベースのスキーマが合わないとのことで，起動しなくなった． [#o77e88b0]
- jupyterhub upgrade-db してもだめなので，/var/lib/jupyterhub 以下を削除
#br

*** 1.4.2 [#i2818e12]

**** conda を使用 [#z4c989ab]
 (base) # conda create -n jupyterhub python=3.8 -y
 (base) # conda activate jupyterhub
 (jupyterhub) # conda install -c conda-forge notebook -y
 (jupyterhub) # conda install -c conda-forge jupyterlab -y
 (jupyterhub) # conda install -c conda-forge jupyterhub==1.4.2  -y
 (jupyterhub) # conda install -c conda-forge voila -y
 (jupyterhub) # conda install jupyter_client -y

 (jupyterhub) # git clone https://github.com/jupyterhub/nativeauthenticator.git
 (jupyterhub) # pip install -e nativeauthenticator   (認証モジュール：オプション)
 (jupyterhub) # pip install dockerspawner

- ディレクトリのパーミッションの設定を忘れずに！
#br
**** pip を使用する． [#d08d0c8f]
- CentOS7 の場合は nodejs はバージョンが古くて，configurable-http-proxy でエラーが出るので，nodejs をバージョンアップする．
 curl -sL https://rpm.nodesource.com/setup_14.x | bash -
 yum remove nodejs npm -y
 yum install nodejs -y
 node -v
--  nodejs のバージョンがアップしない場合は，/var/tmp/yum-root-* を消す

 npm install -g configurable-http-proxy
 python3 -m pip install jupyterhub
 python3 -m pip install dockerspawner
 python3 -m pip install --upgrade notebook
 python3 -m pip install --upgrade jupyterlab
#br

*** Notebook の Docker イメージ [#s9b5f83a]
 # docker pull jupyter/datascience-notebook
 # docker pull jupyter/tensorflow-notebook
#br

*** Version Up 1.0.0 -> 1.4.1 [#f7719705]
  # conda install -c conda-forge jupyterhub
  # conda install notebook
**** バージョンの確認 [#m3c5a1bd]
- (jupyterhub) # jupyterhub --version
#br

** 設定 [#idb49705]
- https://zero-to-jupyterhub.readthedocs.io/en/latest/customizing/index.html
- https://zero-to-jupyterhub.readthedocs.io/en/latest/administrator/index.html

- jupyterhub --generate-config を実行すると カレントディレクトリに設定ファイル ''jupyterhub_config.py'' が生成される．
- 個人的には jupyterhub が /usr/local 以下にある場合は /usr/local/etc/jupyterhub 以下に置く．
- 設定ファイルは拡張子が .py でないと，読み込まれない場合がある？

#br

*** Authenticator Class (authenticator_class) [#g1e9cdae]
**** auth.DummyAuthenticator [#g40f4bb4]
- その名の通りダミー．認証無し．
- 全てのユーザを許可する．（一応パスワード入力欄は表示される）
#br
**** jupyterhub.auth.PAMAuthenticator （default） [#n3acea52]
- 認証に[[PAM]]を使用する．恐らくサービスは login
- v1.1.0 にバグあり. [[Trouble Shooting>#rf83821d]] 参照．
#br

**** nativeauthenticator.NativeAuthenticator [#u43dca72]
- 追加モジュール（オプション）
- 詳細は検証中
#br

**** [[LDAP]]: ldapauthenticator.LDAPAuthenticator [#n1c54d11]
- LDap 認証用．
- モジュールのInstall
 (jupyterhub) # conda install -c conda-forge jupyterhub-ldapauthenticator -y

- jupyterhub_config.py
 102 # for LDAP
 103 c.JupyterHub.authenticator_class = 'ldapauthenticator.LDAPAuthenticator'
 104 #c.LDAPAuthenticator.server_address = '202.26.150.*'
 105 c.LDAPAuthenticator.server_address = '202.26.144.*'
 106 c.LDAPAuthenticator.use_ssl = True
 107
 108 ## AD: template 付き（ユーザバインド）
 109 c.LDAPAuthenticator.lookup_dn = False
 110 c.LDAPAuthenticator.bind_dn_template = [
 111     'cn={username},ou=教員,ou=ユーザー,dc=edutuis,dc=local',
 112     'cn={username},ou=学生,ou=ユーザー,dc=edutuis,dc=local'
 113 ]
 114 c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
 115 c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
 116
 117 ## AD: template なし
 118 #c.LDAPAuthenticator.lookup_dn = True
 119 #c.LDAPAuthenticator.user_search_base = 'dc=edutuis,dc=local'
 120 #c.LDAPAuthenticator.user_attribute = 'sAMAccountName'
 121 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=ldapauth,cn=users,dc=edutuis,dc=local'
 122 #c.LDAPAuthenticator.lookup_dn_search_password = '*****'
 123 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
 124
 125 ## NSL: username から dn が探せる場合（ユーザバインド）
 126 #c.LDAPAuthenticator.lookup_dn = False
 127 #c.LDAPAuthenticator.bind_dn_template = 'cn={username},ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
 128
 129 ## NSL: ツリーを検索する場合
 130 #c.LDAPAuthenticator.lookup_dn = True
 131 #c.LDAPAuthenticator.user_search_base = 'ou=user,dc=nsl,dc=tuis,dc=ac,dc=jp'
 132 #c.LDAPAuthenticator.user_attribute = 'uid'
 133 #c.LDAPAuthenticator.lookup_dn_search_user = 'cn=Manager'
 134 #c.LDAPAuthenticator.lookup_dn_search_password = '*******'
 135 #c.LDAPAuthenticator.lookup_dn_user_dn_attribute = 'cn'
 136

**** [[LTI]] モジュール [#m4467ad6]

#br

*** Server Class [#dded2dd0]

**** jupyterhub.spawner.LocalProcessSpawner （default）[#ueaf7599]
- [[LocalProcessSpawner >./LocalProcessSpawner]]
- サーバに，各ユーザの環境でアクセスできる.
- Jupiter Notebook はサーバにインストールされている物を使用する．
- 通常作業ディレクトリは /home/{username}/notebook 　 (v1.0.0 はディレクトリ指定にバグが有る模様)
- 使用ポートは 8000/tcp, 8081/tcp
#br

**** jupyterhub.spawner.SimpleLocalProcessSpawner [#eb28d681]
- 名前がややこしい
- 詳細は不明（検証する気はあまりない）
#br

**** dockerspawner.DockerSpawner [#dc30b0cf]
- [[''DockerSpawner''>./DockerSpawner]]
- https://github.com/jupyterhub/dockerspawner
- サーバでユーザ毎に ''[[Docker]]'' でNotebook コンテナを起動して接続．
- 作業ホームは /home/jovjan/work 固定（多分 Docker Image固定）
- 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp
- Install
 (jupyterhub) # pip --no-cache-dir install git+https://github.com/jupyterhub/dockerspawner.git
 or
 (jupyterhub) # pip install dockerspawner

**** dockerspawner.SystemUserSpawner [#x578909e]
- [[''SystemUserSpawner''>./SystemUserSpawner]]
- https://github.com/jupyterhub/dockerspawner/blob/master/dockerspawner/systemuserspawner.py

- dockerspawner.DockerSpawner からの派生クラス
- DockerSpawner と同じパッケージ？　特にインストールしていないが，既に入っていた．
- jovyan ではなく，ログインユーザで使用可．ログインユーザのホームディレクトリをマウントする．
- ただしログインユーザの情報がローカルに取れない場合（LDAPのユーザバインドでログインした場合），ホームディレクトリ等の情報が無いので途中でエラーを起こす．
-- 作りこめば大丈夫かもしれん．
#br

**** dockerspawner.SwarmSpawner [#vad945d1]
- [[SwarmSpawner>./SwarmSpawner]]
- dockerspawner.DockerSpawner からの派生クラス
- DockerSpawner と同じパッケージ
- クラスタリング用．
- コンテナを [[Docker Compose]] で管理し，複数のサーバー上で実行できる．
- 使用ポートは 8000/tcp, 8081/tcp, 8001/tcp, 2377/tcp, 7946/tcp, 7946/udp, 4789/udp
#br

**** niicloudoperation/jupyterhub-singleuser [#ld71d218]
- NII開発．自由度低し（個人的感想）．[[CoursewareHub]] 用 Server Class
- https://github.com/NII-cloud-operation/CoursewareHub-LC_platform
- Document: https://github.com/nii-gakunin-cloud/ocs-templates
- [[dockerspawner.SwarmSpawner>./SwarmSpawner]] からの派生クラス
- 検証中
- INSTALL
 (jupyterhub) # git clone https://github.com/NII-cloud-operation/CoursewareHub-LC_platform.git
 (jupyterhub) # cd CoursewareHub-LC_platform/jupyterhub/spawner
 (jupyterhub) # pip --no-cache-dir install .

*** jovyan って誰？ [#w4a21247]
- DockerSpawner を使用すると，作業ディレクトリが /home/jovyan/work 固定なのだが？
- c.DockerSpawner.notebook_dir 辺りをいじっても変化しない？
- https://github.com/jupyter/docker-stacks/issues/358
#br

** 実行 [#a826d7f6]
**** 前準備 [#xa875240]
 # cd /etc/pki/tls
 # openssl req -new -newkey rsa:2048 -days 3650 -nodes -keyout private/key.pem -out server.csr
 # openssl x509 -in server.csr -days 3650 -req -signkey private/key.pem -out certs/server.pem
 # vi  /usr/local/etc/jupyterhub/jupyterhub_config.py

 # mkdir /var/lib/jupyterhub

**** 実行 [#k5a94b0c]
 (base) # conda activate jupyterhub
 (jupyterhub) # jupyterhub -f /usr/local/etc/jupyterhub/jupyterhub_config.py

- --no-ssl は0.7で廃止された
#br

** Log [#s553f415]
*** LC_nblineage [#q1878f8f]
- https://github.com/NII-cloud-operation/Jupyter-LC_nblineage
-- lab では動かない！
#br

*** LC_wrapper [#q23dcf44]
- https://github.com/NII-cloud-operation/Jupyter-LC_wrapper
#br

** 情報ソース [#s02d97ba]

*** Notebook [#i00ecdd5]

**** Docker Images [#yceb54d2]

***** niicloudoperation/notebook [#b9ddd7f8]
- docker pull niicloudoperation/notebook
#br

*** Spawner [#v67998b2]

**** [[Docker]] [#e1984289]
- https://github.com/jupyterhub/dockerspawner
#br

**** [[Podman]] [#t1db1fc3]
- https://github.com/gatoniel/podmanspawner
#br

**** [[Kubernetes]] [#af74888d]
- https://github.com/jupyterhub/zero-to-jupyterhub-k8s
- https://zero-to-jupyterhub.readthedocs.io/en/latest/
#br

** DB [#v881917b]
*** MySQL [#ge9c722d]
- [[SQLAlchemy]] で PyMySQL ドライバを使用する
- pool_recycle の設定を忘れずに！
- charset は urf8mb4
#br

** Trouble Shooting [#rf83821d]
**** JupyterHub をバージョンアップしたら Jupyter Labが起動しなくなった． [#f644f8af]
- 起動する JupyterHub（ex. 2.0.1）とイメージ内のJupyterHub（ex. 1.4.1）が違うとデフォルトで Jupyter Labが起動しなくなるようだ．
#br

*** 日本語のBUG [#ece06e7b]
- 日本語のファイルやディレクトリでコピーなどを行うと errno 13 のエラーが起きる．でもコピーはちゃんと行われる．エラーを消したい．
#br

*** [[PAM]] [#cb278bbe]

**** JupyterHub: PAM使用時に 再login するとPAMの認証エラーになる． [#cec1cefc]
- 認証モジュールに jupyterhub.auth.PAMAuthenticator を使用した場合，再Loginで失敗
-- c.JupyterHub.authenticator_class = 'jupyterhub.auth.PAMAuthenticator'
- バグだろ．
- Resolve: jupyterhub_config.py に ''c.PAMAuthenticator.open_sessions = False'' を追加する
- see: https://github.com/jupyterhub/jupyterhub/issues/486
#br

**** swarm モードだと v1.1.0 でPAM認証のエラーを起こす． [#e7458157]
- 上記バグもこれか？
- 1.0.0 に戻す．
 (jupyterhub) # conda uninstall jupyterhub
 (jupyterhub) # conda -c conda-forge install jupyterhub==1.0.0
#br
*** homeディレクトの名前を変えたら，ログインできなくなった [#yf5e6b43]
- ~/.cache, ~/.jupyter, ~/.local ができているので消す．
#br
*** Programing [#uef8ed38]
**** docker [#g330446b]
- https://docker-py.readthedocs.io/en/stable/api.html
#br
- APIClient 呼び出しメソッド順
-- inspect_image
-- inspect_container
-- inspect_image
-- start
-- port
#br

**** podman [#u96870cc]
#br
« Prev Next »
Backup source of JupyterHub (No. 45)

Site Search

Login

Sub Menu

Books

mini Calendar

Who's Online

Access Counter
